WICHTIG: Der Betrieb von goMatlab.de wird privat finanziert fortgesetzt. - Mehr Infos...

Mein MATLAB Forum - goMatlab.de

Mein MATLAB Forum

 
Gast > Registrieren       Autologin?   

Partner:




Forum
      Option
[Erweitert]
  • Diese Seite per Mail weiterempfehlen
     


Gehe zu:  
Neues Thema eröffnen Neue Antwort erstellen

csv einlesen mit variabler Anzahl Leerzeichen als Trenner

 

Antipas
Forum-Newbie

Forum-Newbie


Beiträge: 4
Anmeldedatum: 07.08.14
Wohnort: ---
Version: ---
     Beitrag Verfasst am: 07.08.2014, 12:29     Titel: csv einlesen mit variabler Anzahl Leerzeichen als Trenner
  Antworten mit Zitat      
Hallo Leute,

ich habe ein riesiges Problem. Ich habe eine csv-Datei (mit der Dateierweiterung .txt) in der es einen Header gibt (der kann ignoriert werden) und eine riesige Menge an Daten (rund 600.000 Zeilen und 3 Spalten).
Ein Auszug ist im Anhang zu sehen.

Der Spaltenvorschub sind Leerzeichen, deren Anzahl allerdings nicht konstant ist.

Ziel ist so schnell wie möglich alle Daten als Matrix in Matlab abzuspeichern.

Ich habe zwar eine Funktion geschrieben die auf textscan basiert, diese war allerdings nach einer Stunde noch immer nicht fertig.

Es reicht, wenn der Import für die Konfiguration funktioniert.

Vielen Dank für eure Hilfe,

Antipas.

streamlinedata.m
 Beschreibung:
Funktion, die zu lange braucht, aber bei kleinen Dateien anwendbar ist

Download
 Dateiname:  streamlinedata.m
 Dateigröße:  1.44 KB
 Heruntergeladen:  300 mal
Export.txt
 Beschreibung:
Auszug aus der csv-Datei

Download
 Dateiname:  Export.txt
 Dateigröße:  1.42 KB
 Heruntergeladen:  325 mal
Private Nachricht senden Benutzer-Profile anzeigen


Harald
Forum-Meister

Forum-Meister


Beiträge: 24.499
Anmeldedatum: 26.03.09
Wohnort: Nähe München
Version: ab 2017b
     Beitrag Verfasst am: 07.08.2014, 13:42     Titel:
  Antworten mit Zitat      
Hallo,

bei deinem Ansatz solltest du zumindest darauf achten, die Vorschläge von Code Analyzer umzusetzen (orange markierte Stellen im Code), insbesondere Vorbelegung von numtable.

Zum Einlesen der numerischen Daten sollte folgendes kompakter und effizienter sein:
Code:
numtable = textscan(file,'%f %f %f');
numtable = cell2mat(ntable);


Gerade mal ausprobiert: Bei einer Datei mit 300000 Zeilen benötigt mein Vorschlag ca. 1.6 Sekunden.

Grüße,
Harald
Private Nachricht senden Benutzer-Profile anzeigen
 
Antipas
Themenstarter

Forum-Newbie

Forum-Newbie


Beiträge: 4
Anmeldedatum: 07.08.14
Wohnort: ---
Version: ---
     Beitrag Verfasst am: 13.08.2014, 19:48     Titel:
  Antworten mit Zitat      
Dankeschön,

ich habe es mit einer 600.000 Zeilen Datei getestet (mit Octave) und nach 53 Sekunden war es fertig,

Grüße,

Antipas.
Private Nachricht senden Benutzer-Profile anzeigen
 
Neues Thema eröffnen Neue Antwort erstellen



Einstellungen und Berechtigungen
Beiträge der letzten Zeit anzeigen:

Du kannst Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.
Du kannst Dateien in diesem Forum posten
Du kannst Dateien in diesem Forum herunterladen
.





 Impressum  | Nutzungsbedingungen  | Datenschutz | FAQ | goMatlab RSS Button RSS

Hosted by:


Copyright © 2007 - 2025 goMatlab.de | Dies ist keine offizielle Website der Firma The Mathworks

MATLAB, Simulink, Stateflow, Handle Graphics, Real-Time Workshop, SimBiology, SimHydraulics, SimEvents, and xPC TargetBox are registered trademarks and The MathWorks, the L-shaped membrane logo, and Embedded MATLAB are trademarks of The MathWorks, Inc.