|
|
|
Einlesen großer Datenmengen |
|
| Sepp |
Gast
|
 |
Beiträge: ---
|
|
|
|
Anmeldedatum: ---
|
|
|
|
Wohnort: ---
|
|
|
|
Version: ---
|
|
|
|
 |
|
Verfasst am: 04.05.2011, 18:31
Titel: Einlesen großer Datenmengen
|
 |
Hallo,
habe ein Frage die das Einlesen einer Datei betrifft:
Die Datei ist eine Punktwolke und besteht aus 3 Spalten, jedoch aus fast 5 Mio. Zeilen. Bisher habe ich folgende Einlese-Variante verwendet:
Das Problem ist dann jedeoch die Dauer! Denn für die fast 5 Mio. Zeilen benötigt MATLAB dann fast 4 Minuten! (Rechner ist ein Quadcore mit 8GB Arbeitsspeicher)
In Bezug auf weitere Rechenschritte, würde ich diese Dauer gerne verkürzen!
Fällt jemandem eine schneller Art ein, die Datei einzulesen?
Vielen Dank im Voraus!!
|
|
|
|
|
|
| Harald |
Forum-Meister
|
|
Beiträge: 24.501
|
|
|
|
Anmeldedatum: 26.03.09
|
|
|
|
Wohnort: Nähe München
|
|
|
|
Version: ab 2017b
|
|
|
|
|
|
|
Verfasst am: 04.05.2011, 18:41
Titel:
|
|
Hallo,
wenn du das einmal machst, ist das doch nicht weiter schlimm?
Und wenn du die Daten an einem anderen Tag mal wieder brauchen wirst, speichere sie als MAT-File ab - schneller geht lesen und schreiben nicht.
Versuche auch TEXTSCAN statt TEXTREAD.
Grüße,
Harald
|
|
|
|
| Sepp |
Gast
|
|
Beiträge: ---
|
|
|
|
Anmeldedatum: ---
|
|
|
|
Wohnort: ---
|
|
|
|
Version: ---
|
|
|
|
|
|
|
Verfasst am: 04.05.2011, 18:50
Titel: Danke!
|
|
Okay, schade! Dann muss ich wohl diese Zeit einplanen! Werde aber auch TEXTSCAN versuchen, da dieses auch TEXTREAD in Zukunft ersetzen soll! Falls sich was signifikantes ergibt, werde ich es noch posten!
Vielen Dank!
|
|
|
|
| Jan S |
Moderator
|
|
Beiträge: 11.057
|
|
|
|
Anmeldedatum: 08.07.10
|
|
|
|
Wohnort: Heidelberg
|
|
|
|
Version: 2009a, 2016b
|
|
|
|
|
|
|
Verfasst am: 04.05.2011, 20:14
Titel: Re: Einlesen großer Datenmengen
|
|
Hallo Sepp,
Hast Du es mit fscanf versucht?
Weißt Du die Zahl der Zeilen im Voraus?
Gruß, Jan
|
|
|
|
| Sepp |
Forum-Newbie
|
|
Beiträge: 4
|
|
|
|
Anmeldedatum: 04.05.11
|
|
|
|
Wohnort: München
|
|
|
|
Version: ---
|
|
|
|
|
|
|
Verfasst am: 04.05.2011, 20:34
Titel: Re: Einlesen großer Datenmengen
|
|
Will aber die gesamte Datei einlesen und nicht nur einen Teil!
Habe TEXTSCAN getestet - ist wirklich schneller - aber nur wenige Sekunden!
|
|
|
|
| Jan S |
Moderator
|
|
Beiträge: 11.057
|
|
|
|
Anmeldedatum: 08.07.10
|
|
|
|
Wohnort: Heidelberg
|
|
|
|
Version: 2009a, 2016b
|
|
|
|
|
|
|
Verfasst am: 05.05.2011, 01:19
Titel: Re: Einlesen großer Datenmengen
|
|
Hallo Sepp,
Du kannst mit fSCANF auch problemlos auch die ganze Datei einlesen. Falls Du die Anzahl der Zeilen nicht weißt, einfach Inf einsetzen.
Gruß, Jan
|
|
|
|
| Sepp |
Forum-Newbie
|
|
Beiträge: 4
|
|
|
|
Anmeldedatum: 04.05.11
|
|
|
|
Wohnort: München
|
|
|
|
Version: ---
|
|
|
|
|
|
|
Verfasst am: 05.05.2011, 12:29
Titel:
|
|
Problem gelöst:
textscan reicht völlig aus! Das was es so langsam gemacht hat, war die fehlende Angabe der zu lesenden Zeilen.
Unter Angabe der zu lesenden Zeilen, benöigt MATLAB dann für 4,9 Mio. Zeilen und 5 Spalten "nur" noch 14 Sekunden!
Vielen Dank für die Lösungsvorschläge!!
|
|
|
|
|
|
|
Einstellungen und Berechtigungen
|
|
Du kannst Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.
Du kannst Dateien in diesem Forum posten
Du kannst Dateien in diesem Forum herunterladen
|
|
Impressum
| Nutzungsbedingungen
| Datenschutz
| FAQ
|  RSS
Hosted by:
Copyright © 2007 - 2025
goMatlab.de | Dies ist keine offizielle Website der Firma The Mathworks
MATLAB, Simulink, Stateflow, Handle Graphics, Real-Time Workshop, SimBiology, SimHydraulics, SimEvents, and xPC TargetBox are registered trademarks and The MathWorks, the L-shaped membrane logo, and Embedded MATLAB are trademarks of The MathWorks, Inc.
|
|
