|
|
|
Große Mixed CSV Datei einladen und als double abspeichern |
|
| alm0389 |
Forum-Newbie
|
 |
Beiträge: 9
|
|
|
|
Anmeldedatum: 03.08.18
|
|
|
|
Wohnort: ---
|
|
|
|
Version: ---
|
|
|
|
 |
|
Verfasst am: 05.12.2019, 17:35
Titel: Große Mixed CSV Datei einladen und als double abspeichern
|
 |
| |
 |
 |
Hallo ich habe eine größere CSV Datei, welche etwa 7x10^6 Zeilen lang und konstante 29 Spalten breit ist. In den Spalten befinden sich einerseits Zahlen, aber auch Strings. Weiter gibt es das Problem, dass in manchen Zeilen, an der Stelle wo sich eine Zahl befinden soll, auch ein String befindet. Ein Beispiel habe ich hier mitgebracht:
2000 1 28 5 1647 1647 1906 1859 HP 154 N808AW 259 252 233 7 0 ATL PHX 1587 15 11 0 NA 0 NA NA NA NA NA
2000 1 29 6 1648 1647 1939 1859 HP 154 N653AW 291 252 239 40 1 ATL PHX 1587 5 47 0 NA 0 NA NA NA NA NA
2000 1 30 7 NA 1647 NA 1859 HP 154 N801AW NA 252 NA NA NA ATL PHX 1587 0 0 1 NA 0 1 0 0 1 0
2000 1 31 1 1645 1647 1852 1859 HP 154 N806AW 247 252 226 -7 -2 ATL PHX 1587 7 14 0 NA 0 NA NA NA NA NA
2000 1 1 6 842 846 1057 1101 HP 609 N158AW 255 255 244 -4 -4 ATL PHX 1587 3 8 0 NA 0 NA NA NA NA NA
.
.
.
.
Ich möchte die Daten gerne als Double in einer Matrix ablegen, am liebsten Wäre es mir wenn alle Strings als NaN abgelegt werden. Jedoch bekomme ich es nicht hin, die Daten anständig importiert zu bekommen.
Die Methoden die ich aktuell nutze, führen bei mir zu einem Out of Memory Problem.
Hat jemand einen Tipp wie man diese Datei schnell importieren kann um diese anschließend weiterzuverarbeiten?
Viele Grüße
|
|
|
|
|
|
| Harald |
Forum-Meister
|
|
Beiträge: 24.448
|
|
|
|
Anmeldedatum: 26.03.09
|
|
|
|
Wohnort: Nähe München
|
|
|
|
Version: ab 2017b
|
|
|
|
|
|
|
Verfasst am: 05.12.2019, 20:30
Titel:
|
|
Hallo,
| Zitat: |
| Die Methoden die ich aktuell nutze, führen bei mir zu einem Out of Memory Problem. |
Bitte immer dazu schreiben, was du bisher versucht hast. Es ist sehr ineffizient, wenn man dir Vorschläge macht, die du schon ausführlich versucht hast.
Ich würde textscan, readtable oder datastore vorschlagen. Vor allem aber Spalten, die nicht benötigt werden, gar nicht erst importieren. Ich kann mir nicht vorstellen, dass für jede Analyse immer alle 29 Spalten benötigt werden.
Um beispielsweise NA als fehlenden Wert zu interpretieren, sollte TreatAsEmpty helfen.
Grüße,
Harald
_________________
1.) Ask MATLAB Documentation
2.) Search gomatlab.de, google.de or MATLAB Answers
3.) Ask Technical Support of MathWorks
4.) Go mad, your problem is unsolvable ;)
|
|
|
|
|
|
|
Einstellungen und Berechtigungen
|
|
Du kannst Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.
Du kannst Dateien in diesem Forum posten
Du kannst Dateien in diesem Forum herunterladen
|
|
Impressum
| Nutzungsbedingungen
| Datenschutz
| FAQ
|  RSS
Hosted by:
Copyright © 2007 - 2024
goMatlab.de | Dies ist keine offizielle Website der Firma The Mathworks
MATLAB, Simulink, Stateflow, Handle Graphics, Real-Time Workshop, SimBiology, SimHydraulics, SimEvents, and xPC TargetBox are registered trademarks and The MathWorks, the L-shaped membrane logo, and Embedded MATLAB are trademarks of The MathWorks, Inc.
|
|
