Probleme beim Importieren großer CSV Datei

WICHTIG: Der Betrieb von goMatlab.de wird privat finanziert fortgesetzt. - Mehr Infos...

Partner:

Forum

Option

[Erweitert]

• Diese Seite per Mail weiterempfehlen

Gehe zu:

Kia

Forum-Fortgeschrittener


	Beiträge: 89

	Anmeldedatum: 02.09.10

	Wohnort: ---

	Version: ---

Verfasst am: 03.06.2013, 22:23 Titel: Probleme beim Importieren großer CSV Datei

Hallo zusammen,

ich möchte einen großen Datensatz, der als CSV bzw. XLSX vorhanden ist (eine Matrix mit ca. 500.000 x 100) in Matlab importieren. Über den Import-Editor funktioniert leider nicht. Ich bekomme folgende Meldung:

Zitat:

Import operation failed. The most likely reason is that the are unimportable cells in the selection...

Die erste Zeile der Matrix besteht aus Text-Einträge. Selbst wenn ich diese Zeile über excel entferne, bekomme ich dieselbe Fehlermeldung. Ansonsten hat die Tabelle auch viele Zellen ohne einen Eintrag. Der Rest besteht aus Zahlen, soweit ich sehen kann. Öffne ich diese Datei in Windows Editor sehe ich eine Zeile wie folgt dargestellt:

Zitat:

0,2;0;0;0;0;0;0;0;0;;;0;0;1;0;1;0;0;;;;;;;;;;;0;0;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;

auch über dlmread erhalte ich die Fehlermeldung:

Code:

Error using dlmread (line 139)
Mismatch between file and format string.
Trouble reading number from file (row 2u, field 1u) ==>
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;\n

Funktion ohne Link?

Hat jemand einen Vorschlag wie ich diesen Datensatz in den Workspace laden kann?

Kann man irgendwie vorab abschätzen, ob der Arbeitsspeicher fürs Importieren solcher Daten ausreichend ist?

Danke und Gruß

Jan S

Moderator


	Beiträge: 11.057

	Anmeldedatum: 08.07.10

	Wohnort: Heidelberg

	Version: 2009a, 2016b

Verfasst am: 04.06.2013, 09:27 Titel: Re: Probleme beim Importieren großer CSV Datei

Hallo Kia,

Offensichtlich fehlen Daten zwischen Separatoren im CSV-File. Während XLSREAD das bei XLSX-Datein direkt verarbeiten kann, benötigt man zum Einlesen der Text-Datei wohl den TEXTREAD-Befehl.

Eine Matrix mit 500.000 x 100 Elementen benötigt 500000*100*8 + etwa 100 Bytes = 400'000'100 Bytes = 400 MB Speicher.

Gruß, Jan

Kia

Themenstarter

Forum-Fortgeschrittener


	Beiträge: 89

	Anmeldedatum: 02.09.10

	Wohnort: ---

	Version: ---

Verfasst am: 04.06.2013, 12:03 Titel:

Hallo Jan,

besten Dank für die schnelle Antwort.

Mit xlsread bekomme ich einen Software-Crash und Matlab muss geschlossen werden. Deshalb habe ich mein Glück mit textread ausprobiert, wobei ich mich mit dem Befehl nicht so gut auskenne und dies aus den Beispiegel abgeleitet habe:

Code:

Data = textread('TestData.csv','','delimiter',';'emptyvalue','NaN');

Funktion ohne Link?

und bekomme folgende Fehlermeldung:

Zitat:

Error using dataread
Trouble reading numer from file (row2 , field 2) ==>
,1;;;;;;;;;;;1;0;1;0;0;0;1;1;1;;;;;;;;;;;;;;;;;;;;;;;;;;;1;0;1;0;1;0;;;;

Error in textread (line 176)
[varargout{1:nhls}]=dataread('file',varagin{ : });

es hilft auch leider nicht, diese als floating variable einzulesen

Code:

Data = textread('TestData.csv','','delimiter',';'emptyvalue','NaN');

Funktion ohne Link?

und bekomme folgende Fehlermeldung:

Zitat:

Error using dataread
Trouble reading floating point number from file (row52 , field 21) ==>

Error in textread (line 176)
[varargout{1:nhls}]=dataread('file',varagin{ : });

kann jemand mir dabei weiter heflen?

Jan S

Moderator


	Beiträge: 11.057

	Anmeldedatum: 08.07.10

	Wohnort: Heidelberg

	Version: 2009a, 2016b

Verfasst am: 04.06.2013, 16:59 Titel:

Hallo Kia,

das sieht aus, als habest Du den interessanten Teil der Fehlermeldungen abgeschnitten. Bitte poste nochmal eine vollständige Kopie der Meldungen.

Ist es ein Tippfehler im Forum, oder fehlen in Deinem Code tatsächlich ein paar Quotes:

Code:

Data = textread('TestData.csv','','delimiter',';'emptyvalue','NaN');
% Besser:
Data = textread('TestData.csv', '', 'delimiter', ';', 'emptyvalue', 'NaN');

Funktion ohne Link?

Gruß, Jan

Kia

Themenstarter

Forum-Fortgeschrittener


	Beiträge: 89

	Anmeldedatum: 02.09.10

	Wohnort: ---

	Version: ---

Verfasst am: 05.06.2013, 11:40 Titel:

Hallo Jan,
du hast recht gehabt,

hier anbei (per copy/paste), das in meiner Konsole erscheint

Code:

>> Data = textread('TestData.csv', '', 'delimiter', ';', 'emptyvalue', NaN)
Error using dataread
Trouble reading number from file (row 2, field 2) ==>
,1;;;;;;;;;;;;;1;0;1;0;0;;;;;;;;;;;;;;;;;;;;;;

Error in textread (line 176)
[varargout{1:nlhs}]=dataread('file',varargin{:});

Funktion ohne Link?

Kia

Themenstarter

Forum-Fortgeschrittener


	Beiträge: 89

	Anmeldedatum: 02.09.10

	Wohnort: ---

	Version: ---

Verfasst am: 06.06.2013, 12:04 Titel:

So ich habe das Problem gelöst. Dazu musste ich meine Fließkommazahlen in CSV-Datei mit punkte ersetzen. im Anschluss funktionierte dann der o.g. Befehl


Einstellungen und Berechtigungen
Beiträge der letzten Zeit anzeigen:	Du kannst Beiträge in dieses Forum schreiben. Du kannst auf Beiträge in diesem Forum antworten. Du kannst deine Beiträge in diesem Forum nicht bearbeiten. Du kannst deine Beiträge in diesem Forum nicht löschen. Du kannst an Umfragen in diesem Forum nicht mitmachen. Du kannst Dateien in diesem Forum posten Du kannst Dateien in diesem Forum herunterladen

Impressum | Nutzungsbedingungen | Datenschutz | FAQ |

RSS

Hosted by:

Copyright © 2007 - 2025 goMatlab.de | Dies ist keine offizielle Website der Firma The Mathworks

MATLAB, Simulink, Stateflow, Handle Graphics, Real-Time Workshop, SimBiology, SimHydraulics, SimEvents, and xPC TargetBox are registered trademarks and The MathWorks, the L-shaped membrane logo, and Embedded MATLAB are trademarks of The MathWorks, Inc.