Verfasst am: 10.01.2015, 21:39
Titel: Zahlenwerte aus Text auslesen... Script SEHR langsam
Hallo!
ich bin dabei ein Script zum Auswerten von Simulationsergebnissen zu schreiben und möchte pro Simulation gerne tausende bis zehntausende (!) Simulationsergebnisse auswerten, die jeweils in einer eigenen Textdatei vorliegen. Ich habe ein funktionsfähiges Script, das leider sehr langsam ist (pro Auswertung bzw. Datei ~0.3 s) und möchte es gerne optimieren.
Die Textdateien enthalten alles mögliche: Text, Tabellen, etc und sind deshalb unübersichtlich. In jeder der Textdateien gibt es eine Zeille mit Werten, die mich interessiert.
Erläuterung des Scripts: Einlesen der Text-Datei mit importdata. Die gesuchte Zeile identifiziere ich mit dem Schlüsselwort ElementID="1". Diese Ziele enthält u.a. vershiedene Größen und zugeordnetem Wert, die mit einem Leerzeichen(z.B. "P=1" "Q=2") getrennt sind, sodass ich die Größen mit Werten auf diese Weise von einander trennen kann (mittels textscan). Mit strfind und str2double erhalte ich schließlich meine gesuchten Zahlenwerte.
Schließlich speichere ich die Werte in einem struct (dieser Vorgang ist nicht zeitintensiv)
P und Q gibt es in der Text-Datei sehr oft, in unterschiedlichen Zeilen, weshalb ich erst nach der Zeile mit ElementID=1 suchen muss.
Bisher sieht es etwa folgendermaßen aus:
Code:
% Auflistung der Anzahl an Simulationsdateien
erg_txt = dir('\*.txt');
%for-Schleife zum Auslesen der einzelnen Dateien
for i=1:length(erg_xres)
% Name der einzelnen Datei auslesen
filename_txt = erg_xres(i,1).name;
% Datei wird Zeilenweise in "data" gespeichert
data=importdata(filename_txt);
% Zeilen Nummer mit String wird ausgegeben. Diese Zeile enthält Werte % von Netz, Trafo (ElementID=1)
row_idx = find(~cellfun('isempty',strfind(data,'ElementID="1"')));
% Text der entsprechenden Zeile auslesen
str = strjoin(data(row_idx,1));
% Katergorien (P,Q) werden getrennt.
splitstring = textscan(str,'%s') ;
row=splitstring{1,1};
% Auslesen und Speichern der Wirkleistung in P
row_str=row{6};
pos=strfind(row_str,'"');
P_(i)=str2double(row_str((pos(1)+1):pos(2)-1));
auswertung(i).P=P_(i);
% Auslesen und Speichern der Blindleistung in Q
row_str=row{7};
pos=strfind(row_str,'"');
Q_(i)=str2double(row_str((pos(1)+1):pos(2)-1));
auswertung(i).Q=Q_(i);
du kannst mal den Profiler verwenden, um zu analysieren, welche Operationen die meiste Zeit benötigen. Dann kann man gezielt untersuchen, ob diese Operationen effizienter durchgeführt werden können.
Hilfreich wäre auch eine Beispieldatei.
Meine erste Vermutung wäre, dass importdata wohl keine gute Idee ist. Der Befehl muss ja jedes Mal erst die Dateistruktur untersuchen. Da dürften Befehle wie textscan oder dlmread die bessere Wahl sein.
Danke Harald,
tatsächlich beansprucht importdata bei weitem die meiste Zeit.
Ich habe nun zwei Beispieldateien ausgewählt, aus denen ich Daten auslesen muss. Einen kleinen Kommentar habe ich dir beigefügt. Ich denke man kann sehen, dass die Dateien keine Struktur aufweisen. Mir geht es in diesem Post nun nicht darum, für jede gesuchte Variable eine Lösung zu finden, sondern nur, wie ich die .txt-Datei am besten einlese.
Vll kannst du mir anhand der Beispiele einen weiteren Hinweise geben.
Vielen Dank!
BspDatei2.txt
Beschreibung:
Datei, auf die ich mich noch nicht bezogen habe. Hier mus ich einige Variablen wie #AnzPV = 1 und später alle Werte von Zeilen 46-123. Diese Datei muss ich nur einmal einlesen
du kannst mal den Profiler verwenden, um zu analysieren, welche Operationen die meiste Zeit benötigen. Dann kann man gezielt untersuchen, ob diese Operationen effizienter durchgeführt werden können.
Hilfreich wäre auch eine Beispieldatei.
Meine erste Vermutung wäre, dass importdata wohl keine gute Idee ist.
Ich habe das Auslesen nun mit der Funktion fopen und fgetl gelöst. Anstatt 1.5s für fünf Auswertungen benötigt das Skript für die Schleife (i=1:5) nun nur noch ca. 0.13s, es benötigt also nicht einmal mehr 10% der ursprünglichen Zeit.
Falls es noch Vorschläge zur weiteren optimierung gibt, nehme ich diese natürlich gerne entgegen.
Für andere mit dem selben Problem hier mein Skript (für BspDatei1):
Code:
% Auflistung der Anzahl an Simulationsdateien
erg_xres = dir([pfad_sim,'\*.txt']);
tic for i=1:length(erg_xres) % Name der ersten Datei
filename_xres = erg_xres(i,1).name;
disp(['Lese Datei ' filename_xres]);
% Es wird nach dem Schlüsselwort 'ElementID="1"' gesucht. [val,row_ID1] = find_value(filename_xres, 'ElementID="1"');
% öffnen der entsprechenden .xres-Datei
data = fopen(filename_xres);
% finden der zeile mit 'ElementID="1"'
row_ID1 = 0; % Zeilen-Nr. while1% solange Datei nicht zu ende
tline = fgetl(data); % zeilenweise einlesen
row_ID1 = row_ID1 + 1; % erhöhen des Zählers ifischar(tline)% wenn Zeile ein string ist
U = strfind(tline, 'ElementID="1"'); % U gibt Spalte des gefundenen strings an if isfinite(U) == 1; % Falls string gefunden... break% beenen der while-Schleife end end end
% Auslesen und Speichern der Wirkleistung in P
pos=strfind(tline,'P="');
P_(i)=str2double(tline(pos+3:pos+12));
auswertung(i).P=P_(i);
% Auslesen und Speichern der Blindleistung in Q
pos=strfind(tline,'Q="');
Q_(i)=str2double(tline(pos+3:pos+12));;
auswertung(i).Q=Q_(i);
% Auslesen und Speichern des imaginären Stroms
pos=strfind(tline,'Ii="');
I_im_(i)=str2double(tline(pos+4:pos+13));
auswertung(i).I_im=I_im_(i);
end
Du kannst Beiträge in dieses Forum schreiben. Du kannst auf Beiträge in diesem Forum antworten. Du kannst deine Beiträge in diesem Forum nicht bearbeiten. Du kannst deine Beiträge in diesem Forum nicht löschen. Du kannst an Umfragen in diesem Forum nicht mitmachen. Du kannst Dateien in diesem Forum posten Du kannst Dateien in diesem Forum herunterladen
MATLAB, Simulink, Stateflow, Handle Graphics, Real-Time Workshop, SimBiology, SimHydraulics, SimEvents, and xPC TargetBox are registered trademarks and The MathWorks, the L-shaped membrane logo, and Embedded MATLAB are trademarks of The MathWorks, Inc.
RSS