Mein MATLAB Forum - goMatlab.de

Mein MATLAB Forum

 
Gast > Registrieren       Autologin?   

Bücher:

Gewöhnliche Differentialgleichungen

Fachkräfte:
weitere Angebote

Partner:


Vermarktungspartner


Forum
      Option
[Erweitert]
  • Diese Seite per Mail weiterempfehlen
     


Gehe zu:  
Neues Thema eröffnen Neue Antwort erstellen

Parallel Computing Toolbox

 

ben
Forum-Anfänger

Forum-Anfänger


Beiträge: 28
Anmeldedatum: 21.08.08
Wohnort: Stuttgart
Version: R2007a, R2008b
     Beitrag Verfasst am: 21.08.2008, 09:22     Titel: Parallel Computing Toolbox
  Antworten mit Zitat      
Hi,
mir hat das Forum jetzt schon viel geholfen, jedoch konnte ich hier noch nichts über die Parallel Computing Toolbox finden. Hat schon mal jemand hiermit gearbeitet?

Ich will aus einer csv Datei mit mehr als 60000 Spalten und 37 Zeilen immer eine Spalte auslesen und diese mit 4 Vektoren vergleichen. Hierfür benötigt mein Rechner etwa 6 Tage.

Ich lese die Spalten über dlmread aus, was wohl der Grund für die lange Zeit ist. Mit dem Befehl kann ich genau bestimmen welche Spalte ich haben will. Mit textread, fopen usw. konnte ich das nicht so wirklich machen (vll war ich auch einfach zu doof). Sad

Nun habe ich nach Lösungen gesucht die Arbeit auf mehrere Rechner zu verteilen.
1. Da gibt es zum einen die oben genannte Toolbox, die muss man aber auch erst mal haben.
2. Dann gibt es für Mac OS xgrid, hierfür braucht man erst mal einen Mac.
3. Dann gibt es von Microsoft den HPC (High Performance Computing) Server, hierfür benötigt man einen Server mit einem 64 Bit CPU.
4. Linux kann da wohl auch einiges, nicht weiter gesucht, weil ich auch keinen Linux Rechner / Server habe.

Ich verstehe das nicht, es muss doch einfach ein Programm geben, das in einem bestehenden Netzwerk die Rechenleistung verteilen kann. Die mit dem Apfel können das, sogar irgendwelche Videoencoder Programme können so was schon. Einige spezielle Programme machen dies für den Eigengebrauch sogar schon übers Internet (Einstein@home und viele mehr). Die Problematik mit dem übers Internet kenne ich.

Condor ist scheinbar ein Programm, was in die Richtung geht, hab es aber Gestern nicht zum laufen bekommen, werde das heute noch mal versuchen.

Kennt einer von Euch vll ein solches Programm, was das kann? Für Windows Rechner ohne Server! Denke hier gibt es einige, die auch mal große Auswertungen laufen lassen müssen. Wie macht ihr das? Viel Kaffee trinken in der Zeit? Wink

Hab mir auch Gestern mal die Toolbox angeschaut, da bin ich aber gar nicht durchgestiegen, hätte gerne etwas, was das automatisch macht.

Ich weiß, das Thema passt nicht so richtig hier rein, dachte aber hier einige Interessenten zu finden, die ähnliche Probleme haben und Lust an einem regen Informationsaustausch haben.

Gruß, Benjamin
Private Nachricht senden Benutzer-Profile anzeigen


Titus
Forum-Meister

Forum-Meister


Beiträge: 871
Anmeldedatum: 19.07.07
Wohnort: Aachen
Version: ---
     Beitrag Verfasst am: 22.08.2008, 12:29     Titel:
  Antworten mit Zitat      
Hallo,

zum Thema Parallel Computing Toolbox: so eine Anwendung ist in gewissem Sinne optimal für die Toolbox, da sich das Problem leicht parallelisieren läßt: im einfachsten Falle würde sich der Code
Code:
for iColumn=1:60000
% process column iColumn
end
 

durch Abändern auf
Code:
parfor iColumn=1:60000
% process column
end
 

parallelisieren.
Ansonsten: was spricht dagegen, die ganze Datei auf einmal einzulesen und dann zu bearbeiten? Im Speicher dürfte sie doch "nur"
60000*37*8 Byte = 16.9 MByte belegen...?

Titus
- da die Spalten sehr kurz sind, würde ich immer vielleicht 1000 auf einmal einlesen

Titus
Private Nachricht senden Benutzer-Profile anzeigen
 
ben
Themenstarter

Forum-Anfänger

Forum-Anfänger


Beiträge: 28
Anmeldedatum: 21.08.08
Wohnort: Stuttgart
Version: R2007a, R2008b
     Beitrag Verfasst am: 22.08.2008, 14:54     Titel:
  Antworten mit Zitat      
Hi Titus,

ist mir nun etwas peinlich...natürlich ist die Matrix nicht so groß. Hab jetzt die ganze Datei mit dlmread eingelesen. Funktioniert wunderbar!
Hab das bisher immer mit importdata versucht und da bricht er immer ab mit der Meldung zu wenig Speicher.

Jetzt läuft die Rechnung auch etwa schneller (anstatt vorher 15 Tage jetzt 12 Minuten). Danke!

Werde aber mal in einer ruhigen Minute schauen ob ich das mit dem Parallel trotzdem noch hin bekomme. Würde mich mal interessieren.

Gruß, Ben
Private Nachricht senden Benutzer-Profile anzeigen
 
Neues Thema eröffnen Neue Antwort erstellen



Einstellungen und Berechtigungen
Beiträge der letzten Zeit anzeigen:

Du kannst Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.
Du kannst Dateien in diesem Forum posten
Du kannst Dateien in diesem Forum herunterladen
.


goMatlab ist ein Teil des goForen-Labels
goForen.de goMATLAB.de goLaTeX.de


 Impressum  | Nutzungsbedingungen  | Datenschutz  | Werbung/Mediadaten | Studentenversion | FAQ | goMatlab RSS Button RSS


Copyright © 2007 - 2021 goMatlab.de | Dies ist keine offizielle Website der Firma The Mathworks
Partner: LabVIEWforum.de

MATLAB, Simulink, Stateflow, Handle Graphics, Real-Time Workshop, SimBiology, SimHydraulics, SimEvents, and xPC TargetBox are registered trademarks and The MathWorks, the L-shaped membrane logo, and Embedded MATLAB are trademarks of The MathWorks, Inc.