|
|
|
Parallel Computing Toolbox |
|
| ben |
Forum-Anfänger
|
 |
Beiträge: 28
|
|
|
|
Anmeldedatum: 21.08.08
|
|
|
|
Wohnort: Stuttgart
|
|
|
|
Version: R2007a, R2008b
|
|
|
|
 |
|
Verfasst am: 21.08.2008, 09:22
Titel: Parallel Computing Toolbox
|
 |
| |
 |
 |
Hi,
mir hat das Forum jetzt schon viel geholfen, jedoch konnte ich hier noch nichts über die Parallel Computing Toolbox finden. Hat schon mal jemand hiermit gearbeitet?
Ich will aus einer csv Datei mit mehr als 60000 Spalten und 37 Zeilen immer eine Spalte auslesen und diese mit 4 Vektoren vergleichen. Hierfür benötigt mein Rechner etwa 6 Tage.
Ich lese die Spalten über dlmread aus, was wohl der Grund für die lange Zeit ist. Mit dem Befehl kann ich genau bestimmen welche Spalte ich haben will. Mit textread, fopen usw. konnte ich das nicht so wirklich machen (vll war ich auch einfach zu doof). 
Nun habe ich nach Lösungen gesucht die Arbeit auf mehrere Rechner zu verteilen.
1. Da gibt es zum einen die oben genannte Toolbox, die muss man aber auch erst mal haben.
2. Dann gibt es für Mac OS xgrid, hierfür braucht man erst mal einen Mac.
3. Dann gibt es von Microsoft den HPC (High Performance Computing) Server, hierfür benötigt man einen Server mit einem 64 Bit CPU.
4. Linux kann da wohl auch einiges, nicht weiter gesucht, weil ich auch keinen Linux Rechner / Server habe.
Ich verstehe das nicht, es muss doch einfach ein Programm geben, das in einem bestehenden Netzwerk die Rechenleistung verteilen kann. Die mit dem Apfel können das, sogar irgendwelche Videoencoder Programme können so was schon. Einige spezielle Programme machen dies für den Eigengebrauch sogar schon übers Internet (Einstein@home und viele mehr). Die Problematik mit dem übers Internet kenne ich.
Condor ist scheinbar ein Programm, was in die Richtung geht, hab es aber Gestern nicht zum laufen bekommen, werde das heute noch mal versuchen.
Kennt einer von Euch vll ein solches Programm, was das kann? Für Windows Rechner ohne Server! Denke hier gibt es einige, die auch mal große Auswertungen laufen lassen müssen. Wie macht ihr das? Viel Kaffee trinken in der Zeit? 
Hab mir auch Gestern mal die Toolbox angeschaut, da bin ich aber gar nicht durchgestiegen, hätte gerne etwas, was das automatisch macht.
Ich weiß, das Thema passt nicht so richtig hier rein, dachte aber hier einige Interessenten zu finden, die ähnliche Probleme haben und Lust an einem regen Informationsaustausch haben.
Gruß, Benjamin
|
|
|
|
|
|
| Titus |
Forum-Meister
|
|
Beiträge: 871
|
|
|
|
Anmeldedatum: 19.07.07
|
|
|
|
Wohnort: Aachen
|
|
|
|
Version: ---
|
|
|
|
|
|
|
Verfasst am: 22.08.2008, 12:29
Titel:
|
|
Hallo,
zum Thema Parallel Computing Toolbox: so eine Anwendung ist in gewissem Sinne optimal für die Toolbox, da sich das Problem leicht parallelisieren läßt: im einfachsten Falle würde sich der Code
durch Abändern auf
parallelisieren.
Ansonsten: was spricht dagegen, die ganze Datei auf einmal einzulesen und dann zu bearbeiten? Im Speicher dürfte sie doch "nur"
60000*37*8 Byte = 16.9 MByte belegen...?
Titus
- da die Spalten sehr kurz sind, würde ich immer vielleicht 1000 auf einmal einlesen
Titus
|
|
|
|
| ben |
Themenstarter
Forum-Anfänger
|
|
Beiträge: 28
|
|
|
|
Anmeldedatum: 21.08.08
|
|
|
|
Wohnort: Stuttgart
|
|
|
|
Version: R2007a, R2008b
|
|
|
|
|
|
|
Verfasst am: 22.08.2008, 14:54
Titel:
|
|
Hi Titus,
ist mir nun etwas peinlich...natürlich ist die Matrix nicht so groß. Hab jetzt die ganze Datei mit dlmread eingelesen. Funktioniert wunderbar!
Hab das bisher immer mit importdata versucht und da bricht er immer ab mit der Meldung zu wenig Speicher.
Jetzt läuft die Rechnung auch etwa schneller (anstatt vorher 15 Tage jetzt 12 Minuten). Danke!
Werde aber mal in einer ruhigen Minute schauen ob ich das mit dem Parallel trotzdem noch hin bekomme. Würde mich mal interessieren.
Gruß, Ben
|
|
|
|
|
|
|
Einstellungen und Berechtigungen
|
|
Du kannst Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.
Du kannst Dateien in diesem Forum posten
Du kannst Dateien in diesem Forum herunterladen
|
|
Impressum
| Nutzungsbedingungen
| Datenschutz
| FAQ
|  RSS
Hosted by:
Copyright © 2007 - 2024
goMatlab.de | Dies ist keine offizielle Website der Firma The Mathworks
MATLAB, Simulink, Stateflow, Handle Graphics, Real-Time Workshop, SimBiology, SimHydraulics, SimEvents, and xPC TargetBox are registered trademarks and The MathWorks, the L-shaped membrane logo, and Embedded MATLAB are trademarks of The MathWorks, Inc.
|
|
