Parallelisierung mit definierter Resultatsreihenfolge

vorhergehende Artikel in: Java Komponenten
11.10.2015

Bereits einige Zeit vor Callable, Future und den ganzen anderen neuen interessanten Klassen im Zusammenhang mit Threads machte ich mir Gedanken über die Möglichkeit, Threads parallel auszuführen, ihre Ergebnisse aber in ihrer Startreihenfolge präsentiert zu bekommen. Nachdem ich die praktische Umsetzung jetzt in dWb+ integriert habe hier die technischen Grundlagen

Herausforderung

Es geht dabei darum, Arbeiten parallel auszuführen, die viel Wartezeit beinhalten (Beispiel: Download via DSL-1000), aber in ihrer Gesamtheit lange dauern. Um im Beispiel zu bleiben: Man könnte mehrere Downloads parallel starten und auf ihre jeweiligen Ergebnisse warten.

Ist man aber auf die Ergebnisse in der Reihenfolge angewiesen, in der die parallelen Bearbeitungen gestartet wurden, reichen Threads nicht aus - bei denen ist es nämlich nicht sicher, welcher zuerst und welcher danach fertig wird.

(Meine) Lösung

Ich habe ein Interface namens Workload definiert, das im Wesentlichen eine Erweiterung des Interface Runnable darstellt, aber ein weiteres Runnable liefert - ich nenne das das Sequential.

Eine Klasse, die die Arbeit damit unterstützt, ist der ParallelSequentialManager. Der tut im Prinzip nichts anderes, als die Workloads in Threads zu packen und diese zu starten. Gleichzeitig läuft in ihm ein Thread, der sich aus einer Queue Runnables holt und diese abarbeitet. Diese Runnables warten wiederum auf einen join eines anderen Runnables - das ist der eigentliche Workload.

Damit funktioniert die ganze Sache wie folgt:

  • Workload 1 wird gestartet
  • Sequential 1 wird geholt und ausgeführt, wartet auf join von Workload 1
  • Workload 2 wird gestartet, Sequential 2 wird in Queue eingefügt
  • Workload 3 wird gestartet, Sequential 3 wird in Queue eingefügt
  • Workload 2 wird beendet
  • Workload 1 wird beendet - damit wird Sequential 1 fertig ausgeführt
  • Sequential 2 wird aus der Queue geholt und ausgeführt
  • Da Workload 2 bereits beendet, wird Sequential 2 sofort fertig ausgeführt
  • ...
Unten findet man den Code von Workload und ParallelSequentialManager angehängt.

Lizenz
Workload
ParallelSequentialManager

Alle Artikel rss Wochenübersicht Monatsübersicht Codeberg Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Links - Verschiedenes

    03.11.2020

    Hier einmal einige Links, die einfach in keine Kategorie passen...

    Weiterlesen

Neueste Artikel

  • Immich, Karakeep und Radicale neu im Docker-Zoo

    Ich habe längere Zeit keine Erweiterung meines Docker-Zoos vorgenommen - auch weil ich mir einige konzeptionelle Gedanken dazu gemacht habe. Aber ich habe auch Ideen gesammelt, was in meinem @homelab noch fehlt und was dringend ergänzt werden sollte.

    Weiterlesen
  • Thin Client als Notfall-NAS?

    Eine Diskussion brachte mich neulich auf eine Idee - und im Urlaub hatte ich an einem regnerischen Tag genug Zeit, die entsprechenden Experimente zu machen...

    Weiterlesen
  • Cloud - das unentdeckte Neuland (oder FDP: Digital first, Bedenken second)...

    Nachdem die Öffentlichkeit letzte Woche wieder mal mitgekriegt haben sollte, dass die Konzentration in der Cloud Schwachsinn ist und - vielleicht nicht - die ganze Öffentlichkeit vor zwei Wochen wieder einmal herzlich gelacht hat über die, die dennoch alles in die Cloud auslagern, aber offensichtlich nicht verstehen, wie sie funktioniert - hier einige Gedanken von mir dazu...

    Weiterlesen

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muss damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen Codeberg-Repositories findet man hier.