Throttling in Java

vorhergehende Artikel in: Java Komponenten
25.09.2023

Während meiner Experimente mit der SpaceTraders API stieß ich auf den Auslöser einer weiteren kleinen Fingerübung in Java:

Dabei handelte es sich um den Fakt, dass die SpaceTraders API es nicht erlaubt, beliebig viele Anfragen pro Zeitenheit zu stellen. Zwischen zwei Anfragen muss eine gewisse Mindestzeitspanne liegen. Meine Idee, dies umzusetzen bestand darin, in meinem Code die API nicht direkt aufzurufen, sondern Datenobjekte, die API-Calls darstellen zu befüllen und diese in eine Warteschlange einzustellen.

Am anderen Ende der Warteschlange sollte die Komponente, die mit der eigentlichen API kommuniziert diese Objekte entnehmen und daraus die korrekten API-Calls erzeugen und ausführen. Die gesamte Interaktion mit der API würde dadurch asynchron verlaufen - damit würde die GUI auch sofort responsiver werden, da sie nicht mehr auf die Ergebnisse des API-Calls warten müsste, sondern sofort nach Einstellen des Objekts in die Warteschlange weiterarbeiten könnte. Das Ergebnis der API-Calls müsste dann in Callbacks verarbeitet werden.

Und das eigentliche Problem: Sicherzustellen - dass die API nicht mit Requests überrannt wird - könnte dan an zentraler Stelle erledigt werden: Die Warteschlange bräuchte ein Ventil, aus dem die Objekte nur mit einer einstellbaren maximalen Frequenz "herauströpfeln".

Eine Implementierung eines solchen Ventils ist hier angegeben: Es vermittelt zwischen zwei Warteschlangen: Es kopiert Elemente aus der Eingangswarteschlange in die Ausgangswarteschlange wobei die Frequenz konfigurierbar ist. es ist allerdings möglich, Bursts zu definieren: Damit ist es möglich, zu spezifizieren, dass die Frequenz zwar maximal drei Ereignisse pro Sekunde beträgt, allerdings in Ausnahmen bis zu 5 Ereignisse pro Sekunde möglich sind (CubbyHoles sind hier Warteschlangenimplementierungen):

import de.netsysit.util.threads.CubbyHole;
import java.time.Clock;

public class TimedThrottleValve<T> extends java.lang.Object implements java.lang.Runnable { private final static org.slf4j.Logger CLASS_LOGGER =org.slf4j.LoggerFactory.getLogger(TimedThrottleValve.class); private final static org.slf4j.Logger EXCEPTION_LOGGER =org.slf4j.LoggerFactory.getLogger("ExceptionCatcher"); private final long leastTimeBetweenTasks; private long lastGetTimestamp; private long burst; private final de.netsysit.util.threads.CubbyHole<T> entry; private final de.netsysit.util.threads.CubbyHole<T> exit; private long burstcounter;

public TimedThrottleValve(CubbyHole<T> entry, CubbyHole<T> exit, long leastTimeBetweenTasks) { this(entry,exit,leastTimeBetweenTasks,1); } public TimedThrottleValve(CubbyHole<T> entry, CubbyHole<T> exit, long leastTimeBetweenTasks, long burst) { super(); if(leastTimeBetweenTasks<0) throw new java.lang.IllegalArgumentException("leastTimeBetweenTasks must not be less than 0!"); if(burst<1) throw new java.lang.IllegalArgumentException("burst must not be less than 1!"); this.entry = entry; this.exit = exit; this.leastTimeBetweenTasks=leastTimeBetweenTasks; this.burst=burst; }

@Override public void run() { while(true) { try { T item=entry.get(); if(burstcounter<burst) ++burstcounter; long now = Clock.systemDefaultZone().millis(); long span = now - lastGetTimestamp; CLASS_LOGGER.debug("span {} burst{} burstcounter {}", span,burst,burstcounter); if (span >= leastTimeBetweenTasks) burstcounter=0; if(burstcounter==burst) { if (span < leastTimeBetweenTasks) { long l = leastTimeBetweenTasks - (now - lastGetTimestamp); CLASS_LOGGER.debug("Sleeping for {} millis...", l); java.lang.Thread.currentThread().sleep(leastTimeBetweenTasks); } } exit.put(item); lastGetTimestamp=Clock.systemDefaultZone().millis(); } catch(java.lang.InterruptedException exp) {

} } } }

Alle Artikel rss Wochenübersicht Monatsübersicht Codeberg Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Meta-Plugin neue Version

    01.08.2020

    Das Meta-Plugin der sQLshell wurde in einer neuen Version veröffentlicht

    Weiterlesen

Neueste Artikel

  • Ideen für die schnellere Beschaffung von Schulmaterialien

    Ich wurde auf ein Problem hingewiesen, das in meiner Welt bisher noch nie vorkam: Jedes Jahr erhält man als Eltern eine Liste von Dingen, die für die lieben Kleinen anzuschaffen sind, damit sie in der Schule mitarbeiten können.

    Weiterlesen
  • Remote Filesysteme als Docker-Volumes

    Ich habe in einem Tröt auf Mastodon gesehen, wie man remote Filesysteme als Docker-Volumes nutzen kann und wollte das selbst ausprobieren:

    Weiterlesen
  • sQLshell Version 7.7pre10 build 11049

    Eine neue Version der sQLshell ist verfügbar!

    Weiterlesen

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muss damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen Codeberg-Repositories findet man hier.