Throttling in Java

vorhergehende Artikel in: Java Komponenten
25.09.2023

Während meiner Experimente mit der SpaceTraders API stieß ich auf den Auslöser einer weiteren kleinen Fingerübung in Java:

Dabei handelte es sich um den Fakt, dass die SpaceTraders API es nicht erlaubt, beliebig viele Anfragen pro Zeitenheit zu stellen. Zwischen zwei Anfragen muss eine gewisse Mindestzeitspanne liegen. Meine Idee, dies umzusetzen bestand darin, in meinem Code die API nicht direkt aufzurufen, sondern Datenobjekte, die API-Calls darstellen zu befüllen und diese in eine Warteschlange einzustellen.

Am anderen Ende der Warteschlange sollte die Komponente, die mit der eigentlichen API kommuniziert diese Objekte entnehmen und daraus die korrekten API-Calls erzeugen und ausführen. Die gesamte Interaktion mit der API würde dadurch asynchron verlaufen - damit würde die GUI auch sofort responsiver werden, da sie nicht mehr auf die Ergebnisse des API-Calls warten müsste, sondern sofort nach Einstellen des Objekts in die Warteschlange weiterarbeiten könnte. Das Ergebnis der API-Calls müsste dann in Callbacks verarbeitet werden.

Und das eigentliche Problem: Sicherzustellen - dass die API nicht mit Requests überrannt wird - könnte dan an zentraler Stelle erledigt werden: Die Warteschlange bräuchte ein Ventil, aus dem die Objekte nur mit einer einstellbaren maximalen Frequenz "herauströpfeln".

Eine Implementierung eines solchen Ventils ist hier angegeben: Es vermittelt zwischen zwei Warteschlangen: Es kopiert Elemente aus der Eingangswarteschlange in die Ausgangswarteschlange wobei die Frequenz konfigurierbar ist. es ist allerdings möglich, Bursts zu definieren: Damit ist es möglich, zu spezifizieren, dass die Frequenz zwar maximal drei Ereignisse pro Sekunde beträgt, allerdings in Ausnahmen bis zu 5 Ereignisse pro Sekunde möglich sind (CubbyHoles sind hier Warteschlangenimplementierungen):

import de.netsysit.util.threads.CubbyHole;
import java.time.Clock;

public class TimedThrottleValve<T> extends java.lang.Object implements java.lang.Runnable { private final static org.slf4j.Logger CLASS_LOGGER =org.slf4j.LoggerFactory.getLogger(TimedThrottleValve.class); private final static org.slf4j.Logger EXCEPTION_LOGGER =org.slf4j.LoggerFactory.getLogger("ExceptionCatcher"); private final long leastTimeBetweenTasks; private long lastGetTimestamp; private long burst; private final de.netsysit.util.threads.CubbyHole<T> entry; private final de.netsysit.util.threads.CubbyHole<T> exit; private long burstcounter;

public TimedThrottleValve(CubbyHole<T> entry, CubbyHole<T> exit, long leastTimeBetweenTasks) { this(entry,exit,leastTimeBetweenTasks,1); } public TimedThrottleValve(CubbyHole<T> entry, CubbyHole<T> exit, long leastTimeBetweenTasks, long burst) { super(); if(leastTimeBetweenTasks<0) throw new java.lang.IllegalArgumentException("leastTimeBetweenTasks must not be less than 0!"); if(burst<1) throw new java.lang.IllegalArgumentException("burst must not be less than 1!"); this.entry = entry; this.exit = exit; this.leastTimeBetweenTasks=leastTimeBetweenTasks; this.burst=burst; }

@Override public void run() { while(true) { try { T item=entry.get(); if(burstcounter<burst) ++burstcounter; long now = Clock.systemDefaultZone().millis(); long span = now - lastGetTimestamp; CLASS_LOGGER.debug("span {} burst{} burstcounter {}", span,burst,burstcounter); if (span >= leastTimeBetweenTasks) burstcounter=0; if(burstcounter==burst) { if (span < leastTimeBetweenTasks) { long l = leastTimeBetweenTasks - (now - lastGetTimestamp); CLASS_LOGGER.debug("Sleeping for {} millis...", l); java.lang.Thread.currentThread().sleep(leastTimeBetweenTasks); } } exit.put(item); lastGetTimestamp=Clock.systemDefaultZone().millis(); } catch(java.lang.InterruptedException exp) {

} } } }

Alle Artikel rss Wochenübersicht Monatsübersicht Codeberg Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Ticketsysteme sind lebende Wesen

    29.03.2020

    Hier zunächst wieder eine Triggerwarnung: Dieser Artikel wird meine Meinung abbilden. es kann sein, dass sie dem einen oder anderen nicht gefällt - das ist mir aber egal. Und wenn hier irgendwelche Schneeflocken mitlesen, dann sind die selber schuld.

    Weiterlesen...

Neueste Artikel

  • Weitere Experimente mit dem Clifford-Attractor

    Ich berichtete hier bereits über Experimente mit dem Clifford-Attractor, allerdings war ich noch Experimente unter geringfügig geänderten Parametern schuldig...

    Weiterlesen
  • Neues Feature in meinem Static Site Generator: externe URLs

    Es wurde wieder einmal Zeit für ein neues Feature in meinem Static Site Generator mittels dessen ich ja auch meine Heimatseite im Zwischennetz gestalte und verwalte...

    Weiterlesen
  • Eine Bestandsaufnahme

    Es kamen mehrere Faktoren zusammen: die Tatsache, dass ich nicht mehr ganz so kürzlich die 50 überschritten habe hatte ebenso darauf Einfluss wie das heutige trübe Wetter und auch der Fakt, dass ich bereits beinahe alle Wochenendpflichten erledigt habe. Der letzte Stein des Anstoßes war dann aber, dass sich heute zum 125. Mal der Geburtstag von Erich Fromm jährt.

    Weiterlesen

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muss damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen Codeberg-Repositories findet man hier.