Throttling in Java

vorhergehende Artikel in: Java Komponenten
25.09.2023

Während meiner Experimente mit der SpaceTraders API stieß ich auf den Auslöser einer weiteren kleinen Fingerübung in Java:

Dabei handelte es sich um den Fakt, dass die SpaceTraders API es nicht erlaubt, beliebig viele Anfragen pro Zeitenheit zu stellen. Zwischen zwei Anfragen muss eine gewisse Mindestzeitspanne liegen. Meine Idee, dies umzusetzen bestand darin, in meinem Code die API nicht direkt aufzurufen, sondern Datenobjekte, die API-Calls darstellen zu befüllen und diese in eine Warteschlange einzustellen.

Am anderen Ende der Warteschlange sollte die Komponente, die mit der eigentlichen API kommuniziert diese Objekte entnehmen und daraus die korrekten API-Calls erzeugen und ausführen. Die gesamte Interaktion mit der API würde dadurch asynchron verlaufen - damit würde die GUI auch sofort responsiver werden, da sie nicht mehr auf die Ergebnisse des API-Calls warten müsste, sondern sofort nach Einstellen des Objekts in die Warteschlange weiterarbeiten könnte. Das Ergebnis der API-Calls müsste dann in Callbacks verarbeitet werden.

Und das eigentliche Problem: Sicherzustellen - dass die API nicht mit Requests überrannt wird - könnte dan an zentraler Stelle erledigt werden: Die Warteschlange bräuchte ein Ventil, aus dem die Objekte nur mit einer einstellbaren maximalen Frequenz "herauströpfeln".

Eine Implementierung eines solchen Ventils ist hier angegeben: Es vermittelt zwischen zwei Warteschlangen: Es kopiert Elemente aus der Eingangswarteschlange in die Ausgangswarteschlange wobei die Frequenz konfigurierbar ist. es ist allerdings möglich, Bursts zu definieren: Damit ist es möglich, zu spezifizieren, dass die Frequenz zwar maximal drei Ereignisse pro Sekunde beträgt, allerdings in Ausnahmen bis zu 5 Ereignisse pro Sekunde möglich sind (CubbyHoles sind hier Warteschlangenimplementierungen):

import de.netsysit.util.threads.CubbyHole;
import java.time.Clock;

public class TimedThrottleValve<T> extends java.lang.Object implements java.lang.Runnable { private final static org.slf4j.Logger CLASS_LOGGER =org.slf4j.LoggerFactory.getLogger(TimedThrottleValve.class); private final static org.slf4j.Logger EXCEPTION_LOGGER =org.slf4j.LoggerFactory.getLogger("ExceptionCatcher"); private final long leastTimeBetweenTasks; private long lastGetTimestamp; private long burst; private final de.netsysit.util.threads.CubbyHole<T> entry; private final de.netsysit.util.threads.CubbyHole<T> exit; private long burstcounter;

public TimedThrottleValve(CubbyHole<T> entry, CubbyHole<T> exit, long leastTimeBetweenTasks) { this(entry,exit,leastTimeBetweenTasks,1); } public TimedThrottleValve(CubbyHole<T> entry, CubbyHole<T> exit, long leastTimeBetweenTasks, long burst) { super(); if(leastTimeBetweenTasks<0) throw new java.lang.IllegalArgumentException("leastTimeBetweenTasks must not be less than 0!"); if(burst<1) throw new java.lang.IllegalArgumentException("burst must not be less than 1!"); this.entry = entry; this.exit = exit; this.leastTimeBetweenTasks=leastTimeBetweenTasks; this.burst=burst; }

@Override public void run() { while(true) { try { T item=entry.get(); if(burstcounter<burst) ++burstcounter; long now = Clock.systemDefaultZone().millis(); long span = now - lastGetTimestamp; CLASS_LOGGER.debug("span {} burst{} burstcounter {}", span,burst,burstcounter); if (span >= leastTimeBetweenTasks) burstcounter=0; if(burstcounter==burst) { if (span < leastTimeBetweenTasks) { long l = leastTimeBetweenTasks - (now - lastGetTimestamp); CLASS_LOGGER.debug("Sleeping for {} millis...", l); java.lang.Thread.currentThread().sleep(leastTimeBetweenTasks); } } exit.put(item); lastGetTimestamp=Clock.systemDefaultZone().millis(); } catch(java.lang.InterruptedException exp) {

} } } }

Alle Artikel rss Wochenübersicht Monatsübersicht Codeberg Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Demonstration und Beispiele für die Nutzung eines RFC3161-Servers aus Java heraus

    15.05.2021

    Ich habe ein Begleitprojekt zu meiner Implementierung meines Timestamping Server Projekts erstellt: eine Demonstration und ein Beispiel dafür, wie man einen solchen Timestamping-Server von Java aus nutzen kann.

    Weiterlesen

Neueste Artikel

  • Asymmetrische Kryptographie

    Ich habe mich mit der Idee schon länger getragen: Nochmal einen Rundumschlag zu asymmetrischer Kryptographie zu machen. Dabei werde ich mich auf Demonstrationen der einzelnen Konzepte und Operationen mit Beispielcode konzentrieren und zu jedem der vorgestellten Konzepte mehr oder weniger ausführlich bezüglich der Einsatzszenarien und Vor- und Nachteile Stellung beziehen

    Weiterlesen
  • Absichern von Truststores und Keystores

    Hin und wieder erlebe ich es persönlich oder lese davon, dass jemand die Frage stellt, wie kryptographische Geheimnisse gesichert werden können. Ich gebe hier mal einen Anstoß, darüber aus der Sicht der Software-Architektur auf Systemebene nachzudenken...

    Weiterlesen
  • Futro-Thin-Clients und PCI Express Mini Cards

    Ich habe mich von einigen Artikeln anderer Besitzer und Upcycler von Futro-Thin-Clients inspirieren lassen - das hat dazu geführt, dass ich von meinem eigentlichen Projekt (Bauen eines kleinen Clusters) abgekommen bin und die Hardware ein wenig genauer unter die Lupe genommen habe...

    Weiterlesen

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muss damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen Codeberg-Repositories findet man hier.