dWb+ Integration mit Cron, HTML

vorhergehende Artikel in: dWb+ Linux
11.08.2013

Die Anwendung dWb+ wird gerade in Richtung auf einfache Integration mit anderen IT-Systemkomponenten weiterentwickelt. Zwei neue Module in diese Richtung werden hier vorgestellt.

Dataflow Workbench dWb+

Cron

Diese Integration dient zunächst der einfachsten möglichen Integration: Cron sollte in der Lage sein, Workflows in dWb+ anzustoßen. Dabei war wichtig, daß dies bereits mit Linux-Bordmitteln möglich sein sollte - das bedeutet, daß nur dWb+ geändert werden durfte.

Die Lösung dafür war sehr einfach: es wurde ein Modul geschaffen, das einen Socket öffnet. Sobald sich ein Client mit diesem Socket verbindet, sendet das Modul die Adresse des Clients über einen Datenkanal an angeschlossene Module. Diese kann dann als einfacher Trigger benutzt werden.

Das Modul ist dann natürlich nicht auf Cron beschränkt, sondern könnte als Präprozessor für ein (sehr simples) Port-Knocking-Modul benutzt werden, welches die IP-Adresse und die zeitlichen Abstände zwischen den Signalen zur Bestimmung der Berechtigung auswertet.

Die Kopplung mit Cron geschieht über die Benutzung von netcat:

echo -n "" |nc <host> <port> 

HTML

Zur Arbeit mit HTML wurde ein Modul hinzugefügt, das es erlaubt, beliebige Inhalte aus HTML-Seiten zu extrahieren.

Hintergrund dazu war die Aufregung über die Abschaltung des Google RSS-Readers. Warum sollte man sich abhängig machen vom Bösen? Warum sich nicht selbst seinen eigenen RSS-Aggregator bauen? Dazu ist es lediglich nötig, die interessierende Seite zu analysieren und die neuesten Beiträge zu extrahieren.

Dazu wurde ein Modul geschaffen, das in der Lage ist, in einer über eine URL angegebenen HTML-Seite nach einem XPath-Ausdruck zu suchen und dessen Inhalt entsprechend des spezifizierten regulären Ausdrucks zu extrahieren.

Am Beispiel von heise.de würde dies wie folgt aussehen:

URL
http://www.heise.de
XPath
//h3/a/text()
Regex
(.)(.*)

Alle Artikel rss Wochenübersicht Monatsübersicht Codeberg Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • OAuth und OTP

    16.02.2020

    Wie bereits beschrieben will ich mich demnächst näher mit OAuth befassen...

    Weiterlesen...

Neueste Artikel

  • Split von Filesets in Apache ANT

    Ich musste neulich darüber nachdenken, eine Parallelisierung für einen meiner ANT-Tasks in meinem Static Site Generator einzubauen.

    Weiterlesen
  • Ein Doclet zur Erzeugung von DocBook aus Javadoc

    Ich habe mich mit der Idee zu diesem Projekt Monate abgequält - hätte ich gewusst, was die eigentliche Implementierung für Qualen verursachen würde, hätte ich sie wahrscheinlich eingestampft.

    Weiterlesen
  • Motion JPEG Erzeugung aus Java heraus

    Da ich mich in den letzten Wochen wieder einmal mit Javas Sicherheitsmechanismen und dem Erzeugen von Animationen beschäftigt habe, habe ich den Entschluss gefasst, die bisher mittels JMF AVIs in dWb+ zu erstetzen - nur wodurch?

    Weiterlesen

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muss damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen Codeberg-Repositories findet man hier.