dWb+ Integration mit Cron, HTML

vorhergehende Artikel in: dWb+ Linux
11.08.2013

Die Anwendung dWb+ wird gerade in Richtung auf einfache Integration mit anderen IT-Systemkomponenten weiterentwickelt. Zwei neue Module in diese Richtung werden hier vorgestellt.

Dataflow Workbench dWb+

Cron

Diese Integration dient zunächst der einfachsten möglichen Integration: Cron sollte in der Lage sein, Workflows in dWb+ anzustoßen. Dabei war wichtig, daß dies bereits mit Linux-Bordmitteln möglich sein sollte - das bedeutet, daß nur dWb+ geändert werden durfte.

Die Lösung dafür war sehr einfach: es wurde ein Modul geschaffen, das einen Socket öffnet. Sobald sich ein Client mit diesem Socket verbindet, sendet das Modul die Adresse des Clients über einen Datenkanal an angeschlossene Module. Diese kann dann als einfacher Trigger benutzt werden.

Das Modul ist dann natürlich nicht auf Cron beschränkt, sondern könnte als Präprozessor für ein (sehr simples) Port-Knocking-Modul benutzt werden, welches die IP-Adresse und die zeitlichen Abstände zwischen den Signalen zur Bestimmung der Berechtigung auswertet.

Die Kopplung mit Cron geschieht über die Benutzung von netcat:

echo -n "" |nc <host> <port> 

HTML

Zur Arbeit mit HTML wurde ein Modul hinzugefügt, das es erlaubt, beliebige Inhalte aus HTML-Seiten zu extrahieren.

Hintergrund dazu war die Aufregung über die Abschaltung des Google RSS-Readers. Warum sollte man sich abhängig machen vom Bösen? Warum sich nicht selbst seinen eigenen RSS-Aggregator bauen? Dazu ist es lediglich nötig, die interessierende Seite zu analysieren und die neuesten Beiträge zu extrahieren.

Dazu wurde ein Modul geschaffen, das in der Lage ist, in einer über eine URL angegebenen HTML-Seite nach einem XPath-Ausdruck zu suchen und dessen Inhalt entsprechend des spezifizierten regulären Ausdrucks zu extrahieren.

Am Beispiel von heise.de würde dies wie folgt aussehen:

URL
http://www.heise.de
XPath
//h3/a/text()
Regex
(.)(.*)

Alle Artikel rss Wochenübersicht Monatsübersicht Codeberg Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Multi-User-WebDAV, Docker, GitHub

    17.11.2019

    Nachdem ich mich in letzter Zeit verstärkt mit Docker und dem zugehörigen Ökosystem beschäftige, habe ich begonnen, verschiedenste Dienste in Containern zu testen um zu sehen, ob in manchen Fällen LXC oder KVM nicht doch die bessere Wahl wäre...

    Weiterlesen...

Neueste Artikel

  • Migration der Webseite und aller OpenSource Projekte

    In eigener Sache...

    Weiterlesen...
  • AutoHideToolbar für Java Swing

    Ich habe eine neue Java Swing Komponente erstellt: Es handelt sich um einen Wrapper für von JToolBar abgeleitete Klassen, die die Werkzeugleiste minimieren und sie nur dann einblenden, wenn der Mauszeiger über ihnen schwebt.

    Weiterlesen...
  • Integration von EBMap4D in die sQLshell

    Ich habe bereits in einem früheren Artikel über meine ersten Erfolge berichtet, der sQLshell auf Basis des bestehenden Codes aus dem Projekt EBMap4D eine bessere Integration für Geo-Daten zu spendieren und entsprechende Abfragen, bzw. deren Ergebnisse auf einer Kartenansicht zu visualisieren.

    Weiterlesen...

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muss damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen Codeberg-Repositories findet man hier.