dWb+ Integration mit Cron, HTML

vorhergehende Artikel in: dWb+ Linux
11.08.2013

Die Anwendung dWb+ wird gerade in Richtung auf einfache Integration mit anderen IT-Systemkomponenten weiterentwickelt. Zwei neue Module in diese Richtung werden hier vorgestellt.

Dataflow Workbench dWb+

Cron

Diese Integration dient zunächst der einfachsten möglichen Integration: Cron sollte in der Lage sein, Workflows in dWb+ anzustoßen. Dabei war wichtig, daß dies bereits mit Linux-Bordmitteln möglich sein sollte - das bedeutet, daß nur dWb+ geändert werden durfte.

Die Lösung dafür war sehr einfach: es wurde ein Modul geschaffen, das einen Socket öffnet. Sobald sich ein Client mit diesem Socket verbindet, sendet das Modul die Adresse des Clients über einen Datenkanal an angeschlossene Module. Diese kann dann als einfacher Trigger benutzt werden.

Das Modul ist dann natürlich nicht auf Cron beschränkt, sondern könnte als Präprozessor für ein (sehr simples) Port-Knocking-Modul benutzt werden, welches die IP-Adresse und die zeitlichen Abstände zwischen den Signalen zur Bestimmung der Berechtigung auswertet.

Die Kopplung mit Cron geschieht über die Benutzung von netcat:

echo -n "" |nc <host> <port> 

HTML

Zur Arbeit mit HTML wurde ein Modul hinzugefügt, das es erlaubt, beliebige Inhalte aus HTML-Seiten zu extrahieren.

Hintergrund dazu war die Aufregung über die Abschaltung des Google RSS-Readers. Warum sollte man sich abhängig machen vom Bösen? Warum sich nicht selbst seinen eigenen RSS-Aggregator bauen? Dazu ist es lediglich nötig, die interessierende Seite zu analysieren und die neuesten Beiträge zu extrahieren.

Dazu wurde ein Modul geschaffen, das in der Lage ist, in einer über eine URL angegebenen HTML-Seite nach einem XPath-Ausdruck zu suchen und dessen Inhalt entsprechend des spezifizierten regulären Ausdrucks zu extrahieren.

Am Beispiel von heise.de würde dies wie folgt aussehen:

URL
http://www.heise.de
XPath
//h3/a/text()
Regex
(.)(.*)

Alle Artikel rss Wochenübersicht Monatsübersicht Codeberg Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Papers Februar 2021

    25.02.2021

    Auch wenn der Februar noch nicht ganz um ist haben sich bereits wieder - wie schon im Januar - vier Papers angefunden die ich hier kurz vorstellen möchte.

    Weiterlesen

Neueste Artikel

  • Asymmetrische Kryptographie

    Ich habe mich mit der Idee schon länger getragen: Nochmal einen Rundumschlag zu asymmetrischer Kryptographie zu machen. Dabei werde ich mich auf Demonstrationen der einzelnen Konzepte und Operationen mit Beispielcode konzentrieren und zu jedem der vorgestellten Konzepte mehr oder weniger ausführlich bezüglich der Einsatzszenarien und Vor- und Nachteile Stellung beziehen

    Weiterlesen
  • TLS mit alternativem Vertrauensmanagement

    Wie bereits angekündigt werde ich in den nächsten Wochen einige Aspekte asymmetrischer Kryptographie beschreiben. Der vorliegende Artikel erläutert nochmals eine Alternative zum klassischen Vertrauensmanagement und demonstriert die Implementierung in Java.

    Weiterlesen
  • Anzeigen (und Öffnen) der zuletzt modifizierten Dateien im aktuellen Verzeichnis mit (Neo)Vim

    Ich habe bereits in früheren Artikeln beschrieben, wie ich mich stückweise von diversen Plugins für (Neo)Vim entwöhnt habe. Dieses Mal habe ich nicht etwa ein Plugin ersetzt, sondern mir in einem der benutzten Plugins fehlende Funktionalität erkämpft...

    Weiterlesen

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muss damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen Codeberg-Repositories findet man hier.