dWb+ Integration mit Cron, HTML

vorhergehende Artikel in: dWb+ Linux
11.08.2013

Die Anwendung dWb+ wird gerade in Richtung auf einfache Integration mit anderen IT-Systemkomponenten weiterentwickelt. Zwei neue Module in diese Richtung werden hier vorgestellt.

Dataflow Workbench dWb+

Cron

Diese Integration dient zunächst der einfachsten möglichen Integration: Cron sollte in der Lage sein, Workflows in dWb+ anzustoßen. Dabei war wichtig, daß dies bereits mit Linux-Bordmitteln möglich sein sollte - das bedeutet, daß nur dWb+ geändert werden durfte.

Die Lösung dafür war sehr einfach: es wurde ein Modul geschaffen, das einen Socket öffnet. Sobald sich ein Client mit diesem Socket verbindet, sendet das Modul die Adresse des Clients über einen Datenkanal an angeschlossene Module. Diese kann dann als einfacher Trigger benutzt werden.

Das Modul ist dann natürlich nicht auf Cron beschränkt, sondern könnte als Präprozessor für ein (sehr simples) Port-Knocking-Modul benutzt werden, welches die IP-Adresse und die zeitlichen Abstände zwischen den Signalen zur Bestimmung der Berechtigung auswertet.

Die Kopplung mit Cron geschieht über die Benutzung von netcat:

echo -n "" |nc <host> <port> 

HTML

Zur Arbeit mit HTML wurde ein Modul hinzugefügt, das es erlaubt, beliebige Inhalte aus HTML-Seiten zu extrahieren.

Hintergrund dazu war die Aufregung über die Abschaltung des Google RSS-Readers. Warum sollte man sich abhängig machen vom Bösen? Warum sich nicht selbst seinen eigenen RSS-Aggregator bauen? Dazu ist es lediglich nötig, die interessierende Seite zu analysieren und die neuesten Beiträge zu extrahieren.

Dazu wurde ein Modul geschaffen, das in der Lage ist, in einer über eine URL angegebenen HTML-Seite nach einem XPath-Ausdruck zu suchen und dessen Inhalt entsprechend des spezifizierten regulären Ausdrucks zu extrahieren.

Am Beispiel von heise.de würde dies wie folgt aussehen:

URL
http://www.heise.de
XPath
//h3/a/text()
Regex
(.)(.*)

Alle Artikel rss Wochenübersicht Monatsübersicht Codeberg Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Precision Time Protocol

    15.10.2021

    Durch meinen Neffen wurde ich neulich auf ein Video im Internet aufmerksam gemacht, aus dem ich von der Existenz des Protokolls PTP oder Precision Time Protocol erfuhr. Hier einige Gedanken dazu

    Weiterlesen

Neueste Artikel

  • Präsentation zum Thema: Certificate and Signature Use Cases

    Eine Präsentation, die einige der Gesichtspunkte beleuchtet, die man beachten sollte, wenn man sich für elektronische Signaturen und Zertifikate in der eigenen Anwendung entscheidet. Weiterhin werden Möglichkeiten zur Benutzung aufgezeigt, die etwas weiter vom Mainstream entfernt sind.

    Weiterlesen
  • LinkCollections 2026 XI

    Nach der letzten losen Zusammenstellung (für mich) interessanter Links aus den Tiefen des Internet von 2026 folgt hier gleich die nächste:

    Weiterlesen
  • HexInspector Komponente in Java

    Als ich diese Lösung zur Darstellunbg und Analyse von beliebigen strukturierten Daten fand (das Beispiel erledigt das für ASN.1 kodierte Informationen), fasste ich den Entschluss, dass ich eine entsprechende Komponente in Java realisieren wollte.

    Weiterlesen

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muss damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen Codeberg-Repositories findet man hier.