atuin mittels /bin/bash?

vorhergehende Artikel in: Linux OpenSource TeleGrafana

02.03.2025

Ich wurde über Mastodon auf das Tool atuin aufmerksam - aber als ich mit die Beschreibung des Repository durchlas dachte ich, dass das doch auch ohne Rust funktionieren muss...

Der Screenshot zeigt die Häufigkeit benutzter Kommandos in der (zum Beispiel) Bash - filterbar nach diversen Gesichtspunkten.

Also versuchte ich zunächst mittels ganz normaler Kommandozeilenlogik die Häufigkeit benutzter Kommandos mittels history und ein paar anderer Kommandos zu ermitteln - das Ergebnis war:

history|tr -s ' '|cut -d ' ' -f 5|sort|uniq -c|tr -s ' '|sort -r -n -t' ' -k1|more

Achtung: Voraussetzung ist, die Umgebungsvariable $HISTTIMEFORMAT entsprechend korrekt zu setzen, also zum Beispiel HISTTIMEFORMAT="%F %T" bei mir.

Das Ergebnis könnte zum Beispiel so aussehen (die ersten 5 Zeilen):

 2376 git
 562 cd
 274 joe
 210 ls
 69 ping

Das ist schon ganz ok - aber man kann hier noch nicht filtern: es wird immer die gesamte History benutzt und Vergleiche - zum Beispiel zwischen diesem und dem Vormonat sind so nicht möglich. Aber Moment mal - gab es da nicht schon etwas Fertiges? Genau! Influxdb im Zusammenspiel mit Grafana!

Dazu müssten die Daten aber erst einmal in Influxdb hineinwandern. Glücklicherweise bietet Influxdb dafür eine einfache HTTP-Schnittstelle an - Daten, die im Lineprotocol formatiert sind lassen sich so sehr einfach - etwa mit wget oder curl in eine Influxdb-Instanz hochladen.

Und so kam ich zu folgendem Script, das eine Zeile der History verarbeitet und an Influxdb hochlädt (wenn man den Hostnamen und Port der URL korrekt anpasst):

#!/bin/bash

#https://stackoverflow.com/questions/296536/how-to-urlencode-data-for-curl-command
rawurlencode() {
  local string="${1}"
  local strlen=${#string}
  local encoded=""
  local pos c o

  for (( pos=0 ; pos<strlen ; pos++ )); do
     c=${string:$pos:1}
     case "$c" in
        [-_.~a-zA-Z0-9] ) o="${c}" ;;
        * )               printf -v o '%%%02x' "'$c"
     esac
     encoded+="${o}"
  done
  echo "${encoded}"    # You can either set a return variable (FASTER)
  REPLY="${encoded}"   #+or echo the result (EASIER)... or both... :p
}

lineformatencode() {
  local string="${1}"
  local strlen=${#string}
  local encoded=""
  local pos c o

  for (( pos=0 ; pos<strlen ; pos++ )); do
     c=${string:$pos:1}
     case "$c" in
        [+\Q/\E-_.~a-zA-Z0-9] ) o="$c" ;;
        * )               o="\\$c"
     esac
     encoded+="${o}"
  done
  echo "${encoded}"    # You can either set a return variable (FASTER)
  REPLY="${encoded}"   #+or echo the result (EASIER)... or both... :p
}

while IFS= read -r line
do
   timestamp=$(date --date="$(echo -n "$line"|tr -s ' '|cut -d ' ' -f 3,4|tail -n 1)" "+%s%N")
   parameters=$(echo -n "$line"|tr -s ' '|sed 's/|/ /'|cut -d ' ' -f 6-)
   commandline=$(echo -n "$line"|tr -s ' '|cut -d ' ' -f 5-)
   command=$(echo -n "$line"|tr -s ' '|sed 's/|/ /'|cut -d ' ' -f 5)

   encodedts=$( lineformatencode "$timestamp" )
   encodedp=$( lineformatencode "$parameters" )
   encodedcl=$( lineformatencode "$commandline" )
   encodedc=$( lineformatencode "$command" )

   curl -k -i --header 'Private-Token: xxxx-xxxx-xxxxxxxxxx' -XPOST http://<host>:<port>/write?db=monitoring --data-binary "history,command=$encodedc,commandline=$encodedcl,parameters=$encodedp coun
t=1 $encodedts"
done <"${1:-/proc/$$/fd/0}"

Es nimmt seinen Input aus stdin und kann zum Beispiel so angewendet werden (das measurement ist immer 1 und es werden für jeden History-Eintrag 3 Tags gespeichert:

command
commandline
parameters

history|./send_history_to_influx_4_grafana.sh

Und wenn man die Daten in Influxdb gespeichert hat, kann man eine entsprechende Auswertung durchführen- etwa mittels eines solchen Panels:

{
  "id": 2,
  "gridPos": {
    "h": 25,
    "w": 17,
    "x": 0,
    "y": 0
  },
  "type": "bargauge",
  "title": "Panel Title",
  "datasource": {
    "uid": "000000001",
    "type": "influxdb"
  },
  "fieldConfig": {
    "defaults": {
      "mappings": [],
      "thresholds": {
        "mode": "absolute",
        "steps": [
          {
            "value": null,
            "color": "green"
          },
          {
            "value": 80,
            "color": "red"
          }
        ]
      },
      "color": {
        "mode": "thresholds"
      }
    },
    "overrides": []
  },
  "options": {
    "reduceOptions": {
      "values": false,
      "calcs": [
        "lastNotNull"
      ],
      "fields": ""
    },
    "orientation": "horizontal",
    "displayMode": "lcd",
    "showUnfilled": true,
    "minVizWidth": 0,
    "minVizHeight": 14
  },
  "targets": [
    {
      "datasource": {
        "uid": "000000001",
        "type": "influxdb"
      },
      "groupBy": [
        {
          "type": "tag",
          "params": [
            "command"
          ]
        }
      ],
      "measurement": "history",
      "orderByTime": "ASC",
      "policy": "default",
      "refId": "A",
      "resultFormat": "time_series",
      "select": [
        [
          {
            "type": "field",
            "params": [
              "count"
            ]
          },
          {
            "type": "sum",
            "params": []
          }
        ]
      ],
      "tags": [],
      "query": "SELECT \"count\" FROM \"history\" GROUP BY \"command\"",
      "rawQuery": false,
      "alias": "$tag_command"
    }
  ],
  "pluginVersion": "9.3.2",
  "timeFrom": null,
  "timeShift": null
}

Damit kann man dann zum Beispiel eine solche Auswertung erstellen:

Screenshot Auswertung der Häufigkeit benutzter Kommandos in Grafana

Vor 5 Jahren hier im Blog

Precision Time Protocol

15.10.2021

Durch meinen Neffen wurde ich neulich auf ein Video im Internet aufmerksam gemacht, aus dem ich von der Existenz des Protokolls PTP oder Precision Time Protocol erfuhr. Hier einige Gedanken dazu
Weiterlesen

Neueste Artikel

HexInspector Komponente in Java

Als ich diese Lösung zur Darstellunbg und Analyse von beliebigen strukturierten Daten fand (das Beispiel erledigt das für ASN.1 kodierte Informationen), fasste ich den Entschluss, dass ich eine entsprechende Komponente in Java realisieren wollte.
Weiterlesen
sQLshell Version 7.9pre4 build 11358

Eine neue Version der sQLshell ist verfügbar!
Weiterlesen
Fallstudie elektronische Signatur

Ein Influenzer würde einen solchen Artikel beginnen mit "Ich werde immer wieder gefragt, warum..." Da ich keiner bin kann ich so etwas nicht tun – statt dessen erläutere ich einfach das Szenario: Ich pflege diverse Open Source Projekte, die sich mit PKI und kryptographischen Timestamps. Jedoch benutzt die sQLshell elektronische Signaturen nur für die Verteilung der diversen Plugins.
Weiterlesen

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muss damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen Codeberg-Repositories findet man hier.

atuin mittels /bin/bash?

Vor 5 Jahren hier im Blog

Tags

Neueste Artikel

Der Verfasser