Growing Cell Structures - Grenzen

vorhergehende Artikel in: Rants
12.03.2017

Nachdem ich mich über den Jahreswechsel wieder einmal verstärkt mit meinem Projekt des Lernens verschiedener Programmiersprachen mittels komplexerer Beispiele gewidmet habe, gewann ich dabei - für mich - neue Einsichten:

Den Algorithmus hinter diesem Verfahren erklär ich mal hier nicht - den kann man in einschlägigen Büchern, Konferenzbeiträgen oder im Netz finden. Ich implementierte zunächst einmal völlig abstrakt das Netz aus m n-dimensionalen Simplices. Dazu schuf ich mir einige Unittests und die schlugen fehl.

Nachdem ich die Ursache dessen zunächst bei mir gesucht habe, stellte sich heraus, dass die Ursache dafür gar nicht bei mir lag: Die Operationen, die im originalen Paper von Fritzke für das Hinzufügen und Entfernen von Knoten genannt werden, sind nicht invers zueinander: Das Einfügen eines Knotens unterteilt alle Simplices, die die nunmehr geteilte Kante inkorporierten in jeweils 2 weitere, so dass mit jedem neuen Knoten eine Menge an neuen Simplices entsteht. Das Entfernen von Simplices jedoch versucht nicht, aus den übrig gebliebenen Resten wieder konsistente Simplices zu erzeugen: Kanten, die nicht mehr zu einem Simplex gehören, werden ebenso entfernt wie Knoten, die zu keiner Kante mehr gehören. Dadurch ist es aber möglich, dass das Entfernen von Knoten das gesamte Netzwerk zerstört. Genau das war der Grund für das Fehlschlagen meiner Unit-Tests.

Nun kann man dieses Verhalten nicht einfach ändern - dieses beschriebene Vorgehen sorgt dafür, dass das Netz in mehrere Teile zerfallen kann - Voraussetzung für das Feature, dass auch Eingaberäume ideal durch das Netzwerk abgebildet werden, in denen die Verteilung der Muster nicht-kontinuierlich ist.

Das führte mich zu einem weiteren Gedankenexperiment: Nach einem Zerfall des Netzwerkes ist es tatsächlich so, dass die beiden Teilnetzwerke durch den Lernalgorithmus sich einander durchdringen. Damit würden dann Neuronen im Eingangsraum eng beieinanderliegen, die in der Netzwerktopologie nicht nur nicht eng benachbart wären - sie hätten überhaupt keine Nachbarschaftsbeziehung mehr! Das Feature der topologieerhaltenden Abbildung - etwa bei Kohonens SOM - ist ja gerade, dass die Aktivierung benachbarter Zellen oder Knoten darauf hinweist, dass die Eingaben, die zu dieser Aktivierung geführt haben, im Eingaberaum ebenfalls eng benachbart und damit einander ähnlich sind.

Die Growing Cell Structures von Fritzke können nach dem Zerfall in mehrere Teilnetze dies nur noch lokal von sich behaupten.

Alle Artikel rss Wochenübersicht Monatsübersicht Codeberg Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Ticketsysteme sind lebende Wesen

    29.03.2020

    Hier zunächst wieder eine Triggerwarnung: Dieser Artikel wird meine Meinung abbilden. es kann sein, dass sie dem einen oder anderen nicht gefällt - das ist mir aber egal. Und wenn hier irgendwelche Schneeflocken mitlesen, dann sind die selber schuld.

    Weiterlesen...

Neueste Artikel

  • Weitere Experimente mit dem Clifford-Attractor

    Ich berichtete hier bereits über Experimente mit dem Clifford-Attractor, allerdings war ich noch Experimente unter geringfügig geänderten Parametern schuldig...

    Weiterlesen
  • Neues Feature in meinem Static Site Generator: externe URLs

    Es wurde wieder einmal Zeit für ein neues Feature in meinem Static Site Generator mittels dessen ich ja auch meine Heimatseite im Zwischennetz gestalte und verwalte...

    Weiterlesen
  • Eine Bestandsaufnahme

    Es kamen mehrere Faktoren zusammen: die Tatsache, dass ich nicht mehr ganz so kürzlich die 50 überschritten habe hatte ebenso darauf Einfluss wie das heutige trübe Wetter und auch der Fakt, dass ich bereits beinahe alle Wochenendpflichten erledigt habe. Der letzte Stein des Anstoßes war dann aber, dass sich heute zum 125. Mal der Geburtstag von Erich Fromm jährt.

    Weiterlesen

jürgen key

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muss damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen Codeberg-Repositories findet man hier.