Growing Cell Structures - Grenzen

vorhergehende Artikel in: Rants
12.03.2017

Nachdem ich mich über den Jahreswechsel wieder einmal verstärkt mit meinem Projekt des Lernens verschiedener Programmiersprachen mittels komplexerer Beispiele gewidmet habe, gewann ich dabei - für mich - neue Einsichten:

Den Algorithmus hinter diesem Verfahren erklär ich mal hier nicht - den kann man in einschlägigen Büchern, Konferenzbeiträgen oder im Netz finden. Ich implementierte zunächst einmal völlig abstrakt das Netz aus m n-dimensionalen Simplices. Dazu schuf ich mir einige Unittests und die schlugen fehl.

Nachdem ich die Ursache dessen zunächst bei mir gesucht habe, stellte sich heraus, dass die Ursache dafür gar nicht bei mir lag: Die Operationen, die im originalen Paper von Fritzke für das Hinzufügen und Entfernen von Knoten genannt werden, sind nicht invers zueinander: Das Einfügen eines Knotens unterteilt alle Simplices, die die nunmehr geteilte Kante inkorporierten in jeweils 2 weitere, so dass mit jedem neuen Knoten eine Menge an neuen Simplices entsteht. Das Entfernen von Simplices jedoch versucht nicht, aus den übrig gebliebenen Resten wieder konsistente Simplices zu erzeugen: Kanten, die nicht mehr zu einem Simplex gehören, werden ebenso entfernt wie Knoten, die zu keiner Kante mehr gehören. Dadurch ist es aber möglich, dass das Entfernen von Knoten das gesamte Netzwerk zerstört. Genau das war der Grund für das Fehlschlagen meiner Unit-Tests.

Nun kann man dieses Verhalten nicht einfach ändern - dieses beschriebene Vorgehen sorgt dafür, dass das Netz in mehrere Teile zerfallen kann - Voraussetzung für das Feature, dass auch Eingaberäume ideal durch das Netzwerk abgebildet werden, in denen die Verteilung der Muster nicht-kontinuierlich ist.

Das führte mich zu einem weiteren Gedankenexperiment: Nach einem Zerfall des Netzwerkes ist es tatsächlich so, dass die beiden Teilnetzwerke durch den Lernalgorithmus sich einander durchdringen. Damit würden dann Neuronen im Eingangsraum eng beieinanderliegen, die in der Netzwerktopologie nicht nur nicht eng benachbart wären - sie hätten überhaupt keine Nachbarschaftsbeziehung mehr! Das Feature der topologieerhaltenden Abbildung - etwa bei Kohonens SOM - ist ja gerade, dass die Aktivierung benachbarter Zellen oder Knoten darauf hinweist, dass die Eingaben, die zu dieser Aktivierung geführt haben, im Eingaberaum ebenfalls eng benachbart und damit einander ähnlich sind.

Die Growing Cell Structures von Fritzke können nach dem Zerfall in mehrere Teilnetze dies nur noch lokal von sich behaupten.

Alle Artikel rss Wochenübersicht Monatsübersicht Codeberg Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Multi-User-WebDAV, Docker, GitHub

    17.11.2019

    Nachdem ich mich in letzter Zeit verstärkt mit Docker und dem zugehörigen Ökosystem beschäftige, habe ich begonnen, verschiedenste Dienste in Containern zu testen um zu sehen, ob in manchen Fällen LXC oder KVM nicht doch die bessere Wahl wäre...

    Weiterlesen...

Neueste Artikel

  • Migration der Webseite und aller OpenSource Projekte

    In eigener Sache...

    Weiterlesen...
  • AutoHideToolbar für Java Swing

    Ich habe eine neue Java Swing Komponente erstellt: Es handelt sich um einen Wrapper für von JToolBar abgeleitete Klassen, die die Werkzeugleiste minimieren und sie nur dann einblenden, wenn der Mauszeiger über ihnen schwebt.

    Weiterlesen...
  • Integration von EBMap4D in die sQLshell

    Ich habe bereits in einem früheren Artikel über meine ersten Erfolge berichtet, der sQLshell auf Basis des bestehenden Codes aus dem Projekt EBMap4D eine bessere Integration für Geo-Daten zu spendieren und entsprechende Abfragen, bzw. deren Ergebnisse auf einer Kartenansicht zu visualisieren.

    Weiterlesen...

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muss damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen Codeberg-Repositories findet man hier.