Wir haben jetzt das Problem, wir wollen ein Projekt machen und von dem Projektträger kriege

ich dann die Input-Daten und auch den Wunsch, welcher Output erklärt werden soll. Also soweit

können wir auf der Input-Output-Seite, neuronale gesehen, nicht viel lösen. Aber die Frage,

die völlig unbeantwortet ist, wie groß muss ich denn jetzt den Hidden-Layer machen? Das ist ja

eine Frage, die kann ich von Kundenseite aus nicht diskutieren, sondern die muss ich als

Methodenmensch beantworten. Und diese Frage, wie groß mache ich den Hidden-Layer, die kann man

recht elegant beantworten. Schauen Sie, wenn wir das Ding laden, dann muss ja der Informationsfluss

vorwärts und rückwärts durch diesen Hidden-Layer durchgehen. Und jetzt gebe ich Ihnen eine einfache

Methodik an, die sagt, ob ich einen zu großen Hidden-Layer habe. Nämlich dann, wenn die

Informationen, die aus dieser Hiddenschicht herauskommen, untereinander hoch korreliert sind,

dann mache ich überflüssig redundante Arbeit, weil ich hier praktisch zweimal selber rechnen.

Also ich checke einfach nach, sind die Informationen, die durch den Hidden-Layer fließen,

sind die untereinander hoch korreliert. Und sowas zu checken ist natürlich ganz einfach.

Dann nehme ich mir einen piercenischen Korrelationsproffizienten und mache das für

jedes der Hidden-Neuronen hier gegen jedes andere. Dann sehe ich erstmal, die Neuronen gegen sich

selber sind natürlich mit eins korreliert. Aber außerhalb von dieser, also alle anderen Neuronen,

dann gegen alle anderen, da sehe ich dann halt, was ist die höchste Korrelation zwischen den

Hidden-Neuronen hier. Und wenn die sehr hoch korreliert sind, dann weiß ich, ich habe eher

zu viele Hidden-Neuronen da drin. Wenn die niedrig korreliert sind, weiß ich, diese Hidden-Neuronen

hier machen alle was ganz unterschiedliches. Daher könnte ich eher noch mehr nehmen. Also das ist

eine einfache Technik, um diese vorher nicht exante beantwortbare Frage zu beantworten,

wie groß alle Hidden-Lehrer sein. Also machen wir das mal in unserem Beispiel. Wir hatten ja eben

hier 15 Inputs, 10 Hidden- und 1 Output. Das habe ich also gemacht, habe ich aus dem Hut gezogen,

diese Zahlen mit der 10 hier. Dann lerne ich das System. Naja, hier unten die Matrix, die kriege ich

nach dem Lernen, die könnte ich auch so mit so einem Gitter anzeigen oder aber einfach als Histogramm,

wie groß die Gewichte sind. Und da sehe ich so Gewichte zwischen minus zwei und plus zwei, alles in

Ordnung. Also überhaupt nichts Schwieriges, Besonderes gewesen, beim Lernen. Aber was uns viel mehr

interessiert ist, sind die zehn Hidden-Neuronen, die hier stehen, sind hier untereinander hoch korreliert.

Und die Matrix dieser Cross-Correlations hier kann ich ja anzeigen. Dann haben wir ja eben schon gesagt,

ein Neuron gegen sich selbst immer mit eins korreliert. Und die anderen Neuronen gegeneinander sind

halt mit weniger als eins gegeneinander korreliert. Dieser Pearson-Korrelationskoeffizient hier ist

eine Zahl, die schwankt zwischen minus eins und plus eins. Also ich rede jetzt nicht vom positiven

Betrag einfach, sondern minus eins plus einste. Und so sehen Sie also hier eine Matrix, die hat

teilweise negative Korrelationen, teilweise positive Korrelationen. Aber was uns natürlich am meisten

interessiert ist, was ist denn die höchste Korrelation von zwei möglichen Neuronen da innen drin.

Und das kann man sich dann halt hier ausdrucken lassen. Das ist zwischen der Nummer acht und der

Nummer sieben. Stimmt doch, oder? Oder ist das sechs und sieben? Keine Ahnung. Hier kann ich es noch weniger lesen.

Also jedenfalls sind zwei von denen. Und die haben halt die höchste Korrelation, die davor kommt,

0,66. Sprich, das ist nicht viel. Also im Zweifelsfall würde man dann sagen, naja, hier kann man bestimmt

noch mehr Hidden-Neuronen reintun. Oder auch, wenn einem diese eine Zahl hier nicht aussagekräftig ist,

dann kann man das Ketterdiagramm zwischen diesen beiden Neuronen anschauen. Und wenn ich dann also

jetzt hier zwischen den beiden Neuronen das Ketterdiagramm angucke, dann habe ich hier immer ein

zweidimensionales Diagramm. Also die eine Achse ist, was das eine Neuron gesagt hätte. Auf der anderen

Achse, was das andere Neuron gesagt hätte. Und für jeden Datenpunkt kriege ich dann so einen schwarzen Plot.

Und der sagt natürlich schon, dass die ein bisschen ähnlich sind, was sie tun, aber immer

noch extrem unterschiedlich. Also hieraus würde ich dann ableiten. Im Zweifelsfall kann man den

Hidden Layer hier noch größer machen. In dem anderen Kursus, den ich mal gemacht habe, habe ich

dann gesagt, naja, jetzt probieren wir einfach mal aus, gehen wir auf 15. Und in der Tat ist das

Modell dann besser geworden. Also wir haben hier ein einfaches Verfahren, um zu checken, ob der

Hidden Layer zu groß oder zu klein ist. Das ist keine exakte Aussage, so nach dem Motto, da muss