Machen wir weiter. Ich habe gerade den Titel hier von dieser Folie gekürzt, weil ich in diesem Kapitel was

rausgestrichen habe, was ich jetzt nicht erklären möchte und deswegen das sind die Punkte über die

wir sprechen. Also wir haben in den ganzen Tagen bis jetzt immer angeschaut über Wachteslarn.

Über Wachteslarn bedeutet, ich habe einen Input und dafür habe ich auch ein Target. Alles gut. Und

unüberwachtes Larn meint, man hat einen Input, aber man hat kein Target. Da kann man jetzt alle

möglichen Algorithmen drauf anwenden, die auch interessant sind, zum Beispiel Cluster-Algorithmen.

Aber das was ich jetzt hier machen werde, geht ein bisschen in eine andere Richtung,

nämlich das arbeitet mit Autoencodern. Und die Geschichte hier geht wie folgt,

ich habe einen Inputvektor, den quetsche ich zusammen auf wenige Zwischenvariablen,

sodass ich aus diesen Zwischenvariablen heraus einen Output derselben Breite erklären kann. Und die

Targetwerte, die hier stehen, sind genau dasselbe wie der Input. Also deswegen Autoencoder oder

Autoassociator, weil ich tue den Input hier erstmal so umformen, dass er komprimiert dargestellt

werden kann. Und die Komprimierung soll so sein, dass ich das original rekonstruieren kann. Also

will sagen, ich habe hier eine Kompression und Dekompression und andersrum ausgedrückt,

könnte man sagen, der Inputraum ist hier hochdimensional, aber in Wirklichkeit leben

die Daten gar nicht im hochdimensionalen, sondern nur auf einem niedrigdimensionalen Unterraum. Und

den niedrigdimensionalen Unterraum, den kann ich also jetzt hier durch die wenigen Zwischendurchvariablen

darstellen, sodass wir von denen zurück ableiten können, was denn eben die hochdimensionale

Beschreibung war. Also wir werden dann, am Donnerstag glaube ich, Beispiele haben, wo der

Inputvektor 96-dimensional ist, also richtig viel, und wo die Zwischenvariablen aber nur 12-dimensional

sind. Und dann kann man das trotzdem aus der 12-dimensionalen Zwischen darstellen, dann kann

man das rekonstruieren für alle 96 Variablen. Sprich, die Grundstruktur, die wir also jetzt

angucken ist, ich habe keinen extra Tagel und benutze die Daten selber als Tagelvorgabe. Und

da gibt es zwei Möglichkeiten, wie man das anschauen kann, für diesen einfachen Fall bitte. Also wo

ich nur Input, dann den kleinen Hiddenlayer habe, auch Bottleneck genannt, und dann die

Rekonstruktion für das Große. Da gibt es zwei Möglichkeiten, nämlich ich habe hier eine Matrix,

die die Kompression macht, eine zweite Matrix, die die Dekompression macht, dann muss da zwischen

einen Hiddenlayer liegen, weil wir gesehen haben, zweimal lineare Algebra hintereinander würde

sich wegheben. Oder aber wir hätten auch die Möglichkeit zu sagen, ich habe den Input hier,

mache meine Matrix A, um die Kompression durchzuführen, und dann benutze ich dieselbe

Matrix als transponierte Matrix, um den Rückwärtsschritt zu machen. Das müssen sich etwa so vorstellen,

sie haben hier den Input, das ist ein langer Vektor, der muss auf etwas drauf multipliziert

werden, wo hier nur was Kortes rauskommt, sprich die Form von der Matrix A muss sowas sein,

was ganz viele Spalten und wenige Zahlen hat. So und das was ich hier dann brauche, wenn ich

von den wenigen Größen hier wieder auf die großen Größe gehe, das wäre doch eine Möglichkeit zu

sagen, naja, also jetzt brauche ich etwas, was ganz wenige Spalten hat, aber ganz viele Zeilen hat.

Und so von der Form her sieht das doch schon mal genauso aus, wie als würde ich die transponierte

Matrix von da unten benutzen. Und wenn ich versuche das mit A und A transponiert auszudrücken,

diese Bottleneckstruktur hier, dann darf ich auch keinen Tangentzar hier in der Mitte haben,

dann darf ich nur die Identität hier in der Mitte haben, aber das ist nicht schlimm,

weil in Wirklichkeit habe ich ja nur eine einzige Matrix, die hier vorkommt, sprich,

da habe ich nicht das Problem zu lösen, was ich hier zu lösen habe, wenn ich zwei verschiedene

Matrizen habe. Und die Frage ist, wann geht das hier? Naja, also erst mal als Überlegung,

so unterschiedlich sind die beiden Bilder hier nicht, weil hier kann ich ja auch nur eine lineare

Matrix benutzen, um eine Kompression durchzuführen, genau wie hier. Und dann sorgt der Tangentzar

dafür, dass das nicht kollabiert mit dem oberen Teil, aber im Prinzip habe ich auch nur eine

lineare Matrix, die die Dekompression macht. Sprich, von der Form der Matrizen her sieht

das auf beiden Seiten gleich aus. Das hier ist halt eine Kompressionsmatrix, das hier ist eine

Dekompression, die sieht im Prinzip so aus. Der Witz besteht nur darin, will ich hier eine zweite

Matrix benutzen oder will ich dieselbe Matrix in transponierter Form benutzen? Und dann kann man