Also jetzt fange ich dann mit dem mathematischen Teil an.

Wir wollen also jetzt erstmal von der Folklore abstrahieren und uns rein die mathematischen Strukturen anschauen.

Wenn man das tut, dann können wir jetzt darauf aufbauen, dass wir eben gesehen haben, die Funktionenklasse, die wir studieren wollen, ist eine, die strukturiert als alternierende Konkretination von linearer Algebra und nicht-linearen Funktionen dazwischen.

Und das ist schon eine drückreiche Angelegenheit. Also erstens ist das offensichtlich eine Angelegenheit, mit der ich hochdimensionale Strukturen angucken kann, weil wenn der Inputvektor hier groß ist und der Outputvektor hier groß ist, dann wird das, was hier steht, nicht automatisch komplizierter, sondern naja, die Matrizen sind halt ein Stück größer. Aber das ist das Einzige, was ich da dran tut.

Und auf der anderen Seite, dass ich Nicht-Linierität drin habe, ist natürlich auch klar, weil ich habe halt diese nicht-linieeren Funktionen hier dazwischen.

Also dass sozusagen mal die Chance besteht, etwas zu untersuchen, was gleichzeitig hochdimensionaler und nicht-linier ist, das ist doch ein echter Anspruch. Das ist das, was ich unter Komplexität verstehe.

Und warum das ein Anspruch ist? Na ja, also linearer Algebra, sprich viele Variablen, wenn es nur lineare Zusammenhänge gibt, haben wir alle in der Uni gelernt.

Wenn ich ganz wenig Variable oder nur eine Variable habe, dann Nicht-Linierität zu untersuchen, haben wir auch in der Uni gelernt.

Also das ist nicht der Punkt. Der Punkt ist, dass viele, viele Real-World-Anwendungen eben nicht so sind. Die sind gleichzeitig hochdimensionale und nicht-linear.

Dann kann ich dann künstlich hingehen und eine Projektion machen auf eine der Achsen, indem ich sage, na gut, also ich interessiere mich halt nur für ganz wenig Variablen, auch wenn es die anderen gibt.

Das gut zu machen, die Chance haben nur die Physiker. Weil die können Experimenten machen, wo alles abgeschottet ist und nur ganz wenige Variablen gegeneinander untersucht werden, das tausendmal, das nennt man dann Experiment.

Und auf der anderen Seite kann ich hingehen und sagen, na ja, in der Maschine fahre ich die Maschine immer so nah an einem bestimmten Punkt, dass ich nur so kleine Abweichungen habe,

dass ich hoffe im Sinne der Telerentwicklung, dass ich immer noch in der Nähe von dem Entwicklungspunkt der Telerentwicklung bin und deswegen alles linear ist.

Auch ein netter Ansatz. Aber im Allgemeinen sind das sozusagen nur Projektionen von der Wirklichen Welt auf die Achsen dann runter.

Und wenn ich die sozusagen als wirkliche Welt untersuchen will, wäre es doch toll, wenn ich gleichzeitig viele Variablen und Nicht-Linerität untersuchen kann.

Und dann hat man also in 18 Jahren geglaubt, wenn man diese Konkatenationen, Linear-Algebra, Nicht-Linerität, Linear-Algebra, Nicht-Linerität, wenn man das mal weiterführt, dann würde die Funktionenklasse wachsen.

Dann würde da sozusagen immer mehr zusammenkommen. Und das stimmt erstaunlicherweise nicht.

Das Einfaste, was man machen kann, hier langt schon, um die Funktionenklasse komplett zu beschreiben, das Einfaste, was man machen kann, ist, dass man sagt, ich habe einmal Linear-Algebra, einmal Nicht-Linerität dazwischen und dann noch einmal Linear-Algebra.

Und viele weitere Konkatenationen brauche ich gar nicht. Das war eine totale Überraschung in den 80er Jahren, dass so eine einfache Struktur hier in der Lage ist,

eine beliebige, stetige Funktion auf einen kompakten Träger zu beschreiben.

Kompakter Träger heißt einfach endlicher Durchmesser und der Rand gehört dazu, das eben hinzukriegen.

Und es braucht nicht diese immer mehr, mehr, mehr, mehr Iterationen hier.

Das hat natürlich auch dazu geführt, dass kein Mensch dafür interessiert hat, wie denn neuronale Netze funktionieren würden, die hier viele, viele Iterationen haben.

Erst nach 2000 ist es wieder spannend geworden, sich das systematisch wieder zu interessieren.

Den Beweis, den Existenzbeweis, gucken wir uns gleich an.

Und ich möchte gerne noch eine Anmerkung zum Thema komplexe Systeme machen.

Wir können ja sagen, wenn ich Thermodynamik angucke, da habe ich noch viel kompliziert, da habe ich hier noch 20 Variablen, die alle miteinander wechselwirken.

Aber bitte, wenn ich mit so vielen Variablen argumentiere, habe ich keine Chance mehr, das Verhalten der Einzelvariable zu beschreiben.

Und da wird sozusagen alles über so eine statistische Mittellung dann beschrieben.

Das ist ja ganz nett, aber das ist nicht das, was ich unter komplexen Systemen verstehe.

Komplexe Systeme ist eher so, dass ich sage, in der Physik ein Zweikörperproblem kann ich gut beschreiben.

Drei Körperprobleme habe ich schon einen Haufen Ärger und dann geht es nur noch mit einer numerischen Näherung.

Ich will sagen, kompliziert tritt sehr wohl schon dann auf, wenn ich nur wenig Variablen habe,

aber die Element für Element untersuchen will nicht nur ein statistisches Mittel über alle Variable hinweg.

Und das ist genau das, was man hier tut. Ich kann ja hier für jede einzelne Variable sagen, was sie tut.

Und die Wechselwirkung von solchen Variablen will ich dann eben beschreiben.

Und zwar bitte nicht nur als Projektion.

Schauen Sie, Mikroökonomie ist im Wesentlichen eine Projektion der wirklichen Welt auf wenig Variable.

Da habe ich einen einzelnen Konsumenten, den ich beschreibe, und dann multipliziere ich das Ganze mit 80 Millionen, dann sage ich, ich habe ein Deutschlandmodell.

Oder umgekehrt, wenn ich Makroökonomie mache, dann habe ich so Deutschlandmodelle mit 60, manchmal auch mehr Variablen, aber die sind dann nur lineare Wechselwirkungen.

Sprich, das sind Projektionen von dem, wie die Welt ausschaut, auf Methoden, die ich kann.

Und jetzt möchte ich endlich mal Methoden entwickeln, die kompliziert genug sind, um die wirkliche Welt dann dazu beschreiben.

Also den Beweis gucken wir uns gleich an.

Es gibt eine zweite Art, wie man mit dem Thema umgehen kann, und die sagt, naja, das ist ja auch übrigens, was ich noch sagen sollte, also einfacher, wie das da steht, kann es nicht gehen.

Weil stellen wir uns vor, Sie stehen auf dem Stand, Sie mögen keine nicht-linären Funktionen, Sie wollen das F einfach weglassen.

Ja, wenn Sie das weglassen, dann können Sie die zwei Matratzen hier ausmultiplizieren.

Und dann haben Sie wieder nur lineare Algebra. Also ohne das F dazwischen geht es nicht.

Umgekehrt können Sie sagen, ich mag keine Matratzen, weil da sind so viele Parameter drin.

Was passiert denn, wenn Sie hingehen würden und diese Matrix hier nur als Diagonalmatrix hinschreiben und die...

Ja, dann würde doch der Inputvektor Element für Element umskaliert werden mit dem Diagonal-Element von der Matrix hier.