date-created: 2024-05-07 02:12:54 date-modified: 2024-07-02 12:55:39 topic: introduction_machine_learning

Regression |

anchored to 116.00_anchor_machine_learning

Motivation | Overview

Ist ein wiederkehrendes Thema, was wir in allen Facetten des machines learnings finden können. Sogar bei 116.14_deep_learning tritt es wieder auf, weil die Idee der Regression oft angewandt wird, um eine Optimierung stattfinden zu lassen –> etwa, wenn wir beim Gradientenabstieg!

Grundkonzept

[!Definition] Grundidee | Supervised Regression

Betrachten wir folgende Grafik:

Unter Betrachtung dieser: Welche Rolle spielt die Regression, was sit die Ausgabe? Was macht der Loss? #card

Wir befinden uns im Kontext des supervised learnings, was heißt, dass wir ein Netz trainieren, welches weiterhin immer die gewünschten Ausgaben erhält und sich daran dann verbessern kann.

Wir müssen hier bestimmte Dinge beachten:

• passende Datensatze auswählen ( so aufteilen, dass wir Test und Validierungs-Daten haben)
• ein Modell - und die Struktur dessen - welches uns die entsprechende Funktion “bestimmen” soll, die Eingaben auf die gewünschten Ausgaben mapped
• einen Optimizer –> welcher die Gewichte des verwendeten Modells nimmt und dafür verwendet es zu verbessern
• eine Loss-Funktion, die bei jeder Prediction betrachtet / evaluiert, wie weit die Prediction von dem gewünschten Wert ist

In diesem Zusammenspiel werden wir die Regression erleben, als Aspekt, der uns das Modell bestimmen kann.

Das heißt wir betrachten eine Menge von Datenpunkten. Wir möchten in dieser Betrachtung jetzt durch Inputs und Outputs, einen Loss entscheiden können, welcher uns dabei hilft, einen Optimizer umsetzen zu können.

–> Mit der Loss-Funktion können wir Distanzen zum Raum messen – und somit vergleichen wo es ist und wo es sein sollte.

Der Optimizer ist dafür da den Loss zu betrachten und daran dann das Model zu optimieren bzw mehr Informationen erhalten und verarbeiten zu könen. –> Es wird also durch den Parameter des Loss aktualisiert und verbessert.

Datensätze und Eingabe / Ausgabe

[!Beweis] Grundlegende Definition

Wir betrachten primär zwei Räume:

1. Der Eingaberaum $x=[x_1,\dots ,x_D{]}^T\in {\mathbb{R}}^D$ ( welcher den Datensatz und seine Eigenschaften / Parameter beschreibt)
2. Der Ausgaberaum $y=[y_1,\dots ,y_K{]}^T\in {\mathbb{R}}^K$ (welcher die Ausgabedimension, also die Werte, die wir aus den Daten “ziehen” wollen, enthält)

Wie modellieren wir jetzt einen Datensatz und einzelne Einträge? #card

Ferner betrachten wir also einen konkreten Datensatz $$\{x^1,\dots ,x^N\},x^t\in {\mathbb{R}}^D$$ und entsprechende Ausgaben: $$\{y^1,\dots ,y^N\},y^t\in {\mathbb{R}}^K$$

Ein Einzelner Datenpunkt wird beschrieben mit: $$t\in \mathbb{N},:\{x^t,y^t\}$$

grafisch etwa:

der obere Index T gibt an, welcher Datenpunkt es ist – also der erste / zweite / dritte etcetc.

Lineare Regression

Wir möchten zuerst die Idee einer Linearen Regression betrachten und definieren:

[!Definition] Lineare Regression

Gegeben eines Datensatzes, gehen wir davon aus, dass es eine unbekannte Funktion gibt: $$f:{\mathbb{R}}^D\to {\mathbb{R}}^K$$ die uns Datenpunkte aus dem einen Raum in den anderen (etwa die Prediction) abbilden kann.

wie können wir sie durch lineare Regression bestimmen?Was benötigt es innerhalb der Funktion? #card

Vorab betrachten wir jetzt nur eindimensionale Regression! Also $K=1$!

Wir wollen folgendes Modell definieren, was uns unsere Predictions passend beschreiben und auswerten kann: $$\hat{y}=g(x\mid w)=w_0+w_1\cdot x_1+\cdots +w_D\cdot x_D$$

Folgende Eigenschaften können wir hier erkennen

• Wir haben also eine einfache lineare Funktion, die für jeden Eingabewert unter Betrachtung eines Gewichtes ( wie stark dieser Wert verwendet wird) eine Summe bildet, die dann $\hat{y}$ ergibt.
• es ist ein parametrisches Modell -> es enthält Parameter/Bias und weiterhin auch Gewichte und Regressionskoeffizienten
• $w=w_0,w_1,\dots ,w_D$ beschreibt dabei den Gewichtsvektor!
• Der Bias ist meist mit $w_0$ gegeben –> das kommt aber darauf an, bei welchem Wert in der Matrix wir eine 0 setzen, sodass er ohne Veränderung übernommen wird.

Das Modell ist in seinen Parametern linear!, also: $$g(x\mid w)=w^T\cdot \overline{x},\overline{x}=[1,x{]}^T$$

-> Wir meinen hiermit, dass eine Reihe von 1 am Anfang der Matrix gesetzt wird –> Da hier der obig angesprochene Bias $w_0$ oder ähnliches einfach übernommen wird.

Man könnte diese Reihe von Einsen auch in eine andere setzen.

Loss | Optimizer

[!Req] Definition

Wir haben jetzt das Modell als Form einer lineare Regression beschrieben.

Jedoch müssen wir jetzt noch die Parameter/Gewichte bestimmen und optimieren.

Wie können wir das umsetzen? Was meint das kleinste-quadrate-Problem (least-square-Problem). Wo kann man es anwenden? #card

Wie aus unserer obigen Abbildung entstanden, möchten wir die Gewichte unter Betrachtung einer Fehlerfunktion (Loss-Funktion) nach und nach verbessern.

Wir beschreiben folgend eine Loss-Funktion: $$L(w)=\frac{1}{2}\sum _{t=1}^N(\underbrace{y^t-{\overbrace{g(x^t\mid w)}}_{L^t}^{={\hat{y}}^t}}{)}^2$$

Also wir summieren die Fehler für jeden einzelnen Datenpunkt auf. (Bedenke, dass ${}^t$ ein Indikator für den $t$-ten Eintrag ist!)

Wir sehen hier auch noch, dass man dann das Problem folgend lösen kann:

Least-Square-Problem:

Wir wollen ein Optimum also so bestimmen, indem wir die besten Gewichte finden, die den kleinsten Loss aufweisen! $$w^{\ast }=arg\underset{w}{\min }L(w)$$

–> Wir wählen $w$ also so, sodass die Summe der quadratischen Fehler zwischen dem Modell und der Daten minimal ist!

Dabei kann man jetzt $w^{\ast }$ analytisch oder mit dem Gradientenabstieg bestimmen.

Modellerweiterung | höhere Dimensionen

Lifting inputs to feature space

Wir können gerade in Räumen gerade nur lineare Geraden / Ebenen finden, die mögliche Datenpunkte passend abdecken bzw. treffen und beschreiben können.

Wir wollen jetzt schauen, ob wir auch nichtlinear Funktionen modellieren können?

[!Definition] Basisfunktionsmodell

Wir möchten jetzt nichtlineare Funktionen modellieren, solche die also u.U. mehrere Dimensionen abdecken können. wie folgend zu sehen:

Wie können wir das umsetzen, was beschreibt das Basisfunktionsmodell? #card

Wir wollen unsere Eingabewerte $x$ jetzt also in einen Merkmalsraum ${\mathbb{R}}^M$ übertragen –> also verschieben / verändern.

Dafür definieren wir die Basisfunktion ${\varphi }_j(\cdot )$

$$g(x\mid w)=\sum _{j=0}^{M-1}(w_j{\varphi }_j=w^t\cdot \varphi (x))$$

Wobei hier dann also: $$\varphi (x)=\{{\varphi }_0(x),{\varphi }_1(x),\dots ,{\varphi }_{M-1}(x){\}}^T$$ es ist also eine Abbildung mit ${\mathbb{R}}^D\to {\mathbb{R}}^M$

(primär verändern wir also die Dimension unserer Eingabewerte und könnten so etwa Polynome zum modellieren verwenden)

[!Tip] Konstruktion einer passenden Regression mit Basisfunktionen Wir betrachten und setzen diverser Basisfunktionen voraus - etwa quadratisch, linear, kubisch etc. Ferner können wir jetzt in dieser Betrachtung ein Basisfunktionenmodell erzeugen, indem wir einfach eine lineare Kombination von diversen Basisfunktionen erstellen. Das heißt also, dass wir einfach viele Grundlegende Funktionen zusammenpacken, um so eine mögliche ANnäherung erhalten zu können.

Basisfunktionen sind schon gegeben und wir möchten die Parameter finden, sodass sie möglich nah dem Space von Daten, die wir erhalten haben, angepasst bzw nahe wird. Regression halt.

Gründe warum man Funktionen als Summe von skalierten Funktionen modellieren kann, wird etwa in folgendem Video gut erklärt: link

Beispiel | Basisfunktionsmodell

Man kann so etwa die normale Struktur, dass der Mekrmalsraum gleich des Eingangsraumes ist, modellieren mit: $M=D$ $$\varphi (x)=\{1,x{\}}^T\to g(x\mid w)=w^T\cdot \overline{x}$$ wobei $\overline{x}=\{1,x{\}}^T$ war!

Man kann aber auch eine Polynom-Regression damit modellieren. Dann wäre folgend: $$g(x\mid w)=w\cdot \{1,x,x^2,\dots ,x^{M-1}{\}}^T$$

man kann Quadratische Funktionen in $2D$ etwa folgend darstellen: $$\begin{array}{rl}x\in {\mathbb{R}}^2& \\ g(x\mid w)& =w\cdot \underset{\varphi (x)}{\underbrace{\{1,x_1,x_2,x_1^2,x_2^2,x_1,x_2\}}}\end{array}$$ –> Wir sehen hier, dass wir jede Eingabe aus $x$ entsprechend verwertet, um einen neuen Vektor zu bilden.

Bekannte Basisfunktionen

Folgend betrachten wir einige bekannte / oft genutzt Basisfunktionen, die man hier oft / gut anwenden kann.

[!Tip] Gaussfunktion

Wir kennen die Gaussfunktion schon aus Normalverteilung also Stochastik

Wie ist sie beschrieben? #card

Wir beschreiben sie mit: $${\varphi }_j(x)e\cdot \left(-\frac{(x-{\mu }_j{)}^2}{2{\sigma }^2}\right)$$

(Wir nehmen sie hier nicht als PDF, wie bei Stochastik!) sondern es ist eine deterministische Basisfunktion!

(Variation dafür, mit einer breiteren Verteilung, wäre etwa die radikale Basisfunktion (RBF))

Wir wissen, dass ${\varphi }_j$ nur einen lokalen Effekt auf $g(x\mid w)$ nahe ${\mu }_j$, denn wir haben ja einen starken Abstieg außerhalb dieser Mitte ( die Gausfunktion fällt ja sehr sehr schnell ab!)

Sie ist eher lokal angedacht und nutzbar, weil sie nur sehr lokal Änderungen hat und sich da ausbreite.

Im Gegensatz könnte eine kleine Änderung einer quadratischen Funktion sehr viel im gesamten Raum bewirken.

Eine zweite wichtige Basisfunktion beschreibt hier etwa die Sigmoids Funktion:

[!Req] Sigmoid-Funktion

wie wird die Sigmoid beschrieben? Was macht sie im Wertebereich aus? #card

Wir beschreiben die Sigmoid folgend: $${\varphi }_j(x)=\sigma \left(\frac{x-{\mu }_j}{s}\right),\sigma ()=\frac{1}{1+\exp (-z)}$$

Wichtig: Sie verläuft zwischen 1 und 0 und ist dabei nur in diesem Übergang $\ne 0\ne 1$, sonst nimmt sie links nur 0 und rechts nur 1 ein:

Neben dieser gibt es dann noch viele weitere Funktionen die wir hier nicht weiter betrachten.

Multidimensionales Modell |

Wir möchten jetzt unser lineares Modell, die Idee und Struktur der Loss-Funktion für höhere Dimensionen beschreiben!

Warum? Weil wir oft hoch-dimensionale Eingaben haben, die wir dann entsprechend verarbeiten müssen / wollen.

[!Req] Definition

Für $K>1:(y^t{)}^T={\omega }^T\psi (x^t)\vee y^t=\psi (x^t{)}^{T}w$

(Bedenke, dass $K$ die Ausgabe-, $D$ die Eingabe-, $M$ die Merkmaldimension und $N$ die Menge von Daten ist! )

Wir möchten ferner nochmal die obige betrachtete Funktion (für eine 1-Dimensionale Ausgabe, also $K=1$) folgend umschreiben ( als Matrizenmultiplikation): $\underset{{\mathbb{R}}^N}{\underbrace{Y}}=\underset{{\mathbb{R}}^{N\times M}}{\underbrace{\Phi }}\cdot \underset{{\mathbb{R}}^M}{\underbrace{w}}$ Was wir folgend als Matrix schreiben können: $$\begin{array}{r}Y=\left[\begin{array}{c}>y_1^1\\ y^{2}1\\ ⋮\\ y_1^N>\end{array}\right],\Phi =\left[\begin{array}{cccc}>{\varphi }_0(x^1)& {\varphi }_1(x^1)& \dots & {\varphi }_{M-1}(x^1)\\ >{\varphi }_0(x^2)& {\varphi }_1(x^2)& \dots & {\varphi }_{M-1}(x^2)\\ >⋮& ⋮& \ddots & ⋮\\ >{\varphi }_0(x^N)& {\varphi }_1(x^N)& \dots & {\varphi }_{M-1}(x^N)>\end{array}\right],w=\left[\begin{array}{c}>w_0\\ w_1\\ ⋮\\ w_{M-1}\end{array}\right]>>\end{array}$$

Wie können wir jetzt eine Multidimensionale Ausgaben angeben? Spezifisch, wie sieht dann Y und w aus? #card

Sofern wir jetzt $K>1$ haben, haben wir folgende Shapes: $$\begin{gathered} \underset{{\mathbb{R}}^{N\times K}}{\underbrace{Y}}=\underset{{\mathbb{R}}^{N\times M}}{\underbrace{\Phi }} \\ cdot\underset{{\mathbb{R}}^{M\times K}}{\underbrace{w}} \end{gathered}$$ und ferner als Matriz also: $$\begin{array}{r}>Y=\left[\begin{array}{cccc}>y_1^1& y_2^1& \dots & y_K^1\\ >y_1^2& y_2^2& \dots & y_K^2\\ >⋮& ⋮& \ddots & ⋮\\ >y_1^N& y_2^N& \dots & y_K^M\end{array}\right],w=\left[\begin{array}{cccc}>w_{0,0}& w_{0,1}& \dots & w_{0,K-1}\\ >w_{1,0}& w_{1,1}& \dots & w_{1,K-1}\\ >⋮& ⋮& \ddots & ⋮\\ >w_{M-1,0}& w_{M-1,1}& \dots & w_{M-1,K-1}\\ >& & & \end{array}\right]>\end{array}$$

Das wollen wir noch anhand der folgenden Methode herleiten!:

Least-Squares Method

[!Beweis] Beschreibung: Problem of least-squares

Wir wollen uns nochmal die Idee der Least-Squares Problematik vor Augen führen.

Gegeben einer Loss-Funktion und Gewichten, die das lineare Modell dieser beeinflussen: wie finden wir folgend die besten Gewichte $w$: $$w^{\ast }=\arg \underset{w}{\min }L(w),L(w)=\frac{1}{2}\sum _{t=1}^N(y^t-g(x^t\mid w){)}^2$$

• Finden des $w_i$, dass die Summe der quadratischen Fehler minimieren kann!

Wir möchten jetzt eine Minimierung durchführen:

[!Feedback] Definition | Minimierung der Fehlerfunktion

Wir wissen, dass $e_i=y^t-g(x^t\mid w)=y^t-w^T\varphi (x^t)$, sodass also für alle Datenpunkte gilt: $Y=\Phi \cdot w$ und somit dann $e=Y-\Phi \cdot w$

Wie können wir dann die Loss-Funktion entsprechend umschreiben? Erinnerung, wie sie aussieht: $L(w)=\frac{1}{2}\sum _{t=1}^N(y^t-g(x^t\mid w){)}^2$ #card

Wir können unter obiger Prämisse die Loss-Funktion folgend umschreiben: $$L(w)=\frac{1}{2}\sum _{t=1}^N(e_1^2)=\frac{1}{2}{e}^T\cdot e=\frac{1}{2}(Y-\Phi \cdot w{)}^T\cdot (Y-\Phi \cdot w)$$

Damit haben wir eine Grundlage, die wir folgend durch eine Minimierung (Hier also durch Gradienten!) umsetzen möchten.

[!Satz] Minimierung der Fehlerfunktion

Wir haben die Fehlerfunktion $L(w)$ soeben als Matrix-Operation umgeschrieben. Ferner möchten wir aber weiterhin das Minima dieser finden.

Unser Zwischenergebnis war also: $\frac{1}{2}(Y-\Phi \cdot w{)}^T\cdot (Y-\Phi \cdot w)$

Was können wir machen, um sie entsprechend abzuleiten? und somit das Minima berechnen zu können? #card

$$\begin{array}{rlr}>{\nabla }_{w}L(w)& =\frac{{\partial }^{}L(w)}{\partial w}& \\ >& =-{\Phi }^T\cdot (Y-\Phi \cdot w)& \text{ Gradient berechnen!}\\ >& -{\Phi }^T\cdot (Y-\Phi \cdot w_{LS})=0& \text{ Gradient auf Null setzen}\\ >& ⟺{\Phi }^T\cdot \Phi \cdot w_{LS}={\Phi }^T\cdot Y& \\ >& ⟺w_{LS}=({\Phi }^T\cdot \Phi {)}^{-1}\cdot {\Phi }^T\cdot Y& \text{ sofern sie vollen Rang haben:}{\Phi }^T\Phi >\end{array}$$

Damit lässt sich dann also das Minimum berechnen und man kann somit ein LGS aufstellen!

[!Tip] Folgende Terme sind äquivalent! #card $$\begin{array}{rl}>a& =b^{T}c\\ >a& {}^T=c^{t}b>\end{array}$$

hierbei ändert sich halt der Ausgangswert -> ist ein Zeilenvektor oder vielleicht eine multi-Zeilen Vektor.

Der Spaltenvektor: von $Y$ ist also äquivalent zu einer Dimension, weswegen wir hier also aus einer Dimension “quasi nur auf mehrere Dimensionen erweitern”

$$\begin{array}{r}\left[\begin{array}{ccc}{y}_0& y_1^1& Y_{k_1}^n\\ & \dots & \end{array}\right]=\left[\begin{array}{ccc}{\psi }_0(x)& {\psi }_1(x)& \dots \\ \dots & & \end{array}\right]\cdot \left[\begin{array}{cccc}{w}_0& w_1& \dots & w_n\end{array}\right]\end{array}$$

Also Abstrakt: $$\begin{array}{r}{Y}_{NxK}={\Psi }_{NxM}\cdot w_{M\cdot K}\end{array}$$

BSP: $$\begin{array}{r}\psi (x)={\left[\begin{array}{cc}a& x\end{array}\right]}^T\\ x={\left[\begin{array}{cc}0& 3\end{array}\right]}^T\\ \\ \left[\begin{array}{c}1\\ 2\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 1& 3& 0\end{array}\right]\cdot \left[\begin{array}{c}{w}_0\\ w_1\end{array}\right]\end{array}$$ wir sehen hier, dass wir quasi eine Basiswechselmatrix eingeführt haben und betrachten.

Matrix $W_{LS}$ nimmt die Fehler, die wir beobachtet haben und mapped sie auf einen anderen Raum.

Beispiel zum Verständnis

Betrachten wir nochmal alle Werte und wie wir sie definieren

die Funktion $\varphi (x)$ mapped auf jeden Eingabepunkt auf verschiedene Bereiche im Feature-space. –> Dabei mapped es für jeden entsprechenden Punkt im Feature-Raum

das einfachste für eine $\varphi (x)$ funktion wäre etwa: $\varphi (x)=x$ –> Die Eingabedaten sind dann einfach die Features der Dimension

$\varphi (x)=[1,x^2{]}^T$ sind die Basisfunktionen eine Eingangsdim mit zwei Datenpunkten Datenkpunkte: $$\begin{array}{r}x=\left[\begin{array}{c}{x}^1\\ x^2\end{array}\right]=\left[\begin{array}{c}0\\ 3\end{array}\right]\end{array}$$ –> wir haben zwei Datenpunkte und einen Vektor.

$N=2,D=1$ $$\begin{array}{r}Y=\left[\begin{array}{c}{y}^1\\ y^2\end{array}\right]=\left[\begin{array}{c}4\\ 0\end{array}\right]\end{array}$$

$$\left[\begin{array}{c}4\\ 0\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 1& 9\end{array}\right]\cdot \left[\begin{array}{cc}{w}_0,& w_1\end{array}\right]$$ $\varphi (x)$ ist im Einfachsten Fall: Einfach die Datenpunkte mit einem Parameter multipliziert. Und das sollte die Ausgangsdaten ergeben. Wir haben also relativ einfach translatiert. $$X=\left[\begin{array}{c}0\\ 3\end{array}\right]\cdot w_0$$ Jede Zeile ist einer der feature vektoren

Orthogonale Projektionen

[!Req] orthogonale Projektion

Wir wissen, dass wir soeben ein linerares Modell mit $Y=\Phi \cdot w$ beschreiben / beschrieben haben.

Ferner haben wir nun auch eine Lösung dessen mit $w_{LS}=({\Phi }^T\Phi {)}^{-1}\cdot {\Phi }^T\cdot Y$ beschrieben.

Wenn wir jetzt $w_{LS}$ in unser Modell einfügen, so erhalten wir dann folgend: $$\hat{Y}=P\cdot Y;P:=\Phi \cdot ({\Phi }^T\Phi {)}^{-1}\cdot {\Phi }^T$$

Was können wir dann ferner mit $P(\Phi )$ beschreiben? Was gilt für diesen Ausdruck? Was gilt für $⟨P{x}^1,P_N{x}^2⟩$? #card

Mit $P(\Phi )$ beschreiben wir hier eine orthogonale Projektion!

Wobei sie eine orthogonale Projektion auf den Wertebereich - Spaltenraum / Bild - von $\Phi$ abbildet.

Grafisch etwa:

-Eine Projektion ist symmetrisch $(P=P^T)$ und auch idempotent (also $P=P^2$) Mit $P_N=I-P$ bilden wir Vektoren auf den Nullraum - Kern! - von $\Phi$ ab –> Sodass dann $\Phi \cdot P_{N}x=0$ ist

Ferner gilt für beliebige $x^1,x^2\in {\mathbb{R}}^M$ $⟨P{x}^1,P_N{x}^2⟩=0$!

Regularisierung | Ridge-Regression

[!Beweis] Gründe für Regularisierung:

Betrachten wir die verschiedenen Funktionen, die sich auf die Eingabe-Werte mappen (wollen) –> eine Regression umsetzen.

(M meint die Merkmalsdimension!)

Was können wir hier erkennen? Wie kann man es durch Regularisierung beheben? Wie wird sie umgesetzt? #card

wenn wir zuuu viele Basisfunktionen haben. dann sehen wir, dass mit steigendem $M$ die Funktion viel zu stark an die Datenpunkte angepasst wird und somit kommt es zu Overfitting.

Wir haben also perfektes matching zu den Daten, aber können nur sehr schlecht adaptieren und somit nicht zwingend gut auf neue Datenpunkte reagieren.

Mittels Regularisierung können wir dagegen vorgehen: Wir beschreiben sie folgend mit einem neuen Wert $\lambda$: $$L(w)=\underset{\text{bekannt: Loss}}{\underbrace{\frac{1}{2}\sum _{t=1}^N(g(x^t\mid w)-y^t{)}^2}}+\stackrel{\text{ Regularisier}}{\overbrace{\frac{\lambda }{2}\parallel w{\parallel }^2}}$$

Mit diesem Regularisierer können wir die Komplexität unserer Basisfunktionen bzw der Zielfunktion beeinflussen, wie folgend ersichtlich ist:

Wir passen hier also primär die Loss-Funktion an!

Overfitting vermeiden

Wir möchten uns drei Punkte / Möglichkeiten anschauen, wie man Overfitting verringern / vermindern kann:

[!Definition] Feature-Auswahl

Was wird mit dieser Methode beschrieben, was ist ihre Idee? Probleme? #card

Wir können einfach die Datendimensionalität verringern, indem wir bestimmte Dimensionen löschen / etnfernen.

Problem:

• Welche Dimensionen sind nicht wichtig?
• Wegwerfen von Daten ist selten gut –> man kann wichtige Informationen daraus erhalten / verlieren!
• ist sehr vom Datensatz abhängig und kann nicht generalisiert werden!

[!Idea] Dimensionreduktion

Was sagen wir mit dieser Idee aus. Wo liegen Probleme? #card

Die Idee besteht darin:

• Datendimensionalität anders reduzieren, indem wir etwa die Hauptachsentransformation nutzen!

Probleme dabei:

• man kann hier Strukturen von Daten durch die Konversion verlieren (muss man also mit aufpassen!)
• wenige Dimensionen könnten unzureichend sein

[!Beweis] Regularisierung

Was sagen wir mit dieser Idee aus. Wo lieen Probleme? #card

Wir versuchen Overfitting durhc ein robustes Machine learning model zu etablieren.

–> Das ist meist eine gute Idee!

Robustheit

Wir gehen jetzt folgend davon aus, dass wir folgende Matrize betrachten:

[!Tip]

$$\Phi :=X=\left[\begin{array}{cccc}>x_0^1& x_1^1& \dots & x_D^1\\ >x_0^2& x_1^2& \dots & x_D^2\\ >⋮& ⋮& \ddots & ⋮\\ >x_0^N& x_1^N& \dots & x_D^N>\end{array}\right]$$

Ferner möchten wir bestimmte Fragen stellen:

[!Question]

Was beschreiben wir mit der Robustheit von Modellparametern? #card

Sofern wir die Robustheit solcher Parameter in Frage stellen, wollen wir wissen, wie robust die Parameter $$w=(X\cdot X^T{)}^{-1}\cdot X\cdot \hat{Y},X=\Phi$$ gegen kleine Änderungen in den Trainingsdaten $X$ sind!

[!Tip] Robustheit von Vorhersagen

Was beschreiben wir mit der Robustheit von Vorhersagen/Predictions? #card

Wie robust sind die Vorhersagen $$g(x\mid w)w^T\varphi (x)$$ gegen kleine Änderungen von $x$ ??

Robustheit von Parametern

[!Definition]

Was bestimmt die Konditionszahl im Bezug auf Robustheit? Wie wird sie berechnet? #card

Die Robustheit der Parameter $w=(X\cdot X^T{)}^{-1}\cdot X\cdot \hat{Y}$ wird durch die Konditionszahl von $X\cdot X^T$ beschrieben.

Wir definieren sie mit: $$K=\frac{{\sigma }_{max}(X\cdot X^T)}{{\sigma }_{min}(X\cdot X^T)}$$

Ferner können wir das etwa visualisieren:

-> bei echten Daten ist die $k$ oft groß, außer $N\gg D$ –> Denn Noise in $X$ kann $w$ beeinflussen!

Eine kleine regularisierung erhöht die Robustheit stark! (im BSP etwa mit $\lambda =0.0001n$)

Konditionszahl ist ein Indikator davon, wie sehr sich die Daten ändern, wenn wir die Trainingsdaten anpassen.

[!Hinweis] Bestimmung der Robustheit von Predictions durch Norm

Für jedes lineare Modell wird die Robustheit der Vorhersagen $g(x\mid w)=w^{T}x$ durch die Norm des Gewichtsvektors $\parallel w\parallel$ bestimmt.

Wie können wir dann die Robustheit der Vorhersage definieren? Was schließen wir daraus? #card

Wir bestimmen sie dann mit: $$\frac{g(x+\epsilon \mid w)-g(x\mid w)}{\parallel \epsilon \parallel }=\frac{⟨w,x+\epsilon ⟩-⟨w,x⟩}{\parallel \epsilon \parallel }=\frac{⟨w,\epsilon ⟩}{\parallel \epsilon \parallel }\le \frac{\parallel w\parallel \cdot \parallel \epsilon \parallel }{\parallel \epsilon \parallel }=\parallel w\parallel$$

–> Wenn viele verschiedene $w$ auf den Trainingsdaten gut funktionieren, bevorzugen Sie den mit kleiner $\parallel w\parallel$!

Regularisierung

Bis dato haben wir Parameter durch die Minimierung des Fehlers auf Trainignsdaten gelernt.

Ferner möchten wir jetzt die Robustheit verbessern indem wir die Minimierung des Fehlers auf Parametern betrachten.

[!Req] Regularisierte Least Squares Regression | Ridge Regression

Wie definieren wir die regularisierte least squares regression? #card

Für ein $\lambda \ge 0$ (was der Regularisierungsparameter ist), lösen wir folgend:

$$\underset{w\in {\mathbb{R}}^D}{\min }\underset{\text{ Trainingsfehler}}{\underbrace{\sum _t^N(w^T\cdot x^t-y^t{)}^2}}+\lambda \cdot \underset{\text{ Regularisator}}{\underbrace{\parallel w{\parallel }^2}}$$

–> Je größer $\lambda$, desto mehr betonen wir die Robustheit gegenüber des Trainingsfehlers!

• Sofern $\lambda 0$, haben wir keine Regularisierung, und einfach LSR!
• Is $\lambda \to \infty$, dann wird der Trainingsfehler komplett ignoriert und somit die Wichtung also auch $w\to 0$.
  • Dafür ist unser Modell maximal Robust, die Vorhersage ist immer null

Wir stellen uns weiter die Frage, wie man dann das Optimale $\lambda$ für den Regularizer finden können!

Dafür wenden wir auch wieder Ableitungen zum Finden von Nullstellen an:

[!Beweis] Ridge Regression | Ableitung für minimale Fehlerfunktion!

Wir beginnen damit, dass wir die Fehlerfunktion berechnen: $$L(w)=L_{LS}(w)+\lambda L_R(w),\lambda \ge 0$$ wobei hier $L_D(w)=\frac{1}{2}(y-\Phi \cdot w{)}^T\cdot (Y-\Phi \cdot w),L_R=\frac{1}{2}\cdot w^T\cdot w$

Welchen Schritt verfolgen wir als nächstes? #card

Wir wollen nun das Minimum der Fehlerfunktion bestimmen.

–> Ableitung dieser bestimmen:

$$\begin{array}{rl}>{\nabla }_{w}L(w)& ={\nabla }_w{L}_{LS}(w)+{\nabla }_w\cdot \lambda \cdot L_R(w)\\ >& =-{\Phi }^T\cdot (Y-\Phi \cdot w)+\lambda \cdot w>\end{array}$$

Was wir dann gleich Null setzen müssen!:

$$\begin{array}{rl}>& -{\Phi }^T\cdot (Y-\Phi \cdot w)+\lambda w=0\\ >& ={\Phi }^T\cdot \Phi \cdot w+\lambda \cdot w={\Phi }^T\cdot Y\\ >& =({\Phi }^T\cdot \Phi +\lambda I)\cdot w={\Phi }^T\cdot Y\\ >& w=({\Phi }^T\cdot \Phi +\lambda I{)}^{-1}\cdot {\Phi }^T\cdot Y>\end{array}$$ (unter Annahme, dass ${\Phi }^T\Phi +\lambda I$ vollen Rang hat!)

Maximum Likelihood Schätzung

Idee: -> MLE versucht jetzt die Gauß-Verteilung auf die Verteilungen von Punkten zu legen und somit eine Wahrscheinlichkeitsverteilung dafür zu betrachten, statt direkter Distanzen o.ä.

Wir werden sehen, dass MLE gleich LSR ist!

[!Idea] Hinführung

Wir haben bis dato nur ein linear, deterministisches Modell betrachten, beschrieben mit $y^t=w^T\cdot \varphi (x^t)$

Wir nehmen dann an, dass $y^t$ Gauß-Verteilt mit Mittelwert $w^T\cdot \varphi (x)$ ist und ferner der Varianz ${\sigma }^2$, was uns dann ein probabilistisches Modell erzeugt!

Wir können dann also die Wahrscheinlichkeit aufstellen, dass ein Wert und Betrachtung von Gewichten einen bestimmten Ausgabewert erzielt.

Wie beschreiben wir das? Wie können wir dann die Wahrscheinlichkeit als produkt beschreiben und modellieren? #card

Wir können dann die WSK, dass wir auf $y$ unter Betrachtung von $x,w$ “landen” folgend berechnen: $$p(y\mid x,w)=w^t\varphi (x)+\epsilon ,\epsilon \sim \mathcal{N}(0,{\sigma }^2)$$ also $$=\mathcal{N}(y,w^T\varphi (x),{\sigma }^2)$$

Wir können jetzt die Likelihood folgend berechnen ( unter der Annahme, dass alle $y^t$ unabhängig sind!) $$\begin{array}{rl}>p(Y\mid \Phi ,w,\sigma )& =\prod _{t=1}^{N}p(y^t\mid \varphi (x^t),w,\sigma )\\ >& =\prod _{t=1}^N(2\pi \cdot {\sigma }^2{)}^{\frac{-1}{2}}\cdot e^{\frac{-1}{2\cdot {\sigma }^2}\cdot (y^t-w^t\cdot \varphi (x^t){)}^2}\\ >& =(2\pi {\sigma }^2{)}^{-\frac{N}{2}}\cdot e^{\frac{-1}{2{\sigma }^2}\cdot \sum _{i=1}^N(y^t-w^t\varphi (x^t){)}^2}\\ >& =(2\pi {\sigma }^2{)}^{-\frac{N}{2}}\cdot e^{-\frac{1}{2{\sigma }^2}\cdot (Y-\Phi w{)}^T\cdot (Y-\Phi w)}>>\end{array}$$

Und Visuell also:

Das war soweit die Herleitung, die wir zur folgenden Betrachtung der MLE - Maximum-Likelihood-Schätzung benötigen!

Maximum-Likelihood-Schätzung (MLE)

[!Definition]

Wir haben jetzt unsere Likelihood für Daten unter einem linearen Modell gegeben mit: $$p(Y\mid \Phi ,w,\sigma )=(2\pi {\sigma }^2{)}^{-\frac{N}{2}}\cdot e^{-\frac{1}{2{\sigma }^2}(Y-\Phi w{)}^T\cdot (Y-\Phi w)}$$

wir wollen jetzt hierfür auch eine Lösung zu $w$ finden!

Wie gehen wir vor, mit welchem Term resultieren wir bei der MLE Likelihood? Wozu nutzen wir Log? #card

Wir berechnen zuerst die Log-Likelihood (Sie hilft uns etwa Produkte in Summen umzuwandeln, kann aber auch ganz kleine WSK in solche Größen umwandeln, dass sie bei Berechnungen mit Computern durch Rundungsfehler weniger beeinträchtigt werden)

$$L(w)=\log (p(Y\mid \Phi ,w,\sigma ))=-\frac{N}{2}\cdot \log (2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\cdot (Y-\Phi w{)}^T\cdot (Y-\Phi w)$$

Und jetzt leiten wir nach $w$ ab und setzen danach $=0$:

$$\begin{array}{rl}>\frac{{\partial }^{}L(w)}{\partial w}& =0-\frac{1}{2{\sigma }^2}\cdot [2{\Phi }^T(Y-\Phi \cdot w_{ML})]=0\\ >⟺0& ={\Phi }^{T}Y+{\Phi }^T\cdot \Phi \cdot w_{ML}\\ >w_{ML}& =({\Phi }^T\Phi {)}^{-1}\cdot {\Phi }^T\cdot Y>\end{array}$$

–> Was so der wichtigste Term ist, den wir bei dieser Berechnung benötigen werden!

MLE = LSR

[!Tip] Äquivalenz

Was folgt für die MLE und LSR Methode? #card

Ferner sehen wir jetzt also, dass $$w_{LQ}=({\Phi }^T\cdot \Phi {)}^{-1}{\Phi }^T\cdot Y=w_{ML}$$ ist, also beide Probleme sind äquivalent in ihrer Lösung!

–> Wir können also Regression aus Sicht der Stochastik und Analytik sehen!

Further Resources

• Nähere Betrachtung 116.05_MLE
• 116.09_decision_trees