Softmax-Funktion

In der Mathematik ist die sogenannte Softmax-Funktion oder normalisierte ExponentialfunktionVorlage:Rp eine Verallgemeinerung der logistischen Funktion, die einen $K$-dimensionalen Vektor $𝐳$ mit reellen Komponenten in einen $K$-dimensionalen Vektor $\sigma (𝐳)$ ebenfalls als Vektor reeller Komponenten in den Wertebereich $(0,1)$ transformiert, wobei sich die Komponenten zu $1$ aufsummieren. Der Wert $1$ kommt nur im Sonderfall $K=1$ vor. Die Funktion ist gegeben durch:

$\sigma :{ℝ}^K\to (0,1{)}^K$

$\sigma (𝐳{)}_j=\frac{e^{z_j}}{\sum _{k=1}^K{e}^{z_k}}$    für j = 1, …, K.

In der Wahrscheinlichkeitstheorie kann die Ausgabe der Softmax-Funktion genutzt werden, um eine kategoriale Verteilung – also eine Wahrscheinlichkeitsverteilung über $K$ unterschiedliche mögliche Ereignisse – darzustellen. Tatsächlich entspricht dies der gradient-log-Normalisierung der kategorialen Wahrscheinlichkeitsverteilung. Somit ist die Softmax-Funktion der Gradient der LogSumExp-Funktion.

Die Softmax-Funktion wird in verschiedenen Methoden der Multiklassen-Klassifikation verwendet, wie bspw. bei der multinomialen logistischen Regression (auch bekannt als Softmax-Regression)Vorlage:Rp, der multiklassen-bezogenen linearen Diskriminantenanalyse, bei naiven Bayes-Klassifikatoren und künstlichen neuronalen Netzen. Insbesondere in der multinomialen logistischen Regression sowie der linearen Diskriminantenanalyse entspricht die Eingabe der Funktion dem Ergebnis von $K$ distinkten linearen Funktionen, und die ermittelte Wahrscheinlichkeit für die $j$-te Klasse gegeben ein Stichprobenvektor $x$ und einem Gewichtsvektor $w$ entspricht:

$P(y=j\mid 𝐱)=\frac{e^{{𝐱}^{𝖳}{𝐰}_j}}{\sum _{k=1}^K{e}^{{𝐱}^{𝖳}{𝐰}_k}}$

Dies kann angesehen werden als Komposition von $K$ linearen Funktionen $𝐱\mapsto {𝐱}^{𝖳}{𝐰}_1,\dots ,𝐱\mapsto {𝐱}^{𝖳}{𝐰}_K$ und der Softmax-Funktion (wobei ${𝐱}^{𝖳}𝐰$ das innere Produkt von $𝐱$ und $𝐰$ bezeichnet). Die Ausführung ist äquivalent zur Anwendung eines linearen Operators definiert durch $𝐰$ bei Vektoren $𝐱$, so dass dadurch die originale, möglicherweise hochdimensionale Eingabe in Vektoren im $K$-dimensionalen Raum ${ℝ}^K$ transformiert wird.

Zusammenhang zur Logit-Funktion

Bei der binären logistischen Regression benötigt man zur vollständigen Beschreibung lediglich die Wahrscheinlichkeit einer Klasse: $P(Y=1)=1-P(Y=0)$. Für zwei Klassen ist die Softmax-Funktion:

$\sigma (𝐳{)}_j=\frac{e^{z_j}}{e^{z_1}+e^{z_2}}$    für j = 1, 2 und $\sigma (𝐳{)}_2=1-\sigma (𝐳{)}_1$.

Da die $z_j$ um eine beliebige Konstante verschoben werden können ohne das Ergebnis zu ändern, gilt:

$\sigma (𝐳{)}_1=\frac{e^{z_1}}{e^{z_1}+e^{z_2}}=\frac{e^{z_1}}{e^{z_1}+e^{z_2}}\underset{1}{\underbrace{\frac{e^{-z_2}}{e^{-z_2}}}}=\frac{e^{z_1}{e}^{-z_2}}{e^{z_1}{e}^{-z_2}+1}=\frac{e^{\tilde{z}}}{e^{\tilde{z}}+1}={\mathrm{logit}}^{-1}(\tilde{z}),$

mit $\tilde{z}=z_1-z_2$ und der Inversen der Logit-Funktion.

Alternativen

Softmax erzeugt Wahrscheinlichkeitsvorhersagen welche über ihrem Träger dicht besetzt sind. Andere Funktionen wie sparsemax oder $\alpha$-entmax können benutzt werden, wenn dünn besetzte Wahrscheinlichkeitsvorhersagen erzeugt werden sollen.