Komplementaritätsbedingung

Die Komplementaritätsbedingung, auch komplementärer Schlupf genannt (englisch complementary Slackness), ist eine Aussage der mathematischen Optimierung, die eine Verbindung zwischen den Optimalpunkten zweier Optimierungsprobleme knüpft, die zueinander dual bezüglich der Lagrange-Dualität sind. Die Komplementaritätsbedingung ist ein notwendiges Optimalitätskriterium und findet Anwendung bei Innere-Punkte-Verfahren und den Karush-Kuhn-Tucker-Bedingungen.

Aussage

Allgemeiner Fall

Problemstellung

Gegeben seien zwei Optimierungsprobleme wie in der nachfolgenden Tabelle:

Primales Problem	Duales Problem
$\begin{array}{ccc}\text{Minimiere }& f(x)& \\ \text{unter den Nebenbedingungen }& g_i(x)\le 0& i=1,\dots ,p\\ & h_j(x)=0& j=1,\dots ,q\\ & x\in X& \end{array}$	$\begin{array}{ccc}\text{Maximiere }& q(\lambda ,\mu )& \\ \text{unter den Nebenbedingungen }& {\lambda }_i\ge 0& i=1,\dots ,p\end{array}$

Dabei ist

$q(\lambda ,\mu )=\underset{x\in X}{\inf }(f(x)+\sum _{i=1}^p{\lambda }_i{g}_i(x)+\sum _{j=1}^q{\mu }_j{h}_j(x))$

die duale Funktion und $f,g_i,h_j:{ℝ}^n\mapsto ℝ$

Aussage

Die Komplementaritätsbedingung lautet nun

${\lambda }_i^{*}{g}_i(x^{*})=0\text{ für alle }i=1,\dots ,p$

für zulässige $x^{*},{\lambda }^{*}$. Eine alternative Formulierung in Vektorschreibweise mit $g(x)=(g_1(x),\dots ,g_p(x){)}^T$ und $\lambda =({\lambda }_1,\dots ,{\lambda }_p{)}^T$ ist

$({\lambda }^{*}{)}^{T}g(x^{*})=0$.

Ist der $i$-te Lagrange-Multiplikator (die $i$-te Ungleichungsrestriktion) ungleich Null, so muss die $i$-te Ungleichungsrestriktion (der $i$-te Lagrange-Multiplikator) folglich gleich Null sein:

$\begin{array}{c}{\lambda }_i^{*}>0⟹g_i(x^{*})=0\\ g_i(x^{*})<0⟹{\lambda }_i^{*}=0\end{array}$.

Es muss also stets mindestens einer der beiden Faktoren null sein. Dies folgt daraus, dass ${\lambda }_i^{*}\ge 0$ und $g_i(x^{*})\le 0$ gilt, da beide dual bzw. primal zulässig sind.

Gültigkeit

Gilt die starke Dualität (d. h. sind der Optimalwert des primalen und des dualen Problems gleich), wird der Optimalwert in $x^{*}$ und $({\lambda }^{*},{\mu }^{*})$ angenommen und ist er endlich, so gilt die Komplementaritätsbedingung.

Alternativ findet sich auch im Rahmen der KKT-Bedingungen die Formulierung, dass wenn $x^{*}$ optimal für das primale Problem ist, $f(x^{*})$ endlich ist und gewisse Regularitätsbedingungen (auch constraint qualifications genannt) gelten, so existieren ${\lambda }_i^{*}\ge 0$, so dass für $x^{*},{\lambda }^{*}$ die Komplementaritätsbedingung gilt. Die Regularitätsbedingungen garantieren die starke Dualität (meist nur im Punkt $x^{*}$) und ermöglichen damit die Ergänzung der primalen Optimallösung um die duale Optimallösung.

Für lineare Programme

Problemstellung

Handelt es sich bei den Optimierungsproblemen um lineare Programme, so nehmen das primale und das duale Problem eine besondere Form an und der komplementäre Schlupf vereinfacht sich.

Primales Problem	Duales Problem
$\begin{array}{ccc}\text{Minimiere }& c^{T}x& \\ \text{unter den Nebenbedingungen }& Ax=b\\ & x\ge 0\end{array}$	$\begin{array}{ccc}\text{Maximiere }& b^{T}y& \\ \text{unter den Nebenbedingungen }& A^{T}y\le c\end{array}$

Dabei ist $x,c\in {ℝ}^n,b,y\in {ℝ}^m$ und $A\in {ℝ}^{m\times n}$.

Aussage

Bezeichne $[x{]}_i$ die i-te Komponente des Vektors $x$. Dann lautet die Komplementaritätsbedingung für zulässige $x^{*},y^{*}$

$(x^{*}{)}^T(A^T{y}^{*}-c)=0\text{ bzw. }[x^{*}{]}_i\cdot [A^T{y}^{*}-c{]}_i=0$.

Damit folgt

$\begin{array}{c}{\left[x^{*}\right]}_i>0⟹{\left[A^T{y}^{*}\right]}_i={\left[c\right]}_i\\ {[A^T{y}^{*}-c]}_i<0⟹{\left[x^{*}\right]}_i=0\end{array}$.

Ist das duale Problem mit einer Schlupfvariable $s\in {ℝ}^n$ formuliert, lauten die Nebenbedingungen also

$A^{T}y+s=c,s\ge 0,$

so lautet die Komplementaritätsbedingung

$(x^{*}{)}^T{s}^{*}=0\text{ bzw. }[x^{*}{]}_i\cdot [s{]}_i=0$

und

$\begin{array}{c}{\left[x^{*}\right]}_i>0⟹{\left[s^{*}\right]}_i=0\\ {\left[s^{*}\right]}_i>0⟹{\left[x^{*}\right]}_i=0\end{array}$.

Dies erklärt die Namensgebung als komplementärer Schlupf: Entweder die Schlupfvariable ist null oder die primale Variable ist null.

Gültigkeit

Die Formulierung der Komplementaritätsbedingung basiert auf der Tatsache, dass für lineare Programme starke Dualität gilt und der Optimalwert endlich ist, genau dann, wenn sowohl das primale als auch das duale Problem einen zulässigen Punkt besitzen.

Die Formulierung lautet also, dass falls das primale und das duale Problem zulässige Lösungen besitzen, zulässige Lösungen $x^{*},y^{*}$ (bzw. je nach Formulierung $s^{*}$) existieren, die die Komplementaritätsbedingung erfüllen. Die $x^{*},y^{*}$ sind dann Optimallösungen des primalen und dualen Problems.

Umgekehrt erfüllt jedes endliche primal-duale Optimalpaar $x^{*},y^{*}$ die Komplementaritätsbedingung.

Beispiel

Wir betrachten das primale lineare Programm

$\begin{array}{cc}\text{Minimiere }& (-1,0,0)x\\ \text{unter den Nebenbedingungen }& (1,1,1)x=1\\ & x\ge 0\end{array}$

und das zugehörige duale Programm

$\begin{array}{cc}\text{Maximiere }& y_1\\ \text{unter den Nebenbedingungen }& \left(\begin{array}{c}1\\ 1\\ 1\end{array}\right)y\le \left(\begin{array}{c}-1\\ 0\\ 0\end{array}\right)\end{array}$

Beide Probleme besitzen einen zulässigen Punkt, somit gilt starke Dualität. Der optimale duale Zielfunktionswert ist $y_1=-1$. Aus der starken Dualität folgert man wegen $c^{T}x=b^{T}y$, dass $x_1=1$ ist. Der komplementäre Schlupf liefert nun

$\begin{array}{c}{x}_2\cdot (y_1-0)=0\\ x_3\cdot (y_1-0)=0\end{array}$

und damit $x_2=x_3=0$. Somit liefert hier der komplementäre Schlupf den vollständigen primalen Optimalpunkt. Umgekehrt kann man auch bei gegebenen primalen und dualen Punkten überprüfen, ob diese Optimalpunkte sind: Wenn sie optimal sind, müssen sie den komplementären Schlupf erfüllen.

Herleitung

Sei $x^{*}$ primal optimal und $({\lambda }^{*},{\mu }^{*})$ dual optimal. Dann ist $g_i(x^{*})\le 0$ und ${\lambda }_i^{*}\ge 0$, da die Optimalpunkte zulässig sind. Somit ist ${\lambda }^{*}{g}_i(x^{*})\le 0$. Wegen der starken Dualität ist

$\begin{array}{c}f(x^{*})=q({\lambda }^{*},{\mu }^{*})=\underset{x\in X}{\inf }(f(x)+\sum _{i=1}^p{\lambda }_i^{*}{g}_i(x)+\sum _{j=1}^q{\mu }_j^{*}{h}_j(x))\\ \le f(x^{*})+\sum _{i=1}^p\underset{\le 0}{\underbrace{{\lambda }_i^{*}{g}_i(x^{*})}}+\sum _{j=1}^q\underset{=0}{\underbrace{{\mu }_j^{*}{h}_j(x^{*})}}\le f(x^{*})\end{array}$

Die erste geschweifte Klammer folgt aus der oben gezeigten Identität, die zweite aus der Tatsache, dass $h_j(x^{*})=0$, da $x^{*}$ zulässig ist. Ist nun $f(x^{*})$ endlich, so gilt in der Ungleichung Gleichheit und es folgt

$\sum _{i=1}^p{\lambda }_i^{*}{g}_i(x^{*})=0$,

was die Behauptung impliziert, da jeder der Summanden kleinergleich null ist.

Verallgemeinerungen

Der komplementäre Schlupf lässt sich auch allgemeiner formulieren für Abbildungen zwischen vollständigen reellen Vektorräumen, die mit Skalarprodukt versehen sind und auf denen eine verallgemeinerte Ungleichung ${\preccurlyeq }_K$ bzw. ein Ordnungskegel definiert ist. Die Funktionen $g_i$ bilden in den Vektorraum $V_i$ versehen mit dem Skalarprodukt $⟨\cdot ;\cdot {⟩}_i$ ab, ebenso bilden die Funktionen $h_j$ in den Vektorraum $V_j$ versehen mit dem Skalarprodukt $⟨\cdot ;\cdot {⟩}_j$ ab. Das primale und duale Problem lauten dann

Primales Problem	Duales Problem
$\begin{array}{ccc}\text{Minimiere }& f(x)& \\ \text{unter den Nebenbedingungen }& g_i(x){\preccurlyeq }_{K_i}0& i=1,\dots ,p\\ & h_j(x)=0& j=1,\dots ,q\\ & x\in X& \end{array}$	$\begin{array}{ccc}\text{Maximiere }& q(\lambda ,\mu )& \\ \text{unter den Nebenbedingungen }& {\lambda }_i{\succcurlyeq }_{K_i^{*}}0& i=1,\dots ,p\end{array}$.

Dabei ist

$q(\lambda ,\mu )=\underset{x\in X}{\inf }(f(x)+\sum _{i=1}^p⟨\lambda ;g(x){⟩}_i+\sum _{j=1}^q⟨{\mu }_j;h_j(x){⟩}_j)$

die duale Funktion und $K^{*}$ der duale Kegel zu $K$.

Gilt starke Dualität und sind die Punkte $x^{*}$ sowie $({\lambda }^{*},{\mu }^{*})$ optimal und ist der Zielfunktionswert endlich, so gilt

$⟨{\lambda }_i^{*};g_i(x^{*}){⟩}_i=0\text{ für }i=1,\dots ,p$.

Daraus folgt

$\begin{array}{cc}{\lambda }_i^{*}{>}_{K_i^{*}}0& ⟹g_i(x^{*})=0\\ g_i(x^{*}){<}_{K_i}0& ⟹{\lambda }_i^{*}=0\end{array}$

Die Herleitung für diesen allgemeinen Fall ist größtenteils analog zur obigen Vorgehensweise unter Ausnutzung der Tatsache, dass wenn $a{\preccurlyeq }_{K}0,b{\succcurlyeq }_{K^{*}}0$ ist, folgt, dass $⟨a;b⟩\le 0$.

Formuliert man das Problem mit Ordnungskegeln, sind also die Ungleichungsrestriktionen von der Form $g_i(x)\in -K_i$ bzw. $\lambda \in K_i^{*}$, so gilt genauso wie oben

$⟨{\lambda }_i^{*};g_i(x^{*}){⟩}_i=0\text{ für }i=1,\dots ,p$.

Die Aussage

${\lambda }_i^{*}\in \mathrm{int}(K_i^{*})⟹g_i(x^{*})=0$

gilt aber nur, wenn der Kegel $K_i^{*}$ ein nichtleeres Inneres hat. Analog gilt

$g_i(x^{*})\in \mathrm{int}(-K_i)⟹{\lambda }_i^{*}=0$

nur, wenn das Innere von $K_i$ nicht leer ist.

Literatur

• Boyd, Stephen; Vandenberghe, Lieven (2004). Convex Optimization. Cambridge University Press. ISBN 978-0-521-83378-3. (online)
• C. Geiger, C. Kanzow: Theorie und Numerik restringierter Optimierungsaufgaben. Springer, 2002. ISBN 3-540-42790-2.