Quelltext der Seite Verallgemeinerte Kleinste-Quadrate-Schätzung

{{Dieser Artikel|behandelt das verallgemeinerte Modell der Kleinste-Quadrate-Schätzung.
* Für die Modellklasse, die es der Zielgröße erlaubt, eine andere Verteilung als die Normalverteilung anzunehmen, siehe [[Verallgemeinerte lineare Modelle]].}}
In der [[Statistik]] ist die '''Verallgemeinerte Kleinste-Quadrate-Schätzung''' (kurz '''VKQ-Schätzung''') oder '''verallgemeinerte [[Methode der kleinsten Quadrate]]''', kurz '''VMKQ''', ({{enS}} ''generalized least squares'', kurz ''GLS'') eine Prozedur, um unbekannte [[Wahrer Wert|wahre]] [[Regressionsparameter]] in einer [[Lineare Regression|linearen Regressionsgleichung]], unter problematischen Voraussetzungen (vorliegen von [[Autokorrelation]] und [[Heteroskedastizität]]), effizient zu schätzen. Die VKQ-Methode kann benutzt werden, um bei einem [[#Das verallgemeinerte lineare Regressionsmodell (VLR)|Modell mit einer allgemeinen Störgrößenstruktur]] zielführend eine lineare Regression durchzuführen. Eine verallgemeinerte Störgrößenstruktur liegt vor, wenn ein bestimmter Grad an [[Korrelation]] zwischen den [[Störgröße und Residuum|Residuen]] und eine nicht konstante Störgrößenvarianz zulässig sind. In diesen Fällen können die gewöhnliche [[Methode der kleinsten Quadrate|Kleinste-Quadrate-Schätzung]] und die gewichtete Kleinste-Quadrate-Schätzung statistisch [[Effizienz (Statistik)|ineffizient]] sein oder sogar zu falschen Resultaten der [[Mathematische Statistik|statistischen Inferenz]] führen. Aus diesem Grund wird, um valide Resultate der statistischen Inferenz zu erhalten, eine Transformation des [[Klassisches lineares Modell|klassischen linearen Modells]] durchgeführt, durch welche die benötigten Annahmen für die statistische Inferenz weiterhin erfüllt sind. Die VKQ-Methode minimiert im Gegensatz zur gewöhnlichen Methode der kleinsten Quadrate eine gewichtete Residuenquadratsumme. Sie wurde von [[Alexander Aitken]] entwickelt und 1934 veröffentlicht und wird daher auch '''Aitken-Schätzung''' genannt.

== Geschichte ==
[[Datei:Carl Friedrich Gauss.jpg|mini|hochkant|[[Carl Friedrich Gauß]]]]
[[Datei:Alexander Aitken.gif|mini|hochkant|[[Alexander Aitken]]]]
Am Neujahrstag 1801 entdeckte der italienische Astronom [[Giuseppe Piazzi]] den Zwergplaneten [[(1) Ceres|Ceres]]. 40 Tage lang konnte er die Bahn verfolgen, dann verschwand Ceres hinter der Sonne. Im Laufe des Jahres versuchten viele Wissenschaftler erfolglos, anhand von Piazzis Beobachtungen die Bahn zu berechnen – unter der Annahme einer Kreisbahn, denn nur für solche konnten damals die [[Bahnelement]]e aus beobachteten Himmelspositionen mathematisch ermittelt werden. Der 24-jährige Gauß hingegen konnte auch [[Ellipse|elliptische]] Bahnen aus drei Einzelbeobachtungen berechnen. Da aber deutlich mehr Bahnpunkte vorlagen, wandte er seine Methode der kleinsten Quadrate an, um so die Genauigkeit zu erhöhen. Als [[Franz Xaver von Zach]] und [[Heinrich Wilhelm Olbers]] im Dezember 1801 den Kleinplaneten genau an dem von Gauß vorhergesagten Ort wiederfanden, war das nicht nur ein großer Erfolg für Gauß’ Methode: Piazzis Ruf, der aufgrund seiner nicht zu einer Kreisbahn passen wollenden Bahnpunkte stark gelitten hatte, war ebenfalls wiederhergestellt.<ref>{{ADB|8|430|445|Gauß: Karl Friedrich G.|[[Moritz Cantor]]|ADB:Gauß, Carl Friedrich}}, S.&nbsp;436.</ref>

Den Grundstein der verallgemeinerten Methode der kleinsten Quadrate legte Gauß schon 1795 im Alter von 18 Jahren. Basis war eine Idee von [[Pierre-Simon Laplace]], die Beträge von Fehlern aufzusummieren, so dass sich die Fehler zu Null addieren. Gauß nahm stattdessen die Fehlerquadrate und konnte die Nullsummen-Anforderung an die Fehler weglassen. Unabhängig davon entwickelte der Franzose [[Adrien-Marie Legendre]] dieselbe Methode erstmals im Jahr 1805 am Schluss eines kleinen Werkes über die Berechnung der Kometenbahnen<ref>Adrien-Marie Legendre: [http://books.google.de/books?id=PRcOAAAAQAAJ&printsec=frontcover#v=onepage&q=&f=false ''Nouvelles méthodes pour la détermination des orbites des comètes.''] Paris 1805, S. 72–80 (Anhang): ''Sur la Méthode des moindres quarrés.''</ref> und veröffentlichte eine zweite Abhandlung darüber im Jahr 1810. Von ihm stammt der Name ''Méthode des moindres carrés'' (Methode der kleinsten Quadrate).

1809 publizierte Gauß dann im zweiten Band seines himmelsmechanischen Werkes ''Theoria motus corporum coelestium in sectionibus conicis solem ambientium (Theorie der Bewegung der Himmelskörper, welche in Kegelschnitten die Sonne umlaufen)'' sein Verfahren,<ref>Carl Friedrich Gauß: [http://books.google.de/books?id=ORUOAAAAQAAJ&printsec=frontcover#v=onepage&q=&f=false ''Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium'']. Göttingen 1809; Carl Haase (Übers.): [http://books.google.de/books?id=hjIDAAAAQAAJ&printsec=frontcover#v=onepage&q=&f=false ''Theorie der Bewegung der Himmelskörper, welche in Kegelschnitten die Sonne umlaufen.''] Hannover 1865.</ref> inklusive der Normalgleichungen und des [[Gaußsches Eliminationsverfahren|Gaußschen Eliminationsverfahrens]].<ref>[http://www-history.mcs.st-andrews.ac.uk/HistTopics/Matrices_and_determinants.html Matrices and determinants]</ref> Dabei erwähnte er, dass er es schon vor Legendre entdeckt und benutzt habe, was zu einem Prioritätsstreit zwischen den beiden führte. Die Methode der kleinsten Quadrate wurde nun schnell das Standardverfahren zur Behandlung von astronomischen oder geodätischen Datensätzen.

Gauß benutzte dann das Verfahren intensiv bei seiner [[Gaußsche Landesaufnahme|Vermessung des Königreichs Hannover]] durch [[Triangulation (Geodäsie)|Triangulation]]. 1821 und 1823 erschien die zweiteilige Arbeit sowie 1826 eine Ergänzung zur ''Theoria combinationis observationum erroribus minimis obnoxiae (Theorie der den kleinsten Fehlern unterworfenen Kombination der Beobachtungen)'',<ref>Carl Friedrich Gauß: [http://books.google.de/books?id=ZQ8OAAAAQAAJ&printsec=frontcover#v=onepage&q=&f=false ''Theoria combinationis observationum erroribus minimis obnoxiae.''] 2 Tle. Göttingen 1821–1823 (Commentationes Societatis Regiae Scientiarum Gottingensis recentiores, classis mathematicae, Bd.&nbsp;5.); ''Supplementum Theoria combinationis observationum erroribus minimis obnoxiae.'' Göttingen 1826/28 (Commentationes Societatis Regiae Scientiarum Gottingensis recentiores, classis mathematicae, Bd.&nbsp;6.); Anton Börsch Paul Simon (Hrsg.): [http://www.archive.org/stream/abhandlungenmet00gausrich#page/n5/mode/2up ''Abhandlungen zur Methode der kleinsten Quadrate von Carl Friedrich Gauss. In deutscher Sprache.''] Berlin 1887.</ref> in denen Gauß eine Begründung liefern konnte, weshalb sein Verfahren im Vergleich zu den anderen so erfolgreich war: Die Methode der kleinsten Quadrate ist in einer breiten Hinsicht optimal, also besser als andere Methoden. Die genaue Aussage ist als der [[Satz von Gauß-Markow]] bekannt, da die Arbeit von Gauß wenig Beachtung fand und schließlich im 20. Jahrhundert von [[Andrei Andrejewitsch Markow (Mathematiker, 1856)|Andrei Andrejewitsch Markow]] wiederentdeckt und bekannt gemacht wurde. Die ''Theoria Combinationis'' enthält ferner wesentliche Fortschritte beim effizienten Lösen der auftretenden [[Lineares Gleichungssystem|linearen Gleichungssysteme]], wie das [[Gauß-Seidel-Verfahren]] und die [[LR-Zerlegung]].<ref>Pete Stewart, 21. Juni 1991: [http://www.netlib.org/na-digest-html/91/v91n26.html#4 Maybe We Should Call It “Lagrangian Elimination”], NA Digest Sunday, June 30, 1991 Volume 91, Issue 26.</ref>

Schließlich veröffentlichte [[Alexander Aitken]] 1935 eine Arbeit, in der er das Konzept der verallgemeinerten kleinsten Quadrate und den viel verwendeten verallgemeinerten kleinsten Quadrate-Schätzer einführte.<ref>{{cite journal|last=Aitken |first=A. C. |title=On Least-squares and Linear Combinations of Observations |journal=Proceedings of the Royal Society of Edinburgh |year=1934 |volume=55 |issue= |pages=42–48 }}</ref> Ebenso bewies er dort, dass dieser von ihm eingeführte Schätzer ''[[Beste Lineare Erwartungstreue Schätzfunktion]]'', kurz ''BLES'' ({{enS}} ''Best Linear Unbiased Estimator'', kurz: ''BLUE'') ist, d.&nbsp;h. in der Klasse der linearen erwartungstreuen Schätzern derjenige mit der kleinsten Kovarianzmatrix ist. Aitken wendete außerdem die statistischen Methoden auf die Theorie der linearen Modelle an und entwickelte die Notation, die man heutzutage als Standard-Vektor-Matrix-Notation betrachtet.<ref>Robertnowlan: [http://www.robertnowlan.com/pdfs/Aitken,%20Alexander.pdfl ''Alexander Aitken'']{{Toter Link|url=http://www.robertnowlan.com/pdfs/Aitken,%20Alexander.pdfl |date=2019-05 }}</ref> Aitken veröffentlichte zusammen mit einem seiner Studenten namens [[Harold Silverstone]] eine Arbeit, in der sie die untere Grenze der Varianz eines Schätzers einführten,<ref>A. C. Aitken, H. Silverstone: ''On the Estimation of Statistical Parameters''. In: ''Proceedings of the Royal Society of Edinburgh'', 1942, 61, S. 186–194.</ref> auch bekannt als [[Cramér-Rao-Ungleichung]]. Im Gegensatz zu Vorgängern fand er einen effizienten Weg, um das Problem einer nicht konstanten Varianz und korrelierten Störtermen zu lösen. Die verallgemeinerte Kleinste-Quadrate-Schätzung baut auf der Gauß-Markov-Theorie auf und spielt immer noch eine große Rolle in theoretischen und praktischen Aspekten der statistischen Inferenz in verallgemeinerten linearen (multiplen) Regressionsmodellen.<ref>Takeaki Kariya, Hiroshi Kurata: [https://books.google.de/books?hl=de&lr=&id=KtDkJe8srP4C&oi=fnd&pg=PR7&dq=generalized+least+squares&ots=K2mj4lVypX&sig=dy64HECUY2ATVd0NhOHk_l3EUN4#v=onepage&q=generalized%20least%20squares&f=false ''Generalized Least Squares'']</ref>

== Ausgangslage ==
Da viele Variablen des Interesses nicht nur von einer unabhängigen Variablen abhängen, betrachten wir eine abhängige Variable, die durch mehrere unabhängige Variablen erklärt werden soll. Zum Beispiel ist die Gesamtproduktion einer Volkswirtschaft von dessen Kapitaleinsatz, Arbeitseinsatz und dessen Fläche abhängig. Solch eine multiple Abhängigkeit kommt der Realität viel näher und man gibt die Annahme der [[Einfache lineare Regression|einfachen linearen Regression]] auf, bei der die Variable des Interesses nur von einer Variablen abhängt. Um solch eine multiple Abhängigkeit zu modellieren, betrachten wir als Ausgangslage ein typisches [[Multiple lineare Regression|multiples lineares Regressionsmodell]] mit gegebenen Daten <math>\{y_t,x_{tk}\}_{t=1, \dots, T,k=1, \dots, K}</math> für <math>T</math> [[statistische Einheit]]en. Hierbei ist zu beachten, dass wir zusätzlich zur Dimension der unabhängigen Variablen auch eine zeitliche Dimension integrieren, wodurch sich ein lineares Gleichungssystem ergibt was sich auch matriziell darstellen lässt. Der Zusammenhang zwischen der abhängigen Variablen und den unabhängigen Variablen kann wie folgt dargestellt werden

:<math>y_t = x_{t1} \beta_1 + x_{t2} \beta_2 + \ldots + x_{tK} \beta_K + \varepsilon_t = \mathbf x_{t}^{\top} \boldsymbol \beta + \varepsilon_t, \quad t=1, 2, \dotsc ,T</math>.

In [[Multiple lineare Regression#Das klassische Modell der linearen Mehrfachregression|Vektor-Matrix-Form]] auch

{{Center|<math>
  \begin{pmatrix}
    y_1 \\
    y_2 \\
    \vdots \\
    y_T
  \end{pmatrix}_{(T \times 1)}
\; = \;
\begin{pmatrix}
x_{11} & x_{12} & \cdots & x_{1k} & \cdots & x_{1K}\\
x_{21} & x_{22} & \cdots & x_{2k} & \cdots & x_{2K}\\
\vdots & \vdots & \ddots & \vdots & \ddots & \vdots\\
x_{T1} & x_{T2} & \cdots & x_{Tk} & \cdots & x_{TK}
\end{pmatrix}_{(T \times K)}
\; \cdot \;
\begin{pmatrix}
    \beta_1 \\
    \beta_2 \\
    \vdots \\
    \beta_K
  \end{pmatrix}_{(K \times 1)}
\; + \;
  \begin{pmatrix}
    \varepsilon_1 \\
    \varepsilon_2 \\
    \vdots \\
    \varepsilon_T
  \end{pmatrix}_{(T \times 1)}
</math>}}

oder in kompakter Schreibweise

:<math>\mathbf y = \mathbf X \boldsymbol{\beta} + \boldsymbol \varepsilon</math>

Hier stellt <math>\boldsymbol\beta</math> einen Vektor von unbekannten [[Regressionsparameter]]n dar, die mithilfe der Daten geschätzt werden müssen. Des Weiteren wird angenommen, dass die Störgrößen im Mittel null sind: <math>\mathbb{E}(\boldsymbol{\boldsymbol{\varepsilon}})=\mathbf 0</math>, was bedeutet, dass wir davon ausgehen können, dass unser Modell im Mittel korrekt ist. Für gewöhnlich stellt man an ein solches Modell die Anforderung, dass die [[Gauß-Markow-Annahmen]] gelten sollen. Dies soll hier aber nicht der Fall sein, da man nicht opportunistisch von problematischen Voraussetzungen ausgeht. Aus diesem Grund wird ein Modell betrachtet, bei dem eine allgemeine Störgrößenstruktur zulässig ist.

== Das verallgemeinerte lineare Regressionsmodell (VLR) ==
Weiterhin wird für das Modell angenommen, dass der [[Erwartungswert]] von <math>\mathbf{y}</math> linear in <math>\boldsymbol \beta </math> ist. Die Matrix <math>\mathbf{\Phi}</math> stellt die [[Kovarianzmatrix]] der Störgrößen dar, wobei <math> \mathbf \Psi</math> als eine beliebige bekannte reelle nichtsinguläre [[Definitheit#Definitheit von Matrizen|positiv definite]] <math>T \times T</math> Matrix angenommen wird und <math> \sigma^2</math> ein noch unbekannter Skalar darstellt.
Die Besonderheit im Gegensatz zur gewöhnlichen Methode der kleinsten Quadrate ist, dass [[Heteroskedastizität]] (d.&nbsp;h., dass die Varianz der Störterme bedingt auf die erklärenden Variablen nicht konstant ist) und [[Autokorrelation]] (d.&nbsp;h. ein Korrelieren der Störterme) erlaubt ist:

# Die [[Erwartungstreue Schätzung der Varianz der Störgrößen|Varianz der Störgrößen]] könnte heteroskedastisch sein:
#:<math>\operatorname{Cov}[\boldsymbol{\varepsilon}]=\mathbb{E}(\boldsymbol \varepsilon\boldsymbol \varepsilon^{\top}) = \sigma^2 \mathbf \Psi = \mathbf \Phi \ne \sigma^2 \mathbf I_T</math>
#:Wenn die Varianz der Residuen (und somit die Varianz der erklärten Variablen selbst) für alle Ausprägungen der Regressoren nicht unterschiedlich ist, liegt Homoskedastizität ((Residuen-)Varianzhomogenität) vor. Falls diese Annahme verletzt ist spricht man von Heteroskedastizität.
# Die Störgrößen könnten voneinander nicht unabhängige Zufallsvariablen sein, d.&nbsp;h. autokorreliert sein:
#:<math>\forall \; t \ne s :\mathbb{E}(\varepsilon_t \varepsilon_s) \ne 0 </math>.
#:D. h., die Annahme der Abwesenheit von [[Autokorrelation]] könnte verletzt sein.

Für die Matrix <math> \boldsymbol\Phi</math> gibt es je nach Kontext unterschiedliche Definitionen. Bei Vorliegen von Heteroskedastizität nimmt sie folgende Form an<ref>George G. Judge, R. Carter Hill, W. Griffiths, [[Helmut Lütkepohl]], T. C. Lee. ''Introduction to the Theory and Practice of Econometrics.'' 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S.&nbsp;328.</ref>
:<math> \boldsymbol\Phi=\sigma^2\boldsymbol\Psi=\sigma^2\begin{pmatrix}
w_{11} & 0 & \cdots & 0 \\
0 & w_{22} & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & w_{TT}
\end{pmatrix}=\begin{pmatrix}
\sigma^2_{11} & 0 & \cdots & 0 \\
0 & \sigma^2_{22} & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & \sigma^2_{TT}
\end{pmatrix}</math>

und bei Vorliegen von Autokorrelation die Form
:<math> \boldsymbol\Phi=\sigma^2\boldsymbol \Psi=\sigma^2\begin{pmatrix}
1 & a_{1} & \cdots & a_{T-1} \\
a_{1} & 1 & \cdots & a_{T-2} \\
\vdots & \vdots & \ddots & \vdots \\
a_{T-1} & a_{T-2} & \cdots & 1
\end{pmatrix}</math>.

Ein Modell der Form <math>\mathbf y = \mathbf X \boldsymbol{\beta} + \boldsymbol \varepsilon</math> mit <math> \boldsymbol \varepsilon \sim (\mathbf{0},\sigma^2\boldsymbol \Psi)</math>, wobei <math>\operatorname{Rang}(\boldsymbol \Psi) = T</math>, heißt ''verallgemeinertes [[Multiple lineare Regression#Das klassische Modell der linearen Mehrfachregression|(multiples) lineares Regressionsmodell]]'' (mit fixen Regressoren), kurz '''VLR'''.<ref>[[Fritz Pokropp]]: ''Lineare Regression und Varianzanalyse'' 2015, ISBN 978-3-486-78668-2, S.&nbsp;108 (abgerufen über [[Verlag Walter de Gruyter|De Gruyter]] Online).</ref> Es ist dabei zu beachten, dass sich <math>\sigma^2</math> immer als konstanter Faktor aus der Matrix ziehen lässt. Das Skalar <math>\sigma^2</math> stellt einen beliebigen konstanten Proportionalitätsfaktor<ref>[[Fritz Pokropp]]: ''Lineare Regression und Varianzanalyse'' 2015, ISBN 978-3-486-78668-2, S.&nbsp;107 (abgerufen über [[Verlag Walter de Gruyter|De Gruyter]] Online).</ref> dar. Manchmal ist es nützlich – insbesondere bei Heteroskedastizität – anzunehmen, dass <math> \sigma^2 = 1</math>. Die Annahme ist äquivalent zur Aussage, dass die Kovarianzmatrix <math> \mathbf \Psi </math> vollständig bekannt ist. Wenn man <math> \mathbf \Phi = \sigma^2 \mathbf \Psi</math> schreibt, wobei <math>\mathbf \Psi</math> bekannt ist und <math>\sigma^2</math> unbekannt ist dann sagt man damit, dass es nicht notwendig ist anzunehmen, dass die Kovarianzmatrix <math>\mathbf \Phi</math> vollständig bekannt sein muss; es ist ausreichend anzunehmen, dass <math>\mathbf \Psi</math> bekannt ist (die Matrix, die man erhält, nachdem man einen beliebigen unbekannten Skalierungsparameter <math>\sigma^2</math> herauszieht).<ref>George G. Judge, R. Carter Hill, W. Griffiths, [[Helmut Lütkepohl]], T. C. Lee. ''Introduction to the Theory and Practice of Econometrics.'' 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S.&nbsp;328.</ref> Man kann das verallgemeinerte lineare Regressionsmodell mit heteroskedastischer Störgrößenkovarianzmatrix <math>\mathbf{\Phi}:=\sigma^2 \mathbf{\Psi}</math> durch geeignete Wahl von <math>\mathbf \Psi</math> auf das gewöhnliche multiple Regressionsmodell mit homoskedastischer Störgrößenkovarianzmatrix <math>\mathbf{\Sigma}:=\sigma^2 \mathbf{I}</math> zurückführen.

== Die Auswirkungen der Anwendung der gewöhnlichen Methode der kleinsten Quadrate (KQ) ==
=== Auswirkungen auf Eigenschaften der Punktschätzer ===
Als einen ersten naiven Ansatz nehmen wir an, der Kleinste-Quadrate-Schätzer <math>\mathbf{b}</math>, der durch die Minimierung der [[Residuenquadratsumme]] gewonnen wird, wäre ein zielführender Kandidat für den [[Punktschätzer]] für <math>\boldsymbol\beta</math> bei einem Modell mit einer allgemeinen Störgrößenstruktur; dann ist der Residualvektor gegeben durch <math>\boldsymbol \varepsilon=\mathbf{y}- \mathbf{X} \mathbf{b}</math>. Es wird jedoch ersichtlich, dass der Punktschätzer <math>\boldsymbol\beta</math> für bei einem Modell mit allgemeiner Störgrößenstruktur zwar [[erwartungstreu]], aber nicht mehr effizient ist. Beim naiven Ansatz ist die Kovarianzmatrix nicht mehr gleich <math>\sigma^2 (\mathbf X^{\top} \mathbf X)^{-1}</math>, sondern sie ist gegeben durch

:<math>\begin{align}
                  \operatorname{Cov}(\hat{ \boldsymbol \beta})&=\mathbb{E}\left((\mathbf{b}-\mathbb{E}(\mathbf{b}))(\mathbf{b}-\mathbb{E}(\mathbf{b}))^{\top}\right)
                   = \mathbb{E}\left((\mathbf{X}^{\top} \mathbf X )^{-1}\mathbf {X}^{\top}\boldsymbol \varepsilon \boldsymbol \varepsilon^{\top}\mathbf X (\mathbf{X}^{\top}\mathbf X )^{-1}\right)
                   = (\mathbf{X}^{\top} \mathbf X )^{-1}\mathbf {X}^{\top}\mathbb{E}(\mathbf \boldsymbol \varepsilon \boldsymbol \varepsilon^{\top})\mathbf \mathbf X (\mathbf{X}^{\top} \mathbf X )^{-1}\\
                   &= (\mathbf X^{\top} \mathbf X)^{-1}\mathbf X^{\top} \boldsymbol \Phi \mathbf X (\mathbf X^{\top} \mathbf X)^{-1}= (\mathbf X^{\top} \mathbf X)^{-1}\mathbf X^{\top} (\sigma^2 \boldsymbol \Psi) \mathbf X (\mathbf X^{\top} \mathbf X)^{-1}
                   = \sigma^2 (\mathbf X^{\top} \mathbf X)^{-1}\mathbf X^{\top} \mathbf{\Psi} \mathbf X (\mathbf X^{\top} \mathbf X)^{-1} \\
                  & \ne\sigma^2 (\mathbf X^{\top} \mathbf X)^{-1} .
\end{align}</math>

Dies resultiert vor allem daraus, dass eine nichtkonstante Störgrößenvarianz (Heteroskedastizität) zulässig ist. Wenn man nämlich davon ausgeht, dass keine Heteroskedastizität gegeben ist (<math> \boldsymbol \Psi =\mathbf I</math>), dann ergibt sich wieder die Kovarianzmatrix der gewöhnlichen Methode der kleinsten Quadrate (<math>\operatorname{Cov}(\mathbf b)=\sigma^2 (\mathbf X^{\top} \mathbf X)^{-1}</math>).

Bei Vorliegen einer nichtskalaren Einheits-Kovarianzmatrix lässt sich zeigen, dass die Eigenschaft der Erwartungstreue des Kleinste-Quadrate-Schätzers weiterhin erfüllt ist, jedoch ist sie nicht mehr für die Varianz der Störgrößen erfüllt. Für die Varianz der Störgrößen gilt nämlich, dass sie keine [[Erwartungstreue Schätzung der Varianz der Störgrößen]] ist<ref>George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. ''Introduction to the Theory and Practice of Econometrics.'' 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S.&nbsp;330.</ref>

:<math>\mathbb{E}(\hat{\sigma}^2)=\sigma^2\frac{\operatorname{Spur}(\boldsymbol \Psi(\mathbf I - (\mathbf X^{\top} \mathbf X)^{-1}\mathbf X^{\top} ))}{T-K} \ne \sigma^2 </math>.

Sie ist somit ein verzerrter Schätzer für die wahre Varianz <math>\sigma^2 </math>.<ref>George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. ''Introduction to the Theory and Practice of Econometrics.'' 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S.&nbsp;341.</ref>

=== Auswirkungen auf Hypothesentests ===
Eine wichtige Auswirkung ergibt sich für die Intervallschätzung und Prozeduren der Hypothesentests. Die Resultate der statistischen Inferenz sind nicht länger gültig, da die oben dargestellten Resultate für die Kovarianzmatrix von <math>\mathbf b</math> implizieren, dass wir fälschlicherweise <math>\hat\sigma^2(\mathbf X^{\top} \mathbf X)^{-1} </math> benutzen, um <math> \sigma^2 (\mathbf X^{\top} \mathbf X)^{-1}\mathbf X^{\top} \boldsymbol \Psi \mathbf X (\mathbf X^{\top} \mathbf X)^{-1} </math> zu schätzen. Da dies ein verzerrter Schätzer ist, führt dies zu nicht validen Resultaten der statistischen Inferenz. Eine weitere Konsequenz für die Inferenz ist, dass die benötigte [[Teststatistik]] für [[Testen allgemeiner linearer Hypothesen|allgemeine lineare Hypothesen]] nicht mehr [[F-Verteilung|''F''-verteilt]] ist. Aus diesem Grund sollte man die Intervallschätzung auf dem verallgemeinerten Kleinste-Quadrate-Schätzer aufbauen<ref>G. Judge, R. Carter Hill: ''Introduction to the Theory and Practice of Econometrics.'' 1998, S. 342.</ref> oder robuste [[Standardfehler]] à la [[Eicker-Huber-White Standardfehler]] benutzen.

== Herleitung des verallgemeinerten Kleinste-Quadrate-Schätzers (VKQ) ==
Aus obigen ersten naiven Ansatz wird deutlich, dass die Methode der kleinsten Quadrate bei einer allgemeinen Störgrößenstruktur nicht zielführend ist, da sie zu Ineffizienzen führt. Aus diesem Grund besteht die Notwendigkeit diese Ineffizienzen zu beseitigen, indem das Verfahren der verallgemeinerten Methode der kleinsten Quadrate angewandt wird. Die verallgemeinerte Methode der kleinsten Quadrate schätzt <math>\boldsymbol\beta</math>, indem der quadrierte [[Mahalanobis-Abstand]] des Residualvektors minimiert wird:

:<math>\boldsymbol{\hat{\beta}}
  = \underset{\mathbf b}{\rm arg\,min}\,(\mathbf{y}- \mathbf{X} \mathbf{b})^{\top}\,\mathbf{\Psi}^{-1}(\mathbf{y}- \mathbf{X} \mathbf{b})
  </math>.<ref><math>\arg\min(\cdot)</math> bezeichnet analog zu <math>\arg\max(\cdot)</math>([[arg max|Argument des Maximums]]) das Argument des Minimums</ref><ref>Bei der gewöhnlichen Methode der kleinsten Quadrate wird im Gegensatz zur verallgemeinerten Methode der kleinsten Quadrate eine ungewichtete Fehlerquadratsumme <math>(\mathbf y - \mathbf X \boldsymbol \beta)^{\top} (\mathbf y - \mathbf X \boldsymbol \beta)</math> minimiert</ref>

Da der Ausdruck eine [[quadratische Form]] in <math>\mathbf{b}</math> ist, ist das Resultat der Minimierung:
:<math>
   \hat{\boldsymbol\beta}_{\text{VKQ}}= \left( \mathbf{X}^{\top} \mathbf{\Psi}^{-1} \mathbf{X} \right)^{-1} \mathbf{X}^{\top} \mathbf{\Psi}^{-1}\mathbf{y}
  </math>.

Der Schätzer <math>\hat{\boldsymbol\beta}_{\text{VKQ}}</math> heißt ''verallgemeinerter Kleinste-Quadrate-Schätzer'', kurz ''VKQ-Schätzer'' oder ''Aitken-Schätzer'' ({{enS}} ''generalized least squares estimator'', kurz: ''GLSE''). Die Kovarianzmatrix des verallgemeinerten Kleinste-Quadrate-Schätzers ist gegeben durch:

:<math>\mathbf{\Sigma}_{\hat{\boldsymbol\beta}_{\text{VKQ}}}=\sigma^2(\mathbf X^{\top} \mathbf\Psi^{-1}\mathbf X)^{-1}</math>.

Der durch das [[Minimierungsproblem]] gegebene Punktschätzer für <math>\boldsymbol \beta</math> ist [[Beste Lineare Erwartungstreue Schätzfunktion]] ''(Best Linear Unbiased Estimator)''. Ein anderer Ansatz um den VKQ-Schätzer zu bekommen ist durch eine Transformation des multiplen linearen Modells.

=== Transformation des multiplen linearen Modells ===
Die VKQ-Methode ist äquivalent zu der Anwendung einer linearen Transformation auf die gewöhnliche Methode der kleinsten Quadrate ({{enS}} ''ordinary least squares'', kurz ''OLS''), ähnlich zu [[Whitening (Statistik)]]. Der Transformationsfaktor der Varianz der Störgrößen <math>\mathbf{\Psi} = \boldsymbol{P^{-1}} \boldsymbol{P^{-1}}^{\top}</math> kann durch die [[Cholesky-Zerlegung]] gewonnen werden. Anschließend werden beide Seiten des Modells <math>\mathbf{y} = \mathbf{X} \boldsymbol \beta+ \boldsymbol \varepsilon</math> mit <math>\boldsymbol{P}</math> multipliziert. Das verallgemeinerte lineare Modell lässt sich über die Transformationen <math>\mathbf{y}^{*} = \boldsymbol{P} \mathbf{y}</math>, <math>\mathbf{X}^{*} = \boldsymbol{P} \mathbf{X}</math>, und <math>\boldsymbol \varepsilon^{*} = \boldsymbol{P} \boldsymbol \varepsilon</math> in ein [[klassisches lineares Modell]] überführen

:<math>\mathbf{y}^{*} = \mathbf{X}^{*} \boldsymbol \beta + \boldsymbol \varepsilon^{*}</math>.

==== Eigenschaften der transformierten Störgrößen ====
Weiterhin stellt sich die Frage, was die transformierten Störgrößen im Mittel ergeben. In diesem Modell gilt für die transformierten Störgrößen <math>\boldsymbol \varepsilon^{*}</math> ebenfalls, dass sie im Mittel Null ergeben, da

:<math>\mathbb{E}(\boldsymbol \varepsilon^{*})=\mathbb{E}(\boldsymbol{P} \boldsymbol \varepsilon)= \boldsymbol{P} \mathbb{E}( \boldsymbol \varepsilon)= \mathbf 0</math>.

Die Eigenschaft gewährleistet, dass man im Mittel das [[Wahres Modell|wahre Modell]] schätzt und nicht eine verzerrte Form. Für die Kovarianzmatrix der transformierten Störgrößen gilt

:<math>\operatorname{Cov}(\boldsymbol \varepsilon^{*}) = \operatorname{Cov}(\boldsymbol{P}\boldsymbol \varepsilon)=\boldsymbol{P}\operatorname{Cov}(\boldsymbol \varepsilon)\boldsymbol{P}^{\top}=\sigma^2 \boldsymbol{P} \mathbf{\Psi} \boldsymbol{P}^{\top}</math>.

Damit die Homoskedastizitätsannahme erfüllt ist, wird <math>\boldsymbol{P} \mathbf{\Psi} \boldsymbol{P}^{\top} </math> so bestimmt, dass <math>\boldsymbol{P} \mathbf{\Psi} \boldsymbol{P}^{\top} =\mathbf I</math>, wobei <math>\mathbf{I}</math> die [[Einheitsmatrix]] darstellt (weil <math>\mathbf{\Psi}</math> eine positiv definite Matrix ist existiert immer eine Matrix mit der Eigenschaft <math>\boldsymbol{P} \mathbf{\Psi} \boldsymbol{P}^{\top} =\mathbf I</math>). Also ist für das transformierte Modell bei dieser Festlegung die Homoskedastizitätsannahme <math>\operatorname{Cov}[\boldsymbol \varepsilon^{*}]=\sigma^2 \mathbf I</math> und auch alle anderen [[Gauß-Markov-Annahmen]] erfüllt. Dadurch, dass man <math>\boldsymbol{P} \mathbf{\Psi} \boldsymbol{P}^{\top} = \mathbf{I} </math> setzt folgt<ref>George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. ''Introduction to the Theory and Practice of Econometrics.'' 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S.&nbsp;330.</ref>

:<math> \mathbf{\Psi} =({\boldsymbol P}^{-1})(({\boldsymbol{P}}^{\top})^{-1}) \Leftrightarrow \mathbf{\Psi}^{-1}={\boldsymbol{P}}^{\top} \boldsymbol{P} </math>.

Dieses Resultat wird später noch für die Berechnung des VKQ-Schätzers benötigt. Da das transformierte Modell die [[Gauß-Markow-Annahmen]] erfüllt, muss der Kleinste-Quadrate-Schätzer dieses Modells gegeben sein durch

:<math> \hat{\boldsymbol \beta}=((\boldsymbol{P}\mathbf{X})^\top\boldsymbol{P}\mathbf{X})^{-1}(\boldsymbol{P}\mathbf{X})^\top(\boldsymbol{P}\mathbf{y})=(\mathbf{X^{*}}^\top \mathbf X^{*} )^{-1}\mathbf {X^{*}}^\top \mathbf y^{*} </math>

und beste lineare erwartungstreue Schätzfunktion ([[Gauß-Markov-Annahmen|BLES]]) sein. Anders ausgedrückt

:<math> \hat{\boldsymbol \beta}=(\mathbf{X}^\top{\boldsymbol{P}}^{\top} \boldsymbol{P} \mathbf X )^{-1}\mathbf {X}^\top{\boldsymbol{P}}^{\top} \boldsymbol{P} \mathbf y</math>.

Mithilfe des obigen Resultates für <math> \mathbf{\Psi}^{-1} </math> ergibt sich schließlich bei diesem Ansatz ebenfalls der VKQ-Schätzer

: <math>
   \hat{\boldsymbol\beta}_{\text{VKQ}}= \left( \mathbf{X}^{\top} \mathbf{\Psi}^{-1} \mathbf{X} \right)^{-1} \mathbf{X}^{\top} \mathbf{\Psi}^{-1}\mathbf{y}
  </math>.

Man kann zeigen, dass multiplizieren der Störgrößenkovarianzmatrix mit einem Skalar den Wert des VKQ-Schätzer nicht ändert:

: <math>
   \hat{\boldsymbol\beta}_{\text{VKQ}}= \left( \mathbf{X}^{\top} \mathbf{\Psi}^{-1} \mathbf{X} \right)^{-1} \mathbf{X}^{\top} \mathbf{\Psi}^{-1}\mathbf{y}
=   \left( \mathbf{X}^{\top} \mathbf{\Phi}^{-1} \mathbf{X} \right)^{-1} \mathbf{X}^{\top} \mathbf{\Phi}^{-1}\mathbf{y} </math>.

gilt.

=== Eigenschaften ===
==== Störgrößen-Kovarianzmatrix ====
Die Kovarianzmatrix der Störgrößen entspricht bei der verallgemeinerten Kleinste-Quadrate-Schätzung

:<math>\hat{\sigma}^2_{\text{VKQ}}= \frac{ (\mathbf y - \mathbf X \hat{\boldsymbol\beta}_{\text{VKQ}})^{\top} \mathbf{\Psi}^{-1} (\mathbf y - \mathbf X \hat{\boldsymbol\beta}_{\text{VKQ}})}{T-K}</math>.

==== Maximum-Likelihood-Schätzung (MLS) ====
Im Falle einer nichtskalaren Kovarianzmatrix, wie sie bei der verallgemeinerten Methode der kleinsten Quadrate zum Einsatz kommt, lässt sich die [[Gemeinsame Verteilung von Zufallsvariablen|gemeinsame Wahrscheinlichkeitsdichte]] aus einer [[Maximum-Likelihood-Methode|Maximum-Likelihood-Schätzung]] eines [[Klassisches lineares Modell der Normalregression|klassischen linearen Modells der Normalregression]] schreiben als:

:<math>\prod_{t=1}^T f_t(y_t\mid \mathbf x_t, \boldsymbol \beta, \sigma^2)=f(\mathbf y\mid \mathbf X, \boldsymbol \beta, \sigma^2)=(2\pi\sigma^2)^{-\frac{T}{2}} | \mathbf \Psi|^{-\frac{1}{2}} \operatorname{exp}\left\{-\frac{\left(\mathbf y-\mathbf X \boldsymbol \beta\right)^{\top} \mathbf \Psi^{-1}\left(\mathbf y-\mathbf X \boldsymbol \beta\right)}{2\sigma^2}\right\}</math>,

wobei <math>| \mathbf \Psi|</math> die [[Determinante]] von <math>\mathbf \Psi</math> darstellt.

==== Erwartungstreue ====
Der VKQ-Schätzer ist [[Erwartungstreue|erwartungstreu]], d.&nbsp;h., er trifft im Mittel den wahren Parametervektor, da sein [[Erwartungswert]] gleich dem [[Wahrer Wert|wahren Wert]] entspricht

: <math>\begin{align}
                  \mathbb{E}(\hat{\boldsymbol \beta}_{\text{VKQ}}) &=\mathbb{E}((\mathbf{X}^{\top} \mathbf\Psi ^{-1} \mathbf X )^{-1}\mathbf {X}^{\top} \mathbf\Psi ^{-1} \mathbf y )\\
                   &=\mathbb{E}((\mathbf{X}^{\top} \mathbf\Psi ^{-1} \mathbf X )^{-1}\mathbf {X}^{\top} \mathbf\Psi ^{-1} ( \mathbf X \boldsymbol{\beta} + \boldsymbol \varepsilon) )\\
                   &=\boldsymbol \beta+\mathbb{E}((\mathbf{X}^{\top} \mathbf\Psi ^{-1} \mathbf X )^{-1}\mathbf {X}^{\top} \mathbf\Psi ^{-1} \boldsymbol \varepsilon )\\
                   &= \boldsymbol \beta .
\end{align}</math>

Dies impliziert, dass keine [[Verzerrung einer Schätzfunktion|Verzerrung]] vorhanden ist. Somit ist die Verteilung des VKQ-Schätzers gegeben durch

: <math>\hat{\boldsymbol\beta}_{\text{VKQ}} \sim \mathcal{N}(\boldsymbol\beta, \sigma^2(\mathbf X^{\top} \mathbf\Psi^{-1}\mathbf X)^{-1})</math> .

==== Beste lineare erwartungstreue Schätzfunktion (BLES) ====
Es lässt sich zeigen, dass der VKQ-Schätzer eine [[Beste Lineare Erwartungstreue Schätzfunktion|''beste lineare erwartungstreue Schätzfunktion'']] ist. Ein Schätzer ist „besser“ als ein anderer, wenn er eine kleinere Varianz aufweist, da die Varianz ein Maß für die Unsicherheit ist. Somit ist der beste Schätzer dadurch gekennzeichnet, dass er eine [[Schätzfunktion#Minimale Varianz, Effizienz|minimale Varianz]] und somit die geringste Unsicherheit aufweist. Für alle anderen linearen erwartungstreuen Schätzer <math>\hat \beta_j</math> gilt somit

:<math>\operatorname{Var}({\hat{\beta}_{\text{VKQ}}}_i)\le\operatorname{Var}(\hat{\beta}_j)</math>.

Da der VKQ-Schätzer BLES ist, bedeutet dies, dass er mindestens so gut wie der gewöhnliche KQ-Schätzer sein muss. Die Effizienz dieses Ansatzes wird ersichtlich, weil die Differenz

:<math>D = \operatorname{Cov}(\mathbf b)-\operatorname{Cov}(\hat{ \boldsymbol \beta})= \sigma^2 ((\mathbf X^{\top} \mathbf X)^{-1}\mathbf X^{\top} \mathbf\Psi\mathbf X(\mathbf X^{\top} \mathbf X)^{-1}- (\mathbf X^{\top} \mathbf\Psi^{-1}\mathbf X)^{-1}) = \sigma^2 \mathbf A \mathbf\Psi \mathbf A^{\top}</math>
[[Definitheit#Definitheit von Matrizen|positiv semidefinit]] ist, was bedeutet, dass die Kovarianzmatrix des KQ-Ansatzes (bei Vorliegen von [[Heteroskedastizität]] (<math>\mathbf \Phi = \sigma^2 \mathbf \Psi </math>)) die Variation überschätzt und somit „größer“ als die durch die verallgemeinerte Kleinste-Quadrate-Schätzung gewonnene Kovarianzmatrix ist (siehe auch [[Kovarianzmatrix#Kovarianzmatrix als Effizienzkriterium|Kovarianzmatrix]]). Der KQ-Schätzer entspricht dem VKQ-Schätzer wenn die Differenz <math>D</math> gleich die [[Nullmatrix]] ist, also wenn:
: <math>A:=(\mathbf X^{\top} \mathbf X)^{-1}\mathbf X^{\top}-(\mathbf X^{\top} \mathbf\Psi^{-1} \mathbf X)^{-1}\mathbf X^{\top} \mathbf\Psi^{-1} = \mathbf{0}</math>.<ref>George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. ''Introduction to the Theory and Practice of Econometrics.'' 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S.&nbsp;331.</ref>

==== Asymptotische Eigenschaften ====
Eine asymptotische Eigenschaft ist, dass die über <math>T</math> Summanden gemittelte [[Produktsummenmatrix]] in [[Konvergenz in Wahrscheinlichkeit|Wahrscheinlichkeit]] zu einer positiv definiten, endlichen, nichtsingulären Matrix <math>\boldsymbol V</math> konvergiert:

:<math>\operatorname{plim} \left(\frac{\mathbf{X}^{\top} \mathbf\Psi ^{-1} \mathbf X}{T}\right)=\boldsymbol V</math>.

Aus dieser Eigenschaft folgt die Konsistenz des VKQ-Schätzers und der Varianz des VKQ-Schätzers und die Eigenschaft, dass der Schätzer in Verteilung gegen eine [[Normalverteilung]] konvergiert. Die letzte Eigenschaft ist für die statistische Inferenz von Bedeutung.

===== Konsistenz =====
Der VKQ-Schätzer ist unter den bisherigen Annahmen erwartungstreu <math>\mathbb{E}(\hat{\boldsymbol{\beta}}_{\text{VKQ}})=\boldsymbol \beta</math>, wobei die Stichprobengröße <math>T</math> keinen Einfluss auf die Unverzerrtheit hat ([[schwaches Gesetz der großen Zahlen]]). Ein Schätzer ist genau dann [[Konsistente Schätzfolge|konsistent]] für den unbekannten Parameter, wenn er in [[Wahrscheinlichkeitstheorie|Wahrscheinlichkeit]] gegen den wahren Wert [[Konvergenz in Wahrscheinlichkeit|konvergiert]]. Die Eigenschaft der Konsistenz bezieht also das Verhalten des Schätzers mit ein, wenn die Anzahl der Beobachtungen größer wird.

Für die Folge <math>({\hat{\boldsymbol \beta}_{\text{VKQ}}}_t)_{t \in \N}</math> gilt unter oben genanntem asymptotischem Resultat, dass sie in Wahrscheinlichkeit gegen den wahren Parametervektor konvergiert
:<math>\forall\epsilon> 0\colon \lim_{t \to \infty}\mathbb P(|{\hat{\boldsymbol \beta}_{\text{VKQ}}}_t-\boldsymbol \beta |\geq \epsilon )= \boldsymbol 0 \Leftrightarrow \hat{\boldsymbol \beta}_{\text{VKQ}} \;\stackrel{p}{\longrightarrow}\; \mathbf \boldsymbol \beta</math>,

oder vereinfacht ausgedrückt:

:<math>\operatorname{plim}(\hat{\boldsymbol{\beta}}_{\text{VKQ}}) = \boldsymbol{\beta}</math>

Der VKQ-Schätzer ist konsistent für <math>\boldsymbol{\beta}</math>. Die Eigenschaft besagt, dass mit steigender Stichprobengröße die Wahrscheinlichkeit, dass der Schätzer <math>\hat{\boldsymbol \beta}_{\text{VKQ}}</math> vom wahren Parameter <math>\boldsymbol \beta</math> abweicht, sinkt. Für die Varianz der VKQ-Schätzers gilt ebenfalls, dass sie konsistent für <math>\sigma^2</math> ist:

:<math>\operatorname{plim}(\hat{\sigma}^2_{\text{VKQ}}) = \sigma^2</math>.

===== Konvergenz gegen Normalverteilung =====
Eine weitere Eigenschaft der VKQ-Schätzers ist, dass <math>\sqrt{T}(\hat{\boldsymbol \beta}_{\text{VKQ}} - \boldsymbol \beta)</math> in Verteilung gegen eine Normalverteilung konvergiert
:<math>\sqrt{T}(\hat{\boldsymbol{\beta}}_{\text{VKQ}} - \boldsymbol \beta)\ \xrightarrow{d}\ \mathcal{N}\!\left(\boldsymbol 0,{\sigma}^2 \boldsymbol V^{-1}\right)</math>.
Diese [[asymptotische Normalität]] ist vor allem für die statistische Inferenz von Bedeutung.

==== Prädiktionsmatrix ====
Die [[Prädiktionsmatrix]] des VKQ-Schätzers ist gegeben durch
: <math>
   P = \mathbf{X}\left( \mathbf{X}^{\top} \mathbf{\Psi}^{-1} \mathbf{X} \right)^{-1} \mathbf{X}^{\top} \mathbf{\Psi}^{-1}
  </math>

Es kann gezeigt werden, dass <math>P^2 = P\cdot P= P</math>, nicht mehr symmetrisch ist.

== Durchführbare verallgemeinerte KQ-Schätzung (GVKQ) ==
In der Praxis ist die Kovarianzmatrix der Störgrößen <math>\mathbf\Psi ^{-1}</math> oft unbekannt, sodass die verallgemeinerte Methode der kleinsten Quadrate nicht durchführbar ist. Ein konsistenter Schätzer für <math>\mathbf\Psi ^{-1}</math> ist gegeben durch <math>\hat \mathbf\Psi ^{-1}</math>.<ref name="Baltagi2008">B. H. Baltagi: ''Econometrics''. 4th ed. Springer, New York 2008.</ref> In diesem Fall, bei dem die Matrix <math>\mathbf\Psi ^{-1}</math> geschätzt werden muss, spricht man auch von der ''anwendbaren'' bzw. ''durchführbaren verallgemeinerten KQ-Schätzung'' ({{enS}} ''Feasible Generalized Least Squares'', kurz ''FGLS'') oder auch von der ''geschätzten verallgemeinerten KQ-Schätzung'' bzw. ''GVKQ-Schätzung'' ({{enS}} ''Estimated Generalised Least Squares'', kurz ''EGLS''); dessen Schätzer wird der ''geschätzte VKQ-Schätzer'', kurz ''GVKQ-Schätzer'' genannt. Er ist gegeben durch:

:<math>
    \boldsymbol{\hat\hat{\beta}}_{\text{GVKQ}}= \left( \mathbf{X}^{\top} \hat\mathbf{\Psi}^{-1} \mathbf{X} \right)^{-1} \mathbf{X}^{\top} \hat\mathbf{\Psi}^{-1}\mathbf{y}
  </math>.

Es ist wichtig zu erwähnen, dass die Kovarianzmatrix <math>\mathbf{\Psi}</math> <math>(T(T+1))/2</math> Elemente besitzt und somit nicht durch nur <math>T</math> geschätzte Störgrößenvektoren <math>\boldsymbol{\hat{\varepsilon}}</math> geschätzt werden kann. Aus diesem Grund wird angenommen, dass die Elemente in <math>\mathbf{\Psi}</math> Funktionen einer kleinen Anzahl von unbekannten Parametern sind.

== Gewichtete kleinste Quadrate (GKQ) ==
{{Hauptartikel|Weighted least squares}}
Einen Spezialfall der VKQ-Methode stellt die sogenannte gewichtete Methode der kleinsten Quadrate ({{enS}} ''weighted least squares'', kurz ''WLS'') dar. Sie wird angewendet, wenn alle Elemente neben der Hauptdiagonalen von <math>\mathbf{\Psi}</math> Null sind. Diese Methode wird angewendet, wenn die Varianzen der beobachteten Werte nicht konstant sind (d.&nbsp;h., es liegt Heteroskedastizität vor) und keine Korrelation zwischen den beobachteten Störgrößen vorliegt. Das Gewicht der Einheit <math>i</math> (<math>w_i</math>) ist proportional zum Reziproken der Varianz der endogenen Variablen der Einheit <math>i</math>.<ref>{{cite book|author=T. Strutz | title=Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond) |publisher=Springer Vieweg | year=2016 | isbn= 978-3-658-11455-8}}, chapter 3</ref> Das [[Optimalitätskriterium]] ist die [[Residuenquadratsumme#Gewichtete Residuenquadratsumme|gewichtete Residuenquadratsumme]]

:<math>GKQ(\boldsymbol \beta)= \underset{\boldsymbol \beta}{\operatorname{arg\,min}} \sum_{i=1}^n \frac{1}{w_i}(y_i-\mathbf x_{i}^{\top} \boldsymbol \beta)^2=(\mathbf{y}- \mathbf{X} \boldsymbol \beta)^{\top} \,\mathbf{W}^{-1}(\mathbf{y}- \mathbf{X} \boldsymbol \beta) \quad \text{mit} \quad \mathbf{W}=\operatorname{diag}(w_1,\ldots, w_n)</math>.

== Anwendungen ==
=== Multiplikative Heteroskedastizität ===
Falls die Annahme der Homoskedastizität nicht erfüllt ist, d.&nbsp;h. die Diagonalelemente der Kovarianzmatrix nicht identisch sind, ergibt sich folgendes Modell:

:<math> y_t=\mathbf x_{t}^{\top} \boldsymbol \beta + \varepsilon_t \quad t=1, \dotsc, T</math> mit

:<math>\mathbb{E}(\boldsymbol \varepsilon) =\mathbf 0 \;</math> und <math>\;\operatorname{Cov}(\boldsymbol \varepsilon)=\mathbb{E}(\boldsymbol \varepsilon\boldsymbol \varepsilon^{\top})=\sigma^2 \mathbf \Psi = \mathbf \Phi</math>

Allgemeine [[Kovarianzmatrix]] bei Heteroskedastizität:

:<math>\mathbb{E}(\boldsymbol \varepsilon\boldsymbol\varepsilon^{\top} )=\begin{pmatrix} \sigma^2_1 & 0 & \cdots & 0 \\ 0 & \sigma^2_2 & \ddots & \vdots \\ \vdots & \ddots & \ddots & 0 \\ 0 & \cdots & 0 & \sigma^2_T \end{pmatrix}=\sigma^2 \mathbf \Psi =\mathbf \Phi</math>

Hierbei wird angenommen, dass <math>\mathbf \Psi</math> eine bekannte, [[Reelle Zahl|reelle]], positiv definite und [[symmetrische Matrix]] der Dimension <math>T \times T</math> ist.

Falls die spezielle Form der [[Multiplikative Heteroskedastizität|multiplikativen Heteroskedastizität]] vorliegt, nimmt die allgemeine Kovarianzmatrix folgende Form an:

:<math>\mathbb{E}(\boldsymbol\varepsilon\boldsymbol\varepsilon^{\top} )=\begin{pmatrix} \operatorname{exp}(\mathbf z_1^{\top} \mathbf \alpha) & 0 & \cdots & 0 \\ 0 & \operatorname{exp}(\mathbf z_2^{\top} \mathbf \alpha) & \ddots & \vdots \\ \vdots & \ddots & \ddots & 0 \\ 0 & \cdots & 0 & \operatorname{exp}(\mathbf z_T^{\top} \mathbf \alpha) \end{pmatrix}=\sigma^2 \mathbf \Psi =\mathbf \Phi</math><ref>George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. ''Introduction to the Theory and Practice of Econometrics.'' 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S.&nbsp;366.</ref>

Bei Vorliegen dieser Form der Heteroskedastizität lässt sich die verallgemeinerte Kleinste-Quadrate-Schätzung.

=== Scheinbar unverbundene Regression ===
Die [[scheinbar unverbundene Regression]] ({{enS}}: ''seemingly unrelated regression'', kurz ''SUR''), welche eine Verallgemeinerung des linearen Regressionsmodells ist, beinhaltet eine Vielzahl von Regressionsgleichungen, die jede ihre eigene abhängige Variable und potentiell verschiedene erklärende Variablen hat. Jede Gleichung selbst ist eine valide lineare Regression und kann separat von den anderen geschätzt werden. Dadurch ergibt sich ein System von Gleichungen, welches scheinbar unverbunden genannt wird. Da die Störgrößenkovarianzmatrix der scheinbar unverbundenen Regression die Struktur:
: <math>\begin{align}
\operatorname{Cov}(\mathbf e) = \mathbb{E}(\mathbf e \mathbf e^{\top})
&= \begin{pmatrix}
 \operatorname{E}(\boldsymbol e_1 \boldsymbol e_1^{\top}) & \cdots & \operatorname{E}(\boldsymbol e_1 \boldsymbol e_N^{\top}) \\ \\
 \vdots & \ddots & \vdots \\ \\
 \operatorname{E}(\boldsymbol e_N \boldsymbol e_1^{\top}) & \cdots & \operatorname{E}(\boldsymbol e_N \boldsymbol e_N^{\top})
\end{pmatrix}= \begin{pmatrix}
 \sigma_{11}\mathbf I_T & \cdots &\sigma_{1N}\mathbf I_T \\ \\
 \vdots & \ddots & \vdots \\ \\
\sigma_{N1}\mathbf I_T & \cdots &\sigma_{NN}\mathbf I_T
\end{pmatrix} = \begin{pmatrix}
 \sigma_{11} & \cdots &\sigma_{1N} \\ \\
 \vdots & \ddots & \vdots \\ \\
\sigma_{N1} & \cdots &\sigma_{NN}
\end{pmatrix}\otimes \mathbf I_T
 \\
 \\ &=\mathbf \Sigma \otimes \mathbf I_T =\mathbf \Phi
\end{align}</math>

hat, ergibt sich bei der scheinbar unverbundenen Regression folgender VKQ-Schätzer:

: <math>
   \hat{\boldsymbol\beta}_{\text{VKQ}}= \left( \mathbf{X}^{\top} (\mathbf \Sigma^{-1 } \otimes \mathbf I)\mathbf{X} \right)^{-1} \mathbf{X}^{\top} (\mathbf \Sigma^{-1 } \otimes \mathbf I)\mathbf{y}
  </math>.
Es kann gezeigt werden, dass dieser VKQ-Schätzer äquivalent zum KQ-Schätzer ist, wenn man in obige Formel den [[Querschnitt (empirische Forschung)|Querschnitt]] <math>\overline \mathbf X</math> der Daten einsetzt.
{| class="wikitable mw-collapsible mw-collapsed"
|-
|Beweis
|-
|
:<math>\begin{align}
                 \hat{\boldsymbol \beta}_{\text{VKQ}} &= \left( \mathbf{X}^{\top} (\mathbf \Sigma^{-1 } \otimes \mathbf I)\mathbf{X} \right)^{-1} \mathbf{X}^{\top} (\mathbf \Sigma^{-1 } \otimes \mathbf I)\mathbf{y}= \left( (\mathbf I \otimes \overline \mathbf X )^{\top} (\mathbf \Sigma^{-1 } \otimes \mathbf I)(\mathbf I \otimes \overline \mathbf X ) \right)^{-1} (\mathbf I \otimes \overline \mathbf X )^{\top} (\mathbf \Sigma^{-1 } \otimes \mathbf I)\mathbf{y}\\
                   &= \left(\mathbf \Sigma^{-1 }\otimes \overline \mathbf X^{\top} \overline \mathbf X \right)^{-1}\left( \mathbf \Sigma^{-1 }\otimes \overline \mathbf X^{\top} \right)\mathbf{y} = \left(\mathbf \Sigma \otimes (\overline \mathbf X^{\top} \overline \mathbf X)^{-1} \right)\left( \mathbf \Sigma^{-1 }\otimes \overline \mathbf X^{\top} \right)\mathbf{y}\\
&= \left(\mathbf I \otimes (\overline \mathbf X^{\top} \overline \mathbf X)^{-1}\overline \mathbf X^{\top} \right)\mathbf{y} = \left((\mathbf I \otimes \overline \mathbf X)^{\top}(\mathbf I \otimes \overline \mathbf X)\right)^{-1 }(\mathbf I \otimes \overline \mathbf X)^{\top}\mathbf{y}\\
&= (\mathbf X^{\top}\mathbf X)^{-1 }\mathbf X^{\top}\mathbf{y}\\ &= \mathbf{b}
\end{align}</math>.
|}

== Siehe auch ==
* [[Cochrane-Orcutt-Schätzung]]

== Literatur ==
* George G. Judge, R. Carter Hill, W. Griffiths, [[Helmut Lütkepohl]], T. C. Lee. ''Introduction to the Theory and Practice of Econometrics.'' 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4
* {{cite book |last=Amemiya |first=Takeshi |authorlink=Takeshi Amemiya |year=1985 |chapter=Generalized Least Squares Theory |title=Advanced Econometrics |publisher=Harvard University Press |isbn=0-674-00560-0 |ref=harv |chapter-url=https://books.google.com/books?id=0bzGQE14CwEC&pg=PA181 }}
* {{cite book |last=Johnston |first=John |authorlink=John Johnston (econometrician) |chapter=Generalized Least-squares |title=Econometric Methods |location=New York |publisher=McGraw-Hill |edition=Second |year=1972 |isbn= |pages=208–242 |chapter-url=https://books.google.com/books?id=BZtvwZAGyV0C&pg=PA208 }}
* {{cite book |last=Kmenta |first=Jan |authorlink=Jan Kmenta |chapter=Generalized Linear Regression Model and Its Applications |title=Elements of Econometrics |location=New York |publisher=Macmillan |edition=Second |year=1986 |isbn=0-472-10886-7 |pages=607–650 |chapter-url=https://books.google.com/books?id=Bxq7AAAAIAAJ&pg=PA607 }}

== Einzelnachweise und Anmerkungen ==
<references responsive />

{{Navigationsleiste Schätzmethoden, die auf der Methode der kleinsten Quadrate aufbauen}}

[[Kategorie:Schätztheorie]]
[[Kategorie:Carl Friedrich Gauß]]
[[Kategorie:Methode der kleinsten Quadrate]]
[[Kategorie:Regressionsanalyse]]