Algorithmus von Faddejew-Leverrier

Aus testwiki
Zur Navigation springen Zur Suche springen

Der Algorithmus von Faddejew-Leverrier (nach Dmitri Konstantinowitsch Faddejew und Urbain Le Verrier) ist ein Verfahren, das für beliebige quadratische Matrizen ARn×n die Koeffizienten ck(k=1,,n), cn=1 des durch p(λ)=det(λIA) definierten charakteristischen Polynoms

p(λ)=cnλn+cn1λn1+cn2λn2++c1λ+c0

ermittelt. Außerdem liefert der Algorithmus die Determinante und die Adjunkte sowie für reguläre Eingabematrizen die Inverse von A.

Für den Ring R der Matrixelemente wird vorausgesetzt, dass es sich um einen kommutativen Ring mit Einselement handelt und dass eine der beiden folgenden Voraussetzungen erfüllt ist (vgl. Johannson[1]):

Motivation und theoretischer Hintergrund

Durch Ausmultiplizieren der faktorisierten Darstellung des charakteristische Polynoms einer Matrix ARn×n mit den Eigenwerten λ1,,λn erhält man

p(λ)=k=1n(λλi)=k=0n(1)kσk(λ1,,λn)λnk

wobei die in der resultierenden Summe auftretenden elementarsymmetrischen Polynome σk folgendermaßen definiert sind:

σk(λ1,,λn)=S{1,,n}#S=k iSλik=0,1,,n

Die Newton-Identitäten stellen einen Zusammenhang zwischen den elementarsymmetrischen Polynomen σk und den Potenzsummen der Eigenwerte sk=i=1nλik her.

Gleichungen für die Koeffizienten

Mit i=1nλik=trAk lässt sich sk als Spur der Matrixpotenz Ak ausdrücken und auf Grund von cnk=(1)kσk(λ1,,λn) übersetzten sich die Newton-Identitäten

dann in folgende Gleichungen, mit denen sich die Koeffizienten sukzessive ermitteln lassen (k=1,,n):

cn=1,cn1=cntrA,cn2=12(cn1trA+cntrA2),cn3=13(cn2trA+cn1trA2+cntrA3),cnk=1ki=1kcnk+itrAi

Formulierung als lineares Gleichungssystem

Die soeben hergeleiteten Gleichungen für die Koeffizienten cnk lassen sich etwas kompakter (und für theoretische Zwecke besser geeignet) in folgendes äquivalentes lineares Gleichungssystem umformulieren:

[1000trA20trA2trA30trAn1trAn2trAn][cn1cn2cn3c0]=[trAtrA2trA3trAn]

Das Auflösen des Gleichungssystems nach den Koeffizienten cnk durch Vorwärtseinsetzen führt gerade auf die Formeln aus dem vorherigen Abschnitt.

Explizite Darstellungen der Koeffizienten

Aus dem linearen Gleichungssystem gewinnt man durch Anwenden der Cramerschen Regel folgende explizite Darstellung für die Koeffizienten cnk:

cnk=(1)kk!|trAk100trA2trAk20trAk1trAk2trA1trAktrAk1trA2trA|.

Ein Vergleich mit der Determinantendarstellung der vollständigen Bell-Polynome k (vgl. z. B. A. Zúñiga-Segundo et al.[2] und [3]) zeigt, dass man dies äquivalent dazu auch etwas bequemer folgendermaßen ausdrücken kann:

cnk=(1)kk!k(0!trA,1!trA2,2!trA3,,(1)k1(k1)!trAk)

Wenn man nicht -- wie vorgeführt -- auf dem oben formulierten linearen Gleichungssystem aufbaut, dann benötigt man für die Herleitung der Formeln aus diesem Abschnitt tieferliegende Hilfsmittel aus der Analysis (z. B. die Plemelj-Smithies-Formeln).

Rekursive Formulierung

Mit Hilfe der Matrizen B0,,BnRn×n kann man die Formeln für die Koeffizienten c0,,cnR aus der Motivation in folgendes rekursives Schema übersetzen (Nachweis durch Induktion nach k, siehe Begründung für die Korrektheit des Algorithmus weiter unten):

B0=0cn=1(k=0)Bk=ABk1+cnk+1Icnk=1ktr(ABk)k=1,,n

Hierin ist tr(M):=i=1nmii die sogenannte Spur einer quadratischen Matrix MRn×n

Aus der Rekursion lassen sich weitere interessante Beziehungen ableiten:

  • Wegen
c0=p(0)=det(A)=(1)ndetA

erhält man unmittelbar den Wert der Determinanten von A.

  • Außerdem kann man mit Hilfe von
Bn+1=ABn+c0I=0

überprüfen, ob die Rekursion korrekt terminiert. Durch Umformen erhält man hieraus für reguläres A insbesondere auch die Inverse:

A1=1c0Bn(fallsc00<mo stretchy="false">)</mo>.
  • Schließlich folgt wegen Aadj(A)=detAI für die Adjunkte:
adj(A)=(1)n+1Bn

Algorithmus

Basierend auf dem rekursiven Schema kann man nun den Algorithmus von Faddejew-Leverrier formulieren:

/* Eingabe: Quadratische Matrix A der Dimension n                                               */
/*          Für den kommutativen Ring R mit Einselement der Matrixelemente wird vorausgesetzt:  */
/*          char(R) = 0 oder char(R) teilerfremd zu 1,...n                                      */

B[0] = 0;
c[n] = 1;

for (k = 1; k <= n; k++)
{
    B[k]   =   A * B[k-1] + c[n-k+1] * I;
    c[n-k] = - 1/k * tr( A * B[k] );
}

B[n+1] = A * B[n] + c[0] * I;

if ( B[n+1] != O )
{
    printf("Fehler: Algorithmus terminiert nicht korrekt!");
}

if ( c[0] != 0 )
{
    Ainv = -1/c[0] * B[n];
}
else
{
    printf("Die Eingabematrix ist singulär!");
}

/*
    Ausgabe:
    c[0] , ...,  c[n]  : Koeffizienten des charakteristischen Polynoms von A
    (-1)^n     * c[0]  : Determinante von A
    (-1)^(n+1) * B[n]  : Adjunkte von A
    Ainv               : Inverse von A (sofern c[0] ungleich 0)
* /

Numerisches Beispiel

Für Matrizen kleiner Dimension lässt sich der Algorithmus leicht von Hand durchzuführen. Wir betrachten folgendes einfaches Beispiel:

A=[315331464]

Dann liefert der Algorithmus:

B0=[000000000]c3=1B𝟏=[100010001]A*B1=[𝟑153𝟑146𝟒]c2=1𝟏𝟏𝟎=10B𝟐=[715371466]A*B2=[𝟐26148𝟏𝟐12614𝟐]c1=1𝟐(𝟖)=4B𝟑=[6261488126146]A*B3=[𝟒𝟎000𝟒𝟎000𝟒𝟎]c0=1𝟑𝟏𝟐𝟎=40

Es zeigt sich, dass B4=A*B3+c0*I=0, was eine zusätzliche Kontrolle für die Korrektheit der Rechnung ist (s. o.).

Das charakteristische Polynom der Matrix A lautet also:

pA(λ)=λ310λ2+4λ40.

Weiterhin gilt:

det(A)=(1)3c0=40

Für die Inverse von A ergibt sich aus der obigen Rechnung:

A1=1c0B3=140[6261488126146]=[0,150,650,350,200,200,300,150,350,15]

Begründung für die Korrektheit des Algorithmus

Für die Korrektheit des Algorithmus muss man dessen Terminiertheit und partielle Korrektheit nachweisen. Dass der Algorithmus stets terminiert, ist offensichtlich. Die partielle Korrektheit des Algorithmus folgt, wenn die per Rekursion ermittelten Koeffizienten c0,,cn mit der in der Motivation hergeleiteten Darstellung übereinstimmen.

Zu diesem Zweck weisen wir induktiv nach, dass die Rekursion im k-ten Schritt die folgenden Ergebnisse liefert:

Bk=i=1kcnk+iAi1cnk=1ki=1kcnk+itrAi

Für den ersten Rekursionsschritt (k=1) sind die beiden Beziehungen wegen B1=I und cn1=trA offensichtlich erfüllt.

Um die Gültigkeit für den (k+1)ten Schritt zu zeigen, nehmen wir an, dass die Beziehungen für den kten Schritt richtig sind (Schluss von k auf k+1):

Bk+1=ABk+cnkI=A(i=1kcnk+iAi1)+cnkI=i=1k+1cn(k+1)+iAi1
cn(k+1)=1k+1tr(ABk+1)=1k+1tr(Aj=1k+1cn(k+1)+jAj1)=1k+1j=1k+1cn(k+1)+jtrAj

Alternative Zugänge zum Algorithmus

Der Weg über die Newton-Identitäten (wie oben vorgeführt und z. B. in Gantmacher[4]) ist zwar sehr ökonomisch im Aufbau und in der Darstellung, hat aber den Nachteil, dass er Vorwissen aus dem Bereich der Algebra benötigt und keinen intuitiven Zugang über die grundlegenden Konzepte der Linearen Algebra bietet. Insbesondere erscheint die Notwendigkeit zur Verwendung der Matrizen Bk etwas künstlich.

Daher verfolgen einige Darstellungen in der Literatur einen anderen Ansatz und motivieren zunächst die rekursive Darstellung für die Matrizen Bk (vgl.[5] und Beweisarchiv auf den Wikibooks, siehe Weblinks):

Der bekannte Zusammenhang zwischen Determinante und Adjunkte angewendet auf die Matrix λIA ergibt:

(λIA)adj(λIA)=det(λIA)I=pA(λ)I

Hieraus folgt, dass λ in adj(λIA) höchstens mit Grad n1 auftritt, so dass sich adj(λIA) als Polynom in λ mit Matrix-Koeffizienten Bkn×n(k=0,,n+1) schreiben lässt (wobei B0=0 und Bn+1=0):

adj(λIA)=k=0n+1Bkλnk

Einsetzen und Umformen liefert:

(λIA)k=0n+1Bkλnk=pA(λ)Ik=1n+1(BkABk1)λnk+1=k=1n+1cnk+1λnk+1I

Durch Koeffizientenvergleich erhält man schließlich die rekursive Darstellung für die Bk:

BkABk1=cnk+1IBk=ABk1+cnk+1I

Zur Ableitung der Beziehung für die Koeffizienten cnk muss man nun allerdings auf Hilfsmittel aus der Analysis zurückgreifen, was ein Nachteil dieses Zugangs ist. In der Literatur wird zu diesem Zweck beispielsweise

verwendet.

Anwendungsbereich und Voraussetzungen

Wie bereits in der Einleitung erwähnt, ist der Algorithmus nur dann auf die Matrix ARn×n anwendbar, wenn der Ring R der Matrixelemente ein kommutativer Ring mit Einselement ist und eine der beiden folgenden Voraussetzungen erfüllt ist (vgl. Johannson[8]):

Diese Bedingung stellt sicher, dass die im Algorithmus auftretenden Divisionen durch k{1,,n} im Ring R exakt durchführbar sind, d. h. dass

(xk)/k=xxR,kn

Ein genereller Nachteil des Algorithmus von Faddejew-Leverrier ist das Auftreten von Divisionen, was konträr zur Definition der Determinante über die Leibniz-Formel ist, die ohne Divisionen auskommt und daher auch auf Matrizen anwendbar ist, deren Einträge Elemente eines beliebigen kommutativen Rings mit Einselement sind. Für diesen allgemeinen Fall (d. h. insbesondere wenn die oben angegebenen Voraussetzungen nicht erfüllbar sind) bieten sich divisions-freie Algorithmen, wie z. B. der Algorithmus von Samuelson-Berkowitz als Alternative an, die einen vergleichbaren Aufwand haben.

Aufwand und Vergleich mit anderen Verfahren

Der Zeitaufwand für den Algorithmus von Faddejew-Leverrier wird von den auftretenden n Matrizenmultiplikationen dominiert. Wenn man nun mit 𝒪(nω) den Aufwand für die Methode notiert, die für die Matrizenmultiplikation verwendet wird, so ergibt sich für den Gesamtaufwand eine asymptotische obere Schranke von 𝒪(nω+1).

Beispiele:

  • Klassische Matrizenmultiplikation (ω=3): Aufwand 𝒪(n4)
  • Strassen-Algorithmus (ω=log272,807): Aufwand 𝒪(n3,807)

Determinantenberechnung nach der Leibniz-Formel

Der naive Algorithmus basierend auf der Determinantenberechnung nach der Leibniz-Formel ermittelt und addiert n! Summanden was nach der Stirlingschen Formel einer asymptotischen Zeitkomplexität von 𝒪(n!)=𝒪((ne)n+12) entspricht.

Neben dem exponentiellen Aufwand macht auch die Notwendigkeit von Polynomarithmetik diesen Ansatz inpraktikabel.

Gauß-Elimination

Die Berechnung mittels Gauß-Elimination mit einem Aufwand der Größenordnung 𝒪(n3) ist zwar zumindest für die reine Determinantenberechnung günstiger, erfordert jedoch, wenn man auch an den Koeffizienten des charakteristischen Polynoms interessiert ist, erhöhten technischen Aufwand bei der Implementierung in einem Computerprogramm (man benötigt Polynomarithmetik für die Matrixeinträge).

Algorithmus von Samuelson-Berkowitz

Der Algorithmus von Samuelson-Berkowitz hat ebenfalls eine asymptotische obere Schranke von 𝒪(n4) für die Zeitkomplexität.

Parallelisierbarkeit

Der Algorithmus lässt sich effizient parallelisieren. Genaueres hierzu findet man in der Originalarbeit von Csanky[9] sowie in der Übersicht in Algorithmen zur parallelen Determinantenberechnung.[10]

Numerische Stabilität

Der Algorithmus von Faddejew-Leverrier ist numerisch nicht stabil (siehe z. B. Wilkinson[11] und Rehman/Ipsen[12]). Daher ist er für die Anwendung mit Gleitkomma-Arithmetik nicht gut geeignet, kann aber mit exakter Bruch-Arithmetik verwendet werden. Trotz seiner eingeschränkten praktischen Relevanz ist der Algorithmus von theoretischer Bedeutung, da er eine formale Charakterisierung für die Koeffizienten des charakteristischen Polynoms sowie entsprechende Zusammenhänge zu Determinanten, Inversen und Adjunkten angibt.

Historisches

Der Algorithmus wurde bereits 1840 von Urbain Jean Joseph Leverrier beschrieben,[13] geriet dann aber für längere Zeit wieder in Vergessenheit. Ab 1935 wurde er dann mehrfach wiederentdeckt und weiterentwickelt, unter anderem durch P. Horst,[14] Jean-Marie Souriau,[15] Dmitri Konstantinowitsch Faddejew und Sominski,[16] J. S. Frame,[17] U. Wegner[18] und Csanky.[9] Der Algorithmus in der vorliegenden Form stammt von Faddejew, was auch die heute allgemein übliche Benennung erklärt. Weitere Details zur historischen Entwicklung (mit entsprechenden Literaturhinweisen) findet man z. B. im Buch von Householder.[19]

Literatur

  • H. Burbach: Algorithmen zur parallelen Determinantenberechnung. Diplom-Arbeit, Universität Dortmund, Oktober 1992, Online-Version (PDF-Datei; 801 kB)
  • L. Csanky: Fast Parallel Matrix Inversion Algorithms. SIAM Journal on Computing, 618–623, 1976, doi:10.1137/0205040.
  • D. K. Faddev, I. S. Sominsky. Collection of problems on higher algebra, Moscow, 1949.
  • V. N. Faddeva: Computational Methods of Linear Algebra, (Translated From The Russian By Curtis D. Benster), Dover Publications Inc. N.Y., Date Published 1959, ISBN 0-486-60424-1.
  • J. S. Frame: A simple recursion formula for inverting a matrix (abstract). Bull. Am. Math. Soc. 55, 1045 (1949), doi:10.1090/S0002-9904-1949-09310-2.
  • J. S. Frame: Matrix functions and applications, IEEE Spectrum 1 (1964) (fünf Artikel in den Nummern 3–7)
  • F. R. Gantmacher: The Theory of Matrices, Chelsea, 1990, siehe speziell §IV.5.
  • Alston Scott Householder: The Theory of Matrices in Numerical Analysis, Dover, New York, 1975, ISBN 0-486-61781-5
  • Paul Horst: A method of determining the coefficients of a characteristic equation. Ann. Math. Stat. 6, 83–84 (1935), doi:10.1214/aoms/1177732612.
  • Shui-Hung Hou: Classroom Note: A Simple Proof of the Leverrier-Faddeev Characteristic Polynomial Algorithm, SIAM, 1998, SIAM Review:40(3), S. 706–709, doi:10.1137/S003614459732076X, http://link.aip.org/link/?SIR/40/706/1
  • F. Johannson: On a fast and nearly division-free algorithm for the characteristic polynomial. Preprint (2020), Vorlage:ArXiv
  • Urbain Le Verrier: Sur les variations séculaires des éléments des orbites pour les sept planètes principales, J. de Math. (1) 5, 230 (1840), Online-Version des Artikels verfügbar auf der Webseite der Bibliotheque nationale de France digital library (Gallica)
  • R. Rehman and I. C. F. Ipsen: La Budde's Method for Computing Characteristic Polynomials. Preprint (2011), Vorlage:ArXiv
  • Jean-Marie Souriau: Une méthode pour la décomposition spectrale et l’inversion des matrices. Comptes Rend. 227, 1010–1011 (1948).
  • U. Wegner: Bemerkungen zur Matrizentheorie. Z. angew. Math. Mech. 33, 262–264 (1953), doi:10.1002/zamm.19530330807.
  • J. H. Wilkinson: The algebraic eigenvalue problem, volume 87. Clarendon press Oxford, 1965, ISBN 978-0-19-853418-1.
  • A. Zúñiga-Segundo, J. López-Bonilla, S. Vidal-Beltrán: Characteristic equation of a matrix via Bell polynomials, Asia Mathematika Volume 2 Issue 2 (2018) page: 49-51, Online-Version des Artikels
  • A. Zúñiga-Segundo, J. López-Bonilla, S. Vidal-Beltrán: Some Applications of Complete Bell Polynomials, World Engineering & Applied Sciences Journal 9 (3): 89-92, 2018, ISSN 2079-2204, Online-Version des Artikels

Vorlage:Wikibooks

Einzelnachweise

  1. F. Johannson: On a fast and nearly division-free algorithm for the characteristic polynomial. Preprint (2020), Vorlage:ArXiv
  2. A. Zúñiga-Segundo, J. López-Bonilla, S. Vidal-Beltrán: Characteristic equation of a matrix via Bell polynomials, Asia Mathematika Volume 2 Issue 2 (2018) page: 49-51, Online-Version des Artikels
  3. A. Zúñiga-Segundo, J. López-Bonilla, S. Vidal-Beltrán: Some Applications of Complete Bell Polynomials, World Engineering & Applied Sciences Journal 9 (3): 89-92, 2018, ISSN 2079-2204, Online-Version des Artikels
  4. F. R. Gantmacher: The Theory of Matrices, Chelsea, 1990, siehe speziell Kapitel IV §5, pp. 87-89
  5. J. S. Frame: Matrix functions and applications, IEEE Spectrum 1 (1964) (fünf Artikel in den Nummern 3–7)
  6. J. S. Frame: Matrix functions and applications, IEEE Spectrum 1 (1964) (fünf Artikel in den Nummern 3–7)
  7. Shui-Hung Hou: Classroom Note: A Simple Proof of the Leverrier-Faddeev Characteristic Polynomial Algorithm, SIAM, 1998, SIAM Review:40(3), S. 706–709, doi:10.1137/S003614459732076X
  8. F. Johannson: On a fast and nearly division-free algorithm for the characteristic polynomial. Preprint (2020), Vorlage:ArXiv
  9. 9,0 9,1 L. Csanky: Fast Parallel Matrix Inversion Algorithms. SIAM Journal on Computing, 618–623, 1976, doi:10.1137/0205040
  10. H. Burbach: Algorithmen zur parallelen Determinantenberechnung. Diplom-Arbeit, Universität Dortmund, Oktober 1992, Online-Version (PDF-Datei; 801 kB)
  11. J. H. Wilkinson: The algebraic eigenvalue problem, volume 87. Clarendon press Oxford, 1965, ISBN 978-0-19-853418-1, Kapitel 7, §19, pp. 434-435
  12. R. Rehman and I. C. F. Ipsen: La Budde's Method for Computing Characteristic Polynomials. Preprint (2011), Vorlage:ArXiv
  13. Urbain Le Verrier: Sur les variations séculaires des éléments des orbites pour les sept planètes principales, J. de Math. (1) 5, 230 (1840), Online-Version des Artikels verfügbar auf der Webseite der Bibliotheque nationale de France digital library (Gallica)
  14. Paul Horst: A method of determining the coefficients of a characteristic equation. Ann. Math. Stat. 6, 83–84 (1935), doi:10.1214/aoms/1177732612
  15. Jean-Marie Souriau: Une méthode pour la décomposition spectrale et l’inversion des matrices. Comptes Rend. 227, 1010–1011 (1948)
  16. D. K. Faddeev, I. S. Sominski: Sbornik zadatch po vyshej algebre. Moskow-Leningrad 1949
  17. J. S. Frame: A simple recursion formula for inverting a matrix (abstract). Bull. Am. Math. Soc. 55, 1045 (1949), doi:10.1090/S0002-9904-1949-09310-2
  18. U. Wegner: Bemerkungen zur Matrizentheorie. Z. angew. Math. Mech. 33, 262–264 (1953), doi:10.1002/zamm.19530330807
  19. Alston Scott Householder: The Theory of Matrices in Numerical Analysis. Dover, New York 1975, ISBN 0-486-61781-5