Kurssimateriaalia K3/P3-kursille syksyllä 2005.\\
%3.11.05
\today \\
Heikki Apiola \\

%{\tiny Tässä voi olla hiukan eri merkintöjä kuin edellisessä luvussa.
%Ainakin edellä esiintyneen $A^*$:n sijasta käytämme $A'$:a.}

\section{Ortogonaalisuus, matriisityyppejä ja spektrejä}

\begin{center}
\begin{tabular}{|c|c|} \hline %\toprule
Reaalinen & Kompleksinen \\ \hline
Symmetrinen: $A^T = A$ & Hermiittinen: $\overline{A}^T = A$ \\
Vinosymmetrinen: $A^T = - A$ & $\overline{A}^T = -A$ \\
Ortogonaalinen: $A^T = A^{-1}$ & $\overline{A}^T = A^{-1}.$ \\ \hline %\bottomrule
\end{tabular}
\end{center}

%$A^\star$

Merkintöjä: $A^\star = \overline{A}^T$, joskus merkitään myös $A^H$ ("hermitointi").
Myös $A'$ on käytössä mm. Matlab:ssa.

Käyttämällä merkintää $A^\star$ (tai vastaavaa synonyymia), voidaan yllä olevat ehdot lausua yhtenäisesti:
Hermiittinen tai symmetrisen ehto on:  $A^\star = A$, jne.

Aloitamme lemmalla, joka on hyödyllinen monissa seuraavissa todistuksissa. 
Huomaa, että vaikka olisimme
kiinnostuneita vain reaalisista matriiseista, on alla olevat laskut suoritettava kompleksiluvuilla, koska
ominaisarvot ja ominaisvektorit saattavat sisältää kompleksilukuja.


\begin{lemma}
Olkoon $A$ ($m\times n$)- matriisi ja olkoot $\vec{u}\in \C^n$ ja
$\vec{v} \in \C^m$. Tällöin

$$\inprod{A \vec{u},\vec{v}} = \inprod{\vec{u},A^\star\vec{v}}.$$
 

\begin{proof}

%Tod:

%$\inprod{A \vec{u},\vec{v}} = (A \u)^T \overline{v}
%= \u^T A^T \overline{v}.$ Koska $A^T = \overline{A^\star}$, voidaan
%yhtälöketjua jatkaa:\\ 

%$= \u^T \overline{A^\star v} = \inprod{\u,A^\star \v}.$ \qquad
%Siinäpä se.

$$\inprod{A \vec{u},\vec{v}} = (A \u)^T \overline{v}
= \u^T A^T \overline{v}\underbrace{=}_ {A^T = \overline{A^\star}}
 \u^T \overline{A^\star}\overline{\v}=\u^T\,\overline{A^{\star}\, \v} = \inprod{\u,A^\star \v}.$$


%$\inprod{A \vec{u},\vec{v}} = \overline{\vec{v}} A \vec{u}.$

%$\inprod{\vec{u}, A^\star\vec{v}} = (\overline{A^\star\vec{v}})^T  \vec{u}=
%(\overline{A^\star}\overline{\vec{v}})^T\vec{u} = 
%\overline{\vec{v}}^T (A^T)^T \vec{u} = \overline{\vec{v}}^T A \vec{u} = 
%\inprod{A \vec{u},\vec{v}}.$

%Keskellä yhtälöriviä käytimme ilmiselvää seikkaa: $\overline{A^\star} = A^T$.

\end{proof}
\end{lemma}

\subsection{Ortogonaaliset matriisit}

Kyseessä on reaalinen neliömatriisi $U,$ jolle $U^T\,U = U\,U^T = I,$  
ts. $U$ on kääntyvä ja $ U^{-1} = U^T .$

Ortogonaalisen matriisin prototyyppi on tason kierto. Toinen tyypillinen on
heijastus jonkin origon kautta kulkevan suoran suhteen. Näiden matriisit ovat

$$\left[ \begin {array}{cc} \cos \left( \phi \right) &-\sin \left( \phi \right) \\\noalign{\medskip}\sin \left( \phi \right) &\cos \left( 
\phi \right) \end {array} \right] \ \ 
\textrm{ja}\ \
\left[ \begin {array}{cc} \cos \left( \phi \right) &\sin \left( \phi \right) \\\noalign{\medskip}\sin \left( \phi \right) &-\cos \left( 
\phi \right) \end {array} \right].
$$

Edellisen determinantti $=1$ ja jälkimmäisen $-1$. Determinanttien 
kertosäännön perusteella ortogonaaliselle matriisille pätee aina:
$(\det A)^2 = \det(A A^T) = \det I = 1, $ joten $\det A = \pm 1.$

\begin{lause} [KRE Thm. 3]
Reaalinen neliömatriisi $A$ on ortogonaalinen, jos ja vain jos \\
sen sarakkeet muodostavat ortonormaalin joukon, jos ja vain jos 
sen rivit muodostavat ortonormaalin joukon.
\begin{proof}

%Tod:
Eipä muuta, kuin ajatellaan matriisitulon määritelmää yhtälössä $A^T A = I.$
Jos merkitään rivivektoreita $a_{i .}$ ja sarakevektoreita $a_{. j}$, niin 

$$(A^T A)_{i j} = a^T_{i .} a_{. j}= \inprod{a_{. i},a_{. j}}. $$

Jos merkitään $\delta_{i j}$:llä ns. {\em Kroneckerin deltaa}, joka lyhyesti sanottuna tarkoittaa
yksikkömatriisin alkiota $(I)_{i j}$, niin ehto $A^T A = I$ merkitsee 
samaa kuin $(A^T A)_{i j}=\delta_{ij}$, eli
 $\inprod{a_{. i}, a_{. j}}=\delta_{i j},$ joka tarkoittaa juuri 
sarakevektorien 
ortonormaalisuutta.

Rivivektoreilla aivan vastaavasti tarkastelemalla tuloa $A A^T = I$.

Kääntäen muistamme "lineaarialgebran ihmeen": $r(A^T) = r(A)$, jonka 
perusteella jo toinen ehdoista $A A^T = I$ tai $A^T A = I$ takaa 
käänteismatriisin olemassaolon, eli sen, että molemmat ovat voimassa.
Siten sarakkeiden (ja yhtä hyvin rivien) ortonormaalisuudesta seuraa matriisin ortogonaalisuus. 

\end{proof}
\end{lause}


\begin{lause}[KRE s. 382, Lop. s. 730]
Ortogonaalinen kuvaus $U$ säilyttää sisätulon ja siten vektorin normin, 
ts. \inprod{U \vec{u}, U \vec{v}} = \inprod{\vec{u}, \vec{v}} .

\begin{proof}
Olkoon $\vec{u}= U \vec{a}, $ $\vec{v}= U \vec{b}. $

$\inprod{\vec{u},\vec{v}} = $\inprod{U\vec{a},U\vec{b}} = 
\inprod{U^\star\, U\vec{a},\vec{b}}
= \inprod{\vec{a},\vec{b}},$ koska $U^\star\, U = I.$

Erityisesti $|| \vec{u} ||^2 = \inprod{\vec{u},\vec{u}} = \inprod{\vec{a},\vec{a}} =  $||\vec{a}||^2. $

\end{proof}
\end{lause}

Listataan myös edellä laskettu $\det-$ominaisuus lauseeksi:
\begin{lause}
Ortogonaalisen matriisin $\det = \pm 1$.
%\begin{proof}
%\end{proof}
\end{lause}

\begin{lause}
Ortogonaalisen matriisin $U$ ominaisarvot ovat yksikköympyrällä, ts, $|\lambda| = 1$ kaikille ominaisarvoille $\lambda$.
\begin{proof}
%$\inprod{A\vec{u},A\vec{u}}  =\inprod{A^\starA\vec{u},\vec{u}} =  $\inprod{A\vec{u},A\vec{u}}    $
Kuten edellä totesimme, $||U \vec{u}|| = || \vec{u} ||.$

Jos $\vec{u},\lambda$ on omisarvo/-vektoripari, niin 
$U \vec{u} = \lambda \vec{u},$ $\vec{u}\neq \vec{0}.$

$||\vec{u}|| = ||U \vec{u}|| = |\lambda| ||\vec{u} ||.$ Koska $||\vec{u}|| \neq 0,$ voidaan sillä jakaa, ja
saadaan $|\lambda| = 1.$
 
\end{proof}
\end{lause}

\huom\/ Yllä oleva todistus menee sanasta sanaan myös unitaariselle.

\subsection{Symmetrinen (hermiittinen) ja vinosymmetrinen matriisi}

\begin{lause}[Lop s. 732, KRE8 s. 387] (Hiukan eri muodot)
Olkoon $A$ symmetrinen reaalinen matriisi (kohdassa (1b) vinosymmetrinen).

(1) $A$:n ominaisarvot ovat reaaliset. \\
(1 b) Vinosymmtrisen $A:$n ominaisarvot ovat puhtaasti 
imaginaariset \\
(2) $A$:n eri ominaisarvoja vastaavat ominaisvektorit ovat ortogonaaliset.\\
(3) $A$:n ominaisvektoreista voidaan muodostaa jopa ortonormaali kanta $\R^n:$lle.\\
(4) $A$ on diagonalisoituva, diagonalisoiva matriisi voidaan valita ortogonaaliseksi, ts. voidaan kirjoittaa
 
$A = S D S^T,$ missä $S$ on ortogonaalinen.

\begin{proof}
(1) Olkoon $A \vec{x} = \lambda \vec{x},\ \ \vec{x} \neq \vec{0}.  $

Huomaa, että seuraavat laskut on tehtävä kompleksiluvuilla, koska emmehän voi todistuksessa käyttää
väitettä hyväksi! :-)

Turvaudumme tuohon mainioon lemmaan, jonka jälkeen kaikki risuaidat 
saadaan jättää taakse.

Aloitetaan kertomalla ominaisarvon/vektorin määrittelevä yhtälö sisätulon 
mielessä $\x:$llä:\\
$$\inprod{A\vec{x},\vec{x}} = \lambda \inprod{\vec{x},\vec{x}} = 
\lambda \norm{\vec{x}}^2.$$

Tuon mainitun mainion mukaan vasen puoli on:

$$\inprod{\vec{x}, A^T\vec{x}}\underbrace{ =}_{A^T = A}  \inprod{\vec{x}, A\vec{x}} = \inprod{\vec{x}, \lambda\vec{x}} =
 \overline{\lambda}\inprod{\vec{x},\vec{x}} .$$

Siis $\overline{\lambda} ||\vec{x} ||^2 = \lambda ||\vec{x} ||^2,$ josta jakamalla $||\vec{x} ||^2:$ lla ($\neq 0$)
saadaan $\lambda=\overline{\lambda},$ eli $\lambda \in \R.$

%$ koska $A = A^\star.$

Vinosymmtrinen tapaus menee aivan samoin, paitsi $-$ -merkki, joka
antaa johtopäätöksen: $\overline{\lambda} = -\lambda$, joka merkitsee
sitä, että reaaliosa on nolla, kuten väitettiin.

(2) Olkoon $A \vec{x} = \lambda \vec{x}$, $A \vec{y} = \mu \vec{y}, \ \ \lambda\neq \mu .$



$\inprod{A \vec{x},\vec{y}} = \inprod{\vec{x},A\vec{y}} $


$\inprod{A \vec{x},\vec{y}}=  \inprod{\lambda \vec{x},\vec{y}}=  \lambda\inprod{\vec{x},\vec{y}}$

$\inprod{\vec{x},A\vec{y}} = $\inprod{\vec{x},\mu \vec{y}} = $\mu \inprod{\vec{x},\vec{y}}$ 
($\overline{\mu}=\mu$). Koska $\lambda \neq \mu,$ on oltava $\inprod{\vec{x},\vec{y}}=0.$

(3) Tämä on syvällisempi tulos, todistetaan kylläkin L3:ssa (kts. [TE]), perustuu ns.
Schur'n hajoitelmaan.

(4)
Kanta voidaan valita ortonormaaliksi, koska eri ominaisarvoja vastaavat ominaisavaruudet ovat keskenään
ortogonaalisia. Kussakin ominaisavaruudessa voidaan suorittaa edellä esitetty {\em Gram-Schmidt'n} ortonormalisointi,
%\footnote{Gram-Schmidt'n prosessiin palataan kohta.}
jolloin saadaan koko avaruuden ON kanta. \footnote{ON: ortonormaali, OG: ortogonaalinen}

$A$ voidaan siis diagonalisointilauseen mukaan kirjoittaa muotoon 
$A=V D V^{-1}$, missä $V$:n sarakkeet ovat $A:$n ominaisvektoreita (samassa järjestyksessä kuin vastaavat ominaisarvot $D:$ssä.

Voidaan siis valita $V:n$ sarakkeet ortonormaaleiksi, eli $V$ ortogonaaliseksi, jolloin $V^{-1}=V^T$.


\end{proof}
\end{lause}

\huom\/ Symmetrisen matriisin diagonaaliesitys ei automaattisesti ole muotoa
$V D V^T,$ vaan sitä varten on huolehdittava, että \\
(a) V:n sarakkeet on normeerattu ykkösiksi.\\
(b) Useampikertaisia ominaisarvoja vastaavat ominaisvektorit on ortonormeerattu.

\huom\/ Jos käytämme jotain ominaisarvot laskevaa ohjelmaa, emme voi (ilman dokumentointiin perehtymistä) tietää, saadaanko automaattisesti tällainen muoto.
\matl:n tapauksessa help-tekstikään ei kerro. Esimerkki-istunto:

\begin{verbatim}
>> A=rand(10,10);    % 10 x 10-satunnaismatriisi.
>> A=A*A';           % Eräs tapa tehdä symmetrinen (toinen: A+A')
>> [V,D]=eig(A);

>> V*V'
Columns 1 through 8 

    1.0000   -0.0000   -0.0000   -0.0000    0.0000   -0.0000    0.0000   -0.0000
   -0.0000    1.0000   -0.0000    0.0000    0.0000    0.0000   -0.0000    0.0000
   -0.0000   -0.0000    1.0000   -0.0000    0.0000    0.0000    0.0000   -0.0000
   -0.0000    0.0000   -0.0000    1.0000    0.0000   -0.0000    0.0000   -0.0000
    0.0000    0.0000    0.0000    0.0000    1.0000   -0.0000   -0.0000    0.0000
   -0.0000    0.0000    0.0000   -0.0000   -0.0000    1.0000    0.0000    0.0000
    0.0000   -0.0000    0.0000    0.0000   -0.0000    0.0000    1.0000    0.0000
   -0.0000    0.0000   -0.0000   -0.0000    0.0000    0.0000    0.0000    1.0000
    0.0000    0.0000    0.0000    0.0000    0.0000    0.0000    0.0000   -0.0000
    0.0000    0.0000   -0.0000   -0.0000   -0.0000    0.0000   -0.0000   -0.0000

>> format long   % Suurempi tulostustarkkuus.
>> V*V'; ans(1:5,1:5)

ans =

   1.00000000000000  -0.00000000000000  -0.00000000000000  -0.00000000000000   0.00000000000000
  -0.00000000000000   1.00000000000000  -0.00000000000000   0.00000000000000   0.00000000000000
  -0.00000000000000  -0.00000000000000   1.00000000000000  -0.00000000000000   0.00000000000000
  -0.00000000000000   0.00000000000000  -0.00000000000000   1.00000000000000   0.00000000000000
   0.00000000000000   0.00000000000000   0.00000000000000   0.00000000000000   1.00000000000000
 
           % Laskentatarkkuuden puitteissa V on ortogonaalinen.
>> format  % Palataan alkuperäiseen
>> diag(D)'; ans(1:9)  % Katsotaan vain 9 ekaa, että mahtuu sivulle.

ans =

    0.0042    0.0385    0.1929    0.2121    0.3841    0.5493    0.9745    1.5073    1.5950   
   % Ominaisarvot ovat erillisiä.
\end{verbatim}
Tämä koe oli vain osittain paljastava. On luonnollista, että satunnaisesti generoidun matriisin ominaisarvot ovat erilliset, niinpä ominaisvektorit ovat automaattisesti ortogonaaliset (koska teimme matriisista symmetrisen), 
ja kun \matl\/ aina normeeraa, niin ne ovat
ortonormaalit.

Yleisesti voidaan asia hoitaa varmasti oikein soveltamalla $V-$matriisiin funktiota {\tt orth}.

\begin{verbatim}
>> help orth

 ORTH   Orthogonalization.
    Q = ORTH(A) is an orthonormal basis for the range of A.
    That is, Q'*Q = I, the columns of Q span the same space as 
    the columns of A, and the number of columns of Q is the 
    rank of A.
 
    See also SVD, RANK, NULL.


\end{verbatim}





%\subsection{Symmetriset matriisit}


%\subsection{Vinosymmetriset matriisit}






