13 KiB
Prostory se skalárním součinem
Skalární součin
Nechť U
je lineární vektorový prostor nad \mathbb{R}
. Zobrazení (\vec{x}, \vec{y}):U \times U \to \mathbb{R}
splňující vlastnosti
(\vec{x}, \vec{x}) \geq 0
pro každé\vec{x} \in U; (\vec{x}, \vec{x}) = 0
, právě když\vec{x} = \vec{o}
,(\vec{x}, \vec{y}) = (\vec{y}, \vec{x}) \space \forall \vec{x}, \vec{y} \in U
,(k\vec{x}, \vec{y}) = k(\vec{x}, \vec{y}) \space \forall \vec{x}, \vec{y} \in U
a\forall k \in \mathbb{R}
(\vec{x} + \vec{y}, \vec{z}) = (\vec{x}, \vec{z}) + (\vec{y}, \vec{z}) \space \forall \vec{x}, \vec{y}, \vec{z} \in U
,
se nazývá skalární součin.
Skalární součin se vypočítá součinem prvků na stejných pozicí ve vektoru a jejich sečtením.
- např. v
\mathbb{R}^3 : (\vec{x}, \vec{y}) = x_{1}y_{1} + x_{2}y_{2} + x_{3}y_{3}
Skalární součin v prostorech nad C
Nechť U
je lineární vektorový prostor nad \mathbb{C}
. Zobrazení (\vec{x}, \vec{y}) : U \times U \to \mathbb{C}
splňující vlastnosti
(\vec{x}, \vec{x}) \geq 0
pro každé\vec{x} \in U; (\vec{x}, \vec{x}) = 0
, právě když\vec{x} = \vec{o}
,(\vec{x}, \vec{y}) = \overline{(\vec{y}, \vec{x})} \space \forall \vec{x}, \vec{y} \in U
,(k\vec{x}, \vec{y}) = k(\vec{x}, \vec{y}) \space \forall \vec{x}, \vec{y} \in U
a\forall k \in \mathbb{C}
,(\vec{x} + \vec{y}, \vec{z}) = (\vec{x}, \vec{z}) + (\vec{y}, \vec{z}) \space \forall \vec{x}, \vec{y}, \vec{z} \in U
,
se nazývá skalární součin. L.V.P. se skalárním součinem se nazývá Unitární prostor.
Vše zde funguje jako v Eukleidovském prostoru, až na Pythagorovu větu, kde neplatí opačná implikace, tj.
platí-li rovnost \Vert \vec{x} + \vec{y} \Vert^2 = \Vert \vec{x} \Vert^2 + \Vert \vec{y} \Vert^2
, potom nemusí platit, že \vec{x} \perp \vec{y}
.
Eukleidovský prostor
Lineární vektorový prostor se skalárním součinem se nazývá Eukleidovský prostor.
Příklad:
\mathbb{R}^3 : (\vec{x}, \vec{y}) = x_{1}y_{1} + x_{2}y_{2} + x_{3}y_{3}
\displaystyle \mathbb{R}^n : (\vec{x}, \vec{y}) = x_{1}y_{1} + x_{1}y_{1} + \dots + x_{n}y_{n} = \sum^n_{i=1} x_{i}y_{i}
\displaystyle C(0, 1) : (f, g) = \int^1_{0} f(x) \cdot g(x) \, dx
\displaystyle \mathbb{P}_{n} : (p(x); q(x)) = \int^b_{a} p(x) \cdot q(x) \, dx
V Eukleidovském prostoru platí (pro každé k \in \mathbb{R}
a \vec{x}, \vec{y}, \vec{z} \in U
):
(\vec{x}, k\vec{y}) = k(\vec{x}, \vec{y})
(\vec{x}, \vec{y} + \vec{z}) = (\vec{x}, \vec{y}) + (\vec{x}, \vec{z})
(\vec{x}, \vec{o}) = (\vec{o}, \vec{x}) = 0
Cauchy-Schwarzova nerovnost - Je-li U
Eukleidovský prostor, potom pro každé \vec{x}, \vec{y} \in U
platí
(\vec{x}, \vec{y})^2 \leq (\vec{x}, \vec{x}) \cdot (\vec{y}, \vec{y})
.
Norma
Norma v lineárním vektorovém prostoru U
je zobrazení \Vert \vec{x} \Vert : U \to \mathbb{R}
s vlastostmi
\Vert \vec{x} \Vert \geq 0 \, \forall \vec{x} \in U;\space \Vert \vec{x} \Vert = 0
, právě když\vec{x} = \vec{o}
,\Vert k\vec{x} \Vert = \vert k \vert \cdot \Vert \vec{x} \Vert \ \forall\vec{x} \in U
a\forall k \in \mathbb{R}
,\Vert \vec{x} + \vec{y} \Vert \leq \Vert \vec{x} \Vert + \Vert \vec{y} \Vert \ \forall \vec{x}, \vec{y} \in \mathbb{R}
.
Je-li U
Eukleidovský prostor, potom \Vert \vec{x} \Vert = \sqrt{ (\vec{x}, \vec{x}) }
je norma. Nazývá se norma indukovaná sklárním součinem.
Pro dva prvky x, y
libovolného L.V.P. U
lze definovat úhel dvou prvků
$$
\displaystyle \phi = \arccos \frac{(\vec{x}, \vec{y})}{\Vert \vec{x} \Vert \cdot \Vert \vec{y} \Vert}
a vzdálenost dvou prvků d(\vec{x}, \vec{y}) = \Vert \vec{x} - \vec{y} \Vert
. Vzdálenosti se obvykle říká metrika a příslušnému prostoru metrický prostor.
Ortogonalita
Dva prvky \vec{x}, \vec{y}
Eukleidovského prostoru U
jsou ortogonální (kolmé), jestliže (\vec{x}, \vec{y}) = 0
.
- Píšeme
\vec{x} \perp \vec{y}
. - Množiny
X, Y, \subset U
jsou ortiginální, jestliže\vec{x} \perp \vec{y}
pro každé\vec{x} \in X
a\vec{y} \in Y
.
Každá podmnožina Eukleidovského prostoru, jejíž prvky jsou nenulové a navzájem ortogonální, je LN.
- Žádný ze vzájemně kolmých vektorů není možné vyjádřit jako LK ostatních.
Pythagorova věta
Nechť U
je Eukleidův prostor, \vec{x}, \vec{y} \in U
. Potom
$$
\vec{x} \perp \vec{y} \iff \Vert \vec{x} + \vec{y} \Vert^2 = \Vert \vec{x} \Vert^2 + \Vert \vec{y} \Vert^2.
Ortogonální báze
Báze Eukleidovského prostoru U
, jejíž každé dva prvky jsou ortogonální.
- např. kanonická báze
V každém Eukleidovském prostoru konečné dimenze existuje ortogonální báze.
Gram-Schmidtův ortogonalizační proces
- určení ortogonální báze ze zadané báze
-
Mějme v
U
bázi\vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{n};
hledáme ortogonální bázi\vec{g}_{1}, \vec{g}_{2}, \dots, \vec{g}_{n}
. -
Položíme
\vec{g}_{1} = \vec{b}_{1}
. -
Určíme
\displaystyle \vec{g}_{2} = \vec{b}_{2} - \frac{\vec{b}_{2}, \vec{g}_{1}}{(\vec{g}_{1}, \vec{g}_{1})} \vec{g}_{1}
, což je ortogonální (kolmý) průmět vektoru\vec{b}_{2}
do přímky dané vektorem\vec{g}_{1}
. Platí, že\vec{g}_{2} \perp \vec{g}_{1}
. -
Obecně hledáme
\vec{g}_{k}
jako\vec{b}_{k} - \overline{\vec{b}_{k}}
, kde\overline{\vec{b}_{k}}
je ortogonální průmět prvku\vec{b}_{k}
do podprostoru s ortogonální bází\vec{g}_{1}, \vec{g}_{2}, \dots, \vec{g}_{k-1}
. Tedy: $$ \displaystyle \vec{g}{k} = \vec{b}{k} - \biggl( \frac{(\vec{b}{k}, \vec{g}{1})}{(\vec{g}{1}, \vec{g}{1})} \vec{g}{1} + \frac{(\vec{b}{k}, \vec{g}{2})}{(\vec{g}{2}, \vec{g}{2})} \vec{g}{2} + \dots + \frac{(\vec{b}{k}, \vec{g}{k-1})}{(\vec{g}{k-1}, \vec{g}{k-1})} \vec{g}_{k-1} \biggr). -
Pak jistě
\vec{g}_{k} \perp \vec{g}_{1}, \vec{g}_{k} \perp \vec{g}_{2}, \dots, \vec{g}_{k} \perp \vec{g}_{k-1}
.
Ortogonální průmět
Mějme Eukleidovský prostor U
, jeho podprostor V
a v něm generátor (ne nutně bázi) \vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{k}
. Máme určit ortogonální průmět \overline{\vec{x}}
prvku \vec{x} \in U
do V
.
- Víme, že
(\vec{x} - \overline{\vec{x}}) \perp \vec{b}_{i}
pro každéi = 1, 2, \dots, k
. - Dále:
\overline{\vec{x}} \in V
, tedy\overline{\vec{x}} = a_{1}\vec{b}_{1} + a_{2}\vec{b}_{2} + \dots + a_{k}\vec{b}_{k}
(je to LK generátorů).
Ortogonální průmět \overline{\vec{x}}
je vzdálenost \vec{x}
od \mathcal{U}
.
Pro každé i = 1, 2, \dots, k
platí:
$$
0 = (\vec{b}{i}, \vec{x} - \overline{\vec{x}}) = (\vec{b}{i}, \vec{x} - a_{1}\vec{b}{1} + a{2}\vec{b}{2} + \dots + a{k}\vec{b}{k}) = (\vec{b}{i}, \vec{x}) - a_{1}(\vec{b}{i}, \vec{b}{1}) - a_{2}(\vec{b}{i}, \vec{b}{2}) - \dots - a_{k}(\vec{b}{i}, \vec{b}{k}).
Dostaneme tak soustavu rovnic:
$$
\begin{matrix}
(\vec{b}{1}, \vec{b}{1})a_{1} + (\vec{b}{1}, \vec{b}{2})a_{2} + \dots + (\vec{b}{1}, \vec{b}{k})a_{k} = (\vec{b}{1}, \vec{x}) \qquad i=1 \
(\vec{b}{2}, \vec{b}{1})a{1} + (\vec{b}{2}, \vec{b}{2})a_{2} + \dots + (\vec{b}{2}, \vec{b}{k})a_{k} = (\vec{b}{2}, \vec{x}) \qquad i=2 \
\vdots \qquad\qquad \vdots \qquad\qquad \vdots \qquad\qquad \vdots \
(\vec{b}{k}, \vec{b}{1})a{1} + (\vec{b}{k}, \vec{b}{2})a_{2} + \dots + (\vec{b}{k}, \vec{b}{k})a_{k} = (\vec{b}_{k}, \vec{x}) \qquad i=k
\end{matrix}
tedy Gramovu matici:
$$ \begin{bmatrix} (\vec{b}{1}, \vec{b}{1}) & (\vec{b}{1}, \vec{b}{2}) & \dots & (\vec{b}{1}, \vec{b}{k}) \ (\vec{b}{2}, \vec{b}{1}) & (\vec{b}{2}, \vec{b}{2}) & \dots & (\vec{b}{2}, \vec{b}{k}) \ \vdots & \vdots & \vdots & \vdots \ (\vec{b}{k}, \vec{b}{1}) & (\vec{b}{k}, \vec{b}{2}) & \dots & (\vec{b}{k}, \vec{b}{k}) \end{bmatrix} \begin{bmatrix} a_{1} \ a_{2} \ \vdots \ a_{3} \end{bmatrix}
\begin{bmatrix}
(\vec{b}{1}, \vec{x}) \
(\vec{b}{2}, \vec{x}) \
\vdots \
(\vec{b}_{k}, \vec{x})
\end{bmatrix}
- Je-li
\{ \vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{k} \}
ortogonální báze, potom Gramova matice je diagonální. - Gramova matice je regulární, právě když množina vektorů
\vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{k}
je LN.
Zřejmě \overline{\vec{x}}
je nejbližším vektorem k \vec{x}
ve V
.
Je-li V
podprostorem prostoru U
a \vec{x} \notin V
, potom existuje právě jeden prvek \overline{\vec{x}}
takový, že \vec{x} - \overline{\vec{x}} \perp V
a \overline{\vec{x}} \in V
.
- Pro každý vektor
\vec{y} \in V
platí\Vert \vec{x} - \vec{y} \Vert \geq \Vert \vec{x} - \overline{\vec{x}} \Vert
a rovnost nastává, právě když\vec{y} = \overline{\vec{x}}
.
Postup:
- Potřebujeme prvky báze
\vec{b}_{i}
prostoru, do kterého děláme průmět a prvek\vec{z}
, jehož průmět budeme zjišťovat. - Pomocí vzorečku
(\vec{b_{1}}, \vec{b_{i}}) + (\vec{b_{2}}, \vec{b_{i}}) + \dots + (\vec{b_{i}}, \vec{b_{i}}) = (\vec{z}, \vec{b_{i}})
vytvoříme Gramovu matici. - Pomocí GJEM vyřešíme levou část matice, abychom zde získali jednotkovou matici.
- Výsledkem je vektor v pravé části matice.
Metoda nejmenších čtverců
Metodou nejmenších čtverců je možné aproximovat funkci - najít nějakou jednodušší, která je co nejpodobnější.
Použití
V rovině je dána množina bodů \{[-2,-3]; [-1,0]; [0,2]; [1,1]; [2,2]; [3,3]\}
.
- Najděte lineární funkci (= přímku), která ji nejlépe aproximuje.
Hledaná přímka: y = ax + b
, kde a,b
jsou neznámé.
\vec{z}
... vektor y-souřadnic bodů, tedy \vec{z} = [-3, 0, 2, 1, 2, 3]^T
Přepíšu do soustavy, tu následně do matice:
- Sloupce matice představují vektory
\vec{b}_{1}, \vec{b}_{2}, \vec{z}
. - Má-li tato soustava řešení, pak přímka prochází všemi body. A když ne?
$$
\begin{matrix}
-3 = a \cdot (-2) + b \
0 = a \cdot (-1) + b \
2 = a \cdot (0) + b \
1 = a \cdot (1) + b \
2 = a \cdot (2) + b \
3 = a \cdot (3) + b
\end{matrix} \qquad \begin{bmatrix}
-2 & 1 & -3 \
-1 & 1 & 0 \
0 & 1 & 2 \
1 & 1 & 1 \
2 & 1 & 2 \
3 & 1 & 3
\end{bmatrix}
Víme: \vec{z}, \vec{b}_{1}, \vec{b}_{2} \in \mathbb{R}^6
, hledáme a, b
tak, aby \vec{z}'
byl co nejblíže vektoru \vec{z}
a zároveň soustava měla řešení. Tedy \vec{z}'
je ortogonální průmět \vec{z}
do prostoru generovaného \{ \vec{b}_{1}, \vec{b}_{2} \}
.
$$
G = \begin{bmatrix}
(\vec{b}{1}, \vec{b}{1}) & (\vec{b}{1}, \vec{b}{2}) \
(\vec{b}{2}, \vec{b}{1}) & (\vec{b}{2}, \vec{b}{2})
\end{bmatrix} = \begin{bmatrix}
19 & 3 \
3 & 6
\end{bmatrix}
\qquad \text{pr. strana: } \begin{bmatrix}
(\vec{z}, \vec{b}{1}) \
(\vec{z}, \vec{b}{2})
\end{bmatrix} = \begin{bmatrix}
20 \
5
\end{bmatrix}
$$
\text{Řešíme soustavu: } \begin{bmatrix}
19 & 3 & 20 \
3 & 6 & 5
\end{bmatrix} \to a=1; b=\frac{1}{3}
Hledaná přímka je y = x + \frac{1}{3}
Pro a = 1, b = \frac{1}{3}
je vektor \overline{\vec{z}} = a\vec{b}_{1} + b\vec{b}_{2}
nejblíže vektoru \vec{z}
.
$$
\displaystyle
\overline{\vec{z}} = 1 \begin{bmatrix}
-2 \
-1 \
0 \
1 \
2 \
3
\end{bmatrix} + \frac{1}{3} \begin{bmatrix}
1 \
1 \
1 \
1 \
1 \
1
\end{bmatrix} = \begin{bmatrix}
-\frac{5}{3} \
-\frac{2}{3} \
\frac{1}{3} \
\frac{4}{3} \
\frac{7}{3} \
\frac{10}{3}
\end{bmatrix} \qquad \vec{z} = \begin{bmatrix}
-3 \
0 \
2 \
1 \
2 \
3
\end{bmatrix}
Položme \vec{r} = \vec{z} - \overline{\vec{z}}
, kde \vec{r} = [r_{1}, r_{2}, \dots, r_{6}]^T
$$
\displaystyle\Vert \vec{r} \Vert^2 = \left( -\frac{4}{3} \right)^2 + \left( \frac{2}{3} \right)^2 + \left( \frac{5}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 = \frac{16}{3}
jiný model: y = x
$$
\Vert \vec{r} \Vert^2 = (-1)^2 + (1)^2 + (2)^2 + 0^2 + 0^2 + 0^2 = 6 > \frac{16}{3}
jiný model: y = 1.1x \qquad \vec{z}' = [-2.2; -1.1; 0; 1.1; 2.2; 3.3]
$$
\Vert \vec{r} \Vert^2 = (-0.8)^2 + (1.1)^2 + (2)^2 + (-0.1)^2 + (-0.2)^2 + (-0.3)^2 = 5.99 > \frac{16}{3}
Ortogonální doplňek
Nechť V
je podprostor Eukleidovského prostoru U
. Ortogonální doplněk V^{\perp}
podprostoru $V$ v U
je množina všech vektorů z U
, které jsou kolmé na V
, tedy na každý prvek V
. Píšeme:
$$
V^{\perp} = {\vec{u} \in U; \vec{u} \perp \vec{v} \text{ pro každé } \vec{v} \in V}
- je to podprostor
dim(V) + dim(V^{\perp}) = dim(U)
Ortonormální báze
Ortogonální (kolmá) báze, jejíž prvky mají délku 1. (tedy (b_{i}, b_{i}) = 1
pro každé i = 1, 2, \dots, k
)
- existuje v každém Euklidovském prostoru konečné dimenze