Přidání poznámek k metodě nejmenších čtverců, ortogonálnímu doplňku a ortonormální bázi v LAA
This commit is contained in:
parent
9870eeaecb
commit
387d67d4e2
1 changed files with 138 additions and 2 deletions
|
@ -10,6 +10,9 @@ Nechť $U$ je lineární vektorový prostor nad $\mathbb{R}$. Zobrazení $(\vec{
|
||||||
|
|
||||||
se nazývá **skalární součin**.
|
se nazývá **skalární součin**.
|
||||||
|
|
||||||
|
Skalární součin se vypočítá součinem prvků na stejných pozicí ve vektoru a jejich sečtením.
|
||||||
|
- např. v $\mathbb{R}^3 : (\vec{x}, \vec{y}) = x_{1}y_{1} + x_{2}y_{2} + x_{3}y_{3}$
|
||||||
|
|
||||||
#### Skalární součin v prostorech nad $\mathbb{C}$
|
#### Skalární součin v prostorech nad $\mathbb{C}$
|
||||||
|
|
||||||
Nechť $U$ je lineární vektorový prostor nad $C$. Zobrazení $(\vec{x}, \vec{y}) : U \times U \to \mathbb{C}$ splňující vlastnosti
|
Nechť $U$ je lineární vektorový prostor nad $C$. Zobrazení $(\vec{x}, \vec{y}) : U \times U \to \mathbb{C}$ splňující vlastnosti
|
||||||
|
@ -83,6 +86,7 @@ Báze Eukleidovského prostoru $U$, jejíž každé dva prvky jsou ortogonální
|
||||||
V každém Eukleidovském prostoru konečné dimenze existuje ortogonální báze.
|
V každém Eukleidovském prostoru konečné dimenze existuje ortogonální báze.
|
||||||
|
|
||||||
#### Gram-Schmidtův ortogonalizační proces
|
#### Gram-Schmidtův ortogonalizační proces
|
||||||
|
|
||||||
- určení ortogonální báze ze zadané báze
|
- určení ortogonální báze ze zadané báze
|
||||||
|
|
||||||
1. Mějme v $U$ bázi $\vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{n};$ hledáme ortogonální bázi $\vec{g}_{1}, \vec{g}_{2}, \dots, \vec{g}_{n}$.
|
1. Mějme v $U$ bázi $\vec{b}_{1}, \vec{b}_{2}, \dots, \vec{b}_{n};$ hledáme ortogonální bázi $\vec{g}_{1}, \vec{g}_{2}, \dots, \vec{g}_{n}$.
|
||||||
|
@ -121,7 +125,7 @@ Dostaneme tak soustavu rovnic:
|
||||||
|
|
||||||
$$
|
$$
|
||||||
\begin{matrix}
|
\begin{matrix}
|
||||||
(\vec{b}_{1}, \vec{b}_{1})a_{1} + (\vec{b}_{1}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{1}, \vec{b}_{k})a_{k} = (\vec{b}_{i}, \vec{x}) \qquad i=1 \\
|
(\vec{b}_{1}, \vec{b}_{1})a_{1} + (\vec{b}_{1}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{1}, \vec{b}_{k})a_{k} = (\vec{b}_{1}, \vec{x}) \qquad i=1 \\
|
||||||
(\vec{b}_{2}, \vec{b}_{1})a_{1} + (\vec{b}_{2}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{2}, \vec{b}_{k})a_{k} = (\vec{b}_{2}, \vec{x}) \qquad i=2 \\
|
(\vec{b}_{2}, \vec{b}_{1})a_{1} + (\vec{b}_{2}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{2}, \vec{b}_{k})a_{k} = (\vec{b}_{2}, \vec{x}) \qquad i=2 \\
|
||||||
\vdots \qquad\qquad \vdots \qquad\qquad \vdots \qquad\qquad \vdots \\
|
\vdots \qquad\qquad \vdots \qquad\qquad \vdots \qquad\qquad \vdots \\
|
||||||
(\vec{b}_{k}, \vec{b}_{1})a_{1} + (\vec{b}_{k}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{k}, \vec{b}_{k})a_{k} = (\vec{b}_{k}, \vec{x}) \qquad i=k
|
(\vec{b}_{k}, \vec{b}_{1})a_{1} + (\vec{b}_{k}, \vec{b}_{2})a_{2} + \dots + (\vec{b}_{k}, \vec{b}_{k})a_{k} = (\vec{b}_{k}, \vec{x}) \qquad i=k
|
||||||
|
@ -159,3 +163,135 @@ Zřejmě $\overline{\vec{x}}$ je nejbližším vektorem k $\vec{x}$ ve $V$.
|
||||||
|
|
||||||
Je-li $V$ podprostorem prostoru $U$ a $\vec{x} \notin V$, potom existuje právě jeden prvek $\overline{\vec{x}}$ takový, že $\vec{x} - \overline{\vec{x}} \perp V$ a $\overline{\vec{x}} \in V$.
|
Je-li $V$ podprostorem prostoru $U$ a $\vec{x} \notin V$, potom existuje právě jeden prvek $\overline{\vec{x}}$ takový, že $\vec{x} - \overline{\vec{x}} \perp V$ a $\overline{\vec{x}} \in V$.
|
||||||
- Pro každý vektor $\vec{y} \in V$ platí $\Vert \vec{x} - \vec{y} \Vert \geq \Vert \vec{x} - \overline{\vec{x}} \Vert$ a rovnost nastává, právě když $\vec{y} = \overline{\vec{x}}$.
|
- Pro každý vektor $\vec{y} \in V$ platí $\Vert \vec{x} - \vec{y} \Vert \geq \Vert \vec{x} - \overline{\vec{x}} \Vert$ a rovnost nastává, právě když $\vec{y} = \overline{\vec{x}}$.
|
||||||
|
|
||||||
|
### Metoda nejmenších čtverců
|
||||||
|
|
||||||
|
Metodou nejmenších čtverců je možné aproximovat funkci - najít nějakou jednodušší, která je co nejpodobnější.
|
||||||
|
|
||||||
|
#### Použití
|
||||||
|
|
||||||
|
V rovině je dána množina bodů $\{[-2,-3]; [-1,0]; [0,2]; [1,1]; [2,2]; [3,3]\}$.
|
||||||
|
- Najděte lineární funkci (= přímku), která ji nejlépe aproximuje.
|
||||||
|
|
||||||
|
Hledaná přímka: $y = ax + b$, kde $a,b$ jsou neznámé.
|
||||||
|
|
||||||
|
$\vec{z}$ ... vektor y-souřadnic bodů, tedy $\vec{z} = [-3, 0, 2, 1, 2, 3]^T$
|
||||||
|
|
||||||
|
Přepíšu do soustavy, tu následně do matice:
|
||||||
|
- Sloupce matice představují vektory $\vec{b}_{1}, \vec{b}_{2}, \vec{z}$.
|
||||||
|
- Má-li tato soustava řešení, pak přímka prochází všemi body. A když ne?
|
||||||
|
|
||||||
|
$$
|
||||||
|
\begin{matrix}
|
||||||
|
-3 = a \cdot (-2) + b \\
|
||||||
|
0 = a \cdot (-1) + b \\
|
||||||
|
2 = a \cdot (0) + b \\
|
||||||
|
1 = a \cdot (1) + b \\
|
||||||
|
2 = a \cdot (2) + b \\
|
||||||
|
3 = a \cdot (3) + b
|
||||||
|
\end{matrix} \qquad \begin{bmatrix}
|
||||||
|
-2 & 1 & -3 \\
|
||||||
|
-1 & 1 & 0 \\
|
||||||
|
0 & 1 & 2 \\
|
||||||
|
1 & 1 & 1 \\
|
||||||
|
2 & 1 & 2 \\
|
||||||
|
3 & 1 & 3
|
||||||
|
\end{bmatrix}
|
||||||
|
$$
|
||||||
|
|
||||||
|
Víme: $\vec{z}, \vec{b}_{1}, \vec{b}_{2} \in \mathbb{R}^6$, hledáme $a, b$ tak, aby $\vec{z}'$ byl co nejblíže vektoru $\vec{z}$ a zároveň soustava měla řešení. Tedy $\vec{z}'$ je ortogonální průmět $\vec{z}$ do prostoru generovaného $\{ \vec{b}_{1}, \vec{b}_{2} \}$.
|
||||||
|
|
||||||
|
$$
|
||||||
|
G = \begin{bmatrix}
|
||||||
|
(\vec{b}_{1}, \vec{b}_{1}) & (\vec{b}_{1}, \vec{b}_{2}) \\
|
||||||
|
(\vec{b}_{2}, \vec{b}_{1}) & (\vec{b}_{2}, \vec{b}_{2})
|
||||||
|
\end{bmatrix} = \begin{bmatrix}
|
||||||
|
19 & 3 \\
|
||||||
|
3 & 6
|
||||||
|
\end{bmatrix}
|
||||||
|
\qquad \text{pr. strana: } \begin{bmatrix}
|
||||||
|
(\vec{z}, \vec{b}_{1}) \\
|
||||||
|
(\vec{z}, \vec{b}_{2})
|
||||||
|
\end{bmatrix} = \begin{bmatrix}
|
||||||
|
20 \\
|
||||||
|
5
|
||||||
|
\end{bmatrix}
|
||||||
|
$$
|
||||||
|
|
||||||
|
$$
|
||||||
|
\text{Řešíme soustavu: } \begin{bmatrix}
|
||||||
|
19 & 3 & 20 \\
|
||||||
|
3 & 6 & 5
|
||||||
|
\end{bmatrix} \to a=1; b=\frac{1}{3}
|
||||||
|
$$
|
||||||
|
|
||||||
|
Hledaná přímka je $y = x + \frac{1}{3}$
|
||||||
|
|
||||||
|
Pro $a = 1, b = \frac{1}{3}$ je vektor $\overline{\vec{z}} = a\vec{b}_{1} + b\vec{b}_{2}$ nejblíže vektoru $\vec{z}$.
|
||||||
|
|
||||||
|
$$
|
||||||
|
\displaystyle
|
||||||
|
\overline{\vec{z}} = 1 \begin{bmatrix}
|
||||||
|
-2 \\
|
||||||
|
-1 \\
|
||||||
|
0 \\
|
||||||
|
1 \\
|
||||||
|
2 \\
|
||||||
|
3
|
||||||
|
\end{bmatrix} + \frac{1}{3} \begin{bmatrix}
|
||||||
|
1 \\
|
||||||
|
1 \\
|
||||||
|
1 \\
|
||||||
|
1 \\
|
||||||
|
1 \\
|
||||||
|
1
|
||||||
|
\end{bmatrix} = \begin{bmatrix}
|
||||||
|
-\frac{5}{3} \\
|
||||||
|
-\frac{2}{3} \\
|
||||||
|
\frac{1}{3} \\
|
||||||
|
\frac{4}{3} \\
|
||||||
|
\frac{7}{3} \\
|
||||||
|
\frac{10}{3}
|
||||||
|
\end{bmatrix} \qquad \vec{z} = \begin{bmatrix}
|
||||||
|
-3 \\
|
||||||
|
0 \\
|
||||||
|
2 \\
|
||||||
|
1 \\
|
||||||
|
2 \\
|
||||||
|
3
|
||||||
|
\end{bmatrix}
|
||||||
|
$$
|
||||||
|
|
||||||
|
Položme $\vec{r} = \vec{z} - \overline{\vec{z}}$, kde $\vec{r} = [r_{1}, r_{2}, \dots, r_{6}]^T$
|
||||||
|
|
||||||
|
$$
|
||||||
|
\displaystyle\Vert \vec{r} \Vert^2 = \left( -\frac{4}{3} \right)^2 + \left( \frac{2}{3} \right)^2 + \left( \frac{5}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 + \left( -\frac{1}{3} \right)^2 = \frac{16}{3}
|
||||||
|
$$
|
||||||
|
|
||||||
|
jiný model: $y = x$
|
||||||
|
|
||||||
|
$$
|
||||||
|
\Vert \vec{r} \Vert^2 = (-1)^2 + (1)^2 + (2)^2 + 0^2 + 0^2 + 0^2 = 6 > \frac{16}{3}
|
||||||
|
$$
|
||||||
|
|
||||||
|
jiný model: $y = 1.1x \qquad \vec{z}' = [-2.2; -1.1; 0; 1.1; 2.2; 3.3]$
|
||||||
|
|
||||||
|
$$
|
||||||
|
\Vert \vec{r} \Vert^2 = (-0.8)^2 + (1.1)^2 + (2)^2 + (-0.1)^2 + (-0.2)^2 + (-0.3)^2 = 5.99 > \frac{16}{3}
|
||||||
|
$$
|
||||||
|
|
||||||
|
### Ortogonální doplňek
|
||||||
|
|
||||||
|
Nechť $V$ je podprostor Eukleidovského prostoru $U$. **Ortogonální doplněk $V^{\perp}$ podprostoru $V$** v $U$ je množina všech vektorů z $U$, které jsou kolmé na $V$, tedy na každý prvek $V$. Píšeme:
|
||||||
|
|
||||||
|
$$
|
||||||
|
V^{\perp} = \{\vec{u} \in U; \vec{u} \perp \vec{v} \text{ pro každé } \vec{v} \in V\}
|
||||||
|
$$
|
||||||
|
|
||||||
|
- je to podprostor
|
||||||
|
- $dim(V) + dim(V^{\perp}) = dim(U)$
|
||||||
|
|
||||||
|
### Ortonormální báze
|
||||||
|
|
||||||
|
**Ortogonální (kolmá) báze**, jejíž prvky mají **délku 1**. (tedy $(b_{i}, b_{i}) = 1$ pro každé $i = 1, 2, \dots, k$)
|
||||||
|
- existuje v každém **Euklidovském prostoru konečné dimenze**
|
Loading…
Reference in a new issue