Note lại 1 số kiến thức nền về đại số tuyến tính có liên quan đến đủ mọi thứ như SVD, PCA, optimization ... (không đầy đủ, xem thêm trong các tài liệu khác) như.
Linear Algebra MIT OCW
Linear Algebra MIT OCW
Search Results
Linear Algebra Done Right, by Sheldon Axler (Author), ISBN-13: 978-3319110790
Vectors
Ký pháp vector: \(\vec x = \left[ {8,6,7,5,3} \right]\)
Vector length (độ dài vector)
Với $v\in {{R}^{n}}$ chiều dài vector \(\left| {\vec v} \right| = \sqrt {\sum\nolimits_{i = 1}^n {{v_i}^2} } \)
Ví dụ:
\(\vec v = \left[ {2,2,1,3} \right]\)
\(\left| {\vec v} \right| = \sqrt {{2^2} + {2^2} + {1^2} + {3^2}} = \sqrt {18} \)
Scalar multiplication (nhân vô hướng)
Vector space/Linear
space (Không
gian vector/không gian tuyến tính)
Giả sử F là một trường (field),
các phần tử thuộc F gọi là vô hướng (scalar). Một
không gian vector V trên trường F là một tập hợp không rỗng với 2 toán tử/phép
toán cộng và nhân vector thỏa mãn các điều kiện được liệt kê sau.
Với \(\forall u,v,w \in
V,\forall \alpha ,\beta \in F\)
và 1 là phần tử đơn vị của phép nhân trong trường F:
1. Associativity of addition: \(u + (v + w) = (u + v) + w\) (tính kết
hợp)
2. Commutativity
of addition: \(u + v =
v + u\) (tính giao hoán)
3. Identity element of addition: \(\exists 0 \in V,u + 0 = 0 + u = u\)
(phần tử trung hòa/phần tử đơn vị với phép cộng)
4. Inverse elements of addition: \(\exists - u \in V,u + ( -
u) = 0\) (phần tử đối/phần tử đối với phép cộng additive inverse)
5. Identity element of scalar
multiplication: \(1u =
u\) (phần tử đơn vị của phép nhân trong trường F
có tính chất của phần tử đơn vị với phép nhân vô hướng)
6. Distributivity
of scalar multiplication with respect to vector addition: \(\alpha (u + v) = \alpha u + \alpha
v\) (tính phân phối của nhân vô hướng với phép cộng
vector)
7. Distributivity of scalar multiplication with
respect to field addition: \((\alpha + \beta )u = \alpha
u + \beta u\) (tính phân phối của nhân với hướng
và phép cộng trong trường số vô hướng F, lưu ý phép cộng \(\alpha + \beta \) là
phép cộng trên trường F)
8. Compatibility of scalar multiplication
with field multiplication: \(\alpha (\beta u) = (\alpha \beta )u\) (phép nhân vô hướng tương thích với phép nhân trong trường số vô hướng
F, lưu ý \(\beta u\) là phép nhân vô hường trong khi đó \(\alpha \beta \) là phép nhân trên trường F, không phải là tính kết hợp của phép
nhân)
Một số tính chất
Giả sử V là
một không gian vector trên trường K
1. V chỉ có một vector 0 duy nhất
2. Với mỗi \(v \in V\) vector đối \(
- v\) là duy nhất
3. Với mỗi \(v \in V\), đối của vector đối là chính nó \( - ( - v) = v\)
4. Với \(v \in
V,k \in K\), \(kv = 0 \Leftrightarrow k = 0 \vee
v = 0\)
5. Với \(v \in
V,k \in K\), \(( - p)v = - (pv) = p( - v)\)
Basic of
vector space (Cơ
sở của không gian vector)
Cơ sở của không gian vector là một hệ vector độc lập tuyến
tính và sinh ra không gian vector đó.
Một tập hợp \(\varepsilon = ({\varepsilon _1},...,{\varepsilon _n})\)
trong không gian vector V được gọi là cơ sở nếu
1.
\(\varepsilon = ({\varepsilon
_1},...,{\varepsilon _n})\) là một tập hợp các
vector độc lập tuyến tính
2.
\(\varepsilon = ({\varepsilon
_1},...,{\varepsilon _n})\) là hệ sinh của V hay
\(span(\varepsilon ) =
V\)
hay
Một hệ sinh
độc lập tuyến tính của một không gian vector khác { 0 } được gọi là một cơ sở của
nó.
Không gian vector { 0 } không có cơ sở. Hay có thể nói, số
vector trong cơ sở của không gian { 0 } bằng 0.
Linear span and basic (Hệ sinh và cơ sở)
Nếu không gian vector có một hệ sinh bao gồm m vector thì số
vector của mọi hệ vector độc lập tuyến tính của nó không quá m.
Giả sử V là không gian vector trên trường K có hệ sinh \(\alpha =
({\alpha _1},...,{\alpha _m}),{\alpha _i} \ne 0,\forall i \in \overline {1,m}
\) và tồn tại một hệ \(\varepsilon = ({\varepsilon _1},...,{\varepsilon _n})\)
là hệ vector độc lập tuyến tính của V có \(n
> m\).
Do \(\alpha = ({\alpha _1},...,{\alpha _m})\) là hệ
sinh của V nên \({\varepsilon _1} =
{a_{11}}{\alpha _1} + {a_{12}}{\alpha _2} + ... + {a_{1m}}{\alpha _m}\).
Vì \({\varepsilon _1} \ne
0\) nên tồn tại một \({a_{1j}} \ne 0\),
không mất tính tổng quát giả sử \({a_{11}} \ne
0\).
Khi đó
Khi đó
\({\alpha _1} =
\frac{1}{{{a_{11}}}}{\varepsilon _1} - \frac{{{a_{12}}}}{{{a_{11}}}}{\alpha _2}
- ... - \frac{{{a_{1m}}}}{{{a_{11}}}}{\alpha _m}\)
Thay \({\alpha _1}\)
trong hệ A bằng \({\varepsilon _1}\) được
hệ \({A_1}\). Với \(\beta \in
V\), \(\beta = {b_{11}}{\alpha _1} + {b_{12}}{\alpha _2} +
... + {b_{1m}}{\alpha _m}\), thay \({\alpha
_1}\):
\(\begin{array}{l}\beta = {b_{11}}(\frac{1}{{{a_{11}}}}{\varepsilon
_1} - \frac{{{a_{12}}}}{{{a_{11}}}}{\alpha _2} - ... -
\frac{{{a_{1m}}}}{{{a_{11}}}}{\alpha _m}) + {b_{12}}{\alpha _2} + ... +
{b_{1m}}{\alpha _m}\\ = \frac{{{b_{11}}}}{{{a_{11}}}}{\varepsilon _1} +
({b_{12}} - -
\frac{{{a_{12}}}}{{{a_{11}}}}){\alpha _2} + ... + ({b_{1m}} -
\frac{{{a_{1m}}}}{{{a_{11}}}}){\alpha _m}\end{array}\)
Hay mọi vector \(\beta \in V\) đều biểu diễn được qua hệ \({A_1}\). Tức hệ \({A_1}\) là hệ sinh của V.
Biểu diễn \({\varepsilon
_1}\) theo \({A_1}\): \({\varepsilon _2} = {a_{21}}{\varepsilon _1} +
{a_{22}}{\alpha _2} + ... + {a_{2m}}{\alpha _m}\). Nếu tất cả các hệ số \({\alpha _i} = 0\) thì \({\varepsilon _2} = {a_{21}}{\varepsilon _1}\)
khi đó hệ \(\varepsilon \) phụ thuộc tuyến
tính. Do đó tồn tại \(\exists {a_{2j}} \ne 0,j
\ne 1\), không mất tính tổng quát giả sử là \({a_{22}} \ne 0\), biểu diễn \({\alpha _2}\) với cách lập luận tương tự sẽ
có hệ \({A_2}\) là hệ sinh của V.
Lần lượt thay m vector của hệ A bằng m vector đầu tiên của \(\varepsilon \), \({A_m} = ({\varepsilon _1},...,{\varepsilon _m})\)
là hệ sinh của V. Theo giả thiết, \(n > m\)
nên tồn tại \({\varepsilon _{m + 1}} \notin
{A_m}\). Nhưng \({A_m} = ({\varepsilon
_1},...,{\varepsilon _m})\) là hệ sinh của V nên \({\varepsilon _{m + 1}}\) có thể biểu diễn
tuyến tính qua hệ này. Điều này trái với \(\varepsilon = ({\varepsilon _1},...,{\varepsilon _n})\)
là hệ vector độc lập tuyến tính của V.
Hệ quả: số vectơ trong hai cơ sở của một không gian vector bằng
nhau.
Chứng minh trực tiếp từ định lý trên khi coi một cơ sở cũng
là một hệ sinh.
Mỗi không gian vector \(V
\ne \{ 0\} \) trên trường K đều có cơ sở.
Giả sử một vector \({\varepsilon
_1} \ne 0 \in V\). Mỗi một vector trong không gian vector đều lập thành
một hệ độc lập tuyến tính nên hệ \(\{
{\varepsilon _1}\} \) là một hệ độc lập tuyến tính.
Nếu mọi vector khác thuộc V có thể biểu diễn tuyến tính qua
hệ \(\{ {\varepsilon _1}\} \) thì \(\{ {\varepsilon _1}\} \) là một cơ sở của V.
Ngược lại nếu tồn tại \({\varepsilon _2}\)
không biểu diễn tuyến tính theo \({\varepsilon
_1}\) thì hệ \(\{ {\varepsilon
_1},{\varepsilon _2}\} \) là hệ độc lập tuyến tính. Nếu hệ này không phải
cơ sở thì sẽ tồn tại \({\varepsilon _3}\)
không biểu diễn tuyến tính qua \(\{
{\varepsilon _1},{\varepsilon _2}\} \). Tiếp tục quá trình trên hệ cơ sở
của V sẽ phải có số vector nhiều hơn. Tuy nhiên số vector này không thể quá số
vector của một hệ sinh nào đó ví dụ có số vector là m. Do đó số vector của hệ độc
lập tuyến tính là cơ sở của V phải dừng lại ở \(n
\le m\): \(\varepsilon = ({\varepsilon _1},...,{\varepsilon _n})\).
Hệ quả: trong không gian vector, mỗi hệ vector độc lập tuyến
tính đều có thể bổ sung để tạo thành một cơ sở.
Từ một hệ sinh của không gian vector khác \(\{ 0\} \) có thể chọn ra một cơ sở.
Chứng minh tương tự, chọn \({\varepsilon
_i}\) từ hệ sinh đã cho.
Vector subspace/Linear subspace (Không gian vector/tuyến tính con)
Giả sử W là một tập con của không gian vector V. Nếu W cũng
là một không gian vector đối với hai phép toán đã cho trong V thì W được gọi là
một không gian con của V.
Chứng minh thỏa mãn định nghĩa không gian vector. Tuy nhiên
chỉ cần kiểm tra một số điều kiện ít hơn.
Giả sử W là một tập con của không gian vector V. W là một
không gian con khi và chỉ khi W thỏa mãn 3 điều kiện
1. Vector không 0 thuộc W (hay \(W \ne \emptyset \))
2. \(x + y \in W,\forall x,y \in W\)
3. \(ax \in W,\forall x \in W,\forall a
\in K\)
(2) và (3)
có thể viết dưới dạng \(ax + by \in
W;\forall x,y \in W;\forall a,b \in K\)
Giả sử U, W
là một không gian con của không gian vector V trên trường K khi đó giao (intersection) của hai không gian con \(U
\cap W\) là một
không gian con của V.
Sum of two subspaces (Tổng của hai không gian con)
Tổng của hai tập con U và W trong một không gian vector ký
hiệu là \(U + W\) chứa mọi vector dạng \(u + w\) với \(u
\in U\) và \(w \in W\).
\(U + W = \{ u + w:u \in U,w
\in W\} \)
Hệ quả:
Giả sử U, W là một không gian con của không gian vector V
trên trường K khi đó \(U + W\) là một
không gian con của V.
Chứng minh:
\(U + W\) chứa vector
không 0, nên \(U + W \ne \emptyset \)
Giả sử có và \(x,y \in U + W\), khi đó tồn tại \({u_1},{u_2} \in U\) và \({w_1},{w_2} \in W\) sao cho \({u_1} + {w_1} = x,{u_2} + {w_2} = y\). Với
hai scalar bất kỳ \(\alpha ,\beta \in K\) xét \(\alpha x + \beta y = \alpha ({u_1} + {w_1}) + \beta
({u_2} + {w_2}) = (\alpha {u_1} + \beta {u_2}) + (\alpha {w_1} + \beta {w_2})\).
Do U, W là những không gian vector nên \((\alpha {u_1} + \beta {u_2}) \in U,(\alpha {w_1} +
\beta {w_2}) \in W\). Do đó \(\alpha x +
\beta y\) là tổng của một vector thuộc U và một vector thuộc V. Theo định
nghĩa vector \(\alpha x + \beta y \in U + W\).
Union of two subspaces (Hội/hợp của hai không gian con)
Giả sử \({W_1},{W_2}\)
là một không gian con của không gian vector V trên trường K. Khi đó \({W_1} \cup {W_2}\) là một không gian vector khi và chỉ khi \({W_1} \subset {W_2}\) hoặc \({W_2} \subset {W_1}\).
(\( \Leftarrow \)) Giả sử \({W_2} \subset {W_1} \Rightarrow
{W_1} \cup {W_2} = {W_1}\)
(\( \Rightarrow \)) Ngược lại \({W_1} \cup {W_2}\) là một không gian vector.
Trường hợp 1: \({W_2}
\subset {W_1}\), hiển nhiên không cần chứng minh
Trường hợp 2: \({W_2}
\not\subset {W_1}\)
Xét \(x \in {W_1}\) và \(y \in {W_2} - {W_1}\), khi đó theo định
nghĩa của hội hay tập hợp \(x,y \in {W_1} \cup
{W_2}\). Do \({W_1} \cup {W_2}\) là một không gian vector nên \(x + y \in {W_1} \cup {W_2}\). Do tính chất
union của hai tập hợp \({W_1} \cup {W_2}\) nên \(x + y
\in {W_1}\) hoặc \(x + y \in {W_2}\),
giả sử \(x + y \in {W_1}\).
Vì \({W_1}\) là không gian con nên \((x + y) + ( - x) = y \in {W_1}\) trái với \(y \in {W_2} - {W_1}\). Do đó \(x + y \in {W_2}\).
Tương tự \({W_2}\) là không gian con nên \((x + y) + ( - y) = x \in {W_2}\). Như vậy \({W_1} \subset {W_2}\)
Dimension (Số chiều của không gian vector)
Số vector (cardinality/cardinal
numbers) trong một cơ sở của một không gian vector V gọi là số chiều của
V. Ký hiệu là \(di{m_k}(V)\) hay \(di{m_k}V\).
Định lý:
Định lý:
Trong không gian vector n chiều mọi hệ vector độc lập tuyến
tính gồm n vector đều là cơ sở.
Giả sử \(dim(V) = n\)
và \(A = \{ {\alpha _1},{\alpha _2},...,{\alpha
_n}\} \) là một hệ gồm n vector độc lập tuyến tính. Do đó có thể bổ sung
vào A để tạo thành cơ sở của V. Vì \(dim(V) =
n\) nên số vector của cơ sở là n không cần phải bổ sung nữa. Do đó A là
một cơ sở của V.
Dimension of subspaces (Số chiều của không gian con)
Giả sử W là một không gian con của không gian vector V trên
trường K.
Định lý 2:
1.
\(di{m_k}W \le di{m_k}V\)
2.
\(di{m_k}W = di{m_k}V \Leftrightarrow V = W\)
Nếu \(W
= \{ 0\} \) thì \(di{m_k}W
= 0 \le di{m_k}V\).
(1) Giả sử \(di{m_k}V
= n\), mọi không
gian vector khác \(\{ 0\} \) đều có cơ sở nên \(di{m_k}W
= m > 0\) giả
sử là \(\varepsilon \). Vì \(\varepsilon \) là hệ độc lập tuyến tính trong W nên cũng độc
lập tuyến tính trong V, do đó không thể vượt quá số vector của một hệ sinh cũng
là một cơ sở trong V gồm n vector.
(2) Suy ra
từ định lý: trong không gian vector n chiều mọi hệ vector độc lập tuyến tính gồm
n vector đều là cơ sở
Định lý 2:
Giả sử U, W
là những không gian con của không gian vector V trên trường K.
\(di{m_k}(U + W) = di{m_k}U + di{m_k}W -
di{m_k}(U \cap W)\)
Chứng minh:
Giả sử \(di{m_k}U =
p,di{m_k}W = q,di{m_k}(U \cap W) = r\)
Giả sử hệ \(A = \{ {\zeta
_1},{\zeta _2},...,{\zeta _r}\} \) là một cơ sở của \(U \cap W\) thì hệ này cũng độc lập tuyến
tính trong U và W. Do đó có thể bổ sung hệ này để tạo thành cơ sở của U và W: \(B = \{ {\delta _1},{\delta _2},...,{\delta _{p -
r}},{\zeta _1},{\zeta _2},...,{\zeta _r}\} \) là cơ sở của U và \(C = \{ {\varepsilon _1},{\varepsilon
_2},...,{\varepsilon _{q - r}},{\zeta _1},{\zeta _2},...,{\zeta _r}\} \)
là cơ sở của W.
Cần chứng minh rằng \(X = \{
{\delta _1},{\delta _2},...,{\delta _{p - r}},{\zeta _1},{\zeta _2},...,{\zeta
_r},{\varepsilon _1},{\varepsilon _2},...,{\varepsilon _{q - r}}\} \) là
một cở sở của \(U + W\).
Vì \(\{ {\delta _1},{\delta
_2},...,{\delta _{p - r}},{\zeta _1},{\zeta _2},...,{\zeta _r}\} \subset U,\{ {\varepsilon _1},{\varepsilon
_2},...,{\varepsilon _{q - r}}\} \subset
W \Rightarrow X \subset (U + W)\). Với \(\forall
\alpha = {a_1}{\delta _1} + {a_2}{\delta
_2} + ... + {a_{p - r}}{\delta _{p - r}} + {b_1}{\zeta _1} + {b_2}{\zeta _2} +
... + {b_r}{\zeta _r} \in U\) và \(\forall
\beta = {c_1}{\varepsilon _1} +
{c_2}{\varepsilon _2} + ... + {c_{q - r}}{\varepsilon _{q - r}} + {d_1}{\zeta
_1} + {d_2}{\zeta _2} + ... + {d_r}{\zeta _r} \in W\) thì \(\gamma =
\alpha + \beta \) có thể biểu diễn
tuyến tính theo X.
\(\begin{array}{l}\gamma = \alpha
+ \beta = {a_1}{\delta _1} +
{a_2}{\delta _2} + ... + {a_{p - r}}{\delta _{p - r}} + \\({b_1} + {d_1}){\zeta
_1} + ({b_2} + {d_2}){\zeta _2} + ... + ({b_r} + {d_r})\zeta + {c_1}{\varepsilon _1} + {c_2}{\varepsilon
_2} + ... + {c_{q - r}}{\varepsilon _{q - r}}\end{array}\)
Nghĩa là X là một hệ sinh của \(U + W\)
Xét đẳng thức
\(\begin{array}{l}{x_1}{\delta
_1} + {x_2}{\delta _2} + ... + {x_{p - r}}{\delta _{p - r}} + {y_1}{\zeta _1} +
{y_2}{\zeta _2} + ... + {y_r}\zeta +
{z_1}{\varepsilon _1} + {z_2}{\varepsilon _2} + ... + {z_{q - r}}{\varepsilon
_{q - r}} = 0\\ \Leftrightarrow {x_1}{\delta _1} + {x_2}{\delta _2} + ... +
{x_{p - r}}{\delta _{p - r}} + {y_1}{\zeta _1} + {y_2}{\zeta _2} + ... +
{y_r}\zeta = - {z_1}{\varepsilon _1} - {z_2}{\varepsilon
_2} - ... - {z_{q - r}}{\varepsilon _{q - r}}\end{array}\)
Nếu đặt \(\mu = {x_1}{\delta _1} + {x_2}{\delta _2} + ... + {x_{p - r}}{\delta _{p - r}} + {y_1}{\zeta _1} + {y_2}{\zeta _2} + ... + {y_r}\zeta \) thì \(\mu \) là một vector trong U, và \(\omega = - {z_1}{\varepsilon _1} - {z_2}{\varepsilon _2} - ... - {z_{q - r}}{\varepsilon _{q - r}} \in W\) là một vector trong W. Do dó \(\mu = \omega \in U \cap W\), nên có thể biểu diễn tuyến tính theo cơ sở của \(U \cap W\) là A.\( - {z_1}{\varepsilon _1} - {z_2}{\varepsilon _2} - ... - {z_{q - r}}{\varepsilon _{q - r}} = {t_1}{\zeta _1} + {t_2}{\zeta _2} + ... + {t_r}{\zeta _r} \Leftrightarrow {z_1}{\varepsilon _1} + {z_2}{\varepsilon _2} + ... + {z_{q - r}}{\varepsilon _{q - r}} + {t_1}{\zeta _1} + {t_2}{\zeta _2} + ... + {t_r}{\zeta _r} = 0\)
Do C là một hệ độc lập tuyến tính nên \({z_1}{\varepsilon _1} + {z_2}{\varepsilon _2} + ...
+ {z_{q - r}}{\varepsilon _{q - r}} + {t_1}{\zeta _1} + {t_2}{\zeta _2} + ... +
{t_r}{\zeta _r} = 0 \Leftrightarrow {z_1} = {z_2} = ... = {z_{q - r}} = {t_1} =
... = {t_r} = 0\)
Thay \({z_i} = 0\)
vào \({x_1}{\delta _1} + {x_2}{\delta _2} + ...
+ {x_{p - r}}{\delta _{p - r}} + {y_1}{\zeta _1} + {y_2}{\zeta _2} + ... +
{y_r}\zeta + {z_1}{\varepsilon _1} +
{z_2}{\varepsilon _2} + ... + {z_{q - r}}{\varepsilon _{q - r}} = 0\) đẳng
thức trở thành: \({x_1}{\delta _1} +
{x_2}{\delta _2} + ... + {x_{p - r}}{\delta _{p - r}} + {y_1}{\zeta _1} +
{y_2}{\zeta _2} + ... + {y_r}\zeta = 0\).
Nhưng vì B cũng là một hệ độc lập tuyến tính nên \({x_1} = {x_2} = ... = {x_{p - r}} = {y_1} = ... =
{y_r} = 0\)
Kết luận X là một một cơ sở của \(U + W\).
Inner product (tích trong, tích vô hướng)
Với \(x,y
\in {R^n}\) tích trong định nghĩa phép nhân (algebraic definition) hai vector (dot product hay scalar product).
\(\left(
{\vec x,\vec y} \right) = \vec x \cdot \vec y = \sum\limits_{i = 1}^n {{x_i}}
{y_i}\)
\(\left[
{1,3, - 5} \right] \cdot \left[ {4, - 2, - 1} \right] = 1\left( 4 \right) +
3\left( { - 2} \right) - 5\left( { - 1} \right) = 3\)
Theo định nghĩa hình học (Geometric definition) trong không
gian Euclidean (Euclidean space)
\(\left(
{\vec x,\vec y} \right) = \vec x \cdot \vec y = \vec x\vec y\cos \theta \)
với θ là góc hợp bởi hai
vector.
Euclidean space (Không gian Euclidean)
Cho V là một không gian vector trên trường R. Một tích vô hướng trên V của \(x,y \in V\) được định nghĩa là một ánh xạ \(\left\langle { \cdot , \cdot } \right\rangle :V \times V \to R\) xác định như sau:
§ Symmetry: \(\left\langle {x,y}
\right\rangle = \left\langle {y,x}
\right\rangle \)
§ Additivity: \(\left\langle {x + y,z} \right\rangle = \left\langle {x,z} \right\rangle + \left\langle {y,z} \right\rangle \)
§ Homogeneity: \(\left\langle {\alpha
x,y} \right\rangle = \alpha \left\langle
{x,y} \right\rangle \)với \(\forall
\alpha \in R\)
§ Positivity hay positive-definiteness: (xác định dương)
\(\left\langle {x,x}
\right\rangle \ge 0\)và \(\left\langle {x,x} \right\rangle = 0 \Leftrightarrow x = 0\)
Không gian
vector V trên trường số thực R có trang bị trên nó một tích vô hướng \(\left\langle {\; \cdot {\rm{,}} \cdot \;}
\right\rangle \) được gọi là không gian vector Euclid/Euclidean
(Euclidean space), còn ký hiệu là \(E =
(V,\left\langle {\; \cdot {\rm{,}} \cdot \;} \right\rangle )\).
Tích vô
hướng trên \({R^n}\) (còn gọi tích vô
hướng chính tắc/chuẩn – standard inner product trên \({R^n}\)),
ký hiệu \(\left\langle {\; \cdot {\rm{,}} \cdot
\;} \right\rangle :{R^n} \times {R^n} \to R\) định nghĩa như sau:
\(\left\langle
{x,y} \right\rangle = \sum\limits_{i =
1}^n {{x_i}} {y_i} = {x^T}y\)
Không gian vector \({R^n}\) với tích vô hướng trên \({R^n}\): \(\left( {{R^n},\left\langle {\;
\cdot {\rm{,}} \cdot \;} \right\rangle } \right)\)là một không
gian Euclidean
Complex vectors (Tích vô hướng trên trường số phức)
Complex conjugate (liên hợp phức)
Liên hợp phức của một số phức là một số có phần thực bằng số đó và phần ảo
(imaginary
part) bằng độ lớn như khác dấu (equal in magnitude but
opposite in sign).
Ví dụ liên hợp phức của \(z = x + yi\) là \(\overline
z = x - yi\)
Một số tính chất: cho 2 số phức z, w
\(\begin{array}{l}\overline
{z + w} = \overline z + \overline w \\\overline {z - w} = \overline z
- \overline w \\\overline {zw} =
\overline z \overline w \\\overline{\overline z} = z\end{array}\)
Unitary space (Không gian unita)
Tổng quát với V là không gian vector trên trường \(F = R;C\), tích vô
hướng của \(x,y \in V\)
định nghĩa là một ánh xạ \(\left\langle
{\; \cdot {\rm{,}} \cdot \;} \right\rangle :V \times V \to F\).
\(\left\langle
{x,y} \right\rangle = \sum\limits_{i =
1}^n {{x_i}} {\bar y_i}\)có các tính chất sau (dấu ngang hay phẩy
là liên hợp phức – complex conjugate):
§ Conjugate symmetry: \(\left\langle
{x,y} \right\rangle = \overline {\left\langle
{y,x} \right\rangle } = \left\langle
{y,x} \right\rangle \prime \)
§ Linearity in the first argument: (tuyến tính với tham số thứ 1)
\(\left\langle {\alpha x,y}
\right\rangle = \alpha \left\langle
{x,y} \right\rangle \) với \(\alpha \) là scalar
\(\left\langle {x + y,z}
\right\rangle = \left\langle {x,z}
\right\rangle + \left\langle {y,z}
\right\rangle \)
hay viết
chung (conjugate-linear với tham số thứ 2)
\(\left\langle {x,\alpha y + \beta
z} \right\rangle = \bar \alpha
\left\langle {x,y} \right\rangle + \bar
\beta \left\langle {x,z} \right\rangle \)
§ Positivity: \(\left\langle {x,x}
\right\rangle \ge 0\) và \(\left\langle {x,x} \right\rangle = 0 \Leftrightarrow x = 0\)
Không gian
vector V với tích vô hướng trên \({C^n}\):
\(U = \left( {{C^n},\left\langle {\; \cdot
{\rm{,}} \cdot \;} \right\rangle } \right)\) gọi là không gian Unita (Unitary
vector space).
Norm vector/Normalized vector (vector chuẩn, hay vector đơn vị)
Một vector chuẩn (còn gọi là vector đơn vị unit vector) là vector có độ dài bằng 1. Tất cả các vector có độ dài lớn hơn 0 đều có thể chuẩn hóa (normalize) bằng cách chia cho độ dài. Vector chuẩn của x là vector cùng hướng và có độ dài bằng 1.
$\hat{\vec{v}}=\vec{v}/\left| {\vec{v}} \right|$
$\hat{\vec{v}}=\vec{v}/\left| {\vec{v}} \right|$
Trong đó \(\left| {\vec v} \right|\) là chuẩn của \(\vec v\).
\(\left| {\vec v} \right| = \sqrt {{2^2} + {4^2} + {1^2} + {2^2}} = 5\)
Vector $\vec{u}=\hat{\vec{v}}=\left[ 2/5,\ 4/5,\ 1/5,2/5 \right]$ là một vector chuẩn.
Vector norm (chuẩn vector xem Wolfram)
Chuẩn của một đối tượng toán học (mathematical object) là một đại lượng, một giá trị (có thể trừu tượng) mô tả chiều dài, kích thước hay phạm vi của đối tượng (extent of the object).
Thông thường nếu không đề cập đến chuẩn cụ thể nào thì chuẩn vector được coi ngầm định là chuẩn \({L_2}\) (L2-norm).
Định nghĩa như sau:
Chuẩn của một vector x ký hiệu là \(\left\| x \right\|\) đôi khi ký hiệu là \(\left| x \right|\) (nhưng có thể nhầm là độ dài vector) được định nghĩa là một số không âm thỏa mãn các điều kiện:
1. Positivity:\(\left\| x \right\| > 0\) khi \(x \ne 0\) và \(\left\| x \right\| = 0\) khi \(x = 0\)
2. Homogeneity: \(\left\| {kx} \right\| = \left| k \right|\left\| x \right\|\) với mọi k vô hướng hay \(k \in R\) (tính thuần nhất)
3. Triangle inequality: \(\left\| {x + y} \right\| \le \left\| x \right\| + \left\| y \right\|\) (bất đẳng thức tam giác)
Ngoài \({L_2}\) có các chuẩn sau gọi chung là chuẩn p (p norm) ký hiệu \({\left\| x \right\|_p}\):
\({\left\| x \right\|_p} = {\left( {\sum\nolimits_{i = 1}^n {{{\left| {{x_i}} \right|}^p}} } \right)^{1/p}}\)
Với \(p = 1,2,\infty \) sẽ có các dạng chuẩn tương ứng Manhattan, Euclidean/Euclide vàc chuẩn cực đại.
Manhattan norm (chuẩn Manhattan)
\({\left\| x \right\|_1} = \sum\limits_{i = 1}^n {\left| {{x_i}} \right|} \)
Chuẩn Manhattan còn được gọi là chuẩn Taxicab (taxi chạy theo những con đường lưới chữ nhật) hay L1-norm hay \({L_1}\). Khoảng cách tương ứng thường được gọi là khoảng cách Manhattan, khoảng cách\({L_1}\) hay khoảng cách trong thành phố.
Với hay điểm trong không gian Euclid với hệ trục tọa độ Descartes, đại lượng khoảng cách \({L_1}\) này được tính bằng tổng chiều dài của hình chiếu của đường thẳng nối hai điểm này trong hệ trục tọa độ.
Các đường đỏ, xanh, vàng thể hiện khoảng cách Manhattan với cùng độ dài là 12. Đường xanh lục biểu diễn khoảng cách Euclid (Euclidean distance) chiều dài \(6\sqrt 2 \).
Euclidean norm (chuẩn Euclidean/Euclid)
\({\left\| x \right\|_2} = {\left( {\sum\nolimits_{i = 1}^n {{{\left| {{x_i}} \right|}^2}} } \right)^{1/2}} = \sqrt {\sum\nolimits_{i = 1}^n {{x_i}^2} } = \sqrt {({x_1}^2 + {x_2}^2 + ... + {x_n}^2} \)
Dạng chuẩn Euclid tương ứng còn gọi là chuẩn \({L_2}\) còn gọi là độ lớn hay chiều dài vector (the magnitude of a vector).
Infinity norm (chuẩn vô cực)
\({x_{max}} = \mathop {\max }\limits_i \left| {{x_i}} \right| = {\rm{max}}\left( {\left| {{x_1}} \right|,\left| {{x_2}} \right|, \ldots ,\left| {{x_n}} \right|} \right)\)
Ví dụ về vòng tròn đơn vị (unit circle) tương ứng với các chuẩn vô cực, Euclid và Manhattan trong không gian 2 chiều (vòng tròn đơn vị là tập hợp tất cả các điểm trong không gian có chuẩn bằng 1)
Hình: Illustrations of unit circles in different norms Wikipedia
Sum and direct sum (tổng và tổng trực tiếp)
Orthogonality (tính trực giao)
Orthonormal vectors (các vector chuẩn trực giao hay trực chuẩn)
Orthonormal basis (cơ sở trực chuẩn)
Gram-Schmidt orthogonalization/orthonormalization process (trực giao/chuẩn hóa Gram-Schmidt)
Sum and direct sum (tổng và tổng trực tiếp)
Cho \(V\)là không gian vector trên trường \(K\) và \(U,W\) là không gia con của \(V\). Định nghĩa tổng của \(U\) và \(W\) ký hiệu là \(U + W\) là một tập con của \(V\) chứa mọi phần tử \(u + w\) với \(u \in U\) và \(w \in W\). Tổng \(U + W\) cũng là một không gian vector.
Định nghĩa \(V\) là tổng trực tiếp của \(U\) và \(W\) ký hiệu là \(U \oplus W\) nếu mọi \(v \in V\) tồn tại duy nhất các phần tử \(u \in U\) và \(w \in W\) sao cho \(v = u + w\).
Định lý:
Cho \(V\)là không gian vector trên trường \(K\) và \(U,W\) là không gia con của \(V\). Nếu \(U + W = V\) và nếu \(U \cap W = \{ 0\} \) thì \(V\) là tổng trực tiếp của \(U\) và \(W\).
Nếu \(V\) là tổng trực tiếp của \(U\) và \(W\) thì \(dimV = dimU + dimW\).
Orthogonality (tính trực giao)
Hai vector gọi là trực giao nên tích vô hướng bằng zero. Trong không gian hai chiều có thể nói góc giữa hai vector là 90 độ ký hiệu \(\left\langle {u,v} \right\rangle = 0\) hay \(u \bot v\).
\(\left[ {2,1, - 2,4} \right] \cdot \left[ {3, - 6,4,2} \right] = 0\)
Vector \(x \in E\) gọi là trực giao với tập \(A \subset E\) nếu \(x\) trực giao với mọi vector của \(A\). Ký hiệu là \(x \bot A.\)
Định lý:
Một hệ trực giao không chứa vector 0 là hệ độc lập tuyến tính.
Orthonormal vectors (các vector chuẩn trực giao hay trực chuẩn)
Hệ các vector chuẩn hay vector đơn vị trực giao với nhau được gọi là hệ trực chuẩn.
Orthonormal basis (cơ sở trực chuẩn)
Một cơ sở mà là hệ trực chuẩn được gọi là cơ sở trực chuẩn.
Gram-Schmidt orthogonalization/orthonormalization process (trực giao/chuẩn hóa Gram-Schmidt)
Định lý:
Cho hệ vector độc lập tuyến tính \({a_1},{a_2},...,{a_n}(n \ge 2)\) trong không gian vector Euclidean. Khi đó trong E tồn tại họ vector độc lập tuyến tính \({b_1},{b_2},...,{b_n}\) thỏa mãn:
§ Hệ \({a_1},{a_2},...,{a_n}\) có thể biểu thị tuyến tính qua \({b_1},{b_2},...,{b_n}\).
§ Hệ \({b_1},{b_2},...,{b_n}\) có thể biểu thị tuyến tính qua \({a_1},{a_2},...,{a_n}\).
§ Hệ \({b_1},{b_2},...,{b_n}\)là hệ trực giao.
Trực chuẩn hóa Gram-Schmidt là một phương pháp biết đổi một tập hợp các vector thành một tập các vector trực chuẩn (orthonormal vectors). Phương pháp này thực hiện chuẩn hóa một vector đầu tiên và tìm cách viết (lặp đi lặp lại) các vector còn lại bằng các trừ chính nó với tích của các vector đã chuẩn hóa.
Giả sử hệ S gồm n vector \(S = \left\{ {{u_1},{u_2}, \ldots ,{u_n}} \right\}\)
§ Đặt \({v_1} = \frac{{{u_1}}}{{\left\| {{u_1}} \right\|}}\)
§ Tính \(\overline {{v_k}} \) bằng công thức \(\overline {{v_k}} = {u_k} - \sum\limits_{i = 1}^{k - 1} {\left\langle {{u_k},{v_i}} \right\rangle } .{v_i}\) với \(k = 2, \ldots ,n\)
§ Tính \({v_k} = \frac{{\overline {{v_k}} }}{{\left\| {\overline {{v_k}} } \right\|}}\)
Theo đó
\(\overline {{v_2}} = {u_2} - \left\langle {{u_2},{v_1}} \right\rangle .{v_1}\)
\(\overline {{v_3}} = {u_3} - \left\langle {{u_3},{v_1}} \right\rangle .{v_1} - \left\langle {{u_3},{v_2}} \right\rangle .{v_2}\)
\(\overline {{v_4}} = {u_4} - \left\langle {{u_4},{v_1}} \right\rangle .{v_1} - \left\langle {{u_4},{v_2}} \right\rangle .{v_2} - \left\langle {{u_4},{v_3}} \right\rangle .{v_3}\)
Ví dụ: (dùng WolframAlpha với input “Gram-Schmidt {{1,1,1},{-1,1,1},{1,2,1}}” hay “orthogonalize {{1,1,1},{-1,1,1},{1,2,1}}”)
Xét hệ 3 vector độc lập trong \({R^3}\): \({u_1} = \left[ {1,1,1} \right],{u_2} = \left[ { - 1,1,1} \right],{u_3} = \left[ {1,2,1} \right]\). Trực chuẩn hóa Gram-Schmidt \(S = \left\{ {{u_1},{u_2},{u_3}} \right\}\)
\({v_1} = \frac{{{u_1}}}{{\left\| {{u_1}} \right\|}} = \left[ {1/\sqrt 3 ,1/\sqrt 3 ,1/\sqrt 3 } \right]\)
\(\overline {{v_2}} = {u_2} - \left\langle {{u_2},{v_1}} \right\rangle .{v_1} = \left[ { - 1,1,1} \right] - \left( {1/\sqrt 3 } \right)\left[ {1/\sqrt 3 ,1/\sqrt 3 ,1/\sqrt 3 } \right] = \left[ { - 4/3,2/3,2/3} \right]\)
\({v_2} = \frac{{\overline {{v_2}} }}{{\left\| {\overline {{v_2}} } \right\|}} = \left[ { - 2/\sqrt 6 ,1/\sqrt 6 ,1/\sqrt 6 } \right]\)
\(\overline {{v_3}} = {u_3} - \left\langle {{u_3},{v_1}} \right\rangle .{v_1} - \left\langle {{u_3},{v_2}} \right\rangle .{v_2} = \left[ {0,1/2, - 1/2} \right]\)
\({v_3} = \frac{{\overline {{v_3}} }}{{\left\| {\overline {{v_3}} } \right\|}} = \left( {0,1/\sqrt 2 , - 1/\sqrt 2 } \right)\)
Hệ \(\left\{ {{v_1},{v_2},{v_3}} \right\}\) là hệ trực chuẩn hóa của \(S = \left\{ {{u_1},{u_2},{u_3}} \right\}\)
Orthogonal complement (phần bù trực giao)/Orthogonal projection (phép chiếu trực giao)
Projection onto a subspace (chiếu lên không gian con)
Ví dụ:
Ví dụ:
Mở rộng hệ trực giao gồm hai vector \({u_1} = (1,1,1,2),{u_2} = (1,2,3, - 3)\) thành một cơ sở trực chuẩn của \({R^4}\).
Bước 1: bổ sung thêm hai vector \({u_3},{u_4}\) để hệ \({u_1},{u_2},{u_3},{u_4}\) là hệ độc lập tuyến tính, đơn giản có thể chọn có thể chọn \({u_3} = {e_3} = (0,0,1,0)\) và \({u_4} = {e_4} = (0,0,0,1)\).
Bước 2: Áp dụng phương pháp trực chuẩn hóa Gram-Schmidt như trên để tìm ra cơ sở trực chuẩn của \({R^4}\).
Orthogonal complement (phần bù trực giao)/Orthogonal projection (phép chiếu trực giao)
Cho \(V\) là không gian con (subspace) của \({R^n}\), phần bù trực giao (orthogonal complement) của \(V\)ký hiệu là \({V^ \bot }\)là tập hợp chứa tất cả các vector trực giao (hay vuông góc perpendicular) với mọi vector của \(V\): \({V^ \bot } = \{ x \in {R^n}|x \bot V\} \). \({V^ \bot }\) cũng là một không giao con của \({R^n}\), còn gọi là không gian con bù trực giao của \(V\).
\(V\)và \({V^ \bot }\) hợp thành \({R^n}\), \(x \in {R^n}\) đều có thể biểu diễn duy nhất dưới dạng \(x = {x_1} + {x_2}\)với \({x_1} \in V\) và \({x_2} \in {V^ \bot }\). Dạng biểu diễn này gọi là phân tích trực giao (orthogonal decomposition) của \(x\). Khi đó, \({x_1}\) và \({x_2}\) là kết quả của các phép chiếu trực giao/trực phương (orthogonal projection) của \(x\) lên các không gian con \(V\)và \({V^ \bot }\). \({R^n}\) được gọi là tổng trực tiếp (direct sum) của \(V\)và \({V^ \bot }\), ký hiệu là \({R^n} = V \oplus {V^ \bot }\).
Định lý:
Giả sử \(U,W\)là các không gian con của \({R^n}\). Khi đó:
\({({U^ \bot })^ \bot } = U\)
\({(U + W)^ \bot } = {U^ \bot } \cap {W^ \bot }\)
\({(U \cap W)^ \bot } = {U^ \bot } + {W^ \bot }\)
\({R^n} = U \oplus {U^ \bot }\)
Một phép biến đổi tuyến tính \(P\) gọi là orthogonal projector lên \(V\) (orthogonal projector onto \(V\)) nếu \(\forall x \in {R^n}\) thỏa mãn \(Px \in V\) và \(x - Px \in {V^ \bot }\).
Projection onto a subspace (chiếu lên không gian con)
Cho \(V\) là không gian con của \({R^n}\) và \(x \in {R^n}\). Vector chiếu/hình chiếu (vector projection) của \(x\) lên \(V\) là vector \(v \in V\) sao cho \(x - v\) trực giao với \(V\). Khi đó, ta gọi vector \(x - v\) là vector độ cao từ \(x\) đến \(V\).
Nhận xét:
§ Nếu \(S = \{ {e_1},{e_2},...,{e_m}\} \)là một cơ sở trực chuẩn (orthonormal basis) trong \(V\) thì vector chiếu \(v\) của \(x\) được xác định như sau: \(v = pro{j_V}(x) = \left\langle {x,{e_1}} \right\rangle {e_1} + ... + \left\langle {x,{e_m}} \right\rangle {e_m}\)
§ Vector độ cao có độ dài ngắn nhất trong tất cả các vector nối \(x\) tới \(V\).
Ví dụ:
Hình chiếu trực giao/phương của \(v = ( - 1,4,3)\) lên không gian con W của \({R^3}\) tạo bởi các vector trực giao \({w_1} = (1,1,0)\) và \({w_2} = ( - 1,1,0)\).
Xét \(pro{j_W}v = \tilde w = \frac{{\left\langle {v,{w_1}} \right\rangle }}{{\left\langle {{w_1},{w_1}} \right\rangle }}{w_1} + \frac{{\left\langle {v,{w_2}} \right\rangle }}{{\left\langle {{w_2},{w_2}} \right\rangle }}{w_2} = \frac{3}{2}\left[ {\begin{array}{*{20}{c}}1\\1\\0\end{array}} \right] + \frac{5}{2}\left[ {\begin{array}{*{20}{c}}{ - 1}\\1\\0\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}{ - 1}\\4\\0\end{array}} \right]\).
Vector \(\tilde w\) là projection vector thuộc không gian con W.
Vector \(v - \tilde w = \left[ {\begin{array}{*{20}{c}}{ - 1}\\4\\3\end{array}} \right] - \left[ {\begin{array}{*{20}{c}}{ - 1}\\4\\0\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}0\\0\\3\end{array}} \right]\) trực giao với W vì trực giao với \({w_1}\) và \({w_2}\).
Orthogonal decomposition của v theo \(W\) và \({W^ \bot }\) là:
\(\left[ {\begin{array}{*{20}{c}}{ - 1}\\4\\3\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}{ - 1}\\4\\0\end{array}} \right] + \left[ {\begin{array}{*{20}{c}}0\\0\\3\end{array}} \right]\)
