一般逆行列(その 4)

数学・代数

ようやく一般逆行列の話に戻ります。

最小ノルム形一般逆行列

線型写像 A:\mathbb{C}^n\to\mathbb{C}^m において \mathbb{C}^n には (\mathbf{x},\mathbf{y})=\mathbf{x}^*\mathbf{y} で計量を与えて計量空間とする。{\rm rank}A=r のとき、\mathbf{w}\in{\rm Im}A に対して A\mathbf{v}=\mathbf{w} を満たすもののうち ||\mathbf{v}||=\sqrt{\mathbf{v}^*\mathbf{v}} が最小なものを考える。
m\times n 行列 A^* の QR 分解 A^*P = QR (P は置換行列)を作れば
{}^tPAQ=R^*=\left(\begin{array}B&O\\*&O\end{array}\right)
と表せる。ただし B=(b_{ij}) (1\leq i , j\leq r) は下三角行列で b_{ii}\neq 0 (i = 1 , … r) を満たす。
これに行基本変形を施すことで、結局
SAQ=\left(\begin{array}E_r&O\\O&O\end{array}\right)
と出来る。そこで方程式系 A\mathbf{v}=\mathbf{w} を
SAQ\tilde{\mathbf{v}}=\tilde{\mathbf{w}} … (*)
と書きかえる。ただし \tilde{\mathbf{v}}=Q^* \mathbf{v},\tilde{\mathbf{w}}=S\mathbf{w} 。
\tilde{\mathbf{w}}\in{\rm Im}(SA) だから
\tilde{\mathbf{w}}={}^t\left(\tilde{w}_1,\dots,\tilde{w}_m\right)
において
\tilde{w}_{r+1}=\dots=\tilde{w}_m=0
である。したがって、
\tilde{\mathbf{v}}={}^t\left(\tilde{w}_1,\dots,\tilde{w}_r,\tilde{v}_{r+1},\dots,\tilde{v}_n\right)
は (*) を満たし、この中で特に
\tilde{v}_{r+1}=\dots=\tilde{v}_n=0
なるものが最小ノルムの解を与える。そこで
A^\vee=Q\left(\begin{array}E_r&D_2\\O&D_4\end{array}\right)S
(ただし D_2 は r\times(m-r) 型、D_4 は (n-r)\times(m-r) 型で任意)
とおけば \mathbf{v}=A^{\vee}\mathbf{w} である。この A^\vee を最小ノルム形一般逆行列という。
さて、V^1={\rm Ker}A の補空間 V^0={\rm Im}A^\vee A について以下のことがわかる。
簡単な計算で
A^{\vee}A=Q\left(\begin{array}E_r&O\\O&O\end{array}\right)Q^*
がわかるから (A^\vee A)^*=A^\vee A である。このことから V^0=(V^1)^\perp が成り立つ。すなわち、一般逆行列に関する {\rm Ker}A の補空間の取り方として、最小ノルム形の場合は {\rm Ker}A の直交補空間を取らなければならないことになる。一方で {\rm Im}A の補空間の取り方には自由度が残るので、S を適当に取り換えることで
A^\vee=Q\left(\begin{array}E_r&O\\O&D_4\end{array}\right)S
(ただし D_4 は (n-r)\times(m-r) 型で任意)
と書きなおせる。

一般逆行列(その 5)

数学・代数

最小誤差形一般逆行列

線型写像 A:\mathbb{C}^n\to\mathbb{C}^m において、今度は \mathbb{C}^m に (\mathbf{x},\mathbf{y})=\mathbf{x}^*\mathbf{y} で計量を与えて計量空間とする。{\rm rank}A=r のとき、\mathbf{w}\in\mathbb{C}^m に対して(\mathbf{w}\not\in{\rm Im}A でも良い !)、||A\mathbf{v}-\mathbf{w}|| が最小なものを考える。
前回同様、n\times m 行列 A の QR 分解 AP = Q^* R (P は置換行列)を作る。ただし
R=\left(\begin{array}B&*\\O&O\end{array}\right)
で、B=(b_{ij}) (i = 1 , … , r , j = 1 , … r) は上三角行列かつ b_{ii}\neq 0 (i = 1 , … r) を満たす。
これに列基本変形を施すことで、結局
QAT=\left(\begin{array}E_r&O\\O&O\end{array}\right)
と出来る。そこで最小化する目的関数 ||A\mathbf{v}-\mathbf{w}|| を
||QAT\tilde{\mathbf{v}}-\tilde{\mathbf{w}}|| … (**)
と書きかえる。ただし \tilde{\mathbf{v}}=T^{-1}\mathbf{v},\tilde{\mathbf{w}}=Q\mathbf{w}。すると
\tilde{\mathbf{w}}={}^t\left(\tilde{w}_1,\dots,\tilde{w}_m\right)
に対して
\tilde{\mathbf{v}}={}^t\left(\tilde{w}_1,\dots,\tilde{w}_r,\tilde{v}_{r+1},\dots,\tilde{v}_n\right)
(\tilde{v}_{r+1},\dots,\tilde{v}_n は任意)
なるものが目的関数 (**) を最小にする。
A^\wedge=T\left(\begin{array}E_r&O\\D_3&D_4\end{array}\right)Q
(ただし D_3 は (n-r)\times r 型、D_4 は (n-r)\times(m-r) 型で任意)
とおけば \mathbf{v}=A^\wedge\mathbf{w} が求めるものである。この A^\wedge を最小誤差形一般逆行列という。
前回と全く同じ要領で、W^0={\rm Im}A の補空間 W^1={\rm Ker}AA^\wedge について (AA^\wedge)^*=AA^\wedge である。このことから W^1=(W^0)^\perp が成り立つ。したがって、一般逆行列に関する {\rm Im}A の補空間の取り方としては、最小誤差形の場合は {\rm Im}A の直交補空間を取らなければならないことになる。一方で {\rm Ker}A の補空間の取り方には自由度が残るので、T を適当に取り換えることで
A^\wedge=T\left(\begin{array}E_r&O\\O&D_4\end{array}\right)Q
(ただし D_4 は (n-r)\times(m-r) 型で任意)
と書きなおせる。

反射形一般逆行列

通常、A の一般逆行列 A^- について、A が A^- の一般逆行列になるとは限らないが、それが成り立つようなもの、すなわち
AA^\times A=A,A^\times AA^\times=A^\times
が成り立つような A^\times:\mathbb{C}^m\to\mathbb{C}^n のことを反射形一般逆行列という。今までの表現に倣えば
A^\times=T\left(\begin{array}E_r&D_2\\D_3&D_3 D_2\end{array}\right)S
がこれを満たす。したがって、{\rm Ker}A と {\rm Im}A の補空間を適当に選べば
A^\times=T\left(\begin{array}E_r&O\\O&O\end{array}\right)S
と出来ることになる。
この形からすぐにわかることは
{\rm rank}A={\rm rank}A^\times
であり、逆にこの関係を満たすような一般逆行列は反射形である。また一般には
{\rm Im}A^- A\subset{\rm Im}A^-,{\rm Ker}A^-\subset{\rm Ker}AA^-
であるが、A^- が反射形 A^\times の場合には A^\times AA^\times=A^\times だから等号が成り立つ。すなわち
{\rm Im}A^\times A={\rm Im}A^\times,{\rm Ker}A^\times={\rm Ker}AA^\times
である。逆に一般逆行列 A^- が
{\rm Im}A^- A={\rm Im}A^-,{\rm Ker}A^-={\rm Ker}AA^-
のいずれか一方を満たすとする。
{\rm Im}A^- A={\rm Im}A^- … (i)
ならば、\mathbf{w}\in{\rm Ker}AA^- のとき (i) により A^-\mathbf{w}=A^- A\mathbf{v} となる \mathbf{v} が存在するので
\begin{align}0&=AA^-\mathbf{w}\\&=AA^- A\mathbf{v}=A\mathbf{v}\end{align}
となり A^-\mathbf{w}=0、すなわち \mathbf{w}\in{\rm Ker}A^- が成り立つ。
{\rm Ker}A^-={\rm Ker}AA^- … (ii)
ならば \mathbb{C}^m={\rm Ker}A^-\oplus{\rm Im}A
であり任意の \mathbf{w}\in\mathbb{C}^m は
\mathbf{w}=\mathbf{w}_0+A\mathbf{v} (ただし A^-\mathbf{w}_0=0,\mathbf{v}\in\mathbb{C}^n)
と書けるので A^-\mathbf{w}=A^- A\mathbf{v}\in{\rm Im}A^- A である。
すなわち (i) , (ii) は一方が成り立てば両方が成り立つ。このことから
\mathbb{C}^n={\rm Im}A^-\oplus{\rm Ker}A,\mathbb{C}^m={\rm Im}A\oplus{\rm Ker}A^-
が成り立つので、以下、簡単な計算で A^- AA^-=A^- が成り立つから、A^- はやはり反射形である。

Moore-Penrose 形一般逆行列

線型写像 A:\mathbb{C}^n\to\mathbb{C}^m において \mathbb{C}^n,\mathbb{C}^m ともに計量が与えられているとする。このとき、最小ノルム形、最小誤差形、かつ反射形である一般逆行列 A^+ を Moore-Penrose 形一般逆行列という。その構成法については
\mathbb{C}^n=({\rm Ker}A)^\perp\oplus{\rm Ker}A,\mathbb{C}^m={\rm Im}A\oplus({\rm Im}A)^\perp としてその正規直交基底を取れば
Q_2^*AQ_1=\left(\begin{array}A_{11}&O\\O&O\end{array}\right),\det A_{11}\neq 0
と出来るから
A^+=Q_1\left(\begin{array}A_{11}^{-1}&O\\O&O\end{array}\right)Q_2^*
に取れば良い。行列の特異値分解を使うと、A^+ が「ほとんど一意」に定まることが示せるが、それは後述する。

一般逆行列(その 6)

数学・代数

特異値分解(特異値標準形)

結論から言うと、m\times n 行列 A に対して n 次の unitary 行列 Q_1 と m 次の unitary 行列 Q_2 があって

\Sigma=Q_2^*AQ_1=\left(\begin{array}\Sigma_1&O\\O&O\end{array}\right) ,
ただし \Sigma_1={\rm diag}(\sigma_1,\dots,\sigma_r) (r = rank A) で
\sigma_1\geq\sigma_2\geq\dots\geq\sigma_r>0

と書ける、という主張で、このときの A=Q_2\Sigma Q_1^* を A の特異値分解という。
今、A^*A は n 次の Hermite 行列であるが、A^*A が定める Hermite 形式
F(\mathbf{x})=\mathbf{x}^*A^*A\mathbf{x}=||A\mathbf{x}||^2\geq 0
であるから、A^*A は半正値である。したがって、ある unitary 行列 Q_1 によって
Q_1^*A^*AQ_1={\rm diag}(\lambda_1,\dots,\lambda_r,0,\dots,0)
と出来る。ただし r = rank A であり、
\lambda_1\geq\lambda_2\geq\dots\geq\lambda_r>0
として一般性を失わない。
(A\mathbf{q}_i^{(1)})^*(A\mathbf{q}_j^{(1)})={\mathbf{q}_i^{(1)}}^*A^*A\mathbf{q}_j^{(1)}=\left\{\begin{array}0&(i\neq j)\\\lambda_i&(1\leq i=j\leq r)\\0&(i=j>r)\end{array}\right.
である。そこで \sigma_i=\sqrt{\lambda_i} とおいて
Q_1=(\mathbf{q}_1^{(1)},\dots,\mathbf{q}_n^{(1)})
に対して
\mathbf{q}_j^{(2)}=\frac{1}{\sigma_j}A\mathbf{q}_j^{(1)} (j = 1 , … , r)
とおくと 1\leq i,j\leq r に対しては
{\mathbf{q}_i^{(2)}}^*\mathbf{q}_j^{(2)}=\frac{1}{\sigma_i\sigma_j}{\mathbf{q}_i^{(1)}}^*A^*A\mathbf{q}_j^{(1)}=\left\{\begin{array}0&(i\neq j)\\1&(i=j)\end{array}\right.
であるから、\{\mathbf{q}_j^{(2)}|j=1,\dots,r\} は正規直交形をなす。後はこれを含むような \mathbb{C}^m の正規直交基底 \{\mathbf{q}_j^{(2)}|j=1,\dots,n\} を一つ選んでおいて
Q_2=(\mathbf{q}_2^{(1)},\dots,\mathbf{q}_m^{(2)})
とおけば
\mathbf{q}_i^{(2)}^*A\mathbf{q}_j^{(1)}=\left\{\begin{array}\mathbf{q}_i^{(2)}^*(\sigma_j\mathbf{q}_j^{(2)})=\sigma_j\delta_{ij}&(1\leq j\leq r)\\0&(j>r)\end{array}\right.
となって目的の分解を得る。