第三章线性最小二乘问题解法

3。1 正交化方法的思想及步骤

3。1。1 算法思想

    记矛盾方程  (3-1)其中为m×n(m>n)矩阵,,。矛盾方程组(3-1)一般不存在通常意义下的解，即任何n维向量b, 一般 Y Ab≠ 0。现在应用加权最小二乘法估计参数向量b，即矩阵为:

                                                  (3-2)其中W = diag, (i= 1, 2,… , m ),若矩阵是列满秩矩阵，即rank(A) = n，得出(2)的系数矩阵是非奇异的，则可以用古典最小二乘求解得但要考虑计算机的精度，有时并不一定非奇异。设矛盾方程组(3-1)中的系数矩阵,于是法方程组(3-2)中的系数矩阵:假定且计算是在字长为6的10进制浮点数的计算机上进行的，则被舍入为，这意味着A的最后四行的信息全部丧失,则的浮点表示贮存在计算机内为:这是一个奇异矩阵,即(3-2)是病态的，也就是说最小二乘估计要求系数矩阵必须是非奇异的,而当系数矩阵出现奇异时,无法用古老的最小二乘估计,为此我们将系数矩阵进行变换,将系数矩阵正交三角化。

3。1。2 算法的步骤

    解线性最小二乘问题的新算法,主要是为了避免构造法方程组,而直接从矛盾方程组 Ab= Y本身入手。常应用Householder变换把系数矩阵A正交三角化，使得,其中R为n阶上三角阵,0为(m-n )×n的零矩阵,Q是由（其中是一系列矩阵）得到的一个m阶正交矩阵。并把 m维向量 QY相应地分块成 n维向量c与(m-n )维向量d，也就是+。于是  (3-3)因 Q是正交矩阵,所以,若选择 b,使得 

   c- Rb= 0                                 (3-4)那么将达到极小值,此时由(3-3)，得,且从(3-3)，有,故。由(3-4)可知,n 阶上三角形方程组的解 b就是最小二乘解,它