此节不作基本要求
从上面所讨论的方法看出,为了兼顾类内离散度与类间离散度,包含在类均值向量内的分类信息并没有全部利用。换句话说,类平均向量的判别信息在K-L坐标系的各个分量中都有反映,并没有得到最优压缩。就拿图4.3的例子来说,如仅从类均值向量所包含的分类判别信息全部被利用这一点出发,应选择包含这两均值向量连线方向在内的坐标系。但是简单地从类均值向量来确定特征子空间,虽然实现很容易,但一般不能满足各分量间互不相关的要求。
有一种特殊的例外情况,这种情况是,如果类内离散度矩阵 是一个单位矩阵,即它在特征空间中以超球体分布,就可做到既保持各分量的不相关性,同时又能充分利用包含在类均值向量内的差别信息。从这种特殊情况得到启发,一种充分利用类均值向量所包含的判别信息的方法因此而产生。具体说来这种方法分成两步。
|

图 4.4 |
第一步: 先用原坐标系中 作为产生矩阵,实行K-L变换,将原有数据的相关性消除掉。所得到的K-L坐标系中的新 ,是一个对角矩阵,其相应的K-L坐标系为U,由原 特征值对应的特征向量组成。然后进一步实行变换,使该 矩阵变为单位矩阵。从原 到单位矩阵I的变换为B,有
(4-74)
其中 (4-75)
U为 的特征向量矩阵,∧为特征值矩阵。
经过B变换后的类间离散矩阵 应有
(4-76)
第二步,以 作为产生矩阵,作第二次K-L变换,由于
的秩最多是c-1,所以 最多只有c-1个非零特征值。设共有d个非零特征值,d≤c-1,则该d个非零特征值就可表示类均值向量所包含的全部信息。设这d个特征向量系统用V'表示,即
(4-77)
从而整个变换W为

例 4.3 数据同上例,求保持类均值向量中全部分类信
息条件下压缩为一维特征空间的坐标轴。
今有 
的特征值矩阵是
与非零的特征值对应的特征向量是
所以
图4.4给出了两次变换步骤以及变换对数据产生的作用。由图中看出,样本原为椭圆形分布,经白化处理后转化为圆形分布,此时 为单位矩阵。均值向量也随之变化,最后得到的均值向量作为降维后的一维坐标。
这种方法主要用在类别数C比原D维特征向量的维数D小得多的情况,由于 的秩最多为C-1,因此可使特征维数降至C维以下。
|
|