下面这个ｙ等于欧米伽转置乘以ｘ，这个ｙ不是上面的标签ｙ，这个是计算投影，也是标量。后面就直接用欧米伽转置乘以ｘ表示。左边的这三个分别表第ｉ类示例的集合、均值向量、协方差矩阵.
最后这个欧米噶向量，就是我们需要的判别直线的方向向量。我们给它一个约束，设欧米噶为单位向量，有欧米伽的转置乘它本身等于１.
【LDA推导-3，举个例子】
我举个简单的例子来理解一下这些量，假设我们已经求得了判别直线的单位方向向量，那么两类的中心的投影也知道，算出ｘｋ的投影约等于２.６８更靠近第０类，所以判别它属于０类。
【LDA推导-４】
（念PPT）
范数其实就是具有“长度”概念的函数。比如这里μ０和μ１是给出的可以求出的，欧米噶是变量。
这里就有同学要问了，我高数线代概率论好像没怎么用过范数这个东西啊？那我该怎么推导呢？那我悄悄告诉你个简单的东西，在这里我也没用范数，也推导了这一段。
【LDA推导-5】
从这一步到这一步，不明白的不就是范数这一坨吗？它本质还是要一个类之间的非负数值来表示类之间的散度，我们这里直接用投影减投影的平方就行了，当然如果你用范数那一套其实也是这个结果，不过范数在此是用于泛化。我们就单纯的这个二分类问题我这样推是没问题的。我来写一下，很快。
（白板写推导）
【LDA推导-６】
我们现在得到了这么一个商式，然后我们希望这个商式越大越好，这样我们找出的欧米噶对应的判别直线就越精确，我们的线性判别功能就越强。不过在此之前，我们还是觉得这个式子很不好看，我们决定把他整漂亮整简单一点，于是我们定义了这两个矩阵。
（念ｐｐｔ）
ｗ和ｂ分别是ｗｉｔｈｉｎ和ｂｅｔｗｅｅｎ的首字母。也很好理解，类的内部就用协方差来衡量，越小越好，类之间就是中心之间距离的某种度量了，用这个部分来代表，所以这个式子就简化为：
【LDA推导-７】
（念ｐｐｔ）
这一步推导还是有难度的，我不是这样推的，我就用我们学过的数学知识做也能做。
【LDA推导-８】
好了，一看到这种昏暗的照片就是轮到我推导的时间了。
（白板写推导）
到这里我说有另一种解法，其实数学里面这里可以讲很多，不过这里不是数学课，我们来简单看一下另一种我觉得还蛮正统的解法：
【LDA推导-９】
（念ｐｐｔ）
【LDA推导-１０】
二分类已经讲的很清楚了推广至多分类我们就简单点讲，一会儿主要讲MMC。
（念PPT）
其中ST扫一眼，我们后面MMC还会有
【LDA推导-１1】
（念PPT＋解释，结合前面的二分类）
【12】
【13】
【LDA小结－１】
在过去的几十年中，已经提出了多种降维算法，其中最著名的两种算法是主成分分析PCA和线性鉴别分析LDA
PCA是一种无监督算法，也就是说，ＰＣＡ并没有利用样本的类别信息，因此，并不适用于以分类为目的的识别问题．与ＰＣＡ不同，ＬＤＡ是一种有监督算法，在构建ＬＤＡ的目标函数时，考虑了样本的类别信息，因此，ＬＤＡ更适合于分类问题．
ＬＤＡ期望找到一个最优的投影矩阵，使得训练样本经过此投影矩阵投影后，不同类训练样本之间的距离尽可能的大，而同类训练样本之间的距离尽可能的小．
近年来，ＬＤＡ算法由于其简单性和有效性，已在人脸识别、文本分类等问题中得到了广泛应用
ＬＤＡ的一个主要缺陷是在求解最优投影矩阵的过程中需要保证类内散布矩阵是非奇异的．而对于模式识别中经常遇到的高维数据，其训练样本的数量相对较少，因此也就没法保证类内散布矩阵是非奇异的，这也就是所谓的小样本问题
说到这里不知道同学们还有没有印象我最开始就给大家放了一张课程资料里的PPT，讲的是什么？就是MMC是解决小样本问题的常用方法之一
【LDA小结－２】
为了克服LDA面临的小样本问题，研究人员已经提出了多种解决方法，如ＰＣＡ＋
ＬＤＡ算法、零空间ＬＤＡ算法（ＮＬＤＡ）、正交ＬＤＡ、完备的ＬＤＡ（ＣＬＤＡ）及最大间距准则ＭＭＣ等．在这些算法中，ＭＭＣ是其中最著名的一种．
ＭＭＣ的核心就是以类间散布矩阵的迹与类内散布矩阵的迹之差作为鉴别准则，因此，ＭＭC就不需要求解类内散布矩阵的逆矩阵，这样，ＭＭＣ就从理论上避免了ＬＤＡ中存在的因类内散布矩阵奇异而无法求解的问题。
【MMC优越性】
这是MMC提出者李海峰的论文里面的一部分，他在２００３年的论文里提出MMC，然后这篇２００６年的又是主要写MMC的发表在IEEE上面。MMC资料不像那面讲的同学们那么多，所以我们组只能翻论文了。这里就不找同学们翻译了，我简单说一说。
第一句就是MMC更厉害可以避免小样本问题。从几何学上说，MMC 最大限度地提高了类之间的(平均)间距。可以证明，MMC 比 PCA 更能代表类划分分离，就是判别。它又说加入约束条件可以从 MMC 中推出LDA，跟线性判别扯关系。然后通过使用其他一些约束条件，我们建立了新的线性和非线性特征提取器，这些特征提取器不会受到小样本量问题的影响，而小样本问题对 LDA 来说是严重影响稳定性的。与 LDA+PCA 不同的是，基于 MMC 的新特
征提取器在输入空间中最大化了类间散度，而不是SW的无效空间，最后就是实验证实它比LDA+PCA厉害。
【MMC概念－１到7】
（自由发挥）
【MMC概念-8，小结】
由于tr(Sb)衡量的是类均值向量的总体方差，大的tr(Sb)意味着类均值向量在
一个大的空间内散布。另一方面，小的tr(Sw)意味着每个类都有一个小的散布。
因此，大的J 表明，如果模式来自同一类别，则彼此接近，但如果来自不同类
别，则彼此相距甚远。因此，这个标准可能比 PCA 更能代表类的可分离性。回顾
一下，PCA 试图在线性变换后使总散点tr(St)最大化。但是，具有大的类内散射
的数据集也可能具有大的总散射，即使它具有小的类间散射，因为St=Sb+Sw
很明显，这样的数据是不容易分类的。对于 LDA 和 MMC 来说，很明显，两者的目
标非常相似。
【】自由发挥
喜欢肥仔马飞传请大家收藏：(www.fuziwuexue.com)肥仔马飞传夫子文学更新速度全网最快。