多元变量典型相关分析的分类：最小二乘配方、扩展和分析._分类变量相关分析

多元变量典型相关分析的分类：最小二乘配方、扩展和分析.由刀豆文库小编整理，希望给你工作、学习、生活带来方便，猜你可能喜欢“分类变量相关分析”。

多元变量典型相关分析的分类：最小二乘配方、扩展和分析

摘要——典型相关分析（CCA）是一种寻找两个多维变量之间相关性的著名的技术。它是一项把两组变量化到一个低维空间中并且使他们之间的相关性最大的工作。CCA通常在两组变量分别的是来源于数据和类标签上申请监督降维。众所周知,CCA可以制定作为在二进制类案件中的一个最小二乘问题。然而,扩展到更一般的变量尚不清楚。在本文中,我们表明,在倾向于保持高维数据的温和条件,CCA在多元变量的情况下可以制定作为一个最小二乘问题。在此基础上等价关系,高效的算法求解最小二乘问题可以应用于非常大的数据集规模CCA问题。此外,我们提出几个CCA扩展,包括基于1规范正规化的稀疏CCA方程式。我们进一步扩展最小二乘方程式为偏最小二乘法。此外,我们表明,投影,让一群CCA变量是独立的，正则化在另组多维变量,提供新的见解的影响CCA的正规化。我们使用基准数据集进行了实验。实验数据集确认建立了等价关系。结果也证明了CCA扩展的有效性和效率的提议。

关键字——典型相关分析、最小二乘法、多元变量学习,偏最小二乘法、正规化。引言

典型相关分析(CCA)[1]是一个众所周知的寻找两套多维变量之间的相关性的技术。它使用两个视图相同的组对象和项目到一个与他们最相关的低维空间中去。CCA已经成功应用在各种应用中[2]、[3]。一个流行的使用CCA是监督式学习,它其中一个观点是来源于数据并且其他的观点来源于类标签。在这种背景，数据可以用标签信息定向的被投影到一个低维空间。这样的一个方程式在对多元变量进行降维的情况下是非常的吸引人的。

多元线性回归(多元)即最小平方和成本函数是一种专门研究回归问题的技术。它还可以被应用于通过定义一个合适的类指标矩阵的分类问题[5],[6]。多元的解决方案基于最小二乘法通过求解一个线性方程组来获得。一个数量的算法包括共轭梯度算法,可以应用到它有效地解决[7]。此外,最小二乘方程式可以很容易使用正则化技术进行扩展。例如,1规范可以被纳入正规化最小二乘方程式来控制模型复杂性和提高稀疏[8]。稀疏常常会导致容易解释和良好的泛化能力。它已经被成功地应用在几个算法中,包括主成分分析[9]和支持向量机[10]。

与最小二乘法相比，CCA涉及广义特征值问题,它解决时，计算更加费时[11]。此外,它是具有挑战性的,因为它获得稀疏CCA时涉及到一个困难稀疏的广义特征值问题。凸松弛的稀疏CCA的研究[12]放在,确切的稀疏的CCA配方一直放松在几个步骤上。另一方面,最小二乘法和CCA已经建立在文学上建立起一个有趣的联系。特别是,CCA被证明是相当于Fisher线性判别分析(LDA)的二进制类问题[13]。与此同时,众所周知,在这种情况下LDA相当于最小二乘法[5],[6]。因此,CCA可以作为一个对于二进制类问题制定最小二乘问题。在实践中,多元变量问题非常普遍。因此研究它们在更一般的变量中的关系更具诱惑。

在本文中,我们研究 CCA和最小二乘在多元变量问题之间的关系。我们表明,在倾向于保持高维数据的温和条件下,CCA可以作为一个通过制定构造一个特殊类指标矩阵的最小二乘问题。在此等价关系的基础上,我们提出几个CCA扩展,包括使用1规范正规化的稀疏CCA。我们表明,最小二乘方程式及其扩展的CCA可以有效地解决。例如,相当于2规范的最小二乘配方和正规化的扩展可以通过计算迭代共轭梯度算法LSQR进行处理[14],这种算法可以处理非常大规模的问题。我们通过建立OPLS 和 CCA之间的等价关系使最小二乘方程式扩展到正交最小二乘(OPLS)和偏最小二乘法(PLS)。此外,我们分析正则化在CCA上的效果。特别是,我们表明,CCA投影,让一群变量是独立的正规化另组多维变量,阐明正规化在CCA上的影响。此外,它能显示出我们的分析可以扩展到内核诱导功能空间。提供更多细节的补充文件,可以发现在计算机协会数字图书馆在http://doi。ieeecomputersociety.org/10.1109/TPAMI.2010.160。

注释：训练样本的数量,数据维数,数量的标签分别用n、d、k。xiR表

kdnyRXx,,xRii1n示第个观察。并且表示编码对应的标签信息。让是knYy,,yR1n数据矩阵，是类标签矩阵。我们假设所有的xii1和

ndyiin1是集中的，i1xi0n和i1nyi0。

AF弗罗贝尼乌斯的规范表示矩阵A。I是单位矩阵和e是一个单位向量。背景和相关工作

在本节中,我们回顾CCA,最小二乘法,和一些相关的工作。2.1 典型相关分析

在CCA,两种不同造型的同一组对象,给出了一个投影计算了每个表示这样

dwRx的,他们是最大的维度降低空间相关。正式,CCA计算两个投影向量和wyRk这样的相关系数

TwTxXYwyTTT(wTxXXwx)(wyYYwy)

（1）

是最大化

因为是

wx,wywx和wy不变的缩放，CCA可以相等的变换为

（2）

TmaxwTxXYwy 2

Ts.twTxXXwx1,TwTyYYwy1.以下，我 们假设YY是满秩的。这表明

wxTwx以下问题的最优解来获得：，TT1TmaxwTxXY(YY)YXwx,TTs.t wxXXwx1。

(3)两种方法在(2)和(3)中试图找到所对应的特征向量与特征值的顶部以下广义特征值问题:

XYT(YYT)1YXTwxXXTwx，（4）

特征值与特征向量wx是相对应的。它也表明,多个投影向量在某些正规化约束由顶部的特征向量的广义特征值问题(4)[2]。

在正规化CCA(rCCA),两个正则化条件xI和

TTyI，并且

x0,y0被添加在(2)来防止过度拟合,避免奇点XX和YY的[2], [15]。具体来说,解决了以下商资归农广义特征值问题: XXT(YYTyI)1YXTwx(XXTxI)wx

（5）

2.2 最小二乘法的回归和分类 在回归,我们就有了一种训练集xi,tini1dkxRtRii，其中是观察数据，是相应的目标。我们假设两把观察结果和目标集中。结果,拦截在回归可以被消除。在这种情况下, 最小二乘方法可以用于计算投影 矩阵W通过最小化以下平方和成本 功能：

nminf(W)WxitiTWi122WXTT2F

（6）

knTt,tR1n其中。众所周知,最优投影矩阵给出了[5],[6]

WLS(XXT)XTT

(7)T(XX)代表雅可比矩阵XXT的伪伪逆。其中最小二乘公式也可应用于分类问题。在一般的多级情况下,我们是给定一个

ndxi,yii11,2,,k表示第i类标号的样xRin样品组成的数据集，其中，yi 3 本，k>2。应用最小二乘的多类配方情况下,1 k的二进制编码方案通常是把向量值类代码应用于每个数据点[5]。解决方案取决于选择类指标矩阵。几类指标矩阵的提出在文献[6]。

2.3 相关工作

最小二乘法的内在关系和其他几个模型在过去已经建立。特别是,它是一个经典的效果，最小二乘问题是等价的LDA对二进制类问题[5]。最近,这种等价关系是延伸到通过定义一个特定的类指标矩阵的多类案件[16]。CCA已被证明是相当于LDA对多类问题[13]。因此,CCA相当于最小二乘法在多类案件。我们显示在接下来的部分,在温和条件下,可作为制定CCA最小二乘问题的更一般的设置,即，多元变量问题当一个用来源于标签的CCA的视图。CCA和最小二乘对于MULTILABEL之间的关系分类

在本节中,我们的相关关系和最小二乘法的CCA multilabel案例，由于空间限制,所有的证据是提供在补充文件,可以在计算机协会数字图书馆中找到http://doi.ieeecomputersociety.org/10.1109/TPAMI.2010.160。

首先为我们的推导定义四个矩阵:

HY(YY)TT12Rnk，（8）

CXXXXTRdd，（9）CHHXHHTXTRdd，（10）CDDCXXCHHRdd，（11）

注意，我们假设nk并且rank(Y)k为多元变量的问题。这样(YY)T12就很明确了。遵循上面的定义,解决CCA可以表达为特征值所对应的特征向量与矩阵CXXCHH的顶部。

3.1 基本矩阵属性

在本节中,我们研究的基本性质的矩阵参与下面的讨论。以下定义在(8)中的H,我们有：

引理 3.1 让H被定义为在(8)，并且让我们有：

（1）H已经正规化的列，T（2）He0。

yiin1集中的，i1yi0。这样，nHTHIK'。鉴于HR言之 nk与列正交，存在DRn(nk)nnH,DR使得是正交矩阵，简而

InH,DH,DHHTDDTT

TTCCCXDDXDDXXHH于是就出现了的结果，让奇异值分解计算X且

XUVTU1,U2diag(r,0)V1,V2U1rV1TT

其中rrank(X),U,V是正交矩阵，Rdn,U1Rdr,U2Rd(dr),V1Rnr,V1Rn(nr),rRrrT很明显U2位于零空间X中，简而言之

XTU20

（12）

3.2 通过特征分解计算CCA

C回想一下,解决CCA由矩阵XXCHH的顶部特征向量.我们下一个展示如何计算这些特征向量。定义了矩阵ARrk且

(13)

rk1TTArU1XHV1H让奇异值分解A，使对角线的。这样 APAQTrrkkRPR,QR，其中是正交的，A是

TAATPATAP

(14)C矩阵XXCHH的特征分解总结了下面的定理：

C定理3.1 矩阵XXCHH有k个非零特征值。具体来说,CCA的解决办法是由与矩阵CXXCHH最顶端的特征值(k)相对应的特征向量组成的，可以得到：

1WCCAU1rP

(15)其中Pl在包含第一列的P。

3.3 和最小二乘法等价的CCA 考虑类指标矩阵T定义如下：

~ 5

T(YY)YHT

(16)

~T12它遵循从(7),解决最小二乘问题给定T

1TWLS(XXT)XHU1rPAQ~

(17)

T从(15)和(17)中可以很明显的看出之间(CCA)和最小二乘法的区别在于A和Q 我们下一个显示所有的对角元素A的在温和的条件下,即rank(X)n1，rank(Y)k.注意,第一个条件是相当于要求原始数据点是线性独立前定心,倾向于保持高维数据。出示之前主要结果总结在定理3.2下面,我们有以下引理: 引理 3.2 我们假设

rank(CXX)srank(CHH)rank(CDD)，TrrAAAdiag(a1,a2,,ar)RS对于一些非负整数有。那么对于矩阵，^我们有

1afsafs1afaf10其中frank(A)。

定理 3.2 假设rank(X)n1,rank(Y)k为多元变量问题，这样我们有rank(CXX)n1,rank(CHH)k,rank(CDD)nk1，因此S在引理3.2中的定义相当于零，并且有

1a1akak1ar0。

这就意味着A的所有的对角元素是单位的。

既然rank(A)k，CXXCHH包含k个非零特征值。如果我们令k，则有

1WCCAU1rPk(18)

WLS和WCCA唯一的区别在于正交矩阵在QT和WLS。

在实践中,我们可以使用WCCA和WLS两个项目的原始数据到一个低维空间在分类之前。对于分类器基于欧几里得距离,正交变换QT不会影响分类性能，任何正交转换欧几里得距离是不变的。一些著名的算法满足这个属性包括k最近邻(k最近邻)算法[6]基于欧氏距离和线性支持向量机(SVM)[17]。在下面,相当于最小二乘CCA配方被称为“IS-CCA。”

4.扩展最小二乘的CCA 基于等价关系建立在上一节中,古典CCA配方可以扩展使用正则化技术,它 常用于控制的复杂性和提高模型的泛化性能。类似于岭回归[6],我们得到2规范正则化最小二乘CCA配方(称为“LS-CCA2”),从而减少以下目标函数通过使用目标矩阵T(16):

L2(W,)((xwjTij)2wj)Tij1i12kn~2~

其中W[w1,wk],0是正则化参数。

众所周知,稀疏通常可以通过惩罚1规范变量的[8]得到。它已经被引入最小二乘配方，由此产生的模型被称为套索[8]。基于等价关系的建立(CCA)和最小二乘法,我们推导出1规范正则化最小二乘CCA配方(称为“LS-CCA1”),从而减少以下目标函数: L1(W,)((xwjTij)2wj)。

Tij1i11kn~LS-CCA1使用最先进的算法[18]、[19]可以有效地解决。此外,整个解决方案的路径用最小角回归算法[20]计算所有值。

5.高效实现的CCA 回想一下,我们处理问题的广义特征值在(4)来解决CCA,虽然,在我们的理 推导,等价特征值问题是代替。大规模的广义特征值问题是已知的比常规的特征值问题[11]、[21]来的更难。有两个选项转换中的问题(4)成一个标准的特征值问题[21]:1)因素XXT和2)使用标准的兰索斯算法矩阵(XXT)1XHHTXT使用XXT内积。在对于高维问题与一个小正则化这种情况下，第二个选择都有它自己的奇异矩阵的问题。因此,在本文中,我们XXT因素和解决对称特征值问题使用兰索斯算法。

相当于导致一个有效的最小二乘制定实施。该算法的伪代码,给出了算法1。复杂的第一步是O(nk2)。在第二步中,我们解决最小二乘问题的k。在我们的实现中,我们使用LSQR算法在[14],这是一个实现了共轭梯度式法求解稀疏最小二乘问题。注意,原始矩阵XRdn很稀少在应用在程序中,如文本文档建模。然而, 7 在中心,X不再是稀疏的。为了保持X稀疏的,向量xi是由一个额外的组件作为增强x[1,x]。这个新组件充当对最小二乘法的拦截。扩展X来标示XRTiTminWXT~W~~~2~(d1)k~Ti~(d1)k,修订后的最小二乘问题表示为dWRF，其中

。对于一个新的数据点xR，它的投影给出了

WT[1;x]~

算法1。高效的实现通过LSQR CCA 输入：X，Y 计算矩阵诊HY(YY)断基于奇异值分解的Y。用LSQR在THT上回归X。

对于一个密集的数据矩阵,计算成本参与每个迭代的是O(3n5d2dn)[14]。因为最小二乘问题解决了k次,总体成本是O(NK(3n5d2dn)),其中N是迭代的总数。当矩阵X是稀疏的,成本明显降低。

~~TT12假设非零元素的数量在 X中是z。总成本减少到O(NK(3n5d2z))。总之,总时间复杂度为解决最小二乘配方通过LSQR是O(nkNK(3n5d2z))当是X稀疏的。

6.扩展最小二乘的配方

回想一下,CCA寻求一对线性变换,一个用于每一组变量,这样数据最相关 转换空间。相比之下,偏最小二乘法(PLS)发现方向最大协方差。协方差和相关性是两种不同的统计措施为如何共变的量化的变量。CCA和PLS已被证明是有密切联系[22]。在[23]和[24],一个统一的框架,请和CCA的开发,并正交(CCA)和偏最小二乘法(OPLS)[25]的一个变体,可视为特殊情况的统一框架,通过选择不同的正则化参数值。然而,OPLS 和CCA内在的等价关系尚未研究过。在本节中,我们证明了OPLS 和CCA等价关系,从而扩展最小二乘OPLS配方。以下优化问题被认为是在OPLS: maxtr(WTXYTYXTW)W~2~

（20）

stWTXXTW1

给出了最优W以下的特征向量的广义特征值问题: 8

TTXHplsHTplsXwXXw（21）

矩阵Hpls被定义为

HplsYTRnk（22）

回想一下,在CCA,矩阵AV1TH定义在(13)中和奇异值分解给出了APAQ。同样的，我们定义TAplsV1THplspls，允许细微的Apls奇异分解值为

V1THplsAplsPplsplsQTpls，其中

PplsRrk,kkRkk,QTplsR。在范围的空间我们有下面的结果：

引理 6.1 让AVH定义在(13)中，T1AplsV1THplsRrk。这样R(A)R(Apls)PplspkR，其中R(A)和

R(Apls)是A和

Apls的列空间。此外,存在一种像这样的正交矩阵R，pk由p的第k列组成。

本节的主要结果总结了以下定理： 定理 6.1 让(18)。然后,Wpls是最优解的优化问题(20)和让WCCA是最佳CCA变换定义在为正交矩阵R。WplsWCCAR它遵循从定理6.1,OPLS可以很容易为一个等价的最小二乘问题的新配方使用相同的类指标矩阵定义在(16)。

7.分析正则化在CCA 在本节中,我们调查在CCA正规化的影响。最小二乘CCA制定建立在本文假设没有正则化应用。然而,正则化通常用于控制复杂性的学习模式,它已应用于各种机器学习算法。使用正则化在CCA自然统计解释[15],[26]。在实践中,正则化通常在CCA中执行两种多维变量,因为它一般认为的解决方案是依赖于CCA正规化两变量。从前面部分后的推导,我们表明,投影,让一群CCA变量是独立的正规化另组多维变量,提供新的影响CCA正规化的见解。7.1 正规化在Y 在CCA中对Y使用正则化导致下列广义特征值问题: XYT(YYTyI)1YXTw(XXT)w

（23）

y0是正则化参数。广义特征值问题在(23)可以表示为: XHrHrTXTw(XXT)w

(24)nkHRr矩阵为正规化CCA的定义是: HrY(YYyI)TT12

(25)主要结果概括如下定理: 定理7.1 让WrCCA是矩阵组成的主要特征向量的广义特征值问题在(24)的非零特征值对应。然后,WrCCAWCCA为正交矩阵R。它很容易检查在在(8)中H的和在(25)中的Hr的范围的空间一致。证明遵循相同的参数在引理6.1和定理6.1。

定理7.1表明CCA配方被认为是可以制定作为一个最小二乘问题相当于当Y正则化。注意,Y可以是任意矩阵(不一定是类标签矩阵)。一个重要的结果从等价关系的投影为一个视图是独立的CCA的正规化的其他视图。一个类似的结果能够获取内核CCA。

7.2 正规化在X 对Y自正则化不影响投影的X,我们接下来考虑正则化在X分开。由此产生的广义特征值问题在CCA可以制定如下:(XHHTXT)w(XXTxI)w

（26）

T1TTx0是参数X正则化。(XXI)(XHHX),x同样,我们可以推导出正交矩阵结果总结了以下引理: 引理 7.1 定义矩阵BR21rk为

12B(xI)TBPBBQBVH11H，（27）

rkrRrRRPRQR为他的奇异分解，B,B是正交的，B是对角

T1TT(XXI)(XHHX)的特征值最高所对应的特征向量给出x线的。然后,与矩阵了

WU1(xI)PB2112,（28）

PB由PB的第一列(rank(B))组成。

它可以观察到,B的空间范围与A不是同于一个;因此,CCA和最小二乘的等价关系被认为是不持有当正则化在X。然而,OPLS CCA的等价关系仍然持有当正则化在X是应用。主要结果总结在定理7.2以下(证明遵循类似的参数在引理6.1): 定理 7.2 Bpls(xI)2112VH11Hpls，让B和

Bpls少量的奇异分解值为

BBTBPBB(QB)TBplsPplsBpls(Qpls),BPB,PplsRrk,rBrank(B)rank(Bpls)BPBPplsRB。然后,这个B和

Bpls范围的空间一致。此外,还存在一个像

rrB这样的正交矩阵RRBB。因此,CCA和OPLS是等价的任何x0.回想一下,制定可归纳为CCA广义特征值问题如(5),这就需要计算矩阵的逆YYTRkk。计算逆可能计算量大,当维数k的数据Y是很大的。这种情况在基于内容的图像检索[27],两个视图对应的文本和图像数据,都是高维度。一个重要的结果,建立了OPLS和 CCA的等价关系是逆的大型矩阵可以有效避免计算投影一个视图。

8.实验

我们在实验中使用三种类型的数据。基因表达模式图像data1描述果蝇的基因表达谱[28]。每个图像标注一个变量数量的文本术语(标签)从受控词汇表。我们应用伽柏过滤器中提取一个384维的特征向量从每个图像。我们用五个数据集和不同数量的术语(类标签)。我们也评估拟议的方法在现场数据集[29],这是常用的作为一个基准数据集对多元变量的学习。研究提出了最小二乘的可伸缩性配方,一个文本文档数据集与高维度从雅虎!使用[30]。这些数据集的统计归纳如表1。

表1

汇总统计的数据集

表2

比较不同的CCA配方 意思是中华民国方面得分

所有的数据集,报告10个随机数据的分区训练集和测试集生成和平均性能。对于高维文本文档的数据集,我们遵循特征选择方法研究[31]文本文档和提取不同数量的术语(特性)调查性能的算法。与算法5进行比较,包括在(5)中CCA和正规化的版本(指示为商资归农),提出了最小二乘CCA配方(指示为ls CCA)及其2规范和1规范正规化的版本(指示为LS-CCA2和LS-CCA1,分别)。所有的方法都是用于项目数据到一个低维空间中线性支持向量机进行分类为每个不同的标签。接受者操作特性(ROC)得分计算为每个不同的标签,在标签和平均性能报告所有剥片。

8.2 等价关系的评估和性能比较

我们首先对(CCA)和最小二乘法的等价关系进行评估。我们观察到,当数据维数d远远大于样本大小n,在定理3.2的条件往往持有。它遵循从定理3.2,rank(CXX)等于rank(CHH)rank(CDD),A所有对角元素是单位的,这是符合观测的实验。

在表2中,我们报告的平均分数超过所有的标签和中华民国为每个数据集都剥片。主要的观察包括:1)CCA和ls CCA达到同样的性能,所有的数据集,这是符合我们的理论结果,2)正规化CCA扩展包括商资归农,LS-CCA2,LS-CCA1执行更好的比他们的同行CCA和ls CCA没有正规化,3)LS-CCA2比得上在所有的数据集商资归农,而LS-CCA1达到最好的性能对于所有基因图像数据集。这些观察结果证明用正则化最小二乘扩展技术的有效性使。

8.3 敏感性研究

在这个实验中,我们调查ls CCA的性能相比CCA当在定理3.2的条件中并不持有,这种情况存在许多真实世界的应用程序中。具体来说,我们使用一个基因数据集基因图像2维数固定在d=384和k= 15的标签,而训练集的大小变化从100年到900年与步长约100。

不同的线性算法的性能作为训练集规模的增加呈现在图a1。我们可以发现,总体而言,所有算法的性能增加的培训规模增加。当n是很小,条件在定理3.2成立,因此CCA和ls CCA是等价的,它们达到同样的性能。当n进一步增加,CCA和ls CCA实现不同的变动率指标数,虽然在我们的实验差异分数总是非常小的。类似于上次的实验,我们可以从图观察到,正则化方法能够比CCA和ls-CCA,LS-CCA2与rCCA更好地执行。这个数据集稀疏配方LS-CCA1执行的最好。

实验的灵敏度也表现在现场数据集。结果总结在图b1,可以类似的观察。

8.4 可扩展性研究

在这个实验中,我们研究相比最小二乘原CCA配方的可伸缩性配方。因为正规化算法是首选在实践中,我们比较正规化CCA配方(rCCA)和2规范正规化最小 13 二乘配方(LS-CCA2)。最小二乘问题是解决LSQR算法[14]。

图a2一个显示了计算时间的两个配方的高维文本文档数据集雅虎 Arts&Humanities作为数据维数随着训练集的大小固定为1000。它可以观察到两种算法随着数据维数不断增加，计算时间不断增加。然而,计算时间的最小二乘配方(LS-CCA2)是大大低于原来的配方(rCCA)。事实上,LS-CCA2所有测试数据维数计算时间小于5秒。我们也评估两个配方的可伸缩性方面的训练样本大小。图b2阴谋计算时间的两个公式在文本文件数据集当训练样本大小随数据维数固定为2000,可以类似的观察。训练集的大小由于高计算成本的原始特征值问题是没有进一步增加。从图2,我们得出了最小二乘配方是比原来CCA配方更加可伸缩。

8.5 正则化分析

在这个实验中,我们研究的影响为CCA正规化。此外,我们比较OPLS 和 CCA在不同正则化参数值下得性能。具体来说,我们随机选择700样本数据集进行训练的场景,不同的正则化参数值从1e-6到1e4。

首先,我们考虑只在X正规化。CCA的性能和OPLS现场数据设置为变量x总结了图3。我们可以观察到从图,在所有的x值,(CCA)和OPLS的性能是相同的。这证实了CCA 和OPLS的等价关系定理7.2成立。我们还观察到OPLS 和CCA的性能可以提高，通过使用一个适当的显著正则化参数,证明了利用正则化在X。

接下来,我们考虑正则化只在Y。CCA和OPLS的性能的不同值3 b。我们可以观察到CCA的表现依然是分析。

y总结了图

y变化,验证正则化在y不影响其性能。另外,我们观察到两种方法的性能在所有的情况下是相同的,这是符合我们的理论

9.总结

在本文中,我们在温和条件下为CCA建立一个等价的最小二乘配方,倾向于保持高维数据。在本文中基于等价关系建立,我们提出几个CCA扩展包括稀疏CCA。一个高效的算法扩展CCA配方非常大的数据集。我们进一步扩展的等价关系正交偏最小二乘法。此外,我们表明,投影一视图CCA独立的正规化的其他视图。我们进行了多元变量数据集的集合的实验。我们的实验表明,最小二乘法CCA配方和原始CCA配方的性能非常接近甚至当条件是违反的。

版权声明

这项研究是由美国国家科学基金会组织(NSF)iis0953662,NIH,hm1582 R01-HG002516 NGA1-0016。

参考文献：

[1] H.Hotelling, “Relations between Two Sets of Variables,” Biometrika, vol.28, pp.312-377, 1936.[2] D.Hardoon, S.Szedmak, and J.Shawe-Taylor, “Canonical Correlation Analysis: An Overview with Application to Learning Methods,” Neural Computation, vol.16, no.12, 2004.[3] J.-P.Vert and M.Kanehisa, “Graph-Driven Feature Extraction from Microarray Data Using Diffusion Kernels and Kernel CCA,” Proc.Ann.Conf.Neural Information Proceing Systems, vol.15, pp.1425-1432, 2003.[4] S.Yu, K.Yu, V.Tresp, and H.-P.Kriegel, “Multi-Output Regularized Feature Projection,” IEEE Trans.Knowledge and Data Eng., vol.18, no.12, pp.1600-1613, Dec.2006.[5] C.Bishop, Pattern Recognition and Machine Learning.Springer, 2006.[6] T.Hastie, R.Tibshirani, and J.Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction.Springer, 2001.[7] G.Golub and C.V.Loan, Matrix Computations.Johns Hopkins Pre, 1996.[8] R.Tibshirani, “Regreion Shrinkage and Selection via the Lao,” J.Royal Statistical Soc.: Series B, vol.58, no.1, pp.267-288, 1996.[9] A.d’Aspremont, L.Ghaoui, M.Jordan, and G.Lanckriet, “A Direct Formulation for Sparse PCA Using Semidefinite Programming,” Proc.Ann.Conf.Neural Information Proceing Systems, vol.16, pp.41-48, 2004.[10] J.Zhu, S.Roet, T.Hastie, and R.Tibshirani, “1-Norm Support Vector Machines,” Proc.Ann.Conf.Neural Information Proceing Systems, vol.15, pp.49-56, 2003.[11] D.Watkins, Fundamentals of Matrix Computations.John Wiley & Sons, Inc., 1991.[12] B.Sriperumbudur, D.Torres, and G.Lanckriet, “Sparse Eigen Methods by D.C.Programming,” Proc.Int’l Conf.Machine Learning, pp.831-838, 2007.[13] T.Hastie, A.Buja, and R.Tibshirani, “Penalized Discriminant Analysis,”

Annals of Statistics, vol.23, pp.73-102, 1995.[14] C.Paige and M.Saunders, “LSQR: An Algorithm for Sparse Linear Equations and Sparse Least Squares,” ACM Trans.Math.Software, vol.8, no.1, pp.43-71, 1982.[15] F.Bach and M.Jordan, “Kernel Independent Component Analysis,” J.Machine Learning Research, vol.3, pp.1-48, 2003.[16] J.Ye, “Least Squares Linear Discriminant Analysis,” Proc.Int’l Conf.Machine Learning, pp.1087-1094, 2007.[17] B.Scho¨lkopf and A.J.Smola, Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond.MIT Pre, 2002.16 [18] J.Liu, S.Ji, and J.Ye, SLEP: Sparse Learning with Efficient Projections.Arizona State Univ.,