phymath999: 人类认知过程坤高维信息一般嵌入于一个低维流形中而认知过程在很大程度上就是通过这种低维流形来识别各种事物

Monday, August 6, 2012

人类认知过程坤高维信息一般嵌入于一个低维流形中而认知过程在很大程度上就是通过这种低维流形来识别各种事物

http://www.doc88.com/p-544550140893.html

人类认知过程坤高维信息一般嵌入于一个低维流形中而认知过程在很大程度上就是通过这种低维流形来识别各种事物

這是 Google 對 http://www.doc88.com/p-544550140893.html 的快取。這是該網頁於 2012年6月2日 22:28:53 GMT 顯示時的快照。在此期間，目前網頁可能已經變更。瞭解更多資訊

李群机器学习模型及应用研究 - 讲义教程 - 道客巴巴

苏州大学硕士学位论文李群机器学习模型及应用研究姓名许欢申请学位级别硕士专业计算机软件与理论指导教师李凡长20070501李群机器学习模型及应用研究中文摘要李群机器学习模型及应用研究中文摘要本文将李群理论引入到机器学习当中结合对机器学习的定义论述了李群和机器学习之间的必然联系建立了李群机器学习的基高本理论框架。主要包括以下几方面内容给出了李群机器学习的基本概念乏给出霄掣薜机器学习模型包括代数模型和几何模型给出了李群机器学习的图几何算法给出了李群机器学习线性分类器的设计方法以及李群机器学习分类器的设计实现了基于李群机器学习的晶体计算机辅助分类系统。通过本文的研究。方面丰富了李群机器学习的研究内容为李●群机器学习的进一步探讨提供了理论依据另一方面将李群机器学习方法引入晶体分类当中初步实现了基于李群机器学习的晶体的计算机辅助分类系统为李群机器学习找到了应用领域。关键词李群李群机器学习图线性分类器作者许欢‘指导老师李凡长教授李群机器学习模型及应用研究’’’・Ⅱ苏州大学学位论文独创性声明及使用授权声明学位论文独创性声明本人郑重声明所提交的学位论文是本人在导师的指导下独立进行研究工作所取得的成果。除文中已经注明引用的内容外本论文不含其他个人或集体已经发表或撰写过的研究成果也不含为获得苏州大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体均已在文中以明确方式标明。本人承担本声明的法律责任。研究生签名学位论文使用授权声明苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的复印件和电子文档可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外允许论文被查阅和借阅可以公布包括刊登论文的全部或部分内容。论文的公布包括刊登授权苏州大学学位办办理。研究生导师期期李群机器学习模型及应用研究第一章。课题研究背景第一章引言年等人在上发表文章指出在人类认知过程坤高维信息一般嵌入于一个低维流形中而认知过程在很大程度上就是通过这种低维流形来识别各种事物。在同一期杂志上与发表了局部线性嵌入简称算法它利用线性重构的局部对称性找出高维数据空间中的非线性结构并保持各数据点邻近位置关系情况下把高维空间数据点映射为低维空间对应的数据点与发表了等距映射印算法通过构造邻域求出数据点之间的测地距离来代替欧氏距离再用多维尺度算法进行降维从而既实现了数据的维数约简又保留了数据分布的全局上的非线性特征。而后与正式提出了“流形学习”的概念。流形学习建立在流形理论的基础上其本质就是局部化。换句话说琉形就是一个局部可坐标化的拓扑空间。从而“局部坐标”使得我们可以将问题分解为局部问题进行计算而拓扑空间又能保证将局部计算的结果合理、光滑地拼接起来即是问题的整体结构。也就是说利用流形的这种特性我们就可以将机器学习在一维空间上的研究结果推广到高维空间上。近几年许多研究者在和算法的基础上做了进一步的拓展和改进。如等人提出了海赛局部线性嵌入简称算法该算法能够发现流形上局部的潜在等距映射参数张长水等人在点的基础上提出一种从低维嵌入空间向高维空间映射的方法并在多姿态人脸图像的重构实验中得到有效的验证进一步完善了非线性降维的方法詹德川和周志华针对算法的不足提出了一种新方法通过引入集成学习技术扩大了可以产生有效可视化效果的输入参数范围并降低了对噪声的敏感性。除此之外第一章李群机器学习模型及应用研究流形学习还有拉普拉斯特征映射算法悯、局部切空间排列简称算法以及基于划分的局部切空间排列简称算法等。这些算法特点都是考虑观测数据整体的性质同时又可以从局部出发来完成这个整体的计算。李群是挪威数学家李在年创建的一门数学理论。李群是一类重要的微分流形同时它也是一个群并且群运算是光滑的。也就是说李群是代数和几何的自然结合体具有更加丰富的内在结构。李群从产生至今已在计算机视觉与模式识别、神经网络、机器学习等领域引起了广大研究者们的兴趣并取得了一些成功的应用。现就相关成果综述如下。李群在计算机视觉与模式识别中的应用年和提出了基于李群理论的一个贝叶斯方法来学习不变的视觉感知运用基于指数矩阵的图像生成模型从包含极小变换的输入数据得到一个学习李群算子的非监督学习算法。首先用来描述图像上变换的属性有如下一些点向量。是空间中的一个元素表示点到另一点的变换表示变换算符为算符族它亦是一个群。假设每一个鲥规行一个从—的连续映射。为了使其离散化设被单个实数参数化那么如果函数—是连续的那么彳就是连续的。即任何∈彳是特定∈的图像并且的任何连续变换诱导一个的连续变换。让表示一个恒等变换那么当一融就趋于恒等。它在上的作用可以写成其中矩阵是变换群的生成子。可见变换爿可通过将许多这样的极小变换连接起来生成。例如将参数分为等份轮流执行每个变换倒当一∞时这个表达式可以约简为一个指数矩阵方程’产李群机器学习模型及应用研究第一章其中是原输入或者说“参考”输入。因此单参数李群中的每一个元素可以写成。李群的生成子与关于的导数兰相关。将输入变换后的的泰勒级数展开】十警百”甚中表示与间的相对变换。再为算符矩阵定义昙那么稍式可重写为竹当时它与式相同。因此传统的基于一阶泰勒级数的方法只是李群方法的一个特例。。。在李群方法中当要学习一个变换的生成子时允许保持该变换的不变性它对应独立于真实像素的变换的确定集。用维向量表示变换“之前”的图为包含极小变换的变换“之后”的图。那么可以得到随机图像生成模型卜・虽然此模型是线性的但该模型中由无穷小变换学习到的生成子与在指数模型中使用的是相同的矩阵所以此模型对于不管是“小的”图像变谈还是“较大的”图像交换都是适用的。这样就能从简单给出的一系列“变换“之前”和“之后”的图像中学习到李群的生成子。二使用运动表示的内在李群结构来求平均用特殊正交群和特殊欧几里德群的李代数来定义李群上的平均值提出了全局相容运动估计的李代数求均值法。此方法能够线性计算所有可能的相对运动以及对运动估计快速求平均。文中将群中的元素看成是嵌入在一个是向量空间中的那么可用外平均来表示样例平均数。群首先嵌入在一个欧氏空间由争“中它引导出在此空间上的一个矩阵样例平均数被定义为万【寺∑。。因为此样例平均并不一定就是群中的一个元素所以将它投影到流形上巾。令为一个流形上两点间的黎曼距离那么内平均数可定义为第一章李群机器学习模型及应用研究雄卿∑’鹕珊刍【■因为此处内平均数是由计算群元素间的黎曼距离得到的所以它一定是群中的元素。对于矩阵群黎曼距离可由矩阵对数运算来定义即对矩阵群元素和有和分别是矩阵和的对数。由此看出・个李群中元素间的距离可用其李代数中的“欧氏距离”来近似即它是一个切空间的近似值。对于一个群元素集…∑的最小值由李代数…确的样例平均数来估计。给定这个平均值的估计、唧二己爿通过肛的逆左乘来重新映射样例得△卜。此操作一直执行到估计值达到一个局部最小值。因此求李代数上内平均的算法描述为输入’一∈输出¨∈内平均初始化一△△却二己瑚Ⅳ肛心却任何一个三维旋转是特殊正交群的一个元素满足。对于旋转∞晚晚产蚴邮∞卅∞其中是∞和∞的函数。因此旋转的内平均数的算法中不需要计算对数和指数而可以一直在李代数中执行直到算法终止这样就提高了计算的效率。欧几里德运动由个的矩阵表示‘李群机器学习模型及应用研究第一章其中分别是三维旋转和平移。此操作表示在平移后旋转一个点。的对数是李代数∈、Ⅻ‘其中斜对称矩阵∈“由到的指数映射关系有象刮∑。百Ⅻ通过以上表达式可以解出宇学其中√仃。署的李代数就是用于运动估计的算法的李代数。三】提出了一种新的二维轮廓的不变特征不变信号。它是对在从李变换群中得到的许多变换下的轮廓不变程度的度量。其中李群理论提供了在二个变换动作下点位置的局部变换和此变换的全局描述的一种联系并提供了自然的起始点说明了不变信号在转移、旋转和轮廓缩放后本身保持不变。一个李群是一个有微分结构的连续变换群。在此处作者用到的是定义在平面上的单参数李群。它们包括旋转放大和平移。它们是有如下形式的光滑变换孵、存在一个与每个李群相关的向量域【。】’它给出了一个点的方向詈誊嘞这个向量域允许定义一个算符兰兰。被称为的生成子。强此外如果函数所有点都通过变换被映射到这个函数的其他点上那么就称此函数是不变的。给定一个函数根据一个李变换群来第一章李群机器学习模型及应用研究决定它的不变量。令【。】与向量域相关并且是的生成子。如果毋那么是关于生成子作用的一个常量。它可被写成向量域的形式。。一・。现有一轮廓它由参数化为。当是轮廓上的常量时堡堡。一一十●钗匆—‘式表明了如果一’立奴。’。那么在由生成的李变换下是不变的。可以自然解释为一个轮廓在一个李交换群下是不交的如果轮廓上每点的切线和对应于这个群的极小变换的向量场方向相同。四对象识别要求寻找那些在特征空间中是唯一的、健壮的和稳定的特性。】提出用李群分析来寻找这些特性并基于李群理论提出了支配子空间不变量的概念和拟不变量的一种特殊类型并给出了支配子空间不变量算法。在算法中李子代数被用来确定一个。文中考虑的情况是是实数的域日是定义在中的光滑向量域的集合括积【Ⅵ是转接器。曰的一个李子代数是曰的一个向量子空间它在括积操作下是封闭的。在李代数中的一个基本结果是目的一个给定的基贡满足旦【】∑氚・・・其中的特定集合被称为该代数的结构常数。一个李代数有可能被一个结构常数集合完全特化。假定三个极小生成子佩吒不存在非平凡不变量并且】乞其中乞≠。因此一在括积下是非封闭的。假李群机器学习模型及应用研究第一章定垂是在两个生成子和下的一个不变函数瓦巾奶。由可得瓯】巾佩巾・佩‘》…巾因此函数由在元素下也是不变的。但由假设不存在徘平凡不变量所以中一定是平凡的。由此可得出结论一个李子代数不能简单地靠丢弃一个元素瓦确定除非它的结构常数满足≠≠。将以上规则用在算法中来计算转接器表中的结构常数即寻找一个新的基使得所有结构常数为。。李群在神经网络中的应用一年等人在文献【中给出了一种由有噪声的二维图像流对三维刚体运动进行神经计算的新方法。将对三维图象流的解释看是一个线性信号变换由神经网络来执行其基本信号是三维欧几里德群的六个极小生成子的二维矢量场。神经网络模拟试验结果表明在髓机噪声导致传统的代数方法失败时此方法仍能保证其可靠性。酗在神经系统中引入李群的目的是将刚性约束用于噪声抑制和三维运动计算其主要原理如下用表示一个三维欧几里德群它是三维正交群和三维平移群的乘积×是中的一个元素映射×一称为在上的作用在一点或一个点系中作用的结果称为运动。因为欧几里德群的点间距是不变量所以引发的运动为刚性运动欧几里德群被称为刚体运动群。如果用时间作为参数那么一个点的位置是一个时间函数可以表示为埯其中是一点的原始位置是群中由决定的变换。这样这个变换的一般机制就可以从特殊向量中分离。也就是说三维刚体运动的一般机制的数学结构是独立于任何特殊刚体的相似地极小运动和瞬间速率可由极小变换来描述。一个李群的极小变换是这个李群的李代数中的元素李代数是由该李第一章李群机器学习模型及应用研究群的单参数李子群的极小生成子张成的线性空间。三维欧几里德群有六个单参数李子群。因此它的李代数的维数是六。一个李群的极小生成子是从一个单参数李群在时得到的将三个旋转参数和三个平移参数作为的坐标取对应于单参数旋转子群和单参数平移子群的六个极小生成子。任何李群的极小变换是这六个极小生成子的线性组合∑。是极小变换‘的系数。’一将图像流定义在图像平面上为了将三维欧几里德群的极小生成子用作一个计算池就需要把和的向量场映射到图像平面的向量场中并且保持中的线性关系。令。。是切空间中的一个向量那么给定一个可视面对于在图像平面上的每点“可得在中的点和一个二维向量简写为印。一般给定通过。一它是中点在图像空间上的投影定义的一个向量值函数就有一个从的三维向量场到的二维向量场的映射。一・上式表明在可视面上的任何点Ⅸ从到图像平面上的透视投影能导出一个从Ⅸ的切空间到在图像平面上的点的切空间的投影这个映射由给出它将可视面上定义的三维向量空间映射到在图像平面上定义的二维向量空间。在刚体可视面卸如.