当前位置:
首页 > 互联网+ > 人工智能 > 模式识别中的核自适应学习及应用pdf/doc/txt格式电子书下载

模式识别中的核自适应学习及应用pdf/doc/txt格式电子书下载

本站仅展示书籍部分内容

如有任何咨询

请加微信10090337咨询

模式识别中的核自适应学习及应用pdf/doc/txt格式电子书下载

书名:模式识别中的核自适应学习及应用pdf/doc/txt格式电子书下载

推荐语:本书重点研究模式识别中的核自适应学习的思路,给出若干核自适应方法以及具体应用。

作者:李君宝,乔家庆,尹洪涛、

出版社:电子工业出版社

出版时间:2013-12-01

书籍编号:30460199

ISBN:9787121213311

正文语种:中文

字数:79779

版次:1

所属分类:互联网+-人工智能

全书内容:

模式识别中的核自适应学习及应用pdf/doc/txt格式电子书下载






前 言


模式识别是计算机、电子及信息领域的重要研究领域,也是人工智能的基础技术,21世纪是智能化、信息化、计算化、网络化的世纪,作为人工智能技术基础学科的模式识别技术,必将获得巨大的发展空间。在国际上,各大权威研究机构,各大公司都纷纷开始将模式识别技术作为公司的战略研发重点。


近年提出的核学习是模式识别的重要研究分支和活跃的研究主题,出现了大量理论和实际应用研究成果,已广泛用于模式识别、数据挖掘、计算机视觉、图像与信号处理等研究领域。核方法在一定程度上解决了实际应用中的非线性问题,大大提高了实际系统的识别正确率、预测精度等性能指标。然而,核学习方法仍然面临着一个重要问题,即核函数及其参数的选择问题。研究表明,核函数及其参数直接影响非线性特征空间内数据分布结构,不恰当的核函数及其参数选择直接影响核学习器的性能。研究核函数及其参数的自适应学习对于解决目前核学习方法广泛面临的核选择问题具有重要理论研究意义,对于提高核学习器的应用系统性能具有重要实际意义。因此,核自适应学习是一个兼具理论价值和实际意义的研究主题。


近年来,作者在模式识别中的核自适应学习方法及应用方面开展了不懈的探索研究,本书综合展现了作者在该领域研究过程中的最新研究成果。本书以模式识别中的核自适应学习及应用为研究对象,结合作者自己的研究成果和文献调研,介绍了核自适应学习及在人脸识别、医学图像分类和三维碎片分类等方面的应用。旨在帮助读者透彻理解和掌握核自适应学习的基本原理和方法,并了解核自适应学习在图像分类及三维数据分类上的应用,为深入研究模式识别领域的核学习问题提供技术支撑。


在研究过程中先后得到了国家自然科学基金(编号61001165、61371178)、黑龙江省自然基金(编号QC2010066)、哈工大基础人才培育项目(编号HIT.BRETIII.201206)、教育部新世纪优秀人才支持项目以及总装预研基金等10项国家和省部级科研项目的资助,再次表示衷心的感谢。


由于核自适应学习领域的研究发展迅速,加之作者水平有限,错漏之处在所难免,恳请读者批评指正。


作 者


2013年8月 于哈尔滨工业大学

第1章 绪论


1.1 机器学习概念


1.1.1 学习的定义


“学习”涉及多个学科和领域,很难对其做一个精确而统一的定义,因此学者们对学习的定义也不同。下面是不同学者从不同的角度给出的定义。从系统的角度,H.A.Simon认为“如果一个系统能够通过执行某种过程而改进它的性能,这就是学习,学习就是系统的适应性,这意味着这些改进使得系统能够更有效地完成同样的或者类似的工作”;从神经网络的角度,S.Haykin把学习定义为“学习是一个网络的自由参数通过网络所处环境的刺激而自适应地调整的过程,学习的形式由参数改变的方式来确定”;从模式识别的角度,Duda 等人认为“最广义地讲,任何设计分类器时所用的方法,只要它利用了训练样本的信息,都可以认为运用了学习”。此外,最新的定义是由V.Vapnik提出的,他把学习问题看做“利用有限数量的观测来寻找待求的依赖关系的问题”。学习包括许多特殊的问题,但模式识别、回归函数估计和概率密度估计为机器学习的三个基本问题。


1.1.2 学习问题的一般描述


为了更好地理解学习的定义,利用系统模型对其进行描述。根据学习的定义,学习问题可以看做利用观测数据来寻找待求的依赖关系的问题,一般的学习系统模型如图1.1所示。

img

图1.1 一般的学习系统模型

其中,G为数据产生器,产生随机样本向量x∈R,它们是从固定但未知的概率分布函数独立抽取的。S代表训练器,对每个输入向量x返回一个输出值y,产生输出的根据是条件分布函数F(y|x)。LM代表学习机器,它能够实现一定的函数集f(x,α),α∈S,其中S是参数集合。学习的目的是从给定的函数集f(x,α),α∈S中选择出能够最好地逼近训练响应的函数。训练集有根据联合分布函数抽取出的l个独立分布观测数据(x1,y1),(x2,y2),…,(xl,yl)。因此,机器学习问题可以表示为:根据l个独立同分布的观测样本,在一组函数{f(x,·)}中求一个最优函数f(x,α)对训练器的响应进行估计,使期望风险R(α)=∫L[y,f(x,α)]dF(x,y)最小,其中,F(x,y)是未知的,L[y,f(x,α)]是损失函数,不同类型的机器学习问题有不同形式的损失函数。对学习中的模式识别、回归函数估计和概率密度估计三个基本问题来说,损失函数有不同的定义。


模式识别问题的损失函数为

img

其中,训练器的输出y是类标识y={0,1}或y={1,-1}。


回归函数估计问题的损失函数为

img

其中,f(x,α)=∫ydF(y|x),训练器的输出y为实数值,并令f(x,α),α∈S为实函数集和。


概率密度估计问题的损失函数为

img

其中,p(x,α)为要估计的概率密度函数。


根据损失函数的定义可以看出:


(1)模式识别学习的目的是得到指示函数(判别函数),对于这个指示函数,期望风险就是分类误差的概率。指示函数给出的答案与训练器输出不同,则称为分类错误。这样学习问题就成为在概率分布函数F(x,y)未知、但数据已知的条件下,寻找一个最小化分类误差的函数。


(2)回归函数估计学习的目的是在概率分布函数F(x,y)未知时,对给定的采集样本,最小化风险函数R(α)=∫L[y,f(x,α)]dF(x,y)。


(3)概率密度估计学习的目的是根据独立分布的训练样本确定x的概率分布,在概率分布F(x)未知、但给出了独立同分布数据的情况下,使风险函数最小化。在概率分布F(x,y)未知的情况下,只有样本的信息可以利用,这导致定义的期望风险是无法直接计算和最小化的。传统的学习方法采用了所谓经验风险最小化(ERM)准则。神经网络和其他经典的统计推理学习算法(例如,函数回归的最小二乘法、概率密度估计的最大似然法等)都是建立在经验风险最小化归纳原理基础上的。对于分类问题的损失函数,经验风险就是训练样本错误率;对于回归估计问题的损失函数,经验风险最小化准则是通过最小二乘法来实现的;对于密度估计问题中采用的损失函数,经验风险最小化准则就等价于最大似然法。


1.1.3 学习的实现


目前学习的实现方法还没有统一的理论框架,根据目前的研究现状,大体可分为以下三种。


1.经典的参数统计估计方法


模式识别、神经网络等机器学习方法的重要理论基础之一是统计学。参数方法正是基于传统统计学的,参数的相关形式是已知的,训练样本用来估计参数的值。该方法有很大的局限性,它需要已知样本分布形式,这需要花费很大代价。此外,传统统计学研究是基于样本数目趋于无穷大时的渐近理论进行的,相关的学习方法也大多基于此假设。但在实际问题中,样本数是有限的,一些理论上很优秀的学习方法在实际的应用中却存在很大的局限性。


2.经验非线性方法


以人工神经网络为例,该学习方法利用已知样本建立非线性模型,克服了传统参数估计方法的困难,然而,这种方法缺乏一种统一的数学理论。


3.统计学习理论


与传统统计学相比,统计学习理论是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体系,该体系下的统计推理规则不仅考虑渐近性能要求,而且在现有有限信息条件下寻求得到最优结果。该理论的研究始于20世纪60~70年代,到20世纪90年代中期,随着其理论的不断发展和成熟,统计学习理论开始受到越来越广泛的重视。统计学习理论的一个核心概念就是VC维概念,它是描述函数集或学习机器的复杂性或者说学习能力的一个重要指标,在此概念基础上发展出了关于统计学习的一致性、收敛速度、推广能力等一系列重要理论。在有限样本情况下,学习精度和推广性似乎是一对不可调和的矛盾,采用复杂的学习机器虽然容易使学习误差更小,却往往丧失推广能力。以分类问题为例,所谓学习推广能力是指训练好的学习机不仅对训练样本有良好的分类能力,对新的数据分类正确率也很高,也就是学习机的实际风险和经验风险都小。如果在训练时学习机表现出良好分类能力,在识别新的数据时正确率却很低,也就是学习机的实际风险很高和经验风险很小,则认为这个学习机的学习推广能力很差。统计学习理论为提高学习的推广能力,在提出VC维的基础上,提出了结构风险最小化(Structure Risk Minimization,SRM)准则。在模式识别方法中VC维的直观定义是:对于一个指示函数集,如果存在h个样本能够被函数集里的函数按照所有可能的2h种形式分开,则称函数集能够把h个样本打散。函数集的VC维就是能够打散的最大样本数目h。如果对任意的样本数,总有函数能打散它们,则函数集的VC维就是无穷大。一般而言,VC维越大,学习机器的学习能力就越强,但学习机器也越复杂。遗憾的是,目前还没有通用的关于计算任意函数集的VC维理论,只对一些特殊函数集的VC维可以准确知道,如n维实数空间中线性分类器和线性实函数的VC维是1+n。而对于一些比较复杂的学习机器(如神经网络),其VC维除了与函数集的选择有关外,通常也受学习算法等的影响,因此要确定其VC维将更加困难。对于给定的学习函数集,如何用理论或实验的方法计算其VC维是当前统计学习理论研究中有待解决的一个问题。


1.1.4 学习的基本形式


根据学习过程中有没有考虑样本类标识信息,学习可以分为监督学习、增强学习和无监督学习三种形式。


(1)监督学习(Supervised Learning):在监督学习中,外界存在一个“教师”,它可对一组给定输入提供应有的输出结果。


(2)增强学习(Reinforcement Learning):在增强学习中,一个输入-输出映射的学习是通过与环境连续交互被执行的,从而使得某个性能的标度值达到最小。在增强学习过程中没有“教师”提供正确答案,而是一个具有“评论者”的学习。


(3)无监督学习(Unsupervised Learning):在无监督或者自组织学习中没有外部“教师”或者“评论者”去监视学习过程。


1.1.5 学习在数据降维上的应用


基于学习的方法主要是用维数约简方法对原始样本用映射矩阵进行降维,将降维所得向量作为该样本的特征向量。经典的学习方法是线性映射的学习方法,线性学习方法的基本思路是找到一个最优映射矩阵,使得样本在特征空间内可用一个最优分类面将不同类样本线性分开。以两类样本分类为例,如图1.2所示,对原始空间内混叠的样本,在线性映射后在特征空间内可以找到一条直线将两类样本分开。该方法对大多数特征提取的应用问题是有效的,在图像的特征提取中也得到了很好的应用。然而,对于复杂的图像特征提取问题,如人脸识别问题,不同人的人脸图像的灰度分布、轮廓信息相近,由于姿态、光照和表情变化的影响,同一个人的几张图像样本也呈现复杂的变化,这种变化不能简单地描述为线性变化。此时,以前面所述的两类问题为例,则无法找到最优的分类面将两类样本分开,如图1.3所示。为解决该问题,人们引入了非线性映射方法,基本思路是首先将样本进行非线性映射,而后利用线性映射方法得到特征向量,期望此时可以找到最优的分类面将两类样本分开,如图1.4所示。现在的问题是很难确定非线性映射的形式和数学解析式。研究表明,用核函数代替上述非线性映射内积的方法是一种可行的方法,该方法在计算过程中无须直接计算样本的非线性映射便可达到非线性特征提取的目的。因此,核方法被认为解决非线性特征提取问题的有效手段,该方法具有计算复杂度低、效果好、实用性强等特点,已广泛应用于非线性特征提取中。


基于学习的方法在图像特征提取上应用广泛,图像处理的方法大致可以分为基于信号处理的方法和基于学习的方法两类。前者发展较早,典型的算法有傅里叶变换、Gabor滤波、小波变换等。后者是近十几年兴起的方法,该方法是用维数约简方法将数据从原始空间经过线性映射到某一低维空间,低维空间的数据能够极大地反映原始数据的本质特征,典型的算法有主成分分析(PCA)、线性判别分析(LDA)、局部保持映射(LPP)、二维主成分分析(2DPCA)、核主成分分析(

....

本站仅展示书籍部分内容

如有任何咨询

请加微信10090337咨询

本站仅展示书籍部分内容
如有任何咨询

请加微信10090337咨询

再显示