模式识别

模式识别 来自 百度百科

模式识别就是通过计算机用数学技术方法来研究模式的自动处理和判读，把环境与客体统称为“模式”。随着计算机技术的发展，人类有可能研究复杂的信息处理过程，其过程的一个重要形式是生命体对环境及客体的识别。模式识别以图像处理与计算机视觉、语音语言信息处理、脑网络组、类脑智能等为主要研究方向，研究人类模式识别的机理以及有效的计算方法。 [1]

发展历程

早期的模式识别研究着重在数学方法上。20世纪50年代末，F．罗森布拉特提出了一种简化的模拟人脑进行识别的数学模型——感知器，初步实现了通过给定类别的各个样本对识别系统进行训练，使系统在学习完毕后具有对其他未知类别的模式进行正确分类的能力。1957年，周绍康提出用统计决策理论方法求解模式识别问题，促进了从50年代末开始的模式识别研究工作的迅速发展。1962年，R．纳拉西曼提出了一种基于基元关系的句法识别方法。付京孙(K．S． Fu）在笮的理论及应用两方^行了系统的卓有成效的研究，并于1974年出版了一本专著《句法模式识别及其应用》。1982年和1984年，J．荷甫菲尔德发表了两篇重要论文，深刻揭示出人工神经元，网路所具有的联想存储和计算能力，进一步推动了模式识别的研究工作，短短几年在很多应用方面就取得了显著成果，从而形成了模式识别的人工神经元网络方法的新的学科方向。 人们在观察事物或现象的时候，常常要寻找它与其他事物或现象的不同之处，并根据一定的目的把各个相似的但又不完全相同的事物或现象组成一类。字符识别就是一个典型的例子。例如数字“4”可以有各种写法，但都属于同一类别。更为重要的是，即使对于某种写法的“4”，以前虽未见过，也能把它分到“4”所属的这一类别。人脑的这种思维能力就构成了“模式”的概念。在上述例子中，模式和集合的概念是分开来的，只要认识这个集合中的有限数量的事物或现象，就可以识别属于这个集合的任意多的事物或现象。为了强调从一些个别的事物或现象推断出事物或现象的总体，我们把这样一些个别的事物或现象叫作各个模式。也有的学者认为应该把整个的类别叫作模式，这样的“模式”是一种抽象化的概念，如“房屋”等都是“模式”，而把具体的对象，如人民大会堂，叫作“房屋”这类模式中的一个样本。这种名词上的不同含义是容易从上下文中弄清楚的。

模式识别是人类的一项基本智能，在日常生活中，人们经常在进行“模式识别”。随着20世纪40年代计算机的出现以及50年代人工智能的兴起，人们当然也希望能用计算机来代替或扩展人类的部分脑力劳动。(计算机)模式识别在20世纪60年代初迅速发展并成为一门新学科。

模式识别是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。 [2]

研究方向

模式识别又常称作模式分类，从处理问题的性质和解决问题的方法等角度，模式识别分为有监督的分类（Supervised Classification）和无监督的分类(Unsupervised Classification)两种。二者的主要差别在于，各实验样本所属的类别是否预先已知。一般说来，有监督的分类往往需要提供大量已知类别的样本，但在实际问题中，这是存在一定困难的，因此研究无监督的分类就变得十分有必要了。

模式还可分成抽象的和具体的两种形式。前者如意识、思想、议论等，属于概念识别研究的范畴，是人工智能的另一研究分支。我们所指的模式识别主要是对语音波形、地震波、心电图、脑电图、图片、照片、文字、符号、生物传感器等对象的具体模式进行辨识和分类。 [2]

模式识别研究主要集中在两方面，一是研究生物体(包括人)是如何感知对象的，属于认识科学的范畴，二是在给定的任务下，如何用计算机实现模式识别的理论和方法。前者是生理学家、心理学家、生物学家和神经生理学家的研究内容，后者通过数学家、信息学专家和计算机科学工作者近几十年来的努力，已经取得了系统的研究成果。

应用计算机对一组事件或过程进行辨识和分类，所识别的事件或过程可以是文字、声音、图像等具体对象，也可以是状态、程度等抽象对象。这些对象与数字形式的信息相区别，称为模式信息。

模式识别所分类的类别数目由特定的识别问题决定。有时，开始时无法得知实际的类别数，需要识别系统反复观测被识别对象以后确定。

模式识别与统计学、心理学、语言学、 计算机科学 、生物学、控制论等都有关系。它与 人工智能 、 图像处理 的研究有交叉关系。例如自适应或自组织的模式识别系统包含了人工智能的学习机制；人工智能研究的景物理解、自然语言理解也包含模式识别问题。又如模式识别中的预处理和特征抽取环节应用图像处理的技术；图像处理中的图像分析也应用模式识别的技术。 [2]

研究方法

决策理论方法

又称统计方法，是发展较早也比较成熟的一种方法。被识别对象首先数字化，变换为适于计算机处理的数字信息。一个模式常常要用很大的信息量来表示。许多模式识别系统在数字化环节之后还进行预处理，用于除去混入的干扰信息并减少某些变形和失真。随后是进行特征抽取，即从数字化后或预处理后的输入模式中抽取一组特征。所谓特征是选定的一种度量，它对于一般的变形和失真保持不变或几乎不变，并且只含尽可能少的冗余信息。特征抽取过程将输入模式从对象空间映射到特征空间。这时，模式可用特征空间中的一个点或一个特征矢量表示。这种映射不仅压缩了信息量，而且易于分类。在决策理论方法中，特征抽取占有重要的地位，但尚无通用的理论指导，只能通过分析具体识别对象决定选取何种特征。特征抽取后可进行分类，即从特征空间再映射到决策空间。为此而引入鉴别函数，由特征矢量计算出相应于各类别的鉴别函数值，通过鉴别函数值的比较实行分类。

句法方法

又称结构方法或语言学方法。其基本思想是把一个模式描述为较简单的子模式的组合，子模式又可描述为更简单的子模式的组合，最终得到一个树形的结构描述，在底层的最简单的子模式称为模式基元。在句法方法中选取基元的问题相当于在决策理论方法中选取特征的问题。通常要求所选的基元能对模式提供一个紧凑的反映其结构关系的描述，又要易于用非句法方法加以抽取。显然，基元本身不应该含有重要的结构信息。模式以一组基元和它们的组合关系来描述，称为模式描述语句，这相当于在语言中，句子和短语用词组合，词用字符组合一样。基元组合成模式的规则，由所谓语法来指定。一旦基元被鉴别，识别过程可通过句法分析进行，即分析给定的模式语句是否符合指定的语法，满足某类语法的即被分入该类。

模式识别方法的选择取决于问题的性质。如果被识别的对象极为复杂，而且包含丰富的结构信息，一般采用句法方法；被识别对象不很复杂或不含明显的结构信息，一般采用决策理论方法。这两种方法不能截然分开，在句法方法中，基元本身就是用决策理论方法抽取的。在应用中，将这两种方法结合起来分别施加于不同的层次，常能收到较好的效果。

统计模式识别

统计模式识别(statistic pattern recognition)的基本原理是：有相似性的样本在模式空间中互相接近，并形成“集团”，即“物以类聚”。其分析方法是根据模式所测得的特征向量Xi=(xi1，xi2，…，xid)T(i=1，2，…，N)，将一个给定的模式归入C个类ω1，ω2，…， ωc中，然后根据模式之间的距离函数来判别分类。其中，T表示转置；N为样本点数；d为样本特征数。

统计模式识别的主要方法有：判别函数法，近邻分类法，非线性映射法，特征分析法，主因子分析法等。

在统计模式识别中，贝叶斯决策规则从理论上解决了最优分类器的设计问题，但其实施却必须首先解决更困难的概率密度估计问题。BP神经网络直接从观测数据(训练样本)学习，是更简便有效的方法，因而获得了广泛的应用，但它是一种启发式技术，缺乏指定工程实践的坚实理论基础。统计推断理论研究所取得的突破性成果导致现代统计学习理论——VC理论的建立，该理论不仅在严格的数学基础上圆满地回答了人工神经网络中出现的理论问题，而且导出了一种新的学习方法——支持向量机（SVM）。 [2]

应用领域

模式识别可用于文字和语音识别、遥感和医学诊断等方面。

① 文字识别

汉字已有数千年的历史，也是世界上使用人数最多的文字，对于中华民族灿烂文化的形成和发展有着不可磨灭的功勋。所以在信息技术及计算机技术日益普及的今天，如何将文字方便、快速地输入到计算机中已成为影响人机接口效率的一个重要瓶颈，也关系到计算机能否真正在我国得到普及的应用。目前，汉字输入主要分为人工键盘输入和机器自动识别输入两种。其中人工键入速度慢而且劳动强度大；自动输入又分为汉字识别输入及语音识别输入。从识别技术的难度来说，手写体识别的难度高于印刷体识别，而在手写体识别中，脱机手写体的难度又远远超过了联机手写体识别。到目前为止，除了脱机手写体数字的识别已有实际应用外，汉字等文字的脱机手写体识别还处在实验室阶段。

②　语音识别

语音识别技术技术所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。近年来，在生物识别技术领域中，声纹识别技术以其独特的方便性、经济性和准确性等优势受到世人瞩目，并日益成为人们日常生活和工作中重要且普及的安验证方式。而且利用基因算法训练连续隐马尔柯夫模型的语音识别方法现已成为语音识别的主流技术，该方法在语音识别时识别速度较快，也有较高的识别率。

③ 指纹识别

我们手掌及其手指、脚、脚趾内侧表面的皮肤凹凸不平产生的纹路会形成各种各样的图案。而这些皮肤的纹路在图案、断点和交叉点上各不相同，是唯一的。依靠这种唯一性，就可以将一个人同他的指纹对应起来，通过比较他的指纹和预先保存的指纹进行比较，便可以验证他的真实身份。一般的指纹分成有以下几个大的类别:环型(loop)，螺旋型(whorl)，弓型(arch)，这样就可以将每个人的指纹分别归类，进行检索。指纹识别基本上可分成：预处理、特征选择和模式分类几个大的步骤。

④ 遥感

遥感图像识别已广泛用于农作物估产、资源勘察、气象预报和军事侦察等。

⑤　医学诊断

在癌细胞检测、X射线照片分析、血液化验、染色体分析、心电图诊断和脑电图诊断等方面，模式识别已取得了成效。 [2]

发展潜力

模式识别技术是人工智能的基础技术，21世纪是智能化、信息化、计算化、网络化的世纪，在这个以数字计算为特征的世纪里，作为人工智能技术基础学科的模式识别技术，必将获得巨大的发展空间。在国际上，各大权威研究机构，各大公司都纷纷开始将模式识别技术作为公司的战略研发重点加以重视。

1、语音识别技术

语音识别技术正逐步成为信息技术中人机接口(Human Computer Interface， HCI)的关键技术，语音技术的应用已经成为一个具有竞争性的新兴高技术产业。中国互联网中心的市场预测：未来5年，中文语音技术领域将会有超过400亿人民币的市场容量，然后每年以超过30%的速度增长。

2、生物认证技术

生物认证技术(Biometrics)本世纪最受关注的安全认证技术，它的发展是大势所趋。人们愿意忘掉所有的密码、扔掉所有的磁卡，凭借自身的唯一性来标识身份与保密。国际数据集团（IDC）预测：作为未来的必然发展方向的移动电子商务基础核心技术的生物识别技术在未来10年的时间里将达到100亿美元的市场规模。

3、数字水印技术

90年代以来才在国际上开始发展起来的数字水印技术(Digital Watermarking)是最具发展潜力与优势的数字媒体版权保护技术。IDC预测，数字水印技术在未来的5年内全球市场容量超过80亿美元。 [2]

模式识别从20世纪20年代发展至今，人们的一种普遍看法是不存在对所有模式识别问题都适用的单一模型和解决识别问题的单一技术，我们现在拥有的只是一个工具袋，所要做的是结合具体问题把统计的和句法的识别结合起来，把统计模式识别或句法模式识别与人工智能中的启发式搜索结合起来，把统计模式识别或句法模式识别与支持向量机的机器学习结合起来，把人工神经元网络与各种已有技术以及人工智能中的专家系统、不确定推理方法结合起来，深入掌握各种工具的效能和应有的可能性，互相取长补短，开创模式识别应用的新局面。

对于识别二维模式的能力，存在各种理论解释。模板说认为，我们所知的每一个模式，在长时记忆中都有一个相应的模板或微缩副本。模式识别就是与视觉刺激最合适的模板进行匹配。特征说认为，视觉刺激由各种特征组成，模式识别是比较呈现刺激的特征和储存在长时记忆中的模式特征。特征说解释了模式识别中的一些自下而上过程，但它不强调基于环境的信息和期待的自上而下加工。基于结构描述的理论可能比模板说或特征说更为合适。

《模式识别》教材

丛书名： 国外计算机科学教材系列
作　者： （希）西奥多里德斯 等著，李晶皎 等译
出 版 社： 电子工业出版社
出版时间： 2006-12-1
页　数： 551
纸　张： 胶版纸
S B N ： 9787121026478
包　装： 平装
所属分类： 图书 >> 计算机/网络 >> 人工智能
定价：￥58.00
内容简介
模式识别是指对表征事物或现象的各种形式的信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程。它是信息科学和人工智能的重要组成部分，主要应用领域是图像分析与处理、语音识别、声音分类、通信、计算机辅助诊断、数据挖掘等学科。本书在完美地结合当前的理论与实践的基础上，讨论了贝叶斯分类、贝叶斯网络、线性和非线性分类器设计、动态编程和用于顺序数据的隐马尔可夫模型、特征生成、特征选取技术、学习理论的基本概念以及聚类概念与算法。与前一版相比，主要更新了关于支持向量机和聚类算法的内容，重点研究了图像分析、语音识别和声音分类的特征生成。每章末均提供有习题与练习，且支持网站上提供有习题解答，以便于读者增加实际经验。
本书可作为高等院校自动化、计算机、电子和通信等专业研究生和高年级本科生的教材，也可作为计算机信息处理、自动控制等相关领域的工程技术人员的参考用书。
作者简介
Sergios Theodoridis：希腊雅典大学信息与通信系教授。他于1973年在雅典大学获得物理学学士学位，又分别于1975年和1978年在英国伯明翰大学获得信号处理与通信硕士和博士学位。自1995年以来，他一直是希腊雅典大学信息与通信系教授。其主要研究方向是自适应信号处理、通信与模式识别。他是欧洲并行结构及语言协会（PARLE-95）主席和欧洲信号处理协会（DUSIPCO-98）常务主席、《信号处理》杂志编委。
目录
1.3 有监督和无监督模式识别
1.4 本书的内容安排
第2章 基于贝叶斯决策理论的分类器
2.1 引言
2.2 贝叶斯决策理论
2.3 判别函数和决策面
2.4 正态分布的贝叶斯分类
2.5 未知概率密度函数的估计
2.6 最近邻规则
2.7 贝叶斯网络
习题
参考文献
第3章 线性分类器
3.2 线性判别函数和决策超平面
3.3 感知器算法
3.4 最小二乘法
3.7 支持向量机
习题
参考文献
第4章 非线性分类器
4.1 引言
4.2 异或问题
4.3 两层感知器
4.4 三层感知器
4.5 基于训练集准确分类的算法
4.6 反向传播算法
4.7 反向传播算法的改进
4.8 代价函数选择
4.9 神经网络的大小选择
4.10 仿真实例
4.11 具有权值共享的网络
4.12 线性分类器的推广
4.13 线性二分法中l维空间的容量
4.14 多项式分类器
4.15 径向基函数网络
4.16 通用逼近
4.17 支持向量机：非线性情况
4.18 决策树
1.19 合并分割器
1.20 合并分类器的增强法
4.21 讨论
习题
5.2 预处理
5.3 基于统计假设检验的特征选择
5.4 接收机操作特性ROC曲线
5.5 类可分性测量
5.6 特征子集的选择
5.7 最优特征生成
5.8 神经网络和特征生成/选择
5.9 推广理论的提示
5.10 贝叶斯信息
习题
6.2 基本向量和图像
6.3 Karhunen-loeve变换
6.4 奇异值分解
6.5 独立成分分析
6.6 离散傅里叶变换（DFT）
……
第7章 特征生成Ⅱ
第8章 模板匹配
第9章 上下文相关分类
第10章 系统评价
第11章 聚类：基本概念