在描述本章所要讨论的问题之前，再提一下对于待识别的物理对象的描述问题。假设一个待识别的物理对象用其d个属性观察值描述，称之为d个特征，这组成一个d维的特征向量，而这d维待征所有可能的取值范围则组成了一个d维的特征空间。
　　为了说明这句话，我们讨论一个具体的例子。假设苹果的直径尺寸限定在7厘米到15厘米之间，它们的重量在3两到8两之间变化。如果直径长度x用厘米为单位，重量y以两为单位。那么，由x值从7到15，y值从3到8包围的二维空间就是对苹果进行度量的特征空间。
　　贝叶斯决策理论方法所讨论的问题是：已知总共有c类物体，也就是说待识别物体属于这c类中的一个类别，对这c类不同的物理对象，以及各类在这d维特征空间的统计分布，具体说来是各类别ω_i=1,2,…,c的先验概率P(ω_i)及类条件概率密度函数p(x|ω_i)已知的条件下，如何对某一样本按其特征向量分类的问题。由于属于不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的某一样本的特征向量为X，而在c类中又有不止一类可能呈现这一X值，这种可能性可用P(ω_i|X)表示。如何作出合理的判决就是贝叶斯决策理论所要讨论的问题。下一节讨论几种常用的决策规则，接着要分析正态分布时统计决策的问题以及错误概率等问题。由于这种决策理论基于已知概率分布为前提，因此在本章还要讨论概念密度函数的估计问题。
　　上一章提到机器实现自动分类有两大类方法：一种是模板匹配方法，而另一种就是对特征空间划分为子空间(每类的势力范围)的方法。本章是针对第二种方法的。核心问题是：样本为特征向量X时，它属于哪一类可能性有多大，如能确定属于各个类别的百分比(概率)分类决策就有了依据。例如某个样本的特征向量为X，X属于第一类样本的可能性为60％，而第二类的可能性为40％。在没有任何样本信息的情况下，则应将样本决策为第一类以使错分类可能性小(40％)，这就是这一章考虑分类问题的出发点。