对Hopfield模型来说,有时它甚至无法解决某些简单的运算。这就会影响到神经网络的应用价值。例如有一个有三个结点的Hopfield模型,我们希望它能在以下四种状态保持稳定:
  以上四种状态有一个共同点,即当其中两个结点处于激励状态的数目为奇数时,第三个结点应该处于激励状态。因而这种情况正是三个结点的网络无法实现的。

图6-8带-辅助隐结点的网络
  但是如果在网络中引入隐结点,则问题就可解决了。例如在上述网络中引入一个与外界不发生联系的附加隐结点,如图6-8所示,则以下的稳态就可维持:
由此可见在网络中包含隐结点是十分重要的。但由于有了隐结点,如何对包含隐结点在内的网络进行训练就是需要解决的问题。Hinton等人的一大贡献,在于提出了一种可行的训练方法。