以上分析表明,网络中引入不确定性,对网络状态的转移会发生影响。由于这种不确定性与温度参数有关,因此利用对温度参数进行控制,可以有效地控制网络状态的转移,减少陷于寄生的错误稳态的可能性。
利用控制温度的策略称为模拟退火策略。这是从金属冶炼的退火技术中得到启发的。在金属冶炼中有时需要将处于高温的金属降低到正常温度。如果降温速度太快,金属内部会形成很大的内应力,影响金属的性能。为了减少这种内应力生成的可能性,降温的过程往往采用一种平稳与缓慢的渐变过程,这个过程称之为退火,它经常用来消除金属的内应力。
这种策略也可用于网络的状态转移以及别的优化问题求解中。在网络状态转移过程中,一般先将温度参数设置在较高的温度值,此时网络内部的“噪声”较大,网络状态转移的不确定性较大,因而有可能从寄生的错误稳态中逃逸出来。而当温度降低时,则可使网络状态有较大可能停留在所期望的稳态中。在模拟退火的过程中先维持温度参数在一相对较高值处,此时网络的状态将趋近于某种动平衡,随着温度逐渐降低,这种动平衡又被打破,向新的平衡状态过渡。当温度逐渐降到零时,系统将以较大概率停留在某几个稳态的情况。
改变温度参数的大小对网络状态转移的影响还与临界温度这个概念有关。这也与物理学中的一些现象相似。对铁磁物质来说,其磁性与温度有密切关系,当环境温度超过某一值时,铁磁体的磁性会顿时消失。这种温度称为铁磁体的临界温度。其原因常用一种平均场理论来解释。在网络中也可将平均场理论借用过来,此时不同的寄生错误稳态往往有不同的临界温度。在高于它们各自的临界温度时,这些稳态就会消失,因而也就使网络的状态容易向正确的方向过渡。
以上分析表明Boltzmann机并不能根本上排除寄生的错误稳态的存在,它只是利用“噪声”的影响与临界温度现象减少网络停留在寄生稳态的可能性。因而在设计与训练网络时,如何能使寄生的错误稳态维持在相对高的能量函数值,是十分关键的。这就需要有一种合适的训练方法。Hinton等人在训练网络的方法上,特别是当网络包含隐结点时的训练方法上有重要贡献。
|