Hopfield网络的基本

霍普菲尔德于1982年发明了Hopfield网络，从那时开始，人们就将多种不同的神经网络模型组合在一起，互相比较，得到了较好的性能与鲁棒性。据我所知，由于Hopfield网络是Boltzmann机器和深度信念网络（DBN）的基础，因此在介绍Boltzmann机器和Deep Belief 网络的教材中，都会介绍Hopfield网络。

与当前热门的深度网络相比，Hopfield网络从不同的视角观察了人类的学习系统，值得我们一探究竟。让我们看看Hopfield网络得基本运作机理。

Hopfield网络基础及其运作方式

Hopfield网络的核心是，输入残缺的数据后，可以重建完整数据的一个模型。

我们可以将网络描述为使用链接连接节点（或称单元、神经元）的网络。每个节点在任何时间点为-1或1中的某个状态，我们可以使用向量V表示给定时间点，各个节点的状态。

Hopfield网络是个全连接网络（即是个全连接的无向图），如图1所示，即每个节点都与其他节点连接，我们使用链接表示这种连接，因此这种链接是对称的，换句话说，节点i和节点j之间的链接是一样的，没有方向的区别，我们使用权重来表示各个节点之间连接的强度，因此，我们使用矩阵W来表示节点之间连接的强度（权重），我们可以很容易的知道这是对称矩阵。

图1：具有4个节点的Hopfield网络

我们可以使用以下V和W来表示这个网络。

我们如何才能得到权重矩阵W呢？首先，我们可以注意到节点不链接到自身，因此我们可以将权重矩阵的对角置为0。正如我们前面所知道，这是一个对称矩阵，即Wab=Wba, 我们可以将权重矩阵与节点的状态结合起来，即Wab=Va*Vb，这样我们就可以得到一个权重矩阵W， 如下式所示。这其实就是等一下我们要讨论的Hebbian学习规则。

现在，构建了权重矩阵之后，我们需要定义规则，确定每个节点的状态。由于节点的状态为（-1,1），因此我们制定了以下规则：

现在，让我们来看看Hopfield网络实际上如何工作。比如说，我们有残缺的V’=[1, -1, -1, -1]，也就是最后一位反转了。我们可以使用V’初始化网络状态。

Figure 2: 残缺输入的Hopfield网络

我们可以使用先前制定的规则，更新网络状态，对于Va，我们有：

Va = f(wab · Vb + wac · Vc + wad · Vd) = +1

注意：尽管Vb和Vc都是-1，但是Wab*Vb 和Wac*Vc 对x的贡献为正值，反转的节点贡献为负值，这样所得到的Va为+1。换句话说，使用向前所构建的W，如果节点的状态与原本的状态相反，我们将迫使其转变到相反的状态，如果节点的状态与原本的状态一致，则停留在原来的状态。不同的状态互相排斥，相同的状态互相吸引。这是Hebbian学习规则的一种表述。

类似得：

Vb = f(wba ·Va + wbc · Vc + wbd · Vd) = -1

Vc = f(wca · Va + wcb · Vb + wcd · Vd) = -1

现在，对于反转的位，我们可以得到：

Va=+1吸引节点d，因此Wda*Va>0, 而Vc=Vd=-1，排斥节点d，因此总体上贡献了正值wdc · Vc + wdb · Vd >0。

原来相同的节点趋向于相同的状态，原来相反状态的节点排斥对方到相反的状态。这样我们修复了原始的V。

但是，是什么原理使得Hopfield网络可以运行呢？

到目前为止，我们发现，一旦网络完全确定了，也就是W和状态向量V确定了，这样我们恢复残缺的V，我们根据规则，更新网络状态即可。

换句话说，在使用V’初始化网络状态后，我们可以让网络使用以上规则进行演化，这样网络就可以收敛到先前的状态。不仅如此，当网络到达先前状态后，无论网络迭代多少次，网络的状态依然保持不变。

让我们来看看为什么吧？

我们可以定义一个函数，这个函数使用状态V和矩阵W作为自变量。我们将这个方程称为与网络状态相关的能量方程，将其表示为：

见证奇迹的时刻到来了。

结论1

如果节点Vi的状态从+1变为-1，我们将会得到：

现在，如果将Vi的状态从-1变为原来的+1，那么dVi=2， 这意味着xi为正数，也就是Delta能量为负，这样能量就是单调递减，直至到达最低点。

结论2

但是，是否存在最低点，或者能量将一直减小直到负无穷？

换句话说，我们要弄清楚，Delta能量是否可用为0。为了使Delta E =0，我们需要使dVi=0，也就是要Vi(k-1)’ = Vi(k)’，也就是前一状态的的Vi和后一状态的Vi相同。

让我们假设，Vi(k-1)’ = +1，我们要Vi(k)’ = +1，或者说 xi(k) > 0。

由于Vj(k-1)’ = Vj ，因此xi(k) 一直为正。

总之，我们证明了当状态恢复为原值时，能量方程不会再改变了。换句话说，dVi=0，节点不会更新到不同的值---系统到达了稳定的配置状态。

以下是Hopfield Network的源代码。

额外的函数