Tuesday, April 2, 2013

对比Voter模型和Ising模型不难发现,Voter模型中并不存在能量,但是给出了每个微观个体状态转变的具体规则,而在Ising模型中,单个小磁针的状态改变没有具体的规则,但是系统整体定义了总能量,于是只有那些可以使得总能量变小的微观个体转变才更容易被接受。

对比Voter模型和Ising模型不难发现,Voter模型中并不存在能量,但是给出了每个微观个体状态转变的具体规则,而在Ising模型中,单个小磁针的状态改变没有具体的规则,但是系统整体定义了总能量,于是只有那些可以使得总能量变小的微观个体转变才更容易被接受。



相变、临界与重正化2——ISING模型
2013-03-28 01:24:36  复杂系统  相变  临界 

m随H,T的变化

ISING模型简介

可以毫不夸张地说,Ising模型是统计物理中迄今为止唯一的一个同时具备:表述简单、内涵丰富、应用广泛这三种优点的模型。Ising模型的提出是为了解释铁磁物质的相变,即磁铁在加热到一定临界温度以上会出现磁性消失的现象,而降温到临界温度以下又会表现出磁性。这种有磁性、无磁性两相之间的转变,是一种连续相变(也叫二级相变)。Ising模型假设铁磁物质是由一堆规则排列的小磁针构成,每个磁针只有上下两个方向(自旋)。相邻的小磁针之间通过能量约束发生相互作用,同时又会由于环境热噪声的干扰而发生磁性的随机转变(上变为下或反之)。涨落的大小由关键的温度参数决定,温度越高,随机涨落干扰越强,小磁针越容易发生无序而剧烈地状态转变,从而让上下两个方向的磁性相互抵消,整个系统消失磁性,如果温度很低,则小磁针相对宁静,系统处于能量约束高的状态,大量的小磁针方向一致,铁磁系统展现出磁性。而当系统处于临界温度T_C的时候,Ising模型表现出一系列幂律行为和自相似现象。


由于Ising模型的高度抽象,人们可以很容易地将它应用到其他领域之中。例如,人们将每个小磁针比喻为某个村落中的村民,而将小磁针上、下的两种状态比喻成个体所具备的两种政治观点(例如对A,B两个不同候选人的选举),相邻小磁针之间的相互作用比喻成村民之间观点的影响。环境的温度比喻成每个村民对自己意见不坚持的程度。这样,整个Ising模型就可以建模该村落中不同政治见解的动态演化(即观点动力学opinion dynamics)。在社会科学中,人们已经将Ising模型应用于股票市场、种族隔离、政治选择等不同的问题。另一方面,如果将小磁针比喻成神经元细胞,向上向下的状态比喻成神经元的激活与抑制,小磁针的相互作用比喻成神经元之间的信号传导,那么,Ising模型的变种还可以用来建模神经网络系统,从而搭建可适应环境、不断学习的机器(Hopfield网络Boltzmann机)。


Ising模型之所以具有如此广泛的应用并不仅仅在于它的模型机制的简单性,更重要的是它可以模拟出广泛存在于自然、社会、人工系统中的临界现象。所谓的临界现象,是指系统在相变临界点附近的时候表现出的一系列的标度现象(Scaling phenomena),以及系统在不同尺度之间的相似性。临界系统之中不同组成部分之间还会发生长程的关联,这种通过局部相互作用而导致长程联系的现象恰恰是真实复杂系统,如社会、经济、认知神经系统的复杂性所在。因此,Ising模型不仅仅是一个统计物理模型,它更是一个建模各种复杂系统模型的典范。
ISING模型简史

Ising模型最早的提出者是Wilhelm Lenz (1920)。后来,他让他的学生Ernst Ising对一维的Ising模型进行求解,但是并没有发现相变现象,因此也没有得到更多物理学家的关注。

随后,著名的统计物理学家Lars Onsager于1944年对二维的ISING模型进行了解析求解,并同时发现了二维ISING模型中的相变现象,从而引起了更多学者的注意。

之后,随着物理学家Landau、Ginzburg等人的努力,人们发现了Ising模型与量子场论之间的联系,并创立了平行的“统计场论

模型表述


考虑一个如下图所示的晶格世界:

网格上的小磁针


Ising模型示例

假设第i个节点是一个小磁针(或者一个村民),每个小磁针有上下两种状态(村民有上,下两种意见),我们用s_i来表示这个状态,并且


s_i=\left\{\begin{array}{ll} +1 & \\
 -1 & \end{array}\right.

表示磁针朝上或者朝下。网格上相邻的两个小磁针可以发生相互作用。

总能量


我们可以通过总能量的概念来刻画这种相互作用:即如果两个相邻方格的小磁针状态一致(例如都是朝上),则系统的总能量减1单位,否则如果不同就加1单位。外界还可能存在磁场,如果小磁针方向与外场方向一致,则能量也会降低。我们定义总能量:


E_{\{s_i\}}=-J\sum_{}{s_is_j}-H\sum_{i}^N{s_i}

其中J为一个能量耦合常数,E_{\{s_i\}}表示系统处于状态组合\{s_i\}下的总能量。求和下标表示对所有相邻的两个小磁针进行求和。我们看到,如果s_i=s_j,则总能量就会减少J。H表示外界磁场的强度,它是一个参数,如果外界磁场向上H为正,否则为负。如果某个小磁针的方向与外场一致,则总能量减少一个单位。

例如,假设系统中仅仅有3个小磁针,它们彼此相连(虚线表示构成邻居关系)形成一个三角形,如图:

示例

每个小磁针有+1,-1两种可能状态,那么所有的状态组合就包括:


\{s_i\}=\{+1+1+1,+1+1-1,+1-1+1,+1-1-1,-1+1+1,-1+1-1,-1-1-1\}


那么这8种状态组合,每一个都对应一个唯一的能量值,它们分别是:



E_{\{+1+1+1\}}=-J(1\times 1 + 1\times 1+ 1\times 1)-H(1+1+1)=-3J-3H, E_{\{+1+1-1\}}=-J((1\times 1)+(1\times (-1))+((-1)\times 1))-H(1+1-1)=J-H,


 E_{\{+1-1+1\}}=J-H, E_{\{+1-1-1\}}=J+H,E_{\{-1+1+1\}}=J-H,


E_{\{-1+1-1\}}=J+H, E_{\{-1-1+1\}}=J+H, E_{\{-1-1-1\}}=-3J+3H


系统中小磁针的相互之间以及与外场方向一致的话,则系统的能量就低。所以+1+1+1为能量最小的状态。沿用村民的比喻来说,系统的能量相当于村民观点存在的冲突的数量。如果两个相邻的村民意见不一致,总冲突数就+1,否则就减1。而外场建模了观点的媒体宣传效应,如果村民的观点与舆论宣传一致,则能量越低,因此也越和谐。

温度


但是,系统的演化并不完全由总能量决定。由于小磁针处于噪声环境中,热涨落又会引起小磁针的状态随机反转。我们可以用温度T来衡量这种环境影响的随机性。T越高,则小磁针发生反转的概率就会越大。

这样,有两种力作用在小磁针上,一种力来源于小磁针邻居以及外场对它的影响,这种影响倾向于使得相邻的邻居彼此状态一致以及与外场尽量一致,即尽量使得系统的总能量达到最小。另外一种力则来源于环境噪声的扰动,它迫使小磁针无视邻居的作用而发生随机的状态反转。于是,每个小磁针就挣扎于这两种不同的力量之间。不难想象,假如温度T趋于0,则每个小磁针都会与外场相一致,那么,最终系统将处于全是+1或者全是-1的状态(取决于外场H是正还是负)。假如T特别高,而相互作用强度J特别小,则邻居间的作用可以忽略,每个小磁针都完全随机地取值。

这样,整个ISING模型就有两个外生给定的参数T,H来表示环境的温度和磁场强度。在村民的比喻中,温度相当于村民进行观点选择的自由程度,温度越高,村民选择观点越随机,而不受自己周围邻居的影响;否则村民的选择严重依赖于邻居和媒体宣传。

蒙特卡罗模拟


下面我们来讨论Ising模型的计算机模拟。有趣的是,Ising模型的模拟方法与我们熟悉的模拟方法很不同,它并没有为每个小磁针制定状态转变的规则,而是先让每个小磁针的状态发生随机变化,再根据能量来依概率接受这种状态变化。

具体作法是:
 在每一个仿真周期,模拟程序会根据当前的状态组合s_{i}(t),进行小的改进(例如随机翻转某一个小磁针),得到一个新的状态组合s_i′。

 但是系统下一时刻的状态并不是直接取为该状态组合,而是以概率发生:

 

 s_i(t+1)=\left\{\begin{array}{ll} s_i′ & \mbox {with probability } \mu, \\
 s_i(t) & \mbox {with probability }1-\mu.\end{array}\right.

    

 其中概率\mu按照如下公式计算:

 

 
  \mu=\min{\{\exp{(E(s_i(t))-E(s_i′))/(kT)},1\}}
  



也就是说,系统会按照概率\mu接受新的状态组合s_i′。其中\mu与新状态组合能量与当前能量的差值以及温度有关。如果状态组合s_i′的能量值大于原状态组合s_i(t)的能量值,则\mu<1但不为0,所以系统有可能接受这个状态组合。如果E(s_i′)<E(s_i(t)),则\mu=1,则系统肯定会接受状态组合s_i′。这样,系统会更加倾向于往能量减少的状态组合方向演化,但是也会以一定的概率演化到能量大的状态组合,这种演化到能量较大的状态组合的概率由参数T确定。如果T越大,则系统接受一个能量较高状态组合的概率也会越大,也就是说系统越随机。否则系统会比较规矩地沿着能量下降的方式演化,系统相对秩序。

按照这个接受概率规则,每一时刻,系统生成一个新的候选状态组合,然后再根据能量的大小决定是否接受它。于是,就进行了一步系统演化。




为什么要按照这样的方式来模拟Ising模型的运行呢?这是因为按照上述算法,系统可以最终达到如下的概率分布状态:


p(\{s_i\})=\frac{1}{Z}\exp(-\frac{E_{\{s_i\}}}{kT})

这个分布就是著名的玻尔兹曼分布,其中k为玻尔兹曼常数,等于1.3806488\times 10^{23}Z为归一化因子:


Z=\sum_{\{s_i\}}\exp(-\frac{E_{\{s_i\}}}{kT})

其中,求和符号是针对所有可能的状态组合的。这样可以保证概率归一: 
\sum_{\{s_i\}}p(\{s_i\})=1

在统计物理中,Z又称为系统的配分函数,它是温度T和外场H的函数,即:Z(T,H)。这个函数非常重要,因为它决定了系统的各种热力学性质。

在玻尔兹曼分布中,每个状态组合出现的概率将会与该状态组合下的总能量的负值呈现指数关系。也就是说,能量越小,该状态组合的出现概率也就越大。反之,出现概率会随着能量增加而快速衰减。并且温度T会对衰减速度起到调节作用。这里出现概率的具体含义是指:如果针对同样参数和初始条件的Ising模型进行多次重复试验。运行很长时间后,我们观察这些Ising模型处于什么样的状态组合,则某一状态组合在若干实验中的出现频率会接近波尔兹曼分布。用统计物理的术语来说,这些试验就称为一个系综

因为已知在现实的铁磁物质中,系统与环境的热交换构成了一个统计物理中的正则系统,系统最终会达到玻尔兹曼分布的状态,所以为了模拟真实的铁磁物质,Ising模型也应该达到这个稳态分布。我们可以从数学上证明,上述随机过程的稳态分布就是根据统计力学计算出来的分布结果。这种模拟方法就是Ising模型的蒙特卡罗模拟方法,也叫做Metrapolis算法。

模拟结果


状态组合


首先,我们可以将+1对应为黑色,-1对应为白色,从而用图表示出在不同温度下系统达到稳态的模拟结果,如下图:

ISING Model Simulation

在图中,不同的行对应了不同的温度值。第一行的温度T>T_C,第二行T\approx T_C,第三行T<T_C。其中,T_C为临界温度,我们将在后面介绍如何计算该数值。当温度小于临界值的时候,Ising模型中大多数磁针都取相同的颜色,系统处于较为秩序的状态。当温度大于临界值的时候,每个小磁针的颜色会比较混乱无序,系统处于随机的状态。而当温度接近临界的时候,系统的运行介于随机与秩序之间,也就是进入了混沌的边缘地带。我们将这种状态称为临界状态

需要明确的是,上述截图仅仅是在成千上万种可能状态组合中的一种,但是却是最可能的一种(即概率较大的一种)。因为根据玻尔兹曼分布表达式,原则上讲,无论T和H为多少,任何一种状态组合\{s_i\}都有可能,但是可能性会随着状态组合的能量增加而迅速衰减。因此我们会以较大的概率看到那些能量小的状态。

热力学量


除了从图形定性地看出Ising模型的运行以外,我们还可以研究模型的热力学性质,从而考察这些宏观量在稳态条件下如何依赖于参数,并与实验结果进行比较。以下结果都是对2维Ising模型的模拟或计算结果。

平均磁矩


首先,可以定义平均磁矩这个量。如果将所有小磁针+1或-1的状态进行代数和,可以得到:


M_{\{s_i\}}=\sum_{i=1}^N{s_i}

其中N为系统中所有小磁针的个数。M_{\{s_i\}}就是系统中在给定状态s_i条件下,总的磁矩(每个小磁针向上或者向下都是矢量)。在稳态条件下,系统满足平衡分布,那么,对所有可能的状态按照它们出现的概率进行加权平均就得到了整个系综的平均磁矩(即对所有可能的实验结果求平均):


\langle M\rangle =\sum_{\{s_i\}}{M_{\{s_i\}}p_{\{s_i\}}}=\frac{1}{Z} \sum_{\{s_i\}}{M_{\{s_i\}}\exp (-E_{\{s_i\}}/(kT))}

对应的每个小磁针的平均磁矩为:


m=\frac{\langle M\rangle}{N}

通过计算机模拟实验,也可以通过平均场近似方法解析地给出平均磁矩随参数H和T的变化情况:

m随H,T的变化

注意,这张图在H=0的位置发生了断裂,这意味着系统在此参数附近存在着突变的现象。另外,当我们从H=0这个截面观察该图形,会发现,当T比较小的时候,m的值同时存在两个分支,一个大于0,一个小于0。这表明,当外界磁场消失以后,如果温度足够低低于临界数值T_C的话,小磁针的平均方向可能朝上也可能朝下,系统出现了对称性破缺。图中豁口的交汇点对应的恰恰是临界温度T_C的位置。如果T>T_C,则m始终为0,系统处于对称的状态。

进一步,我们还可以画出m在不同参数T下随参数H的变化图:

m随H的变化

这张图更加清晰地揭示出系统发生了相变。首先,我们看到当T<T_c的时候,m随H的曲线发生了断裂。也就是说当H值连续地从小于0变到大于0的时候,热力学量m从小于0不连续地变到了大于0。这种热力学函数随参数发生不连续的变化现象称为一级相变。当T=T_C的时候,这条m对H的曲线又连接到了一起,没有在H=0的点发生断裂。但如果我们考察m-H曲线的斜率会发现,斜率是无穷大。当热力学量随某一参数的变化连续,但是导数发散的时候,我们称该系统正在发生二级相变,也叫连续相变

为了更深入地理解m值在临界点T=T_C, H=0附近的行为,我们将研究m与归一化的温度((T_C-T)/T_C)的关系如下图:

临界点行为

我们看到m随归一化温度呈现出幂律规律的变化,可以用如下公式表示:

m_0\sim (\frac{T_C-T}{T_C})^{\frac{1}{\beta}}

其中这个关系的幂指数\beta模拟数值接近于8。

磁导率


除了磁矩的平均值,我们还可以计算出磁矩的涨落,我们将这个平均涨落称为磁导率,定义如下:


\chi{(T,H)}=\frac{\langle M^2\rangle -\langle M\rangle^2}{NkT}

类似地,我们将磁导率与归一化温度曲线画在双对数坐标下得到一条直线(当H=0):

磁导率

图中的黑色曲线表示T>T_C的结果,开放圆圈表示T<T_C的结果。这个幂律行为可以用公式:

\chi\sim (|T-T_C|/T_C)^{-\gamma}

表示,其中指数\gamma约等于7/4。

比热


按照类似的方法,我们还可以定义系综的平均能量:


\langle E\rangle =\frac{1}{Z} \sum_{\{s_i\}}{E_{\{s_i\}}\exp (-E_{\{s_i\}}/(kT))}

能量的平均涨落就是比热:


c=\frac{\langle E^2\rangle-\langle E\rangle^2}{NkT^2}

在0外场情况下,比热在临界点附近也呈现出与归一化温度的幂律关系:

c\sim (|T-T_C|/T_C)^{-\alpha}

关联强度


每个小磁针都是一个随机变量,我们可以计算任意两个小磁针i,j的统计关联性,从而考察相隔任意距离的两个小磁针是否具有联系。具体地,我们定义关联强度为:


g(i,j)=\langle (s_i-\langle s_i\rangle)(s_j-\langle s_j\rangle)\rangle=\langle s_is_j\rangle-\langle s_i\rangle \langle s_j\rangle

通过模拟我们发现,相关函数仅仅与两个小磁针之间的距离r有关,并且当温度远离临界温度的时候,相关函数与距离的函数呈现指数衰减:


g(r_{ij})\sim \exp(-r/r_0)

其中,r_0为一常数,称为特征尺度。也就是说,任意两个磁针的统计相关性会随着它们彼此之间的距离增长而快速衰减,只要距离稍大于特征关联尺度,则关联性就会接近于0。

但是,在临界温度附近,两磁针之间的统计相关性却呈现出幂律的形式,即:


g(r_{ij})\sim r^{-(d-2+\eta)}

其中d为Ising模型所在空间的维度,\eta为幂律指数。幂律衰减会比指数衰减慢很多,这也就意味着两磁针之间的关联长度会很长。假如我们仍然用指数函数来拟合相关性的衰减,即假设g(r_{ij})\sim \exp(-r/r_0)在临界温度的时候仍然成立,那么r_0就可以写为:


r_0\sim |\frac{T_C-T}{T_C}|^{-\nu}

所以,当T\rightarrow T_C的时候,特征尺度r_0\rightarrow \infty。也就是说,小磁针彼此发生了长程相关:局部的空间涨落会通过某种合作机制传递并影响了相隔很远的小磁针。

临界相变


通过上述的讨论,我们已经对Ising模型的提出、模拟办法以及得到的一系列模拟、计算结果进行了粗略的介绍。我们看到,Ising模型的美妙之处就在于从一个相对简单而干净的模型出发,仅通过两个自由参数H和T,就可以复制出真实铁磁物质的相变行为。尤其是当系统处于临界参数的时候,即温度T=T_C,外界磁场强度H为0,系统展现出来的是二级相变连续相变)。系统一切宏观热力学量都展现出标度行为,我们将这种特殊的相变称为临界相变,而将系统所体现出来的标度(幂律)行为、长程相关等现象统称为临界现象

临界现象不仅仅是ISING模型、铁磁物质所独有的,它具有相当的普遍性。它会在很多复杂系统中体现出来,例如气-液相变过程、湍流,甚至股票市场、经济系统等。临界系统体现出的一个重要特征就是:自相似性和长关联性。让我们再来考察临界状态下的模拟图:

临界状态下的ISING模型

这是在外场H=0,温度刚好等于临界温度的时候各个小磁针构成的一个构型。从该图中,我们看到同一种颜色(即状态一致)的小磁针形成了彼此连通的团簇。这些团簇的尺寸有大有小。单独一个团簇具有一定的自相似性,它构成了一个分形。并且团簇的形态会在多个尺度重现类似的模式。假如我们将系统放大或者缩小,我们将无法分辨出不同之处,这就是无标度性这个名词的来源。

更有意思的是,当系统处于临界状态的时候,它的行为会呈现出一定的普适性。也就是说,无论系统的微观作用规则如何,系统的临界参数、各种热力学量的临界指数(如\alpha,\beta,\gamma等)都相同。因此,人们将具有相同临界指数的模型类划分为普适类。拿Ising模型来说,无论Ising模型位于什么样的空间中(例如四方晶格、六角格、三角格等),它们的微观规则也可能略有不同,但是,所有这些Ising模型都属于同一个普适类,也就是说它们具有相同的临界温度和临界指数。

另外一个表现出临界行为以及临界相变的简单例子就是渗流模型

ISING模型的重正化


我们不仅要模拟Ising模型,还要求出它的临界温度,以及各个热力学量的临界指数。目前,人们已经发展了多种求解Ising模型的方法,包括:模型的解析求解、平均场近似的方法、Landau的近似方法、以及重正化群的方法等。

在这些方法中,重正化群方法与众不同,它是直接从模型达到临界后所展现出来的自相似性出发,写出重正化方程以及重正化算符。那么临界温度和各种临界指数就可以从该算符的线性化中求出。更有趣的是,由重正化群技术出发,我们自然可以得出所谓的“普适类”的概念:即存在一类Ising模型,虽然他们的微观规则很不相同,但是却具有相似的临界指数。实际上,这些模型都处于同一个普适类曲面上,即它们经过无穷多次重正化操作后都会收敛到相同的不动点。具体参见:ISING模型的重正化

更多应用


Ising模型目前应用非常广泛。本小节主要从社会科学和神经科学这两个方面介绍它的应用。

投票模型


在社会科学应用方面,我们主要介绍一个叫做投票(Voter)的模型。假设有一个村落,每家每户都规则地排列在一个网格上。每个人都有自己的政治观点,假设第i个村民的政治观点是s_i,其中s_i可以在有限状态集合V中取值。我们用不同的颜色来表示不同人的政治观点,如下图所示:

Voter Model

这张图展示了模型的一个瞬间的状态,其中每个村民都有6种不同的政治观点,它们被表达为6种不同的颜色。


Voter模型的演化规则如下:每一个时刻,有n个村民会改变自己的政治观点,他们会随机地从自己周围的八个邻居中选择一个邻居,拷贝他的政治观点(被他的邻居说服了)。n越大,就会有越多的村民改变自己的观点,系统变化会很快,而n越小,则系统演化就会越慢。

随着模型的演化,相同观点的人们开始形成团簇,如图所示:

Voter Clusters

如果模型继续演化,则6种观点中的5个将会消失,只剩下一种观点,但具体是哪一个我们无法预测。但我们可以确定系统必然收敛到一种确定的政治观点,这是因为该模型等价于一个带吸收壁的随机游走,系统将最终收敛。

然而,如果我们稍作变化,只要每个村民在每个周期都会有一个小概率v发生政治观点的随机变化(并不拷贝邻居的颜色)。那么这个系统就将持续演化下去,不会停留在固定的状态上。不难看出,在这种改进的模型中,Voter模型与Ising模型很相似。其中,村民拷贝邻居的观点相当于Ising模型中,小磁针朝能量减小的方向演化。而每个村民按小概率v发生观点随机变化就相当于环境噪声的影响。如果适当地选择v参数的大小,Voter模型将会达到和ISING模型类似的效果,即存在着临界的概率v_C,使得系统处于临界状态。与ISING模型不同的是每个村民的状态取值可以更多。

对比Voter模型和Ising模型不难发现,Voter模型中并不存在能量,但是给出了每个微观个体状态转变的具体规则,而在Ising模型中,单个小磁针的状态改变没有具体的规则,但是系统整体定义了总能量,于是只有那些可以使得总能量变小的微观个体转变才更容易被接受。当运行起来以后,Voter模型与Ising具有相似的行为,这意味着这两种状态更新方式存在着一定的等价性。我们看到,Voter模型中每个村民拷贝某个邻居的观点相当于使得这两个格点的状态乘积尽量等于1(当有+1,-1两个状态的时候),也相当于降低系统整体的能量。反过来,要想降低Ising模型中的总能量,一种明智的方法就是使得两个相邻格点的小磁针状态一致。由此可见,这两种模型存在着天然的对应。也意味着,我们可以定义Voter模型的能量函数,也可以为Ising模型指定微观演化的规则。

与此类似的社会学模型还有很多,例如著名经济学诺贝尔奖得主Thomas C. Schelling的种族隔离模型也是一个类似的温度T=0的Ising模型。种族隔离模型假设一个街区中随机分布着两种肤色的人,例如黑人和白人。假如一个黑人周围的白人过多,则黑人会搬家(移动到周边的方格),否则如果白人周围是黑人,他也会搬家。这样经过足够长时间的演化,系统将形成不同的肤色的区块。这个模型与ISING模型有很多异趣同工的地方。

Hopfield神经网络模型


Ising模型的一个显著的性质就是,随着系统的演化,它的能量会自发地降低。我们前面已经提到这种让整体降低能量的方法实际上与拷贝邻居状态的微观原则一致。于是,我们可以设计一种微观的演化机制,而使得宏观的某种待优化的函数(例如能量)能够自然地被优化。这就是Hopfield网络模型的起源。

Hopfield网络是一个著名的神经网络模型,通过对网络进行训练,可以让它记住相应的模式,并在适当的条件下联想回忆提取出相关的模式。也就是说,Hopfield模型通过训练(改变相互连接的权重),可以将要记忆的模式映射为能量最小的状态,之后通过Ising模型的邻域相互作用规则自发演化到这种最小能量状态。Hopfield的构造如下,一个加权的网络,如下图,每个节点都是一个神经元,加权的连边表示神经元之间的突触连接。

Hopfield-net.png


假设每个神经元有两种状态:激活、未激活,分别用s_i=+1,-1来表示。神经元i到j的连接权重用w_{ij}来表示。

在初始时刻,我们把输入向量映射为每个神经元的激活、未激活状态。然后,Hopfield网络的运行规则如下,在每一个仿真周期,每个神经元根据下述规则更新状态:

s_i(t+1)=\left\{\begin{array}{ll} 1 & \mbox {if }\sum_{j}{w_{ij}s_j(t)}>\theta_i, \\
 -1 & \mbox {otherwise.}\end{array}\right.


这里\theta_i为阈值常数。根据这条规则,如果与神经元i相邻的所有神经元都激活,并且它们的连接权重为正的话,那么该神经元就有可能被激活。这就相当于最小化一个全局的能量函数,能量函数定义为:


E_{\{s_i\}}=-\sum_{ij}w_{ij}s_is_j - \sum_{i} \theta_i s_i

那么,Hopfield网络按照上述规则运行就会使得总能量尽量降低。相比较Ising模型,我们看到,Hopfield的能量函数与Ising模型非常相似,所不同的是相互作用强度因连接而异(w_{ij}),同时外场\theta_i也会因神经元不同而不同。因此,可以说Hopfield网络就是一个变种的Ising模型。

另外,要想让Hopfield网络完成联想记忆,还需要给该网络进行训练。所谓的网络训练,就是要通过一定的规则来改变神经元之间的连接权重w_{ij}。假设我们希望Hopfield网络能够记住一组特定的向量(例如V_1,V_2,V_3,...,V_{m})其中m为待学习的向量的个数,每一个向量可以写为:


V_i=

其中向量的长度为n。我们按照如下的规则来调解权重:


w_{ij}=\sum_{\nu=1}^{m}V_{\nu}(i)V_{\nu}(j)

V_{\nu}(i)表示要学习的第\nu个向量的第i个分量的值。

按照这种方式对整个网络进行训练之后,我们就得到了一组权重w_{ij}。之后,我们就用这组权重作为Hopfield网络中的连接权重,然后针对任意一个输入数据作为神经元的初始状态,按照Hopfield的运行规则演化,系统将逐渐收敛到已记忆过的向量V_1,V_2,V_3,...,V_{m}中的一个。

总结来看,Hopfield网络的运行分为两个阶段,它们的输入数粗示意图如下所示:

Hopfield网络训练与运行

例如,下图就是Hopfield网络运行的结果。

Face recognition with hopfield network.jpg

其中右侧人脸就是训练的数据,左侧的人连为初始向量输入给网络,经过一段时间的演化最终收敛到训练数据。



ISING模型的重正化




在Ising模型的介绍中,我们给出了模型的模拟结果,但是,我们仍然不知道临界温度T_C是如何求出的。另外,在临界状态中,系统的热力学量呈现出一系列的标度行为,它们可以由幂指数\alpha,\beta,\gamma,\eta等来刻画,但是我们仍然不知道如何求出它们的数值。尽管对Ising求解有很多种方法,重正化则是这些方法中最独特的一个。它一反传统方法的讨论,即从模型的动力学性质或者统计性质出发,求出临界温度和幂律指数,而是直接从模型处于临界时候所展现出来的自相似性出发直接对模型进行重正化计算,而忽略模型的详细规则。

对于Ising模型的重正化方法主要包括:实空间的重正化和波数空间(或者叫动量空间)的重正化两种方法。前者比较直观,即从对Ising所在的空间进行不同尺度的缩放操作,从而得到模型的尺度不变性质。后者虽然比较抽象,而且依赖于Ising模型配分函数的空间积分形式,但是却可以得到比较精确,而且不依赖于粗粒化方法的解。

实空间的重正化


重正化方法的出发点是基于Ising模型在临界状态下具有广泛的不同标度之间的相似性。然而,这种自相似性具体指的是什么呢?

首先,我们需要从不同的尺度来观察Ising模型。然而,Ising模型本身就是一个N个小磁针构成的晶格系统,晶格之间的距离已经是最小尺度了,我们无法再观察更小尺度的系统。但是,我们可以从更大的尺度来观察Ising模型。这就意味着,我们需要对一些小磁针进行信息的忽略,从而获得对系统的更粗的描述。这一过程就成为“粗粒化”(Coase Graining)过程。

其次,我们应如何定义同一个Ising模型不同的尺度下的相似性呢?我们知道,Ising模型是一个包含了随机演化的动力学过程,而不是一个简单的静态图形,因此,我们并不能简单地套用分形的方法来处理Ising模型。那么,在诸多因素中,哪一个是制约Ising模型最核心的因素呢?根据统计力学,我们知道,这个核心因素就是配分函数Z(H,T)。这是因为,从配分函数出发,我们可以得到一切热力学量。

我们已知,Ising模型的稳态分布为:


p(\{s_i\})=\frac{1}{Z}\exp(-\frac{E_{\{s_i\}}}{kT})

这是著名的玻尔兹曼分布,其中Z为概率归一化常数,也是H和T的函数,因此成为配分函数,它可以写为:


Z(H,T)=\sum_{\{s_i\}}\exp(-\frac{E_{\{s_i\}}}{kT})

通过Z(H,T),我们可以求出一切Ising模型的热力学量。例如,配分函数对外场H求导就可以得出平均磁场强度。


\frac{\partial{\ln{Z(T,H)}}}{\partial{H}}=\frac{1}{Z}\sum_{\{s_i\}}{\frac{\sum_{i=1}^N {s_i}}{kT}}\exp{(-\frac{\sum_{\{s_i\}}E_{\{s_i\}}}{kT})}=\frac{\langle M\rangle}{kT}

对H的二阶导数就是磁导率:


\chi=kT\frac{\partial {^2\ln{Z(T,H)}}}{\partial{H^2}}

对温度T求二阶导数就是比热:


c=-T\frac{\partial^2{\ln{Z}}}{\partial{T^2}}

因此,只要配分函数的函数形式确定之后,系统的一切热力学性质就都确定下来了。这样,当我们说Ising模型在两个尺度彼此相似的时候,实际上是在说两个不同尺度下的配分函数形式相同。

总结来看,重正化操作实际上包含两大步骤,(1)对系统进行粗粒化,从两个不同的尺度上描述Ising模型;(2)写出两个不同尺度下的配分函数,让它们的形式彼此相同。根据这个条件,我们就可以写出重正化群方程,从而计算出我们想要的值。

一维ISING模型的重正化


一维Ising不存在临界相变点,因此重正化群方程也不能得到非平凡的解。但是,由于一维Ising模型的重正化操作简单易懂,所以我们还是先用一维模型来讨论重正化的整体思路。

首先,一维Ising形成了一条链,并且相邻的两个小磁针彼此有相互作用如下图第一行所示,其中a表示两个磁针之间的间隔。

然后,我们要对该系统进行粗粒化描述。即观察者站在更远的距离来观察这个模型,忽略了一些微观信息。具体过程如下图所示。

一维ISING模型的重正化

在图中的第一行是原始的模型,第二行是对原始模型的粗粒化,我们把小磁针两两分组,然后简单的忽略了偶数位置上的小磁针的信息,而将奇数位置的小磁针的状态值作为相邻两个小磁针作为一个粗粒化的“大磁针”的整体状态。其中某一个大磁针的状态就用s_I,它也仅仅取-1或者+1,并且数值上与奇数位置的小磁针一样。

这样,第二行所表示的新的Ising模型就是将原系统缩小b=2倍之后的粗粒化描述。为了将这个粗糙的Ising模型与原模型相比较,我们将新的模型再画到原始尺寸上(相当于又将每个小磁针的尺寸缩小了b=2倍)就得到了第三行的图。

我们猜想,当系统处于临界温度的时候,这两个不同尺度的模型应该彼此相似,也就是说它们的配分函数应该具有相同的形式。为了讨论简单,我们设外场H=0,这样原始的Ising模型的配分函数可以写成:


Z(T)=\sum_{\{s_i\}}{\exp(\frac{1}{kT}\sum_{i=1}^{N}s_is_{i+1})}=\sum_{odd}\sum_{even}{\exp(\frac{1}{kT}\sum_{i=1}^{N}s_is_{i+1})}

其中\sum_{odd}表示对所有的奇数位置的小磁针的所有可能状态组合进行求和,同理,\sum_{odd}表示对所有偶数位置的小磁针的状态组合进行取和。当我们忽略所有的奇数位置上的小磁针信息,根据统计力学,我们应该将上式中偶数小磁针部分的求和号显示地算出来:


\begin{align}&Z(T)=\sum_{odd}\sum_{even}{\exp(\frac{1}{kT}\sum_{i=1}^{N}s_is_{i+1})}\\
    &=\sum_{odd}\sum_{even}{\exp(\frac{1}{kT}((s_1s_2+s_2s_3)+(s_2s_3+s_3s_4)+\cdot\cdot\cdot+(s_{N-2}s_{N-1}+s_{N-1}s_{N}))}\\
    &=\sum_{odd}\sum_{even}{\exp(\frac{1}{kT}(s_1s_2+s_2s_3))\cdot\cdot\cdot\exp(\frac{1}{kT}(s_{N-2}s_{N-1}+s_{N-1}s_{N})}
\end{align}

因为所有小磁针仅仅跟左右两个邻居相互作用,所以指数中的每一项可以写成相邻小磁针状态之和。然后,我们再让每一个变量s_i遍历+1和-1并将它们对配分函数的贡献求和,并且注意到:


\sum_{s_i=\pm 1}\exp(\frac{1}{kT}s_i(s_{i-1}+s_{i+1}))=2 \cosh (\frac{1}{kT}(s_{i-1}+s_{i+1}))

于是,就可以得到新尺度下Ising模型的配分函数,这样就得到了新系统的配分函数:


Z′(T)=\sum_{odd}2 \cosh(\frac{1}{kT}(s_1+s_3))\cdot\cdot\cdot 2 \cosh(\frac{1}{kT}(s_{N-1}+s_N))=\sum_{\{s_I\}}2 \cosh(\frac{1}{kT}(s_1+s_3))\cdot\cdot\cdot 2 \cosh(\frac{1}{kT}(s_{N-1}+s_N))

其中,\cosh(x)=(\exp(x)+\exp(-x))/2为双曲余弦函数。

我们知道,新尺度下的配分函数应该与原来的配分函数具有同样的形式,即对于任意的i有:


2 \cosh(\frac{1}{kT}(s_{i-1}+s_{i+1})=\exp(k_0+\frac{1}{kT′}s_{i-1}s_{i+1})

其中,k_0和新的温度T′是待定系数,我们可以通过代入s_{i-1},s_{i+1}以特殊的值(注意它们只能取+1,-1两个可能值),利用待定系数法就可以把位置的系数k_0,T′求出来,即求解下列两个联立方程(*):


\left\{\begin{array}{ll} 2\cosh 2 \frac{1}{kT}=\exp(k_0+\frac{1}{kT′}) & \mbox {when }s_{i-1}=s_{i+1}, \\
 2=\exp(k_0-\frac{1}{kT′}) & \mbox {when }s_{i-1}\neq s_{i+1}.\end{array}\right.

只要参数k_0,T′满足这两个方程,我们代回到原来的粗粒化后的ISING模型的配分函数,就可以得到:


Z(T)=\sum_{\{s_I\}}{\exp(\sum_{I=1}^{N/2}{k_0})}\exp(\frac{1}{kT′}\sum_{I=1}^{N/2}{s_{I}s_{I+1}})=\exp(Nk_0/2)\sum_{\{s_I\}}\exp(\frac{1}{kT′}\sum_{I=1}^{N/2}{s_{I}s_{I+1}})=\exp(Nk_0/2)Z(T′)

即:


Z(T)\sim Z(T′)

也就是说两个配分函数具有相同的形式。其中,\exp(Nk_0/2)为一个比例常数,并不影响配分函数的形式,因此k_0的数值无关紧要。而对于T′,我们可以对方程*进行进一步化简,从而得到方程:

\frac{1}{kT′}=\frac{1}{2}\log (\cosh (2\frac{1}{kT}))

对于一个无穷大(\lim N\rightarrow \infty)的一维ISING模型,我们可以反复地应用上述步骤,从而得到一个T′,T′′\cdot\cdot\cdot,T^{(n)}的无穷序列,并且从第s步到第s+1步的温度满足:


\frac{1}{kT^{(s+1)}}=\frac{1}{2}\log (\cosh (2\frac{1}{kT^{(s)}}))

在进行了无穷大次重正化操作以后,得到不动点(令s\rightarrow \infty):
 \frac{1}{kT^{*}}=\frac{1}{2}\log (\cosh (\frac{2}{kT^{*}}))


这个方程就是温度T所要满足的重正化群不动点方程,从中求解出T*,得到唯一的稳定解:

T^*=0

就是临界温度。因此,我们用重正化群的方法求解出了一维Ising模型的临界温度为0。但是,温度为0这一点并不是系统的相变点。但却是一维模型中的一个平凡的满足自相似性的点(因为配分函数在标度变换下保持不变)。所以,重正化群方法进行了成功的预测。

二维ISING模型的重正化


我们可以采用类似的思路对二维网格上面的Ising模型进行重正化,写出重正化群方程。但是,由于二维模型的邻域结构远比一维模型复杂,因此,重正化方法也变得复杂。我们可以按照直观的方法对空间网格进行归并,但是这样计算写出的式子非常繁琐。为了让重正化方程简单,我们不得不增加自由参数的个数(类似一维模型中的k0和T′),在二维模型中,我们需要考虑至少4个自由待定参数,即K_1,K_2,K_3,K_4

首先,我们对二维网格ISING模型进行粗粒化描述,见下图:

二维ISING模型的重正化

为了使得后面的计算尽量简单,我们并没有直接将二维网格划分成b\times b的大网格,而是按照上图(a)所示方法进行忽略信息。即将图(a)中的灰色方格的小磁针忽略掉,只保留白色格子的小磁针。接下来得到的图(b)就是保留下白色方格小磁针之后的ISING模型。注意原模型中的s_5去掉了,在新模型图(b)中,小磁针1,2,3,4成为了邻居。将图(b)顺时针旋转45度,并将尺度缩小1/\sqrt(2)就可以得到跟原模型(图(a))一致的Ising模型。图b和c中的虚线为二维Ising模型重正化群过程引入的非近邻相互作用(参见下文)。

同样地,我们可以将原系统的配分函数写成两部分,一部分为去掉的黑色方格的,另一部分为剩下的白色格子的。另外,为了记号方便,我们记K_1=\frac{1}{kT}


Z(K_1,N)=\sum_{white}\sum_{black}\exp(K_1\sum_{}s_is_j)

把黑色部分的求和求出来,既得到了新标度的Ising模型(图(c))的配分函数:


Z(K_1,N)=\sum_{white}\cdot\cdot\cdot 2\cosh(K_1(s_{i,1}+s_{i,2}+s_{i,3}+s_{i,4}))\cdot\cdot\cdot

期中s_{i,1},s_{i,2},s_{i,3},s_{i,4}为第i个小磁针的上下左右4个邻居。为了让这个新的配分函数保持与原来的配分函数一致,需要引入K_0′,K_1′,K_2′,K_3′四个待定系数使得如下方程成立:


\cosh(K_1(s_{i,1}+s_{i,2}+s_{i,3}+s_{i,4}))=\exp(K_0′+\frac{K_1′}{2}(s_{i,1}s_{i,2}+s_{i,1}s_{i,4}+s_{i,2}s_{i,3}+s_{i,3}s_{i,4})+K_2′(s_{i,1}s_{i,3}+s_{i,2}s_{i,4})+K_3′(s_{i,1}s_{i,2}s_{i,3}s_{i,4}))

我们看到,要想让新的配分函数与原来的配分函数形式相同,必须引入K_0′,K_1′,K_2′,K_3′这四个系数,并且,1和3,2和4两组邻居也要发生相互作用(参看上图中的虚线),还要考虑四体相互作用。虽然在原模型中不存在这些相互作用,但是在重正化的时候,它们必须引入,否则我们无法写出重正化方程。进一步,利用待定系数法可以求出这8个系数与K_1的关系(**):

参数重正化

在其中,我们主要关心参数K_1′,因为只有它与温度有关,经过一系列计算和近似,我们可以写出该参数的重正化群不动点方程:


K_1^{(s+1)}=\frac{3}{8}\log(\cosh 4 K_1^{(s)})

求解这个方程的迭代不动点,我们得到了一个非0解:K_1^{*}=0.507,这是一个非平凡的不动点。因此,我们通过K_1=\frac{1}{kT^{*}}得到了二维Ising模型的临界温度。

Wilson的重正化群理论


上面讨论了一维和二维ISING模型的重正化方法,其中用到的粗粒化操作和重正化方程显得过于任意。尤其是对于二维Ising模型进行重正化,为了得到合理的重正化的配分函数,必须引入次近邻的相互作用,而这种相互作用在原始的模型中是不存在的。

为了避免这个矛盾,Wilson首先提出了广义的Ising模型,其中,次近邻、次次近邻相互作用在原始模型中都是允许的。其次,Wilson讨论了更一般的对于广义ISING模型的重正化操作,和广义的重正化群方程。这种重正化并不牵扯到具体的粗粒化方法,因此是一种高度的概括。但是,在这种抽象的重正化操作下,我们还能计算出各种热力学变量随温度幂律变化的幂指数。总之,Wilson为重正化群操作奠定了坚实的数学基础。

Wilson重正化方法的核心观点是,首先,针对广义的Ising模型,我们用一个参数向量(K_0,K_1,K_2,\cdot\cdot\cdot)来刻画,这是最广义的Ising模型,它包含了近邻、次近邻、三体、四体等等各种相互作用。其次,Wilson讨论一般的重正化算符R,把它反复应用在Ising模型上,就得到了广义参数空间(K_0,K_1,K_2,\cdot\cdot\cdot)中的一个重正化流。而这个重正化流的最终吸引子就是临界点(对应临界参数K*)。最后,将重正化算子R在临界点K*附近泰勒展开,就可以把R进行线性化,而线性化算子的特征根的对数就对应了相关的临界指数,而特征向量就是重正化操作中重要的参数。

广义的ISING模型


广义的Ising允许次近邻相互作用、三体相互作用、四体相互作用……。也就是说,广义Ising模型的能量可以写成如下的形式:


E_{\{s_i\}}=-kT (K_0+K_1 \sum_{neighbors}s_i s_j+K_2 \sum_{nnn}s_i s_j + \cdot\cdot\cdot+ K_3 \sum_{three}s_is_js_k+\cdot\cdot\cdot )

其中nnn表示次近邻(next nearest neighbors),three表示任意的三体相互作用。因此,广义Ising模型就由一组参数(构成了一个向量)来刻画:


K=\{K_0,K_1,K_2,\cdot\cdot\cdot\}

这种广义模型当然涵盖了原始的Ising模型,只要令相应的次近邻相互作用、三体相互作用、四体相互作用等系数为0就可以了。

重正化群算符


所谓的重正化群操作实际上就是通过两个不同的尺度来刻画系统,并且让它们的配分函数保持形式不变。假设我们对原始模型放大尺度b_1倍,我们通过原始模型的配分函数,求和掉忽略的小磁针状态,而得到新的尺度b_1下的Ising模型。假设原始的模型和新尺度下的模型分别可以用参数向量{K},{K′}来刻画,为了保证两个尺度的配分函数形式不变,我们会得到这两个参数向量的重正化方程:


K′=R_{b_1}(K)

其中,R_{b_1}就是一个广义的重正化算符。例如在一维模型中,这个算符写成(*)式,在二维模型中,这个算符就是(**)对应的映射。实际上,只要我们按照恰当的方法进行粗粒化操作,都可以表达成广义的算符R。

接下来,我们还可以反复地将系统扩大b_2b_3倍等等。这就相当于我们得到了一系列参数向量:


K′′=R_{b_2}(K′)=R_{b_2b_1}(K),

K′′′=R_{b_3}(K′′)=R_{b_3b_2}(K′)=R_{b_3b_2b_1}(K)

等等。同时,我们知道将一个系统放大b_2 b_3与先放大b_2,再放大b_3倍没有区别,也就是重正化算符满足:


R_{b_2 b_3}=R_{b_3}R_{b_2}

所以,R构成了一个单参数化的半群,也叫重正化群。

重正化流


其次,对同一个Ising模型上反复做重正化就会得到一系列的参数:


K\rightarrow K′\rightarrow K′′\rightarrow K′′′\cdot\cdot\cdot

这在参数空间中构成了一个重正化流,如下图:

重正化流

图中所示的折线就表示重正化流构成的参数空间中的轨迹。这个轨迹可能最终会收敛到一个不动点K^*(图中红色点所示)。当到达不动点的时候,系统处于临界状态。因此,所谓的临界状态就是重正化操作的一个不动点。即一个特殊的参数向量K*,满足:


K^*=R(K^*)

普适类


更有趣的是,由于K^*是吸引子,所以参数空间中的其他参数点在重正化群操作下也有可能会收敛到K*点。这些最终可能被吸收到K*的所有参数点集合就构成了一个普适类(universality class)。如上图中曲面就是这个集合,以这些参数组合为基本参数的Ising模型经过相同的一系列重正化算符R操作,都会收敛到K*点,所以这些Ising模型就都属于同一种普适类。

除了四方网格的Ising模型以外,还有三角划分的Ising模型、六角格的Ising模型等,它们都属于同一个普适类,并且这些Ising模型具有同样的临界温度,同样的普适类幂指数(例如\alpha,\beta,\gamma等)。

临界指数


我们下面来对重正化算符R做线性近似。首先我们可以将算子R在不动点K*附近做泰勒展开:


R(K)=R(K^*)+\frac{\partial{R}}{\partial{K}}\delta K+O(\delta K^2)

另一方面,我们可以把R(K)写成:


R(K)=K′=K^*+\delta K′

因为K*是不动点,所以:


R(K^*)=K^*

这样代入上两式就有:


\delta K′=L_R\delta K+O(\delta K^2)

其中,L_R=\frac{\partial{R}}{\partial{K}}为R在K*点附近的的线性化算子,如果忽略二阶小项就有:


\delta K′=L_R\delta K

所以:


(L_R)_{ij}=\frac{\partial_i K_i′}{\partial_j K_j}

我们知道L_R是一个线性化算子,而所有的线性化算子都有特征值\lambda_1,\lambda_2,\cdot\cdot\cdot,\lambda_l和特征向量(\mathbf{v_1},\mathbf{v_2},\cdot\cdot\cdot,\mathbf{v_l})L_R的特征向量就张出了参数空间K中的一组基(其中l为维数)。在这组基中,线性化算子L_R可以写成对角阵:


\begin{bmatrix}
 \lambda_1 &  &  & \\
  & \lambda_2 &  & \\
  &  & \cdot &  \\
  &  &  & \lambda_l\\
\end{bmatrix}

这样,方程\delta K′=L_R\delta K可以在特征向量张成的空间中写成:


\begin{bmatrix}
\Delta K_1′\\\Delta K_2′\\\cdot\cdot\cdot\\\Delta K_l′
\end{bmatrix}_{\mathbf{v}}
=
\begin{bmatrix}
 \lambda_1 &  &  & \\
  & \lambda_2 &  & \\
  &  & \cdot &  \\
  &  &  & \lambda_l\\
\end{bmatrix}_{\mathbf{v}}
\begin{bmatrix}
\Delta K_1\\\Delta K_2\\\cdot\cdot\cdot\\\Delta K_l
\end{bmatrix}_{\mathbf{v}}

其中\Delta K=K-K_C,即相关参数与临界值之差。这样,我们就可以得到l个相互独立的方程,其中任意一个可以写为:


\Delta K_i′=\lambda_i\Delta K_i




我们知道算符R满足性质R(b_1)R(b_2)=R(b_1b_2),所以线性化算符也应该满足L_R(b_1)L_R(b_2)=L_R(b_1b_2),转到特征向量空间下,就要求任意特征值也应该满足:


\lambda_i(b_1)\lambda_i(b_2)=\lambda_i(b_1b_2)

其中\lambda_i(b)是关于任意正数b的函数,而满足这个关系的函数只有幂律函数,所以


\lambda_i(b)=b^{y_i}

其中y_i就是对应特征根的幂律指数。代入到\Delta K_i′=\lambda_i(b)\Delta K_i 中就得到:


\Delta K_i′=b^{y_i}\Delta K_i




我们对系统做s次相同尺度b的重正化操作,就相当于在特征向量方向上参数扩大(b^{y_i})^s倍,而这有三种可能性:


  • b^{y_i}>1,则最终得到的\Delta K_i′会大于0,这样的参数K_i我们叫做相关的(relevant);

  • b^{y_i}<1,则经过s次乘方后\Delta K_i′会趋近于0,这样的参数K_i叫做不相关的(Irrelevant);

  • b^{y_i}=1,则经过s次乘方后\Delta K_i′会=1,这样的参数K_i叫做边界的(Marginal)。


也就是说,在连续进行重正化操作的时候,只有那些相关的参数会逐渐被放大,对系统的行为起到主导作用。因此相应的相关参数的临界指数y_i刻画了系统在重正化过程中的行为本质。

以上的讨论都是针对一般的重正化操作而谈的。当我们回到Ising模型,就会发现,实际的相关参数只有温度T和外场H。于是,在重正化过程中,有:


T′-T_C=b^{y_t} (T-T_C), H′-H_C=b^{y_h} (H-H_C)

所以两个临界指数y_t,y_h刻画了系统在临界态附近的特征。再将上述关系代入到配分函数中,我们就可以得到,随着重正化操作:


\log Z(T′,H′)=b^{-d}\log Z(b^{y_t}(T-T_C),b^{y_h}(H-H_C))

其中d为Ising模型所在空间的维度。这样,我们只需要对配分函数求各个参数(T,H)的导数就能得到其它热力学量,从而给出那些热力学量的临界指数(参看ISING模型)与指数y_t,y_h的关系:
 
  \alpha=2-\frac{d}{y_t},
  \beta=\frac{d-y_h}{y_t},
  \gamma=\frac{2y_h-d}{y_t},
  \eta=d+2-2y_h,
  \nu=\frac{1}{y_t}
  


至此,重正化群给出了所有临界幂律行为一个合理的解释。

波数空间的重正化


前面我们已经讨论过了Ising模型在实空间中的重正化(Real Space Renormalization)。但是重正化中的粗粒化操作显得过于任意。虽然Wilson的重正化群理论克服了这一困难,但是由于牵涉到了无穷维的参数空间,所以重正化算符很难写出具体的表达形式。基于这种考虑,我们在此将介绍一种新的重正化的方法,它不是在直观的实空间中做的,而是在抽象的实空间的傅立叶变换空间(波数空间)中做重正化。这样的重正化过程比较具体,没有过多的任意性。但是本质思想是与实空间的重正化一致的。

具体思路是这样:首先,我们需要把配分函数写成函数积分的形式(路径积分)。在此过程中,我们将Ising模型变换到了一个抽象的场\phi,这个场是在实空间下的。其次,我们将对\phi做傅立叶变换,变换到波数空间k下面。于是,配分函数就可以写成波数空间下的积分形式,且积分的上限是无穷大。再次,我们对波数空间下的配分函数的积分范围进行截断,即积分上限近似到\Lambda。然后,对波数空间的积分变量进行重标度,即让k′=k/b,从而可以把原配分函数的积分形式分为两部分。积分掉波数比较大的部分,得到了重正化的新的配分函数的积分形式Z′。最后,要让Z′和原始的Z形式一致,从而列出关于Z中各参数的重正化群方程,求出不动点和临界指数。

Ginzburg Landau方程


首先,我们考虑无穷大空间中的ISING模型,离散的小磁针s_i就变成了一个连续的场s(x)。在这种情况下,ISING模型中的配分函数可以变换成这样一种积分的形式:


Z=\int D\phi \exp(-\frac{1}{kT}\int dx L(\phi(x)))

其中,场\phi(x)表示每个小磁针的涨落,它的均值刚好就是第i个小磁针的平均磁矩。L为关于\phi(x)的表达式(省略具体形式)。这个方程就称为Ginzburg Landau方程:http://en.wikipedia.org/wiki/Ginzburg%E2%80%93Landau_equation。

傅立叶变换


接下来,我们对\phi(x)做傅立叶变换:


\phi(k)=\int_{-\infty}^{+\infty}\phi(x)\exp(-ixk)dk

其中k为波数,场\phi(x)变换成了波数空间中的场\phi(k)。这样,原配分函数就可以写成:


Z=\int D\phi \exp(-\frac{1}{kT}\int_0^{+\infty} dk L(\phi(k)))

L(\phi(k))为相应的傅立叶变换结果。现在积分区间上限到无穷大,我们将对k的积分进行截断到\Lambda


\int_0^{\Lambda} dk L(\phi(k))\doteq S

在波数空间中\Lambda相当于高频的上限,考虑到傅立叶变换中两个空间存在着分辨率和上限的关系,高频上限对应在实空间中就是空间的最小分辨率。

波数空间的缩放


下面,我们把积分S分成两部分:


S=\int_0^{+\Lambda} dk L(\phi(k))=\int_0^{\Lambda/b} dk L(\phi(k))+\int_{\Lambda/b}^{\Lambda} dk L(\phi(k))

其中,b为波数缩小的倍数。傅立叶变换理论指出,对波数缩小b倍,相当于对空间放大b倍,所以,这里的积分截断相当于作了空间上的放大操作。

粗粒化


接下来我们把S积分中的第二部分积出来,这相当于使空间中的粗粒化操作,将忽略信息的那部分小磁针对应的配分函数求和掉:


S=\int_0^{\Lambda/b} dk L(\phi(k))+\int_{\Lambda/b}^{\Lambda} L(\phi(k)) dk=\int_0^{\Lambda/b} L(\phi(k))dk+g(L(\phi))=\int_0^{\Lambda/b} L′(\phi)dk

其中g(L(\phi))是第二部分积分的结果,为常数,因此又可以合并到前面的积分中去,记为L′=L(\phi(k))+\frac{b}{\Lambda}g(L(\phi))

重正化方程


对积分S做变量替换k′=bk,又可以写为: 
S=\int_0^{\Lambda}L′(\phi(k′))dk′

这样这个积分就与原始的积分 S=\int_0^{\Lambda}L(\phi(k))dk有了完全相同的形式。从而比较两个函数L和L′,我们就能写出配分函数中各个系数的重正化方程:


K′=R(K)

从而求得不动点(临界参数),线性化为重正化群,求得各种临界指数。

由此,我们看到,波数空间中的重正化与实空间中的重正化异曲同工。然而,波数空间中的重正化利用积分的分解来完成粗粒化操作,比实空间更严格。然而,由于波数空间与实空间被傅利叶变换联系,所以这两种形成一种对偶的关系。

参考文献


本文写作主要参考以及模拟曲线来源于这本书: Christen, Kim (2006). 复杂性和临界状态. 复旦大学出版社. ISBN 9787309052022.

Kopietz, P.; Bartosch, L.; Schutz, F. (2010). Introduction to the Functional Renormalization Group. Springer. ISBN 978-3-642-05093-0.


关于投票模型: http://en.wikipedia.org/wiki/Voter_model

关于Hopfield网络: http://en.wikipedia.org/wiki/Hopfield_network
2013-03-29 00:52:22
   很高兴看到jake的新作,关于重整化,我也打算集中攻一下重整化,主要是量子场里的

一些问题如下:

粗粒化规则,这个规则怎么定的,对结果影响如何?

而只有在临界状态附近,即p=0.6~pc的情况下,重整化操作对有色格子的密度,最大团簇的密度几乎没什么影响
可是你的图,0.6也是最终有影响的,难道如果精确地是pc就是几乎直线,或者直线附近震荡?
而且0.6理论上超过了临界值,应该往上翘啊(此问取消,看到后面就没这个问题,直接看3)

理论计算pc=0.59274621  后面说当p(s0)=0.618左右的时候,重整化操作对渗流图形不会产生影响
这个吸引子p(s*)就是我们要找的那个临界点pc  
粗粒化操作更精细,那么得到的结果也就会越好
什么样的叫做更精细?

4 这个值pc,是否依赖连接的定义,比如现在是四连接,如果定义为8连接,这些值pc是否变?

5 二级相变啥意思?

6 临界状态,所得幂律具体是什么形式?


7临界系统之中不同组成部分之间还会发生长程的关联,这种通过局部相互作用而导致长程联系的现象恰恰是真实复杂系统,如社会、经济、认知神经系统的复杂性所在。
如此说来,复杂系统一定一直在临界状态?否则就不复杂了?

8对一维的Ising模型进行求解,但是并没有发现相变现象,因此也没有得到更多物理学家的关注。随后,著名的统计物理学家Lars Onsager于1944年对二维的ISING模型进行了解析求解,并同时发现了二维ISING模型中的相变现象,从而引起了更多学者的注意。之后,随着物理学家Landau、Ginzburg等人的努力,人们发现了Ising模型与量子场论之间的联系,并创立了平行的“统计场论

意思就是空间复杂后,可能出现的花样才多,那么真实时空是3+1维,那要远比2维复杂,也许有些相变必须得3+1维才能发生。。。这些相变是物理上有趣的。

9  
  \mu=\min{\{\exp{(E(s_i(t))-E(s_i′))/(kT)},1\}}
也就是说,系统会按照概率\mu接受新的状态组合s_i′。其中\mu与新状态组合能量与当前能量的差值以及温度有关
这个定义咋来的?

10而当温度接近临界的时候,系统的运行介于随机与秩序之间,也就是进入了混沌的边缘地带。我们将这种状态称为临界状态

11 这种热力学函数随参数发生不连续的变化现象称为一级相变。当T=T_C的时候,这条m对H的曲线又连接到了一起,没有在H=0的点发生断裂。但如果我们考察m-H曲线的斜率会发现,斜率是无穷大。当热力学量随某一参数的变化连续,但是导数发散的时候,我们称该系统正在发生二级相变,也叫连续相
OK 重复前面的二级相变的问题,理论上数学上应该还有三级四级,,,甚至是分数级?那么什么样的系统,会发生N级相变呢?比如第一篇里头的渗流是二级

12 T\rightarrow T_C的时候,特征尺度r_0\rightarrow \infty。也就是说,小磁针彼此发生了长程相关:局部的空间涨落会通过某种合作机制传递并影响了相隔很远的小磁针。   
换成村民的比喻,这个意味着什么?无穷远相关,很有趣,具体啥意思?怎么理解这种合作机制?

13  拿Ising模型来说,无论Ising模型位于什么样的空间中(例如四方晶格、六角格、三角格等),它们的微观规则也可能略有不同,但是,所有这些Ising模型都属于同一个普适类,也就是说它们具有相同的临界温度和临界指数

那还是有的空间,属于别的普适类?有例子吗?

14 当T比较小的时候,m的值同时存在两个分支,一个大于0,一个小于0。这表明,当外界磁场消失以后,如果温度足够低低于临界数值T_C的话,小磁针的平均方向可能朝上也可能朝下,系统出现了对称性破缺图中豁口的交汇点对应的恰恰是临界温度T_C的位置。如果T>T_C则m始终为0,系统处于对称的状态。

这个临界状态还是不好想象,就是说大于临界状态时,总是一半朝上一半朝下,小于临界时,就全部朝上或全部朝下,,,那临界呢?  这里的自相似指什么东西? 这里不考虑连接结块的现象?  尺度变化下什么自相似?

先问这么多吧,目前感觉和量子场论里的重整化还很不一样,希望继续看下去能打通。。。
2013-03-29 07:36:20
  
粗粒化规则,这个规则怎么定的,对结果影响如何?
这个规则基本上是凭经验来定的,即为了保证重整化后Cluster仍旧连通。当然可以用别的粗粒化规则,但是效果不一定比这个好,甚至更差。这就是粗粒化中的任意性何不精确性。

而只有在临界状态附近,即p=0.6~pc的情况下,重整化操作对有色格子的密度,最大团簇的密度几乎没什么影响
可是你的图,0.6也是最终有影响的,难道如果精确地是pc就是几乎直线,或者直线附近震荡?
而且0.6理论上超过了临界值,应该往上翘啊(此问取消,看到后面就没这个问题,直接看3)

理论计算pc=0.59274621  后面说当p(s0)=0.618左右的时候,重整化操作对渗流图形不会产生影响
这个吸引子p(s*)就是我们要找的那个临界点pc  
粗粒化操作更精细,那么得到的结果也就会越好
什么样的叫做更精细?
 
现在的做法是对2*2个格子进行归并,如果对3*3或者n*n,那么重整化方程更加复杂,计算pc就会越准确。事实上,人们发明了很多种对渗流做重整化的方法。但是叙述的这种最简单直接,但并不精确。

4 这个值pc,是否依赖连接的定义,比如现在是四连接,如果定义为8连接,这些值pc是否变?
这个我没有研究过,但是按照普适类的定义,很有可能其他的渗流模型,虽然规则不同,但是Pc一致
 

5 二级相变啥意思?
 
一级相变指系统的序参量出现不连续突变,二级相变指序参量连续,但是二阶以上导数不连续。

6 临界状态,所得幂律具体是什么形式?


这些幂律不是在下面讨论各种热力学量的时候都说了吗?

7临界系统之中不同组成部分之间还会发生长程的关联,这种通过局部相互作用而导致长程联系的现象恰恰是真实复杂系统,如社会、经济、认知神经系统的复杂性所在。
如此说来,复杂系统一定一直在临界状态?否则就不复杂了?
 
嗯,一般说是这样的,因为复杂系统中存在着“自组织临界”现象。就是系统的动力学演化会自发地调节参数达到临界态。这个可以参考Per Bak的自组织临界、沙堆模型。还有DLA(扩散受限凝聚)模型也是自组织临街的。

8对一维的Ising模型进行求解,但是并没有发现相变现象,因此也没有得到更多物理学家的关注。随后,著名的统计物理学家Lars Onsager于1944年对二维的ISING模型进行了解析求解,并同时发现了二维ISING模型中的相变现象,从而引起了更多学者的注意。之后,随着物理学家Landau、Ginzburg等人的努力,人们发现了Ising模型与量子场论之间的联系,并创立了平行的“统计场论

意思就是空间复杂后,可能出现的花样才多,那么真实时空是3+1维,那要远比2维复杂,也许有些相变必须得3+1维才能发生。。。这些相变是物理上有趣的。
 
好像不一定,对于ISING模型,大概更高的维度不一定复杂。对于扩散凝聚,2维是具有自组织临界现象的,但是好像三维以上就没有。

9  
  \mu=\min{\{\exp{(E(s_i(t))-E(s_i′))/(kT)},1\}}
也就是说,系统会按照概率\mu接受新的状态组合s_i′。其中\mu与新状态组合能量与当前能量的差值以及温度有关
这个定义咋来的?
这个定义就是根据Metrapolis算法定义的。为了凑后面的玻尔兹曼分布。
10而当温度接近临界的时候,系统的运行介于随机与秩序之间,也就是进入了混沌的边缘地带。我们将这种状态称为临界状态
???
11 这种热力学函数随参数发生不连续的变化现象称为一级相变。当T=T_C的时候,这条m对H的曲线又连接到了一起,没有在H=0的点发生断裂。但如果我们考察m-H曲线的斜率会发现,斜率是无穷大。当热力学量随某一参数的变化连续,但是导数发散的时候,我们称该系统正在发生二级相变,也叫连续相
OK 重复前面的二级相变的问题,理论上数学上应该还有三级四级,,,甚至是分数级?那么什么样的系统,会发生N级相变呢?比如第一篇里头的渗流是二级
这个我就不懂了,有N级相变吗?不清楚,不是相变的专家。

12 T\rightarrow T_C的时候,特征尺度r_0\rightarrow \infty。也就是说,小磁针彼此发生了长程相关:局部的空间涨落会通过某种合作机制传递并影响了相隔很远的小磁针。   
换成村民的比喻,这个意味着什么?无穷远相关,很有趣,具体啥意思?怎么理解这种合作机制?
他这个是从统计意义上讲的,也不能完全理解为我们日常生活中的相关。两个随机变量相乘的数学期望不等于0就是统计相关,也就是不独立。
但具体是什么含义?不好说,因为这是统计。

13  拿Ising模型来说,无论Ising模型位于什么样的空间中(例如四方晶格、六角格、三角格等),它们的微观规则也可能略有不同,但是,所有这些Ising模型都属于同一个普适类,也就是说它们具有相同的临界温度和临界指数

那还是有的空间,属于别的普适类?有例子吗?
 
我想,如果你让Ising在一个复杂网络上跑,应该会得到不同的临界指数。只要重整化群不收敛到同一个不动点,就属于不同的普适类。所以,这一点完全是由于重整化群的形式定义的。

14 当T比较小的时候,m的值同时存在两个分支,一个大于0,一个小于0。这表明,当外界磁场消失以后,如果温度足够低低于临界数值T_C的话,小磁针的平均方向可能朝上也可能朝下,系统出现了对称性破缺图中豁口的交汇点对应的恰恰是临界温度T_C的位置。如果T>T_C则m始终为0,系统处于对称的状态。

这个临界状态还是不好想象,就是说大于临界状态时,总是一半朝上一半朝下,小于临界时,就全部朝上或全部朝下,,,那临界呢?  这里的自相似指什么东西? 这里不考虑连接结块的现象?  尺度变化下什么自相似?
 
处于临界也是大概一半上,一半下。自相似指的就是配分函数形式不变哪,这就是在Ising模型中尺度不变的含义。你看到重正化群那部分了吗?

先问这么多吧,目前感觉和量子场论里的重整化还很不一样,希望继续看下去能打通。。。
 
量子场论的重整化群好复杂繁琐,不如实空间的直观。但是波数空间(或者动量空间)中的重正化群大概更精确。
2013-03-29 11:32:13
   6 临界状态,所得幂律具体是什么形式?
如果说哪个渗流模型,当临界状态时,有的块很大,有的很小,这个是个幂律?具体幂律形式如何?

系统的动力学演化会自发地调节参数达到临界态

这个。。。,是说系统自发演化到这种自相似的状态?如何描述这种演化过程?

这,即是临界,又是演化的吸引子状态。。。。咋个情况


2013-03-31 01:11:16
   就是团块的尺度分布服从幂律P(s)~s^(-a)。
对,自组织临界既是临界,又是吸引子,只不过这个吸引子是一个统计吸引子,它与混沌等模型不同,系统一直处于随机演化过程中,因此吸引子就是一种稳态,其中各种雪崩呈现幂律分布。
沙堆模型是这样的:
一个二维格点世界,开始随机地往这些格点上一个一个堆沙子。如果某个点沙粒个数大于4,就会往上下左右四个方向上崩塌,就是4个沙粒分别往上下左右迁移一个格。这个过程一直重复下去,当达到临界的时候,某个点发生崩塌,往4个邻居搬运沙子,有可能使得邻居格点的沙粒数超过4,于是进一步崩塌~,从而形成级联效应。这个时候就是自组织形成的临界态。
登录后才可以评论,马上登录
2012-2022 www.swarma.org, all rights reserved

No comments:

Post a Comment