物理学家已经开发出一种动物行为的动态模型，可以解释围绕联想学习的一些奥秘，可以追溯到巴甫洛夫的狗。美国国家科学院院刊(PNAS)发表了基于对常见实验室生物线虫秀丽隐杆线虫的实验的研究结果。

“我们展示了习得的关联如何不仅仅是由关联的强度介导的，而是由多种几乎独立的途径介导的 - 至少在蠕虫中，”埃默里大学物理学和生物学教授Ilya Nemenman说，他的实验室领导了该论文的理论分析。“我们预计类似的结果也适用于大型动物，包括人类。

“我们的模型是动态和多维的，”多伦多大学唐纳利中心物理学副教授William Ryu补充道，他的实验室领导了实验工作。“它解释了为什么这个联想学习的例子并不像形成单一的积极记忆那么简单。相反，它是同时发生的积极和消极关联之间的持续相互作用。

该论文的第一作者是艾哈迈德·罗曼(Ahmed Roman)，他作为埃默里大学的研究生参与了该项目，现在是布罗德研究所的博士后研究员。康斯坦丁·帕兰斯基(Konstaintine Palanski)曾是多伦多大学的研究生，也是一名作家。

条件反射

100多年前，伊万·巴甫洛夫(Ivan Pavlov)通过对狗的实验发现了动物的“条件反射”。例如，在训练狗将声音与随后的食物到达联系起来后，狗在听到声音时会开始垂涎三尺，甚至在食物出现之前。

大约70年后，心理学家在巴甫洛夫的见解的基础上发展了经典条件反射的雷斯科拉-瓦格纳模型。该数学模型通过其随时间变化的强度来描述条件关联。当条件刺激(在巴甫洛夫狗的情况下是声音)可以被动物用来减少无条件反应(食物)到来时的惊喜时，这种强度就会增加。

这些见解有助于为动物强化学习的现代理论奠定基础，这反过来又使人工智能系统中的强化学习算法成为可能。但许多谜团仍然存在，包括一些与巴甫洛夫最初的实验有关。

在巴甫洛夫训练狗将铃铛的声音与食物联系起来之后，他会反复将它们暴露在没有食物的情况下接触铃铛。在最初几次没有食物的试验中，当铃声响起时，狗继续垂涎三尺。如果试验持续足够长的时间，狗就会“忘乎所以”，停止垂涎三尺以回应铃声。据说该协会已“熄灭”。

然而，巴甫洛夫发现，如果他等一会儿，然后重新测试狗，即使没有食物，它们也会再次对铃声垂涎三尺。无论是巴甫洛夫还是最近的联想学习理论，都无法准确地解释或数学模拟这种已消灭的协会的自发恢复。

梳理难题

研究人员通过对秀丽隐杆线虫的实验探索了这些奥秘。一毫米的蛔虫只有大约1个细胞，其中000个是神经元。这种简单性为科学家提供了一个简单的系统来测试动物如何学习。与此同时，秀丽隐杆线虫的神经回路足够复杂，可以将研究其行为中获得的一些见解与更复杂的系统联系起来。

早期的实验已经确定，秀丽隐杆线虫可以通过在一定温度下用食物调节来训练它更喜欢凉爽或温暖的温度。在典型的实验中，将蠕虫放置在温度梯度但没有食物的培养皿中。那些被训练为喜欢较低温度的蠕虫将移动到盘子的较冷一侧，而经过训练以喜欢较高温度的蠕虫将移至较温暖的一面。

但这些结果究竟意味着什么?有些人认为蠕虫爬向特定的温度是为了期待食物。其他人则认为，蠕虫只是习惯了这种温度，所以即使没有食物奖励，它们也更喜欢在那里闲逛。

由于许多这些实验的主要局限性，这个难题无法解决 - 蠕虫需要很长时间才能穿越九厘米的培养皿以寻找首选温度。

衡量学习如何随时间变化

Nemenman和Ryu试图克服这一限制。他们希望开发一种实用的方法来精确测量学习的动态，或者学习如何随时间变化。

Ryu的实验室使用微流体装置将九厘米培养皿的实验模型缩小成四毫米的液滴。研究人员可以快速对数百条蠕虫进行实验，每种蠕虫都包裹在其单独的液滴中。

“我们可以实时观察蠕虫如何在线性温度梯度上移动，”Ryu说。“与其等待它爬行30分钟或一个小时，我们可以更快地看到蠕虫喜欢的液滴的哪一边，冷的一面还是暖的一面。我们还可以跟踪它的偏好如何随着时间的推移而变化。

他们的实验证实，如果训练蠕虫将食物与较冷的温度联系起来，它将移动到液滴较冷的一侧。然而，随着时间的推移，在没有食物的情况下，这种记忆偏好似乎会衰减。

“我们发现蠕虫突然想花更多的时间在液滴的温暖一侧，”Ryu说。“这很令人惊讶，因为为什么蠕虫会发展出不同的偏好，甚至避免它们与食物相关的温度?”

最终，蠕虫开始在较冷和较暖的温度之间来回移动。

研究人员假设，蠕虫不会简单地忘记与较低温度相关的食物的积极记忆，而是开始将较冷的一面与没有食物产生负面联系。这促使它走向温暖的一面。然后随着时间的流逝，它开始形成不吃食物与较暖温度的负相关，这与与寒冷的残余正相关相结合，使其迁移回较冷的温度。

“蠕虫一直在学习，”Ryu解释道。“正关联和负关联的驱动之间存在相互作用，导致它开始在冷和暖之间振荡。

“就像你丢了钥匙一样”

Nemenman的团队开发了理论方程来描述两个自变量之间随时间推移的相互作用 - 驱动蠕虫达到一个温度的正或兴奋性关联和驱使其远离该温度的负或抑制关联。

“蠕虫向的一侧取决于你何时进行测量，”Nemenman解释说。“这就像当你丢失钥匙时，你可能会检查你通常先存放钥匙的桌子。如果你没有立即在那里看到它们，你会跑到不同的地方寻找它们。如果你仍然找不到它们，你就会回到原来的桌子上，发现你只是看起来不够努力。

研究人员在不同的条件下重复了实验。他们在不同的起始温度下训练蠕虫，并在测试它们的温度偏好之前让它们挨饿不同的时间，并且蠕虫的行为通过方程正确预测。

他们还通过对蠕虫进行基因改造来测试他们的假设，敲除已知为负关联途径的胰岛素样信号通路。

“我们以特定的方式扰乱生物学，当我们进行实验时，蠕虫的行为正如我们的理论模型预测的那样发生了变化，”Nemenman说。“这让我们更有信心，该模型反映了学习的基本生物学，至少在秀丽隐杆线虫中是这样。

研究人员希望其他人能够在跨物种的大型动物研究中测试他们的模型。

“我们的模型提供了一种多维学习的替代定量模型，”Ryu说。“它解释了其他经典条件反射理论难以解释或在某些情况下不可能解释的结果。