预计阅读时间： 8 分钟
周边视觉经过优化，可检测运动和大型形状。例如，在上图中，一个人看着绿色区域时，可能会注意到周围有一个奇怪的大形状，但不会注意到它的任何细节。为了解决细节问题，人们的视线中心必须转向形状，以充分欣赏红色油漆剥落的古雅谷仓。换句话说，谷仓需要落在中央凹上，才能进行所有精细的细节和颜色处理。问题是，中央凹只覆盖大约两个角度的视野，大约两个手指的宽度在手臂的长度，因此人们经常移动眼睛——注意力选择周边场景的一部分进行处理，然后眼球运动。自然场景研究中的一个关键问题是，外围的什么类型的信息会引起注意。
低电平与高电平
通常，研究人员将场景中吸引注意力的内容分为低级图像特征和高级语义。低级特征是构成场景的基本视觉特性，例如亮度、线方向、颜色、运动和深度。一些研究 表明，低水平的空间不连续性引起了人们的注意。例如，亮度对比度高或颜色变化大的区域会吸引人的注意力，从而导致眼睛向该区域移动。相反，高级语义是指全局场景或其局部组件（如对象、曲面和其他有意义的实体）的语义表示。有研究表明，场景中语义上有意义的部分也可以吸引注意力并驱动眼球运动。
显著图与意义图
现有关于现实场景中注意引导的研究大多集中在低层次特征的重要性上。这样做的一个原因是，底层特征的提取和操作相对简单。 Christof Koch和Shimon Ullman在1985年以显著图的形式在概念上捕捉到了这一想法。显著性地图突出显示场景中包含显著低层次信息的区域，如颜色变化、边缘等。十年后，Laurent Itti、Cristof Koch和Erust Niebur（1998年）以及Laurent Itti和Cristof Koch（2000年）实施了流行注意和显著性地图模型。下图中，谷仓图像位于左侧，其显著性贴图（基于前一个模型）位于右侧。右图显示了模型基于颜色、方向和强度不连续性对农场场景的预测。具体来说，红色和黄色突出了模型预测的会引起注意的区域，从而引起眼球运动。
相反，场景的语义信息很难概念化，更不用说量化了。在引入显著性地图后的三十多年里，John Henderson和Taylor Hayes（2017年）引入了一种创建意义地图的新技术。语义图捕捉自然场景中语义因素的分布情况，与显著性图采用相同的热图格式，以便进行比较。此外，他们还表明，与显著图相比，意义图能够更好地预测人们在场景中的注意力分布。最近，这两位作者和首席作者Candace Peacock将这一结果又向前推进了一步。他们问，即使意义信息与手头的任务完全无关，语义支配是否仍然有效。
创建显著性和意义图
为了测试在只需要低亮度信息的任务中，意义是否会驱动注意力，Peacock、Hayes和Henderson（2019）对40幅图像进行了显著性和意义图预测。对于显著性图的预测，他们使用了著名的、生物学上合理的视觉显著性模型，即Jonathan Harel、Christof Koch和Pietro Perona提出的基于图形的视觉显著性（GBVS）。下面是它对农场形象的预测。
对于意义图，Peacock、Hayes和Henderson以两种比例将每个图像分割成重叠的圆圈：
然后，他们从每张图像中裁剪出这些补丁。下面是两种比例尺的示例。仅仅通过观察，很明显，其中一些补丁比其他补丁具有更多的语义内容。
然后，165人对300个随机补丁进行了有意义的评分，评分从非常低到非常高，分为六个等级。最后，实验者通过对每幅图像的评分进行平均、平滑和插值来创建意义图。最终的结果是意义和显著性地图，其中逐像素预测哪些区域会引起注意。然后将这些预测与现实进行比较，即人们对经典热图格式中相同图像的实际注意力分布，该格式显示了人们在图像中的注视位置和持续时间。
创建注意力地图：眼睛跟踪
具体来说，皮科克、海耶斯和亨德森需要确定人们参加的地点；为此，他们追踪人们的视线。这一研究领域的一个基本假设是，注意力与眼睛注视密切相关。因此，他们检查了整个场景中的注视，以测量注意力的分布（即，注视的分布=注意力的分布）。
在实验中，他们让一组新的人检查上述等级的图像，而Eyelink 1000 Plus塔式支架则跟踪他们的眼球运动。每个人查看了20张用于亮度分级任务的图像，另20张用于亮度搜索任务。这两项任务都不需要任何语义信息才能完成：
- 亮度评级—参与者按照从非常暗到非常亮的六分制对场景的整体亮度进行评级。
- 亮度搜索–参与者计算场景中亮斑的数量。
然后，实验者根据眼动数据生成注意力图，以显示注意力的方向。因此，显著性、意义和注意力地图都具有相同的格式，可以进行比较。
这两项任务的结果都支持了该组早期的研究，表明高层次的意义图，而不是低层次的显著图，更符合场景中的注意力分布——即使任务是关注低层次的特征！
结论
鉴于视觉系统的局限性，人类必须优先考虑场景区域以引起注意。Peacock、Hayes和Henderson的实验结果表明，即使在意义完全不相关的任务中，人们也会将意义优先于显著的场景区域。人们不得不注意场景的意义。
这一结果在更大范围的工作中起着重要作用，将注意力转移到高层次场景内容对注意力的重要性上。通过引入语义地图和量化场景区域中语义内容的思想，可以确认、拒绝和进一步探索新的和旧的想法。
联系
如果您希望我们为您的眼线研究提供特色，对帖子有想法，或者对我们的硬件和软件有任何疑问，请与我们联系。我们总是很乐意帮忙。您可以致电我们（+1-613-271-8686）或单击下面的按钮发送电子邮件：
改变目盲的魔力
