案例研究:计算机辅助交替传译中的视觉处理——来自眼动的证据

随着人工智能重塑语言服务,口译员越来越多地采用人工智能工具来协助他们的实时工作流程。在计算机辅助交替传译(CACI)中,人工口译员与实时语音识别(SR)和机器翻译(MT)输出一起工作。但是口译员在说话时如何管理这些动态的视觉文本流呢?
在Interpreting上发表的一项研究中,研究人员陈思嘉和Jan-Louis Kruger跟踪口译员的眼球运动,以了解他们的视觉注意力和认知策略。
使用EyeLink 1000 Plus跟踪CACI工作流程
参与者最初接受了10周的专门CACI培训,并在数据收集前一天额外接受了半天的培训。每位参与者都完成了两项CACI口译任务——一项是从中文到英文(L1-L2),另一项是英语到中文(L2-L1)。演讲涵盖了实用的一般主题:如何在澳大利亚购买房产以及如何在澳大利亚注册企业。
实验过程分为两个不同的阶段:
- 第一阶段(喘息):源演讲开始播放。参与者听了,并立即将同一语言的语音重新发送到连接到语音识别软件的麦克风中。实时SR记录出现在他们监视器的左侧。
- 第二阶段(语音生成):重新发音结束后,系统会自动将SR文本输入机器翻译工具。然后,参与者的屏幕并排显示两个平行的文本流:左侧的原始成绩单(SR文本)和右侧的翻译草稿(MT文本)。然后,参与者大声输出他们的最终目标语言翻译,可以自由地在两个文本之间来回查看,作为视觉辅助。
在这两个阶段,研究人员使用EyeLink 1000 Plus眼动仪以1000 Hz的频率运行,以捕捉两个文本流中的视觉焦点。EyeLink系统监测与SR和MT文本显示对应的指定感兴趣区域的目光。该实验使用SR ResearchWebLink软件,用于呈现屏幕材料并无缝记录同步的注视指标。分析的关键指标是停留时间的百分比,即参与者查看特定文本窗口的总时间比例。
外卖—译者咨询人工智能翻译
EyeLink的凝视数据揭示了两个阶段之间视觉策略的明显转变:
- 第一阶段的最小文本监控:口译员在重读时花在看实时SR文本上的时间不到4%,优先考虑听力而不是阅读,以避免认知过载。
- 第二阶段严重依赖机器翻译:在语音制作过程中,口译员为机器翻译文本分配的停留时间(48%-63%)明显多于原始转录本(17%-29%)。
高精度EyeLink眼动追踪表明,口译员积极依赖机器翻译输出,以减少从头开始翻译的脑力劳动。口译员使用机器翻译草稿作为主要的视觉锚点,而不是重读源文本。
有关眼动追踪如何帮助您的研究的信息,请查看我们的解决方案和产品页面或联系我们。我们很乐意为您提供帮助!
