每日聚焦:微软亚洲研究院与首都师大合作开发甲骨文校重助手Diviner

时间:2022-11-28 16:00:19       来源:环球网

甲骨文是迄今为止中国发现的年代最早的成熟文字系统,对中国历史乃至世界文化的发展研究具有非凡意义。因为收藏、流转的缘故,大部分的甲骨都留下了多张拓本图像,被称为“重片”。甲骨重片数量繁多,效果互有参差,对其整理成为了一项重要的基础性研究工作,称作“校重”。然而,人工校重只能一一对照,费时费力,是甲骨文研究的一大痛点。

近期,微软亚洲研究院主管研究员武智融与首都师范大学甲骨文研究中心莫伯峰教授团队合作开发甲骨文校重助手Diviner,第一次将自监督 AI 模型引入到甲骨文“校重”工作中,大幅提升了甲骨文校重工作的效率。

这项研究系统穷尽比对了18万幅拓本,辅助甲骨学家在上百个甲骨文数据库中发现了大量甲骨重片,不仅复现了专家过去所发现的数万组重片,而且经过初步整理,已发现了三百多组未被前人发现的校重新成果,为甲骨文整理领域开创了人工智能与人类专家协作(AI+HI)的全新研究范式。


【资料图】

近两年,不依赖人工标注数据的自监督学习是 AI 研究的热门方向,但很多前沿技术仍停留在研究阶段。武智融表示,“尽管自监督研究热度很高,但是很多问题最终还是要通过人工数据标注来解决。我们一直希望使用完全无标注的数据进行自监督学习,甚至是人工根本上无法标注的数据。甲骨文校重需要两两比对十八万张数据库中的所有拓片,这为基于完全无标注数据的自监督学习模型应用提供了一个绝佳的落地场景。”

据介绍,计算两张拓片的视觉相似度,通常的方法会从全局特征出发。然而,在甲骨文的研究中,即使是重片,外观上也可能有很大差异,这是由于拓印范围、拓印方式、磨损等多方面原因造成的。考虑到一块完整的甲骨可能会碎裂成多片,校重时经常需要从大骨片中找出小骨片。因此,基于全局外观表示的传统方法并不能很好地发挥作用。面对这一挑战,研究员想到了甲骨拓片的特性,因其是从同一块甲骨而来,重片之间存在着精确的点与点的对应关系。基于这一特性,校重助手 Diviner 从局部寻找匹配关系,再拓展到全局。

其中,在局部匹配方面,Diviner 使用的局部描述符是经过自监督训练的深度神经网络,模型应用了对比学习的自监督技术,使用图像增强,让特征在训练时不受甲骨拓片上清晰度、对比度、噪音、旋转等因素的影响。在甲骨图像上训练的局部描述符能够检测和匹配局部块之间的关键点,并进行点对点匹配。

随后在全局优化方面,基于密集的点与点的匹配结果,通过使用鲁棒的优化算法 RANSAC 估计全局的几何仿射变换,仿射变换允许模型在内容重复的情况下拼合或拼接已有图像,这种局部到全局的方法对检测大量的甲骨碎片至关重要。

值得一提的是,Diviner 模型一个特点是具有强大的泛化能力,这归功于其自监督学习的匹配算法。模型通过图像增强技术模拟同一块甲骨在不同时期制作成拓片或者因年深日久造成的图像变化,例如磨损、模糊等。在大规模无标注数据上获取的密集的自我监督,比稀疏的基于整体的人工监督更有效。

此外,Diviner 模型另一个特点在于能够精确地预测出重片之间点对点的对应关系,并将重片拼合或拼接在一起。这种可以被专家快速解读的结果大大方便了人类与人工智能的协同合作。对于甲骨文这样的科学,人机合作尤为重要。在校重结果中,专家可以看到局部匹配细节和重叠图,极大地帮助并加速了他们验证的过程。

针对该项研究,莫伯峰表示,“甲骨学是一个系统性的科学,一方面它是一种语言文字研究资料,另一方面它是一种历史研究资料,其研究涉及方方面面,研究者需要了解文字在古代的形、音、义等等,因此我们解决一个问题也要从不同维度探讨。此次与微软亚洲研究院的合作只是甲骨文和人工智能交叉研究的一个小序幕,推开了甲骨学研究的一扇新大门,为后续的研究起到了示范作用。未来,人工智能与古文字研究的结合将具有更广阔的前景。”

武智融表示,“我们很高兴看到人工智能模型 Diviner 能够为甲骨学专家节省用于甲骨文数据整理的时间,让他们更专注于其他方面的研究。甲骨文是兼具象形图像属性和文字属性的神秘语言,多模态的人工智能在甲骨文研究上有着广阔天地。未来,我们希望能够与甲骨文专家一起探索更多有趣的课题。”

关键词: Diviner 人工智能