01专访|微软人工智能Diviner开启甲骨文整理研究“AI+HI”新范式
甲骨学研究中,甲骨校重整理是一项重要又繁琐费力的基础性研究工作。微软亚洲研究院主管研究员武智融团队和首都师范大学甲骨文研究中心莫伯峰教授团队合作开发的AI甲骨文校重助手Diviner,将自监督AI模型引入甲骨文校重工作,取得数百项新成果,为甲骨文整理领域开创了人工智能与人类专家协作(AI+HI)的全新范式。
近日,《香港01》以此为契机,采访了莫伯峰教授及微软亚洲研究院主管研究员武智融,就人工校重及Diviner及AI发展的议题作进一步交流。本文为该系列报道的首篇。
甲骨文是目前中国发现的年代最早的成熟文字系统,其发现证明了殷商王朝的存在,将中国信史推进了约1000年。目前,甲骨文已发现约16万件,因历史收藏流转等缘故,多数甲骨均留下多张拓本图像,称为“重片”。
甲骨重片数量繁多,效果互有参差,对其的整理过程称为“校重”。在以往的甲骨学研究中,校重多为人工。人工校重一方面因庞大的资料量需花费大量时间精力,另一方面是不可避免会出现差漏,是甲骨学研究一大痛点。
微软亚洲研究院研发的基于自监督学习的甲骨文校重助手Diviner,辅助甲骨学家在上百个甲骨文数据库中发现了大量甲骨重片,不仅复现了专家过去所发现的数万组重片,且经过初步整理,已发现三百多组校重新成果,大幅提升了甲骨文校重工作的效率。
莫伯峰教授介绍,实际的甲骨文研究通常不会直接接触甲骨实物,而是利用以甲骨拓本为主的图像资源。同一片甲骨有时会留下很多拓本,拓本总数远大于甲骨总数。因此,甲骨校重成为一项重要而困难的工作。甲骨文及古文字研究的核心是认字,如果重片的问题没有处理好,譬如拿到的材料没有经过缀合或资料不完整,可能会影响后续的研究及结论。
而AI校重助手Diviner正为甲骨文人工校重的种种难处提供了出色的解决方案。微软亚洲研究院主管研究员武智融介绍,Diviner模型的研发大幅提升了甲骨文校重的速度和精度。目前,Diviner模型已穷尽对比了所有拓片,并在验证资料集上取得了97%以上的准确率。
在Diviner的初步应用中,莫伯峰教授团队仅用一周时间利用Diviner模型和部分资料,校对出300多组全新重片。同时,Diviner在工序方面的穷尽性比对,亦比人工校重更为可靠,提供了一批更全、更清晰的甲骨图像,亦有不少惊喜的新发现。譬如,Diviner通过将两个拓本重叠,发现了“重而不同”的新图像,直接为甲骨文研究提供了一条新材料:
再如,从“重片”到“缀合”。Diviner通过校重发现了更为完整的重片,并将两片甲骨的缀合扩展为三片甲骨的缀合。同时,Diviner可以帮助识别一些因质量不高而难以辨认文字的甲骨文拓本,从而解决许多曾给甲骨学家带来困扰的疑惑。
武智融介绍,在研发Diviner的过程中,他们调整了几次思路,“起初,我们希望利用人工已经标注的一些重片作为监督学习。由于这些重片的标注资讯仅仅指明了两张图片整体为重片,并没有具体的指明重片间两两点怎样对应,我们意识到这种稀疏的监督资讯是不足够的,对于残片和整片之间的校重尤为不足。之后,我们开始转向研究如何能为重片之间建立点与点的对应关系,继而有了利用图像增强技术去类比拓片之间的不同的想法。建立点与点的对应关系也为之后的专家验证提供了便利,加快了校重的速度。”
武智融同时表示,Diviner模型能取得这些突破,关键在于模型来自自监督学习匹配算法的原理。他们会在训练时,通过模拟甲骨可能经历的磨损、风化等因素引起的图像变化,从而教会模型提取甲骨上的关键资讯,免受模糊、噪点等因素的影响。未来,Diviner的方法亦可应用与其他资料和问题中,如指纹识别和对比。
Diviner在甲骨校重工作中的出色表现和巨大潜力得到了很多甲骨学家的认可。复旦大学出土文献与古文字研究中心研究员蒋玉斌表示:“Diviner实现了大范围的校重,效率高,成果多,令人振奋。Diviner很好地契合了甲骨文研究的需要与人工智能的专长,功效显著,成果突出,是人工智能辅助甲骨文研究的成功典范。”
清华大学出土文献研究与保护中心教授王子杨表示:“甲骨文校重助手Diviner,既不受文字信息的限制,也不受图像数量的限制,直接运用图像比对就可以完成精准的图像校重,并取得了显著的成果。可以预期,随著Diviner模型功能的不断完善,甲骨学界一定会取得更大、更多的科研成果。”