大约有12名来自微软研究院的实习生和研究人员发明了一个自动图像字幕软件系统。上图就是一个例子。新系统可以自动为照片添加标题,如“人群中带着相机的女人”等。
这个项目的工作方式不仅让您感到惊讶,而且我们也为预印的结果感到自豪。你可以使用字幕系统作为机器翻译系统,从像素到英语和其他语言的转换。机器翻译专家使用BLEU索引与人工翻译进行比较。BLEU根据长度将字幕分成块(1-4个字),然后测量系统与人工翻译的重合度。
为了测试BLEU的最高分,我们测试了手写标题(假想的“系统”)等四种。我很高兴地告诉你,BLEU打败了我们!BLEU评分达到21.05%,而人类“系统性”评分仅为19.32%。
当然,BLEU超人的成就有很多局限性,这在机器翻译界是众所周知的。我们还尝试将其与METEOR指数进行比较,结果显示性能略低于手动“系统”(20.71% vs 24.07%)。
真正严格的标准是采取盲测,问测试者哪个题目更好。我们用亚马逊开发者_运维问答Turk机器人对比双字幕,问参与者哪个更好,还是平等?在23.3%的测试图片中,人们认为系统标题等于或优于手动标题。
精彩评论