追番神器+1!即时翻译、瞬间排版,这个基于漫画的AI系统居然想消灭汉化组?

来自:大数据文摘 2020-06-25

大数据文摘出品

作者:刘俊寰

看番,周更太慢!

想看原版漫画,不会日语,愁死个人!

虽然现在在各大社交媒体上都有民翻,但是想看的漫画偏偏太过小众,没人翻译!

别急别急,救星来了。

去年,一位叫作石渡祥之佑的小哥开发了一个 AI系统Mantra ,该系统 结合了特定于漫画的图像识别技术、机器翻译和外语排版自动化技术 ,也就是说, 能够直接在漫画原文上实现翻译

要知道,在日本,漫画的出版占到了整体出版物的 40% ,人工翻译费用更是高达 每本200,000到300,000日元

这项AI技术不仅 提升了漫画翻译的速度,翻译的成本也降低了60-70%

说到这,文摘菌想到 AI也曾帮助中国爽文成功出海 ,看来AI对文化产业仍然有十分重要的贡献。

这个项目在开发初期就接受到了来自东京大学FoundX计划、IPA、东大IPC计划的支持。最近,DEEPCORE、DMM VENTURES、Legend Co、天使投资等更是对其投资 8000万日元

看得出来,大家对漫画出海抱有十分强烈的信心和希望。

而且敲黑板划重点,Mantra服务预计 将在7月正式对外开放 ,本年度的精神支柱就靠它了。

剑指海外发行,Mantra实现的不只是简单的文本翻译

Mantra主要实现了两项功能,首先是 机器翻译 ,在这方面,研究人员对Mantra进行了特定于漫画的技术处理,在这个基础上,Mantra能够实现多语言无障碍翻译。

针对漫画的机器翻译技术到底是怎么回事,石渡小哥介绍道,简单来说,Mantra就是把传统的手动翻译自动化了。

人为翻译漫画主要有以下三个步骤:

对文本转录

填充语言气泡的文本部分并进行翻译

把翻译好了的文本进行正确地排版

看得出来,漫画的机器翻译就不只是语言的转换,还包括了翻译后的排版工作。

要实现这两项功能,首先要 准确定位到语言气泡 ,然后再 对其中的文本进行识别与翻译

听起来容易,但是要知道,漫画中的 气泡文本排版没有能够总结的规律 ,还 存在字体大小和样式的差异 ,这些都将使得漫画的机器翻译比传统商业翻译更为困难。

要解决这个难题,石渡小哥 开发了专用于漫画字符识别的OCR引擎 ,在OCR引擎的助力下,系统可以准确地检测和识别气泡中的文本,即使漫画图像十分拥挤也不在话下。

左边是日语原版,右边是Mantra的机器翻译版本,可以看到翻译和排版的精度都相当高

不过总的来说,翻译的难度要大于识别难度,因为 漫画里面经常出现口吃或者中途断句等口语行为 ,还要处理好 文字和表情的关系

目前,团队也正在针对漫画表情开发识别引擎。

要完全实现漫画翻译想必也十分耗时耗财,也正是因为如此,团队的目标首先就是 降低人工翻译的花费 ,目前的翻译仍然需要人工修正,为了更好地进行编辑,团队也正在开发一种新工具更好地将机器翻译和人工翻译结合起来。

对于Mantra的潜在发展目标,石渡小哥表示,希望 能将该技术利用到出版行业,拓展漫画的海外市场 ,以及将其 用于个人使用,有助于漫画作者在社交媒体上自由地发布作品

要打造一个漫画文字瞬间走向世界的未来

石渡小哥介绍道,其实Mantra的开发也是纯属偶然。

在博士阶段,他曾向ACL大会提交了一篇机器翻译的论文,当时他的一位同期日亚正在攻读图像识别领域的博士学位,他也曾向相关领域的顶会投了一些论文。

于是在他博三的暑假,他们两人一拍即合,决定一起做个副业,用机器翻译一本漫画书,这也是他们做了一些用户访谈之后定下来的方向。

“如果能好好利用机器翻译漫画相关技术,也许就能打造一个让文字漫画在瞬间走向世界的未来。”

后来,我们对这个项目越来越上心,博士毕业之后,决定以创业的方式进行正式的研究。

在Mantra的开发过程中,他们也遇到了不少困难,比如,石渡小哥就分享道,首先 在训练数据上就是缺失的,当时并没有基于双语的漫画数据

本着万事开头难的信念,他们决定抽选很少一部分已经被翻译成外语的漫画作品,从中提取出双语文本数据,这样就 以很低的成本创建了首个漫画翻译领域的双语数据库

如今,在漫画翻译上,还 存在很多问题有待解决 ,比如有时候人物对话会突然被打断,中间出现一个文本气泡,以及在漫画对话中经常会省略主语和宾语。

最近,他们也正在针对这些问题进行逐一攻克,目前的 译文准确率还不是很高 ,在完全没有人为修正的情况下,能勉强读懂30%的内容,他们的目标是实现70%-80%的可读性。

Mantra的目标是确保所有的漫画作品都能 即时传送到全世界粉丝手 ,如果一位日本漫画家的作品发布在了平台上,就会被 瞬间翻译成5-10种不同的语言 ,这样的平台能够实现,相信 也能从技术上消灭盗版

为了让更多的人能够使用,他们也 正计划把平台支持的语言扩展到目前的英文和中文之外

汉化不能少!B站手把手教你安装,追剧不停

不要以为翻译只有输出国的技术人员在着急,输入国的粉丝简直眼睛都要望穿了,这其中,中国肯定要占上一席。

于是,汉化组们可能要哭了,因为B站上有一个UP主 开源了一款OCR翻译软件

根据介绍,当在屏幕上 设定好翻译框 后,出现在框中的外语都会被自动识别并快速翻译成中文, 不仅支持漫画,还支持游戏、番剧、PDF文献 等。

在GitHub上,官方人员总结了这款翻译软件的六大优缺点:

适用范围全面,几乎所有出现在屏幕的东西都可以翻译;

翻译接口多,目前有12个翻译接口;

简洁美观的界面;

及其简单傻瓜的操作方式;

相比较其他OCR翻译器配置有自动翻译模式;

需要联网,可能视网速不同翻译速度有差。

GitHub链接:

//github.com/PantsuDango/Dango-Translator

不过总的来说,还是很香的,网友们也纷纷表示, 太香了太香了,简直比YouTube还香!

在使用上,有人表示,虽然需要付费,但是 免费额度已经足够打游戏用了 。不过看到这么香的翻译软件真的能控制住想要打钱的冲动吗?

在B站上,开发人员也上传了视频对如何安装进行了 手把手的教学

视频链接:

//www.bilibili.com/video/BV1gp4y1Q7Ts

正好,端午到了,出得去的出不去的,都浪起来!

相关报道:

//ainow.ai/2019/12/09/181620/

//ainow.ai/2020/06/08/223964/

实习/全职编辑记者招聘ing

加入我们,亲身体验一家专业科技媒体采写的每个细节,在最有前景的行业,和一群遍布全球最优秀的人一起成长。坐标北京·清华东门,在大数据文摘主页对话页回复 “招聘” 了解详情。简历请直接发送至zz@bigdatadigest.cn

点「在看」的人都变好看了哦!