画像中の文章を認識し書体を変更したり、また書体はそのままで文章の内容を変更することができるAI、「TextStyleBrush」がFacebookの研究開発チームにより発表された。当該研究は「文章が含まれる画像の文章内容を、書体などのヴィジュアル的要素と分離する」を理念に押し進められており、将来的には画像内のテキストをさまざまな言語に翻訳したり、ARを使用して道路標識の言語化を容易にしたりするなどの応用が想定されている。
今回のAIには自己教師あり学習という特殊な手法が用いられており、この方法を用いることで、背景から文字を切り出したり、文字列の長さを指定したりといった事前の人為的なデータ処理なしで学習を行えるというメリットがある。また野外における撮影で得られたノイズの多い文章（シーンテキスト）や手書き文章など、処理が複雑で従来は処理に個別の手法を用いなければならなかったケースにおいても、個別の手法を用いることなく、このAIのみで処理することが可能である。自己教師あり学習は文章内の単語を同じフォントのまま置換することも可能にしていて、本来フォントの再現には膨大なパターンの手書き文字から学習して再現する必要があるが、この手法では一単語から学習することを可能にしている。
しかし文字をフォントを保持したまま書き換えるという性質上「文字のディープフェイク」と評されるTextStyleBrushだが、今後書類の改ざん等に悪用される恐れがある。
Facebookの研究チームでは、以前からディープフェイクを見抜くシステムの開発を進めており、今回の技術もその一環に当たる。「この研究を公開することで、ディープフェイクテキストの攻撃に対して、先手の対策を取るよう世間にも促したい」とコメントしている。
リリースはこちら