AIが手話の自動翻訳を実現！？新たな社会基盤を目指すコミュニケーションツール「SureTalk」への期待

意思の疎通を図ることが難しい方を支援する手段としてITの進化に大きな期待が寄せられています。ソフトバンク株式会社が開発する“きこえない人”と“きこえる人”とを結ぶコミュニケーションツール「SureTalk（シュアトーク）」もそのひとつ。「お互いの顔を見ながら会話のキャッチボールができることがポイント」で、手話と音声をリアルタイムでテキストに変換するほか、ユーザーの手話動作を学習する機能もあり、“みんなで作り上げていく”特徴があります。着想から開発まで8年を経て誕生したSureTalkが目指す未来について紹介します。

AIが手話を学び、意味をテキストで表示する「自動翻訳」

手話ユーザーと音声ユーザーが、お互いの顔を見ながらコミュニケーションを取ることができる「SureTalk」は2021年にリリースされ、現在は特定の自治体で実証実験が続けられています。AI（人工知能）が使用されているこのツールには、主に二つの機能が備わっています。一つは、聴覚や発話に困難のある人（以下、きこえない人）が手話で尋ねた質問が即座にテキスト化され、きこえる人が答えた音声も自動でテキスト化される機能です。タイムラグがなく、1対1で円滑にコミュニケーションできる自動通訳を目指しています。

もう一つは、AIに手話を学習させる機能です。AIの手話認識には多くのデータが必要となります。効率的にデータを集める環境を整備することで、より多くの情報が蓄積され、その結果、AIが手話を認識する精度が高まっていきます。

ツール開発の背景などについて、開発を担当したソフトバンク株式会社 テクノロジーユニット サービス企画技術本部 技術企画開発統括部 AI Architect部 SureTalk課の田中敬之担当課長にうかがいました。

きっかけは「聴覚に障害がある社員との会話のズレを解消したい」

――まずはSureTalkの開発の経緯を教えてください

田中敬之さん（以下、田中）：きっかけは8年ほど前、聴覚障害者の社員と一緒に仕事をするようになった時のことでした。意思の疎通がうまくいかなかったり、会議でその社員を置き去りにして、会話がどんどん進んでしまったりすることが起きていました。きこえない社員と、きこえる社員がリアルタイムに自分の意思を相手に伝えられているのかが気になり始め、会話のズレや、そのズレから生じるストレスを解消したいという思いで、2017年ごろから本格的にこの事業を始めました。SureTalkのコンセプトは「リアルタイムで、自分の母語で意思疎通ができる社会基盤を作っていくこと」。まずは基礎研究から始め電気通信大学と共同開発し、その後、水戸市などで試験的にツールの提供をしています。

――技術面では、どのような点が難しかったのでしょうか？

田中：最も難しいのは、AIに手話を認識させることです。画像認識技術を使い、手話の動きを座標軸に落とし、数値として把握しています。しかし、同じ手話の動作でも個人によって動きが微妙に異なるため、座標軸に落とすと数値が変わってしまいます。そこをカバーするには、大量の学習データが必要になります。今は弊社社員のデータをまとめてAIに学習をさせていますが、より多くの手話データを収集し学習させることで、様々な人の癖や少しずれた動きでも、同じ意味だとAIが認識するようになり、“正しい答え”を抽出できるようになります。また、実際の手話の動きには「奥行き」がありますが、AIに認識させる時は平面でしか見えません。そのため、奥行きも平面に変換して認識できるような仕組みをつくっています。

きこえない人が日常生活をより便利に過ごすために

――SureTalkの特徴や強みは何ですか？

田中：SureTalkはお互いの顔を見ながら会話のキャッチボールができることが強みです。技術的には、AIが手話の動作を追跡したものが言語化され、自然言語処理として最終的に文章として生成されるのが特徴です。ただ世の中には、新しい単語が次々と生まれています。直近では「新型コロナウイルス」がその代表例ですね。自治体での会話で必要とされるような単語は、その都度きちんとチェックし採用し、登録する体制をとっています。

――今後どのような広がりを期待していますか

田中：基本的にはきこえない人が、日常生活を少しでも便利に過ごせるための存在になりたいと思っています。まずは自治体をはじめ、窓口となるところへの設置を目指していますが、どんなニーズや利用拡大の方法があるのか調査研究を深めていく必要があると考えています。例えば学校現場で利用する場合、「1対1」から「多対多」の通信が求められますが、まだ技術的には課題が多く、ひとつずつクリアしながら利用シーンを広げていけたらと思っています。

他企業や大学、自治体とも協力し課題を解決

――SureTalkは手話通訳者の代わりになるのでしょうか？

田中：SureTalk自体は、職場での業務効率化や生産性の向上などにつながる「解決を提案する」補助ツールと位置付けています。手話通訳者が不在でお困りのシーンにおいて、一時的な窓口になるレベルでのサービスを提供することが可能だと考えています。また、iOS向けアプリにある「登録機能」では、自分の手話の動きを登録することができるので、手話通訳者を目指す人や手話に興味を持っている人にとって役立つ学習ツールになれるのではと思っています。1番の課題は、やはり開発資金や活動資金をどう捻出していくかという点です。ソフトバンクの基本方針として、SureTalkは社会貢献事業の一環であり、今のところ収益を上げることは目的としていませんが、運用費用は何らかの形で回収をしていかないと事業として長期的に続かないとも思っています。そのため、他企業や大学、自治体なども含めて協力し合う“コンソーシアム（共同企業体）”を作り、より大きな枠組みで、手を取り合いながら社会的基盤を作っていく方向に軸を切り替えています。

https://www.softbank.jp/corp/news/press/sbkk/2022/20221026_01/

期待の声に応えられる『社会基盤』を目指す

――今後のSureTalkが目指す方向について教えてください

田中：現在、手話登録する際、利用者が手話動作の見本となるアバターと同じ手話の動きをすることで、自分の動画として登録ができる機能は実装済みです。今後、音声ユーザーが話した内容を正しい日本語に変換できれば、アバターなどが手話をする動画をリアルタイムで表示することは技術的に可能です。また、手話ユーザーの手話認識も正しくできれば、AIによる音声合成で話すことも可能だと思っています。将来的にはそういったアウトプットも考えていますが、まずは精度の高いテキストを出すことが先決なので、順を追って進めていきたいと思っています。いまは手話のデータを収集し、特定の自治体向けに会話機能の実証実験をしている段階ですが、手話が登場するドラマの放送日翌日はホームページのアクセスが増えたり、ニュースで取り上げていただくとコメントが寄せられたりするようになり、皆さんの期待の大きさを実感しています。将来的には、コンソーシアムで開発を続け、さらなる社会的な実装を試みていきたい。まずは日本国内でしっかり品質を上げ、手話と音声の双方向のコミュニケーションができる社会基盤となることを目指し、様々な場所で自由に使える利便性の高いツールになることを最終目標にしたいと思っています。

HOME