何が起きたか
Google DeepMindが8月12日、手話をそのまま文字にする翻訳モデル「SL2T」を発表しました。手話のAI研究自体は前からありますが、実際に売っている製品に入るのは今回が初めてだと書かれています。
入る先は2つです。
- Gboard（スマホのキーボード）— 音声入力の手話版。文字を打つ場面ならどこでも、スマホに向かって手話で入力できます。ウェブ検索、メッセージや書類の下書き、Geminiへの依頼もこれで通ります。
- Live Transcribe（周囲の音を文字にするアプリ）— 会話の返事を、打ち込まずに手話で返せるようになります。
まずはPixel 11から。組み合わせはアメリカ手話（ASL）→英語のみで、追加料金はかかりません。対応端末と対応言語はこれから増やす、とのことです。
仕組みで気になったのがプライバシーの扱いでした。カメラの映像をそのままサーバーに送るのではなく、端末側でいったん体の点（座標）に変換し、その座標だけを送る。元の映像はすぐ破棄される、と説明されています。
学習に使ったのは50以上の手話・10万時間以上のデータ。うち4分の1ほどがASLだそうです。
生活で何が変わるか
正直に書くと、日本手話は今回の対象ではありません。ASL→英語だけで、日本語版がいつ来るかは発表に書かれていません。なので「明日から日本で使える」という話ではないです。
それでも取り上げたのは、これが「AIが誰の言葉を扱えるか」の線を動かした発表だからです。話し言葉の文字起こしは、この数年で当たり前になりました。でも世界に200以上あるとされる手話と、それを使う7000万人ほどとされる人たちには、その波がまだ届いていなかった、とGoogleは書いています。
理由も説明されていて、なるほどと思いました。手話は「手で表す英語」ではなく、それぞれ独自の文法を持つ別の言語なので、単語の置き換えでは足りず翻訳として作る必要がある。しかも手・腕・上半身・頭・表情が同時に動くので、それを見て取ること自体が難しい。昔あった「手話グローブ」のような手の動きだけを拾う道具が伸びなかったのは、そこだと書かれています。
手話を使う人の約10%とされる左利きの人への公平さや、片手がスマホでふさがっているときの片手での手話にも対応を入れた、という記述もありました。実際に使う場面を見て作っている感じがします。
マスターの一言
うちは手話を使う家族がいるわけではないので、便利さを実感として語ることはできません。そこは正直に書いておきます。
読んでいて印象に残ったのは、当事者の団体や専門家を入れた委員会をつくり、できないことを並べた報告書を一緒に出しているという部分でした。発表の本文でも、指文字が速いと取り違える、まれな手話は苦手、といった失敗例が表で公開されています。
AIの発表は「できること」だけが並びがちです。苦手な例まで自分から出しているものは、個人的に信用の度合いを上げて読んでいます。日本手話に来る日を待ちます。
詳しくは原文（英語）をどうぞ。