「それって何の話？」 会話の輪へ誘う「Otomo」
Mirage／富山高等専門学校
【第１回】2026年9月
Mirageは、こんなチームです！
富山高専の石田文彦研究室から生まれたチーム「Mirage」。
開発の原点にあるのは、リーダーの吉野泰正さんと祖母との体験でした。ここ数年、耳が聞こえづらくなった祖母との会話で、聞こえていないことに気づかず話を進めてしまったり、つい強い口調になってしまったり。吉野泰正さん自身、そんなもどかしさを感じることが何度もあったといいます。
もともと吉野さんは、インターホンなどの環境音をAIで認識し、その意味を伝える研究に取り組んできました。しかし、祖母や難聴のある人たちの声を聞くなかで、本当に困っているのは、単に「音が聞こえないこと」ではなく、日常の会話や生活の中で「大切な情報に気づけないこと」ではないかと考えるようになります。
そこでChallenge ATOMでは、これまで取り組んできた環境音認識に「会話の理解」を加え、人と人とのコミュニケーションを支えることに挑みます。
その挑戦をともにするのが、同じ研究室の東幸太朗さん。吉野泰正さんが「自分にはない感覚を持っている」と話す、アイデアマンです。二人が開発するプロダクトは「Otomo」。どんな化学反応が生まれるのか、楽しみですね！
Mirageが描く未来
耳が聞こえづらくなっても、誰かと話したい、一緒に笑いたいという気持ちは変わりません。
Mirageが目指しているのは、聞こえの壁によって、人と人とのつながりが失われない未来です。
そのために「Otomo」がするのは、会話をすべて文字にして伝えることではありません。「誰が話しているのか」「どんな話をしているのか」をさりげなく知らせ、本人が「それって何の話？」と、自分から会話に入るきっかけをつくります。
大切にしているのは、AIが何でも代わりにやってしまうのではなく、その人自身の「気づき」や「行動」を支えること。インターホンや警報音など、暮らしの中で大切な音にも気づけるようになれば、自分で判断し、行動できる場面も増えていくでしょう。
さらに、チームが思い描いているのは、その先です。Otomoが家族と一緒に暮らしながら、その家庭の会話や生活に寄り添い、少しずつ成長していく。「この人には、こう伝えた方が分かりやすい」「この音は、すぐに知らせた方がいい」。そんな一人ひとりに合った支え方ができる、家族の一員のようなパートナーを目指しています。
AIが人に代わるのではなく、そばにいることで、人と人がつながり続けられる。「Otomo」という名前には、まさにそんな未来が重なります。
Mirageの現在地
現在、取り組んでいるのは、音を認識するだけでなく、その場で「何を、どう伝えるか」まで判断するシステムの構築です。会話をそのまま文字に起こすのではなく、音声認識した発話をLLMで処理し、「誰が、何について話しているのか」が分かる程度まで情報を圧縮します。情報が多すぎると、かえって会話についていくのが難しくなるためです。すでにサンプル音声を使い、会話の内容を短い一文として出力するところまで開発が進んでいます。
そこに組み合わせるのが、話者識別と音源方向推定です。話者識別にはECAPA-TDNN、方向推定にはマイクアレイの各チャンネルに音が届く時間差から方向を求めるGCC-PHATなどを候補に「誰が」「どこから」話しているのかを捉える構成を検討しています。その情報をOtomoの目線やLEDの動きに反映し、話者の存在や方向を直感的に伝えようとしています。
開発の難所の一つが、「会話」と「環境音」を同時に扱うことです。家庭では、人の声だけでなく、テレビやインターホン、警報音など、さまざまな音が飛び交います。その中から会話を認識して要点を捉えながら、重要な生活音も見逃さない。さらに、両方が重なったときに、何を優先して伝えるべきかまで判断する必要があります。会話、話者、音源方向、環境音という複数の認識結果を統合し、その瞬間に必要な情報を選び出すこともOtomoの重要な技術です。
これらを家庭内でリアルタイムに動かすため、Jetson Orin Nano上でのローカル処理も想定しています。音声認識のWhisperやQwen系のLLMなどを組み合わせ、限られた計算資源の中で複数のAI処理をどう動かすか。認識精度、処理速度、計算負荷のバランスを取りながら、Otomoの「頭脳」を形にしているところです。
Next Challenge
次のステップは、Otomoの基本となる機能を一つずつ形にしていくことです。まずは、会話の要点を短く表示し、話している人の方向を目線などで示すところまでを実装。「何を、どこまで伝えれば、自分から会話に入るきっかけになるのか」を検証していきます。
その考えを後押ししたのが、夏の南牧村での合宿でした。高齢者から聞いたのは、「サポートされるのはいいけれど、最後まで自分でやりたい」という声。本人に代わって何かをするのではなく、自分で気づき、行動するためのきっかけをつくる。Otomoの役割も、そこにあるのではないかと考えています。
さらに、これまで取り組んできた環境音認識を組み込み、会話とインターホンや警報音などの生活音を同時に捉える仕組みへ。実際に高齢者からフィードバックをもらいながら、伝える情報の量や見せ方、Otomoの振る舞いを磨いていきます。
