音声認識が「配車」を「歯医者」と間違える問題に、半年使ってから出した答え

「みせるだけ」v1.2.0 をリリースしました。

このアプリは、入院中の父と耳が遠い母の会話を取り戻したくて、今年の5月に作ったものです。話した言葉を画面いっぱいの大きな文字で表示するだけの、とてもシンプルなアプリ。

リリースから半年、実家に行くたびに自分で使い続けてきました。そして今日、半年使ってようやく見えてきた不便さに手を入れました。

目次

半年使って分かった、本当の不便

父は91歳、母は89歳。母は耳が遠く、会話が成立しません。

「みせるだけ」のおかげで、父の言葉を大きな文字で母に見せられるようになりました。ここまでは想定通りでした。

でも、使い続けているうちに、ある場面で必ず止まることに気づきました。

「配車アプリでタクシーを呼びましょう」が言えない

ある日、こう伝えようとしました。

明日は病院なので、配車アプリでタクシーを呼びましょう

ところが画面にはこう出ます。

明日は病院なので、歯医者アプリでタクシーを呼びましょう

「はいしゃ」が「歯医者」になってしまう。病院の話をしている文脈なので、音声認識が「歯医者」を選んでしまうんですね。

何度言い直しても同じです。3回、4回と繰り返しても、必ず「歯医者」。

そして当時のアプリには「やり直し」ボタンしかありませんでした。押せば全部消えます。また最初から全文を言い直すしかない。

これが、半年間ずっと地味につらかったことでした。

途中まで合っているのに

同じことは長い文章でも起きます。

明日は検査なので着替えを多めに持ってきてください

この9割が正しく認識されて、最後の数文字だけ間違っている。それだけのために全文を言い直す。病室で、父の体調を気にしながら、何度も言い直してもらう。

申し訳なさもありました。

友人からの指摘もあった

リリース直後、友人がアプリを試してくれて、こんな指摘をもらっていました。

「終了」ってあると、アプリ全体を終わるのかと思ってしまうよ

このときは「戻る」に変更して対応しました。でも実際に使い込むと、ボタンの位置そのものに問題があることが分かってきました。

父にスマホを渡し、母に向けて持ち替える。その動作のとき、画面下のボタンにうっかり指が触れるのです。せっかく出た文字が消えてしまう。

今回やったこと

1. 「1文字消す」ボタン

末尾から1文字ずつ消せるようにしました。

「歯医者アプリで…」の「歯医者」だけを消す。間違った部分だけを取り除けます。

2. 「つづけて話す」ボタン

ただし、消すだけでは解決しません。消した続きをどう入力するのか。

そこで「つづけて話す」を作りました。今表示されている文字を残したまま、続きの音声を足せるボタンです。

これで、こういう使い方ができるようになりました。

  1. 「明日は病院なので配車アプリで」と話す
  2. 「歯医者アプリで」と出る
  3. 「1文字消す」で間違った部分を消す
  4. 「つづけて話す」を押す
  5. 「タクシーを頼みましょう」と、違う言い方に変える

ここが今回いちばん大きい発見でした。

認識エンジンと戦わなくていい。 「配車」を認識させようと何度も言い直すより、「タクシーを頼む」と言い換えた方が圧倒的に速い。そのための逃げ道が、これまでなかったのです。

3. 「戻る」を画面の上へ

下部のボタンは「今の文字を直す」ものだけにして、画面を離れる「戻る」は上部に移しました。持ち替えのときに誤って触れにくくなります。

4. 「聞き取り中」の小さな表示

文字が出ている状態で「つづけて話す」を押すと、画面に変化がなくてマイクが入ったか分かりません。そこで小さな赤いバッジを出すようにしました。

技術的に少しだけ

内部では、文字を2つに分けて持つようにしました。

確定ずみの文字  +  いま認識中の文字

音声認識は文全体を丸ごと置き換える形で結果を返します。だから編集してもすぐ上書きされてしまう。確定した部分を別に持つことで、編集した文字が守られ、新しい言葉が後ろに足されるようになりました。

同じ悩みを持つ方の参考になれば。

やろうとして、やめたこと

今回、実装してから取り消した機能があります。

同音異義語の言い換え辞書

「配車/歯医者」のような、よく間違う言葉を自前の辞書に持って、ボタンで切り替える仕組みです。一度は作りました。

でも、やめました。

固有名詞に辞書が追いつかないからです。父の主治医は羽間先生(はません)。病院名も地名も人名も無限にあります。医学用語や介護用語まで載せ始めたら、辞書の管理が破綻します。

それに「べつの言葉は見つかりませんでした」という表示。これ、アプリの仕組みを知らない高齢の利用者には意味が通りません。自分たちの事情を押し付ける文章でした。

漢字をひらがなに変換する機能

「羽間先生」を「はま先生」と表示できれば読みやすいだろう、と考えました。

調べた結果、音声認識から読み仮名は取得できないことが分かりました。漢字の読みを出すには形態素解析の辞書が必要で、アプリのサイズが22MBから60MB以上になります。高齢の方がダウンロードする負担として、それは重すぎます。

ただ、調べている途中でひとつ分かったことがあります。

「羽間」と話すと、認識結果は「浜」でした。漢字は違いますが、読みは合っている。そして「浜先生」なら母は読めます。

見せて伝えるという目的に照らせば、これで足りるのです。機能を足す理由がなくなりました。

シンプルさを守るということ

このアプリの一番の価値は「シンプルであること」だと思っています。

ボタンを増やすのは簡単です。でも増やすたびに、91歳の父が迷う可能性が増えます。

今回も、候補としては5つのボタンを並べる案がありました。実際に作って、使ってみて、2つを取り消しました。残ったのは「1文字消す」「つづけて話す」「やり直し」の3つです。

何を足すかより、何を足さないか。 高齢の方に向けたアプリでは、こちらの判断の方が難しいと感じています。

使ってくださっている方へ

リリースから半年、400人以上の方にダウンロードしていただきました。

作ったときは完全に家族のためだけのアプリでした。同じように「耳が遠い家族と話せない」と悩んでいる方がこれだけいるのだと、数字を見て知りました。

そして今回改善した「全部やり直すしかない」問題は、きっと使ってくださった方の多くが感じていたはずです。お待たせしました。

これからも、実際に使いながら少しずつ良くしていきます。


みせるだけ – 大きな文字で会話

  • App Store / Google Play で公開中(無料・広告なし)
  • 会話の内容は一切保存・送信しません

開発: SINQWELL

目次