JP6427755B2

JP6427755B2 - データ入力装置、データ入力方法、プログラム及び車載機

Info

Publication number: JP6427755B2
Application number: JP2014032688A
Authority: JP
Inventors: 和俊柏本
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2014-02-24
Filing date: 2014-02-24
Publication date: 2018-11-28
Anticipated expiration: 2034-02-24
Also published as: EP2911148A1; JP2015158563A; EP2911148B1; US20150243277A1; US9613625B2

Description

本発明はタッチパネル・キー操作等の手入力による文字列入力装置と音声認識機能を併用したデータ入力技術に関する。

従来の手入力による文字列入力装置と音声認識機能を併用したデータ入力装置としては、手入力により入力された文字から入力される文字列候補を予測し、予測した文字列候補に認識対象語を絞って音声認識を行うものが知られている（例えば特許文献１参照）。

特開２００５−１８２２０８号公報

しかしながら、従来のデータ入力装置では、ユーザが文字列入力装置により入力した入力済みの文字列も発話しなければならなかった。

また、文字列候補として共通語句を含む候補が多数予測された場合、予測された文字列候補に認識対象語を絞っても音声認識の精度を向上させることができないという課題があった。

例えば、車を運転して「マクドナルド（登録商標）鴨居店」に行きたいユーザーが、車載機に「マクド」と打ち込んだところで車が発進し、以降キー入力ができないため音声入力に切り替わった場合を想定する。車載機には文字列候補として、例えば「マクドナルド（登録商標）鴨居店」「マクドナルド（登録商標）中山店」「マクドナルド（登録商標）小杉店」が表示される。

ユーザは、「マクドナルド（登録商標）鴨居店」と入力済みの「マクド」も発話しなければならなかった。

予測された文字列候補は共通語句である「マクドナルド（登録商標）」を含む。文字列候補の大部分が共通語句のため、文字列候補に認識対象語を絞っても音声認識の精度を向上させることはできない。

本発明は、上記課題を解決するもので、入力済みの文字列の発話を不要とし、また、認識対象語を絞り込むことにより音声認識の精度を向上させることにある。

上記課題を解決するために本発明のデータ入力装置は、文字列入力部と、音声入力部と、音声認識辞書を格納する辞書格納部と、前記文字列入力部により入力された文字列から始まる複数の語句を前記音声認識辞書から抽出し、前記複数の語句において先頭から共通する語句を共通語句として、前記複数の語句のそれぞれから前記共通語句を除いた差分語句の集合から成る動的音声認識辞書を生成する辞書生成部と、前記音声入力部により入力された音声と前記動的音声認識辞書に含まれる前記差分語句とを対比して、前記音声に一致する前記差分語句があるか否かを判定する音声認識部と、前記音声に一致する前記差分語句がある場合、当該差分語句および前記共通語句を含む語句を前記複数の語句から選定して入力文字列として確定する入力文字列確定部とを備えた構成となっている。
また、上記課題を解決するために本発明のデータ入力装置は、文字列入力部と、音声入力部と、音声認識辞書を格納する辞書格納部と、表示部と、前記音声認識辞書から抽出された、前記文字列入力部により入力された文字列から始まる複数の語句を前記表示部に表示させる表示制御部と、前記複数の語句において先頭から共通する語句を共通語句として、前記複数の語句のそれぞれから前記共通語句を除いた差分語句と前記音声入力部により入力された音声とを対比して、前記音声に一致する前記差分語句があるか否かを判定する音声認識部と、前記音声に一致する前記差分語句がある場合、当該差分語句および前記共通語句を含む語句を前記複数の語句から選定して入力文字列として確定する入力文字列確定部と、を備えた構成となっている。
また、上記課題を解決するために本発明のデータ入力方法は、文字列入力部により入力された文字列から始まる複数の語句を音声認証辞書から抽出し、前記複数の語句において先頭から共通する語句を共通語句として、前記複数の語句のそれぞれから前記共通語句を除いた差分語句の集合から成る動的音声認識辞書を生成するステップと、音声入力部により入力された音声と前記動的音声認識辞書に含まれる前記差分語句とを対比して、前記音声に一致する前記差分語句があるか否かを判定するステップと、前記音声に一致する前記差分語句がある場合、当該差分語句および前記共通語句を含む語句を前記複数の語句から選定して入力文字列として確定するステップと、を備えた構成となっている。
また、上記課題を解決するために本発明のデータ入力方法は、音声認識辞書から抽出された、文字列入力部により入力された文字列から始まる複数の語句を表示部に表示させるステップと、前記複数の語句において先頭から共通する語句を共通語句として、前記複数の語句のそれぞれから前記共通語句を除いた差分語句と音声入力部により入力された音声
とを対比して、前記音声に一致する前記差分語句があるか否かを判定するステップと、前記音声に一致する前記差分語句がある場合、当該差分語句および前記共通語句を含む語句を前記複数の語句から選定して入力文字列として確定するステップと、を備えた構成となっている。

なお、ここで文字列には、１文字も含む。音声認識辞書に格納された語句とは、音声認識の単位をなす文字列をいう。強調して表示するとは、色、太さ、大きさ、フォントを変えて表示すること、点滅表示すること、枠で囲んで表示すること、これらの組み合わせも含む。

本発明によれば、入力済みの文字列の発話を不要とし、また、認識対象語を絞り込むことにより音声認識の精度を向上させることができる。

本発明の実施の形態１におけるデータ入力装置の構成と車両を示すブロック図本発明の実施の形態１におけるデータ入力装置を用いたデータ入力処理の一例を示すフロー図本発明の実施の形態１における動的音声認識辞書の生成過程の一例を示す概念図本発明の実施の形態１におけるデータ入力装置を用いたデータ入力時の表示画面の遷移の一例を示す図

（実施の形態１）
以下、本発明の実施の形態を図面を参照しながら説明する。なお、実施の形態では車載機へのデータ入力として説明するが、本発明は車載機へのデータ入力に限定されるものではない。

図１は、本発明の実施の形態１におけるデータ入力装置の構成と車両を示すブロック図である。

図１において、データ入力装置１０００は、車両１１００に搭載されたカーナビゲーションシステム等の車載機１１０２、車両の走行状態を判定する走行状態判定部１１０１と接続されている。

データ入力装置１０００は、入力部として、タッチパネル、キー入力デバイス等の手入力により文字列を入力する文字列入力部１００１と、マイク等の音声を入力する音声入力部１００２の２つの入力部を備えている。

入力切替部１００３は、走行状態判定部１１０１から入力される車両の走行状態の判定結果に基づき、ユーザが使用する入力部を文字列入力部１００１から音声入力部１００２へ、音声入力部１００２から文字列入力部１００１へと切替える。

入力文字列確定部１００４は、文字列入力部１００１から入力された文字列を入力文字列の一部として確定する。入力文字列確定部１００４は、入力文字列の一部として確定した文字列と音声認識部１００７の音声認識結果に基づき入力文字列を確定する。入力文字列確定部１００４は、確定した入力文字列を車載機１１０２へ出力する。入力文字列確定部１００４は、音声入力部１００２から入力された音声を音声認識部１００７へ出力し、音声認識部１００７から音声認識の結果を入力する。

動的音声認識辞書生成部１００６は、入力文字列確定部１００４が入力文字の一部として確定した文字列と音声認識辞書１００９から動的音声認識辞書１０１０を生成する。

音声認識部１００７は、音声入力部１００２から入力された音声を、辞書格納部１００８に格納された辞書を用いて認識する。

辞書格納部１００８は、音声認識辞書１００９と動的音声認識辞書１０１０とを格納する。音声認識辞書１００９はデータ入力装置１０００が予め備えている辞書である。動的音声認識辞書１０１０は、動的音声認識辞書生成部１００６が動的に生成する辞書である。

表示制御部１００５は、表示部１０１６の表示を制御する。表示部１０１６は、表示制御部１００５の制御に従い入力文字列確定部１００４が確定した文字列、辞書格納部１００８に格納された辞書の語句を表示する。

車両１１００に搭載された走行状態判定部は、車両の走行状態を判定し、「発進」、「停車」を含む判定結果を入力切替部１００３へ出力する。車載機１１０２は、カーナビゲーションシステム、ディスプレイオーディオ等のデータ入力を必要とする機器である。

以上のように構成されたデータ入力装置１０００について、以下にその動作について説明する。図２は本発明の実施の形態１におけるデータ入力装置１０００を用いたデータ入力処理の一例を示す図である。

図２において、ユーザーは文字列入力部１００１を用いて文字の入力を行う（Ｓ２０１）。入力文字列確定部１００４は、入力された文字を入力文字列の一部として確定する。

動的音声認識辞書生成部１００６は、入力文字列の一部として確定された文字列を基に、音声認識辞書１００９から動的音声認識辞書１０１０を生成する（Ｓ２０２）。

動的音声認識辞書１０１０は、音声認識辞書１００９に格納された語句で入力文字列の一部として確定した文字列と先頭が一致する複数の語句から、複数の語句に共通する共通語句を除いた差分語句を格納した辞書である。動的音声認識辞書１０１０の生成に関しては、後に図面を用いて説明する。

入力文字列確定部１００４は、音声入力モードか否かを判定する（Ｓ２０３）。音声入力モードとは、入力切替部１００３が、入力部を文字列入力部１００１から音声入力部１００２に切り替えた状態をいう。

音声入力モードでない場合（Ｓ２０３でＮＯの場合）、Ｓ２０１からＳ２０２を繰り返す。動的音声認識辞書生成部１００６は、文字が入力され、入力文字列の一部が更新される度に動的音声認識辞書１０１０を生成する。

音声入力モードの場合（Ｓ２０３でＹＥＳの場合）、表示制御部１００５は、入力文字列確定部１００４が入力文字列の一部として確定した文字列と先頭が一致する音声認識辞書の語句（以後、入力文字列候補と称す）を表示部１０１６に表示する（Ｓ２０４）。

表示制御部１００５は、入力文字列候補のうち、動的音声認識辞書１０１０に格納された差分語句を強調して表示する。表示制御部１００５は、音声入力モードであることを表示部１０１６に表示する。表示制御部１００５は、文字列入力部１００１から文字を入力できないことを表示部１０１６に示す。

ユーザは入力文字列を確定するために必要な語句を発話する（Ｓ２０５）。

ユーザの発話は音声入力部１００２から音声認識部１００７へ入力される。音声認識部１００７は、動的音声認識辞書１０１０を用いて発話の認識を行う。音声認識部１００７は、動的音声認識辞書１０１０に格納された差分語句とユーザが発話した語句とのマッチングを行う（Ｓ２０６）。

ユーザの発話を認識できた場合、即ち、ユーザが発話した語句と差分語句とがマッチした場合（Ｓ２０７でＹＥＳの場合）、入力文字列確定部１００４は、ユーザが発話した語句とマッチした差分語句を含む入力文字列候補を入力文字列として確定する（Ｓ２１０）。

ユーザの発話を認識できない場合、即ち、ユーザが発話した語句と差分語句とがマッチしない場合（Ｓ２０７でＮＯの場合）、音声認識部１００７は、音声認識辞書１００９を用いて発話の認識を行う。音声認識部１００７は、音声認識辞書１００９に格納された語句とユーザが発話した語句とのマッチングを行う（Ｓ２０８）。

ユーザの発話を認識できた場合（Ｓ２０９でＹＥＳの場合）、入力文字列確定部１００４は、認識結果と入力文字列の一部として確定した文字列に基づき入力文字列を確定する。

ユーザの発話を認識できない場合（Ｓ２０９でＮＯの場合）、Ｓ２０５からの処理を繰り返す。

図３は、動的音声認識辞書１０１０の生成過程の一例を示す概念図である。図３において語句３０１は、音声認識辞書１００９に格納された語句の一例である。音声認識辞書１００９には、「イロハニホ鴨居店」等、具体的店舗名を表す語句が格納されている。動的音声認識辞書１０１０を用いない従来の音声認識は、これらの語句とユーザが発話した語句とのマッチングを行う。

語句３０２は、文字列入力部１００１から文字列「イロハ」が入力された時に、動的音声認識辞書生成部１００６が、音声認識辞書１００９に格納された語句３０１から抽出した語句である。

動的音声認識辞書生成部１００６は、音声認識辞書１００９に格納された語句から文字列入力部１００１から入力された文字列と先頭が一致する語句を抽出する。抽出された語句「イロハニホ鴨居店」「イロハニホ中山店」「イロハニホ新横店」「イロハニホ小杉店」は、入力された文字列「イロハ」と先頭が一致する語句である。

動的音声認識辞書生成部１００６は、抽出した語句３０２を複数の語句に共通する共通語句３０２１「イロハニホ」と共通語句を除いた差分語句３０２２とに分ける。動的音声認識辞書生成部１００６は、差分語句３０２２のみを格納した新たな辞書、動的音声認識辞書１０１０を生成する。語句３０３は、音声認識辞書１００９に格納された語句３０１から生成した動的音声認識辞書１０１０に格納された語句の一例である。

図４は、本発明の実施の形態１におけるデータ入力装置を用いたデータ入力時の表示画面の遷移の一例を示す図である。

表示部１０１６を液晶表示パネル、文字列入力部１００１を液晶表示パネルと重ねて配
置されたタッチパネルとして説明するが、表示部１０１６、文字列入力部１００１は、これらに限定されるものではない。

表示画面４０１は、文字列入力部１００１に相当するタッチパネル入力部４０１２と、タッチパネル入力部４０１２から入力された文字列を表示する入力文字列表示部４０１１を有している。入力文字列表示部４０１１に表示された文字は、入力文字列の一部として入力文字列確定部１００４が確定した文字列である。

ユーザーは車両を運転中かつ停車中であり、近場の「イロハニホ」チェーン店へのルート案内を所望しているものとする。図４の表示画面４０２は、ユーザーがタッチパネル入力部４０１１から、「イロハ」まで文字列を入力した入力途中の表示画面である。

ユーザが車両を発進すると、走行状態判定部１１０１は判定結果として「発進」を入力切替部１００３に出力する。入力切替部１００３は、入力部を文字列入力部１００１から音声入力部１００２へ切替える。表示画面４０２は、表示画面４０３へと遷移する。

表示画面４０３には、入力文字列候補４０３１が表示される。入力文字列候補４０３１は、入力文字列確定部１００４が入力文字列の一部として確定した文字列「イロハ」と先頭が一致する音声認識辞書１００９に格納された語句である。入力文字列候補４０３１は、複数の語句で共通する共通語句「イロハニホ」と差分語句「鴨居店」「中山点」「新横店」「小杉店」等からなる。入力文字列候補４０３１は、差分語句が太字で強調表示される。ユーザが入力文字列を確定するために、強調表示された差分語句のみを発話すればよいことを示している。

表示画面４０３は、タッチパネル入力部４０１２の表示なくし、タッチパネル入力部４０１２から文字を入力できないことを示している。

表示画面４０３には、入力部が音声入力に切替ったこと、音声入力モードであることを示すマイクアイコン４０３２が表示される。

表示画面４０３の表示中に、ユーザが「鴨居店」と発話すれば、音声認識部１００７は動的音声認識辞書１０１０を用いて発話の認識を行う。音声認識部１００７は発話された語句を「鴨居店」と認識する。入力文字列確定部１００４は、音声認識の認識結果である「鴨居店」を含む文字列入力候補「イロハニホ鴨居店」を入力文字列として確定する。入力文字列確定部１００４は、確定した文字列「イロハニホ鴨居店」を車載機１１０２へ出力する。

以上のように本発明の実施の形態１におけるデータ入力装置、およびデータ入力方法によれば、共通語句を除いた差分語句を格納した動的音声認識辞書を用いて音声認識を行うことにより、入力済みの語句の発話を不要とし、また、認識対象語を共通語句を取り除いた差分語句に絞り込むことにより音声認識の精度を向上させることができる。

なお、実施の形態１では、１文字も文字列と称している。強調表示として太字を説明したが、色、大きさ、フォントを変えて表示すること、点滅表示すること、枠で囲んで表示すること、これらを組み合わせて表示するものであってもよい。

また、文字列入力部１００１、表示部１０１６を車載機が備える入力装置、出力装置と兼用する構成としてもよい。

また、本発明の実施の形態１にかかわるデータ入力装置は、専用のハードウェアによっ
て実現される他に、その機能を実現するためのプログラムをコンピュータが読み取り可能な記録媒体に記録し、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませて、実行するものであってもよい。

本発明のデータ入力装置及びデータ入力方法は、カーナビゲーションシステム等の車載機へのデータ入力装置及びデータ入力方法として有用である。

１０００データ入力装置
１００１文字列入力部
１００２音声入力部
１００４入力文字列確定部
１００６動的音声認識辞書生成部
１０１６表示部
１０１０動的音声認識辞書
１１０２車載機
３０２１共通語句
３０２２差分語句

Claims

文字列入力部と、
音声入力部と、
音声認識辞書を格納する辞書格納部と、
前記文字列入力部により入力された文字列から始まる複数の語句を前記音声認識辞書から抽出し、前記複数の語句において先頭から共通する語句を共通語句として、前記複数の語句のそれぞれから前記共通語句を除いた差分語句の集合から成る動的音声認識辞書を生成する辞書生成部と、
前記音声入力部により入力された音声と前記動的音声認識辞書に含まれる前記差分語句とを対比して、前記音声に一致する前記差分語句があるか否かを判定する音声認識部と、
前記音声に一致する前記差分語句がある場合、当該差分語句および前記共通語句を含む語句を前記複数の語句から選定して入力文字列として確定する入力文字列確定部と、
を備える、データ入力装置。
表示部と、
前記表示部の表示を制御する表示制御部と、
をさらに備え、
前記表示制御部は、前記表示部に対し、前記共通語句と前記差分語句とを含む前記複数の語句を表示させるとともに、前記複数の語句のそれぞれに含まれる前記差分語句を強調して表示させる、
請求項１に記載のデータ入力装置。
前記音声認識部は、前記音声に一致する前記差分語句がない場合、前記音声と前記音声認識辞書に含まれる語句とを対比して、前記音声に一致する語句があるか否かを判定し、
前記音声に一致する語句がある場合、前記入力文字列確定部は、当該語句を入力文字列として確定する、
請求項１または請求項２に記載のデータ入力装置。
車両の走行状態に基づき前記文字列入力部から前記音声入力部へ切り替える入力切替部、
をさらに備える、請求項１乃至請求項３の何れか１項に記載のデータ入力装置。
前記辞書生成部は、前記文字列入力部により文字が入力される度に前記動的音声認識辞書を生成する、
請求項１から請求項４の何れか１項に記載のデータ入力装置。
請求項１から請求項５の何れか１項に記載された前記データ入力装置が確定した前記入力文字列を入力として動作する、
車載機。
文字列入力部と、
音声入力部と、
音声認識辞書を格納する辞書格納部と、
表示部と、
前記音声認識辞書から抽出された、前記文字列入力部により入力された文字列から始まる複数の語句を前記表示部に表示させる表示制御部と、
前記複数の語句において先頭から共通する語句を共通語句として、前記複数の語句のそれぞれから前記共通語句を除いた差分語句と前記音声入力部により入力された音声とを対比して、前記音声に一致する前記差分語句があるか否かを判定する音声認識部と、
前記音声に一致する前記差分語句がある場合、当該差分語句および前記共通語句を含む語句を前記複数の語句から選定して入力文字列として確定する入力文字列確定部と、
を備える、データ入力装置。
文字列入力部により入力された文字列から始まる複数の語句を音声認証辞書から抽出し、前記複数の語句において先頭から共通する語句を共通語句として、前記複数の語句のそれぞれから前記共通語句を除いた差分語句の集合から成る動的音声認識辞書を生成するステップと、
音声入力部により入力された音声と前記動的音声認識辞書に含まれる前記差分語句とを対比して、前記音声に一致する前記差分語句があるか否かを判定するステップと、
前記音声に一致する前記差分語句がある場合、当該差分語句および前記共通語句を含む語句を前記複数の語句から選定して入力文字列として確定するステップと、を備える、
データ入力方法。
音声認識辞書から抽出された、文字列入力部により入力された文字列から始まる複数の語句を表示部に表示させるステップと、
前記複数の語句において先頭から共通する語句を共通語句として、前記複数の語句のそれぞれから前記共通語句を除いた差分語句と音声入力部により入力された音声とを対比して、前記音声に一致する前記差分語句があるか否かを判定するステップと、
前記音声に一致する前記差分語句がある場合、当該差分語句および前記共通語句を含む語句を前記複数の語句から選定して入力文字列として確定するステップと、を備える、
データ入力方法。
請求項８または請求項９に記載のデータ入力方法をコンピュータに実行させるためのプログラム。