JP6595324B2 - 車載装置、音声認識システム - Google Patents
車載装置、音声認識システム Download PDFInfo
- Publication number
- JP6595324B2 JP6595324B2 JP2015237508A JP2015237508A JP6595324B2 JP 6595324 B2 JP6595324 B2 JP 6595324B2 JP 2015237508 A JP2015237508 A JP 2015237508A JP 2015237508 A JP2015237508 A JP 2015237508A JP 6595324 B2 JP6595324 B2 JP 6595324B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- input
- unit
- user
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
Description
特許文献1には、音声認識に失敗すると手動操作に切り替える発明が開示されている。
本発明の第2の態様による車載装置は、ユーザーの手動操作に基づく操作信号が入力される操作信号入力部と、搭載される車両の速度を検出する速度検出器から車速信号を受信する車速信号入力部と、前記操作信号が入力されるシーンごとに想定されるユーザーの操作内容に関する操作リストが予め記憶された記憶部から前記操作リストを取得するリスト取得部と、ユーザーへ報知するための信号を出力する報知部と、前記車速信号に対応する車速が所定の速度以上であり、かつ次の操作入力が行われるときのシーンに対応する操作リストの複雑度が所定値以上であると、当該操作リストに基づく1または複数の選択肢をユーザーへ報知するための信号を前記報知部に出力させる制御部とを備える。
本発明の第3の態様による音声認識システムは、車載装置、および前記車載装置とネットワークにより接続されるサーバから構成される音声認識システムであって、前記車載装置は、ユーザーの発話に基づく音声信号が入力される音声信号入力部と、ユーザーの手動操作に基づく操作信号が入力される操作信号入力部と、前記音声信号、および前記操作信号を前記サーバへ送信する車両通信部と、を備え、前記サーバは、受信した前記音声信号に含まれるノイズに関する指標であるノイズ指標を算出するSN比算出部と、前記音声信号または前記操作信号のいずれかを入力信号として受け付け、前記入力信号に基づく制御を実行するサーバ制御部と、を備え、前記サーバ制御部は、前記SN比算出部が算出する前記ノイズ指標に基づいて、次の操作入力において前記音声信号、または前記操作信号のいずれを前記入力信号として受け付けるかを決定する。
以下、図1〜図8を参照して、本発明に係る車載装置の第1の実施の形態を説明する。
図1は車載装置2、および車載装置2を搭載する車両3の構成を示すブロック図である。
車両3は、車載装置2と、音声入力部11と、操作入力部12と、音声出力部13と、表示部14と、記憶部15と、位置取得部19とを備える。車載装置2と、音声入力部11と、操作入力部12と、音声出力部13と、表示部14と、記憶部15と、位置取得部19とは、不図示の車内通信バスにより接続され、各種情報の授受が可能である。
音声入力部11は、マイクであり、車載装置2の周囲の音声を音声信号に変換し音声信号入力部21に出力する。音声入力部11に入力される音声には、ユーザーによる車載装置2への操作指令の発話だけでなくノイズ、たとえば車両3のタイヤが路面と接触する音や緊急車両の警告音も含まれる。
操作入力部12は、押しボタンや表示部14の表面に設けられたタッチパネルであり、ユーザーは手を使って操作入力部12を操作する。操作入力部12は、ユーザーによる操作に基づき操作信号を作成し操作信号を操作信号入力部22に出力する。
表示部14は、液晶ディスプレイであり、報知部23からの動作指令に基づき画像を出力する。
記憶部15は、不揮発性メモリであり、後述する発話リスト、操作リストおよびシーン遷移情報が記憶される。記憶部15は、リスト取得部25からの要求に応じて発話リストまたは操作リストをリスト取得部25に送信する。
音声信号入力部21は、音声入力部11から音声信号を受信し、制御部26に出力する。
操作信号入力部22は、操作入力部12から操作信号を受信し、制御部26に出力する。
報知部23は、制御部26から受信する動作指令に基づき、音声出力部13または表示部14に情報を出力する。すなわち、音または画像を用いてユーザーへ報知を行う。
リスト取得部25は、制御部26から受信する動作指令に基づき、記憶部15に格納された情報を取得し制御部26に出力する。
SN比算出部27は、制御部26から音声信号を受信し、受信した音声信号に含まれるシグナルとノイズの比率、すなわちユーザーによる操作指令の音声と周囲の騒音の比率を算出し、制御部26に出力する。
車載装置2が管理するシーンの遷移を説明する。以下に説明するシーンは、音声信号、または操作信号に基づき制御部26により遷移される。
図2は、シーン遷移の一例を示す図である。開始時のシーンはメニューSである。メニューSから、架電のためのシーンである電話A1、ルート案内のためのシーンである目的地入力B1、空調管理のためのシーンであるエアコンC1のいずれかに遷移する。
電話A1から、記憶された電話帳を用いて架電先を決定するシーンである電話帳A2、または架電先の番号を入力するシーンである番号入力A3に遷移する。電話帳A2、および番号入力A3から、架電を行う架電状態A4に遷移し、架電が終了するとメニューSに戻る。
エアコンC1から、目標室温を設定する温度C2、または空調の起動および停止を行う起動/停止C3に遷移する。温度C2において温度設定が完了するとメニューSに戻る。起動/停止C3において空調の起動または停止が完了するとメニューSに戻る。
音声信号に基づくシーンの遷移を説明する。シーンごとに想定されるユーザーの発話内容が発話リストとして記憶部15に格納される。
図3は発話リストおよび操作リストの一例を示す図である。図3に示すように、発話リストはそれぞれのシーンに対応する。図中のカッコ囲みは、記載された文言どおりではなく、記載された文言を解釈した結果が発話リストであることを意味する。たとえばメニューSにおける発話リストは、「電話」、「目的地入力」、および「エアコン」の3つであり、電話帳A2における発話リストは、記憶部15に格納されている電話帳に登録されたそれぞれの名称である。また、架電状態A4、およびナビ状態B4では発話リストは存在しない。
操作信号に基づくシーンの遷移を説明する。シーンごとに設定されるユーザーの操作入力の選択肢、すなわち単語が操作リストとして記憶部15に格納される。
図3は発話リストおよび操作リストの一例を示す図である。図3に示すように、操作リストは発話リストと概ね同じである。図3におけるカッコ囲みの「文字入力」とは、たとえば表示部14に平仮名および数字を表示させ、ユーザーに操作入力部12を用いて一文字ずつ選択させることで文字を入力させることである。
たとえばメニューSのシーンでは、表示部14に「電話」、「目的地入力」、および「エアコン」の3つが表示され、制御部26は操作信号に基づきユーザーがいずれを選択したかを判断し、選択された単語と同一のシーンに遷移させる。
車載装置2は、ユーザーにより音声操作を開始する旨の指令を受信すると、たとえば不図示の音声入力開始ボタンが押されると、音声入力の受け付けを開始する。ユーザーが音声入力を行うと、音声入力部11から音声信号入力部21に音声信号が送信され、SN比算出部27がSN比aを算出するとともに、制御部26は音声認識の結果に基づき遷移先のシーンを決定する。制御部26は遷移先のシーンにおける発話リストを、リスト取得部25を介して記憶部15から取得する。次に制御部26は、発話リストに含まれる文言の数が1以上かつ所定個数以下、たとえば1〜10であるか否かを判断し、文言の数が1以上かつ所定個数以下の場合は後述するリスト複雑度を算出し、このリスト複雑度を用いてシーン閾値Rを算出する。リスト複雑度、およびリスト複雑度を用いたシーン閾値Rの算出方法は後述する。文言の数がゼロ、または所定個数より多いと判断する場合は、固定値をシーン閾値Rに設定する。
このようにして得られたSN比aとシーン閾値Rとを比較し、SN比aの方が大きいと判断する場合は、次の入力でも音声信号を受け付けることを決定する。その一方、シーン閾値RがSN比a以上であると判断する場合は、次の入力では操作信号を受け付けることを決定し、報知部23を介して音声出力部13を用いてユーザーに報知する。
シーン閾値、およびシーン閾値の算出に必要なリスト複雑度の算出方法を説明する。シーン閾値Rは以下の式(1)により算出される。
R=B+K・C+KN・N+KNv・Nv 式(1)
ただし式(1)において、Bは基準SN比、Kは所定の係数、Cは後述するリスト複雑度、KNはノイズ用係数、Nは受信した音声信号に含まれるノイズレベル、KNvはノイズ変化量用係数、Nvはノイズ微分値を表す。
リスト複雑度Cは、発話リストに含まれるそれぞれの文言の周波数特性に基づく値S、およびノイズの周波数特性に基づく値Snを用いて、式(2)のように算出される。
C=S−Sn 式(2)
ノイズの周波数特性に基づく値Snは、受信した音声信号に含まれるノイズの各周波数における信号強度を積算した値である。Snは、ノイズの周波数特性をf(n)とすると、以下の式(4)により算出される。
上述した制御部26の動作をフローチャートを用いて説明する。以下に説明するフローチャートの各ステップの実行主体は、制御部26のCPUである。
図5はメイン処理の動作を表すフローチャートである。
制御部26は、音声認識を開始する旨の操作信号を受信すると、ステップS101から開始されるメイン処理を実行する。
ステップS101では初期処理を行いステップS102に進む。初期処理の詳細は後に図6を用いて説明する。
ステップS103およびステップS104の詳細は後に図7、および図8を用いて説明する。これらのステップの実行が完了するとステップS105に進む。
ステップS105では、次のシーンがメニューSであるか否かを判断する。次のシーンがメニューSであると判断する場合は本フローチャートにより動作が表されるプログラムの動作を終了し、次のシーンがメニューS以外であると判断する場合はステップS102に戻る。
図6は、図5のステップS101から呼び出される、初期処理の詳細を表すフローチャートである。
ステップS201では、変数nにゼロを代入し、ステップS202に進む。
ステップS202では、現在のシーンを示す変数「現シーン」に初期シーンSを代入し、ステップS203に進む。
ステップS203では、変数「VR適用」に音声認識を適用することを示す「1」を代入し、図6のフローチャートにより動作が表されるサブルーチンを終了する。
図7は、図5のステップS103から呼び出される、VR操作処理の詳細を表すフローチャートである。
ステップS301では、ユーザーが発話を行っていない時間、すなわち無発話区間の音声信号に基づきノイズレベルN、すなわち式(1)におけるNを決定する。次にステップS302に進む。
ステップS303では、報知部23を介して音声出力部13を用いて、シーンにあわせたてユーザーへの問いかけ音声を出力する。問いかけ音声とは例えば、温度C2のシーンにおいて、「設定温度を喋ってください」という音声である。次にステップS304に進む。
ステップS305では、現在のシーンに対応する発話リストを記憶部15から読み込み、ステップS304において音声認識が成功し、なおかつ読み込んだ発話リストのいずれかと音声認識の結果が一致するか否かを判断する。音声認識が成功し、なおかつ読み込んだ発話リストのいずれかと一致すると判断する場合はステップS306に進み、それ以外の場合はステップS303に戻る。
ステップS306では、ステップS304において受信した音声信号を用いてSN比aを算出し、ステップS307に進む。
ステップS308では、リスト取得部25を介してステップS307において決定した遷移先のシーンにおける発話リストを記憶部15から読み込み、ステップS309に進む。
ステップS309では、ステップS308において読み込んだ発話リストに含まれる文言の数が1以上所定数未満であるか否かが判断される。発話リストに含まれる文言の数が1以上所定数未満であると判断する場合はステップS310に進み、0または所定数以上であると判断する場合はステップS314に進む。
ステップS311では、ステップS310において算出したリスト複雑度Cに基づき、シーン閾値Rを算出し、ステップS312に進む。
ステップS312では、SN比aとシーン閾値Rの大小関係が評価され、SN比aがシーン閾値Rよりも大きいと判断する場合はステップS313に進み、SN比aがシーン閾値R以下であると判断する場合はステップS315に進む。
ステップS313では、ステップS307において決定した遷移先シーンに移行し、変数VR適用に1を代入し、図7のフローチャートにより動作が表されるサブルーチンを終了する。
ステップS312においてSN比aがシーン閾値R以下であると判断されると実行されるステップS315において、ステップS307において決定した遷移先シーンに移行し、変数VR適用にゼロを代入し、ステップS316に進む。
ステップS316では、変数nを1増加させてステップS317に進む。
ステップS318では、ステップS311においてシーン閾値Rの算出に用いられる、基準SN比Bを1.1倍に増加させてステップS319に進む。
ステップS319では、変数nにゼロを代入し、図7のフローチャートにより動作が表されるサブルーチンを終了する。
図8は、図5のステップS104から呼び出される、手動操作処理の詳細を表すフローチャートである。図7に示したVR操作処理と同一の処理を行うステップには、図7と同一のステップ番号を付し、説明を省略する。
ステップS401において、報知部23を介して音声出力部13、および表示部14を用いてユーザーへの報知を行う。すなわち、表示部14に現在のシーンにおいて選択可能な選択肢である単語を表示するとともに、音声出力部13から選択を促す音声を出力する。次にステップS402に進む。
ステップS301ではノイズレベルNを算出し、続くステップS302ではノイズの微分値Nvを算出し、ステップS403に進む。
ステップS403では、操作信号を受信したか否かを判断し、操作信号を受信したと判断する場合はステップS404に進み、操作信号を受信していないと判断する場合はステップS405に進む。
ステップS405では、操作信号を受信していないことからシーンを変更しないこととし、遷移先シーンを現在のシーンに決定し、ステップS308に進む。
ステップS308以降の処理は、ステップS406以外は図7と同様なので説明を省略する。
ステップS406では、直前にVR操作処理のステップS306において算出されたSN比aと、当該手操作処理のステップS311またはステップS314において算出されたシーン閾値Rとを比較する。
(1)車載装置2は、ユーザーの発話に基づく音声信号が入力される音声信号入力部21と、ユーザーの手動操作に基づく操作信号が入力される操作信号入力部22と、音声信号に含まれるノイズに関する指標であるノイズ指標、すなわちSN比aを算出するSN比算出部27と、音声信号または操作信号のいずれかを入力信号として受け付け、入力信号に基づく制御を実行する制御部26と、を備える。制御部26は、SN比算出部27が算出するノイズ指標、すなわちSN比aに基づいて、次の操作入力において音声信号、または操作信号のいずれを入力信号として受け付けるかを決定する。
車載装置2は、ノイズ指標に基づき次の操作入力において、音声信号、または操作信号のいずれを入力信号として受け付けるかを決定するので、音声認識に失敗しなくても、自らの判断で次の操作入力において操作信号を入力信号として受け付けることを決定し、音声認識を行わないことを決定できる。そのため、ノイズが大きく音声認識が困難であること推測される場合は、次の操作入力において音声信号の入力を受け付けないことにより、音声認識に必要な計算リソースを節約できる。
そのため、車載装置2のユーザは音声認識が困難であると推測される場合には手動操作が要求され、音声認識の失敗による再入力を回避することができ、利便性が向上される。
そのため、シーンに応じて音声信号、または操作信号のいずれを入力信号として受け付けるかを決定することができる。
上述した実施の形態における、シーン閾値R、およびリスト複雑度Cの算出式は式(1)〜(3)に限定されない。リスト複雑度Cは、発話リストの周波数特性に基づいて算出されれば良く、シーン閾値Rは、該当するシーンにおける発話リストに基づいて算出されたリスト複雑度を用いて算出されればよい。
図9〜図10を参照して、本発明に係る車載装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、ユーザーに手操作による入力を求める際に、車両が走行状態であり、かつ操作の複雑度が所定値以上の場合に、制御部が優先選択肢を算出し、優先選択肢を承認するか否かを問い合わせる点で、第1の実施の形態と異なる。
図9は、第2の実施の形態における車載装置2a、および車載装置2aを搭載する車両3aの構成を示すブロック図である。
車両3aは、第1の実施の形態における構成に加えて、車両3aの車速を検出する車速検出部19aをさらに備える。車載装置2aは、第1の実施の形態における構成に加えて、車速検出部19aから車速信号を受信する車速信号入力部29aをさらに備える。
車載装置2aの制御部26のROMに保存されているプログラムの処理は、手操作処理のみが第1の実施の形態と異なる。
第2の実施の形態では、運転中のユーザーの負担軽減を目的として、操作入力部12を用いて複雑な入力を回避する手段を提供する。制御部26は、車両3の車速がゼロではなく、入力操作の複雑度が所定値以上の場合に、優先選択肢を算出する。入力操作の複雑度とは、選択肢の数、および選択肢の長さなどに基づき判断され、たとえば選択肢が5以上の場合、選択肢が10文字以上の場合、および文字入力が必要な場合に複雑度が所定値以上と判断される。優先選択肢とは、複数の選択肢のうち最も確からしい選択肢であり、たとえば過去の統計情報や、選択肢と現在の車両の状況との関係から決定される。たとえば、履歴B3のシーンではこれまでに最も選択された回数が多かった選択肢を優先選択肢とすることができ、県レベルB21のシーンでは位置取得部19から得られる車両3aの現在地の都道府県を優先選択肢とすることができる。
図10は、第2の実施の形態における手動操作処理の詳細を表すフローチャートである。第1の実施の形態と同一の処理を行うステップには、同一のステップ番号を付して説明を省略する。
ステップS701では、車速信号入力部29aが受信した車速信号に基づき、車両が走行状態にあるか否かを判断し、走行状態にあると判断する場合はステップS702に進み、走行状態にないと判断する場合はステップS401に進む。
ステップS703では、優先選択肢を算出してステップS704に進む。
ステップS704では、報知部23を介して表示部14に優先選択肢、および優先選択肢の承認可否の問い合わせを表示し、ステップS705に進む。
ステップS705では、報知部23を介して音声出力部13から承認可否を問い合わせる音声を出力しステップS402に進む。
以下の処理は第1の実施の形態と同様なので説明を省略する。
(1)車載装置2は、車載装置2が搭載される車両の速度を検出する車速検出部19aから車速信号を受信する車速信号入力部29aと、操作信号が入力されるシーンごとに想定されるユーザーの操作内容に関する操作リストが予め記憶された記憶部15から操作リストを取得するリスト取得部25と、ユーザーへ報知するための信号を出力する報知部23とを備える。制御部26は、次の操作入力において操作信号を入力信号として受け付けると決定した場合に、車速信号に対応する車速が所定の速度以上であり、かつ当該操作リストの複雑度が所定値以上であると、当該操作リストに基づく選択肢をユーザーへ報知するための信号を報知部23に出力させる。
そのため、ユーザーは報知された選択肢を用いた車載装置2の操作が可能であり、操作が簡便である。ユーザーは運転中に手を使った複雑な操作を行うことは困難であることを考慮して、車両の移動中は簡単な操作しか許可しない操作規制機能を有する車載装置も存在する。この操作規制機能を有する車載装置であっても、本実施の形態における車載装置2の構成を備えれば、走行中に車載装置2の様々な操作が可能となり、特に有用である。
第2の実施の形態では、優先選択肢として1つの選択肢のみを提示した。しかし、複数の選択肢を提示し、ユーザーに選択させてもよい。たとえば県レベルB21のシーンにおいて、これまでに選択された上位3点を優先選択肢として決定し、ユーザーにこの3つのいずれかを選択させてもよい。
車載装置は、音声信号入力部21を備えなくてもよい。
図11は、第2の実施の形態の変形例2における車載装置2b、および車両3bの構成を示すブロック図である。
車両3bは、操作入力部12と、表示部14と、記憶部15と、位置取得部19と、車速検出部19aと、車載装置2bとを備える。操作入力部12と、表示部14と、記憶部15と、位置取得部19と、車速検出部19aの構成、および動作のうち第2の実施の形態との主な差異は、記憶部15に発話リストが記憶されない点である。
車載装置2bは、操作信号入力部22と、報知部23と、リスト取得部25と、制御部26と、車速信号入力部29aとを備える。操作信号入力部22と、報知部23と、リスト取得部25と、制御部26と、車速信号入力部29aの動作のうち第2の実施の形態との主な差異は、制御部26において変数「VR適用」がゼロに固定される点である。すなわち、車載装置2bは、常に操作入力部12からの操作信号に基づき動作する。
(1)車載装置2bは、ユーザーの手動操作に基づく操作信号が入力される操作信号入力部22と、搭載される車両の速度を検出する速度検出器から車速信号を受信する車速信号入力部29aと、操作信号が入力されるシーンごとに想定されるユーザーの操作内容に関する操作リストが予め記憶された記憶部15から操作リストを取得するリスト取得部25と、ユーザーへ報知するための信号を出力する報知部23と、車速信号に対応する車速が所定の速度以上であり、かつ次の操作入力が行われるときのシーンに対応する操作リストの複雑度が所定値以上であると、当該操作リストに基づく1または複数の選択肢をユーザーへ報知するための信号を報知部23に出力させる制御部26と、を備える。
そのため、第2の実施の形態に特有の作用効果と同一の作用効果が得られる。
図12〜図13を参照して、本発明に係る車載装置の第3の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、発話リストに含まれる文言が所定個数より多い場合に優先選択肢を決定し、優先選択肢のいずれかを選択させる点が第1の実施の形態と異なる。
車載装置2の制御部26のROMに保存されているプログラムの動作が、第1の実施の形態と異なる。車載装置2、および車両3のハードウエア構成は第1の実施の形態と同様である。本実施の形態において制御部26は、シーンごとに入力された音声信号、および操作信号の統計情報を作成し、記憶部15に記憶する。制御部26は、前述の優先選択肢の決定に、記憶部15に記憶した統計情報を用いる。
第3の実施の形態では、発話リストに含まれる単語が所定個数よりも多い場合に、いくつかの単語だけをユーザーに提示し、発話によるユーザーの選択を簡便にする。これにより、ユーザーによる手操作が必要な機会を減少させることができる。
図12は、第3の実施の形態におけるメイン処理の動作を表すフローチャートである。第1の実施の形態と同様の処理を行うステップには同一のステップ番号を付して説明を省略する。以下に説明する各ステップの実行主体は、制御部26のCPUである。
ステップS101において第1の実施の形態と同様の初期処理を行うと、次にステップS501に進む。
ステップS501では、音声認識の適用可否を表す変数であるVR適用の値を評価する。VR適用が1または2であると判断する場合はステップS103aに進み、VR適用がゼロであると判断する場合はステップS104に進む。
ステップS301、およびステップS302は第1の実施の形態と同様なので説明を省略する。次にステップS303aに進む。
ステップS304では、第1の実施の形態と同様に音声認識を行いステップS305aに進む。
ステップS307aでは、現在のシーン、および音声信号の音声認識結果に基づいて遷移先のシーンを決定する。ただし音声認識結果が識別子である場合は、RAMを参照してその識別子と関連付けられた選択肢を特定し、その選択肢が音声認識されたとして扱う。次にステップS308に進む。
ステップS308〜S314の処理は第1の実施の形態と同様なので説明を省略する。
ステップS603では、ステップS307において決定した遷移先シーンに移行し、変数VR適用に2を代入し、ステップS316に進む。
(1)車載装置2は、ユーザーへ報知するための信号を出力する報知部23を備える。制御部26は、少なくともSN比aがシーン閾値Rよりも小さい場合に、次の操作入力が行われるときのシーンに対応する発話リストに基づく1または複数の選択肢、および選択肢が複数の場合は選択肢に関連付けられた識別子をユーザーへ報知するための信号を報知部23に出力させ、音声信号を入力信号として受け付けることを決定する。
そのため、SN比aがシーン閾値Rよりも小さい場合でも、ユーザが手を使わずに車載装置2を操作可能な音声信号による入力を継続できる。ユーザは識別子を発話することにより車載装置2を操作できるので簡便である。
図14を参照して、本発明に係る音声認識システムに係る第4の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、第1の実施の形態において車載装置が備えた機能の一部をサーバが備える点が主に異なる。
図14は、第4の実施の形態における車載装置2c、車両3cおよびサーバ4の構成を示すブロック図である。音声認識システム5は、ネットワークにより接続される車載装置2cとサーバ4とを備える。
車両3cは、第1の実施の形態における構成に加えて車両通信部19bをさらに備え、記憶部15を備えなくてもよい。
車載装置2cは、第1の実施の形態において備えたリスト取得部25およびSN比算出部27を備えなくてもよい。制御部26は、音声信号入力部21に入力された音声信号、および操作信号入力部22に入力された操作信号を、車両通信部19bを用いてサーバ4に送信する。制御部26は、車両通信部19bを介してサーバ4から動作指令を受けると、報知部23を介して音声出力部13または表示部14を用いてユーザーに報知を行う。
(1)音声認識システム5は、車載装置2c、および車載装置2cとネットワークにより接続されるサーバ4から構成される。車載装置2cは、ユーザーの発話に基づく音声信号が入力される音声入力部11と、ユーザーの手動操作に基づく操作信号が入力される操作入力部12と、音声信号、および操作信号をサーバへ送信する車両通信部19bと、を備え、サーバ4は、受信した音声信号に含まれるノイズに関する指標であるノイズ指標を算出するSN比算出部47と、音声信号または操作信号のいずれかを入力信号として受け付け、入力信号に基づく制御を実行するサーバ制御部46と、を備え、サーバ制御部46は、SN比算出部47が算出するノイズ指標に基づいて、次の操作入力において音声信号、または操作信号のいずれを入力信号として受け付けるかを決定する。
そのため、車載装置2cにおける計算処理を減少させ、車載装置2cの構成を簡素化することができる。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。たとえば、以下の構成による音声認識システム5も本発明の範囲内に含まれる。
(1)車載装置は、ユーザーへ報知するための信号を出力する報知部をさらに備え、サーバのサーバ制御部は、次の操作入力において操作信号を入力信号として受け付けると決定すると、車載装置の報知部を用いて手動操作を要求する旨をユーザーへ報知させる。
(2)サーバは、音声信号が入力されるシーンごとに、想定されるユーザーの発話内容に関する発話リストが予め記憶され記憶部から発話リストを取得するリスト取得部をさらに備え、サーバ制御部は、次の操作入力が行われるときのシーンに対応する発話リストに基づいて決定されるシーン閾値に基づいて、音声信号、または操作信号のいずれを入力信号として受け付けるかを決定する。
(3)車載装置は、ユーザーへ報知するための信号を出力する報知部をさらに備え、サーバ制御部は、少なくともノイズ指標がシーン閾値よりも小さい場合に、次の操作入力が行われるときのシーンに対応する発話リストに基づく複数の選択肢、および選択肢に関連付けられた識別子を報知部を用いて出力させ、音声信号を入力信号として受け付けることを決定する。
(4)車載装置は、当該車載装置が搭載される車両の速度を検出する速度検出器から車速信号を受信する車速信号入力部と、ユーザーへ報知するための信号を出力する報知部とをさらに備え、サーバは、操作信号が入力されるシーンごとに想定されるユーザーの操作内容に関する操作リストが予め記憶された記憶部から操作リストを取得するリスト取得部をさらに備え、サーバ制御部は、次の操作入力において操作信号を入力信号として受け付けると決定した場合に、車速信号に対応する車速が所定の速度以上であり、かつ当該操作リストの複雑度が所定値以上であると、当該操作リストに基づく1または複数の選択肢をユーザーへ報知するための信号を報知部に出力する。
3 … 車両
4 … サーバ
5 … 音声認識システム
C … リスト複雑度
R … シーン閾値
a … SN比
15 … 記憶部
19a … 車速検出部
19b … 車両通信部
21 … 音声信号入力部
22 … 操作信号入力部
23 … 報知部
25 … リスト取得部
26 … 制御部
27 … SN比算出部
29a … 車速信号入力部
45 … リスト取得部
45a … 記憶部
46 … サーバ制御部
47 … SN比算出部
49 … サーバ通信部
Claims (9)
- ユーザーの発話に基づく音声信号が入力される音声信号入力部と、
ユーザーの手動操作に基づく操作信号が入力される操作信号入力部と、
前記音声信号に含まれるノイズに関する指標であるノイズ指標を算出するSN比算出部と、
前記音声信号または前記操作信号のいずれかを入力信号として受け付け、前記入力信号に基づく制御を実行する制御部と、
前記音声信号が入力されるシーンごとに想定されるユーザーの発話内容に関する発話リストが予め記憶された記憶部から前記発話リストを取得するリスト取得部と、
を備え、
前記制御部は、前記SN比算出部が算出する前記ノイズ指標と、次の操作入力が行われるときのシーンに対応する前記発話リストに基づいて決定されるシーン閾値とに基づいて、次の操作入力において前記音声信号、または前記操作信号のいずれを前記入力信号として受け付けるかを決定する、車載装置。 - 請求項1に記載の車載装置において、
ユーザーへ報知するための信号を出力する報知部をさらに備え、
前記制御部は、少なくとも前記ノイズ指標が前記シーン閾値よりも小さい場合に、次の操作入力が行われるときのシーンに対応する発話リストに基づく1または複数の選択肢、および前記選択肢が複数の場合は前記選択肢に関連付けられた識別子をユーザーへ報知するための信号を前記報知部に出力させ、前記音声信号を前記入力信号として受け付けることを決定する、車載装置。 - 請求項1または2に記載の車載装置において、
前記制御部が次の操作入力において前記操作信号を前記入力信号として受け付けると決定すると、手動操作を要求する旨をユーザーへ報知するための信号を出力する報知部をさらに備える、車載装置。 - ユーザーの発話に基づく音声信号が入力される音声信号入力部と、
ユーザーの手動操作に基づく操作信号が入力される操作信号入力部と、
前記音声信号に含まれるノイズに関する指標であるノイズ指標を算出するSN比算出部と、
前記音声信号または前記操作信号のいずれかを入力信号として受け付け、前記入力信号に基づく制御を実行する制御部と、
当該車載装置が搭載される車両の速度を検出する速度検出器から車速信号を受信する車速信号入力部と、
前記操作信号が入力されるシーンごとに想定されるユーザーの操作内容に関する操作リストが予め記憶された記憶部から前記操作リストを取得するリスト取得部と、
ユーザーへ報知するための信号を出力する報知部と、
を備え、
前記制御部は、前記SN比算出部が算出する前記ノイズ指標に基づいて、次の操作入力において前記音声信号、または前記操作信号のいずれを前記入力信号として受け付けるかを決定し、
前記制御部は、次の操作入力において前記操作信号を前記入力信号として受け付けると決定した場合に、前記車速信号に対応する車速が所定の速度以上であり、かつ当該操作リストの複雑度が所定値以上であると、当該操作リストに基づく1または複数の選択肢をユーザーへ報知するための信号を前記報知部に出力させる、車載装置。 - ユーザーの手動操作に基づく操作信号が入力される操作信号入力部と、
搭載される車両の速度を検出する速度検出器から車速信号を受信する車速信号入力部と、
前記操作信号が入力されるシーンごとに想定されるユーザーの操作内容に関する操作リストが予め記憶された記憶部から前記操作リストを取得するリスト取得部と、
ユーザーへ報知するための信号を出力する報知部と、
前記車速信号に対応する車速が所定の速度以上であり、かつ次の操作入力が行われるときのシーンに対応する操作リストの複雑度が所定値以上であると、当該操作リストに基づく1または複数の選択肢をユーザーへ報知するための信号を前記報知部に出力させる制御部と、を備える車載装置。 - 車載装置、および前記車載装置とネットワークにより接続されるサーバから構成される音声認識システムであって、
前記車載装置は、
ユーザーの発話に基づく音声信号が入力される音声信号入力部と、
ユーザーの手動操作に基づく操作信号が入力される操作信号入力部と、
前記音声信号、および前記操作信号を前記サーバへ送信する制御部と、を備え、
前記サーバは、
受信した前記音声信号に含まれるノイズに関する指標であるノイズ指標を算出するSN比算出部と、
前記音声信号または前記操作信号のいずれかを入力信号として受け付け、前記入力信号に基づく制御を実行するサーバ制御部と、
前記音声信号が入力されるシーンごとに、想定されるユーザーの発話内容に関する発話リストが予め記憶され記憶部から前記発話リストを取得するリスト取得部と、
を備え、
前記サーバ制御部は、前記SN比算出部が算出する前記ノイズ指標と、次の操作入力が行われるときのシーンに対応する発話リストに基づいて決定されるシーン閾値とに基づいて、次の操作入力において前記音声信号、または前記操作信号のいずれを前記入力信号として受け付けるかを決定する、音声認識システム。 - 請求項6に記載の音声認識システムにおいて、
前記車載装置は、ユーザーへ報知するための信号を出力する報知部をさらに備え、
前記サーバ制御部は、少なくとも前記ノイズ指標が前記シーン閾値よりも小さい場合に、次の操作入力が行われるときのシーンに対応する発話リストに基づく複数の選択肢、および前記選択肢に関連付けられた識別子を前記報知部を用いて出力させ、前記音声信号を前記入力信号として受け付けることを決定する、音声認識システム。 - 請求項6または7に記載の音声認識システムにおいて、
前記車載装置は、ユーザーへ報知するための信号を出力する報知部をさらに備え、
前記サーバの前記サーバ制御部は、次の操作入力において前記操作信号を前記入力信号として受け付けると決定すると、前記車載装置の前記報知部を用いて手動操作を要求する旨をユーザーへ報知させる、音声認識システム。 - 車載装置、および前記車載装置とネットワークにより接続されるサーバから構成される音声認識システムであって、
前記車載装置は、
ユーザーの発話に基づく音声信号が入力される音声信号入力部と、
ユーザーの手動操作に基づく操作信号が入力される操作信号入力部と、
前記音声信号、および前記操作信号を前記サーバへ送信する制御部と、
当該車載装置が搭載される車両の速度を検出する速度検出器から車速信号を受信する車速信号入力部と、
ユーザーへ報知するための信号を出力する報知部と、
を備え、
前記サーバは、
受信した前記音声信号に含まれるノイズに関する指標であるノイズ指標を算出するSN比算出部と、
前記音声信号または前記操作信号のいずれかを入力信号として受け付け、前記入力信号に基づく制御を実行するサーバ制御部と、
前記操作信号が入力されるシーンごとに想定されるユーザーの操作内容に関する操作リストが予め記憶された記憶部から前記操作リストを取得するリスト取得部と、
を備え、
前記サーバ制御部は、前記SN比算出部が算出する前記ノイズ指標に基づいて、次の操作入力において前記音声信号、または前記操作信号のいずれを前記入力信号として受け付けるかを決定し、
前記サーバ制御部は、次の操作入力において前記操作信号を前記入力信号として受け付けると決定した場合に、前記車速信号に対応する車速が所定の速度以上であり、かつ当該操作リストの複雑度が所定値以上であると、当該操作リストに基づく1または複数の選択肢をユーザーへ報知するための信号を前記報知部に出力させる、音声認識システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015237508A JP6595324B2 (ja) | 2015-12-04 | 2015-12-04 | 車載装置、音声認識システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015237508A JP6595324B2 (ja) | 2015-12-04 | 2015-12-04 | 車載装置、音声認識システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017102822A JP2017102822A (ja) | 2017-06-08 |
JP6595324B2 true JP6595324B2 (ja) | 2019-10-23 |
Family
ID=59016579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015237508A Active JP6595324B2 (ja) | 2015-12-04 | 2015-12-04 | 車載装置、音声認識システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6595324B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7278830B2 (ja) * | 2019-03-27 | 2023-05-22 | 本田技研工業株式会社 | 端末装置、端末装置の制御方法、およびプログラム |
US11657817B2 (en) | 2020-10-16 | 2023-05-23 | Google Llc | Suggesting an alternative interface when environmental interference is expected to inhibit certain automated assistant interactions |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3678997B2 (ja) * | 2000-11-28 | 2005-08-03 | 松下電器産業株式会社 | 音声認識ナビゲーション検索方法および装置 |
JP2003291750A (ja) * | 2002-04-01 | 2003-10-15 | Nissan Motor Co Ltd | 車載機器制御装置 |
JP3979209B2 (ja) * | 2002-07-23 | 2007-09-19 | オムロン株式会社 | データ入力方法およびデータ入力装置 |
JP4413564B2 (ja) * | 2003-09-16 | 2010-02-10 | 三菱電機株式会社 | 情報端末および音声認識システム |
-
2015
- 2015-12-04 JP JP2015237508A patent/JP6595324B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017102822A (ja) | 2017-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5652913B2 (ja) | 車載端末装置 | |
US10475448B2 (en) | Speech recognition system | |
US9881605B2 (en) | In-vehicle control apparatus and in-vehicle control method | |
JP4736982B2 (ja) | 作動制御装置、プログラム | |
EP2581901A2 (en) | Information terminal, server device, searching system and corresponding searching method | |
EP3336836A1 (en) | Voice operating system, server device, in-vehicle equipment, and voice operating method | |
EP2787472A1 (en) | Information display apparatus and information display method | |
JP6076595B2 (ja) | 通報システム | |
EP3115748B1 (en) | In-vehicle device, server device, information system, and content start method | |
JP2010130223A (ja) | 音声操作システムおよび音声操作方法 | |
JP4940887B2 (ja) | 音声入力支援プログラム、音声入力支援装置、音声入力支援方法 | |
JP6595324B2 (ja) | 車載装置、音声認識システム | |
JP3842497B2 (ja) | 音声処理装置 | |
US20200286479A1 (en) | Agent device, method for controlling agent device, and storage medium | |
JP2011089820A (ja) | ナビゲーション装置及びその表示方法 | |
JP2003345391A (ja) | 端末、音声認識サーバ、音声認識システムおよびコンピュータプログラム | |
JP2011185667A (ja) | ナビゲーション装置、プログラムおよび表示方法 | |
JP2018028733A (ja) | 入力装置、入力装置の制御方法、表示装置および入力プログラム | |
JP2015018146A (ja) | 機能管理システム及び機能管理方法 | |
JP6021069B2 (ja) | 情報提供装置、および、情報提供方法 | |
WO2023082649A1 (zh) | 语音对话提示方法、装置、设备及计算机可读存储介质 | |
CN114979994A (zh) | 车载电话隐私保护方法、系统及计算机可读存储介质 | |
JP2019003244A (ja) | 情報提供装置及び情報提供方法並びに車両 | |
JP7393216B2 (ja) | 情報出力装置及び情報出力方法 | |
JP4457454B2 (ja) | 到着情報通知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170315 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170921 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181002 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190926 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6595324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |