JP6332072B2

JP6332072B2 - 対話装置

Info

Publication number: JP6332072B2
Application number: JP2015025681A
Authority: JP
Inventors: 靖作間
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2015-02-12
Filing date: 2015-02-12
Publication date: 2018-05-30
Anticipated expiration: 2035-02-12
Also published as: JP2016149014A

Description

本発明は、車両の乗員にメッセージを発声する対話装置に関する。

従来、車両のドライバに対して挨拶等のメッセージを発声する対話装置が提案されている。また、そのような対話装置において、対話を行うエージェント像を表示し、乗員がドライバ１人であるか乗員が複数人であるかに応じて、表示されるエージェント像の数や動作を変化させることも提案されている（例えば、特許文献１参照。）。

特開２００６−１８９３９４号公報

ところが、ドライバの運転負荷が大きく、そのドライバが運転に集中しなければならない状態であるにも拘わらず、ドライバ以外の乗員（以下、他の乗員という）がドライバに向けて発話を行った場合に、ドライバが運転に集中できるように何らかの対策を施す装置はこれまで提案されていない。

本発明は、こうした問題に鑑みてなされたものであり、車両の乗員にメッセージを発声する対話装置において、ドライバの運転負荷が大きいにも拘わらず他の乗員がドライバに向けて発話を行った場合に対する対策を実行可能とすることを目的としている。

前記目的を達するためになされた本発明の対話装置は、車両の運転に係るドライバの運転負荷を検出する運転負荷検出手段と、前記車両の乗員のうち前記ドライバ以外の乗員を他の乗員として、前記他の乗員から前記ドライバに向けての発話を検出する乗員発話検出手段と、前記乗員発話検出手段が前記発話を検出したとき、前記運転負荷検出手段が検出した運転負荷に応じて、前記発話に応答するメッセージを発声するメッセージ発声手段と、を備える。

このように構成された本発明では、運転負荷検出手段は、車両の運転に係るドライバの運転負荷を検出する。メッセージ発声手段は、乗員発話検出手段が他の乗員からドライバに向けての発話を検出したとき、前記運転負荷検出手段が検出した運転負荷に応じて、前記発話に応答するメッセージを発声する。このため、ドライバの運転負荷が大きいにも拘わらず他の乗員がドライバに向けて発話を行った場合には、メッセージ発声手段は、当該大きい運転負荷に応じて、前記発話に応答するメッセージを発声することができる。

本発明を適用した対話装置の構成を表すブロック図である。その対話装置による処理を表すフローチャートである。

以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．第１実施形態］
［１−１．構成］
図１に示すように、第１実施形態の対話装置を構成するＭＰＵ（マイクロプロセッサユニット）１には、音声入力デバイス３，音声出力デバイス５，各種車載装置７が接続されている。このＭＰＵ１、音声入力デバイス３、音声出力デバイス５、及び、各種車載装置７は、いずれも、図示省略した車両に搭載されている。

音声入力デバイス３は、例えば前記車両のダッシュボード等に設けられたマイクロフォン等によって構成される。この音声入力デバイス３は、車両の乗員が発話した音声、少なくとも、車両のドライバが発話した音声と助手席に同乗している他の乗員が発話した音声とを検出することができる。

音声出力デバイス５は、車両の乗員に向けて後述のメッセージ等を発声するためのスピーカ等によって構成される。この音声出力デバイス５は、既存のカーステレオ用スピーカ等を利用して構成されてもよく、特別に用意されてもよい。

各種車載装置７は、後述するドライバの運転負荷推定に用いられる各種装置を含む。この種の装置としては、例えば、カーナビゲーション装置，ＧＮＳＳ（Global Navigation Satellite System：全地球測位システム）等の位置検出装置，車速センサ，操舵角センサ，ミリ波レーダ等が挙げられる。

ＭＰＵ１は、ソフトウェア上で区分された車載機器インタフェース１１（図１ではインタフェースをＩ／Ｆと略記。）、音声入力インタフェース１２、乗員からドライバへの発話検出部１３、ドライバ運転負荷推定部１４、対応代行判定部１５、及び、応答メッセージ生成部１６を備えている。なお、ＭＰＵ１は、ＡＳＩＣであってもよい。

車載機器インタフェース１１は、各種車載装置７から送られた信号をデジタルデータに変換したり、各種車載装置７を制御するための制御信号を出力したりする。音声入力インタフェース１２は、音声入力デバイス３を介して入力された音声をデジタルデータに変換する。

乗員からドライバへの発話検出部１３は、音声入力デバイス３から音声入力インタフェース１２を介して入力された音声の内容（より具体的には意味）を解析することによって、他の乗員からドライバに向けての発話を検出する。この音声の内容解析には、例えばスマートフォン等で一般的に実施されている周知の音声解析技術が応用可能である。

ドライバ運転負荷推定部１４は、周知の方法により、ドライバの運転負荷を推定して数値化する。例えば、ドライバ運転負荷推定部１４は、カーナビゲーション装置の地図データと位置検出装置が検出した前記車両の現在位置とに基づき、現在走行中の道路と同様の道路を過去に走行した際のドライバの運転負荷を読み出してもよい。また、ドライバ運転負荷推定部１４は、車速センサが検出した車速、操舵角センサが検出した操舵角、ミリ波レーダが検出した先行車両との車間距離等の各種パラメータに、それぞれ所定の係数を掛け合わせて合算した値をドライバの運転負荷としてもよい。なお、これらの運転負荷推定方法は、例えば、特開２０１２−１０８７５３号公報や、特開２０１１−１２９０１０号公報に詳しいので、ここでは詳細な説明を割愛する。また、ドライバ運転負荷推定部１４が推定して数値化した値は、レベル値等のように単位を有さない数値であってもよく、何らかの単位を有する数値であってもよい。

対応代行判定部１５は、乗員からドライバへの発話検出部１３による検出結果とドライバ運転負荷推定部１４によって推定された運転負荷とに基づき、他の乗員に対する対応をドライバの代わりに行う（すなわち、対応を代行する）必要があるか否かを判定する。応答メッセージ生成部１６は、対応代行判定部１５が前記代行する必要があると判定した場合、前記他の乗員に向けて発声すべき応答メッセージを生成する。

［１−２．処理］
次に、ＭＰＵ１が実行する処理について説明する。ＭＰＵ１は、自身が内蔵したＲＯＭに記憶されたプログラムに基づき、図２のフローチャートに示す処理を所定周期で繰り返し実行する。

図２に示すように、この処理では、先ず、Ｓ１（Ｓはステップを表す：以下同様）にて、ドライバ運転負荷推定部１４の処理によって、その時点におけるドライバの運転負荷が推定される。続くＳ３では、乗員からドライバへの発話検出部１３の処理によって、他の乗員からドライバに向けての発話が検出されたか否かが判定される。前記発話が検出されていない場合は（Ｓ３：Ｎ）、処理はそのまま一旦終了し、前記発話が検出されている場合は（Ｓ３：Ｙ）、処理はＳ５へ移行する。

Ｓ５では、Ｓ１にて推定されたドライバの運転負荷（前述のように数値化されている。）が、予め設定された規定値より大きいか否かが判定される。前記推定されたドライバの運転負荷が規定値以下の場合は（Ｓ５：Ｎ）、処理はそのまま一旦終了し、当該運転負荷が既定値より大きい場合は（Ｓ５：Ｙ）、処理はＳ７へ移行する。なお、このＳ３，Ｓ５の判定処理が、対応代行判定部１５の処理に相当する。

Ｓ７では、応答メッセージ生成部１６が、他の乗員からドライバに向けての発話として検出された音声の内容に応じた応答メッセージを生成し、その応答メッセージが音声出力デバイス５から出力されて、処理が一旦終了する。

なお、この応答メッセージの具体例としては、例えば次のようなものが想定される。
［例１］ドライバが車両を駐車場から出そうとしていて運転負荷が大きいときに（Ｓ５：Ｙ）、助手席の乗員（他の乗員の一例）が「○○の歌を入れて。」とドライバに向けて発話した場合（Ｓ３：Ｙ）、「今手が離せないから、ちょっと待っててね。」といった応答メッセージが出力される（Ｓ７）。

［例２］ドライバが右折のタイミングを待っていて運転負荷が大きいときに（Ｓ５：Ｙ）、後部座席の子供（他の乗員の一例）が「寒いから暖かくして。」とドライバに向けて発話した場合（Ｓ３：Ｙ）、「今運転が忙しいから、少しだけ我慢しててね。」といった応答メッセージが出力される（Ｓ７）。

等の応答メッセージ例が考えられる。これらの場合、他の乗員からドライバに向けて発話がなされたという判定は、例えば、音声入力デバイス３から入力された音声の内容が、何らかの操作を依頼する内容であった場合になされてもよい。そして、応答メッセージの生成に当たっては、更に前記音声の内容が解析され、その解析結果に基づいて発話者の年齢が推定されることにより、「手が離せない」「運転が忙しい」等の用語選択がなされてもよい。

［１−３．効果］
以上詳述した第１実施形態によれば、次のような効果が生じる。
［１Ａ］本実施形態では、ドライバの運転負荷が大きいにも拘わらず（Ｓ５：Ｙ）、他の乗員がドライバに向けて発話を行った場合に（Ｓ３：Ｙ）、ドライバの代わりにＭＰＵ１が応答メッセージを出力する（Ｓ７）。このため、ドライバは、他の乗員からの発話があっても運転に集中することができる。

［１Ｂ］本実施形態では、車両に搭載された各種車載装置７の状態に基づいてドライバの運転負荷が検出される。このため、ドライバの運転負荷を検出するための特別な構成を用意する必要がなく、装置の製造コストを低減することができる。

［１Ｃ］本実施形態では、音声入力デバイス３から入力された音声の内容に基づいて他の乗員からドライバに向けての発話が検出される。このため、前記発話を検出するための構成（すなわち、音声入力デバイス３）としては、モノラルのマイクロフォンが１つあればよく、当該マイクロフォンは各種車載装置７が予め備えたものであってもよいため、装置の製造コストを低減することができる。

なお、ドライバ運転負荷推定部１４が運転負荷検出手段に、乗員からドライバへの発話検出部１３が乗員発話検出手段に、応答メッセージ生成部１６及び音声出力デバイス５がメッセージ発声手段に、音声入力デバイス３が音声検出手段に、それぞれ相当する。

［２．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されることなく、種々の形態を採り得る。

［２Ａ］前記実施形態では、ドライバの運転負荷は数値化されているが、必ずしも運転負荷は数値化される必要はない。例えば、交差点である、車速が３０ｋｍ／ｈ以上である、等の条件の論理和又は論理積によって、運転負荷が大きい（前記実施形態における規定値より大きい場合に相当）か否かが判定されてもよい。

［２Ｂ］前記実施形態では、各種車載装置７の状態に基づいてドライバの運転負荷が検出されたが、これに限るものではない。例えば、ドライバの運転負荷を検出するための特別な構成として設けられた脈拍センサ等の生体センサを用いて、ドライバの運転負荷が検出されてもよい。また、音声入力デバイス３を介して入力された運転者の口調に基づいて、ドライバの運転負荷が検出されてもよい。このように音声入力デバイス３を用いてドライバの運転負荷が検出される場合、各種車載装置７は省略されてもよい。

［２Ｃ］前記実施形態では、音声入力デバイス３から入力された音声の内容に基づいて他の乗員からドライバに向けての発話が検出されたが、これに限るものではない。例えば、車室内に複数のマイクロフォンを設けて音声の音量差や入力タイミングを参照することで、発話者の位置を特定することができる。その場合、発話者の位置に基づいて、その発話者がドライバであるか他の乗員であるかが判定され、発話者が他の乗員であればその発話はドライバに向けての発話であるとみなされてもよい。また、音声入力デバイス３から入力された音声の声紋に基づいて、その発話者がドライバであるか他の乗員であるかが判定され、発話者が他の乗員であればその発話はドライバに向けての発話であるとみなされてもよい。

［２Ｄ］また、車室内を撮影するカメラ等の撮影手段が設けられている場合、他の乗員がドライバの方を向いて口を動かした場合に、当該乗員からドライバに向けての発話がなされたとみなされてもよい。そして、その場合、前記撮影手段が撮影したドライバの顔画像（より具体的には目つき等）に基づいてドライバの運転負荷が検出されてもよい。

［２Ｅ］前記実施形態では、ＭＰＵ１を単に対話をするための対話装置として説明したが、本発明の対話装置は、音声入力により制御を行う機能も備えてもよい。例えば、各種車載装置７は、ドライバが音声入力デバイス３にコマンド（指令）を音声入力することによって操作可能な各種装置も含んでもよい。この種の装置としては、例えば、カーエアコン，カーオーディオ等が挙げられる。このような装置を音声入力に応じて制御する処理は公知であるので、ここでは説明を割愛する。なお、このような制御を実行する場合、音声入力のコマンド体系によっては、［２Ｃ］，［２Ｄ］に示したように、音声の内容（すなわち意味）を参照せずに発話者を特定した方が好ましい場合がある。

［２Ｆ］また、ドライバの運転負荷の大きさに応じてメッセージが変更されてもよい。例えば、ドライバの運転負荷が極めて大きい場合、より強い口調で他の乗員の発話を制止するメッセージが生成・出力されてもよい。

［２Ｇ］また、前記実施形態では、他の乗員からドライバに向けての発話が検出されるが、他の乗員同士でなされる会話も前記発話とは別に検出されてもよい。例えば、ドライバに知らせるべき重要な情報が発声されるときに、他の乗員同士が大声で騒いでいる場合に、応答メッセージ生成部１６が「ちょっとだけ静かにしてね。」等のメッセージを生成・出力してもよい。その場合、当該メッセージの発声後に、前記重要な情報が発声されるとよい。そうすることによって、当該重要な情報がより良好にドライバに伝達される。

なお、前記重要な情報は、ＭＰＵ１が生成・出力する情報であってもよく、例えばカーナビゲーション装置等の各種車載装置７が生成・出力する情報であってもよい。後者の場合、ＭＰＵ１は、各種車載装置７と信号の送受信を行うことによって、前記重要な情報が発声されるタイミングを取得して、前記制御に反映させることができる。後者の場合、重要な情報の例としては、例えば右左折指示や、渋滞若しくは事故の発生情報を挙げることができる。また、ＭＰＵ１は、カーナビゲーション装置等の各種車載装置７からこのような重要な情報を取得し、当該ＭＰＵ１の処理として当該重要な情報を生成・出力してもよい。

［２Ｈ］前記実施形態では、他の乗員からドライバに向けての発話があったか否かを単純に判定しているが、これに限るものではない。例えば、当該発話の内容を詳細に解析して、ドライバに対して負荷となりそうな発話か否かも判定してもよい。

［２Ｉ］また、ＭＰＵ１は、音声のメッセージの発声に加えて、ディスプレイ等の表示部も制御して、当該表示部を介してメッセージを表示してもよい。その場合、前記表示部は、この処理のために特別に用意されてＭＰＵ１によって制御される表示部であってもよく、カーナビゲーション装置等の各種車載装置７が備えた既存の表示部が利用されてもよい。

［２Ｊ］前記実施形態では、本発明の対話装置を車載装置として構成しているが、これに限るものではない。例えば、本発明の対話装置は、スマートフォンやタブレットといったいわゆる持込機器によって構成されてもよい。その場合、［２Ｄ］に示したように、持込機器のカメラが撮影したドライバの顔画像に基づいてドライバの運転負荷が検出され、かつ、当該カメラが撮影した他の乗員の画像に基づいて他の乗員からドライバに向けての発話が検出されてもよい。

［２Ｋ］前記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、前記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、前記実施形態の構成の一部を省略してもよい。また、前記実施形態の構成の少なくとも一部を、他の前記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

［２Ｌ］上述した対話装置の他、当該対話装置を構成要素とするシステム、当該対話装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、対話制御方法など、種々の形態で本発明を実現することもできる。

１…ＭＰＵ３…音声入力デバイス
５…音声出力デバイス７…各種車載装置
１１…車載機器インタフェース１２…音声入力インタフェース
１３…乗員からドライバへの発話検出部１４…ドライバ運転負荷推定部
１５…対応代行判定部１６…応答メッセージ生成部

Claims

車両の運転に係るドライバの運転負荷を検出する運転負荷検出手段と、
前記車両の乗員のうち前記ドライバ以外の乗員を他の乗員として、前記他の乗員から前記ドライバに向けての発話を検出する乗員発話検出手段と、
前記乗員発話検出手段が前記発話を検出したとき、前記運転負荷検出手段が検出した運転負荷に応じて、前記発話に応答するメッセージを発声するメッセージ発声手段と、
を備えたことを特徴とする対話装置。
前記運転負荷検出手段は、前記車両に搭載された車載装置の状態に基づいて、前記ドライバの運転負荷を検出することを特徴とする請求項１に記載の対話装置。
前記運転負荷検出手段は、前記ドライバの運転負荷を数値として検出し、
前記メッセージ発声手段は、前記乗員発話検出手段が前記発話を検出し、かつ、前記運転負荷検出手段が検出した運転負荷が規定値を超えている場合に、前記メッセージを発声することを特徴とする請求項１又は２に記載の対話装置。
前記車両内部における音声を検出する音声検出手段を、
更に備え、
前記乗員発話検出手段は、前記音声検出手段が検出した音声に基づいて、前記他の乗員から前記ドライバに向けての発話を検出することを特徴とする請求項１〜３のいずれか１項に記載の対話装置。
前記乗員発話検出手段は、前記音声検出手段が検出した音声の内容に基づいて、前記他の乗員から前記ドライバに向けての発話を検出することを特徴とする請求項４に記載の対話装置。
前記乗員発話検出手段は、前記音声検出手段が検出した音声に基づいて、前記他の乗員による発話であるか前記ドライバによる発話であるかを判定し、前記他の乗員による発話であると判定した場合に、当該発話を前記他の乗員から前記ドライバに向けての発話であるとみなすことによって、前記他の乗員から前記ドライバに向けての発話を検出することを特徴とする請求項４又は５に記載の対話装置。
前記乗員発話検出手段は、前記他の乗員同士の間でなされる会話を、前記発話とは別に検出し、
前記メッセージ発声手段は、前記ドライバに知らせるべき情報も発声し、
前記メッセージ発声手段が前記情報を発声する際、前記乗員発話検出手段が前記会話を検出している場合は、静かにすべき旨のメッセージを発声した後に、前記情報を発声することを特徴とする請求項１〜６のいずれか１項に記載の対話装置。