以下、図面を参照して本発明の実施形態について説明する。
[第1実施形態]
まず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係る音声出力制御装置としてのユーザインタフェース制御装置の構成を示す図である。このユーザインタフェース制御装置(以下、UI制御装置)100は、移動体である車両102に搭載されている。音声出力制御装置であるUI制御装置100は、車載ネットワークバス104を介して、カメラ制御装置106、車両情報取得装置108、運転シーン評価装置110、運転技量評価装置112、ユーザ情報管理装置114、運転負荷算出装置116、AV(オーディオビジュアル)出力装置118、およびコンテンツ提供装置120と、通信可能に接続されている。
UI制御装置100は、AV出力装置118およびコンテンツ提供装置120をクライアントとし、これらクライアント装置とユーザとの間の、マイク140、スピーカ142、表示装置144、およびタッチパネル146で構成されるユーザインタフェースを介したインタラクションを仲介する。特に、UI制御装置100は、これらクライアント装置からユーザへの、スピーカ142を介した音声出力の停止及び再開を制御する。
なお、以下においてユーザとは、車両102の運転者および同乗者を含む車両102の利用者をいうものとする。
カメラ制御装置106は、車室内カメラ122により、車両102の車室内の画像を撮影する。また、カメラ制御装置106は、例えば車両102の外装に設けられた車外カメラ124により、車両102の外部環境を撮影する。
車両情報取得装置108は、センサ群126から車両102の運転操作及び運動状態(又は力学的状態)を検知する。センサ群126には、アクセルペダルセンサ、ブレーキペダルセンサ、ステアリングセンサ、シフトセンサ、方向指示器センサ等の、車両操縦に係る各種の操作器に対するユーザ操作の有無および操作量を取得するセンサが含まれる。また、センサ群126には、3軸加速センサ、ヨーレートセンサ、および速度センサ等の、車両の運動状態又は力学的状態を検知する各種のセンサが含まれ得る。
運転シーン評価装置110は、従来技術に従い、車両102が走行する交通環境のシーンである運転シーン(または交通シーン)を評価する。運転シーンは、本実施形態では、車両運転時に遭遇する様々な交通場面をカテゴライズしたものであり、例えば、交差点通過、交差点右折、交差点左折、狭路対面走行、前車追い越し、レーン変更、高速道路合流、緊急車両通過、二輪車並走、歩行者混雑、街路渋滞、暴風雨時走行等々の一つ又は複数の組み合わせで表され得る。
運転シーン評価装置110は、上述した各運転シーン(候補シーン)のそれぞれについて、現在の運転シーンに合致すると判断する確信度(確からしさ、確率、または信頼度)を算出する。算出された各候補シーンの確信度から、最も確信度の高い候補シーンが、現在の運転シーンとして特定され得る。ここで、確信度は、確信の程度が高いほど値の大きい、例えば0以上、1以下の範囲の数値として表され得る。
具体的には、運転シーン評価装置110は、CPU等のプロセッサで構成されるコンピュータである処理装置を備え、例えば、車両102の外部環境、車両102の運転者の運転行動、及び又は車両102の運動状態に基づいて、上記各運転シーンの確信度を算出する。
ここで、上記外部環境には、車両102の現在位置付近の地図情報(直進、カーブ、四差路、高速道入り口等々の道路の幾何学的構成やレーン構成)、車外カメラ124から取得され得る他車両の存在、道路標識、道路設備の動作状態(信号灯の点灯色等)、及び天候の状態等が含まれ得る。また、運転者の運転行動には、運転者の視線移動(安全確認のための、サイドミラーやルームミラーへの視線移動)、運転操作の種類(加減速操作、ステアリング操作、方向指示灯の点灯)、及び又はこれら運転操作の操作量、操作順序等が含まれ得る。また、車両102の運動状態には、速度、加速度、減速度、転回速度、走路勾配等が含まれ得る。
運転シーン評価装置110は、これらの情報を、自身が備える記憶装置に記憶された地図情報、車外カメラ124から得られる車両環境の情報、車室内カメラ122から得られる運転者の視線情報、及び車両情報取得装置108が取得する各種の車両情報から取得する。
運転シーン評価装置110は、例えば、各候補シーンのそれぞれに特徴的な外部環境、一連の運転行動、および車両の運動状態と、車両102の現在の外部環境、運転者の運転行動、および車両102の運動状態と、を比較し、それらの一致の程度から上記確信度を算出し得る。
ただし、確信度の算出方法は、上記には限られない。例えば、運転シーン評価装置110は、上記外部環境、運転行動、及び又は運動状態から現在の運転シーンを確率的に推定するよう機械学習された学習済みモデルを用いて、現在の外部環境、運転行動、及び又は運転状態に対応した各候補シーンの確信度を算出するものとしてもよい。
運転シーン評価装置110は、車載ネットワークバスを介して、上記候補シーンのそれぞれの確信度を他の装置へ出力すると共に、最も確信度の高い候補シーンを現在の運転シーンとして特定して、当該特定の結果を他の装置へ出力する。
運転技量評価装置112は、従来技術に従い、車両102の運転者の運転スキルを評価し、評価結果を記憶する。具体的には、運転技量評価装置112は、例えばCPU等のプロセッサで構成されるコンピュータである処理装置と記憶装置とを備える。運転技量評価装置112は、運転シーン評価装置110から取得される現在の運転シーンと同様の運転シーンにおいて標準的な運転者が行う標準操縦フローと、車両102の現在の運転者が行った実際の実行操縦フローとを比較して、当該現在の運転者の運転スキルを評価する。
これらの操縦フローは、一連の操縦における運転操作の種類、順序、開始タイミング、当該運転操作の速さ、及び又は当該運転操作の操作量の大きさ、等々のパラメータにより表現され得る。運転技量評価装置112は、現在の運転者の上記実行操縦フローにおける上記パラメータのそれぞれについて、上記標準操縦フローからの乖離の程度を評価し、当該評価の結果を、運転スキル評価点として算出する。この運転スキル評価点は、例えば、値1を上限として、運転スキルが低いほど(すなわち、上記乖離の程度が大きいほど)、より小さな値となるように算出され得る。
ここで、上記実行操縦フローを構成する各パラメータ値は、車両情報取得装置108から取得されるものとすることができる。また、上記標準操縦フローについての各パラメータ値は、運転シーン毎に、予め定められて記憶されているものとすることができる。
運転技量評価装置112は、所定の時間間隔で(例えば、半年毎に)、所定長さの運転期間(例えば、3か月間)における運転操作のデータに基づき、上記運転スキル評価点を算出するものとすることができる。また、運転技量評価装置112は、例えば、車両102が複数のユーザにより利用される場合には、上記運転スキル評価点をユーザ毎に算出する。
運転技量評価装置112は、算出した運転者ごとの運転スキル評価点を、車載ネットワークバス104を介して他の装置へ出力する。
ユーザ情報管理装置114は、車両102を運転者として利用するユーザについての情報(ユーザ情報)を管理する。ユーザ情報には、各ユーザの運転スキル評価点と嗜好情報とが含まれ得る。具体的には、ユーザ情報管理装置114は、処理装置128と記憶装置130とを備える。処理装置128は、例えばCPU等のプロセッサを備えるコンピュータである。記憶装置130は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。記憶装置130は、運転技量データベース(運転技量DB)132と、嗜好情報データベース(嗜好情報DB)134と、を記憶する。
運転技量DB132には、ユーザ毎の運転スキル評価点が保存されている。処理装置128は、運転技量評価装置112が出力するユーザ毎の運転スキル評価点を受信して、運転技量DB132に保存する。
嗜好情報DB134には、各ユーザの嗜好情報が保存される。嗜好情報は、例えば、対応するユーザが好む嗜好カテゴリを表す情報で構成される。嗜好カテゴリは、例えば、コンテンツの分野(楽曲、映画、ニュース等々)、当該分野毎の小分類、及び又は具体的なコンテンツ、等々を表す言葉で構成され得る。上記小分類は、例えば、楽曲であればクラシック、ポップス等の区別、映画であればアクション、ホラー、SiFi等の区別、ニュースであればスポーツ、特定の国、特定のニュースソース等の区別を表す。
処理装置128は、例えば、ユーザが後述するAV出力装置118により再生した楽曲や動画の情報、AV出力装置118が提供するウェブブラウザを用いて行った検索のキーワード、後述するコンテンツ提供装置120に出力を指示したコンテンツ情報を、AV出力装置118およびコンテンツ提供装置120から取得する。そして、処理装置128は、取得したこれらの情報に基づき、対応するユーザの嗜好情報を生成して、嗜好情報DB134に保存する。
ユーザ情報管理装置114は、また、車両102を運転者として現在利用しているユーザを特定する。例えば、処理装置128は、従来技術に従い、各ユーザが用いるスマートキーや携帯端末から取得されるID情報、あるいは車室内カメラ122から取得される運転者の顔画像を用いた認証処理等により、現在の運転者であるユーザを特定する。
運転負荷算出装置116は、運転者の現在の運転負荷を推定する。運転負荷算出装置116は、CPU等のプロセッサで構成される処理装置と、記憶装置とを備え、車両102の現在の運転シーンと、現在の運転者の運転技量の程度と、に基づいて、当該運転者の現在の運転負荷を算出する。
具体的には、運転負荷算出装置116は、車両102の現在の運転シーンを、運転シーン評価装置110から取得する。また、運転負荷算出装置116は、車両102の現在の運転者の運転技量を表す運転スキル評価点を、ユーザ情報管理装置114から取得する。
そして、運転負荷算出装置116は、例えば、現在の運転シーンを標準的な運転者(標準運転者)が走行したならば当該標準運転者が受けるであろう運転負荷を数値で表した標準運転負荷に運転スキル評価点を乗算して、現在の運転者の現在の運転負荷を算出する。
ここで、標準運転負荷は、例えば、運転負荷が高いほど大きな値をとる数値で表現され得る。また、この標準運転負荷は、例えば、上述のようにカテゴライズされた運転シーンごとに予め定められて記憶されているものとすることができる。
AV出力装置118は、例えばCPU等のプロセッサを備えるコンピュータである処理装置を備え、従来技術に従い、楽曲や動画の再生を行う。また、AV出力装置118は、例えばウェブブラウザを備えて、ユーザに対し情報検索及び又は情報閲覧の機能を提供する。
AV出力装置118は、UI制御装置100を介して運転者とのインタラクションを行う。例えば、運転者は、楽曲や動画の再生の指示、あるいは情報検索等の指示を、マイク140を介した音声指示により行うことができる。AV出力装置118は、UI制御装置100を介して上記音声指示の音声認識結果を受信し、当該音声指示が指定する動作を実行する。また、AV出力装置118は、UI制御装置100を介して、再生した音声や動画をスピーカ142や表示装置144に出力し、及び又は検索した情報を表示装置144に表示する。
また、AV出力装置118は、従来技術に従い、運転者との複数回のインタラクションを通じて一つの指示を取得し得る。例えば、AV出力装置118は、運転者から、特定のアーティストの曲の再生を指示する「***の曲を再生して」(***はアーディスト名)という音声指示を受信する。AV出力装置118は、当該指示に応じて、対応するアーティストの曲を、例えば記憶装置が記憶する楽曲の中から検索し、そのリストを表示装置144に表示して、「再生する曲を選択してください」等の発信発話を、UI制御装置100に指示する。そして、AV出力装置118は、運転者の選択結果を、応答音声または表示装置144のタッチパネルを介した入力として受信する。
コンテンツ提供装置120は、ニュースや観光情報等のテキスト情報を読み上げてユーザに提供する。コンテンツ提供装置120は、CPU等のプロセッサで構成される処理装置136と、記憶装置137と、を備える。コンテンツ提供装置120は、例えばAV出力装置118と協働し、ユーザからの指示によりAV出力装置118のウェブブラウザが検索した情報のうち、テキスト情報を、記憶装置137に記憶する。このテキスト情報は、例えばカテゴリごとに、ニュース情報138や観光情報139として記憶装置137に記憶される。
また、処理装置136は、UI制御装置100を介して、ユーザからの指示に応じ、記憶装置137に記憶したテキスト情報を読み上げ音声としてスピーカ142から出力する。ここで、テキスト情報の読み上げ音声の生成は、従来技術に従って種々の手法で行うことができる。なお、処理装置136は、上記生成した読み上げ音声の音声情報のほか、読み上げ音声の提供に付随する画像情報や表示情報を、UI制御装置100を介して表示装置144に表示してもよい。
UI制御装置100は、AV出力装置118およびコンテンツ提供装置120をクライアントとし、これらクライアント装置が出力する音声情報および画像情報を、スピーカ142及び表示装置144から出力する。また、UI制御装置100は、ユーザの音声指示および入力指示又は入力データを、それぞれマイク140およびタッチパネル146から取得して、それぞれ対応するクライアント装置へ出力する。上述したように、UI制御装置100は、特に、これらクライアント装置からユーザへの、スピーカ142を介した音声出力の停止及び再開を制御する。
具体的には、UI制御装置100は、処理装置150と、記憶装置152と、を備える。記憶装置152は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。
処理装置150は、例えばCPU等のプロセッサを備えるコンピュータである。処理装置150は、プログラムが書き込まれたROM、データの一時記憶のためのRAM等を有する構成であってもよい。そして、処理装置150は、機能要素又は機能ユニットとして、UI(ユーザインタフェース)制御部156と、出力制御部158と、を備える。
UI制御部156は、機能要素又は機能ユニットである音声出力部160と、音声認識部162と、表示制御部164と、入力処理部166と、で構成される。また。出力制御部158は、機能要素又は機能ユニットである停止指示部170と、シーン判断部172と、要因推定部174と、条件決定部176と、通知部178と、再開指示部180と、で構成される。さらに、要因推定部174は、機能要素又は機能ユニットである負荷判断部186と、会話判断部188と、睡眠判断部190と、内容判断部192と、で構成される。
処理装置150が備えるこれらの機能要素は、例えば、コンピュータである処理装置150がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置150が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
UI制御部156は、ユーザインタフェースであるマイク140、スピーカ142、表示装置144、及び表示装置144の表示スクリーン上に設けられたタッチパネル146を制御する。
UI制御部156の音声出力部160は、クライアント装置であるAV出力装置118およびコンテンツ提供装置120からの指示により、これらのクライアント装置が生成する音声情報をスピーカ142から出力する。音声情報には、クライアント装置が生成する音声のほか、楽曲や動画に付されたサウンド情報が含まれ得る。
音声認識部162は、従来技術に従い、ユーザからの発話をマイク140により取得し、取得した発話の音声認識処理を行って、AV出力装置118およびコンテンツ提供装置120へ出力する。これに代えて、音声認識部162は、従来技術に従い、音声認識処理結果の意味解析を更に行い、その解析結果をAV出力装置118およびコンテンツ提供装置120へ出力してもよい。
表示制御部164は、表示装置144を制御して、AV出力装置118およびコンテンツ提供装置120が指示する画像又は映像を出力する。また、入力処理部166は、従来技術に従い、タッチパネル146から運転者の入力を取得し、当該取得した入力の処理結果を、AV出力装置118およびコンテンツ提供装置120へ出力する。
出力制御部158は、スピーカ142からの音声出力を制御する。出力制御部158は、ユーザからの停止指示に応じて、スピーカ142からの音声出力を停止する。また、出力制御部158は、特に、ユーザが停止指示を行った要因を推定し、当該要因に応じて上記停止した音声出力の再開条件を決定する。そして、出力制御部158は、当該決定した再開条件に従って音声出力を再開する。また、特に、出力制御部158は、音声出力の再開に際し、上記推定した要因に応じた通知を、ユーザに対して行う。
出力制御部158の停止指示部170は、例えば、音声認識部162を介して、音声出力の停止を指示するユーザの音声指示を取得する。当該音声指示は、例えば、「音声ストップ」、「音声停止」等の発話であるものとすることができる。停止指示部170は、上記音声指示の音声認識結果と共に、例えば、当該音声指示の音量情報を、UI制御部156から取得するものとすることができる。
シーン判断部172は、運転シーン評価装置110と協働して、車両102の運転シーンを評価する。シーン判断部172は、運転シーンの展開、すなわち、時間と共に変化する種々の運転シーンの開始および終了を判断する。具体的には、シーン判断部172は、所定の時間間隔で、運転シーン評価装置110が算出する候補シーンごとの確信度および現在の運転シーンを取得する。
そして、シーン判断部172は、運転シーン評価装置110から取得される現在の運転シーンが変わったときに、新しい運転シーンが開始したものと判断する。またシーン判断部172は、新しい運転シーンが開始したときに、その直前の運転シーンに対応する候補シーンの確信度から、当該直前の運転シーンが終了したと判断する確信度(シーン終了確信度)を算出する。ここで、候補シーンの確信度は、上述したように、確信の程度が高いほど値の大きい、例えば0以上1以下の範囲の数値として表され得る。そして、上記シーン終了確信度は、例えば、上記直前の運転シーンに対応する候補シーンの確信度を1から減算することにより算出され得る。
要因推定部174は、ユーザからの音声出力の停止指示を停止指示部170が受信したときに、ユーザが当該停止指示を行った要因を推定する。具体的には、要因推定部174は、負荷判断部186により、上記停止指示の要因が、車両102についての現在の運転者の運転負荷の増大であるか否かを判断する。
より具体的には、負荷判断部186は、所定の時間間隔で、運転負荷算出装置116から、現在の運転者の現在の運転負荷を取得する。また、負荷判断部186は、上記停止指示が受信されたときの上記現在の運転負荷が、所定のレベル以上であるか否かを判断する。そして、上記停止指示が受信されたときの上記現在の運転負荷が所定のレベル以上であるときは、負荷判断部186は、ユーザが上記停止指示を行った要因を、運転負荷の増大であるものと判断する。
また、要因推定部174は、会話判断部188により、上記停止指示の要因が、ユーザと車両102の同乗者との会話であるか否かを判断する。ここで、ユーザと同乗者との会話には、運転者と同乗者との会話および同乗者同士の会話が含まれ得る。
具体的には、会話判断部188は、カメラ制御装置106を介して得られる車室内カメラ122の映像から、運転者を含む乗員が複数存在することを検知する。また、会話判断部188は、乗員が複数検知されたときは、UI制御部156を介してマイク140から車室内の発話音声を取得する。そして、会話判断部188は、上記取得した発話音声を分析し、乗員間でターンテイキング(話者交代、交互発話)が行われている時間が所定時間以上であるときは、乗員間で会話が行われていると判断し、上記停止指示の要因が同乗者との会話であるものと判断する。
なお、会話判断部188は、乗員間で会話が行われていると判断される場合であって且つ運転者が当該会話に参加している場合に、上記停止指示の要因が同乗者との会話であるものと判断してもよい。運転者が会話に参加しているか否かは、当該会話の中に運転者の音声が含まれるか否かにより判断することができる。ここで、会話の中に運転者の音声が含まれているか否かは、例えば、予め録音してユーザ情報管理装置114に記憶しておいた当該運転者の音声サンプルに基づいて判断するものとすることができる。
また、要因推定部174は、睡眠判断部190により、上記停止指示の要因が、車両102の同乗者の睡眠であるか否かを判断する。具体的には、睡眠判断部190は、カメラ制御装置106を介して得られる車室内カメラ122の映像から、同乗者の存在を検知する。また、睡眠判断部190は、同乗者が検知されたときは、UI制御部156を介してマイク140から車室内の発話音声を取得する。そして、睡眠判断部190は、上記取得した発話音声の音量が所定のレベル以下であるときは、上記停止指示の要因が、同乗者の睡眠であるものと判断する。
また、要因推定部174は、内容判断部192により、上記停止指示の要因が、当該停止指示の対象である音声出力が提供する情報の内容であるか否かを判断する。具体的には、内容判断部192は、ユーザ情報管理装置114から、現在の利用者の嗜好情報を取得し、上記音声指示が提供する情報のカテゴリと、上記取得した現在の利用者の嗜好情報が示す嗜好カテゴリと、の間の乖離度を算出する。そして、内容判断部192は、上記算出した乖離度が所定のレベル以上であるときは、上記停止指示の要因が、上記音声出力が提供する情報の内容であるものと判断する。
上記乖離度は、従来技術に従い、種々の手法を用いて算出することができる。例えば、任意の所定の定義に従う複数の座標軸で構成される多次元空間に、音声出力が提供する情報のカテゴリと嗜好カテゴリとをプロットし、当該多次元空間におけるカテゴリ間の距離を、乖離度として算出するものとすることができる。上記座標軸は、例えば、カテゴリの特性を表す言語としての「活動的」と「思索的」とを対極として目盛られた軸、「野外」と「屋内」とを対極として目盛られた軸など、任意に定義することができる。
ここで、要因推定部174は、ユーザからの停止指示を受信したときは、当該停止指示の要因が運転者の運転負荷の増大であるか否かの判断を、他の要因(例えば、同乗者との会話、同乗者の睡眠、および情報の内容)についての判断に優先して行う。例えば、要因推定部174は、負荷判断部186、会話判断部188、睡眠判断部190、内容判断部192における判断を、この順で実行し、最初に肯定的結果を得た判断に係る要因を、上記停止指示の要因として推定する。
次に、出力制御部158の条件決定部176は、要因推定部174が推定したユーザの停止指示の要因に応じて、当該停止指示により停止された音声出力の再開条件を決定する。具体的には、条件決定部176は、例えば、上記推定された要因が運転負荷の増大であるときは、当該運転負荷の増大の原因となった運転シーンの終了を、再開条件として決定する。
また、条件決定部176は、例えば、要因推定部174が推定した要因が同乗者との会話であるときは、当該会話の終了を、再開条件として決定する。また、条件決定部176は、例えば、要因推定部174が推定した要因が同乗者の睡眠であるときは、音声出力の音量の低減を、再開条件として決定する。
あるいは、条件決定部176は、例えば、要因推定部174が推定した要因が情報の内容であるときは、音声出力により提供する情報の内容の変更を、再開条件として決定する。また、条件決定部176は、要因推定部174が要因を特定できないとき、すなわち、負荷判断部186、会話判断部188、睡眠判断部190、内容判断部192における判断の結果が、いずれも否定的なものであるときは、上記停止指示から所定時間が経過することを、再開条件として決定する。
出力制御部158の通知部178は、ユーザからの停止指示により停止した音声出力を再開する際に、例えばスピーカ142により、ユーザに対し、上記推定した要因に応じた通知を行う。通知は、要因推定部174が推定した要因に応じた音声出力の再開理由を含み得る。あるいは、通知は、上記推定した要因に応じた音声出力の再開条件を含むものとすることができる。さらに、上記通知は、停止した音声出力の再開可否に関するユーザへの問い合わせを含み得る。
通知部178は、例えば、要因推定部174が推定した要因が同乗者との会話であるときは、「同乗者の方とのお話しが終わったようなので、先ほどの観光情報を再開してもよろしいですか?」等の通知を行う。この場合において、「同乗者の方とのお話しが終わったようなので」は、要因推定部174が推定した要因に応じた音声出力の再開理由を示す文言であり、「先ほどの観光情報を再開してもよろしいですか?」は、ユーザからの停止指示により停止した音声出力の再開可否に関するユーザへの問い合わせである。また、「先ほどの観光情報を」の部分は、中断した音声出力の内容についてのリマインダとなっている。このようなリマインダを通知に含めることは、特に音声出力の中断時間が所定時間を超えて長い場合や、音声出力の中断時に同乗者との会話が行われる場合のようにユーザの思考が音声出力の内容から離れてしまう場合には、上記再開可否の問合せに関するユーザの判断を容易にする。
また、通知部178は、例えば、要因推定部174が推定した要因が同乗者の睡眠であるときは、「同乗者の方が眠っているようなので、音量を下げて先ほどの観光情報を再開してもよろしいですか?」等の通知を行う。この場合において、「同乗者の方が眠っているようなので」は、要因推定部174が推定した要因に応じた音声出力の再開理由を示す文言である。また、「音量を下げて先ほどの観光情報を再開してもよろしいですか?」は、上記推定した要因に応じた音声出力の再開条件を示す文言であると共に、ユーザからの停止指示により停止した音声出力の再開可否に関するユーザへの問い合わせである。
また、通知部178は、例えば、要因推定部174が推定した要因が情報の内容であるときは、「話題を変えましょうか? あなたのお好きなバスケットボールの情報があるのですがいかがでしょう?」等の通知を行う。容易に理解されるように、上記通知に含まれる一連の文言は、要因推定部174が推定した要因に応じた音声出力の再開理由および再開条件の提示、並びに音声出力の再開可否に関するユーザへの問い合わせを含んでいる。この場合において、「話題を変えましょうか?」の文言部分は省略することが可能である。「あなたのお好きなバスケットボールの情報があるのですがいかがでしょう?」の文言には、停止指示の要因として“情報の内容”が推定されたことが、暗示的に示されているためである。
通知部178は、上記のような再開条件としての情報内容の変更を提案するために、ユーザ情報管理装置114から現在の運転者の嗜好情報を取得する。また、通知部178は、取得した嗜好情報に基づき、例えば、コンテンツ提供装置120の記憶装置が記憶するコンテンツを検索して、上記嗜好情報が示すいずれかの嗜好カテゴリとの乖離距離が所定値以下であるカテゴリのコンテンツを抽出する。そして、抽出したコンテンツの再生を上記再生条件として提示して、その実行を提案するものとすることができる。
また、通知部178は、要因推定部174が推定した要因が“運転負荷の増大”であるときは、運転負荷の増大をもたらした運転シーンは終了したことを上記再開理由として含む通知を行う。例えば、通知部178は、「緊急車両が通過したので、先ほどの観光情報を再開してもよろしいですか?」等の通知を行う。ここで、「緊急車両が通過したので」は、運転負荷の増大をもたらした運転シーンの表現である。
また、通知部178は、要因推定部174が推定した要因が“運転負荷の増大”であって、ユーザの停止指示から上記運転負荷の増大をもたらした運転シーンの終了までの経過時間が所定時間以下であり、且つ、当該運転負荷の増大をもたらした運転シーンの終了の判断の信頼度が所定値以上であるときは、ユーザに対し、所定のサイン音を含む通知を行う。また、所定のサイン音を含む通知を行うときは、当該通知には、音声出力の再開可否に関する問い合わせを含めないものとすることができる。すなわち、この場合には、上記サイン音に続いて、音声出力が自動的に再開される。
これにより、ユーザは、運転負荷の一時的な増加のために音声出力の停止指示を行った場合には、当該音声出力の再開についての問い合わせを一々受けることなく、当該運転負荷の一時的増加をもたらした運転シーンの終了後に、即座に上記音声出力を再び聞くことができる。
ここで、上記のように“運転シーンの終了の判断の信頼度が所定値以上”であることを条件とするのは、運転シーンが実際に終了していないうちに、音声出力が自動的に再開されてしまう事態を、より確実に回避するためである。
なお、上記“運転シーンの終了の判断の信頼度”は、上述したシーン判断部172が算出するシーン終了確信度に対応する。また、停止指示から運転シーン終了までの経過時間は、通知部178が計測するものとすることができる。
例えば、通知部178は、停止指示部170がユーザからの停止指示を受信したときに、経過時間の計測を開始すると共に、要因推定部174が推定した要因が“運転負荷の増大”であるときは、シーン判断部172がその後に算出するシーン終了確信度を取得する。そして、通知部178は、上記停止指示の受信から上記シーン終了確信度の受信までの経過時間を、当該停止指示から運転負荷の増大をもたらした運転シーンの終了までの経過時間とすることができる。
出力制御部158の再開指示部180は、通知部178が行った通知であって音声出力の再開可否に関する問い合わせを含む通知に対して、ユーザが肯定的な応答を返した場合に、対応するクライアント装置、すなわち、AV出力装置118またはコンテンツ提供装置120に対し、当該通知に従った音声出力の再開を行うよう指示する。
ここで、“通知にしたがった音声出力の再開”とは、単に停止した音声出力を再開することのほか、推定された要因が“同乗者の睡眠”または“情報の内容”であるときは、それぞれ、当該通知において提案した音量を下げた音声出力、または当該通知において提案した情報についての音声出力、を意味する。これらの要因が推定されている場合、例えば、再開指示部180は、対応するクライアント装置に対し再開指示を行うときに、それぞれ、再開する音声出力の音量の指定、及び提供する情報の指定についての指示を付加する。なお、再開する音声出力の音量の指定は、再開指示部180が、UI制御部156の音声出力部に対して行うものとすることもできる。
上記の構成を有するUI制御装置100は、音声コンテンツ等の音声出力を行っているときに、ユーザから当該音声出力の停止指示を受け付けると、要因推定部174により、ユーザが当該停止指示を行うに至った要因を推定する。そして、条件決定部176は、要因推定部174が推定した要因に応じて、停止した音声出力の再開条件を決定する。これにより、UI制御装置100では、ユーザが停止した音声出力を、当該停止の要因に応じた適切な条件の下に再開することができる。
また、UI制御装置100では、ユーザからの停止指示により停止した音声出力を再開する際に、ユーザに対し、上記推定した要因に応じた通知を行う。この通知には、上記推定した要因に応じた音声出力の再開理由及び又は再開条件、及び又は音声出力の再開可否に関するユーザへの問い合わせ、が含まれ得る。これによりUI制御装置100では、ユーザが停止した音声出力を、ユーザの納得性を確保しつつ再開することができる。
次に、UI制御装置100の出力制御部158が実行する音声出力の制御処理について説明する。図2は、制御処理の手順を示すフロー図である。本処理は、UI制御装置100の電源がオンされたときに開始し、オフされたときに終了する。
なお、本処理と並行してUI制御装置100のUI制御部156は、クライアント装置であるAV出力装置118及び又はコンテンツ提供装置120からの指示により音声及び画像をスピーカ142及び表示装置144から出力する。また、UI制御部156は、本処理と並行して、ユーザからの音声および入力をマイク140およびタッチパネルにより取得して、対応するクライアント装置へ送信するものとする。
処理を開始すると、出力制御部158は、シーン判断部172による運転シーンの評価を開始する(S100)。続いて、出力制御部158の停止指示部170は、スピーカ142からの音声出力があるか否かを判断する(S102)。例えば、クライアント装置であるAV出力装置118およびコンテンツ提供装置120は、ユーザへの音声出力を伴う動作を開始したときは、UI制御装置100へ音声出力動作の開始を通知するものとし、停止指示部170は、当該通知を受信したか否かにより、音声出力があるか否かを判断するものとすることができる。
そして、停止指示部170は、音声出力がないときは(S102、NO)、ステップS102に戻って処理を繰り返す。一方、音声出力があるときは(S102、YES)、停止指示部170は、ユーザから音声出力の停止指示があったか否かを判断する(S104)。停止指示部170は、UI制御部156の音声認識部162又は入力処理部166から、マイク140により取得される音声指示またはタッチパネル146を介して取得される入力としてのユーザからの停止指示を受信したか否かにより、当該停止指示の有無を判断することができる。
そして、停止指示部170は、停止指示がないときは(S104、NO)、音声出力が終了したか否かを判断する(S106)。例えば、クライアント装置であるAV出力装置118およびコンテンツ提供装置120は、ユーザへの音声出力を伴う動作を終了したときは、UI制御装置100へ音声出力動作の終了を通知するものとし、停止指示部170は、当該通知を受信したか否かにより、音声出力が終了したか否かを判断するものとすることができる。
そして、音声出力が終了したときは(S106、YES)、停止指示部170は、ステップS102に処理を戻す。一方、音声出力が終了していないときは(S106、NO)、停止指示部170は、ステップS104に処理を戻す。
一方、ステップS104においてユーザからの停止指示があったときは(S104、YES)、停止指示部170は、対応するクライアント装置に対し、現在の音声出力動作を一時中断するよう指示する(S108)。これにより、対応するクライアント装置は、対応する音声出力動作を中断して待機する。
次に、UI制御装置100の出力制御部158は、要因推定部174により、ユーザが上記停止指示を行った要因を推定するための要因推定処理を実行する(S110)。続いて、出力制御部158は、条件決定処理を実行して(S112)、上記中断した音声出力についての、上記推定した要因に応じた再開条件を決定する。さらに、出力制御部158は、通知処理を実行して(S114)、上記中断した音声出力の再開に際し、ユーザに対して上記推定した要因に応じた通知を行う。上記の要因推定処理、条件決定処理、及び通知処理の手順については後述する。
続いて、出力制御部158は、再開指示部180により、上記通知に対するユーザからの応答等に基づいて、対応するクライアント装置に対し、音声出力の再開又は終了を指示したのち(S116)、ステップS102に戻って処理を繰り返す。
具体的には、再開指示部180は、後述する上記通知処理において設定された再開フラグが0であるときは、対応するクライアント装置に対し、音声出力の終了を指示する。一方、再開フラグが1であるときは、対応するクライアント装置に対し、音声出力の再開を指示する。その際、再開指示部180は、通知部178において設定された再開条件があるときは、当該再開条件を対応するクライアント装置に指示する。
次に、上述した要因推定処理(S110)における処理の手順について説明する。図3は、要因推定処理の手順を示すフロー図である。処理を開始すると、出力制御部158の要因推定部174は、負荷判断部186により、ユーザが停止指示を行った要因が、車両102の運転者の運転負荷の増大であるか否かを判断する(S200)。そして、上記要因が、運転負荷の増大であると判断されるときは(S200、YES)、負荷判断部186は、要因フラグを1にセットしたのち(S202)、処理を終了する。
これにより、要因推定部174は、停止指示の要因が運転者の運転負荷の増大であるか否かの判断を、他の要因についての判断に優先して行うこととなる。なお、図3に示す本処理の終了後は、出力制御部158の処理は、図2に示すステップS112の条件決定処理へ移される。
一方、ユーザの停止指示の要因が運転負荷の増大でないと判断されるときは(S200、NO)、要因推定部174は、会話判断部188により、上記要因が、運転者と車両102の同乗者との会話であるか否かを判断する(S204)。そして、上記要因が、同乗者との会話であると判断されるときは(S204、YES)、会話判断部188は、要因フラグを2にセットしたのち(S206)、処理を終了する。
一方、ユーザの停止指示の要因が同乗者との会話でないと判断されるときは(S204、NO)、要因推定部174は、睡眠判断部190により、上記要因が、車両102の同乗者の睡眠であるか否かを判断する(S208)。そして、上記要因が、同乗者の睡眠であると判断されるときは(S208、YES)、睡眠判断部190は、要因フラグを3にセットしたのち(S210)、処理を終了する。
一方、ユーザの停止指示の要因が同乗者の睡眠でないと判断されるときは(S208、NO)、要因推定部174は、内容判断部192により、上記要因が、音声出力により提供される情報の内容であるか否かを判断する(S212)。そして、上記要因が、情報の内容であると判断されるときは(S212、YES)、内容判断部192は、要因フラグを4にセットしたのち(S214)、処理を終了する。
また、一方、上記要因が、情報の内容ではないと判断されるときは(S212、NO)、要因推定部174は、要因フラグを0にセットしたのち(S216)、処理を終了する。
次に、図2に示す条件決定処理(S112)における処理の手順について説明する。図4は、条件決定処理の手順を示すフロー図である。処理を開始すると、出力制御部158の条件決定部176は、上述した要因推定処理(図3)において設定された要因フラグが1に設定されているか否かを判断する(S300)。そして、条件決定部176は、要因フラグが1(運転負荷の増大)であるときは(S300、YES)、当該運転負荷の増大をもたらした現在の運転シーンの終了を、音声出力の再開条件として設定したのち(S302)、本処理を終了する。なお、図4に示す本処理の終了後は、出力制御部158の処理は、図2に示すステップS114の通知処理へ移される。
一方、ステップS300において要因フラグが1でないときは(S300、NO)、条件決定部176は、要因フラグが2に設定されているか否かを判断する(S304)。そして、条件決定部176は、要因フラグが2(同乗者との会話)であるときは(S304、YES)、当該会話の終了を、音声出力の再開条件として設定したのち(S306)、本処理を終了する。
一方、ステップS304において要因フラグが2でないときは(S304、NO)、条件決定部176は、要因フラグが3に設定されているか否かを判断する(S308)。そして、条件決定部176は、要因フラグが3(同乗者との睡眠)であるときは(S308、YES)、音声出力の音量の低減を、音声出力の再開条件として設定したのち(S310)、本処理を終了する。
一方、ステップS308において要因フラグが3でないときは(S308、NO)、条件決定部176は、要因フラグが4に設定されているか否かを判断する(S312)。そして、条件決定部176は、要因フラグが4(情報の内容)であるときは(S312、YES)、音声出力が提供する情報の内容の変更を、音声出力の再開条件として設定したのち(S314)、本処理を終了する。
また、一方、ステップS312において要因フラグが4でないときは(S312、NO)、条件決定部176は、停止指示を受信してから所定時間が経過することを、音声出力の再開条件として設定したのち(S316)、本処理を終了する。
次に、図2に示す通知処理(S114)における処理の手順について説明する。図5は、通知処理の手順を示すフロー図である。処理を開始すると、出力制御部158の通知部178は、上述した要因推定処理(図3)において設定された要因フラグが1(運転負荷の増大)に設定されているか否かを判断する(S400)。そして、条件決定部176は、要因フラグが1であるときは(S400、YES)、通知部178は、条件決定部176が条件決定処理において決定した再開条件に従い、上記運転負荷の増大をもたらした現在の運転シーンの終了を待機する(S402)。運転シーンが終了したか否かの判断は、シーン判断部172が所定時間間隔で運転シーン評価装置110から取得する現在の運転シーンが変化したか否かにより判断することができる。
続いて、通知部178は、停止指示から運転シーンの終了までの経過時間が所定時間(例えば5秒)以下であるか否かを判断する(S404)。そして、経過時間が所定時間以下であるときは(S404、YES)、通知部178は、ステップS402において終了したものと判断した運転シーンのシーン終了確信度が所定値以上であるか否かを判断する(S406)。
そして、シーン終了確信度が所定値以上であるときは(S406、YES)、通知部178は、サイン音を通知として出力し(S408)、再開フラグを1にセットしたのち(S410)、本処理を終了する。なお、図5に示す本処理の終了後は、出力制御部158の処理は、図2に示すステップS116へ移される。
一方、ステップS404において経過時間が所定時間を超えているとき(S404、NO)、または、シーン終了確信度が所定値未満であるときは(S406、NO)、通知部178は、運転負荷の増大をもたらした運転シーンが終了したことを音声出力の再開理由として示す表現と、音声出力の再開許否の問い合わせ文言と、を含む通知を出力する(S412)。
続いて、通知部178は、再開許否についての問い合わせについてのユーザの回答が肯定的、すなわち、音声出力の再開を許容するものであるか否かを判断する(S414)。そして、ユーザ回答が肯定的でないとき(S414,NO)、すなわち否定的なものであるときは、通知部178は再開フラグを0に設定して(S416)、処理を終了する。一方、ユーザ回答が肯定的であるときは(S414、YES)、ステップS410へ処理を移す。
一方、S400において要因フラグが1でないときは(S400、NO)、通知部178は、要因フラグが2(同乗者との会話)であるか否かを判断する(S418)。そして、要因フラグが2であるときは(S418、YES)、通知部178は、条件決定部176が条件決定処理において決定した再開条件に従い、同乗者との会話の終了を待機する(S420)。通知部178は、例えば、マイク140から取得される車両102内の音声に基づき、乗員の発話音声が無い期間またはターンテイキングが行われない期間が所定時間以上継続したときに、同乗者との会話が終了したものと判断することができる。
続いて、通知部178は、会話が終了したことを音声出力の再開理由として示す表現と、音声出力の再開許否の問い合わせ文言と、を含む通知を出力したのち(S422)、ステップS414に処理を移す。
一方、S418において要因フラグが2でないときは(S418、NO)、通知部178は、要因フラグが3(同乗者の睡眠)であるか否かを判断する(S424)。そして、要因フラグが3であるときは(S424、YES)、通知部178は、条件決定部176が条件決定処理において決定した再開条件(音量の低減)と、音声出力の再開許否の問い合わせ文言と、を含む通知を出力したのち(S426)、ステップS414に処理を移す。
一方、S424において要因フラグが3でないときは(S424、NO)、通知部178は、要因フラグが4(情報の内容)であるか否かを判断する(S428)。そして、要因フラグが4でないときは(S428、NO)、通知部178は、条件決定部176が条件決定処理において決定した再開条件に従い、ユーザの停止指示を受信してから所定の時間が経過するのを待機する(S430)。続いて、通知部178は、音声出力の再開許否の問い合わせ文言を含む通知を出力したのち(S432)、ステップS414に処理を移す。
一方、S428において要因フラグが4であるときは(S428、YES)、通知部178は、条件決定部176が条件決定処理において決定した再開条件(内容の変更)と、音声出力の再開許否の問い合わせ文言と、を含む通知を出力したのち(S434)、ステップS414に処理を移す。
なお、本発明は上述した実施形態および変形例の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上述した実施形態では、音声出力制御装置の例としてUI制御装置100を示したが、本発明に係る音声出力制御装置は、UI制御装置100には限られない。音声出力制御装置は、音声出力を制御する任意の装置として実現され得る。例えば、音声出力制御装置は、UI制御装置100からUI制御部156を取り除いた装置として実現され得る。そのような音声出力制御装置は、UI制御装置100から出力制御部158を取り除いた装置と協働して、図2に示す制御方法を実行し得る。
また、UI制御装置100では、ユーザが停止指示を行った要因の候補として、運転負荷の増大、ユーザと同乗者との会話、同乗者の睡眠、および提供される情報の内容が判断されるものとしたが、上記要因の候補は、これらには限られない。例えば、要因の候補として、これらのうちの少なくとも一つが判断されるものとしてもよい。また、要因候補として、さらに他の事項が判断されるものとしてもよい。
例えば、要因候補として、車外の人との窓越しの会話の有無や、運転者の交代、運転者の一時的な下車など、音声出力の停止指示の要因となり得る任意の事項が判断されるものとすることができる。なお、上記の要因候補の例では、それぞれの要因に応じて、会話の終了、交代の完了、及び運転者の再乗車が、それぞれ音声出力の再開条件となり得る。
また、上述した実施形態では、音声出力の停止指示から当該停止指示の要因が消滅するまでの時間(以下、要因消滅時間)が短い場合の例として、運転負荷の増大(運転シーンの展開)を示し、要因消滅時間が短い場合には、ユーザに対する音声出力の再開に係る通知としてサイン音を用いることを示した。ただし、要因消滅時間が短いケースは、上述した運転負荷の増大の場合には限られない。例えば、上述した運転者の交代や、運転者の一時的な下車も、要因消滅時間が短い場合には、ユーザに対する音声出力の再開に係る通知としてサイン音を用いるものとすることができる。
また、上述した実施形態では、音声出力制御装置であるUI制御装置100は、車載装置であるものとしたが、音声出力制御装置の実現形態は、車載装置には限られない。音声出力制御装置は、音声出力を制御する任意の装置であるものとすることができる。そのような装置は、例えば、スマートフォン等の携帯端末であり得る。この場合には、携帯端末のうち音声出力制御装置として機能する部分は、当該携帯端末におけるソフトウェア機能部として実現され得る。そのような音声出力制御装置の部分は、図1に示すUI制御装置100の出力制御部158と同様の構成を有し、図2ないし図5と同様の制御方法を実行するものとすることができる。
これにより、上記ソフトウェア機能部は、他のソフトウェア機能部である例えばAV出力を制御する機能部が生成する音声出力を、ユーザからの停止指示に応じて停止し、当該停止指示の要因を推定し、当該推定した要因に応じた再開条件を決定し、当該推定した要因に応じた通知を行うものとすることができる。この場合においては、携帯端末のソフトウェア機能部である出力制御部には、運転シーンに係る動作を行うシーン判断部172および負荷判断部186に相当する部分は含まないものとすることができる。
以上説明したように、上述した音声出力制御装置であるUI制御装置100は、音声出力を制御するため、図2ないし図5に示す制御方法を実行する。この制御方法は、ユーザへの音声出力中に、ユーザから音声出力の停止指示を受信したことに応じて、停止指示部170が音声出力を停止させるステップ(S108)を有する。また、この制御方法は、上記停止指示を受信したことに応じて、要因推定部174が、ユーザが前記停止指示を行った要因を推定するステップ(S110)と、上記推定した要因に応じて、条件決定部176が、上記停止した音声出力の再開条件を決定するステップ(S112)と、を有する。
この構成によれば、ユーザが停止した音声出力を、当該停止の要因に応じた適切な条件の下に再開することができる。
また、上記推定するステップ(S110)では、上記停止指示の要因が、上記音声出力が提供する情報の内容であるか否かを判断する(S212)。そして、上記決定するステップ(S112)では、上記要因が上記内容であるときは、上記提供する内容の変更を再開条件として決定する(S314)。
この構成によれば、上記停止指示の要因が、音声出力が提供する情報の内容であるときは、再開条件として例えばユーザの嗜好により合致した内容の出力を提案して、適切な条件の下に音声出力を再開することができる。
また、上記決定するステップ(S112)では、上記推定するステップ(S110)において上記要因が特定されないときは、所定時間の経過を再開条件として決定する(S316)。
一般に、音声出力が停止される要因の多くは、例えば時間単位の長い期間にわたって継続するようなものではないと考えられる。上記構成によれば、上記停止指示の要因が不明の場合にも、上記のような一般的な停止要因の特性に合致した適切な条件の下に、音声出力を再開することができる。
また、UI制御装置100では、ユーザは車両の運転者を含む。そして、上記推定するステップ(S110)では、上記停止指示の要因が車両102についての運転者の運転負荷の増大であるか否かを判断する(S200)。そして、上記決定するステップ(S112)では、上記運転負荷の増大が上記停止指示の要因であるときは、上記運転負荷の増大の原因となった運転シーンの終了を再開条件として決定する(S302)。
この構成によれば、車両102において、上記停止指示の要因が、運転シーンの展開に起因した運転負荷の増大か否かを判断して、当該要因に応じた適切な条件の下に音声出力を再開することができる。
また、上記推定するステップ(S110)では、上記停止指示の要因が、ユーザと車両102の同乗者との会話であるか否かを判断(S204)する。そして、上記決定するステップ(S112)では、上記会話が上記要因であるときは、上記会話の終了を再開条件として決定する(S306)。
この構成によれば、車両102において、上記停止指示の要因が、運転者と同乗者又は同乗者同士の会話か否かを判断して、当該要因に応じた適切な条件の下に音声出力を再開することができる。
また、上記推定するステップ(S110)では、上記停止指示の要因が、車両102の同乗者の睡眠であるか否かを判断する(S208)。そして、上記決定するステップ(S112)では、上記要因が上記睡眠であるときは、上記音声出力の音量の低減を再開条件として決定する(S310)。
この構成によれば、上記停止指示の要因が、同乗者の睡眠であるか否かを判断して、当該要因に応じた適切な条件の下に音声出力を再開することができる。
また、上記推定するステップ(S110)では、上記停止指示を受信したときは、上記停止指示の要因が運転者の運転負荷の増大であるか否かの判断(S200)を、他の要因についての判断(S204、S208、S212)に優先して行う。
この構成によれば、上記停止指示の要因として、車両において最も可能性が高く且つ変化の速い、外的要因としての運転シーンの展開に起因した運転負荷の増大が最も優先して判断される、このため、上記構成によれば、上記停止指示の要因を素早く捉えて、音声出力の再開を、適切な条件の下に円滑に行うことができる。
また、上述した音声出力制御装置であるUI制御装置100は、音声出力を制御する。UI制御装置100は、ユーザへの音声出力中に、ユーザから音声出力の停止指示を受信したことに応じて、当該音声出力を停止させる停止指示部170を備える。また、UI制御装置100は、上記停止指示を受信したことに応じて上記ユーザが上記停止指示を行った要因を推定する要因推定部174と、推定された上記要因に応じて上記停止した音声出力の再開条件を決定する条件決定部176と、を備える。
この構成によれば、ユーザが停止した音声出力を、当該停止の要因に応じた適切な条件の下に再開することができる。