JP7187812B2 - 機器の操作支援装置及び操作支援方法 - Google Patents

Description

本発明は、車載機器、車内に持ち込んだ機器その他の機器の操作支援装置及び操作支援方法に関するものである。

ユーザーの自動車への接近、乗車、運転、降車及び自動車からの離間、の少なくともいずれかにおいて、ユーザーによる自動車の利用を補助するための、又はユーザーを楽しませるための自動車用ユーザーもてなしシステムが知られている（特許文献１）。このシステムによれば、ユーザーが状況に応じてシステム側に望むもてなし意図を、その都度的確に把握することができる。さらに、ユーザーの状態も加味して、当該のユーザーが最も望む形態で車載装置の動作を自律的に制御することができる、とされている。具体的には、ユーザーの安全性、利便性及び快適性の少なくともいずれかに基づいて、空調装置、シート位置・高さ調整装置、ハンドル位置調整装置、車外又は社内の照明装置、オーディオシステムなどを自律的に制御する。

特開２００９－０２３６１３号公報

しかしながら、上記従来技術では、安全性、利便性又は快適性に関係のない車載機器その他の機器に対する操作意図には対応できない。特に、機器に対して目的とする一連の操作をしている途中で当該操作が中断された場合など、明確な操作意図が存在するにも拘らず、その意図を把握できないという問題があった。

本発明が解決しようとする課題は、機器に対する一連の操作が中断された場合であっても、目的とする操作を継続することができる機器の操作支援装置及び操作支援方法を提供することである。

本発明は、車両の乗員により所定の機器に対して一連の操作が入力される場合に、車両が非運転状態から運転状態への移行が検出され、且つ前記一連の操作が入力途中であるときは、前記一連の操作を継続するか否かを選択させる通知を行うか、又は前記一連の操作を自動的に継続することによって上記課題を解決する。

本発明によれば、一連の操作を継続するか否かを選択させる通知を行うか、又は前記一連の操作を自動的に継続するので、機器に対する一連の操作が中断された場合であっても、目的とする操作を継続することができる。

本発明の機器の操作支援装置の一実施の形態を示すブロック図である。 図１の機器の操作支援装置で実行される学習時の制御手順を示すフローチャートである。 図１の機器の操作支援装置で実行される操作支援時の制御手順を示すフローチャートである。 図１の機器の操作支援装置の判定部で実行される一連の操作判定を説明するための操作履歴表の一例である。 図１の機器の操作支援装置の判定部で実行される一連の操作判定を説明するための操作履歴表の他例である。 図１の機器の操作支援装置の通知部で実行される通知画面の一例を示す図である。 図１の機器の操作支援装置の通知部で実行される通知画面の他例を示す図である。 図１の機器の操作支援装置の通知部で実行される通知画面の更なる他例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の機器の操作支援装置１の一実施の形態を示すブロック図である。図１に示す機器の操作支援装置１は、本発明の機器の操作支援方法を使用したものでもある。図１において、自車両を含む車両Ｖの機器の操作支援装置１と、自車両Ｖ１の機器の操作支援装置１とを上下に並べて記載しているが、上図の自車両を含む車両Ｖの機器の操作支援装置１は、後述する学習時に実行される制御を説明するために便宜的に示したブロック図であり（通知部１７，機器制御部１８及び車載データベースＤＢＶは使用しないため図示を省略した。）、各車両は、下図の自車両Ｖ１の機器の操作支援装置１の構成を備えるものである。したがって、各車両の機器の操作支援装置１については、下図のブロック図を参照して説明する。

本実施形態の機器の操作支援装置１は、機器２の操作を支援するための操作支援装置であって、特に機器２に対する一連の操作が中断された場合であっても、目的とする操作を継続するように構成したものである。本実施形態の機器の操作支援装置１の対象となる機器２は、車載ナビゲーション装置、車載空調装置、マルチメディア装置、座席・ハンドル調整装置及びウィンドウ開閉装置その他の車載機器の他、車内に持ち込んで車載機器と通信を行う携帯型情報通信端末装置なども含まれる。

たとえば、車載ナビゲーション装置は、目的地の設定・消去、目的地までのルートの選択、ルート検索の条件の設定・変更、目的地の登録・消去、地図の表示形態の設定・変更等々、多数の操作が入力可能とされている。そして、これらの操作のほとんどは、１回の入力操作ではなく、複数回の入力操作が必要とされる。目的地の設定操作を例に挙げると、まずメニュー画面（初期画面であってもよい）において目的地の設定を選択し、表示された目的地の設定画面において、住所、電話番号、登録地等々の選択肢からたとえば住所を選択し、表示された住所の設定画面において目的地の住所を入力し、これにより表示された地図画面の目的地が適切か否かを確認したのち確定の入力操作をする。最後に、目的地までのルート表示の開始ボタンを入力する。またマルチメディア装置は、ＯＮ（起動）／ＯＦＦ（停止）、メディアの設定・変更、設定されたメディアの中での選択・変更、音量の設定・変更等々、多数の操作が入力される。マルチメディア装置のラジオの設定を例に挙げると、まずマルチメディア装置をＯＮし、メニュー画面においてラジオを選択し、ラジオのチャンネルの表示画面にて目的とするチャンネルを選択する。これら車載ナビゲーション装置やマルチメディア装置の操作は、一連の操作により、乗員が意図する機能、すなわち所定の目的地への誘導機能や所定のラジオチャンネルの聴取が実現される。

また、車載空調装置は、ＯＮ（起動）／ＯＦＦ（停止）、温度の設定・変更、エアコンのＯＮ／ＯＦＦ、内気導入と外気導入の設定・変更、吹出口モードの設定・変更、自動制御と手動制御の設定・変更、フロントウィンド又はリアウィンドのデフォッガのＯＮ／ＯＦＦ等々、多数の操作が入力可能とされている。これらの操作は１回の入力操作で完了するものもあるが、たとえば設定温度を入力操作したのちさらに設定温度を変更するといったことも行われることが少なくない。座席・ハンドル調整装置は、たとえば運転席の前後方向の位置、座席の高低、背もたれの角度、ランバーサポートの出没，ハンドルの前後方向の位置，ハンドルの上下方向の位置などを、乗員が操作ボタンを操作することでアクチュエータにより調整するものであり、複数の操作ボタンに対してそれぞれの操作が入力される。各操作ボタンに対しては１回の操作により所望の位置に調整されるが、１回の調整後に満足できないポジションであった場合などには、再調整をすることも少なくない。

このような各種機器２に対して一連の操作（再操作を含む）が必要とされる場合、乗員が当該一連の操作を完了するまで充分な時間があればよいが、特に運転手にあっては、運転中に一連の操作を行うことは避けなければならないし、機器２によっては運転中の操作が禁止されていることも少なくない。そのため、運転手は、信号待ちなど車両が停車している間や、自動運転機能を備えた車両において自動運転モードの場合に、こうした一連の操作を実行することがある。しかしながら、車両が停車中に一連の操作を開始したが、その途中で信号が青に変わったので発進しなければならない場合や、自動運転モード中に一連の操作を開始したが何らかの原因で手動運転モードに変更された場合などには、一連の操作を途中で停止しなければならない。このような場合、残りの操作を再び継続できるのは、車両が再び信号で停車した場合や、車両が再び自動運転モードに変更された場合である。そのため、その間は、乗員は目的とする機器の機能（目的地への誘導機能や目的とするラジオチャンネルの聴取機能）を享受することができない。本実施形態の機器の操作支援装置１は、こうした状況においても、目的とする一連の操作を継続可能とするものである。

このため、本実施形態の機器の操作支援装置１は、図１の下図に示すように、所定の機器２に対して自車両Ｖ１の乗員により一連の操作が入力される入力部１１と、自車両Ｖ１が乗員による非運転状態から運転状態へと移行したことを検出する移行検出部１２と、移行検出部１２により自車両Ｖ１が非運転状態から運転状態への移行が検出された場合に、一連の操作が入力途中であるか否かを判定する判定部１３と、判定部１３により一連の操作が入力途中である場合に、非運転状態において入力部１１に入力された一連の操作を継続するか否かを選択させる通知を行う通知部１７と、判定部１３により一連の操作が入力途中である場合に、非運転状態において入力部１１に入力された一連の操作を自動的に継続する機器制御部１８と、所定の機器２に関連する自車両Ｖ１の状態を検出する状態検出部１４と、自車両Ｖ１の乗員の発声を集音するマイク１５と、マイク１５に入力された音声を解析する音声解析部１６と、車載データベースＤＢＶと、を備える。なお、判定部１３、状態検出部１４及び音声解析部１６はコントローラ１９の一部として構成されている。

入力部１１は、所定の機器２の入力部であって、上述した車載ナビゲーション装置であれば、たとえばディスプレイのタッチパネルに表示されたボタンやディスプレイの周囲に設けられた機械的ボタンである。機器２に対する乗員の目的機能に応じて、一連の操作を複数の入力部１１を用いて完了することもあり、一つの入力部１１を用いて完了することもある。一度完了した操作を再操作する場合には、同じ入力部１１が用いられる。また入力部１１は、ディスプレイのタッチパネルや機械的ボタン以外にも、マイク（マイク１５を共用してもよい）と音声解析回路を用いた音声入力であってもよい。たとえば、乗員が、「車載ナビゲーション装置」→「目的地の設定」→「住所」→「神奈川県横浜市神奈川区宝町２番地」→「ＯＫ（設定又は開始）」という発声を行うことにより、機器２と対話しながら機器２への入力を操作してもよい。

移行検出部１２は、自車両Ｖ１が乗員による非運転状態から運転状態へと移行したことを検出し、その結果をコントローラ１９へ出力する。ここで、乗員による非運転状態とは、乗員（運転手）が走行操作をしていない状態を意味し、運転状態とは運転手が走行操作をしている状態を意味する。たとえば、手動運転モードの自車両Ｖ１において、自車両Ｖ１が走行しているときは、運転手が走行操作、すなわちアクセルペダルによる加減速操作とステアリングホイールによる操舵操作をしているので、乗員による運転状態である。これに対し、信号での一時停止時、駐車場や路側での停車時などは、ブレーキペダルは踏んでいたとしても運転手による走行操作、すなわちアクセルペダルによる加減速操作とステアリングホイールによる操舵操作が行われていないので、乗員による非運転状態である。また、加減速と操舵を自動制御で実行する自動運転モードを備える自車両Ｖ１にあっては、自動運転モードにより自車両Ｖ１が走行しているときは、走行中であっても運転手による加減速操作と操舵操作が行われていないので、乗員による非運転状態である。これに対して、自動運転モードを備える自車両Ｖ１でも手動運転モードに設定されている場合は、上述した手動運転モードの自車両Ｖ１と同様に、自車両Ｖ１が走行しているときは、運転手が走行操作（アクセルペダルによる加減速操作とステアリングホイールによる操舵操作）をしているので、乗員による運転状態であり、信号での一時停止時、駐車場や路側での停車時などは、ブレーキペダルは踏んでいたとしても運転手による走行操作（アクセルペダルによる加減速操作とステアリングホイールによる操舵操作）が行われていないので、乗員による非運転状態である。

移行検出部１２は、自車両Ｖ１が備える速度センサ、自動運転モード／手動運転モードの切り換え制御信号、その他必要に応じてアクセルペダルセンサやブレーキペダルセンサを用いて、自車両Ｖ１が非運転状態から運転状態へと移行したことを検出し、その結果をコントローラ１９へ出力する。なお、自車両Ｖ１が運転状態から非運転状態へ移行したことは本発明とは無関係であるため、非運転状態から運転状態への移行のみを検出すればよい。すなわち、移行検出部１２は、機器２の操作が可能又は許容される状態から、機器２の操作が不能又は禁止される状態に移行したことを検出するものである。

判定部１３は、移行検出部１２により自車両Ｖ１が非運転状態から運転状態への移行が検出された場合に、機器２に対する一連の操作が入力途中であるか否かを判定する。車載ナビゲーション装置、携帯型情報通信端末装置、車載空調装置、マルチメディア装置、座席・ハンドル調整装置及びウィンドウ開閉装置などの各機器２によって、また各機器２における各操作によって、最終操作が既知であるため、移行検出部１２により自車両Ｖ１が非運転状態から運転状態への移行が検出されたタイミングにおいて、機器２に対する一連の操作が最終操作に達しているか否かにより判定し、最終操作に達していれば入力途中ではないと判定し、最終操作に達していなければ入力途中であると判定する。

図４は、本実施形態の機器の操作支援装置１の判定部１３で実行される一連の操作判定を説明するための操作履歴表の一例であり、左欄に操作時の時刻、右欄に操作履歴と運転状態を示す。この例は、機器２の操作履歴に基づいて判定するものであり、まず乗員による運転状態が検出されたのち（時刻１３：００：１２）、車載ナビゲーション装置の目的地設定ボタンが押され（時刻１３：００：２０）、目的地の入力が開始され（時刻１３：００：２２）、目的地の候補を選択し（時刻１３：００：３０）、その後、乗員による運転状態が検出された（時刻１３：００：３２）。したがって、乗員による非運転状態から運転状態への移行が検出された時刻１３：００：３２においては、選択した目的地を確定する操作及び誘導開始の操作が行われていないので、車載ナビゲーション装置の目的地設定の一連の操作が完了しておらず、判定部１３は、機器２（車載ナビゲーション装置）に対する一連の操作が入力途中であると判定する。

図５は、本実施形態の機器の操作支援装置１の判定部１３で実行される一連の操作判定を説明するための操作履歴表の他例であり、左欄に操作時の時刻、右欄に操作履歴と運転状態に加え、マイク１５から入力された乗員の発話テキストを示す。この例は、機器２の操作履歴と乗員の発話に基づいて判定するものであり、まず乗員による運転状態が検出されたのち（時刻１４：３０：２２）、車載空調装置のＯＮ（起動）ボタンが押され（時刻１４：３０：３０）、設定温度を下げたが（時刻１４：３０：３１）、マイク１５から乗員の「暑いなぁ」という発話が入力され（時刻１４：３０：３２）、その後、乗員による運転状態が検出された（時刻１４：３０：３３）。車載空調装置の温度設定操作は、１回の操作で完了するものの、車室内の温度が意図した温度と異なる場合は再設定が行われる。この例は、設定温度を下げたにも拘らず乗員が「暑いなぁ」と発話したことから、再び設定温度を下げる操作を行うものと推定される。すなわち、乗員による非運転状態から運転状態への移行が検出された時刻１４：３０：３３においては、車載空調装置の設定温度の一連の操作は完了していないので、判定部１３は、機器２（車載空調装置）に対する一連の操作が入力途中であると判定する。

図１に戻り、マイク１５は、車室内の乗員の近傍に設置され、乗員の発話を集音して音声解析部１６へ出力する。音声解析部１６は、所定の音声解析ソフトウェアを用いて乗員の発話内容を発話テキストに変換し、状態検出部１４と車載データベースＤＢＶへ出力する。なお、図１の上図に示す自車両を含む車両Ｖにおいては、発話テキストはデータセンター３のホストデータベースＤＢＨへ出力される。マイク１５から入力される乗員の発話は、所定の機器２に関連する車両の状態を検出することに用いられる。たとえば、車載空調装置の設定温度に対して車室内が意図した温度より暑い場合は「暑いなぁ」といった乗員の発話が予想される。同様に、車載ナビゲーション装置の目的地設定の操作に対して意図していたルートとは異なるルートが案内された場合には「ルートが違うなぁ」という乗員の発話が予想され、マルチメディア装置の音量設定の操作に対して、意図していた音量より小さい場合には「聞こえないなぁ」とか「音が小さいなぁ」といった乗員の発話が予想されるので、こうした発話をテキスト化して状態検出部１４と車載データベースＤＢＶへ出力する。

状態検出部１４は、機器に関連する車両の状態を検出するものであり、判定部１３にて判定された一連の操作の入力途中か完了かという情報と、上述したマイク１５及び音声解析部１６で取得された乗員の発話テキストとから、車両の状態を検出し、これを車載データベースＤＢＶへ出力する。なお、図１の上図に示す自車両を含む車両Ｖにおいては、車両の状態はデータセンター３のホストデータベースＤＢＨへ出力される。

通知部１７は、判定部１３により一連の操作が入力途中である場合に、乗員による非運転状態において、入力部１１に入力された一連の操作を継続するか否かを選択させる通知を行う。すなわち、乗員による非運転状態から運転状態への移行が検出されたタイミングで、機器２に対する一連の操作が入力途中である場合には、現在運転状態であるから、乗員は残りの操作を継続することができない。そのため、通知部１７は、乗員に対して、残りの操作を継続して行うか否かを選択させる通知を行う。そして、通知部１７による一連の操作を継続するか否かを選択させる通知は、一連の操作を完了するために必要とされるタスクを含むことが望ましい。

図６～図８は、本実施形態の機器の操作支援装置１の通知部１７で実行される通知画面の例を示す図である。図６に示す例は、たとえば車載ナビゲーション装置に対して目的地の設定操作を開始し、目的地の地域選択メニューにて「横浜市」を選択し、次の施設ジャンル選択メニューにて「レストラン」を選択したが、このタイミングで、乗員による非運転状態から運転状態に移行した場合を示すものであり、車載ナビゲーション装置のディスプレイに表示される通知例である。このような場合には、目的地と施設ジャンルの入力が完了しているものの、確定操作や誘導開始操作が行われていないため、判定部１３により一連の操作が入力途中であると判定される。そして、図６に示すように「目的地横浜市周辺のレストランをお探しですか？」といった通知がされるとともに、これに対する回答として「Ｙｅｓ」又は「Ｎｏ」のタッチボタンが表示され、乗員に対して簡単な回答のみで確認が行えるようにする。これにより、乗員は、入力途中であった横浜市周辺のレストランへの誘導ルートの検索操作を継続することができる。

図７に示す例は、たとえば車載空調装置に対してＯＮ（起動）の操作をしたが、このタイミングで、乗員による非運転状態から運転状態に移行した場合を示すものであり、車載空調装置のディスプレイ（車載ナビゲーション装置のディスプレイを共用してもよい。）に表示される通知例である。このような場合は、車載空調装置を起動したことから、次の操作は温度設定であることは容易に推定されることから、「設定温度は何度にしますか？」といった通知がされる。これに対して乗員は、マイク１５を介して所望の設定温度を発話により入力することで、車載空調装置の設定温度の操作を継続することができる。

図８に示す例は、たとえば車載空調装置に対してＯＮ（起動）の操作をし、温度の設定操作をしたが、このタイミングで、乗員による非運転状態から運転状態に移行した場合を示すものであり、車載空調装置のディスプレイ（車載ナビゲーション装置のディスプレイを共用してもよい。）に表示される通知例である。このような場合は、先に設定した設定温度に対して車室内の温度が意図した温度と異なることが少なくないことから、「温度をもっと下げますか？」といった通知がされる。これに対する乗員の回答として「Ｙｅｓ」又は「Ｎｏ」のタッチボタンが表示され、乗員に対して簡単な回答のみで確認が行えるようにする。これにより、乗員は、入力途中であった温度設定操作を継続することができる。

図１に戻り、機器制御部１８は、判定部１３により一連の操作が入力途中である場合に、乗員による非運転状態において、入力部１１に入力された一連の操作を自動的に継続する。また、通知部１７による通知に対する乗員の回答入力を入力し、機器２の操作を制御する。この場合、機器制御部１８は、通知部１７による通知に対して、乗員から一連の操作の継続が指示された場合に、一連の操作を完了するために必要とされるタスクを実行することが望ましい。これらの操作の詳細は後述する。

《機器の操作の学習制御》
本実施形態の機器の操作支援装置１は、当該装置１を搭載した自車両を含む複数の車両Ｖを用いて、機器２の操作の学習制御を実行し、データセンター３のホストデータベースＤＢＨにこの学習データを蓄積する。そして、自車両Ｖ１は、データセンター３のホストデータベースＤＢＨから自車両Ｖ１の車載データベースＤＢＶへ、ホストデータベースＤＢＨに蓄積された学習データをダウンロードして定期的に更新する。

図２は、本実施形態の機器の操作支援装置１で実行される学習時の制御手順を示すフローチャートである。この学習時には、自車両Ｖ１が備える通知部１７，機器制御部１８及び車載データベースＤＢＶは使用しないので、図１の上図と図２を参照して制御手順を説明する。

まずステップＳ１～Ｓ４では、移行検出部１２により乗員による非運転状態から運転状態への移行を検出する。具体的には、ステップＳ１にて、移行検出部１２は、自車両Ｖ１が備える速度センサ、自動運転モード／手動運転モードの切り換え制御信号、その他必要に応じてアクセルペダルセンサやブレーキペダルセンサからの検出信号を読み込み、ステップＳ２にて、自車両を含む車両Ｖが運転状態か否かを判定し、運転状態である場合はステップＳ１へ戻る。ステップＳ２にて運転状態でない場合、すなわち非運転状態である場合は、ステップＳ３へ進み、移行検出部１２は、自車両Ｖ１が備える速度センサ、自動運転モード／手動運転モードの切り換え制御信号、その他必要に応じてアクセルペダルセンサやブレーキペダルセンサからの検出信号を読み込み、ステップＳ４にて、自車両を含む車両Ｖが運転状態か否かを判定し、運転状態でない場合、すなわち非運転状態が継続している場合はステップＳ３へ戻る。ステップＳ４にて運転状態である場合は、ステップＳ２にて判定された非運転状態から、当該ステップＳ４にて判定された運転状態へ移行したと判定できるので、ステップＳ５にて、移行検出部１２は、乗員による非運転状態から運転状態への移行が検出されたことをコントローラ１９へ出力する。

ステップＳ６では、ステップＳ１～Ｓ４の間にマイク１５に入力された乗員の音声を、音声解析部１６により解析して発話テキストに変換する。

ステップＳ７では、所定の機器２に対して入力部１１から入力された一連の操作が完了したか否かを判定部１３で判定する。上述したとおり、各機器２によって、また各機器２における各操作によって、最終操作が既知であるため、移行検出部１２により自車両Ｖ１が乗員による非運転状態から運転状態への移行が検出されたタイミングにおいて、機器２に対する一連の操作が最終操作に達しているか否かにより判定する。そして、ステップＳ８において、一連の操作が完了したか否かを判定する。すなわち、最終操作に達していれば操作が完了した（入力途中ではない）と判定し、ステップＳ９へ進む。これに対して、最終操作に達していなければ操作は完了していない（入力途中である）と判定して、ステップＳ１へ戻る。つまり、操作が完了していない場合には（ステップＳ８のＮｏ）、学習データとしてホストデータベースＤＢＨへ蓄積しない。

ステップＳ９では、所定の機器２に対する操作中にマイク１５から入力されて音声解析部１６により変換された発話テキスト（すなわち車両の状態）と、運転状態と、操作履歴とを含むデータを互いに関連付けてデータセンター３に送信し、ステップＳ１０及びＳ１１にてホストデータベースＤＢＨに蓄積する。同じ機器２に対するこれらのデータが既に蓄積されている場合には、これらのデータに加えるか又はこれらのデータとともに平均処理（加重平均処理を含む）をして蓄積する。

こうした蓄積データ、すなわち所定の機器２に対する当該一連の操作と、当該一連の操作を入力した際における状態検出部１４により検出された車両の状態とを関連付けた例を、たとえば図５に示す車載空調装置の温度設定操作の例で説明する。図５に示すように、まず乗員による運転状態が検出されたのち（時刻１４：３０：２２）、車載空調装置のＯＮ（起動）ボタンが押され（時刻１４：３０：３０）、設定温度を下げたが（時刻１４：３０：３１）、マイク１５から乗員の「暑いなぁ」という発話が入力され（時刻１４：３０：３２）、運転状態と判定される（時刻１４：３０：３３）前に、さらに設定温度を下げ、その後には乗員の発話がないか又は「いい感じ」という発話が入力されたものとする。

こうした一連の操作を行うと、図２に示す制御処理ルーチンによればステップＳ８において操作が完了したと判定されるので、ステップＳ９～Ｓ１１へ進み、これらの操作履歴、運転状態、及び車両の状態（ここでは発話テキストを含む）が、互いに関連付けられて蓄積される。つまり、最初の設定温度では、車室内温度が、乗員が意図していた温度より高く（「暑い」という発話テキストにより車両の状態を示している）、そのため再び設定温度を下げる操作が行われたので、１回目の温度設定操作→「暑い」という車両の状態→２回目の温度設定操作という操作履歴と車両の状態との関連性が確立されていく。

こうした操作履歴と車両の状態との関連データを学習処理により蓄積しておくと、図５に示すように、まず乗員による運転状態が検出されたのち（時刻１４：３０：２２）、車載空調装置のＯＮ（起動）ボタンが押され（時刻１４：３０：３０）、設定温度を下げたが（時刻１４：３０：３１）、マイク１５から乗員の「暑いなぁ」という発話が入力された（時刻１４：３０：３２）のちに、運転状態と判定される（時刻１４：３０：３３）ことにより、一連の操作が中断しても、「暑い」という車両の状態が検出されていることに着目して、ホストデータベースＤＢＨに蓄積された関連データを参照すれば、２回目の温度設定操作を行う可能性が高いことが予測される。本実施形態の機器の操作支援装置１は、自車両を含む複数の車両を用いて、こうした所定の機器に対する一連の操作と、当該一連の操作を入力した際における車両の状態（発話テキストを含む）とを関連付けたデータをホストデータベースＤＢＨに蓄積することで、以下に説明する自車両Ｖ１において一連の操作が中断した際の次の操作の予測確率を高めることとしている。

《機器の操作支援制御》
図３は、本実施形態の機器の操作支援装置１で実行される操作支援時の制御手順を示すフローチャートである。この操作支援時には、自車両Ｖ１が備える通知部１７，機器制御部１８及び車載データベースＤＢＶも使用するので、図１の下図と図３を参照して制御手順を説明する。

まずステップＳ２１～Ｓ２４では、移行検出部１２により乗員による非運転状態から運転状態への移行を検出する。具体的には、ステップＳ２１にて、移行検出部１２は、自車両Ｖ１が備える速度センサ、自動運転モード／手動運転モードの切り換え制御信号、その他必要に応じてアクセルペダルセンサやブレーキペダルセンサからの検出信号を読み込み、ステップＳ２２にて、自車両を含む車両Ｖが運転状態か否かを判定し、運転状態である場合はステップＳ２１へ戻る。ステップＳ２２にて運転状態でない場合、すなわち非運転状態である場合は、ステップＳ２３へ進み、移行検出部１２は、自車両Ｖ１が備える速度センサ、自動運転モード／手動運転モードの切り換え制御信号、その他必要に応じてアクセルペダルセンサやブレーキペダルセンサからの検出信号を読み込み、ステップＳ２４にて、自車両を含む車両Ｖが運転状態か否かを判定し、運転状態でない場合、すなわち非運転状態が継続している場合はステップＳ２３へ戻る。ステップＳ２４にて運転状態である場合は、ステップＳ２２にて判定された非運転状態から、当該ステップＳ２４にて判定された運転状態へ移行したと判定できるので、ステップＳ２５にて、移行検出部１２は、乗員による非運転状態から運転状態への移行が検出されたことをコントローラ１９へ出力する。

ステップＳ２６では、ステップＳ２１～Ｓ２４の間にマイク１５に入力された乗員の音声を、音声解析部１６により解析して発話テキストに変換する。

ステップＳ２７では、所定の機器２に対して入力部１１から入力された一連の操作が完了したか否かを判定部１３で判定する。上述したとおり、各機器２によって、また各機器２における各操作によって、最終操作が既知であるため、移行検出部１２により自車両Ｖ１が乗員による非運転状態から運転状態への移行が検出されたタイミングにおいて、機器２に対する一連の操作が最終操作に達しているか否かにより判定する。そして、ステップＳ２８において、一連の操作が完了したか否かを判定する。すなわち、最終操作に達していれば操作が完了した（入力途中ではない）と判定し、ステップＳ２１へ戻る。これに対して、最終操作に達していなければ操作は完了していない（入力途中である）と判定して、ステップＳ２９へ進む。つまり、操作が完了していない場合には（ステップＳ２８のＮｏ）、乗員による操作も不能又は禁止されているので、本実施形態の機器の操作支援装置１が残りの操作を継続するか否かの通知をするか又は自動的に継続処理を実行する。

ステップＳ２９～Ｓ３１では、ステップＳ２６にて解析された発話テキストと、ステップＳ２７にて判定した際の操作履歴とを車載データベースＤＢＶに入力し、車載データベースＤＢＶに蓄積されたデータ（データセンター３のホストデータベースＤＢＨから自車両Ｖ１の車載データベースＤＢＶへ定期的にダウンロードしているデータ）と比較参照し、出力として推定操作意図を取得、すなわち推定される残りの操作を取得する。

たとえば、上述した図５に示す例で説明すると、予め車載データベースＤＢＶには、最初の設定温度では、車室内温度が、乗員が意図していた温度より高く（「暑い」という発話テキストにより車両の状態を示している）、そのため再び設定温度を下げる操作が行われたので、１回目の温度設定操作→「暑い」という車両の状態→２回目の温度設定操作という操作履歴と車両の状態との関連性が蓄積されているものとする。そして、今回は、ステップＳ２７にて判定した一連の操作の履歴が、図５に示すように、まず乗員による運転状態が検出されたのち（時刻１４：３０：２２）、車載空調装置のＯＮ（起動）ボタンが押され（時刻１４：３０：３０）、設定温度を下げたが（時刻１４：３０：３１）、マイク１５から乗員の「暑いなぁ」という発話が入力された（時刻１４：３０：３２）のちに、運転状態と判定された（時刻１４：３０：３３）ものとすると、１回目の温度設定操作は完了したものの、「暑い」という車両の状態が検出されているので、車載データベースＤＢＶに蓄積された関連データを参照することで、２回目の温度設定操作を行う可能性が高いことが予測される。

また、図５に示すような発話テキストによる車両の状態と操作履歴との関連データを用いること以外にも、図４に示すような入力途中のように、残りの操作が選択した目的地の確定操作しかない場合にも、当該確定操作を行う可能性が高いと予測される。ステップＳ３２では、残りの操作の確度が高いか否かを判定する。ここでいう確度は、車載データベースＤＢＶを参照して取得される残りの操作意図の推定信頼性の高さを意味し、又は車載データベースＤＢＶを参照しなくても、残りの操作の選択数が１又はこれに近い値である場合には確度は高いものとする。ステップＳ３２では、確度の閾値を予め設定しておき、ステップＳ３２で取得された操作意図の確度が当該閾値を超える程度に高いか否かを判定する。

ステップＳ３２にて確度が高いと判定した場合には、ステップＳ３５に進み、その推定された残りの操作を機器制御部１８に出力し、当該機器制御部１８は自動的に機器２を制御して残りの操作を実行する。たとえば、上述した図５に示す例でいえば、１回目の温度設定操作を行ったのち、乗員が「暑いなぁ」と発話したときに、乗員による運転状態に移行すると、本実施形態の機器の操作支援装置１は、機器制御部１８により機器２（車載空調装置）に対して、さらに設定温度を所定値だけ下げる操作を自動的に実行する。また図４に示す例でいえば、車載ナビゲーション装置に対して目的地の候補を選択したときに、乗員による運転状態に移行しても、本実施形態の機器の操作支援装置１は、機器制御部１８により機器２（車載ナビゲーション装置）に対して、選択した目的地候補の確定操作と案内開始操作を自動的に実行する。

これに対して、ステップＳ３２にて確度が高くないと判定した場合には、ステップＳ３３に進み、通知部１７により残りの操作の選択肢を乗員に通知する。たとえば、図５に示す例で説明すると、最初の設定温度では、車室内温度が、乗員が意図していた温度より高く、「暑い」という発話テキストが検出されたが、これに対する２回目の操作が、再び設定温度を下げる操作だけでなく、何も操作しないという頻度も同等にあり、そのため予め車載データベースＤＢＶには、１回目の温度設定操作→「暑い」という車両の状態に対して複数の操作履歴の関連性が蓄積されているものとする。このような場合には、ステップＳ３２で判定する確度が高いとは判定されないことになる。また、図４に示す車載ナビゲーション装置に対する目的地の設定操作についても、残りの操作数が多い場合には、乗員がどれを選択したかったのかを推定することは困難である。

ステップＳ３３では、確度が高くない場合には、残りの操作の選択肢を車内のディスプレイに表示したりスピーカで発声したりすることで、乗員に選択肢を通知する。図６に示す「目的地横浜市周辺のレストランをお探しですか？」といった通知、図７に示す「設定温度は何度にしますか？」といった通知、及び図８に示す「温度をもっと下げますか？」といった通知が、ステップＳ３３通知部１７による通知の一例である。

ステップＳ３４では、ステップＳ３３による通知に対する乗員の応答（回答）が肯定的か否定的かを判定し、肯定的である場合はステップＳ３５へ進み、当該肯定された操作を機器制御部１８から機器２へ出力して実行する。これにより、乗員は運転状態であるにも拘わらず、運転操作を邪魔されることなく自分が意図した残りの操作を半自動的に行うことができる。なお、ステップＳ３４にて否定的である場合は、ステップＳ２１へ戻り、非運転状態になるまで待つか、次の通知の選択肢を先の選択肢とは異なるものを通知する。

以上のとおり、本実施形態の機器の操作支援装置１及び操作支援方法によれば、自車両Ｖ１が非運転状態から運転状態へ移行した場合に、所定の機器２に対する一連の操作が入力途中であるときは、残りの操作を継続するか否かを選択させる通知を行うか又は自動的に継続するので、乗員は運転操作を邪魔されることなく目的とする操作を継続することができる。

また本実施形態の機器の操作支援装置１は、所定の機器に対する一連の操作と、当該一連の操作を入力した際における車両の状態とを関連付けて蓄積するデータベースを参照し、車両の状態に対する一連の操作の確度が所定値未満である場合は、残りの操作を継続するか否かを選択させる通知を行い、車両の状態に対する一連の操作の確度が所定値以上である場合は、自動的に継続するので、乗員の回答に関する煩雑さが解消されると同時に、残りの操作の適格性が高くなる。

また本実施形態の機器の操作支援装置１は、複数の異なる車両について、所定の機器に対する一連の操作と、当該一連の操作を入力した際における車両の状態とを関連付けて蓄積するデータベースを備えるので、残りの操作の確度の精度乃至信頼性がより一層向上する。

また本実施形態の機器の操作支援装置１は、一連の操作が少なくとも所定の機器２に対する所定機能の実行指示を含み、判定部１３は、当該所定機能の実行指示がされていない場合に、一連の操作が入力途中であると判定するので、入力途中であるか否かを正確に判定することができる。

また本実施形態の機器の操作支援装置１は、一連の操作が少なくとも所定の機器２に対するメニューの選択と所定機能の実行指示とを含み、判定部１３は、メニューの選択はされているが、所定機能の実行指示はされていない場合に、一連の操作が入力途中であると判定するので、入力途中であるか否かを正確に判定することができる。

また本実施形態の機器の操作支援装置１は、通知部１７による一連の操作を継続するか否かを選択させる通知は、一連の操作を完了するために必要とされるタスクを含むので、乗員が意図する機器2に対する所望の機能を享受することができる。

また本実施形態の機器の操作支援装置１は、機器制御部１８は、通知部１７による通知に対して、乗員から一連の操作の継続が指示された場合に、一連の操作を完了するために必要とされるタスクを実行するので、乗員が意図する機器2に対する所望の機能を享受することができる。

なお、上述した実施形態の機器の操作支援装置１では、通知部１７と機器制御部１８とを備えるものを例示したが、本発明の機器の操作支援装置及び操作支援方法は、一連の操作が入力途中である場合に、非運転状態において入力部１１に入力された一連の操作を継続するか否かを選択させる通知を行う通知部１７、又は非運転状態において入力部１１に入力された一連の操作を自動的に継続する機器制御部１８の少なくとも一方と、を備えるものであればよい。

１…操作支援装置
１１…入力部
１２…移行検出部
１３…判定部
１４…状態検出部
１５…マイク
１６…音声解析部
１７…通知部
１８…機器制御部
１９…コントローラ
ＤＢＶ…車載データベース
２…機器
Ｖ…自車両を含む車両
Ｖ１…自車両
３…データセンター
ＤＢＨ…ホストデータベース

Claims (10)

1. 複数の異なる車両について、車両の乗員により所定の機器に対する一連の操作が入力される入力部と、
   前記車両が乗員による非運転状態から運転状態へと移行したことを検出する移行検出部と、
   前記移行検出部により前記車両が非運転状態から運転状態への移行が検出された場合に、前記一連の操作が入力途中であるか否かを判定する判定部と、
   複数の異なる車両について、前記所定の機器に関連する車両の状態を検出する状態検出部と、
   前記複数の各車両について、前記移行検出部により前記車両が非運転状態から運転状態への移行が検出され、且つ前記判定部により前記一連の操作が完了したと判定された場合に、前記所定の機器に対する当該一連の操作と、当該一連の操作を入力した際における前記状態検出部により検出された車両の状態とを関連付けて蓄積するデータベースと、
   前記判定部により前記一連の操作が入力途中である場合に、前記非運転状態において前記入力部に入力された前記一連の操作を継続するか否かを選択させる通知を行う通知部、又は、前記非運転状態において前記入力部に入力された前記一連の操作を自動的に継続する機器制御部の少なくとも一方と、
   を備え、
   所定の車両において、前記判定部により前記一連の操作が入力途中である場合に、前記状態検出部により前記車両の状態を検出するとともに、前記データベースに蓄積された一連の操作と車両の状態との関係を参照し、
   前記通知部により、前記非運転状態において前記入力部に入力された前記一連の操作を継続するか否かを選択させる通知を行うか、又は、
   前記機器制御部により、前記非運転状態において前記入力部に入力された前記一連の操作を自動的に継続する機器の操作支援装置。
2. 前記車両の状態に対する前記一連の操作の確度が所定値未満である場合は、前記通知部により、前記非運転状態において前記入力部に入力された前記一連の操作を継続するか否かを選択させる通知を行い、
   前記車両の状態に対する前記一連の操作の確度が所定値以上である場合は、前記機器制御部により、前記非運転状態において前記入力部に入力された前記一連の操作を自動的に継続する請求項１に記載の機器の操作支援装置。
3. 前記運転状態は、前記車両が走行又は走行可能な状態であり、前記非運転状態は、前記車両が停止している状態である請求項１又は２に記載の機器の操作支援装置。
4. 前記運転状態は、車両の運転操作の全てを運転者が行う手動運転モードであり、前記非運転状態は、前記手動運転モード以外の運転モードである請求項１～３のいずれか一項に記載の機器の操作支援装置。
5. 前記所定の機器は、車載ナビゲーション装置、携帯型情報通信端末装置、車載空調装置、マルチメディア装置、座席調整装置、ハンドル調整装置及びウィンドウ開閉装置の少なくともいずれかを含む請求項１～４のいずれか一項に記載の機器の操作支援装置。
6. 前記一連の操作は、少なくとも前記所定の機器に対する所定機能の実行指示を含み、
   前記判定部は、前記所定機能の実行指示がされていない場合に、前記一連の操作が入力途中であると判定する請求項１～５のいずれか一項に記載の機器の操作支援装置。
7. 前記一連の操作は、少なくとも前記所定の機器に対するメニューの選択と所定機能の実行指示とを含み、
   前記判定部は、前記メニューの選択はされているが、前記所定機能の実行指示はされていない場合に、前記一連の操作が入力途中であると判定する請求項１～５のいずれか一項に記載の機器の操作支援装置。
8. 前記通知部による前記一連の操作を継続するか否かを選択させる通知は、前記一連の操作を完了するために必要とされるタスクを含む請求項１～７のいずれか一項に記載の機器の操作支援装置。
9. 前記機器制御部は、前記通知部による通知に対して、乗員から前記一連の操作の継続が指示された場合に、前記タスクを実行する請求項８に記載の機器の操作支援装置。
10. コンピュータにより車両の乗員に対する操作支援を行う操作支援方法であって、
    前記コンピュータは、
    複数の異なる車両について、前記乗員による所定の機器に対する一連の操作の入力を検出し、
    前記車両が非運転状態から運転状態へ移行されたことを検出し、
    前記車両が非運転状態から運転状態へ移行されたことが検出された場合に、前記一連の操作が入力途中であるか否かを判定し、
    複数の異なる車両について、前記所定の機器に関連する車両の状態を検出し、
    各車両について、前記車両が非運転状態から運転状態への移行が検出され、且つ前記一連の操作が完了したと判定された場合に、前記所定の機器に対する当該一連の操作と、当該一連の操作を入力した際における前記検出された車両の状態とを関連付けて蓄積し、
    所定の車両について、前記一連の操作が入力途中である場合に、前記車両の状態を検出するとともに、前記蓄積された一連の操作と車両の状態との関係を参照し、
    前記非運転状態において入力された前記一連の操作を継続するか否かを選択させる通知し、又は、前記非運転状態において入力された前記一連の操作を自動的に継続する機器の操作支援方法。

Images