JP6316509B2 - 操作支援装置および操作支援システム - Google Patents

Description

この発明は、ユーザの意図に対応する操作を推薦して実行を促す操作支援装置および操作支援システムに関する。

例えば、特許文献１には、車両が停車中であれば、車両に搭載された機器の処理の選択を促すフルメニュー情報を表示し、車両が走行中であれば、このフルメニュー情報を簡易な内容に変更した変更メニュー情報を表示する車両用表示制御装置が記載されている。
また、この装置では、ユーザの操作履歴情報に基づいて、選択頻度の高いメニュー項目ほど優先して表示されるように変更メニュー情報を作成している。
すなわち、定期的に多く実行される操作を、ユーザが意図する操作として判断し、この操作に関するメニュー項目の表示順などを変更している。これにより、ユーザは、頻繁に使用するメニュー項目を優先して選択でき、ユーザの操作負担を低減することができる。

特開２００４−２４９８４０号公報

しかしながら、実際の車両の走行環境においては、車両の状態が時々刻々と変化する。
このため、前述したように、ユーザが意図する操作であると判断された操作を優先的に提示しても、車両の状態によっては、その操作を実行することができない場合がある。
例えば、車両でテレビが頻繁に視聴された操作履歴情報から、ユーザの意図に対応する操作として「テレビをつける」という操作が優先的に提示されても、このとき車両が走行していると、走行操作制限によって運転者はテレビを視聴できない。このため、提示された操作を実行することができない。
このように特許文献１に代表される従来の技術では、実行不可になっている操作が優先的に提示される可能性があり、この場合、提示された操作をユーザが選択して実行を指示しても、この操作は実行されず、ユーザの意図は達成されない。従って、ユーザが操作を選択する処理は無駄になるため、ユーザの利便性が損なわれ、これによって装置に不満を感じる可能性がある。

この発明は上記課題を解決するもので、推薦した操作によってユーザの意図が達成されやすく、かつ利便性の点でユーザが装置に不満を感じることを抑制することができる操作支援装置および操作支援システムを得ることを目的とする。

この発明に係る操作支援装置は、意図推論部、時間算出部、判定部および推薦態様決定部を備える。意図推論部は、現在から先のユーザの意図を推論する。時間算出部は、予め定めた操作内容から、意図推論部によって推論されたユーザの意図に対応する操作を特定し、特定した操作を有効に実行可能な平均的な時間である有効時間を算出する。判定部は、有効時間に基づいて、ユーザの意図に対応する操作を実行できるか否かを判定する。推薦態様決定部は、判定部によって実行できないと判定された場合と実行できると判定された場合とで、出力装置に操作を異なる態様で出力させる。

この発明によれば、推論されたユーザの意図に対応する操作が実行できない場合と実行できる場合とで異なる態様で推薦されるので、ユーザが実行可能な操作を選択しやすくなり、ユーザの意図が達成されやすくなる。また、ユーザが実行不可な操作を選択する処理が減ることから、利便性の点でユーザが装置に不満を感じることを抑制できる。

この発明の実施の形態１に係る操作支援システムの構成を示すブロック図である。 実施の形態１に係る操作支援装置のハードウェア構成を示すブロック図である。 実施の形態１に係る操作支援装置の動作の概要を示すフローチャートである。 実施の形態１に係る操作支援装置の詳細な動作を示すフローチャートである。 この発明の実施の形態２に係る操作支援システムの構成を示すブロック図である。 実施の形態２に係る操作支援装置の動作を示すフローチャートである。 この発明の実施の形態３に係る操作支援システムの構成を示すブロック図である。 実施の形態３に係る操作支援装置の動作を示すフローチャートである。 この発明の実施の形態４に係る操作支援システムの構成を示すブロック図である。 実施の形態４に係る操作支援装置の動作を示すフローチャートである。 この発明の実施の形態５に係る操作支援システムの構成を示すブロック図である。 実施の形態５に係る操作支援装置の動作を示すフローチャートである。 この発明の実施の形態６に係る操作支援システムの構成を示すブロック図である。 抽象度ごとの操作内容の階層関係を示す図である。 ジャンルとブランドの内容を示す図である。 実施の形態６に係る操作支援装置の動作を示すフローチャートである。 この発明の実施の形態７に係る操作支援システムの構成を示すブロック図である。 この発明の実施の形態８に係る操作支援システムの構成を示すブロック図である。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る操作支援システム１の構成を示すブロック図である。操作支援システム１は、車両に搭載された機器の操作のうち、乗員であるユーザの意図に対応する操作を推薦してその実行を促すシステムであり、図１に示すように、操作支援装置２、出力装置３、操作実行装置４、入力装置５および車両情報取得部６を備えて構成される。操作支援装置２は、現在から先のユーザの意図を推論し、この推論した意図に対応する操作を推薦操作として出力装置３に出力させる装置であり、意図推論部２０、判定部２１および推薦態様決定部２２を備える。

出力装置３は、操作支援装置２から入力された情報を表示する表示装置および当該情報を音声出力する音声出力装置である。例えば、車両内のダッシュボードなどに内蔵されたディスプレイ、運転者の前方視界に情報を重畳して表示するヘッドアップディスプレイ、車載スピーカなどにより実現される。
なお、出力装置３は、後述する推薦態様決定部２２によって決定された態様で操作内容を出力する。ユーザの意図に対応した操作が「テレビをつける」であった場合、例えば、「テレビをつけますか？」という音声出力または表示を行う。この出力内容に基づいて、ユーザが入力装置５を使用して操作を選択することにより、当該操作が操作実行装置４に実行される。

操作実行装置４は、操作支援装置２から推薦された操作を実行する装置であり、例えば、車両に搭載された機器により実現される。
車両に搭載された機器には、ナビゲーション装置、オーディオ装置、テレビ受信装置、ラジオ受信装置、ハンズフリー電話、車内空調装置に加え、車両の窓の開閉装置、車両に持ち込まれた情報機器なども含まれる。
なお、図１では、操作支援装置２と操作実行装置４が別の装置である場合を示したが、操作支援装置２は、操作実行装置４の１つの機能として実現されてもよい。

入力装置５は、ユーザからの情報入力を受け付ける装置であって、例えば、押しボタン装置、タッチパネルなどにより実現される。出力装置３から出力された推薦操作は、入力装置５を使用して選択することができる。
また、ユーザによる入力装置５の操作情報も、後述する意図推論部２０がユーザの意図を推論するためのデータとして利用される。

車両情報取得部６は、車両情報を取得して操作支援装置２に出力する。車両情報とは、車両の状態を示す情報であり、車両の位置情報、走行状態を示す情報、走行場所を示す情報、ルート案内情報などが挙げられる。
また、車両情報取得部６は、車両情報を提供する情報ソースとなる装置である、各種のセンサ、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）などの１つの機能として設けてもよいが、操作支援装置２の機能として設けてもよい。

車両の位置情報は、車両に搭載された位置検出装置から取得される情報であり、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機によってＧＰＳ衛星から受信されたＧＰＳ信号を解析して得られる車両の現在位置を示す情報である。
なお、方位センサおよび車速パルスを用いて補正された位置情報であってもよい。
車両の走行状態を示す情報は、車両に搭載されたセンサあるいは車両制御装置から取得される情報であり、例えば、車速、加速度、操舵角、燃料残量などから予想される車両の運転行動が挙げられる。

走行場所を示す情報は、車両が走行している道路およびその周辺地域に関する情報であり、例えば、車両に搭載されたナビゲーション装置から取得される。
車両が走行している道路に関する情報には、道路の種別、道路の状態、道路の交通状況などが挙げられる。道路の状態は、車載カメラの撮影情報を画像解析することにより特定することができる。道路の周辺地域に関する情報には、地図情報から得られる周辺地域の施設情報などがある。ルート案内情報は、出発地から目的地までのルートに関する情報であり、例えば、交差点などの案内地点、ルート周辺の施設、道路、地名などの情報が含まれる。

意図推論部２０は、入力装置５から入力された情報または車両情報取得部６により取得された車両情報に基づいて、現在から先のユーザの意図を推論する。ここで、現在から先のユーザの意図とは、現在から数分間の期間でユーザが意図する事柄である。
ユーザの意図を推論する方法としては、前述した車両情報から特定される車両の状態とユーザの意図内容とを対応付けたルールデータを使用する方法がある。
例えば、「走行路の道路種別が高速道路から一般道路に変化した」という車両の状態に「コンビニに行きたい」という事柄が関連付けられていた場合、車両が高速道路から一般道路へ降りると、ユーザの意図は「コンビニに行きたい」であると推論される。

なお、車両の状態に加え、入力装置５から入力される操作情報とユーザの意図内容とを対応付けたルールデータを用いてもよい。例えば、ユーザがドライブして帰宅するときにいつも特定の楽曲を再生していた場合、ルールデータにおいて、この楽曲を再生する操作と「家に帰りたい」というユーザの意図を対応付けておく。

また、ユーザの意図がユーザの行動であると捉え、意図推論部２０が、ユーザの行動とその時点の車両情報との組み合わせを学習する。そして、意図推論部２０は、このようにして蓄積された学習データを参照することにより、現時点の車両情報に対応するユーザの行動を現在から先のユーザの意図として推論する。
なお、この学習データまたは前述したルールデータにおける情報の対応関係を、ユーザの行動などの履歴情報に対して統計的手法を用いて確率的に決定してもよい。

判定部２１は、意図推論部２０によって推論されたユーザの意図に対応する操作を実行できるか否かを判定する。ユーザの意図に対応する操作を特定する方法として、意図内容と操作内容とを対応付けた操作特定用のテーブルデータを使用する方法がある。例えば、当該テーブルデータにおいて、「トイレに行きたい」というユーザの意図に「周辺のコンビニを検索する」という操作を対応付けておく。これにより、ユーザに対してトイレのあるコンビニエンスストアに行くことを推薦できる。
また、「家に帰りたい」というユーザの意図に「自宅までのルートを検索する」という操作を対応付けておけば、ユーザに対して自宅までのルート検索を推薦できる。

ユーザの意図に対応する操作を実行できるか否かを判定する方法には、操作内容ごとに操作を制限する制限条件が対応付けられた実行可否判定用のテーブルデータを使用する方法がある。制限条件は、前述した車両情報から特定される条件である。
例えば、当該テーブルデータにおいて、「テレビをつける」という操作に「車両の走行」という制限条件を対応付けておく。ユーザの意図に対応する操作が「テレビをつける」であっても、車両情報から車両が走行中であると判断された場合、この操作は実行不可と判定される。反対に、車両情報から車両が停車していると判断されれば、制限条件に合致しないので、上記操作は実行可能と判断される。これにより、操作の実行可否を実際の車両の状態に応じて判定することができる。

推薦態様決定部２２は、判定部２１によって実行できないと判定された場合と実行できると判定された場合とで出力装置３に操作を異なる態様で出力させる。
なお、推薦態様決定部２２により決定される態様には、出力装置３に出力させないことも含まれている。従って、判定部２１によって実行できないと判定された操作であれば、あえてユーザに提示しなくてもよい。
また、実行不可能な操作であることを出力装置３に音声出力または表示させてもよい。
実行不可能な操作であることを表示する場合には、この操作を選択するためのショートカットボタンなどの表示情報をグレーアウトにする。これにより、ユーザは実行不可能な操作であることを容易に認識できる。

判定部２１によって実行できると判定された操作については、推薦操作として選択可能な状態で出力装置３に音声出力または表示させることが考えられる。
例えば、推薦操作を音声で出力した場合、推薦操作を選択するかどうかを入力装置５で受け付ける。また、推薦操作を表示する場合、推薦操作を選択するためのショートカットボタン、テキストを表示する。入力装置５を用いて、ショートカットボタン、テキストをクリック操作することにより推薦操作が選択される。

なお、出力装置３には、推薦操作を実行するか否かをユーザに問い合わせる態様にするとよい。例えば、操作内容が「テレビをつける」である場合、「テレビをつけますか？」という問い合わせ形式で音声出力または表示させる。これにより、意図推論部２０により推論されたユーザの意図が正しいかどうかの問い合わせにもなる。

図２は、操作支援装置２のハードウェア構成を示すブロック図である。また、図３は、操作支援装置２の動作の概要を示すフローチャートである。
操作支援装置２における意図推論部２０、判定部２１、推薦態様決定部２２の各機能は、処理回路により実現される。すなわち、操作支援装置２は、図３に示すステップＳＴ１からステップＳＴ３までの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

図２（ａ）に示すように、上記処理回路が専用のハードウェアの処理回路１００である場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。意図推論部２０、判定部２１、推薦態様決定部２２の各部の機能に対応する処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

図２（ｂ）に示すように、処理回路がＣＰＵ１０１である場合、意図推論部２０、判定部２１、推薦態様決定部２２の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアとファームウェアはプログラムとして記述され、メモリ１０２に格納される。
ＣＰＵ１０１は、メモリ１０２に格納されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、操作支援装置２は、ＣＰＵ１０１によって実行されるときに、図３に示したステップＳＴ１からステップＳＴ３までの処理が結果的に実行されるプログラムを格納するためのメモリ１０２を備える。
また、これらのプログラムは、意図推論部２０、判定部２１、推薦態様決定部２２の手順または方法をコンピュータに実行させるものである。

ここで、メモリ１０２としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などが該当する。

なお、意図推論部２０、判定部２１および推薦態様決定部２２の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、意図推論部２０については、専用のハードウェアとしての処理回路１００でその機能を実現し、判定部２１および推薦態様決定部２２については、ＣＰＵ１０１がメモリ１０２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって、前述の機能を実現することができる。

次に動作について説明する。
図４は、操作支援装置２の詳細な動作を示すフローチャートである。
図４において、ステップＳＴ１ａとステップＳＴ２ａの処理は、図３に示したステップＳＴ１の詳細な処理の一例である。また、ステップＳＴ３ａの処理は、図３に示したステップＳＴ２の詳細な処理の一例であり、ステップＳＴ４ａとステップＳＴ５ａの処理は、図３に示したステップＳＴ３の詳細な処理の一例である。
従って、図３の各ステップの動作は、図４の各ステップを説明することにより明らかになるため、以下、図４に基づいて説明を行う。

意図推論部２０は、操作支援装置２が起動している間、車両情報取得部６によって取得された車両情報を入力する（ステップＳＴ１ａ）。例えば、現在から予め定められた時間だけ先のユーザの意図を推論する場合、この時間よりも短い周期で車両情報を取得する。
次に、意図推論部２０は、車両情報に基づいて車両の状態を特定し、車両の状態から、現在から先のユーザの意図を推論する（ステップＳＴ２ａ）。
例えば、車両の状態とユーザの意図内容とを対応付けたルールデータを参照して、現在の車両の状態に対応する意図内容を、ユーザの意図であると推論する。
なお、意図推論部２０は、前述したように、車両情報取得部６から入力した車両情報に加え、入力装置５から入力された操作情報を用いて、ユーザの意図を推論してもよい。

判定部２１は、このように推論された意図に対応する操作を特定し、この操作が現在の車両の状態で実行できるか否かを判定する（ステップＳＴ３ａ）。
例えば、意図内容と操作内容とを対応付けた操作特定用のテーブルデータを参照して、意図推論部２０によって推論された意図に対応する操作を特定する。
さらに、操作内容ごとに操作を制限する制限条件が対応付けられた実行可否判定用のテーブルデータを参照して、車両の状態が制限条件に合致する場合は、操作を実行できないと判定し、車両の状態が制限条件に合致していなければ、操作を実行できると判定する。

判定部２１によって操作が実行可能と判定された場合（ステップＳＴ３ａ；ＹＥＳ）、推薦態様決定部２２は、この操作について実行可能の判定結果に応じた推薦態様を決定する（ステップＳＴ４ａ）。出力装置３は、推薦態様決定部２２によって決定された態様で操作を出力する。これにより、判定部２１によって実行可能と判定された操作が推薦操作として出力装置３に出力される。
例えば、推薦操作の選択を促す音声ガイダンスを出力させるか、あるいは、推薦操作の選択を促すショートカットボタン、テキストを表示させる。

判定部２１によって操作が実行不可能と判定された場合（ステップＳＴ３ａ；ＮＯ）、推薦態様決定部２２は、この操作について実施不可能の判定結果に応じた推薦態様を決定する（ステップＳＴ５ａ）。同様に、出力装置３は、推薦態様決定部２２によって決定された態様で操作を出力する。
例えば、選択しても実行不可能な操作であることを示す音声ガイダンスを出力させるか、この操作の選択を促すショートカットボタン、テキストをグレーアウトさせる。また、実行不可能な操作であれば、出力装置３に出力させなくてもよい。

この後、ユーザは、出力装置３の出力内容に基づいて、操作支援装置２から推薦された推薦操作を実行するか否かを判断する。推薦操作を実行する場合、ユーザは、入力装置５を用いて操作を選択する。例えば、この操作の選択を促すショートカットボタンをクリック操作する。判定部２１は、入力装置５によって推薦操作の選択操作が受け付けられると、この操作を実行するように操作実行装置４に指示する。操作実行装置４は、判定部２１からの指示に従い、推薦操作を実行する。

以上のように、実施の形態１に係る操作支援装置２は、意図推論部２０、判定部２１、推薦態様決定部２２を備える。意図推論部２０は、現在から先のユーザの意図を推論する。判定部２１は、意図推論部２０によって推論されたユーザの意図に対応する操作を実行できるか否かを判定する。推薦態様決定部２２は、判定部２１によって実行できないと判定された場合と実行できると判定された場合とで、ユーザの意図に対応する操作を、出力装置３に異なる態様で出力させる。
このようにユーザの意図に対応する操作が実行できない場合と実行できる場合とで異なる態様で推薦されるので、ユーザが実行可能な操作を選択しやすくなり、ユーザの意図が達成されやすくなる。また、ユーザが実行不可な操作を選択する処理が減ることから、利便性の点でユーザが操作支援装置２に不満を感じることを抑制できる。

また、実施の形態１に係る操作支援装置２において、判定部２１は、車両情報が示す車両の状態に基づいて、操作を実行できるか否かを判定する。このように構成することで、操作の実行可否を実際の車両の状態に応じて判定することができる。

実施の形態２．
図５は、この発明の実施の形態２に係る操作支援システム１Ａの構成を示すブロック図である。操作支援システム１Ａは、車両に搭載された機器の操作のうち、乗員であるユーザの意図に対応する操作を推薦してその実行を促すシステムであり、図５に示すように、操作支援装置２Ａ、出力装置３、操作実行装置４、入力装置５および車両情報取得部６を備える。操作支援装置２Ａは、現在から先のユーザの意図を推論し、この意図に対応する操作を出力装置３に出力させる装置であって、意図推論部２０、判定部２１Ａ、推薦態様決定部２２および操作完了時間算出部２３を備える。
なお、図５において、図１と同一の構成要素には同一の符号を付して説明を省略する。

操作完了時間算出部２３は、この発明における第１の時間算出部（後述する有効時間算出部２４（時間算出部）に対して他の時間算出部と称する）を具体化した構成要素であり、ユーザの意図に対応する操作が選択されてから当該操作の実行が完了するまでに必要な時間に関する意図達成時間情報を算出する。意図達成時間情報は、ユーザの意図が達成されるまでに必要な時間に関する情報であり、例えば、後述する操作完了時間の他、意図が達成されるまでの操作回数、運転者の意図が達成されるまでの間に運転者が操作のために前方から目を離す回数なども含まれる。

操作完了時間は、推薦された操作が選択されてから、この操作の実行が完了するまでに必要な時間である。なお、操作に対応するユーザの意図は、この操作が選択されてから、その実行が完了することで達成される。すなわち、操作完了時間は、ユーザの意図が達成されるまでに必要な時間に相当する。

また、操作完了時間を算出する方法としては、予め計測した操作完了時間と意図内容とを対応付けたテーブルデータを使用する方法が考えられる。
例えば、ユーザが操作を選択してからその実行が完了するまでの実際の操作完了時間を計測し、この計測結果の時間を操作完了時間として意図内容に対応付けてテーブルデータを構築する。操作完了時間算出部２３は、このようなテーブルデータを参照することで、意図推論部２０によって推論されたユーザの意図に対応する操作完了時間を算出することができる。

また、意図に対応する操作の平均的な操作完了時間が設定されたテーブルデータを使用してもよい。平均的な操作完了時間としては、例えば、実際の操作完了時間を複数回計測し、複数の計測結果を平均した時間を用いる。
さらに、ユーザの意図内容を様々なカテゴリに分類し、意図内容のカテゴリごとに平均的な操作完了時間が設定されたテーブルデータを使用してもよい。
例えば、意図内容のカテゴリが「検索」である場合、検索全般の平均的な操作完了時間が、最終的な操作完了時間として上記テーブルデータに設定される。

ユーザの意図に対応する操作は、複数の操作が組み合わされて構成される場合もある。この場合、推薦された操作が選択されてからその実行が最終的に完了するまでの間に複数の操作が順次実行される。例えば、「ルート上のコンビニを検索して案内する」という操作が推薦操作である場合、この操作の実行が最終的に完了する時点は、ユーザが選択した特定のブランドのコンビニをルート上から検索し、検索結果の中から選択されたコンビニをルートの目的地に設定した時点である。すなわち、下記（１）〜（３）の操作に要する時間が操作完了時間となる。
（１）コンビニのブランド一覧から特定のブランドを選択する。
（２）選択されたブランドのコンビニを検索し、この検索結果の一覧を表示する。
（３）一覧から選択されたコンビニを目的地に設定する。

また、意図が達成されるまでの操作回数を算出する方法としては、上記操作完了時間の場合と同様に、予め計測した操作回数と意図内容とを対応付けたテーブルデータを使用する方法が考えられる。例えば、前述した「ルート上のコンビニを検索して案内する」という操作の場合、意図が達成されるまでの操作回数は３回となる。

さらに、運転者の意図が達成されるまでの間に運転者が操作のために前方から目を離す回数についても、例えば、この回数を予め計測した結果と意図内容とを対応付けたテーブルデータを使用する方法が考えられる。運転者が前方から目を離す回数は、この運転者の撮影情報を画像解析して運転者の視線が前方から外れた回数をカウントして得られる。

判定部２１Ａは、操作完了時間算出部２３により算出された操作完了時間に基づいて、意図推論部２０により推論されたユーザの意図に対応する操作を実行できるか否かを判定する。例えば、操作完了時間を予め定められた閾値と比較し、操作完了時間が閾値以上である場合は操作を実行できないと判定され、操作完了時間が閾値未満であれば操作を実行できると判定される。車両の走行中に許容される操作機能は、ガイドラインに詳細に規定されており、運転者が画面を視認できる時間も決められている。そこで、このような時間を閾値として利用する。

また、意図が達成されるまでの操作回数、運転者が操作のために前方から目を離す回数についても同様に判定してもよい。
例えば、予め定められた閾値と比較し、この閾値以上である場合は操作を実行できないと判定し、閾値未満であれば操作を実行できると判定する。

さらに、判定に使用する閾値は、車両の状態に応じて動的に変化させてもよい。
車両が走行中である場合は許容上限値となる閾値を下げ、車両が停車中である場合には許容上限値となる閾値を上げる。これにより、車両の状態に応じた適切な判定を行うことができる。例えば、操作完了時間の閾値を車両が走行中の場合は８秒とし、車両が停車中であれば２０秒とする。

なお、意図推論部２０、判定部２１Ａ、推薦態様決定部２２および操作完了時間算出部２３の各機能については、実施の形態１と同様に専用のハードウェアで実現してもよく、ソフトウェアまたはファームウェアで実現してもよい。また、これらの機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。

次に動作について説明する。
図６は、操作支援装置２Ａの詳細な動作を示すフローチャートである。
図６において、ステップＳＴ１ｂとステップＳＴ２ｂの処理は、実施の形態１で示した図４のステップＳＴ１ａとステップＳＴ２ａの処理と同様である。またステップＳＴ５ｂとステップＳＴ６ｂの処理は、図４のステップＳＴ４ａとステップＳＴ５ａの処理と同様である。従って、これらのステップの説明は省略する。

ステップＳＴ３ｂにおいて、操作完了時間算出部２３は、ユーザの意図に対応する操作が選択されてから当該操作の実行が完了するまでに必要な操作完了時間を算出する。
例えば、操作完了時間算出部２３は、意図推論部２０によって推論されたユーザの意図内容を取得し、操作完了時間と意図内容とを対応付けたテーブルデータを参照して、この意図内容に対応する操作完了時間を決定する。

判定部２１Ａは、操作完了時間算出部２３から入力した上記操作完了時間に基づいて、ユーザの意図に対応する操作が実行できるか否かを判定する（ステップＳＴ４ｂ）。
例えば、操作完了時間を予め定められた閾値と比較し、操作完了時間が閾値以上である場合は操作を実行できないと判定する（ステップＳＴ４ｂ；ＮＯ）。一方、操作完了時間が閾値未満であれば操作を実行できると判定する（ステップＳＴ４ｂ；ＹＥＳ）。

以上のように、実施の形態２に係る操作支援装置２Ａは、操作が選択されてから当該操作の実行が完了するまでに必要な操作完了時間を算出する操作完了時間算出部２３を備える。判定部２１Ａは、操作完了時間に基づいて、ユーザの意図に対応する操作を実行できるか否かを判定する。
このようにしても、推論されたユーザの意図に対応する操作が実行できない場合と実行できる場合とで異なる態様で推薦されるので、ユーザが実行可能な操作を選択しやすくなり、ユーザの意図が達成されやすくなる。また、ユーザが実行不可な操作を選択する処理が減ることから、利便性の点でユーザが操作支援装置２Ａに不満を感じることを抑制できる。

実施の形態３．
図７は、この発明の実施の形態３に係る操作支援システム１Ｂの構成を示すブロック図である。操作支援システム１Ｂは、車両に搭載された機器の操作のうち、乗員であるユーザの意図に対応する操作を推薦してその実行を促すシステムであり、図７に示すように、操作支援装置２Ｂ、出力装置３、操作実行装置４、入力装置５および車両情報取得部６を備える。操作支援装置２Ｂは、現在から先のユーザの意図を推論し、この意図に対応する操作を出力装置３に出力させる装置であって、意図推論部２０、判定部２１Ｂ、推薦態様決定部２２および有効時間算出部２４を備える。
なお、図７において、図１と同一の構成要素には同一の符号を付して説明を省略する。

有効時間算出部２４は、この発明における第２の時間算出部（時間算出部）を具体化した構成要素であり、有効時間を算出する。有効時間は、意図推論部２０によって推論されたユーザの意図に対応する操作を有効に実行可能な時間である。
判定部２１Ｂは、有効時間算出部２４により算出された有効時間に基づいて、意図推論部２０により推論されたユーザの意図に対応する操作を実行できるか否かを判定する。
例えば、有効時間を閾値と比較して、有効時間が閾値以下である場合は操作を実行できないと判定し、有効時間が閾値を超える場合、操作を実行できると判定する。

なお、意図推論部２０、判定部２１Ｂ、推薦態様決定部２２および有効時間算出部２４の各機能については、実施の形態１と同様に専用のハードウェアで実現してもよく、ソフトウェアまたはファームウェアで実現してもよい。また、これらの機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。

次に動作について説明する。
図８は、操作支援装置２Ｂの詳細な動作を示すフローチャートである。
図８において、ステップＳＴ１ｃとステップＳＴ２ｃの処理は、実施の形態１で示した図４のステップＳＴ１ａとステップＳＴ２ａの処理と同様である。またステップＳＴ５ｃとステップＳＴ６ｃの処理は、図４のステップＳＴ４ａとステップＳＴ５ａの処理と同様である。従って、これらのステップの説明は省略する。

有効時間算出部２４は、ユーザの意図に対応する操作が有効に実行可能な有効時間を算出する（ステップＳＴ３ｃ）。
例えば、意図推論部２０によってユーザの意図が「次のサービスエリアに立ち寄りたい」と推論された場合、車両の現在位置から次のサービスエリアまでの平均的な移動時間が有効時間となる。

判定部２１Ｂは、有効時間算出部２４から入力した有効時間に基づいて、ユーザの意図に対応する操作が実行できるか否かを判定する（ステップＳＴ４ｃ）。
例えば、有効時間が閾値以下である場合、操作を実行できないと判定される（ステップＳＴ４ｃ；ＮＯ）。一方、有効時間が閾値を超える場合、操作を実行できると判定される（ステップＳＴ４ｃ；ＹＥＳ）。

有効時間の閾値としては、有効時間に対応する操作ごとまたは意図内容のカテゴリごとに予め定めた閾値を用意する。例えば、「次のサービスエリアを検索する」という操作、または「次のサービスエリアに立ち寄りたい」という意図内容のカテゴリである「検索」には、有効時間の閾値として１０秒間を設定する。
なお、この閾値は、ユーザが適宜設定してもよく、ユーザの操作履歴から統計的に算出した値を使用してもよい。

以上のように、実施の形態３に係る操作支援装置２Ｂは、意図推論部２０によって推論されたユーザの意図に対応する操作を有効に実行可能である有効時間を算出する有効時間算出部２４を備える。判定部２１Ｂは、意図有効時間に基づいて、ユーザの意図に対応する操作を実行できるか否かを判定する。
このようにしても、推論されたユーザの意図に対応する操作が実行できない場合と実行できる場合とで異なる態様で推薦されるので、ユーザが実行可能な操作を選択しやすくなり、ユーザの意図が達成されやすくなる。また、ユーザが実行不可な操作を選択する処理が減ることから、利便性の点でユーザが操作支援装置２Ｂに不満を感じることを抑制できる。

実施の形態４．
図９は、この発明の実施の形態４に係る操作支援システム１Ｃの構成を示すブロック図である。操作支援システム１Ｃは、車両に搭載された機器の操作のうち、乗員であるユーザの意図に対応する操作を推薦してその実行を促すシステムであり、図９に示すように、操作支援装置２Ｃ、出力装置３、操作実行装置４、入力装置５および車両情報取得部６を備える。操作支援装置２Ｃは、現在から先のユーザの意図を推論し、この意図に対応する操作を出力装置３に出力させる装置であって、意図推論部２０、判定部２１Ｃ、推薦態様決定部２２、操作完了時間算出部２３および有効時間算出部２４を備える。
なお、図９において、図１、図５および図７と同一の構成要素には同一の符号を付して説明を省略する。

判定部２１Ｃは、操作完了時間算出部２３によって算出された操作完了時間および有効時間算出部２４によって算出された有効時間に基づいて、意図推論部２０により推論されたユーザの意図に対応する操作を実行できるか否かを判定する。
例えば、有効時間を操作完了時間と比較して、有効時間が操作完了時間以下である場合は操作を実行できないと判定され、有効時間が操作完了時間を超える場合には操作を実行できると判定される。

なお、意図推論部２０、判定部２１Ｃ、推薦態様決定部２２、操作完了時間算出部２３および有効時間算出部２４の各機能については、実施の形態１と同様に専用のハードウェアで実現してもよく、ソフトウェアまたはファームウェアで実現してもよい。また、これらの機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。

次に動作について説明する。
図１０は、操作支援装置２Ｃの詳細な動作を示すフローチャートである。
図１０において、ステップＳＴ１ｄとステップＳＴ２ｄの処理は、実施の形態１で示した図４のステップＳＴ１ａとステップＳＴ２ａの処理と同様である。また、ステップＳＴ３ｄの処理は、実施の形態２で示した図６のステップＳＴ３ｂの処理と同様である。ステップＳＴ４ｄの処理は、実施の形態３で示した図８のステップＳＴ３ｃの処理と同様である。さらに、ステップＳＴ６ｄとステップＳＴ７ｄの処理は、図４のステップＳＴ４ａとステップＳＴ５ａの処理と同様である。従って、これらのステップの説明は省略する。

ステップＳＴ５ｄにおいて、判定部２１Ｃは、操作完了時間および有効時間に基づいて、意図推論部２０によって推論されたユーザの意図に対応する操作を実行できるか否かを判定する。例えば、ユーザの意図が「次のサービスエリアに立ち寄りたい」と推論された場合において、有効時間算出部２４は、車両の現在位置から次のサービスエリアまでの平均的な移動時間を有効時間として算出する。
また、操作完了時間算出部２３は、上記意図に対応する操作である「次のサービスエリアを目的地に設定してルートを検索する」についての操作完了時間を算出する。
判定部２１Ｃは、有効時間と操作完了時間とを比較して、有効時間が操作完了時間以下である場合は、操作を実行できないと判定し、有効時間が操作完了時間を超える場合は、操作を実行できると判定する。
例えば、有効時間が１０秒間であり、操作完了時間が３０秒間である場合は、この検索操作が完了するまでに有効時間の１０秒間が経過してしまう。このため、「次のサービスエリアに立ち寄りたい」というユーザの意図は達成できず、この操作は実行できないと判定される。

以上のように、実施の形態４に係る操作支援装置２Ｃは、操作完了時間算出部２３と、有効時間算出部２４とをさらに備える。判定部２１Ｃは、操作完了時間および有効時間に基づいて、ユーザの意図に対応する操作を実行できるか否かを判定する。
このようにしても、推論されたユーザの意図に対応する操作が実行できない場合と実行できる場合とで異なる態様で推薦されるので、ユーザが実行可能な操作を選択しやすくなり、ユーザの意図が達成されやすくなる。また、ユーザが実行不可な操作を選択する処理が減ることから、利便性の点でユーザが操作支援装置２Ｃに不満を感じることを抑制できる。

実施の形態５．
図１１は、この発明の実施の形態５に係る操作支援システム１Ｄの構成を示すブロック図である。操作支援システム１Ｄは、車両に搭載された機器の操作のうち、乗員であるユーザの意図に対応する操作を推薦してその実行を促すシステムであり、図１１に示すように、操作支援装置２Ｄ、出力装置３、操作実行装置４、入力装置５、車両情報取得部６、車外情報取得部７を備える。
操作支援装置２Ｄは、現在から先のユーザの意図を推論し、この意図に対応する操作を出力装置３に出力させる装置であって、意図推論部２０、判定部２１Ｄおよび推薦態様決定部２２を備える。なお、図１１において図１と同一の構成要素には同一の符号を付して説明を省略する。

車外情報取得部７は、車両に搭載された無線通信装置の１つの機能として設けられて、車両周辺の状況を示す車外情報を取得する。例えば、車外情報取得部７は、インターネットなどの通信ネットワークを介して車外の情報ソースである外部装置と無線通信し、ユーザの意図に対応した操作の内容に基づいて外部装置が管理する情報を検索する。このようにして、上記操作の内容に対応する車両周辺の状況を示す車外情報を受信する。
なお、車外情報としては、例えば、車両周辺の施設情報、天気情報、タイムセールなどのイベント情報の他に、交通インフラから取得された渋滞情報などが挙げられる。

判定部２１Ｄは、車外情報取得部７により取得された車外情報が示す車両周辺の状況に基づいて、意図推論部２０により推論されたユーザの意図に対応する操作を実行できるか否かを判定する。例えば、ユーザの意図に対応する操作が「ＡＡＡスキー場へ向かう」である場合、ＡＡＡスキー場の天気が雨であることを示す車外情報が得られると、この操作は実行できないと判定される。

なお、意図推論部２０、判定部２１Ｄおよび推薦態様決定部２２の各機能については、実施の形態１と同様に専用のハードウェアで実現してもよく、ソフトウェアまたはファームウェアで実現してもよい。また、これらの機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。

次に動作について説明する。
図１２は、操作支援装置２Ｄの詳細な動作を示すフローチャートである。
図１２において、ステップＳＴ１ｅとステップＳＴ２ｅの処理は、実施の形態１で示した図４のステップＳＴ１ａとステップＳＴ２ａの処理と同様である。また、ステップＳＴ５ｅとステップＳＴ６ｅの処理は、図４のステップＳＴ４ａとステップＳＴ５ａの処理と同様である。従って、これらのステップの説明は省略する。

車外情報取得部７は、判定部２１Ｄから取得したユーザの意図に対応する操作の内容を示す情報に基づいて車外の情報ソースが管理する情報を検索し、上記操作内容に対応する車両周辺の状況を示す車外情報を受信する（ステップＳＴ３ｅ）。
例えば、ユーザの意図に対応する操作が「周辺のＸＸＸ駐車場を検索する」である場合に、車外の情報ソースから周辺のＸＸＸ駐車場の満空情報を取得する。

判定部２１Ｄは、車外情報が示す車両周辺の状況に基づいて、ユーザの意図に対応する操作を実行できるか否かを判定する（ステップＳＴ４ｅ）。
例えば、ユーザの意図に対応する操作が「周辺のＸＸＸ駐車場を検索する」である場合に、車外情報取得部７によって取得された周辺のＸＸＸ駐車場の満空情報が満車を示していれば、この操作は実行できないと判定される。

以上のように、実施の形態５に係る操作支援装置２Ｄにおいて、判定部２１は、車外情報が示す車両周辺の状況に基づいて、操作を実行できるか否かを判定する。
このように構成することで、車両周辺の状況に基づいて、ユーザの意図に対応する操作の実行可否を的確に判定することが可能である。

実施の形態６．
図１３は、この発明の実施の形態６に係る操作支援システム１Ｅの構成を示すブロック図である。操作支援システム１Ｅは、車両に搭載された機器の操作のうち、乗員であるユーザの意図に対応する操作を推薦してその実行を促すシステムであり、図１３に示すように、操作支援装置２Ｅ、出力装置３、操作実行装置４、入力装置５、車両情報取得部６を備える。操作支援装置２Ｅは、現在から先のユーザの意図を推論し、この意図に対応する操作を出力装置３に出力させる装置であって、意図推論部２０、判定部２１Ｅおよび推薦態様決定部２２を備える。なお、図１３において図１と同一の構成要素には同一の符号を付して説明を省略する。

判定部２１Ｅは、ユーザの意図に対応する操作を実行できないと判定した場合に、実行可能になるまで当該操作の内容の抽象度を変化させる。例えば、判定部２１Ｅは、実施の形態１で示した意図内容と操作内容とを対応付けた操作特定用のテーブルデータに加え、図１４に示すような抽象度ごとの操作内容の階層関係を示す抽象度変更用の参照データを有する。この参照データでは、抽象度が最も高い階層に操作の基本的な内容が設定され、抽象度が低くなるにつれて操作の内容がより具体的になるように構成されている。

例えば、図１４に示す参照データには、「周辺検索を行う」という操作の抽象度ごとの操作内容の階層関係が設定されている。最も基本的な内容である「周辺検索を行う」から抽象度を低くしていくと、まず、どこの周辺を検索するかで具体化され、「目的地周辺」、「現在地周辺」、「ルート上」などの内容が設定される。検索する場所が「目的地周辺」である場合、この階層までの操作内容は「目的地周辺の検索を行う」であり、続いて、検索対象の「ジャンル」、「ブランド」の項目が設定されている。

「ジャンル」の項目には、図１５に示すように「コンビニ」、「駐車場」などといった施設のジャンルが設定されており、「ブランド」の項目には「ＡＡＡマート」などのより具体的な施設のブランドが設定されている。
また、「ジャンル」の項目と「ブランド」の項目に続いて「直近の施設を目的地に設定する」という操作内容が設定されている。この操作内容まで抽象度を低下させると、検索対象が限定されるので、検索結果が得られるまでに必要な時間は短縮される場合がある。
すなわち、ユーザの意図に対応する操作の実行が完了するまでに時間が掛かり過ぎるために実行できないと判定されても、その操作内容の抽象度を下げれば、操作の実行が完了するまでに必要な時間が短縮されて実行可能となることがある。
検索対象を限定したために所望の検索結果が得られず、検索操作を完了できない場合には、反対に操作内容の抽象度を上げることにより、所望する内容に近い検索結果が得られて検索操作を完了できる場合もある。

なお、意図推論部２０、判定部２１Ｅおよび推薦態様決定部２２の各機能については、実施の形態１と同様に専用のハードウェアで実現してもよく、ソフトウェアまたはファームウェアで実現してもよい。また、これらの機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。

次に動作について説明する。
図１６は、操作支援装置２Ｅの詳細な動作を示すフローチャートである。
なお、図１６において、ステップＳＴ１ｆからステップＳＴ３ｆ、ステップＳＴ６ｆの処理は、実施の形態１で示した図４のステップＳＴ１ａからステップＳＴ３ａ、ステップＳＴ５ａの処理と同様であるので、これらのステップの説明は省略する。
判定部２１Ｅは、ユーザの意図に対応した操作を実行できないと判定した場合（ステップＳＴ３ｆ；ＮＯ）、この操作の内容の抽象度が変更可能か否かを確認する（ステップＳＴ５ｆ）。例えば、ユーザの意図に対応した操作に関して、前述したような参照データがあるか否かで判断する。ここで、上記操作の内容の抽象度が変更できなければ（ステップＳＴ５ｆ；ＮＯ）、ステップＳＴ６ｆの処理に移行する。

一方、上記操作の内容の抽象度が変更できる場合（ステップＳＴ５ｆ；ＹＥＳ）、判定部２１Ｅは、上記参照データを参照して、上記操作について実行可能になる方向に抽象度を変化させる（ステップＳＴ７ｆ）。
例えば、ユーザの意図に対応する操作が「ルート上のコンビニを検索して案内する」であり、この操作の操作完了時間が閾値以上であるために実行できない場合、操作完了時間が短縮されるように、抽象度を下げて「周辺のＡＡＡマートを検索し、直近の施設を目的地に設定する」という操作に変更する。
また、ユーザの意図に対応する操作が「周辺のパークＸＸＸを検索する」であり、車外情報の満空情報から「パークＸＸＸ」が満車であるために実行できない場合は、駐車場のブランドの限定がなくすように抽象度を上げて「周辺の駐車場を検索する」という操作に変更する。

ステップＳＴ４ｆにおいて、推薦態様決定部２２は、判定部２１Ｅによって実行可能になるまで内容の抽象度が変化された操作を、代替操作として出力装置３に出力させる。
ここで、推薦態様決定部２２は、判定部２１Ｅによって実行できないと判定された操作を推薦操作として出力装置３に出力させた後に、この操作が実行不可であること、および抽象度が変化された代替操作を出力装置３に出力させてもよい。

例えば、ユーザの意図に対応する操作が「周辺のパークＸＸＸを検索する」であって、車外情報における満空情報から「パークＸＸＸ」が満車であるために実行できない場合、まず、「周辺のパークＸＸＸを検索する」を推薦操作として出力装置３に出力させる。
そして、ユーザが、入力装置５を用いて当該操作を選択すると、「周辺のＸＸＸ駐車場は満車です。周辺の駐車場を検索します。」というように上記操作が実行不可であることと代替操作を出力装置３に出力させる。この後、自動的あるいはユーザの確認操作を受け付けられると、判定部２１Ｅは、代替操作を実行するように操作実行装置４に指示する。これにより、周辺の駐車場の検索が開始される。

最初から「周辺の駐車場を検索する」という代替操作を示した場合、ユーザは「駐車場のブランドまで検索してくれない」という不満を持つ可能性がある。
そこで、上記のように操作の出力態様を決定することで、駐車場のブランドについても検索対象であることが示され、利便性の点でユーザが操作支援装置２に不満を感じることを抑制できる。

これまで操作内容の抽象度を変化させて代替操作とする場合を示したが、判定部２１Ｅは、ユーザの意図に対応する操作を実行できないと判定した場合に、この意図に対応する実行可能な別の操作を代替操作として特定すればよい。
例えば、「トイレに行きたい」というユーザの意図に対応する操作として「周辺のコンビニを検索する」という操作が特定されたが、車外情報における施設情報から車両周辺にコンビニが存在せず、この操作の実行ができないと判定された場合を考える。
この場合、判定部２１Ｅは、抽象度は変更せず、ジャンルの項目に設定されている別のジャンルでトイレがある施設を検索対象に設定した操作を代替操作とする。

なお、トイレ、ＡＴＭ（Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）などのようにユーザの意図内容になり得る対象物は、地図情報において、施設などの属性情報として上記対象物の存在有無が設定されている。そこで、前述した参照データにおける操作内容に上記属性情報を設定しておく。これにより、判定部２１Ｅは、この参照データからトイレがある別のジャンルの施設を特定することができる。なお、別のジャンルでトイレがある施設としては、スーパーマーケットなどが考えられる。
このようにすることでも、ユーザの意図に対応する操作に関する代替操作を推薦することができ、ユーザの意図が達成されやすくなる。

以上のように、実施の形態６に係る操作支援装置２Ｅにおいて、判定部２１Ｅは、操作を実行できないと判定した場合、実行可能になるまで当該操作の内容の抽象度を変化させる。推薦態様決定部２２は、実行可能になるまで内容の抽象度を変化させた操作を、代替操作として出力装置３に出力させる。これにより、ユーザの意図に対応する操作に関する代替操作を推薦することができ、ユーザの意図がさらに達成されやすくなる。

また、実施の形態６に係る操作支援装置２Ｅにおいて、判定部２１Ｅは、ユーザの意図に対応する操作を実行できないと判定した場合、当該意図に対応する実行可能な別の操作を特定する。推薦態様決定部２２は、判定部２１Ｅによって特定された操作を代替操作として出力装置３に出力させる。このようにすることでも、ユーザの意図に対応する操作に関する代替操作を推薦することができ、ユーザの意図がさらに達成されやすくなる。

さらに、実施の形態６に係る操作支援装置２Ｅにおいて、推薦態様決定部２２は、判定部２１Ｅによって実行できないと判定された操作を推薦操作として出力装置３に出力させた後、当該操作が実行不可であることおよび判定部２１Ｅによって特定された操作を代替操作として出力装置３に出力させる。このようにしても、利便性の点でユーザが操作支援装置２Ｅに不満を感じることを抑制できる。

実施の形態７．
実施の形態１〜６は、ユーザの意図に対応する操作が実行できるか否かを判定する場合を示したが、この実施の形態７では、判定部によって実行可能と判定された操作をさらに実行可能な度合いに応じて分類するものである。
なお、実施の形態７に係る操作支援装置は、このように実行可能な度合いに応じて操作を分類する点で実施の形態１と異なるが、基本的な構成は、図１を用いて説明した構成と同じである。そこで、以降では、実施の形態７に係る操作支援装置の構成について述べる場合、図１を参照することとする。

実施の形態７において、判定部２１は、ユーザの意図に対応する操作の実行可否を判定した結果、実行できると判定した操作を、実行可能な度合いに応じて分類する。
例えば、実施の形態２で示した操作完了時間に基づいて実行可否を判定する場合には、操作完了時間を複数の閾値と比較して実行可能な度合いを決定する。
複数の閾値として、上側閾値、中間閾値、下側閾値を設けることが考えられる。ユーザの意図に対応する操作の操作完了時間が上側閾値未満で中間閾値以上である場合は、実行可能な度合いが「小」であると判定する。また、この操作完了時間が中間閾値未満で下側閾値以上であれば、実行可能な度合いが「中」であると判定し、操作完了時間が下側閾値未満であれば、実行可能な度合いが「大」であると判定する。

推薦態様決定部２２は、ユーザの意図に対応する操作を、このような実行可能な度合いに応じた態様で出力装置３に出力させる。
例えば、実行可能な度合いが「中」である場合を通常態様とする。
実行可能な度合いが「大」である場合、この操作の選択を促す音声ガイダンスの音量を通常態様よりも上げる。また、音声ガイダンスの内容に実行可能な度合いが高いことを含めてもよい。推薦操作を表示する場合は、この操作の選択を促すショートカットボタン、テキストを強調表示させてもよい。強調表示には、黄色などの注意喚起色に変える、通常態様よりも表示サイズを大きくする、輝度を上げるといった態様が含まれる。

一方、実行可能な度合いが「小」である場合、この操作の選択を促す音声ガイダンスの音量を通常態様よりも下げる。また音声ガイダンスの内容に実行可能な度合いが低いことを含めてもよい。推薦操作を表示する場合は、この操作の選択を促すショートカットボタン、テキストを、消極的な表示にしてもよい。消極的な表示には、青色などの非注意喚起色に変える、通常態様よりも表示サイズを小さくする、輝度を下げるといった態様が含まれる。これにより、ユーザは、実行可能な度合いに応じて推薦操作を選択することができるので、ユーザの意図がさらに達成されやすくなる。

判定部２１は、このような実行可能な度合いが閾値よりも高い操作を、操作実行装置４に自動またはバックグラウンドで実行させてもよい。
例えば、ユーザの意図に対応する操作を迅速に実行するため、実行可能な度合いが「中」より高い、すなわち「大」であれば、判定部２１が、ユーザに操作を推薦することなく、操作実行装置４に指示して、この操作を自動で実行させる。
また、ユーザに操作を推薦して実行すべき操作として選択された場合、判定部２１が、操作実行装置４に指示して、この操作を自動で実行させてもよい。
このとき他の車載器が処理を実行していても、その処理のバックグラウンドで操作実行装置４に上記操作を実行させる。このようにすることで、ユーザが操作することにより、ユーザの意図の達成が遅れることがなく、ユーザの意図を迅速に達成することができる。

推薦態様決定部２２は、実行可能な度合いが閾値以下の操作を、推薦しない態様で出力装置３に出力させてもよい。
これまでは、操作の選択を促す音声ガイダンスするか、この操作の選択を促すショートカットボタン、テキストを表示することにより、操作の内容を推薦する態様でユーザに提示していた。これに対し、実行可能な度合いが低い操作については推薦しない態様でユーザに提示する。例えば、ユーザの意図に対応する操作が「周辺のスーパーを検索する」であり、この操作の実行可能な度合いが「小」である場合、地図上にスーパーのアイコンを単に表示することが挙げられる。
これにより、実行可能な度合いの低い操作が選択され難くなり、ユーザの意図が達成されない状況を少なくすることができる。

また、推薦態様決定部２２は、実行可能な度合いが閾値以下の操作を、実行が困難であることを示す態様で出力装置３に出力させてもよい。
例えば、この操作の選択を促すショートカットボタン、テキストの選択は可能であるが、グレーアウトに近いぼやけた表示とする。このようにしても、実行可能な度合いの低い操作が選択され難くなり、ユーザの意図が達成されない状況を少なくすることができる。

さらに、推薦態様決定部２２は、実行可能な度合いが閾値以下の操作を、出力装置３に出力させなくてもよい。実行できる可能性はあるが、その度合いが低い操作であると、ユーザが選択操作したときに実行不可になる場合も考えられる。この場合、選択操作が無駄になる。従って、実行可能な度合いが閾値以下の操作をユーザに提示しないことで、このような無駄な操作を省くことができる。

さらに、推薦態様決定部２２が、実行可能な度合いが閾値以下の操作であっても、この操作を推薦操作として出力装置３に出力させる。そして、判定部２１が、実行すべき操作として当該操作の指定を受け付けた場合に、当該操作よりも実行可能な度合いが高くかつ当該操作に関連した別の操作を操作実行装置４に実行させてもよい。
例えば、ユーザの意図に対応する操作が「次のサービスエリアを検索する」であり、実行可能な度合いが「小」であっても、推薦態様決定部２２は、この操作を推薦操作として出力装置３に出力させる。この操作がユーザに選択された場合、判定部２１は、例えば、実施の形態６と同様にして、この操作に関連し実行可能な度合いがさらに高い操作である「次の次にあるサービスエリアを検索する」という操作を代替操作として特定して、この代替操作を操作実行装置４に実行させる。これにより、ユーザの意図を達成されやすくできる。

以上のように、実施の形態７に係る操作支援装置２において、判定部２１は、実行できると判定した操作を実行可能な度合いに応じて分類する。推薦態様決定部２２は、操作を実行可能な度合いに応じた態様で出力装置３に出力させる。このように構成することで、ユーザが実行可能な度合いに応じて推薦操作を選択することができ、ユーザの意図がさらに達成されやすくなる。

また、実施の形態７に係る操作支援装置２において、判定部２１は、実行可能な度合いが閾値よりも高い操作を、操作実行装置４に自動またはバックグラウンドで実行させる。このように構成することで、ユーザの意図を迅速に達成することができる。

さらに、実施の形態７に係る操作支援装置２において、推薦態様決定部２２は、実行可能な度合いが閾値以下の操作を、推薦しない態様で出力装置３に出力させる。
このように構成することで、実行可能な度合いの低い操作が選択され難くなり、ユーザの意図が達成されない状況を少なくすることができる。

さらに、実施の形態７に係る操作支援装置２において、推薦態様決定部２２は、実行可能な度合いが閾値以下の操作を、実行が困難であることを示す態様で出力装置３に出力させる。このようにしても、実行可能な度合いの低い操作が選択され難くなり、ユーザの意図が達成されない状況を少なくすることができる。

さらに、実施の形態７に係る操作支援装置２において、推薦態様決定部２２は、実行可能な度合いが閾値以下の操作を出力装置３に出力させない。このようにしても、実行可能な度合いの低い操作が選択され難くなり、ユーザの意図が達成されない状況を少なくすることができる。

さらに、実施の形態７に係る操作支援装置２において、推薦態様決定部２２は、実行可能な度合いが閾値以下の操作を推薦操作として出力装置３に出力させる。判定部２１は、実行すべき操作として推薦操作の指定を受け付けた場合、当該推薦操作よりも実行可能な度合いが高くかつ当該推薦操作に関連した別の操作を操作実行装置４に実行させる。
このように構成することで、ユーザの意図を達成されやすくできる。

実施の形態８．
図１７は、この発明の実施の形態８に係る操作支援システム１Ｆの構成を示すブロック図である。操作支援システム１Ｆは、車両に搭載された機器の操作のうち、乗員であるユーザの意図に対応する操作を推薦してその実行を促すシステムであり、図１７に示すように、操作支援装置２Ｆ、出力装置３、操作実行装置４、入力装置５、車両情報取得部６を備える。操作支援装置２Ｆは、現在から先のユーザの意図を推論し、この意図に対応する操作を出力装置３に出力させる装置であって、意図推論部２０、判定部２１Ｆ、推薦態様決定部２２、操作履歴登録部２５および操作履歴記憶部２６を備える。
なお、図１７において図１と同一の構成要素には同一の符号を付して説明を省略する。

操作履歴登録部２５は、入力装置５を用いたユーザの操作情報をモニタし、推薦された操作が選択される度に、これを操作履歴として操作履歴記憶部２６に記憶する。
操作履歴記憶部２６は、この発明における記憶部を具体化した構成要素であって、推薦操作が実行された操作履歴を記憶する。
判定部２１Ｆは、操作履歴記憶部２６から読み出した操作履歴に基づいて、ユーザの意図に対応する操作を実行できるか否かを判定する。例えば、ユーザの意図に対応する操作が、過去に推薦された操作であるか、推薦されたときの実行可能な度合いはどうか、実行結果はどうであったか、といった内容を操作履歴情報から特定し、今回の操作の実行可否を判定する。このようにすることで、ユーザの意図に対応する操作の実行可否を判定する演算負荷を軽減することができ、また実行可否を正確に判定することが可能である。

なお、意図推論部２０、判定部２１Ｆ、推薦態様決定部２２、操作履歴登録部２５および操作履歴記憶部２６の各機能については、実施の形態１と同様に専用のハードウェアで実現してもよく、ソフトウェアまたはファームウェアで実現してもよい。また、これらの機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。

以上のように、実施の形態８に係る操作支援装置２Ｆは、推薦操作が実行された操作履歴を記憶する操作履歴記憶部２６と、操作履歴記憶部２６に操作履歴を登録する操作履歴登録部２５とを備える。判定部２１Ｆは、操作履歴記憶部２６から読み出した操作履歴に基づいて、ユーザの意図に対応する操作を実行できるか否かを判定する。このように構成することで、ユーザの意図に対応する操作の実行可否を判定する演算負荷を軽減することができ、また実行可否を正確に判定することが可能である。

実施の形態９．
図１８は、この発明の実施の形態９に係る操作支援システム１Ｇの構成を示すブロック図である。図１８に示す操作支援システム１Ｇは、車載器８が、携帯端末９またはサーバ１０と連携して操作支援を行う。
まず、サーバ１０と連携して車載器８が操作支援装置として機能する場合を説明する。
車載器８は、サーバ１０と直接通信するか、あるいは携帯端末９を介してサーバ１０と通信する。サーバ１０は、このような通信を行う通信部の他に、実施の形態１で示した、意図推論部２０、判定部２１および推薦態様決定部２２を備える。
すなわち、操作支援装置２の各機能はサーバ１０が実行し、このようにして得られる出力内容は、サーバ１０によって車載器８に送信される。
車載器８は、サーバ１０から受信した推薦操作を示す情報を出力装置３に出力させる。
入力装置５を用いて推薦操作が選択されると、車載器８は、この操作を操作実行装置４に実行させる。

次に、携帯端末９と連携して車載器８が操作支援装置として機能する場合を説明する。
携帯端末９は、車載器８と通信する通信部の他に、実施の形態１で示した、意図推論部２０、判定部２１および推薦態様決定部２２を備える。
すなわち、操作支援装置２の各機能は携帯端末９が実行し、このようにして得られる出力内容は、携帯端末９によって車載器８に送信される。
車載器８は、携帯端末９から受信した推薦操作を示す情報を出力装置３に出力させる。
入力装置５を用いて推薦操作が選択されると、車載器８は、この操作を操作実行装置４に実行させる。

次に、携帯端末９およびサーバ１０と連携して車載器８が操作支援装置として機能する場合を説明する。
車載器８は、携帯端末９およびサーバ１０と車載器８との間でそれぞれ通信する通信部を備え、携帯端末９およびサーバ１０には、車載器８と通信する通信部を備える他、意図推論部２０、判定部２１および推薦態様決定部２２のいずれかを有する。
すなわち、操作支援装置２の各機能は、携帯端末９およびサーバ１０のいずれかが実行し、このようにして得られる出力内容は、携帯端末９またはサーバ１０によって車載器８に送信される。
車載器８は、サーバ１０から受信した推薦操作を示す情報を出力装置３に出力させる。
入力装置５を用いて推薦操作が選択されると、車載器８は、この操作を操作実行装置４に実行させる。

以上のように、実施の形態９に係る操作支援システム１Ｇにおいて、携帯端末９またはサーバ１０が、意図推論部２０、判定部２１および推薦態様決定部２２を備える。
このようにすることでも、推論されたユーザの意図に対応する操作が実行できない場合と実行できる場合とで異なる態様で推薦されるので、ユーザが実行可能な操作を選択しやすくなり、ユーザの意図が達成されやすくなる。また、ユーザが実行不可な操作を選択する処理が減ることから、利便性の点でユーザが操作支援装置２に不満を感じることを抑制できる。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る操作支援装置は、推薦した操作によってユーザの意図が達成されやすく、かつ利便性の点でユーザが装置に不満を感じることを抑制できるので、例えば、車載機器の操作支援装置に好適である。

１，１Ａ〜１Ｇ 操作支援システム、２，２Ａ〜２Ｆ 操作支援装置、３ 出力装置、４ 操作実行装置、５ 入力装置、６ 車両情報取得部、７ 車外情報取得部、８ 車載器、９ 携帯端末、１０ サーバ、２０ 意図推論部、２１，２１Ａ〜２１Ｆ 判定部、２２ 推薦態様決定部、２３ 操作完了時間算出部、２４ 有効時間算出部、２５ 操作履歴登録部、２６ 操作履歴記憶部、１００ 処理回路、１０１ ＣＰＵ、１０２ メモリ。

Claims (12)

1. 現在から先のユーザの意図を推論する意図推論部と、
   予め定めた操作内容から、前記意図推論部によって推論されたユーザの意図に対応する操作を特定し、特定した前記操作を有効に実行可能な平均的な時間である有効時間を算出する時間算出部と、
   前記有効時間に基づいて、前記操作を実行できるか否かを判定する判定部と、
   前記判定部によって実行できないと判定された場合と実行できると判定された場合とで出力装置に前記操作を異なる態様で出力させる推薦態様決定部と
   を備えたことを特徴とする操作支援装置。
2. 前記操作が選択されてから当該操作の実行が完了するまでに必要な時間に関する意図達成時間情報を算出する、他の時間算出部をさらに備え、
   前記判定部は、前記意図達成時間情報および前記有効時間に基づいて、前記操作を実行できるか否かを判定することを特徴とする請求項１記載の操作支援装置。
3. 前記判定部は、前記操作を実行できないと判定した場合、実行可能になるまで当該操作の内容の抽象度を変化させ、
   前記推薦態様決定部は、実行可能になるまで内容の抽象度を変化させた前記操作を代替操作として前記出力装置に出力させることを特徴とする請求項１記載の操作支援装置。
4. 前記判定部は、前記操作を実行できないと判定した場合に、当該操作の意図に対応する実行可能な別の操作を特定し、
   前記推薦態様決定部は、前記判定部によって特定された前記操作を代替操作として前記出力装置に出力させることを特徴とする請求項１記載の操作支援装置。
5. 前記判定部は、前記操作を実行できないと判定した場合、実行可能になるまで当該操作の内容の抽象度を変化させるまたは当該意図に対応する実行可能な別の操作を特定し、
   前記推薦態様決定部は、前記判定部によって実行できないと判定された前記操作を推薦操作として前記出力装置に出力させた後に、当該操作が実行不可であることおよび前記判定部によって特定された前記操作を代替操作として前記出力装置に出力させることを特徴とする請求項１記載の操作支援装置。
6. 前記判定部は、実行できると判定した前記操作を実行可能な度合いに応じて分類し、
   前記推薦態様決定部は、当該操作を実行可能な度合いに応じた態様で前記出力装置に出力させることを特徴とする請求項１記載の操作支援装置。
7. 前記判定部は、実行可能な度合いが閾値よりも高い操作を、操作実行装置に自動またはバックグラウンドで実行させることを特徴とする請求項６記載の操作支援装置。
8. 前記推薦態様決定部は、実行可能な度合いが閾値以下の操作を、推薦しない態様で前記出力装置に出力させることを特徴とする請求項６記載の操作支援装置。
9. 前記推薦態様決定部は、実行可能な度合いが閾値以下の操作を、実行が困難であることを示す態様で前記出力装置に出力させることを特徴とする請求項６記載の操作支援装置。
10. 前記推薦態様決定部は、実行可能な度合いが閾値以下の操作を、前記出力装置に出力させないことを特徴とする請求項６記載の操作支援装置。
11. 前記推薦態様決定部は、実行可能な度合いが閾値以下の操作を推薦操作として前記出力装置に出力させ、
    前記判定部は、実行すべき操作として前記推薦操作の指定を受け付けた場合、当該推薦操作よりも実行可能な度合いが高くかつ当該推薦操作に関連した別の操作を操作実行装置に実行させることを特徴とする請求項６記載の操作支援装置。
12. 情報を出力する出力装置と、
    現在から先のユーザの意図を推論する意図推論部と、
    予め定めた操作内容から、前記意図推論部によって推論されたユーザの意図に対応する操作を特定し、特定した前記操作を有効に実行可能な平均的な時間である有効時間を算出する時間算出部と、
    前記有効時間に基づいて、前記操作を実行できるか否かを判定する判定部と、
    前記判定部によって実行できないと判定された場合と実行できると判定された場合とで前記出力装置に前記操作を異なる態様で出力させる推薦態様決定部と
    を備えたことを特徴とする操作支援システム。

Images