JPWO2015162639A1 - ユーザインターフェースシステム、ユーザインターフェース制御装置、ユーザインターフェース制御方法およびユーザインターフェース制御プログラム - Google Patents

Abstract

本発明は、ユーザにとって操作しやすい操作手段で目的の機能を実行できるようにすることを目的とする。この目的を達成するため、本発明に係るユーザインターフェースシステムは、複数の機能の候補および各機能の実行を指示するための複数の操作手段の候補を記憶する機能・手段記憶部５と、現在の状況に関する情報に基づいて、機能・手段記憶部５に記憶された候補の中から、ユーザが意図する機能とその機能の実行を指示するための操作手段とを推定する推定部３と、推定部３で推定された機能の候補をその機能を実行するための操作手段の候補とともに提示する提示部６とを備える。

Description

本発明は、音声操作、手操作等、様々な手段により機能の実行が可能なユーザインターフェースシステム、ユーザインターフェース制御装置およびユーザインターフェース制御プログラムに関するものである。

従来、走行履歴に基づいて推定した目的地の候補を表示し、表示された目的地の候補を選択することができるユーザインターフェースが知られている（特許文献１）。
また、表示された候補を選択する手段として、タッチ操作（手操作）と音声操作が可能なユーザインターフェースが知られている（特許文献２）。

特開２００９−１８０６５１号公報 WO２０１３／０１５３６４号公報

しかしながら、ユーザが意図する機能の候補を推定する際に、その機能の実行を指示する操作手段が考慮されていないため、必ずしもユーザにとって操作しやすいインターフェースではなかった。

本発明は上記のような問題を解決するためになされたもので、ユーザにとって操作しやすい操作手段で目的の機能を実行できるようにすることを目的とする。

この発明に係るユーザインターフェースシステムは、複数の機能の候補および各機能の実行を指示するための複数の操作手段の候補を記憶する機能・手段記憶部と、現在の状況に関する情報に基づいて、機能・手段記憶部に記憶された候補の中から、ユーザが意図する機能とその機能の実行を指示するための操作手段とを推定する推定部と、推定部で推定された機能の候補をその機能を実行するための操作手段の候補とともに提示する提示部とを備えるものである。

この発明に係るユーザインターフェース制御装置は、現在の状況に関する情報に基づいてユーザが意図する機能とその機能の実行を指示するための操作手段とを推定する推定部と、推定部で推定された機能の候補をその機能を実行するための操作手段の候補とともに提示する提示部を制御する提示制御部とを備えるものである。

この発明に係るユーザインターフェース制御方法は、現在の状況に関する情報に基づいてユーザが意図する機能とその機能の実行を指示するための操作手段とを推定するステップと、推定ステップで推定された機能の候補をその機能を実行するための操作手段の候補とともに提示する提示部を制御するステップとを備えるものである。

この発明に係るユーザインターフェース制御プログラムは、現在の状況に関する情報に基づいてユーザが意図する機能とその機能の実行を指示するための操作手段とを推定する推定処理と、推定処理により推定された機能の候補をその機能を実行するための操作手段の候補とともに提示する提示部を制御する提示制御処理とをコンピュータに実行させるものである。

本発明によれば、操作手段を考慮してユーザの意図に沿う機能の候補を推定することにより、ユーザにとって操作しやすい操作手段で目的の機能を実行できる。

実施の形態１におけるユーザインターフェースシステムの構成を示す図である。 実施の形態１における車両情報の記憶データ例である。 実施の形態１における環境情報の記憶データ例である。 実施の形態１における推定結果の例である。 実施の形態１における推定結果の提示例である。 実施の形態１におけるユーザインターフェースシステムの動作を示すフローチャートである。 実施の形態２におけるユーザインターフェースシステムの構成を示す図である。 実施の形態２におけるユーザインターフェースシステムの動作を示すフローチャートである。 実施の形態３におけるユーザインターフェースシステムの構成を示す図である。 実施の形態３におけるユーザインターフェースシステムの動作を示すフローチャートである。 実施の形態４におけるユーザインターフェースシステムの構成を示す図である。 実施の形態４におけるユーザインターフェースシステムの動作を示すフローチャートである。 実施の形態５におけるユーザインターフェースシステムの構成を示す図である。 実施の形態１〜５におけるユーザインターフェース制御装置のハードウェア構成例を示す図である。

実施の形態１．
図１はこの発明の実施の形態１におけるユーザインターフェースシステムを示す図である。ユーザインターフェースシステム１は、ユーザインターフェース制御装置２、機能・手段記憶部５および提示部６を備えている。提示部６は、ユーザインターフェース制御装置２により制御される。ユーザインターフェース制御装置２は、推定部３および提示制御部４を有する。以下、ユーザインターフェースシステム１が自動車の運転に用いられる場合を例に説明する。

機能・手段記憶部５は、車内のカーナビゲーション装置、オーディオ、エアコン、電話等の機器が実行する機能の候補と、これらの機能候補の実行を指示するユーザの操作手段の候補とを組み合わせて記憶する。機能とは、例えば、カーナビゲーション装置が目的地を設定するという機能、オーディオが音楽を再生するという機能、エアコンが温度を２８度にするという機能、電話が家に電話をするという機能である。操作手段とは、例えば、手操作、音声操作、ジェスチャ操作である。手操作には、タッチパネルをタッチしたりボタンを押したりする操作が含まれ、１回の操作で機能が実行される場合の他、上位概念から下位概念まで階層を辿って機能を決定していくフォルダ操作も含まれる。ジェスチャ操作は、身振りや手振りで入力を行う操作手段である。

推定部３は、現在の状況に関する情報をリアルタイムに取得し、現時点でユーザが何をしたいか、そしてそれをどのような操作手段で実現したいかを推定する。すなわち、機能・手段記憶部５に記憶されている機能と操作手段の組合せの中から、現時点でユーザが行うであろう機能の候補、すなわちユーザが意図する機能の候補と、これらの機能の実行を指示するための操作手段の候補とを推定する。機能・手段記憶部５は、サーバの記憶部に記憶されていてもよいし、ユーザインターフェース制御装置２内の記憶部に記憶されていてもよい。

現在の状況に関する情報とは、例えば外部環境情報、履歴情報である。推定部３は、両方の情報を用いてもよいし、どちらか一方を用いてもよい。外部環境情報とは、例えば、車両情報と環境情報である。車両情報とは、例えば、自車の現在の車速、運転状態（運転中か停車中か等）、ブレーキの状態、目的地等であり、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を用いて取得される。車両情報の記憶データ例を図２に示す。環境情報とは、例えば、日にち、曜日、現在時刻、気温、現在位置、道路種別（一般道路か高速道路か等）、渋滞情報である。気温は温度センサー等を用いて取得され、現在位置はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から送信されるＧＰＳ信号により取得される。環境情報の記憶データ例を図３に示す。

履歴情報とは、過去に、ユーザが目的地設定した施設、ユーザが操作したカーナビゲーション装置等の機器の設定情報、提示された候補からユーザが選択した内容等であり、それぞれの発生日時と位置情報等とともに記憶されている。したがって、推定部３は、履歴情報のうち現在時刻や現在位置に関連する情報を推定に利用する。このように、過去の情報であっても現在の状況に影響する情報は、現在の状況に関する情報に含まれる。履歴情報は、ユーザインターフェース制御装置２内の記憶部に記憶されていてもよいし、サーバの記憶部に記憶されていてもよい。

推定部３は、例えば、機能・手段記憶部５に記憶された全ての機能と操作手段の組合せについて、ユーザの意図に適合する確率を付与して、提示制御部４に出力する。または、ユーザの意図に適合する確率が所定値以上の組合せを出力してもよいし、所定数の組合せを出力してもよい。図４に推定結果の例を示す。例えば、「音声操作」で「目的地を設定する」という機能を実行したいというユーザの意図は８５％、「手操作」で「音楽を再生する」という機能を実行したいというユーザの意図は８２％、「ジェスチャ操作」で「温度を２８度にする」という機能を実行したいというユーザの意図は６８％等と推定する。

提示制御部４は、ユーザの意図に適合する確率の高い順に、提示部６により提示可能な数の候補を提示部６に出力する。提示部６は、提示制御部４から受け取った候補を推定結果としてユーザに提示し、ユーザが希望する機能を希望する操作手段で選択できるようにする。以下、提示部６はタッチパネルディスプレイであるものとして説明する。図４の推定結果のうち、上位６個を表示した場合の例を図５に示す。

各機能の候補は、ユーザが各機能の実行を指示するための操作手段を識別することが可能となるように表示される。図５の例では、各機能の候補が操作手段を示すアイコンとともに表示される。このように、操作手段を識別する表示があることにより、ユーザはどのような操作手段でその機能を実行すれば良いのかを把握できるため、安心して操作を開始することができる。例えば、目的地設定を行う機能については、「目的地設定」という文字と音声操作のアイコンとが表示される。コンビニエンスストアの検索を行う機能については、「コンビニ」という文字と手操作入力を示すアイコンとが表示される。音楽の再生を行う機能については、「音楽再生」という文字とフォルダ操作入力を示すアイコンとが表示される。また、温度設定を行う機能については、「温度設定」という文字とジェスチャ操作を示すアイコンとが表示される。なお、操作手段を識別する表示は、色、文字等、アイコン以外であってもよい。また、図５の例では、６つの候補が表示されるが、表示する候補の数、表示順序、レイアウトはどのようなものでもよい。

ユーザは、表示された候補の中から実行したい機能の候補を選択する。選択の方法は、タッチパネルディスプレイに表示された候補をタッチして選択するようにすればよい。音声操作を行う機能を選択する場合、表示された候補を一旦タッチした後で音声入力を行う。例えば、「目的地設定」の表示をタッチ操作した後、「どこへ行きますか？」というガイダンスが出力され、そのガイダンスにユーザが答えることにより、目的地が音声入力される。選択された機能は、時刻情報及び位置情報等とともに履歴情報として蓄積され、将来の機能の候補推定に用いられる。

図６は、実施の形態１におけるユーザインターフェースシステムの動作を説明するフローチャートである。フローチャート中、ＳＴ１０１およびＳＴ１０２の動作は、ユーザインターフェース制御装置の動作（すなわち、ユーザインターフェース制御プログラムの処理手順）である。図１〜図６を用いてユーザインターフェース制御装置およびユーザインターフェースシステムの動作について説明する。

推定部３は、現在の状況に関する情報（外部環境情報、操作履歴等）を取得し（ＳＴ１０１）、ユーザが実行したいであろう機能およびユーザが使いたいであろう操作手段の候補を推定する（ＳＴ１０２）。この推定の動作は、例えばユーザインターフェースシステムを車載装置として使用する場合には、エンジンの始動から開始し、例えば１秒毎に定期的に行ってもよいし、外部環境が変わったタイミングで行ってもよい。

提示制御部４は、提示部６に提示する機能と操作手段の候補を抽出して提示するデータを生成し、提示部６は、提示制御部４により生成されたデータに基づき機能と操作手段の候補を提示する（ＳＴ１０３）。ＳＴ１０１からＳＴ１０３の動作は、運転が終了するまで繰り返される。

上記の説明では、提示部６をタッチパネルディスプレイとし、表示された候補をタッチすることにより希望する機能を選択し、希望する操作方法による入力を開始するようにしたが、提示部６の構成はこれに限られない。例えば、ディスプレイに表示された候補をジョイスティック等でカーソル操作して選択するようにしてもよい。また、ディスプレイに表示された候補に対応するハードボタンをハンドル等に設け、そのハードボタンを押すことにより選択するようにしてもよい。さらに、推定された候補をスピーカから音声で出力し、ユーザにボタン操作、ジョイスティック操作または音声操作によって選択させてもよい。この場合、スピーカが提示部６となる。

また、上記の説明では、機能・手段記憶部５に、機能の候補と操作手段の候補とを組み合わせて記憶するようにしたが、組み合わせずに別々に記憶するようにしてもよい。その場合、推定部３にて、それぞれの組合せがユーザの意図に適合する確率を算出すればよい。また、ユーザの意図に適合する確率が高い機能の候補と、ユーザの意図に適合する確率が高い操作手段の候補を別々に抽出し、確率の高い順に組み合わせ、予め決められた数の候補を提示制御部４に出力するようにしてもよい。

以上のように、実施の形態１におけるユーザインターフェースシステムおよびユーザインターフェース制御装置によれば、状況に応じてユーザが意図する機能の候補および操作手段の候補を提示するため、ユーザにとって操作しやすい手段で目的の機能を実行できる。

実施の形態２．
本実施の形態２においては、機能・手段記憶部５の記憶内容がユーザによる選択に基づき更新されるユーザインターフェースシステムおよびユーザインターフェース制御装置にについて説明する。また、実施の形態２におけるユーザインターフェースシステムおよびユーザインターフェース制御装置は、現在の状況に関する情報として、外部環境情報と履歴情報の両方を用いるものとする。図７は、本実施の形態２におけるユーザインターフェースシステムを示す図である。本実施の形態について、主に実施の形態１と異なる点を説明する。

入力部７は、ユーザが提示部６に提示された候補から１つの候補を選択するためのものである。例えば、提示部６がタッチパネルであれば、ユーザはタッチパネルをタッチすることにより候補を選択するため、タッチパネル自体が入力部７である。また、提示部６と入力部７とを別体として構成してもよい。例えば、ディスプレイに表示された候補をジョイスティック等でカーソル操作して選択するようにしてもよい。この場合、ディスプレイが提示部６であり、ジョイスティック等が入力部７である。また、ディスプレイに表示された候補に対応するハードボタンをハンドル等に設け、そのハードボタンを押すことにより選択するようにしてもよい。この場合は、ディスプレイが提示部６であり、ハードボタンが入力部７である。また、表示された候補をジェスチャ操作によって選択するようにしてもよい。この場合には、ジェスチャ操作を検知するカメラ等が入力部７である。また、推定された候補をスピーカから音声で出力し、ユーザにボタン操作、ジョイスティック操作または音声操作によって選択させてもよい。この場合、スピーカが提示部６であり、ハードボタン、ジョイスティックまたはマイクが入力部７である。さらに、入力部７は、提示された候補を選択する役割だけでなく、提示された候補からフォルダ操作によって階層を辿って目的の機能を選択する役割も有する。

操作部９は、例えばエアコンの操作ボタン、オーディオの操作ボタン等、推定部３による推定とは別にユーザの意思で目的の機能を選択する部分である。

ユーザが、提示部６により提示された候補（機能とその機能の実行を指示するための操作手段とを示す候補）から、入力部７により１つの機能を選択すると、選択された機能および操作手段が履歴情報記憶部８に出力される。履歴情報記憶部８には、ユーザが選択を行った時刻の情報および位置情報等とともに選択した機能および操作手段の情報が記憶される。履歴情報が更新されることにより、次回の推定時にその機能および操作手段が推定結果として提示される確率が高まり、推定の精度が高まる。

また、ユーザが機能を選択した後、例えばフォルダ操作や音声操作により下位の階層の機能を最終的に選択した場合、その最終的に選択された機能が初めて選択される機能であった場合、その機能が機能・手段記憶部５に新たに記憶される。例えば、提示された機能が「目的地設定」であり、最終的に設定された目的地が初めて設定する「・・・ゴルフ場」であった場合、「・・・ゴルフ場」が機能・手段記憶部５に新たに記憶される。その際、新たな機能は、全ての操作手段と組み合わされて記憶される。以降の推定においては、外部環境情報および履歴情報に応じて、「・・・ゴルフ場」が推定結果として操作手段とともに提示部６により提示される。

ユーザが、操作部９から目的の機能を選択した場合であって、その機能が機能・手段記憶部５に記憶されていない機能であった場合には、その機能が機能・手段記憶部５に新たに記憶される。その際、新たな機能は、全ての操作手段と組み合わされて記憶される。また、操作部９で選択された機能は履歴情報記憶部８に出力される。選択された機能は、ユーザが選択した時刻の情報および位置情報等とともに履歴情報記憶部８に記憶される。

図８は、実施の形態２におけるユーザインターフェースシステムのフローチャートである。フローチャート中、少なくともＳＴ２０１およびＳＴ２０２の動作は、ユーザインターフェース制御装置の動作（すなわち、ユーザインターフェース制御プログラムの処理手順）である。図８において、ＳＴ２０１〜ＳＴ２０３は、実施の形態１を説明する図６のＳＴ１０１〜ＳＴ１０３と同様であるため、説明を省略する。

ユーザが入力部７または操作部９により機能の選択を行うと、入力部７、操作部９または図示しない判断部が、選択された機能が新たな機能か否かを判断し（ＳＴ２０４）、新たな機能が選択された場合には、機能・手段記憶部５が更新される（ＳＴ２０５）。一方、新たな機能が選択されない場合には、ＳＴ２０１に戻り、ユーザの意図に沿う機能と操作手段の推定を繰り返す。なお、入力部７または操作部９から選択されたことのない機能、または選択される頻度の少ない機能を機能・手段記憶部５から削除することにより機能・手段記憶部５を更新してもよい。不要な機能を削除することにより、メモリ容量を削減することができ、推定処理が速くなる。

上記の説明では、選択された機能が新たな機能である場合に機能・手段記憶部５が更新される例を説明したが、選択された操作手段に応じて機能・手段記憶部５を更新してもよい。例えば、ユーザが音声操作を行わない場合には、機能・手段記憶部５から「音声操作」を含む候補を削除してもよいし、一旦削除した後、ユーザが音声操作を行ったときに、その時実行された機能と音声操作とを組み合わせて、機能・手段記憶部５に新たに記憶してもよい。このように、操作手段についても更新するようにすれば、ユーザの好みに応じた機能と操作手段の組合せを記憶することができ、機能の候補および操作手段の候補の推定の精度がより向上する。

上記の説明では、新たな機能が、全ての操作手段と組み合わされて機能・手段記憶部５に記憶される例を説明したが、機能・手段記憶部５の更新の方法はこの例には限られない。機能・手段記憶部５が、機能と操作手段とを組み合わせずに別々に記憶する記憶部である場合には、新たな機能をそのまま機能・手段記憶部５に追加して記憶すればよい。その場合、推定部３にて、機能と操作手段を組み合わせ、各組合せがユーザの意図に適合する確率を算出すればよい。また、ユーザの意図に適合する確率が高い機能の候補と、ユーザの意図に適合する確率が高い操作手段の候補を別々に抽出し、確率の高い順に組み合わせ、予め決められた数の候補を提示制御部４に出力するようにしてもよい。

また、上記の説明では、機能・手段記憶部５と履歴情報記憶部８がユーザインターフェース制御装置２内に備えられた例を説明したが、ユーザインターフェース制御装置２に含めない（例えばサーバに備える）構成としてもよい。

以上のように、実施の形態２におけるユーザインターフェースシステムおよびユーザインターフェース制御装置によれば、ユーザによる選択に応じて機能・手段記憶部を更新するため、ユーザが意図する機能の候補および操作手段の候補の推定の精度がより向上する。

実施の形態３．
この実施の形態３は、機能候補のリストと操作手段の候補のリストとを別々に記憶し、ユーザの操作に基づき、各リストを更新する点、および更新されたリストに基づいて、機能と操作手段の新たな組合せを生成する機能・手段結合部を備える点が特徴である。本実施の形態について、主に実施の形態２と異なる点を説明する。

図９は実施の形態３におけるユーザインターフェースシステムを示す図である。機能記憶部１０は、車内のカーナビゲーション装置、オーディオ、エアコン、電話等の機器が実行する機能の候補を記憶する。手段記憶部１１は、機能の実行を指示するユーザの操作手段を記憶する。機能・手段結合部１２は、機能記憶部１０に記憶されている機能の候補と手段記憶部１１に記憶されている操作手段について、全ての組合せを生成する。そして、機能記憶部１０が更新される度に、新たな組合せを生成する。機能・手段結合部１２により新たな組合せが生成されると、機能・手段記憶部５が更新される。

図１０は、実施の形態３におけるユーザインターフェースシステムのフローチャートである。フローチャート中、少なくともＳＴ３０１、ＳＴ３０２およびＳＴ３０６の動作は、ユーザインターフェース制御装置の動作（すなわち、ユーザインターフェース制御プログラムの処理手順）である。図１０において、ＳＴ３０１〜ＳＴ３０３は、実施の形態１を説明する図６のＳＴ１０１〜ＳＴ１０３と同様であるため、説明を省略する。

ユーザが入力部７または操作部９により機能の選択を行うと、入力部７、操作部９または図示しない判断部が、選択された機能が新たな機能か否かを判断し（ＳＴ３０４）、新たな機能が選択された場合には、機能記憶部５が更新される（ＳＴ３０５）。機能記憶部５が更新されると、機能・手段結合部１２は、手段記憶部１１に記憶された操作手段との全ての組合せを生成する（ＳＴ３０６）。生成された新たな機能と操作手段との組合せを機能・手段記憶部５に記憶することにより、機能・手段記憶部５を更新する（ＳＴ３０７）。一方、新たな機能が選択されない場合には、ＳＴ３０１に戻り、ユーザの意図に沿う機能と操作手段の推定を繰り返す。

上記の説明では、機能記憶部１０を更新する例について説明したが、ユーザの操作に基づき手段記憶部１１を更新するように構成してもよい。例えば、ユーザが音声操作を行わない場合には、手段記憶部１１から「音声操作」という候補を削除してもよいし、一旦削除した後、ユーザが音声操作を行ったときに「音声操作」という候補を追加してもよい。このように、手段記憶部１１に記憶されている操作手段のリストも更新するようにすれば、ユーザの好みに応じた機能と操作手段の組合せを生成することができ、機能の候補および操作手段の候補の推定の精度がより向上する。

また、上記の説明では、機能・手段結合部１２が機能と操作手段の全ての組合せを生成するようにしたが、機能の種類に応じて組合せを変えてもよい。例えば、選択された機能が最終的な実行に結びつく具体的な下位概念の機能（例えば「自宅に帰る」という機能）である場合、その機能を実行するために音声操作やフォルダ操作は必要ないため、その機能の候補は手操作とジェスチャ操作とのみ結合されるようにすればよい。このような処理をする場合には、機能候補を上位概念から下位概念まで階層別に分類したリストを記憶する記憶部を設け、機能・手段結合部１２がこのリストを参照するようにする。このように、機能の種類に応じて組み合わせる操作手段を変えるようにすれば、メモリ容量を削減することができ、推定処理が速くなる。

また、図９においては、機能記憶部１０、手段記憶部１１、機能・手段記憶部５および履歴情報記憶部８をユーザインターフェース制御装置２に含めない（例えばサーバに備える）構成としたが、ユーザインターフェース制御装置２内に備える構成としてもよい。

以上のように、実施の形態３におけるユーザインターフェースシステムおよびユーザインターフェース制御装置によれば、ユーザによる機能の選択に応じて機能・手段記憶部を更新するため、実施の形態２と同様に、ユーザが意図する機能の候補および操作手段の候補の推定の精度がより向上する。

実施の形態４．
実施の形態４におけるユーザインターフェースシステムおよびユーザインターフェース制御装置は、現在の状況を判断し、機能・手段記憶部５に記憶されている機能と操作手段の組合せの中から、現在の状況では起こり得ないものを排除したり、現在の状況により適した機能と手段の組合せが提示される確率を高めたりすることが特徴である。本実施の形態について、主に実施の形態３と異なる点を説明する。

図１１は実施の形態４におけるユーザインターフェースシステムを示す図である。状況判断部１３は、外部環境情報、すなわち車両情報と環境情報とを取得し、現在の状況を判断する。例えば、状況判断部１３は、車両情報から運転中か停車中かを判断し、環境情報から現在位置が高速道路か一般道路かを判断する。そして、その判断結果と、機能・手段記憶部５から取得した機能と操作手段の組合せとを照らし合わせ、現在の状況により適した機能と手段の組合せが推定結果として提示される確率が高まるよう、推定部３に指示情報を出力する。

図１２は、実施の形態４におけるユーザインターフェースシステムのフローチャートである。フローチャート中、ＳＴ４０１〜ＳＴ４０３の動作は、ユーザインターフェース制御装置の動作（すなわち、ユーザインターフェース制御プログラムの処理手順）である。状況判断部１３は、外部環境情報、すなわち車両情報と環境情報とを取得する（ＳＴ４０１）。また、状況判断部１３は、機能・手段記憶部５から機能と操作手段の組合せの候補を取得する（ＳＴ４０１）。

状況判断部１３は、外部環境情報から判断した現在の状況に応じて、機能の候補と操作手段の候補との組合せに対して重み付けを行う（ＳＴ４０２）。すなわち、推定部３が各候補に対してユーザの意図に適合する確率を付与して提示部６に推定結果を出力する際に、現在の状況に対応する機能と操作手段の候補が推定結果として出力されるよう、候補に重みを付ける。推定部３は、外部環境情報とユーザの操作履歴の情報を用いて、ユーザが意図する確率の高い候補を推定するのに対し、状況判断部１３は、ユーザの操作履歴とは関係なく外部環境情報から判断される現在の状況に合う機能または操作手段は何かを判断する。例えば、車両情報により運転中であると判断された場合、運転中のフォルダ操作は禁止されているため、フォルダ操作が含まれる候補は除外される。また、車両情報により停車中であると判断された場合、時間的余裕があるうえ、音声操作より手操作の方が確実性が高いため、手操作が含まれる候補に重みを付ける。また、環境情報により現在走行中の道路が一般道（市街地）であると判断され、車両情報により運転中であると判断された場合、人で混み合う市街地では前方から視線を外しにくいため、音声操作が含まれる候補に重みを付ける。さらに、自宅から出発した直後には「自宅に帰る」という機能が除外されるようにしてもよい。

推定部３は、重み付けされた候補に対してユーザの意図に適合する確率を付与することにより、ユーザがどの機能を実行したいか、そしてその機能をどのような操作手段で実現したいかを推定する（ＳＴ４０３）。提示制御部４は、ユーザの意図に適合する確率の高い順に、提示部６により提示可能な数の候補を推定結果として提示部６に出力する。提示部６は、提示生成部４から取得した候補を提示する（ＳＴ４０４）。ＳＴ４０４以降の動作については、図１０におけるＳＴ３０３以降の動作と同様であるため、説明を省略する。

以上、実施の形態３におけるユーザインターフェースに状況判断部１３を追加する構成として説明したが、実施の形態１または実施の形態２におけるユーザインターフェースに状況判断部１３を追加してもよい。

上記説明では、機能記憶部１０、手段記憶部１１、機能・手段記憶部５および履歴情報記憶部８がユーザインターフェース制御装置２内に備えられる例を説明したが、ユーザインターフェース制御装置２に含めない（例えばサーバに備える）構成としてもよい。

実施の形態４におけるユーザインターフェースシステムおよびユーザインターフェース制御装置によれば、実際には操作できない操作手段が提示されることで発生する運転の阻害を防ぐことができる。

実施の形態５．
上記実施の形態１〜４においては、機能・手段記憶部を用いて、ユーザが意図する機能と操作手段の組み合わせを推定するように構成したが、実施の形態４におけるユーザインターフェースシステムおよびユーザインターフェース制御装置は、機能の推定と操作手段の推定を別々に行うことを特徴とする。本実施の形態について、主に実施の形態３と異なる点を説明する。

図１３は実施の形態５におけるユーザインターフェースシステムを示す図である。機能推定部１４は、外部環境情報および履歴情報をリアルタイムに取得し、現在の外部環境情報および履歴情報に基づき、機能記憶部１０に記憶されている機能の中から、ユーザが何をしたいか、すなわちユーザが実行したい機能（ユーザが意図する機能）を推定する。手段推定部１５は、機能推定部１４により推定された機能について、ユーザがその機能をどのような操作手段で実行したいかを、履歴情報および外部環境状況に基づき手段記憶部１１を用いて推定する。なお、機能推定部１４と手段推定部１５とで、この発明における「推定部」を構成する。また、この実施の形態においては、機能記憶部１０と手段記憶部１１とで、この発明における「機能・手段記憶部」を構成する。

推定は、例えば、ユーザの意図に適合する確率を付与することにより行う。例えば、過去にその機能を選択したときに用いた操作手段は、ユーザが再度用いる可能性が高いため、ユーザの意図に適合する確率が高い。また、ユーザの特性、すなわちユーザがどの操作手段を用いる傾向にあるかを過去の履歴から判断し、ユーザがよく用いる操作手段の確率を高くする。またユーザ毎によく使う操作手段の傾向を記憶しておき、現在のユーザに合う記憶情報を用いて推定を行ってもよい。この場合、ユーザ毎に記憶されたユーザの特性を示す情報が、現在の状況に関する情報に相当する。さらに、現在の運転状態に応じて適切な操作手段を推定してもよい。例えば、運転中であれば手操作よりも音声操作の確率を高くする。

上記説明では、機能の推定の後で操作手段の推定を行ったが、先に操作手段の推定を行い、次に機能の推定を行ってもよい。

上記説明では、機能記憶部１０、手段記憶部１１および履歴情報記憶部８がユーザインターフェース制御装置２内に備えられる例を説明したが、ユーザインターフェース制御装置２に含めない（例えばサーバに備える）構成としてもよい。

実施の形態５におけるユーザインターフェースシステムおよびユーザインターフェース制御装置によれば、現在の状況に応じて適切な操作手段を推定できるため、ユーザの意図に沿う機能の候補および操作手段の候補の推定の精度がより向上する。

図１４は、実施の形態１〜５におけるユーザインターフェース制御装置２のハードウェア構成の一例を示す図である。ユーザインターフェース制御装置２はコンピュータであり、記憶装置２０、制御装置３０、入力装置４０、出力装置５０といったハードウェアを備えている。ハードウェアは、ユーザインターフェース制御装置２の各部（推定部３、提示制御部４、機能・手段結合部１２、状況判断部１３等）によって利用される。

記憶装置２０は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。サーバの記憶部と、ユーザインターフェース制御装置２の記憶部は、記憶装置２０により実装することができる。記憶装置２０には、プログラム２１、ファイル２２が記憶されている。プログラム２１には、各部の処理を実行するプログラムが含まれる。ファイル２２には、各部によって入力、出力、演算等が行われるデータ、情報、信号等が含まれる。また、機能・手段記憶部５、履歴情報記憶部８、機能記憶部１０、手段記憶部１１がユーザインターフェース制御装置２に含まれる場合には、これらもファイル２２に含まれる。

処理装置３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。処理装置３０は、記憶装置２０からプログラム２１を読み出し、プログラム２１を実行する。ユーザインターフェース制御装置２の各部の動作は、処理装置３０により実装することができる。

入力装置４０は、ユーザインターフェース制御装置２の各部によってデータ、情報、信号等の入力（受信）のために利用される。また、出力装置５０は、ユーザインターフェース制御装置２の各部によってデータ、情報、信号等の出力（送信）のために利用される。

１ ユーザインターフェースシステム、２ ユーザインターフェース制御装置、３ 推定部、４ 提示制御部、５ 機能・手段記憶部、６ 提示部、７ 入力部、８ 履歴情報記憶部、９ 操作部、１０ 機能記憶部、１１ 手段記憶部、１２ 機能・手段結合部、１３ 状況判断部、１４ 機能推定部、１５ 手段推定部、２０ 記憶装置、２１ プログラム、２２ ファイル、３０ 処理装置、４０ 入力装置、５０ 出力装置。

Claims (10)

1. 複数の機能の候補および各機能の実行を指示するための複数の操作手段の候補を記憶する機能・手段記憶部と、
   現在の状況に関する情報に基づいて、前記機能・手段記憶部に記憶された候補の中から、ユーザが意図する機能とその機能の実行を指示するための操作手段とを推定する推定部と、
   前記推定部で推定された機能の候補をその機能を実行するための操作手段の候補とともに提示する提示部と
   を備えるユーザインターフェースシステム。
2. ユーザの機能の選択に基づき、前記機能・手段記憶部を更新することを特徴とする請求項１記載のユーザインターフェースシステム。
3. 前記推定部は、外部環境情報および履歴情報に基づいて、ユーザが意図する機能とその機能の実行を指示するための操作手段とを推定することを特徴とする請求項１または２記載のユーザインターフェースシステム。
4. 前記推定部は、外部環境情報から判断される現在の状況に対応する機能または操作手段を用いて、ユーザが意図する機能と操作手段とを推定することを特徴とする請求項１または２記載のユーザインターフェースシステム。
5. 現在の状況に関する情報に基づいてユーザが意図する機能とその機能の実行を指示するための操作手段とを推定する推定部と、
   前記推定部で推定された機能の候補をその機能を実行するための操作手段の候補とともに提示する提示部を制御する提示制御部と
   を備えるユーザインターフェース制御装置。
6. ユーザにより新たな機能が選択されたとき、またはユーザにより新たな操作手段が用いられたとき、前記新たな機能または前記新たな操作手段を用いて機能と操作手段の新たな組合せを生成する機能・手段結合部を更に備え、前記推定部は前記新たな組合せを用いて推定を行うことを特徴とする請求項５記載のユーザインターフェース制御装置。
7. 前記推定部は、外部環境情報および履歴情報に基づいて、ユーザが意図する機能とその機能の実行を指示するための操作手段とを推定することを特徴とする請求項５または６記載のユーザインターフェース制御装置。
8. 外部環境情報に基づき現在の状況に対応する機能または操作手段は何かを判断する状況判断部を更に備え、前記推定部は前記判断結果に基づきユーザが意図する機能と操作手段とを推定することを特徴とすることを特徴とする請求項５または６記載のユーザインターフェース制御装置。
9. 現在の状況に関する情報に基づいてユーザが意図する機能とその機能の実行を指示するための操作手段とを推定するステップと、
   前記推定ステップで推定された機能の候補をその機能を実行するための操作手段の候補とともに提示する提示部を制御するステップと
   を備えるユーザインターフェース制御方法。
10. 現在の状況に関する情報に基づいてユーザが意図する機能とその機能の実行を指示するための操作手段とを推定する推定処理と、
    前記推定処理により推定された機能の候補をその機能を実行するための操作手段の候補とともに提示する提示部を制御する提示制御処理とをコンピュータに実行させるユーザインターフェース制御プログラム。

Images