JP7781663B2 - 制御装置 - Google Patents

Description

本発明は、制御装置に関する。

車両のユーザから入力を受け取るための様々な技術が提案されている。特許文献１には、車両のユーザが非接触のジェスチャ（いわゆる、空中ジェスチャ）によって車載機器に入力を行うための技術が提案されている。

特開２０１８－１３２８２４号公報

手の特定の形状や手の特定の移動パターンのような操作によって入力を行うためには、これらの操作を事前に記憶していなければならない。そのため、制御装置のユーザ（以下、単にユーザと表す）が直感的な入力操作を行えない場合がある。本発明の一部の側面は、ユーザが直感的な入力操作を行うことを可能にする技術を提供することを目的とする。

上記課題に鑑みて、ユーザにユーザインタフェースを提供するための制御装置であって、表示装置に選択可能オブジェクトを表示する表示制御手段と、前記ユーザの手の画像を分析することによって、前記手の位置を検出する検出手段と、前記手の位置に基づいて、前記表示装置における指示位置を特定する特定手段と、前記指示位置が前記選択可能オブジェクトに重なったことに基づいて、前記選択可能オブジェクトに関連付けられた処理を実行する処理手段と、を備え、前記表示制御手段は、前記指示位置を示すカーソルを前記表示装置にさらに表示し、前記選択可能オブジェクトに関連付けられた処理は、前記選択可能オブジェクトを含む第１画面の表示を、第２選択可能オブジェクトを含む第２画面の表示に切り替えることを含み、前記処理手段は、前記第２画面の表示開始時点の前記指示位置が前記第２選択可能オブジェクトに重なる場合に、所定の条件を満たすまで、前記指示位置が前記第２選択可能オブジェクトに重なっていないとみなす、制御装置が提供される。

上記手段により、ユーザが直感的な入力操作を行うことが可能となる。

一部の実施形態による車両及び制御装置の構成例を説明する図。 一部の実施形態による車両レイアウト例を説明する図。 一部の実施形態による手の特徴点の例を説明する図。 一部の実施形態による表示画面の遷移を説明する図。 一部の実施形態による表示画面の遷移を説明する図。 一部の実施形態による表示画面の遷移を説明する図。 一部の実施形態による表示画面の遷移を説明する図。 一部の実施形態による表示画面の遷移を説明する図。 一部の実施形態による表示画面の遷移を説明する図。 一部の実施形態による制御装置の動作の例を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

本開示の一部の実施形態は、ユーザにユーザインタフェースを提供するための制御装置に関する。制御装置は、電力管理装置（静的デバイス）、車両、芝刈り機、航空機（動的デバイス）のような任意のタイプのデバイスを制御するための装置でありうる。以下は、制御装置が車両を制御する例について扱う。車両のユーザとは、車両の運転者であってもよいし、同乗者であってもよい。本開示の一部の実施形態によれば、ユーザは、特定の装置に接触することなく、手を移動するだけで入力操作を行える。また、表示装置のうちユーザが指し示している位置がカーソルによって示されるため、ユーザは、自分が表示装置のどの位置を指し示しているかを直感的に認識できる。

図１を参照して、車両１００に搭載されるハードウェアの構成例及び制御装置１０１の機能構成例について説明する。以下では、実施形態の説明に使用される構成要素を中心に説明する。車両１００の実施に使用されるが、実施形態の説明に使用されない構成要素（例えば、エンジンやモータなどの駆動装置、ブレーキ等の制動装置など）の説明は省略される。

車両１００は、制御装置１０１と、撮影装置１０４と、表示装置１０５と、スピーカ１０６と、マイク１０７とを有する。制御装置１０１は、撮影装置１０４、表示装置１０５、スピーカ１０６及びマイク１０７を制御することによって、車両１００のユーザにユーザインタフェースを提供する。以下、車両１００のユーザを単にユーザと呼ぶ。制御装置１０１は、例えばＥＣＵ（Electronic Control Unit）であってもよい。制御装置１０１は、単一の装置によって実現されてもよいし、互いに通信可能な複数の装置によって実現されてもよい。制御装置１０１は、プロセッサ１０２とメモリ１０３とを有する。メモリ１０３には、制御装置１０１の処理を行うために使用されるプログラム及びデータが記憶されている。また、メモリ１０３は、制御装置１０１が処理を実行中の一時データを記憶してもよい。メモリ１０３に記憶されているプログラムをプロセッサ１０２が実行することによって、制御装置１０１の動作が行われる。プロセッサ１０２は単一のプロセッサであってもよいし、複数のプロセッサであってもよい。メモリ１０３は単一のメモリであってもよいし、複数のメモリであってもよい。

撮影装置１０４は、ユーザの画像（特に、ユーザの手の画像）を撮影する。撮影装置１０４は、可視光を利用してユーザの画像を撮影する可視光カメラであってもよい。また、撮影装置１０４は、近赤外線を利用してユーザの画像を撮影する近赤外線カメラであってもよい。さらに、撮影装置１０４は、レーザを利用してユーザの画像を撮影するＴｏＦ（Time of Flight）カメラであってもよい。撮影装置１０４は、ユーザの画像を撮影する他の任意のタイプのセンサであってもよい。車両１００は、１種類の撮影装置１０４のみを有してもよいし、複数種類の撮影装置１０４を有してもよい。また、車両１００は、各種類の撮影装置１０４を１つのみ有してもよいし、複数有してもよい。

表示装置１０５は、ユーザに視覚情報を提供するための装置である。例えば、表示装置１０５は、ドットマトリクス方式のディスプレイであってもよいし、セグメント方式のディスプレイであってもよいし、インジケータであってもよいし、他の任意の表示装置であってもよい。車両１００は、表示装置１０５を１つのみ有してもよいし、複数有してもよい。

スピーカ１０６は、ユーザに聴覚情報を提供するための装置である。車両１００は、スピーカ１０６を１つのみ有してもよいし、複数有してもよい。マイク１０７は、ユーザから音声入力を受け取るための装置である。車両１００は、マイク１０７を１つのみ有してもよいし、複数有してもよい。車両１００は、上記以外の入力装置、例えば物理ボタン、タッチパネル、レバーなどを有していてもよい。

図２を参照して、図１（ａ）で説明されたハードウェア要素の取り付け位置の例について説明する。図２は、車両１００の車室中央から前方（フロントガラス２０１へ向かう方向）を見た図である。車両１００は、進行方向に向かって右側にステアリングホイール２０２を有する、いわゆる右ハンドル車である。本開示は、左ハンドル車に対しても同様に適用可能である。

撮影装置１０４は、例えばフロントガラス２０１の上部中央付近に取り付けられる。例えば、撮影装置１０４は、車両１００のルームミラー（不図示）に取り付けられてもよい。撮影装置１０４は、運転席に着席したユーザ（すなわち、運転者）の手と、助手席に着席したユーザ（すなわち、同乗者）の手との両方を撮影可能な位置に取り付けられる。制御装置１０１は、撮影装置１０４によって撮影された画像内の手が右手であるか左手であるかを認識できる。ユーザの手を撮影可能な範囲とは、ユーザが着席した状態で、身体の前方で手を動かすと考えられる範囲のことであってもよい。車両１００は、運転席の正面に１つの撮影装置１０４を有し、助手席の正面に別の１つの撮影装置１０４を有してもよい。

表示装置１０５は、例えばフロントガラス２０１の下部中央付近に取り付けられる。例えば、表示装置１０５は、車両１００のインストルメントパネル（不図示）に取り付けられてもよい。図２の例では車両１００が１つの表示装置１０５のみを有する。これに代えて、車両１００は、フロントガラス２０１の下部中央付近に取り付けられた表示装置１０５に加えて、助手席の正面に別の１つの表示装置１０５を有してもよい。表示装置１０５は、液晶ディスプレイや有機ＥＬ（electro-luminescence）ディスプレイのように自身に表示面を有する装置であってもよいし、ヘッドアップディスプレイのように装置外の物体に画像を投影する装置であってもよい。表示装置１０５は、３次元（３Ｄ）画像、ホログラム、仮想現実（ＶＲ）画像、強化現実（ＡＲ）画像を生成するデバイスであってもよい。

車両１００は、図２に示される例において、表示装置１０５の下方の左右に一対のスピーカ１０６を有し、これらのスピーカ１０６の間にマイク１０７を有するが、これらのデバイスの配置はこの位置に限られない。

図１（ｂ）を参照して、制御装置１０１の機能について説明する。制御装置１０１は、図１（ｂ）に示す機能部を有する。これらの機能部は、メモリ１０３に記憶されたプログラムをプロセッサ１０２が実行することによって実現されてもよい。これに代えて、これらの機能部の一部又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの専用集積回路によって実現されてもよい。

画像分析部１１１は、撮影装置１０４によって撮影されたユーザの画像を取得し、この画像を分析する。撮影装置１０４によって撮影されたユーザの画像を、ユーザ画像と呼ぶ。ユーザ画像は、ユーザを含み、特に、ユーザの手を含む。画像分析部１１１は、ユーザ画像を分析することによって、ユーザの手の位置及び手の形状を検出する。

図３を参照して、ユーザ画像の分析方法の具体例について説明する。図３は、ユーザ画像に含まれる手３００を示す。画像分析部１１１は、手３００に含まれる複数の特徴点の位置に基づいて手３００の位置及び形状を検出する。図３の例では、手３００の２０個の特徴点が設定されている。図３では、複数の特徴点のそれぞれを丸印で示し、そのうちの１つを特徴点３０１（人差し指の指先）としている。人差し指、中指、薬指及び小指のそれぞれについて、指先、第１関節、第２関節及び付け根が特徴点として設定されている。親指について、指先、第１関節及び付け根が特徴点として設定されている。さらに、手３００の母指球の中心が特徴点として設定されている。

画像分析部１１１は、手３００の複数の特徴点の中心位置に基づいて、手３００の位置を検出する。例えば、画像分析部１１１は、ユーザ画像における複数の特徴点の２次元座標値をそれぞれ特定し、複数の特徴点の２次元座標値の単純平均を手３００の２次元座標値として特定してもよい。ユーザ画像が２次元画像である場合に、この２次元画像の座標値が特徴点の２次元座標値となる。ユーザ画像が３次元画像である場合に、この３次元画像のうち特定の平面（例えば、車長方向に直交する平面）の座標値が特徴点の２次元座標値となる。ユーザ画像から認識できない特徴点が存在する場合に、画像分析部１１１は、認識できない特徴点を考慮せずに手３００の位置を検出してもよい。これに代えて、画像分析部１１１は、認識できている特徴点に基づいて、認識できない特徴点の位置を推定し、この推定された位置と認識された特徴点の位置とに基づいて手３００の位置を検出してもよい。このように複数の特徴点に基づいて手の位置を検出することによって、精度よく手の位置を検出できる。

画像分析部１１１は、複数の特徴点の相互の位置関係に基づいて、手３００の形状を検出してもよい。例えば、画像分析部１１１は、人差し指の指先と中指の指先との間の距離が、人差し指の付け根と中指の付け根との間の距離よりも大きければ、人差し指と中指とが離れていることを検出する。画像分析部１１１は、人差し指の指先と中指の指先との間の距離が、人差し指の付け根と中指の付け根との間の距離と同程度であれば、人差し指と中指とが接触していることを検出する。手３００の形状の検出は、複数の特徴点の２次元座標値を入力とし、実際の手の形状を出力とした教師あり学習によって得られたモデルを使用して行われてもよい。

図１（ｂ）を再び参照し、指示位置特定部１１２は、ユーザの手の位置に基づいて、表示装置１０５のうちユーザが指示している位置を特定する。ユーザが指示している位置を指示位置と呼ぶ。例えば、指示位置特定部１１２は、ユーザ画像における手の位置の２次元座標値と、表示装置１０５の画面の２次元座標値との間のマッピングを記憶していてもよい。このマッピングに従って、指示位置特定部１１２は、画像において特定の２次元座標値を有する手３００の位置を、表示装置１０５の画面の特定の２次元座標値に対応付け、その２次元座標値を指示位置として特定する。

指示位置特定部１１２は、ユーザの手の位置と、表示装置１０５の画面の中心との位置合わせを行ってもよい。例えば、指示位置特定部１１２は、表示装置１０５又はスピーカ１０６を用いて、表示装置１０５の画面の中心を指示する位置に手を移動するようにユーザに要求してもよい。ユーザの手が静止した後、指示位置特定部１１２は、ユーザの手の位置を検出し、この手の位置を表示装置１０５の画面の中心に対応付ける。

指示位置特定部１１２は、ユーザの手の位置の移動に基づいて表示装置１０５における指示位置を移動する。例えば、ユーザが手を自分から見て上に移動した場合に、指示位置特定部１１２は、それに応じて指示位置を上に移動する。ユーザが手を自分から見て右に移動した場合に、指示位置特定部１１２は、それに応じて指示位置を右に移動する。手の移動距離と指示位置の移動距離との関係は、事前に決定され、メモリ１０３に記憶されていてもよい。例えば、手が５０ｍｍ移動した場合に、指示位置特定部１１２は、指示位置を同じ５０ｍｍ移動してもよいし、それよりも短く（例えば、３０ｍｍ）移動してもよいし、それよりも長く（例えば、１００ｍｍ）移動してもよい。ユーザが手を移動した結果、指示位置が表示装置１０５の画面から外れた場合に、指示位置特定部１１２は、ユーザが表示装置１０５を指し示していないことを特定してもよい。手の移動距離に対する指示位置の移動距離の比率は、例えばメモリ１０３に記憶されている。ユーザはこの比率を変更可能であってもよい。

処理部１１３は、ユーザからの入力に応じた様々な処理を実行する。これらの処理はどのようなものであってもよく、例えば画面遷移、音楽再生、映像再生、経路案内、ブラウジング、ゲームプレイなどを含んでもよい。表示制御部１１４は、表示装置１０５における表示内容を制御する。表示制御部１１４の動作の具体例は後述する。時間測定部１１５は、制御装置１０１の動作中の様々な時間を測定する。ユーザ識別部１１６は、制御装置１０１が提供するユーザインタフェースを利用中のユーザを識別する。制御装置１０１は、識別された個別のユーザについて個別のユーザインタフェースを提供してもよい。

図４を参照して、制御装置１０１による表示装置１０５の表示内容の制御例について説明する。制御装置１０１（具体的に、その表示制御部１１４）は、表示装置１０５に画面４００を表示する。画面４００は、複数のアイコン（図４の例では、「１－１」～「１－６」のラベルが付された６個のアイコン）を含む。アイコンは、ユーザが選択可能なオブジェクト（選択可能オブジェクトとも呼ばれる）の一例である。選択可能なオブジェクトは、アイコン以外であってもよい。例えば、選択可能なオブジェクトは、リンクが張られた文字列又は画像であってもよい。以下では選択可能オブジェクトの例としてアイコンを扱うが、アイコン以外の他の選択可能オブジェクトに対しても以下の説明する技術を適用可能である。選択可能オブジェクトには、特定の処理（例えば、画面遷移、音楽再生開始、映像再生開始、音量増加など）が関連付けられてもよい。

制御装置１０１は、ユーザの手の位置に基づいて表示装置１０５における指示位置を特定し、表示装置１０５の画面４００内に、この指示位置を示すカーソル４０２も表示する。図４の例では、カーソル４０２は矢印の形状を有しており、矢印の先端が指示位置を示す。カーソル４０２の形状は矢印に限られず、他の任意の形状又は表現であってもよい。例えば、カーソル４０２は円形であってもよいし、星形であってもよい。

ユーザが手を動かすことによって、点線４０３に沿って指示位置が移動したとする。この場合に、制御装置１０１は、カーソル４０２も点線４０３に沿って移動する。指示位置が特定のアイコン４０１に重なると、ユーザがアイコン４０１に関連付けられた処理を要求していると考えられる。そこで、制御装置１０１（具体的に、その処理部１１３）は、指示位置がアイコン４０１に重なったことに基づいて、アイコン４０１に関連付けられた処理を実行してもよい。このように、ユーザは、手を動かしてカーソル４０２をアイコン４０１に重ねるだけで、アイコン４０１に関連付けられた処理の実行を指示することが可能となる。したがって、ユーザは、直感的な入力操作を行うことができる。

制御装置１０１は、指示位置がアイコン４０１に重なった場合に、即座に処理を開始してもよい。しかし、本開示の実施形態のように、空中ジェスチャによる入力操作の場合に、指示位置がアイコン４０１に重なるように、ユーザが意図せずに手を動かしてしまう場合がある。そこで、一部の実施形態において、制御装置１０１（具体的に、その時間測定部１１５）は、指示位置がアイコン４０１に重なった状態の継続時間を測定する。そして、制御装置１０１（具体的に、その処理部１１３）は、この継続時間が閾値時間（例えば、３秒）に到達した場合に、アイコン４０１に関連付けられた処理を実行する。一方、制御装置１０１（具体的に、その処理部１１３）は、この継続時間が閾値時間に到達しなかった場合に（例えば、その前に指示位置がアイコン４０１から外れた場合に）、アイコン４０１に関連付けられた処理を実行しない。これによって、ユーザが意図しない処理が実行されることを抑制できる。継続時間が閾値時間に到達することは、閾値時間に設定されたタイマが満了したと言い換えられてもよい。閾値時間は、例えばメモリ１０３に記憶されている。ユーザは閾値時間を変更可能であってもよい。以下に説明する他の閾値時間についても同様である。

制御装置１０１は、指示位置がアイコン４０１に重なったことに応じて、時間の計測を開始する。それとともに、制御装置１０１は、画面４００の表示を、タイマインジケータ４１１を含む画面４１０の表示に切り替える。このようにタイマインジケータ４１１を表示することによって、ユーザは、指示位置がアイコン４０１に重なっていることを認識しやすくなる。そのため、このような指示位置の移動がユーザの意図したものでなければ、ユーザは手を動かすと考えられる。

制御装置１０１は、タイマインジケータ４１１の見掛けを、指示位置がアイコン４０１に重なった状態の継続時間に応じて変化させる。例えば、画面４２０に示すように、制御装置１０１は、時間の経過とともに、タイマインジケータ４１１のハッチング部分を短くしてもよい。これによって、ユーザは、時間の経過によって処理が実行されることを把握できる。

図４の例では、タイマインジケータ４１１は、指示位置が重なっているアイコン４０１に関連付けて（例えば、アイコン４０１に重なるように）表示されている。これに代えて、タイマインジケータ４１１は、指示位置が重なっているアイコン４０１から独立した位置に（例えば、画面の右上など、事前に決められた位置に）表示されてもよい。また、タイマインジケータ４１１は、指示位置がアイコン４０１に重なった時点からの経過時間を示してもよいし、アイコン４０１に関連付けられた処理が開始されるまでの残り時間を示してもよい。また、タイマインジケータ４１１は、イラストであってもよいし、文字や記号であってもよい。

制御装置１０１は、指示位置がアイコン４０１に重なった状態の継続時間が閾値時間に到達する前に指示位置がアイコン４０１の外側に移動した場合に、アイコン４０１に関連付けられた処理を実行せず、画面４００のようにアイコン４０１を通常の表示に戻す。制御装置１０１は、指示位置がアイコン４０１に重なった状態の継続時間が閾値時間に到達した場合に、アイコン４０１に関連付けられた処理を実行する。この処理の実行に応じて、制御装置１０１は、画面４２０の表示を、処理に固有の画面４３０の表示に切り替えてもよい。制御装置１０１は、表示するすべての選択可能オブジェクトについて、上述のように実行開始までのタイマを適用してもよいし、一部の選択可能オブジェクトについてのみタイマを適用してもよい。

図５を参照して、制御装置１０１による表示装置１０５の表示内容の別の制御例について説明する。制御装置１０１は、表示装置１０５に画面５００を表示する。画面５００は、複数のアイコン（図５の例では、「２－１」～「２－６」のラベルが付された６個のアイコン）を含む。さらに、画面５００は、ユーザによる指示位置を示すカーソル４０２を含む。指示位置がアイコン５０１に重なっているため、タイマインジケータ５０２も表示されている。

制御装置１０１は、指示位置がアイコン５０１に重なった状態の継続時間が閾値時間に到達すると、アイコン５０１に関連付けられた処理を実行する。この処理が、画面５００の表示を画面５１０の表示へ切り替えることを含むとする。画面５１０は、複数のアイコン（図５の例では、「３－１」～「３－６」のラベルが付された６個のアイコン）を含む。画面５００から画面５１０への遷移において、ユーザによる指示位置に変化がなかった場合に、制御装置１０１は、表示装置１０５の同じ位置にカーソル４０２を表示し続ける。

遷移後の画面５１０が、指示位置と重なる位置にアイコン５１１を含んでいたとする。この場合に、指示位置がアイコン５１１に重なっているものの、ユーザはアイコン５１１を選択する意図がないかもしれない。そこで、制御装置１０１は、画面５１０の表示開始時点の指示位置がアイコン５１１に重なる場合に、所定の条件を満たすまで、指示位置がアイコン５１１に重なっていないとみなす。したがって、制御装置１０１は、経過時間の測定を開始せず、タイマインジケータを表示しない。これによって、ユーザが意図しない処理が実行されることを抑制できる。

上述の所定の条件は、指示位置がアイコン５１１に重なった状態の継続時間が閾値時間（例えば、５秒）に到達したことであってもよい。このようにユーザがある程度の時間、手を動かさなかった場合には、ユーザがアイコン５１１を選択しようとしていると考えられる。これに代えて又はこれに加えて、上述の所定の条件は、指示位置がアイコン５１１の外側に移動し、再度アイコン５１１に重なったことであってもよい。このようにユーザが意図的に指示位置を変更した場合には、ユーザがアイコン５１１を選択しようとしていると考えられる。

上述のような所定の条件を満たした場合に、制御装置１０１は、指示位置がアイコン５１１に重なっているとみなし、経過時間の計測を開始し、画面５２０のようにタイマインジケーション５２１を表示する。

図６を参照して、指示位置が遷移後の画面のアイコンに重なる場合の別の制御例について説明する。画面６００は画面５００と同様である。アイコン５０１に指示位置が重なった状態で、アイコン５０１に関連付けられた処理を開始するためのタイマが満了したとする。この場合に、制御装置１０１は、複数のアイコン（図５の例では、「３－１」～「３－６」のラベルが付された６個のアイコン）を含む画面６１０を表示する。

画面６１０の表示開始時点の指示位置がアイコン５１１に重なっているので、制御装置１０１は、ユーザの手の動きとは無関係に、画面６１０のうち何れのアイコンにも重ならない位置に指示位置が移動したとみなし、その移動後の指示位置を示すようにカーソル４０２も移動する。これによって、ユーザが意図しない処理が実行されることを抑制できる。この場合に、ユーザの手の実際の位置と指示位置とがずれることになるため、制御装置１０１は、撮影装置１０４によって撮影された画像における手の位置と、表示装置１０５における指示位置とのマッピングもずらず。

図７を参照して、指示位置が遷移後の画面のアイコンに重なる場合のさらに別の制御例について説明する。画面７００は画面５００と同様である。アイコン５０１に指示位置が重なった状態で、アイコン５０１に関連付けられた処理を開始するためのタイマが満了したとする。この場合に、制御装置１０１は、複数のアイコン（図５の例では、「３－１」～「３－６」のラベルが付された６個のアイコン）を含む画面７１０を表示する。

画面７１０の表示開始時点の指示位置が、アイコン５１１を元々表示する位置に重なるとする。この場合に、制御装置１０１は、画面７１０に示すように、画面７１０のうち指示位置に重ならない位置にアイコン５１１を表示する。その結果、指示位置は何れのアイコンとも重ならない。これによって、ユーザが意図しない処理が実行されることを抑制できる。図７の例では、制御装置１０１は、アイコン５１１のみを別の位置に表示しているが、それ以外のアイコンも含めて再配置を行ってもよい。

図８を参照して、制御装置１０１による表示装置１０５の表示内容の別の制御例について説明する。制御装置１０１は、表示装置１０５に画面８００を表示する。画面８００は、複数のアイコン（図８の例では、「４－１」～「４－６」のラベルが付された６個のアイコン）を含む。さらに、画面８００は、ユーザによる指示位置を示すカーソル４０２を含む。また、画面８００には、点線で示す位置に、現在の画面を別の画面に切り替えるための切替領域８０２も設定されている。図８の例では、画面８００の左右両側に切替領域８０２が設定されている。これに代えて又はこれに加えて、切替領域８０２は、画面８００の上側又は下側に設定されていてもよい。また、制御装置１０１は、切替領域８０２が存在することをユーザが認識できるように画面８００を表示してもよい。

制御装置１０１は、指示位置が切替領域８０２に重なった状態の継続時間が閾値時間に到達した場合に、現在の画面８００の表示を、切替領域８０２に関連付けられた画面（例えば、画面８１０）の表示に切り替える。このような切替領域８０２による画面の切り替えは、例えば画面のスクロールに利用されてもよい。指示位置がアイコン８０１に重なった場合と同様に、制御装置１０１は、指示位置が切替領域８０２に重なった状態の継続時間を示すタイマインジケータを表示してもよい。

切替領域８０２は、複数の切替領域８０２ａ～８０２ｃに分割されていてもよい。切替領域８０２ｃが画面８００の端から最も遠く、切替領域８０２ｂは切替領域８０２ｃよりも画面８００の端に近く、切替領域８０２ａが画面８００の端に最も近い。制御装置１０１は、複数の切替領域８０２ａ～８０２ｃのそれぞれについて、画面切り替えるための閾値時間を個別に設定してもよい。例えば、制御装置１０１は、画面８００の端に近い領域ほど、閾値時間を短くしてもよい。例えば、切替領域８０２ａに対する閾値時間が０．５秒であり、切替領域８０２ｂに対する閾値時間が１秒であり、切替領域８０２ｃに対する閾値時間が３秒であってもよい。画面の端から遠い切替領域ほど、ユーザが意図せず指し示してしまう可能性が高い。そこで、制御装置１０１は、画面の端から遠い切替領域ほど、閾値時間を長く設定している。これにより、ユーザが意図しない画面切り替えが行われることが抑制される。

図９を参照して、制御装置１０１による表示装置１０５の表示内容の別の制御例について説明する。制御装置１０１は、表示装置１０５に画面９００を表示する。画面９００は、複数のアイコン（図９の例では、「６－１」～「６－６」のラベルが付された６個のアイコン）を含む。さらに、画面９００は、ユーザによる指示位置を示すカーソル４０２を含む。また、画面９００には、オーバービュー画面９１０を表示させることを指示するためのアイコン９０２を含む。制御装置１０１は、上述の例と同様に、タイマが満了することによって、画面の遷移を行ってもよい。オーバービュー画面９１０を表示させることを指示するためのアイコン９０２は、表示装置１０５に表示される一部の画面のみに含まれてもよいし、表示装置１０５に表示されるすべての画面に含まれてもよい。

アイコン９０２が選択されることによって、制御装置１０１は、画面９００の表示をオーバービュー画面９１０の表示に切り替える。オーバービュー画面９１０には、ユーザが実行可能な複数の機能がアイコン（図９では、「１」～「１２」のラベルが付されている）によって示される。オーバービュー画面９１０の複数の領域９１１～９１３のそれぞれには、関連性の高い機能がまとまって表示されている。オーバービュー画面９１０は、遷移前にいた画面９００に関する機能のアイコンを示すインジケータ９１４を含む。

図１０を参照して、制御装置１０１の動作例について説明する。図１０に説明される方法の各工程は、例えば、メモリ１０３に記憶されたプログラムをプロセッサ１０２が実行することによって行われてもよい。図１０の方法は、車両１００の電源がオンになったことに応じて開始されてもよいし、ユーザからの明示的な指示に応じて開始されてもよい。上記において詳細に説明した内容について、以下では重複する説明を繰り返さない。

ステップＳ１００１で、制御装置１０１（例えば、その画像分析部１１１）は、ユーザ画像を分析することによって、ユーザの手を検出する。この検出を行うために、制御装置１０１は、表示装置１０５の画面の中心を指し示す位置に手を移動するようにユーザに要求してもよい。この際に、制御装置１０１は、ユーザの手の位置と、表示装置１０５の画面の中心との位置合わせを行ってもよい。

ステップＳ１００２で、制御装置１０１（例えば、そのユーザ識別部１１６）は、検出された手の画像に基づいて、ユーザが特定の人物であるかどうかを判定する。特定の人物とは、制御装置１０１が提供するユーザインタフェースを過去に利用したことのある人物であってもよい。このような判定を行うために、制御装置１０１は、個別のユーザごとに、利用履歴をメモリ１０３に記憶してもよい。利用履歴は、例えば、各機能の使用頻度、手の移動距離に対する指示位置の移動距離の比率の設定、処理を実行するための閾値時間の長さの設定などを含んでもよい。

制御装置１０１は、ステップＳ１００２で特定の人物であると判定された場合に（ステップＳ１００２で「ＹＥＳ」）、処理をステップＳ１００３に遷移し、それ以外の場合に（ステップＳ１００２で「ＮＯ」）、処理をステップＳ１００４に遷移する。

ステップＳ１００３で、制御装置１０１は、識別された人物に固有の設定を読み出し、この設定に従って後続の画面の表示を制御する。例えば、制御装置１０１は、識別された人物により使用頻度が高い機能を優先的に表示してもよい。ステップＳ１００４で、制御装置１０１は、デフォルトの設定を読み出し、この設定に従って後続の画面の表示を制御する。

ステップＳ１００５で、制御装置１０１は、ユーザの手の位置の追跡を開始する。これ以降、制御装置１０１は、ユーザの手の位置を継続的に検出する。また、制御装置１０１は、表示装置１０５にスタート画面（または、ホーム画面）を表示し、ユーザの指示位置を示すカーソルを表示装置１０５に表示する。

ステップＳ１００６で、制御装置１０１は、ユーザによって選択可能オブジェクト（例えば、アイコン）が選択されたかどうかを判定する。この判定は、上述のように、指示位置が選択可能オブジェクトに重なった状態の継続時間が閾値時間に到達したかどうかに基づいて行われてもよい。

制御装置１０１は、ステップＳ１００６で選択可能オブジェクトが選択されたと判定された場合に（ステップＳ１００６で「ＹＥＳ」）、処理をステップＳ１００７に遷移し、それ以外の場合に（ステップＳ１００６で「ＮＯ」）、処理をステップＳ１００８に遷移する。ステップＳ１００７で、制御装置１０１は、選択可能オブジェクトに関連付けられた処理を実行する。

ステップＳ１００８で、制御装置１０１は、ユーザによって画面切り替えが要求されたかどうかを判定する。この判定は、上述のように、指示位置が切替領域に重なった状態の継続時間が閾値時間に到達したかどうかに基づいて行われてもよい。

制御装置１０１は、ステップＳ１００８で画面切り替えが要求されたと判定された場合に（ステップＳ１００８で「ＹＥＳ」）、処理をステップＳ１００９に遷移し、それ以外の場合に（ステップＳ１００８で「ＮＯ」）、処理をステップＳ１０１０に遷移する。ステップＳ１００８で、制御装置１０１は、要求されたとおりに画面を切り替える。

ステップＳ１０１０で、制御装置１０１は、ユーザがスリープジェスチャを行ったかどうかを判定する。スリープジェスチャとは、表示装置１０５をスリープ状態にするためにユーザが行うジェスチャであり、事前に決定されている。例えば、スリープジェスチャは、広げた手を横に揺らすジェスチャであってもよい。

制御装置１０１は、ステップＳ１０１０でユーザがスリープジェスチャを行ったと判定された場合に（ステップＳ１０１０で「ＹＥＳ」）、処理をステップＳ１０１１に遷移し、それ以外の場合に（ステップＳ１０１０で「ＮＯ」）、処理をステップＳ１００６に遷移する。ステップＳ１０１１で、制御装置１０１は、表示装置１０５をスリープ状態にする。

ステップＳ１０１２で、制御装置１０１は、ユーザがウェイクアップジェスチャを行ったかどうかを判定する。ウェイクアップジェスチャとは、表示装置１０５のスリープ状態を解除するためにユーザが行うジェスチャであり、事前に決定されている。例えば、ウェイクアップジェスチャは、サムズアップであってもよい。

制御装置１０１は、ステップＳ１０１２でユーザがウェイクアップジェスチャを行ったと判定された場合に（ステップＳ１０１２で「ＹＥＳ」）、処理をステップＳ１０１３に遷移し、それ以外の場合に（ステップＳ１０１２で「ＮＯ」）、ステップＳ１０１２を繰り返す。ステップＳ１０１３で、制御装置１０１は、表示装置１０５を起動する。

このように、表示装置１０５がスリープ状態である間に、制御装置１０１は、ウェイクアップジェスチャの検出を行うものの、ステップＳ１００６及びＳ１００８における判定は行わない。そのため、ユーザは、表示装置１０５がスリープ状態にすることによって、意図しない処理が行われることを抑制できる。

＜実施形態のまとめ＞
＜項目１＞
ユーザにユーザインタフェースを提供するための制御装置（１０１）であって、
表示装置（１０５）に選択可能オブジェクト（５０１など）を表示する表示制御手段（１１４）と、
前記ユーザの手（３００）の画像を分析することによって、前記手の位置を検出する検出手段（１１１）と、
前記手の位置に基づいて、前記表示装置における指示位置を特定する特定手段（１１２）と、
前記指示位置が前記選択可能オブジェクトに重なったことに基づいて、前記選択可能オブジェクトに関連付けられた処理を実行する処理手段（１１３）と、を備え、
前記表示制御手段は、前記指示位置を示すカーソル（４０２）を前記表示装置にさらに表示する、制御装置。
この項目によれば、ユーザは、手を動かしてカーソルをアイコンに重ねるだけで、所望の処理を実行することが可能となる。したがって、ユーザは、直感的な入力操作を行うことができる。
＜項目２＞
前記検出手段は、前記手に含まれる複数の特徴点（３０１）の中心位置に基づいて、前記手の位置を検出する、項目１に記載の制御装置。
この項目によれば、複数の特徴点に基づいて手の位置を検出するため、精度よく手の位置を検出できる。
＜項目３＞
前記制御装置は、前記指示位置が前記選択可能オブジェクトに重なった状態の継続時間を計測する計測手段（１１５）をさらに備え、
前記処理手段は、
前記継続時間が閾値時間に到達した場合に、前記選択可能オブジェクトに関連付けられた処理を実行し、
前記継続時間が前記閾値時間に到達しなかった場合に、前記選択可能オブジェクトに関連付けられた処理を実行しない、項目１又は２に記載の制御装置。
この項目によれば、閾値時間が経過するまでは処理が実行されないため、ユーザが意図しない処理が実行されることを抑制できる。
＜項目４＞
前記制御装置は、前記指示位置が前記選択可能オブジェクトに重なった状態の継続時間を計測する計測手段（１１５）をさらに備え、
前記表示制御手段は、前記継続時間に応じて、前記選択可能オブジェクトを含む画面の見掛けを変化させる、項目１乃至３の何れか１項に記載の制御装置。
この項目によれば、時間の経過によって処理が実行されることを把握できる。
＜項目５＞
前記選択可能オブジェクトに関連付けられた処理は、前記選択可能オブジェクトを含む第１画面の表示を、第２選択可能オブジェクト（５１１）を含む第２画面の表示に切り替えることを含み、
前記処理手段は、前記第２画面の表示開始時点の前記指示位置が前記第２選択可能オブジェクトに重なる場合に、所定の条件を満たすまで、前記指示位置が前記第２選択可能オブジェクトに重なっていないとみなす、項目１乃至４の何れか１項に記載の制御装置。
この項目によれば、ユーザが意図しない処理が実行されることを抑制できる。
＜項目６＞
前記選択可能オブジェクトに関連付けられた処理は、前記選択可能オブジェクトを含む第１画面の表示を、第２選択可能オブジェクトを含む第２画面の表示に切り替えることを含み、
前記処理手段は、前記第２画面の表示開始時点の前記指示位置が前記第２選択可能オブジェクトに重なる場合に、前記第２画面のうち何れの選択可能オブジェクトにも重ならない位置に前記指示位置を移動する、項目１乃至４の何れか１項に記載の制御装置。
この項目によれば、ユーザが意図しない処理が実行されることを抑制できる。
＜項目７＞
前記選択可能オブジェクトに関連付けられた処理は、前記選択可能オブジェクトを含む第１画面の表示を、第２選択可能オブジェクトを含む第２画面の表示に切り替えることを含み、
前記処理手段は、前記第２画面の表示開始時点の前記指示位置が前記第２選択可能オブジェクトを表示する位置に重なる場合に、前記第２画面のうち前記指示位置に重ならない位置に前記第２選択可能オブジェクトを表示する、項目１乃至４の何れか１項に記載の制御装置。
この項目によれば、ユーザが意図しない処理が実行されることを抑制できる。
＜項目８＞
前記選択可能オブジェクトを含む第１画面は、第１切替位置（８０２ｂ）と、前記第１切替位置よりも前記第１画面の端に近い第２切替位置（８０２ａ）とを含み、
前記表示制御手段は、
前記指示位置が前記第１切替位置に重なった状態の継続時間が第２閾値時間に到達した場合に、前記第１画面の表示を第３画面の表示に切り替え、
前記指示位置が前記第２切替位置に重なった状態の継続時間が第３閾値時間に到達した場合に、前記第１画面の表示を前記第３画面の表示に切り替え、
前記第３閾値時間は、前記第２閾値時間よりも短い、項目１乃至７の何れか１項に記載の制御装置。
この項目によれば、ユーザが意図しない画面切り替えが行われることが抑制される。
＜項目９＞
前記表示制御手段は、前記選択可能オブジェクトと第３選択可能オブジェクト（９０２）とを含む第１画面を前記表示装置に表示し、
前記第３選択可能オブジェクトに関連付けられた処理は、前記ユーザが実行可能な複数の機能を示す第４画面を（９１０）前記表示装置に表示することを含む、項目１乃至８の何れか１項に記載の制御装置。
この項目によれば、ユーザが複数の機能を把握しやすくなる。
＜項目１０＞
前記手の画像に基づいて、前記ユーザが特定の人物であることを識別する識別手段（１１６）をさらに備え、
前記表示制御手段は、前記特定の人物に固有の設定に従って画面の表示を制御する、項目１乃至９の何れか１項に記載の制御装置。
この項目によれば、ユーザごとにカスタマイズされた表示制御が行われるため、ユーザの利便性が向上する。
＜項目１１＞
コンピュータを項目１乃至１０の何れか１項に記載の制御装置の各手段として機能させるためのプログラム。
この項目によれば、上記の効果を有するプログラムが提供される。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１００ 車両、１０１ 制御装置、１０５ 表示装置、５０１ アイコン

Claims (10)

1. ユーザにユーザインタフェースを提供するための制御装置であって、
   表示装置に選択可能オブジェクトを表示する表示制御手段と、
   前記ユーザの手の画像を分析することによって、前記手の位置を検出する検出手段と、
   前記手の位置に基づいて、前記表示装置における指示位置を特定する特定手段と、
   前記指示位置が前記選択可能オブジェクトに重なったことに基づいて、前記選択可能オブジェクトに関連付けられた処理を実行する処理手段と、を備え、
   前記表示制御手段は、前記指示位置を示すカーソルを前記表示装置にさらに表示し、
   前記選択可能オブジェクトに関連付けられた処理は、前記選択可能オブジェクトを含む第１画面の表示を、第２選択可能オブジェクトを含む第２画面の表示に切り替えることを含み、
   前記処理手段は、前記第２画面の表示開始時点の前記指示位置が前記第２選択可能オブジェクトに重なる場合に、所定の条件を満たすまで、前記指示位置が前記第２選択可能オブジェクトに重なっていないとみなす、制御装置。
2. ユーザにユーザインタフェースを提供するための制御装置であって、
   表示装置に選択可能オブジェクトを表示する表示制御手段と、
   前記ユーザの手の画像を分析することによって、前記手の位置を検出する検出手段と、
   前記手の位置に基づいて、前記表示装置における指示位置を特定する特定手段と、
   前記指示位置が前記選択可能オブジェクトに重なったことに基づいて、前記選択可能オブジェクトに関連付けられた処理を実行する処理手段と、を備え、
   前記表示制御手段は、前記指示位置を示すカーソルを前記表示装置にさらに表示し、 前記選択可能オブジェクトに関連付けられた処理は、前記選択可能オブジェクトを含む第１画面の表示を、第２選択可能オブジェクトを含む第２画面の表示に切り替えることを含み、
   前記処理手段は、前記第２画面の表示開始時点の前記指示位置が前記第２選択可能オブジェクトに重なる場合に、前記第２画面のうち何れの選択可能オブジェクトにも重ならない位置に前記指示位置を移動する、制御装置。
3. ユーザにユーザインタフェースを提供するための制御装置であって、
   表示装置に選択可能オブジェクトを表示する表示制御手段と、
   前記ユーザの手の画像を分析することによって、前記手の位置を検出する検出手段と、
   前記手の位置に基づいて、前記表示装置における指示位置を特定する特定手段と、
   前記指示位置が前記選択可能オブジェクトに重なったことに基づいて、前記選択可能オブジェクトに関連付けられた処理を実行する処理手段と、を備え、
   前記表示制御手段は、前記指示位置を示すカーソルを前記表示装置にさらに表示し、
   前記選択可能オブジェクトに関連付けられた処理は、前記選択可能オブジェクトを含む第１画面の表示を、第２選択可能オブジェクトを含む第２画面の表示に切り替えることを含み、
   前記処理手段は、前記第２画面の表示開始時点の前記指示位置が前記第２選択可能オブジェクトを表示する位置に重なる場合に、前記第２画面のうち前記指示位置に重ならない位置に前記第２選択可能オブジェクトを表示する、制御装置。
4. ユーザにユーザインタフェースを提供するための制御装置であって、
   表示装置に選択可能オブジェクトを表示する表示制御手段と、
   前記ユーザの手の画像を分析することによって、前記手の位置を検出する検出手段と、
   前記手の位置に基づいて、前記表示装置における指示位置を特定する特定手段と、
   前記指示位置が前記選択可能オブジェクトに重なったことに基づいて、前記選択可能オブジェクトに関連付けられた処理を実行する処理手段と、を備え、
   前記表示制御手段は、前記指示位置を示すカーソルを前記表示装置にさらに表示し、
   前記選択可能オブジェクトを含む第１画面は、第１切替位置と、前記第１切替位置よりも前記第１画面の端に近い第２切替位置とを含み、
   前記表示制御手段は、
   前記指示位置が前記第１切替位置に重なった状態の継続時間が第２閾値時間に到達した場合に、前記第１画面の表示を第３画面の表示に切り替え、
   前記指示位置が前記第２切替位置に重なった状態の継続時間が第３閾値時間に到達した場合に、前記第１画面の表示を前記第３画面の表示に切り替え、
   前記第３閾値時間は、前記第２閾値時間よりも短い、制御装置。
5. 前記検出手段は、前記手に含まれる複数の特徴点の中心位置に基づいて、前記手の位置を検出する、請求項１乃至４の何れか１項に記載の制御装置。
6. 前記制御装置は、前記指示位置が前記選択可能オブジェクトに重なった状態の継続時間を計測する計測手段をさらに備え、
   前記処理手段は、
   前記継続時間が閾値時間に到達した場合に、前記選択可能オブジェクトに関連付けられた処理を実行し、
   前記継続時間が前記閾値時間に到達しなかった場合に、前記選択可能オブジェクトに関連付けられた処理を実行しない、請求項１乃至５の何れか１項に記載の制御装置。
7. 前記制御装置は、前記指示位置が前記選択可能オブジェクトに重なった状態の継続時間を計測する計測手段をさらに備え、
   前記表示制御手段は、前記継続時間に応じて、前記選択可能オブジェクトを含む画面の見掛けを変化させる、請求項１乃至６の何れか１項に記載の制御装置。
8. 前記表示制御手段は、前記選択可能オブジェクトと第３選択可能オブジェクトとを含む第１画面を前記表示装置に表示し、
   前記第３選択可能オブジェクトに関連付けられた処理は、前記ユーザが実行可能な複数の機能を示す第４画面を前記表示装置に表示することを含む、請求項１乃至７の何れか１項に記載の制御装置。
9. 前記手の画像に基づいて、前記ユーザが特定の人物であることを識別する識別手段をさらに備え、
   前記表示制御手段は、前記特定の人物に固有の設定に従って画面の表示を制御する、請求項１乃至８の何れか１項に記載の制御装置。
10. コンピュータを請求項１乃至９の何れか１項に記載の制御装置の各手段として機能させるためのプログラム。