JP6275332B2 - 表示制御装置および画像表示装置 - Google Patents

Description

この発明は、ユーザのジェスチャー操作に基づき、表示内容を制御する技術に関するものである。

近年、頭部に装着する表示装置である頭部装着型表示装置（以下、ヘッドマウントディスプレイと称する）の小型化が進み、ユーザが当該ヘッドマウントディスプレイを装着したまま移動可能な製品が開発されている。
通常、ヘッドマウントディスプレイの表示画面の操作は、ヘッドマウントディスプレイに配置されたボタン、またはヘッドマウントディスプレイに接続されたコントローラのタッチパッドやボタンを操作することにより実行される。いずれの表示画面の操作も、ユーザが手指をヘッドマウントディスプレイに添える、あるいはコントローラを把持する必要がある。

ユーザの手指の自由を奪わない操作方法としては、撮像手段を用いてユーザの手指を撮像して手指の形状を認識し、認識した手指によるジェスチャー操作によりコマンドを実行させる技術が存在する。手指のジェスチャー操作によりコマンドを実行させる方式としては、ユーザの手指の形状にコマンドを割り当てる方法、操作画面上に一定時間手指を静止させてコマンド実行の意図を認識する方法などが存在する。また、特許文献１には、ユーザを撮像して立体画像データを生成し、三次元撮像手段により読み取られたユーザの像および位置に基づいた形状および位置で仮想操作面を形成して表示し、表示された仮想操作面に対するユーザの動きを三次元撮像手段で読み取り、動きが操作であると判定された場合に所定の信号を出力する画像認識装置が開示されている。

しかし、手指のジャスチャー操作によるコマンドの実行では、手指の形状に割り当てられたコマンドを利用者が事前に記憶する必要があるという問題があった。また、手指を静止させてコマンド実行の意図を認識する方法では、空間に一定時間手指を静止させるのが困難であるという問題があった。また、特許文献１の画像認識装置では、３次元撮像手段を必要とすることから装置の大型化を招き、奥行方向の演算によりＣＰＵの負荷が増加するという問題があった。

上述した問題に対し、例えば特許文献２には、センサにより撮像された画像の画像信号を解析してユーザの手指を検出し、検出した手指と連動して動作するポインタを虚像表示領域に表示し、手指の操作に伴ってポインタが虚像表示領域と虚像表示領域以外の領域との境界の近傍に移動した場合に、命令受付モードに遷移し、境界の近傍に割り当てられたコマンドを表示する表示装置が開示されている。これにより、ユーザは手指を移動させるのみで命令受付モードに遷移させることができる。

特開２０１１−１７５６１７号公報 特開２０１４−１０６６９８号公報

しかしながら、上述した特許文献２に開示された技術では、虚像表示領域と虚像表示領域以外の領域との境界の近傍にはボタンを配置できず、ボタンの配置に制約が発生するという課題があった。また、命令受付モードにおいて、境界に割り当てられたコマンドを記憶する必要があり、さらに表示されたコマンドとポインタとの位置が離れてしまい、コマンドを円滑に実行することが困難であるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、ポインタの空間での移動のみでコマンドの実行を可能とし、ボタンや画像などの表示情報の表示位置に制約を設けることなく、コマンドを円滑に実行させることを目的とする。

この発明に係る表示制御装置は、ユーザ操作に伴って移動するポインタの表示位置と、ポインタの移動を誘導する可動領域の表示位置とが重なっている場合に、ポインタが可動領域に入射した方向を取得する入射方向取得部と、入射方向取得部が取得した入射方向に基づいた表示情報を取得する照合部と、照合部が取得した表示情報に基づいて、ポインタおよび可動領域を誘導するガイド領域を生成するガイド生成部と、ポインタ、可動領域およびガイド生成部が生成したガイド領域を表示する制御を行う表示制御部とを備えるものである。

この発明によれば、ポインタを空間で移動させるのみでコマンドの実行を可能とし、さらに表示画面における表示情報の表示位置に制約を設けることなく、コマンドを円滑に実行させることができる。

実施の形態１に係る表示制御装置の概要を示す説明図である。 実施の形態１に係る表示制御装置の構成を示すブロック図である。 実施の形態１に係る表示制御装置のコマンドデータベースの構成を示す説明図である。 実施の形態１に係る表示制御装置のハードウェア構成を示す図である。 実施の形態１に係る表示制御装置の動作を示すフローチャートである。 実施の形態１に係る表示制御装置の表示例を示す図である。 実施の形態１に係る表示制御装置の効果を示す説明図である。 実施の形態１に係る表示制御装置の効果を示す説明図である。 実施の形態１に係る表示制御装置の効果を示す説明図である。 実施の形態１に係る表示制御装置の効果を示す説明図である。 実施の形態１に係る表示制御装置をリスト表示に適用した場合の表示例を示す図である。 実施の形態１に係る表示制御装置の可動領域を八角形で構成した場合を示す図である。 実施の形態１に係る表示制御装置を画像の移動表示に適用した場合の表示例を示す図である。 実施の形態２に係る表示制御装置の概要を示す説明図である。 実施の形態２に係る表示制御装置の構成を示すブロック図である。 実施の形態２に係る表示制御装置の動作を示すフローチャートである。 実施の形態２に係る表示制御装置を数値入力に適用した場合の表示例を示す図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
まず、図１を参照しながら、表示制御装置１００の制御内容の概略を説明する。図１は、実施の形態１に係る表示制御装置１００が表示制御を行った表示例を示す図である。図１では、表示制御装置１００をヘッドマウントディスプレイ（ＨＭＤ）２００に適用し、ヘッドマウントディスプレイ２００の画面を、空間でのユーザの手２０１の動きによる操作（以下、ジェスチャー操作と称する）する場合を例に説明する。なお、表示制御装置１００は、ジェスチャー操作に限定されるものではなく、タッチパネル操作またはマウス操作にも適用可能である。

まず、図１（ａ）に示すように、ユーザは空間で手２０１を動かし、ヘッドマウントディスプレイ２００の画面に表示されるポインタを移動させるための操作を行う。ユーザのジェスチャー操作を、撮像手段２０２などを用いて撮像し、取得した画像の画像信号を表示制御装置１００に入力する。図１（ａ）では１つの撮像手段２０２により撮像する例を示しているが、複数の撮像手段を設けてもよい。また、ユーザのジェスチャー操作を検出できるものであれば、検出方法は問わない。さらに複数の検出方法を組み合わせて構成してもよい。

ヘッドマウントディスプレイ２００の画面の表示例を図１（ｂ）および図１（ｃ）に示す。図１（ｂ）に示す初期画面では、ポインタ３０１と可動領域３０２が配置されている。ポインタ３０１はユーザのジェスチャー操作に追従して移動する指示表示であり、可動領域３０２はコマンド実行の契機となる領域である。図１（ｂ）において、ポインタ３０１が可動領域３０２方向に移動し、ポインタ３０１が可動領域内に入射すると、図１（ｃ）に示す画面が表示される。

図１（ｃ）の画面では、ポインタ３０１と、可動領域３０２を誘導する誘導領域３０３と、当該誘導領域３０３の外周を示すガイド枠３０４と、当該ガイド枠３０４に沿って配置されたコマンド領域３０５，３０６とが表示される。ユーザは、図１（ｃ）の画面を見ながら、ジェスチャー操作を行い、ポインタ３０１を意図するコマンド領域３０５，３０６に移動させる。ポインタ３０１と可動領域３０２は連動して移動し、可動領域３０２がコマンド領域３０５内に移動すると、コマンド領域３０５に設定されたコマンドが実行される。

次に、上述した表示制御を実現する、実施の形態１に係る表示制御装置１００の構成について説明する。
図２は、実施の形態１に係る表示制御装置１００の構成を示すブロック図である。
表示制御装置１００は、入力部１、位置情報取得部２、表示制御部３、重なり判定部４、入射方向取得部５、照合部６、コマンドデータベース記憶部７、ガイド生成部８、連動処理部９、接触判定部１０、コマンド実行部１１、解除判定部１２、ガイド表示解除部１３および表示部１４で構成されている。

入力部１は、撮像手段２０２が撮像したユーザのジェスチャー操作の画像の信号を取得する。位置情報取得部２は、入力部１が受け付けた入力情報からユーザの手２０１を検出し、検出した手２０１の位置情報をポインタの位置情報として取得する。さらに、位置情報取得部２は、表示部１４の表示情報を参照し、表示部１４に表示されている可動領域の位置情報を取得する。初期画面では、可動領域が予め決定された位置に配置されているものとする。

位置情報取得部２が取得する位置情報は、例えば表示部１４での表示位置を示す座標値である。表示部１４であるヘッドマウントディスプレイの画面全体の座標値を予め取得しておき、ポインタが位置する座標値、および可動領域が位置する座標値を取得する。表示制御部３は、位置情報取得部２が取得したポインタの位置情報および可動領域の位置情報に基づいて、表示部１４にポインタおよび可動領域を表示する表示制御を行う。なお、表示制御部３の詳細については後述する。

重なり判定部４は、位置情報取得部２が取得したポインタの位置情報および可動領域の位置情報を参照し、ポインタと可動領域とが重なっているか判定を行う。入射方向取得部５は、重なり判定部４においてポインタと可動領域とが重なっていると判定された場合に、位置情報取得部２が取得した位置情報の履歴を一時格納したバッファ（不図示）を参照し、ポインタが可動領域のいずれの方向から入射したかを示す入射方向を取得する。図１（ｃ）に示した例の場合、ポインタ３０１の可動領域３０２への入射方向を矢印Ａで示しており、ポインタ３０１は紙面の上方から下方に向かって可動領域３０２内に入射したことを示している。

照合部６は、入射方向取得部５が取得した入射方向と、コマンドデータベース記憶部７に記憶されたコマンドデータベースとの照合を行い、入射方向に対応したコマンド情報を取得する。コマンド情報は、コマンドの表示内容、コマンド領域の割り当て位置、キャンセル領域の割り当て位置、特定方向に可動領域を伸長するかを示す情報を取得する。ここでキャンセル領域は、例えば線分で構成されたキャンセル境界である。ポインタが当該キャンセル境界を通過して誘導領域から誘導領域外に出ることにより、コマンド実行処理がキャンセルされる。

コマンドデータベース記憶部７は、コマンドデータベースを記憶する記憶領域である。
図３は、実施の形態１に係る表示制御装置１００が記憶するコマンドデータベースの構成例を示す図である。図３（ａ）はコマンドデータベースの設定内容を示し、図３（ｂ）は図３（ａ）の設定内容に基づいて表示制御を行った場合の表示例を示す図である。
コマンドデータベースは、例えば「コマンド」、「ポインタの入射方向からの角度」および「可動領域の伸長処理」で構成される。「コマンド」はコマンドの表示内容を示し、「ＯＫ」および「ＮＧ」は、「ＯＫ」コマンドおよび「ＮＧ」コマンドを実行するためのコマンド領域を配置することを示し、「キャンセル」はコマンド実行処理をキャンセルするキャンセル領域を配置することを示している。

「ポインタの入射方向からの角度」は、コマンド領域の割り当て位置を示し、図３（ｂ）においてポインタの入射方向が矢印Ａで示される場合、当該入射方向から「０°」の角度方向の領域４０１に「ＯＫ」コマンド領域を配置し、入射方向から「９０°」の角度方向の領域４０２に「ＮＧ」コマンド領域を配置し、入射方向から「１８０°」の角度方向の領域４０３に「キャンセル」領域を配置し、入射方向から「−９０°」の角度方向の領域４０４に「キャンセル」領域を配置することを示している。以下では、「ＯＫ」コマンドおよび「ＮＧ」コマンドが割り当てられた領域をコマンド領域として説明する。

「可動領域の伸長処理」は、特定方向に向けて可動領域を伸長させて表示するか否かを示している。図３（ａ）では、「ＯＫ」コマンド領域を割り当てた方向に向けてのみ可動領域を伸長させることを示している。図１（ｂ）で示した初期画面における可動領域３０２と、図３（ｂ）で示した可動領域３０２ａとを比較すると、可動領域３０２ａは「ＯＫ」コマンド領域が割り当てられた方向、すなわち紙面の上から下方向に向けて伸長されて表示されている。

ガイド生成部８は、照合部６が取得したコマンド情報に基づいて、ポインタの誘導情報を生成する。生成する誘導情報は、ガイド表示、コマンド領域およびキャンセル領域である。生成した誘導情報は、表示制御部３に出力する。連動処理部９は、重なり判定部４がポインタと可動領域とが重なっていると判定している場合に、ポインタの移動と可動領域の移動とを連動させて表示させる指示を表示制御部３に出力する。

接触判定部１０は、表示部１４に表示された誘導領域のガイド枠と可動領域の外周との接触を判定する。さらに、コマンド領域が割り当てられたガイド枠と可動領域の外周との接触を判定する。コマンド実行部１１は、接触判定部１０がコマンド領域が割り当てられたガイド枠の一部（以下、コマンド領域が割り当てられたガイド枠と称する）に可動領域の外周が接触していると判定した場合に、当該コマンド領域に設定されたコマンドの実行を制御する。解除判定部１２は、ポインタが誘導領域外に出たか判定を行う。ガイド表示解除部１３は、誘導領域およびガイド枠の表示、コマンド領域の表示および可動領域の伸長表示を解除する指示を表示制御部３に出力する。表示部１４は、例えばヘッドマウントディスプレイの画面、タッチパネルおよびディスプレイなどで構成され、表示制御部３の制御に基づいた画面表示を行う。

図４は、実施の形態１に係る表示制御装置１００のハードウェア構成を示す図である。
表示制御装置１００の入力部１、位置情報取得部２、表示制御部３、重なり判定部４、入射方向取得部５、照合部６、ガイド生成部８、連動処理部９、接触判定部１０、コマンド実行部１１、解除判定部１２、ガイド表示解除部１３および表示部１４は、プロセッサ１０１がメモリ１０２に記憶されたプログラムを実行することにより、実現される。コマンドデータベース記憶部７は、メモリ１０２を構成する。また、複数のプロセッサ１０１および複数のメモリ１０２が連携して上述した機能を実行するように構成してもよい。

続いて、表示制御部３の詳細について図２を参照しながら説明を行う。
表示制御部３は、ポインタ表示制御部３１、可動領域表示制御部３２およびガイド表示制御部３３で構成されている。ポインタ表示制御部３１は、位置情報取得部２が取得した位置情報に基づいて、指定位置にポインタを表示する制御を行う。可動領域表示制御部３２は、位置情報取得部２が取得した位置情報に基づいて、指定位置に可動領域に表示する制御を行う。また、照合部６の照合結果に基づいて、可動領域を特定方向に伸長させて表示させる制御を行う。

ポインタ表示制御部３１および可動領域表示制御部３２は、連動処理部９から入力されるポインタの移動と可動領域の移動とを連動させて表示させる指示に基づいて、ポインタと可動領域の表示とを連動させる表示制御を行う。例えば、連動処理部９から連動指示が入力されている場合には、ポインタの位置情報のみに基づいてポインタと可動領域を指定位置に表示するように構成する。ガイド表示制御部３３は、ガイド生成部８が生成した誘導情報に基づいて、誘導領域、ガイド枠、コマンド領域およびキャンセル領域を指定位置に表示する制御を行う。なお、連動処理部９からポインタと可動領域との表示の連動を解除させる指示が入力されると、ポインタと可動領域との表示の連動を解除する。

ポインタ表示制御部３１、可動領域表示制御部３２およびガイド表示制御部３３は、ガイド表示解除部１３から誘導領域およびガイド枠の表示、コマンド領域の表示および可動領域の伸長表示の解除指示が入力されると、誘導領域およびガイド枠の表示、コマンド領域の表示および可動領域の伸長表示を解除する制御を行う。

次に、表示制御装置１００の動作について、図５を参照しながら説明する。
図５は、実施の形態１に係る表示制御装置１００の動作を示すフローチャートである。
表示制御装置１００の動作は、３つの処理（１）ガイド表示処理、（２）コマンド実行処理、（３）ガイド非表示処理に分けて説明を行う。３つの処理において、入力部１、位置情報取得部２、表示制御部３および重なり判定部４は常時稼働しているものとし、表示制御部３のポインタ表示制御部３１および可動領域表示制御部３２は、位置情報取得部２が取得した位置情報に基づいて、ポインタと可動領域を表示させる制御を行っているものとする。これにより、表示部１４には、ポインタおよび可動領域が表示されている。

（１）ガイド表示処理
まず、図５のフローチャートのステップＳＴ１からステップＳＴ９の処理を参照しながら、ガイド表示処理について説明する。
重なり判定部４は、位置情報取得部２が取得したポインタおよび可動領域の位置情報を参照し、ポインタと可動領域とが重なったか否か判定を行う（ステップＳＴ１）。ポインタと可動領域とが重なっていない場合（ステップＳＴ１；ＮＯ）、ステップＳＴ１の処理に戻る。一方、ポインタと可動領域とが重なった場合（ステップＳＴ１；ＹＥＳ）、入射方向取得部５は、バッファに蓄積された位置情報取得部２が取得したポインタの位置情報の履歴を参照し、ポインタが可動領域のいずれの方向から入射したかを示す入射方向を取得する（ステップＳＴ２）。

照合部６は、ステップＳＴ２で取得されたポインタの入射方向と、コマンドデータベース記憶部７に記憶されたコマンドデータベースとの照合を行い、入射方向に対応したコマンド情報を取得する（ステップＳＴ３）。ガイド生成部８は、ステップＳＴ３で取得されたコマンド情報に基づいて、ガイド領域、コマンド領域およびキャンセル領域を生成する（ステップＳＴ４）。

表示制御部３の可動領域表示制御部３２は、ステップＳＴ３で取得されたコマンド情報の可動領域の伸長を示す情報を参照し、特定方向に可動領域の伸長を指示する情報が記載されているか判定を行う（ステップＳＴ５）。特定方向に可動領域の伸長を指示する情報が記載されている場合（ステップＳＴ５；ＹＥＳ）、可動領域表示制御部３２は可動領域を特定方向に向けて伸長する表示制御を行う（ステップＳＴ６）。一方、特定方向に可動領域の伸長を指示する情報が記載されていない場合（ステップＳＴ５；ＮＯ）、ステップＳＴ７の処理に進む。ガイド表示制御部３３は、ステップＳＴ４で生成されたガイド領域、コマンド領域およびキャンセル領域に基づいて、表示部１４に誘導領域とガイド枠（以下、誘導領域とガイド枠の双方を示す場合、ガイド領域と称する）、コマンド領域およびキャンセル領域を表示する表示制御を行う（ステップＳＴ７）。

連動処理部９は、重なり判定部４の判定結果を参照し、ポインタと可動領域とが重なっていると判定されている場合（ステップＳＴ１；ＹＥＳ）、ポインタ表示制御部３１および可動領域表示制御部３２に対して、ポインタと可動領域の表示の連動を指示する（ステップＳＴ８）。ポインタ表示制御部３１および可動領域表示制御部３２は、ステップＳＴ８の指示に基づいて、ポインタと可動領域の表示を連動させる表示制御を行う（ステップＳＴ９）。

（２）コマンド実行処理
次に、図５のフローチャートのステップＳＴ１０からステップＳＴ１６の処理を参照しながら、コマンド実行処理について説明する。
なお、当該コマンド実行処理では、表示制御部３のポインタ表示制御部３１および可動領域表示制御部３２は、位置情報取得部２が取得した位置情報に基づいて、ポインタと可動領域を連動させて移動させる表示制御を行い、表示部１４には連動移動するポインタと可動領域が表示されている。
ステップＳＴ９の処理に続き、接触判定部１０は、可動領域表示制御部３２が表示制御を行う可動領域の位置情報と、ガイド表示制御部３３が表示制御を行うガイド枠の位置情報に基づいて、可動領域の外周がガイド枠に接触したか否か判定を行う（ステップＳＴ１０）。可動領域の外周がガイド枠に接触していない場合（ステップＳＴ１０；ＮＯ）、ステップＳＴ９の処理に戻る。

一方、可動領域の外周がガイド枠に接触した場合（ステップＳＴ１０；ＹＥＳ）、さらに接触判定部１０は可動領域の外周が、ガイド枠のうちコマンド領域が割り当てられたガイド枠に接触したか否か判定を行う（ステップＳＴ１１）。可動領域の外周が、コマンド領域が割り当てられたガイド枠に接触した場合（ステップＳＴ１１；ＹＥＳ）、コマンド実行部１１は、接触したガイド枠に割り当てられたコマンドを実行する（ステップＳＴ１２）。ガイド表示解除部１３は、ステップＳＴ１２においてコマンドが実行されると、ポインタ表示制御部３１、可動領域表示制御部３２およびガイド表示制御部３３に、ガイド表示解除指示を出力する（ステップＳＴ１３）。ガイド表示解除指示は、具体的にはガイド領域、コマンド領域の表示および可動領域の伸長表示の解除指示と、ポインタと可動領域の表示の連動の解除指示である。

ガイド表示制御部３３は、ステップＳＴ１３で入力されたガイド表示解除指示であるガイド領域とコマンド領域の表示解除指示に基づいて、ガイド領域およびコマンド領域を非表示にする表示制御を行う（ステップＳＴ１４）。可動領域表示制御部３２は、ステップＳＴ１３で入力されたガイド表示解除指示である可動領域の伸長表示の解除指示に基づいて、可動領域を伸長前のサイズに戻す表示制御を行う（ステップＳＴ１５）。さらに、ポインタ表示制御部３１および可動領域表示制御部３２は、ステップＳＴ１３で入力されたガイド表示解除指示であるポインタと可動領域の表示の連動の解除指示に基づいて、ポインタと可動領域の表示の連動を解除する表示制御を行う（ステップＳＴ１６）。その後、ステップＳＴ１の処理に戻り、上述した処理を繰り返す。

（３）ガイド非表示処理
最後に、図５のフローチャートのステップＳＴ１７からステップＳＴ２０の処理およびステップＳＴ１３からステップＳＴ１６の処理を参照しながら、ガイド非表示処理について説明する。
ガイド非表示処理は、上述したステップＳＴ１１の判定処理において、可動領域が、コマンド領域が割り当てられたガイド枠に接触していないと判定された場合（ステップＳＴ１１；ＮＯ）に行われるものであり、コマンド領域が割り当てられていないキャンセル領域に可動領域が接触した場合の処理である。

可動領域が、コマンド領域が割り当てられたガイド枠に接触していないと判定された場合（ステップＳＴ１１；ＮＯ）、連動処理部９はポインタがキャンセル領域方向へ移動しているか判定を行う（ステップＳＴ１７）。ポインタがキャンセル領域方向へ移動していない場合（ステップＳＴ１７；ＮＯ）、ステップＳＴ１０の処理に戻る。一方、ポインタがキャンセル領域方向へ移動している場合（ステップＳＴ１７；ＹＥＳ）、ポインタと可動領域の表示の連動を解除する表示制御をポインタ表示制御部３１および可動領域表示制御部３２に指示する（ステップＳＴ１８）。ポインタ表示制御部３１および可動領域表示制御部３２は、ステップＳＴ１８の指示に従い、位置情報取得部２が取得した位置情報に基づいてポインタおよび可動領域をそれぞれ個別に表示制御する（ステップＳＴ１９）。

次に、解除判定部１２は、重なり判定部４および接触判定部１０の判定結果に基づいて、ポインタが誘導領域外へ出たか否か判定を行う（ステップＳＴ２０）。ポインタが誘導領域外へ出た場合（ステップＳＴ２０；ＹＥＳ）、ステップＳＴ１３の処理に進む。一方、ポインタが誘導領域外へ出ていない場合（ステップＳＴ２０；ＮＯ）、ステップＳＴ１１の処理に戻り、上述した処理を繰り返す。

次に、図５のフローチャートについて、図６の具体例を参照しながら説明を行う。
図６は、実施の形態１に係る表示制御装置１００の画面表示例を示す図である。具体例を参照した説明においても３つの処理（１）ガイド表示処理、（２）コマンド実行処理、（３）ガイド非表示処理に分けて説明を行う。
まず、ガイド表示処理の開始前には、図６（ａ）で示す初期画面が表示部１４に表示されている。ポインタ表示制御部３１および可動領域表示制御部３２の表示制御に基づき、初期画面にはポインタ５０１および可動領域５０２が表示されている。

（１）ガイド表示処理
図６（ａ）に示す初期画面から、図６（ｂ）に示す画面に変化すると、重なり判定部４は、ステップＳＴ１としてポインタ５０１と可動領域５０２の重なりを判定する。入射方向取得部５は、図６（ｂ）の場合、ポインタが紙面の上方から下方に向かう矢印Ａ方向に移動したと判断し、ステップＳＴ２としてポインタの可動領域への入射方向を「下向き」と取得する。

照合部６は、ステップＳＴ３およびステップＳＴ４として、入射方向「下向き」と図３（ａ）で示したコマンドデータベースとの照合を行い、ポインタ５０１の入射方向に対して角度「０°」の位置に「ＯＫ」コマンド領域、入射方向に対して図３（ｂ）記載の角度「９０°」の位置に「ＮＧ」コマンド領域、入射角度に対して図３（ｂ）記載の角度「１８０°」および入射方向に対して図３（ｂ）記載の角度「−９０°」の位置にキャンセル領域を割り当てる情報、および可動領域を「ＯＫ」コマンド領域を割り当てた方向に伸長する情報を取得する。可動領域表示制御部３２は、ステップＳＴ５として、照合部６が取得した伸長情報を参照し、可動領域５０２を伸長するか否か判定を行う。図３（ａ）の場合、ステップＳＴ６の判定結果として、可動領域５０２を「ＯＫ」コマンド領域の割当方向に伸長して可動領域５０２ａとする。

ガイド生成部８は、図６（ｃ）に示すように、ステップＳＴ７としてガイド領域５０３、ガイド枠５０３ａに隣接する領域に「ＯＫ」コマンド領域５０４を表示し、ガイド枠５０３ｂに隣接する領域に「ＮＧ」コマンド領域５０５を表示する。また、ガイド枠５０３ｃおよび５０３ｄは、キャンセル領域であるキャンセル境界でもある。連動処理部９、ポインタ表示制御部３１および可動領域表示制御部３２は、ステップＳＴ８およびステップＳＴ９として、図６（ｃ）においてポインタ５０１と可動領域５０２の表示を連動させる表示制御を行う。

（２）コマンド実行処理
図６（ｃ）に示す画面において、ポインタ５０１および可動領域５０２ａが移動して、図６（ｄ）または図６（ｅ）に示す表示画面に変化した場合、接触判定部１０は、ステップＳＴ１０として可動領域５０２ａの外周がガイド領域５０３のガイド枠に接触したか判定を行う。さらに、ステップＳＴ１１として可動領域５０２ａの外周が「ＯＫ」コマンド領域５０４および「ＮＧ」コマンド領域５０５が割り当てられたガイド枠５０３ａ，５０３ｂに接触したか判定を行う。

図６（ｄ）に示す例の場合、ポインタ５０１が矢印Ｂで示した移動軌跡をたどり、可動領域５０２ａの外周が「ＯＫ」コマンド領域５０４が割り当てられたガイド枠５０３ａに接触したと判定される。また図６（ｅ）に示す例の場合、ポインタ５０１が矢印Ｃで示した移動軌跡をたどり、可動領域５０２の外周が「ＮＧ」コマンド領域５０５が割り当てられたガイド枠５０３ｂに接触したと判定される。

コマンド実行部１１は、ステップＳＴ１２として、図６（ｄ）の場合「ＯＫ」コマンドを実行し、図６（ｅ）の場合「ＮＧ」コマンドを実行する。ガイド表示解除部１３がステップＳＴ１３としてガイド表示解除指示を出力すると、ポインタ表示制御部３１、可動領域表示制御部３２およびガイド表示制御部３３は、ステップＳＴ１４からステップＳＴ１６として、図６（ｆ）および図６（ｇ）に示すように、ガイド領域５０３の表示、「ＯＫ」コマンド領域５０４および「ＮＧ」コマンド領域５０５の表示および可動領域５０２ａの伸長表示を解除し、ポインタ５０１と可動領域５０２のみの表示とする。なお、可動領域５０２内には実行したコマンド内容を表示してもよい。

（３）ガイド非表示処理
図６（ｃ）に示す画面において、ポインタ５０１が移動して、図６（ｈ）に示す表示画面に変化した場合、接触判定部１０は、ステップＳＴ１０として可動領域５０２の外周がガイド領域５０３のガイド枠に接触したか判定を行う。さらに、ステップＳＴ１１として可動領域５０２の外周がコマンド領域が割り当てられたガイド枠５０３ａ，５０３ｂに接触したか判定を行う。図６（ｈ）に示す例の場合、ポインタが矢印Ｄで示した移動軌跡をたどり、可動領域５０２ａの外周がコマンド領域が割り当てられていないガイド枠５０３ｃ、即ちキャンセル領域が割り当てられたガイド枠５０３ｃに接触したと判定される。

連動処理部９は、ステップＳＴ１７として、図６（ｈ）の場合、ポインタがキャンセル領域が設定されたガイド枠５０３ｃ，５０３ｄ方向へ移動していると判定し、ステップＳＴ１８として連動解除を指示する。ポインタ表示制御部３１および可動領域表示制御部３２は、ステップＳＴ１９として、図６（ｈ）の場合、可動領域５０２を移動させず、ポインタ５０１のみを移動させる。キャンセル領域が設定されたガイド枠５０３ｃ，５０３ｄ方向への移動のみにおいて、ポインタ５０１と可動領域５０２を個別に移動させる表示制御を行う。

解除判定部１２は、ステップＳＴ２０として、図６（ｈ）の場合、ポインタ５０１が誘導領域外に出たと判定する。その後、ステップＳＴ１３の処理に進む。ガイド表示解除部１３、ポインタ表示制御部３１および可動領域表示制御部３２は、ステップＳＴ１３からステップＳＴ１６として、図６（ｉ）に示すように、ガイド領域５０３、「ＯＫ」コマンド領域５０４および「ＮＧ」コマンド領域５０５の表示、および可動領域５０２ａの伸長表示を解除し、ポインタ５０１と可動領域５０２のみの表示とする。

次に、図７から図１０を参照しながら、実施の形態１の表示制御装置１００を適用した場合の効果について説明する。
図７から図１０は、実施の形態１の表示制御装置１００を適用した場合に得られる効果を示す図である。
図７（ａ）は、矢印Ｅで示した移動軌跡をたどり、ポインタ６０１が可動領域６０２と重なった場合を示し、図７（ｂ）は矢印Ｆで示した移動軌跡をたどり、ポインタ６０１が可動領域６０２と重なった場合を示している。図７（ａ）および図７（ｂ）共に、「ＯＫ」コマンド領域６０３ａ，６０３ｂは、ポインタ６０１の入射方向（矢印Ｅ，Ｆ）からの角度が「０°」の位置である。これは、入射方向取得部５が可動領域６０２にポインタ６０１が入射した方向を取得し、照合部６において入射方向に応じたコマンド情報を取得するため、ポインタ６０１の移動軌跡によらず、ポインタ６０１の可動領域６０２への入射方向に対してコマンド領域の割り当て位置が同一となる。これにより、図７（ａ）および図７（ｂ）に示すように、ポインタ６０１の移動軌跡の延長線上に「ＯＫ」コマンド領域６０３ａ，６０３ｂを配置することができ、ポインタ６０１を可動領域６０２に入射させる動作のみでコマンドの連続入力が可能となる。また、ポインタ６０１がどのような移動軌跡をたどった場合にも、コマンドの連続実行が可能な構成とすることができる。

図８は、ポインタ６０１の入射方向である矢印Ｇからの角度が「０°」の位置、即ち入射方向の延長線上にコマンド領域６０３ｃを割り当てない場合を示している。図３（ａ）で示したコマンドデータベースにおいて、コマンド領域６０３ｃをポインタ６０１の入射方向からの角度「０°」に割り当てないように予め設定しておく。照合部６はポインタ６０１の入射方向およびコマンドデータベースに基づいて、コマンド領域６０３ｃを図８（ａ）に示すようにポインタ６０１の入射方向からの角度「―９０°」の位置に割り当てる。これにより、ポインタ６０１が誤って可動領域を矢印Ｇ方向に直進して誘導領域外へ出た場合にも「ＯＫ」コマンドが実行されないように設定することができる。このように、コマンド領域の割り当て位置を考慮することにより、ユーザの誤入力を抑制することができる。

図９は、ポインタ６０１と可動領域６０２の表示の連動を示す図であり、ポインタ６０１と可動領域６０２の表示を連動させ、且つガイド領域６０４を介してコマンド領域６０３に設定されたコマンドを実行する構成である。接触判定部１０において、可動領域６０２の外周が、キャンセル領域が割り当てられたガイド枠６０４ａ，６０４ｂに接触したと判定され、且つ連動処理部９においてポインタ６０１がキャンセル領域が割り当てられたガイド枠６０４ａ，６０４ｂ方向に移動すると判定された場合には、連動処理部９、ポインタ表示制御部３１および可動領域表示制御部３２が、ポインタ６０１と可動領域６０２の表示の連動を解除し、ポインタ６０１と可動領域６０２が個別に移動する表示が行われる。

これにより、ユーザは、ポインタ６０１と可動領域６０２が重なっている場合に、ポインタ６０１と可動領域６０２はコマンド領域が割り当てられた方向に連動して移動すると認識することができる。そのため、図９（ｂ）に示すように、ポインタ６０１の移動軌跡が蛇行し、ユーザが意図せずキャンセル領域方向にポインタ６０１を移動させた場合に、ポインタ６０１と可動領域６０２の表示の連動が解除され、ユーザはコマンド領域６０３が割り当てられていない方向に移動していると認識することができる。ユーザは、ポインタ６０１の移動方向を改め、可動領域６０２をコマンド領域６０３が割り当てられた領域まで円滑に誘導することができる。

図１０は、ポインタが誘導領域外移動する場合を示す図である。
図１０（ａ）で示すポインタ６０１と可動領域６０２が重なっていない初期画面から、図１０（ｂ１）に示すポインタ６０１と可動領域６０２が重なった状態に変化する。コマンドデータベース記憶部７に記憶されたコマンドデータベースに可動領域６０２の伸長処理が設定されている場合に、図１０（ｂ１）および図１０（ｂ２）に示すように定義されている方向に可動領域を伸長する。ポインタ６０１は伸長された可動領域６０２ａを介して、移動軌跡Ｉａ，Ｉｂ，Ｉｃをたどりキャンセル領域が設定されたガイド枠６０４ａから誘導領域外に出る。これにより、図１０（ａ）に示すように可動領域６０２であるボタンが隣接して配置されている場合であっても、移動軌跡Ｉａ，Ｉｂ，Ｉｃをたどり、コマンド実行をキャンセルすることができる。

一方、図１０（ｃ１）および図１０（ｃ２）は、可動領域６０２を伸長せず、ガイド領域６０４の誘導領域の面積が可動領域６０２の面積に近似する場合を示している。この場合、図１０（ａ）の初期画面に戻すために、矢印Ｊａ，Ｊｂの移動軌跡をたどってポインタ６０１を移動させると、隣接する可動領域６０５にポインタ６０１が重なり、新たに可動領域６０５に対応したコマンド領域６０６およびガイド領域６０７が表示され、図１０（ａ）で示した初期状態に戻せない。

また、図１０（ｄ１）から図１０（ｄ３）に示した例では、可動領域６０２は伸長せず、ガイド領域６０４の誘導領域のみを伸長させた場合を示している。この場合、矢印Ｋａ、Ｋｂ，Ｋｃで示すように、ポインタ６０１による移動距離が長くなり、ポインタ６０１を操作するユーザの手ぶれが発生する。そのため、ユーザは意図しない方向にポインタ６０１を移動させてしまう可能性が生じる。
表示制御装置１００は、図１０（ｂ）で示したように、重なり判定部４がポインタ６０１と可動領域６０２の重なりを判定し、コマンドデータベースに予め可動領域６０２を適切に伸長する設定しておくことにより、可動領域表示制御部３２がコマンドデータベースに基づいた情報により、適切に可動領域を伸長して表示することができ、表示部１４の操作性を向上させることができる。

次に、実施の形態１の表示制御装置１００の適用例について図１１から図１３を参照しながら説明する。
図１１は、実施の形態１に係る表示制御装置１００をリストメニューの表示に適用した場合を示す説明図である。
図１１（ａ）では、表示部１４に、複数の可動領域７０２ａ，７０２ｂ，７０２ｃ，７０２ｄを同時に、並べて配置し、リストメニューを構成している。例えば、可動領域７０１ａはメニュー「Ｉｔｅｍ Ａ」を構成し、可動領域７０１ｂはメニュー「Ｉｔｅｍ Ｂ」を構成している。図１１（ａ）は、初期画面であり、ポインタ７０１はいずれの可動領域７０２ａ，７０２ｂ，７０２ｃ，７０２ｄとも重なっていない。当該初期画面において、ポインタ７０１を矢印Ｌ方向に移動させると、移動量に応じて図１１（ｂ），（ｃ），（ｅ），（ｆ）で示す画面に遷移する。

図１１（ｂ）において、重なり判定部４がポインタ７０１が可動領域７０２ａに重なったと判定すると、コマンド領域７０３ａ、ガイド領域７０４が表示され、可動領域７０２ａがコマンド領域７０３ａ配置方向に伸長される。図１１（ｂ）の例の場合、コマンドデータベース記憶部７に蓄積されたコマンドデータベースは、「ＯＫ」コマンド領域がポインタの入射方向からの角度「９０°」の方向に割り当てられ、当該コマンドの割当方向に可動領域の伸長処理を「する」と設定されている。また、キャンセル領域がポインタの入射方向からの角度「０°」、「１８０°」、「−９０°」の方向に割り当てられ、可動領域の伸長処理を「しない」と設定されている。

図１１（ｃ）において、重なり判定部４がポインタ７０１が可動領域７０２ｂに重なったと判定すると、コマンド領域７０３ｂおよびガイド領域７０４が表示され、可動領域７０２ｂがコマンド領域７０３ｂの割り当て方向に伸長される。さらに、図１１（ｄ）に示すようにポインタ７０１が矢印Ｌａ方向に移動すると、接触判定部１０が、可動領域７０２ｂの外周がガイド領域７０４のガイド枠に接触し、且つコマンド領域７０３ｂが割り当てられたガイド枠に接触したと判定し、コマンド実行部１１がコマンド領域７０３ｂに設定されたメニュー「Ｉｔｅｍ Ｂ」の選択を実行する。

図１１（ｆ）において、重なり判定部４がポインタ７０１が可動領域７０２ｄに重なったと判定すると、コマンド領域７０３ｄ，７０３ｅおよびガイド領域７０４が表示され、可動領域７０２ｄがコマンド領域７０３ｄ，７０３ｅの割り当て方向に伸長される。さらに、図１１（ｇ）に示すようにポインタ７０１が矢印Ｌｂ方向に移動すると、接触判定部１０が、可動領域７０２ｄの外周がガイド領域７０４のガイド枠に接触し、且つコマンド領域７０３ｅが割り当てられたガイド枠に接触したと判定し、コマンド実行部１１がコマンド領域７０３ｅに割り当てられたコマンド「Ｎｅｘｔ」を実行する。当該実行により、ページ「１/５」の「Ｉｔｅｍ Ａ」から「Ｉｔｅｍ Ｃ」の表示から、ページ「２/５」の「Ｉｔｅｍ Ｄ」から「Ｉｔｅｍ Ｆ」の表示に切り替わる。

図１２および図１３は、実施の形態１に係る表示制御装置１００を画像の移動表示に適用した場合を示す説明図である。
図１２（ａ）は可動領域８０２を八角形で構成した場合の表示例を示し、図１２（ｂ）は可動領域８０２を八角形で構成した場合のコマンドデータベースの構成例を示す図である。
可動領域８０２は矩形に限定されるものではなく、図１２（ａ）に示す八角形やその他の多角形で構成することができる。可動領域８０２が八角形の場合、入射方向取得部５は、ポインタ８０１の入射方向を８方向で特定する。照合部６は、入射方向取得部５が取得した入射方向とコマンドデータベース記憶部７に記憶されたコマンドデータベースとの照合を行い、８方向の入射方向に対応したコマンド情報を取得する。

コマンドデータベースは、図３（ａ）と同様に「コマンド」、「ポインタの入射方向からの角度」および「可動領域の伸長処理」で構成される。「進入方向への移動矢印」コマンドはポインタの入射方向からの角度「０°」の位置に配置し、「反進入方向への移動矢印」コマンドはポインタの入射方向からの角度「１８０°」の位置に配置することが定義されている。ここで、「進入方向への移動矢印」コマンドはポインタが可動領域内に進入した方向に背景画像を移動させるコマンドであり、「反進入方向への移動矢印」コマンドはポインタが可動領域内に進入した方向と反対方向に背景画像を移動させるコマンドである。「キャンセル」コマンドはポインタの入射方向からの角度「４５°」，「９０°」，「１３５°」，「−４５°」，「−９０°」，「−１３５°」の位置に配置することが定義されている。可動領域の伸長処理は全てのコマンドについて「しない」と定義されている。

図１２（ｂ）で示したコマンドデータベースと入射方向取得部５が取得した入射方向との照合結果を図１２（ａ）に示しており、ポインタ８０１が可動領域８０２に矢印Ｍ方向から入射した場合に、矢印Ｍ方向からの角度「０°」の位置に「進入方向への移動矢印」を表示したコマンド領域８０３ａが割り当てられ、矢印Ｍ方向からの角度「１８０°」の位置に「非進入方向への移動矢印」を表示したコマンド領域８０３ｂが割り当てられる。

図１３（ａ）から図１３（ｆ）は、ポインタの入射方向に応じた画像の移動を示す説明図である。
図１３（ａ）および図１３（ｂ）は、ポインタ８０１が可動領域８０２に矢印Ｍ方向から入射し、当該入射方向に対応したコマンド情報に基づいて、ガイド表示制御部３３がコマンド領域８０３ａ，８０３ｂ、ガイド領域８０４、およびキャンセル領域（不図示）を表示する。さらに可動領域８０２が矢印Ｍ方向に移動し、可動領域８０２の外周が「進入方向への移動矢印」コマンド領域が割り当てられたガイド領域８０４のガイド枠に接触し、接触判定部１０が可動領域８０２の外周がコマンド領域８０３ａが割り当てられたガイド領域８０４のガイド枠に接触したと判定し、コマンド実行部１１がコマンド領域８０３ａに割り当てられたコマンドを実行し、画像Ｘがポインタ８０１の進入方向へ移動され、画像Ｘａとなる。

図１３（ｃ）および図１３（ｄ）は、ポインタ８０１が可動領域８０２に矢印Ｎ方向から入射し、当該入射方向に対応したコマンド情報に基づいて、ガイド表示制御部３３がコマンド領域８０３ｃ，８０３ｄ、ガイド領域８０４、およびキャンセル領域（不図示）を表示する。さらに可動領域８０２が矢印Ｎ方向に移動し、可動領域８０２の外周が「進入方向への移動矢印」コマンド領域が割り当てられたガイド領域８０４のガイド枠に接触し、接触判定部１０が可動領域８０２の外周がコマンド領域８０３ｃが割り当てられたガイド領域８０４のガイド枠に接触したと判定し、コマンド実行部１１がコマンド領域８０３ｃに割り当てられたコマンドを実行し、画像Ｘがポインタ８０１の進入方向へ移動され、画像Ｘｂとなる。

図１３（ｅ）および図１３（ｆ）は、ポインタ８０１が可動領域８０２に矢印Ｏ方向から入射し、等が入射方向に対応したコマンド情報に基づいて、ガイド表示制御部３３がコマンド領域８０３ｅ，８０３ｆ、ガイド領域８０４、およびキャンセル領域（不図示）を表示する。さらに可動領域８０２が矢印Ｏ方向に移動し、可動領域８０２の外周が「進入方向への移動矢印」コマンド領域が割り当てられたガイド領域８０４のガイド枠に接触し、接触判定部１０が可動領域８０２がコマンド領域８０３ｅが割り当てられたガイド枠に接触したと判定し、コマンド実行部１１がコマンド領域８０３ｅに割り当てられたコマンドを実行し、画像Ｘがポインタ８０１の進入方向へ移動され、画像Ｘｃとなる。

以上のようにこの実施の形態１によれば、重なり判定部４がポインタと可動領域とが重なっていると判定した場合に、ポインタが可動領域のいずれの方向から可動領域内に入射したかを示す入射方向を取得する入射方向取得部５と、取得した入射方向とコマンドデータベースとを照合してコマンド情報を取得する照合部６と、照合部６が取得したコマンド情報から誘導情報を生成するガイド生成部８と、生成した誘導情報に基づいてガイド領域、コマンド領域およびキャンセル領域の表示制御を行うガイド表示制御部３３を備えるように構成したので、ポインタを誘導する可動領域、可動領域を誘導するガイド領域およびコマンド領域を表示部１４のどこにでも配置することができる。
また、ポインタが可動領域のいずれの方向から入射したかに基づいてコマンド領域の割り当て位置が決定されるため、ポインタの移動軌跡に依存することなく、コマンドの実行を行うことができる。また、容易にコマンドを連続して実行させることができる。
さらに、可動領域および誘導領域を介してポインタが移動するため、ポインタを操作するユーザの手ぶれを吸収し、円滑にコマンド実行に導くことができる。また、ユーザの手指に対して奥行検知手段を設けることなく、ユーザが手指を静止する動作を必要とせず、ユーザが手指を空間上で動かすのみでコマンドを実行することができる。

また、この実施の形態１によれば、コマンドデータベースに、特定方向に向けて可動領域を伸長させて表示する設定が記載されていた場合に、可動領域表示制御部３２が可動領域を特定方向に伸長させる表示制御を行うように構成したので、ポインタの移動距離を短くすることができ、ポインタを操作するユーザの手ぶれを吸収することができる。

また、この実施の形態１によれば、接触判定部１０が、可動領域の外周がコマンド領域が割り当てられていないガイド枠に接触していると判定した場合に、連動処理部９がキャンセル領域が設定されたガイド枠方向への移動においてのみポインタと可動領域の表示の連動を解除するように構成したので、ユーザがポインタと可動領域は、コマンド領域が割り当てられたガイド枠方向には連動して移動すると認識することができ、ユーザはポインタと可動領域が連動移動していない場合に、ポインタがキャンセル領域方向に移動していると認識することができる。これにより、ユーザが意図せずにポインタをキャンセル領域方向に移動させている場合には、ポインタの移動方向を改めることができる。

また、この実施の形態１によれば、照合部６は、ポインタの入射方向に基づいてコマンド領域の割り当て位置を設定したコマンドデータベースを参照するように構成したので、コマンド領域の割り当て位置を考慮することにより、ユーザがコマンドを誤って選択するのを抑制することができる。

また、この実施の形態１によれば、複数の可動領域を同時に表示することにより、リスト表示など様々なユーザインタフェースに適用することができる。

また、この実施の形態１によれば、どのような形状であっても可動領域を構成することができ、方向入力など様々なユーザインタフェースに適用することができる。

実施の形態２．
この実施の形態２では、表示部１４に複数の可動領域および複数のコマンド領域を表示する場合について説明する。
図１４は、実施の形態２に係る表示制御装置１００ａが表示制御を行った結果である表示例を示す図である。
ポインタ９０１がコマンド表示領域９０２内に入ると、複数の可動領域９０３、複数の誘導領域と複数のガイド枠（以下、ガイド領域と称する）９０４および複数のコマンド領域９０５を表示する表示制御が行われる。図１４に示した状態において、ポインタ９０１が移動し、重なり判定部４がポインタ９０１といずれかの可動領域９０３が重なったと判定すると、上述した実施の形態１で示した表示制御処理が行われる。

図１５は、実施の形態２に係る表示制御装置１００ａの構成を示すブロック図である。なお、以下では、実施の形態１に係る表示制御装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
表示制御装置１００ａは、実施の形態１で示した入射方向取得部５、照合部６、コマンドデータベース記憶部７、ガイド生成部８に換えてポインタ位置判定部１５および表示情報記憶部１６を設けている。

ポインタ位置判定部１５は、位置情報取得部２が取得したポインタの位置情報を参照し、ポインタがコマンド表示領域内に位置するか判定を行う。コマンド表示領域は、表示部１４の表示領域内に予め設定された領域であり、当該領域にポインタが入射すると、コマンドが表示される。ポインタがコマンド表示領域に位置する場合、ポインタ位置判定部１５は、可動領域表示制御部３２ａおよびガイド表示制御部３３ａに対して可動領域、ガイド領域およびコマンド領域の表示を指示する。可動領域表示制御部３２ａは表示情報記憶部１６に記憶された表示情報を参照し、複数の可動領域を表示部１４に表示する表示制御を行う。ガイド表示制御部３３ａは表示情報記憶部１６に記憶された表示情報を参照し、ガイド領域を表示部１４に表示する制御を行う。

表示情報記憶部１６は、可動領域の表示サイズおよび表示位置、誘導領域および各ガイド枠の表示サイズおよび表示位置、コマンドの表示内容、コマンド領域の配置サイズおよびコマンド領域の配置位置を示す表示情報を記憶している。重なり判定部４は、判定結果を連動処理部９および解除判定部１２に出力する。コマンド実行部１１は、コマンドを実行を制御すると、解除判定部１２ａに通知する。解除判定部１２ａは、重なり判定部４および接触判定部１０の判定結果を参照し、ポインタがコマンド表示領域外に出たと判定されたか判定を行う。ガイド表示解除部１３ａは、解除判定部１２ａにおいてポインタがコマンド表示領域外に出たと判定された場合にのみ、ガイド領域の表示を解除する指示を表示制御部３に出力する。

次に、表示制御装置１００ａの動作について、図１６を参照しながら説明する。
図１６は、実施の形態２に係る表示制御装置１００ａの動作を示すフローチャートである。以下では実施の形態１に係る表示制御装置１００と同一のステップには図５で使用した符号と同一の符号を付し、説明を省略または簡略化する。
表示制御装置１００ａの動作も、３つの処理（１）ガイド表示処理、（２）コマンド実行処理、（３）ガイド非表示処理に分けて説明を行う。３つの処理において、入力部１、位置情報取得部２および表示制御部３は常時稼働しているものとし、表示部１４にはコマンド表示領域が予め表示され、表示制御部３のポインタ表示制御部３１が、位置情報取得部２が取得した位置情報に基づいてポインタを表示させる制御を行っているものとする。

（１）ガイド表示処理
まず、図１６のフローチャートのステップＳＴ３１からステップＳＴ３３、ステップＳＴ８およびステップＳＴ９の処理を参照しながら、ガイド表示処理について説明する。
ポインタ位置判定部１５は、位置情報取得部２が取得したポインタの位置情報を参照し、ポインタがコマンド表示領域内に位置するか否か判定を行う（ステップＳＴ３１）。ポインタがコマンド表示領域内に位置しない場合（ステップＳＴ３１；ＮＯ）、ステップＳＴ３１の処理に戻る。一方、ポインタがコマンド表示領域内に位置する場合（ステップＳＴ３１；ＹＥＳ）、可動領域表示制御部３２ａおよびガイド表示制御部３３ａは表示情報記憶部１６に記憶された表示情報を参照し、複数の可動領域、複数のガイド領域および複数のコマンド領域を表示する表示制御を行う（ステップＳＴ３２）。

重なり判定部４は、位置情報取得部２が取得したポインタおよび可動領域の位置情報を参照し、ポインタと可動領域とが重なったか否か判定を行う（ステップＳＴ３３）。ポインタと可動領域とが重なっていない場合（ステップＳＴ３３；ＮＯ）、ステップＳＴ３３の処理に戻る。一方、ポインタと可動領域とが重なった場合（ステップＳＴ３３；ＹＥＳ）、連動処理部９は、ポインタ表示制御部３１および可動領域表示制御部３２ａに対して、ポインタと可動領域の表示の連動を指示する（ステップＳＴ８）。ポインタ表示制御部３１および可動領域表示制御部３２ａは、ステップＳＴ８の指示に基づいて、表示部１４に表示しているポインタと可動領域の表示を連動させる表示制御を行う（ステップＳＴ９）。

（２）コマンド実行処理
次に、図１６のフローチャートのステップＳＴ１０からステップＳＴ１２およびステップＳＴ３４からステップＳＴ３７の処理を参照しながら、コマンド実行処理について説明する。
ステップＳＴ１０からステップＳＴ１２の処理が行われてコマンドが実行されると、解除判定部１２ａは、重なり判定部４および接触判定部１０の判定結果を参照し、ポインタがコマンド表示領域外に出たか否か判定を行う（ステップＳＴ３４）。ポインタがコマンド表示領域外に出ていない場合（ステップＳＴ３４；ＮＯ）、ステップＳＴ３３の処理に戻る。一方、ポインタがコマンド表示領域外に出た場合（ステップＳＴ３４；ＹＥＳ）、ガイド表示解除部１３ａは、ポインタ表示制御部３１、可動領域表示制御部３２ａおよびガイド表示制御部３３ａに、ガイド表示解除指示を出力する（ステップＳＴ３５）。ガイド表示解除指示は、具体的にはガイド領域、コマンド領域および可動領域の非表示指示である。

ガイド表示制御部３３ａは、ステップＳＴ３５で入力されたガイド表示解除指示であるガイド領域とコマンド領域の非表示指示に基づいて、ガイド領域およびコマンド領域を非表示にする表示制御を行う（ステップＳＴ３６）。可動領域表示制御部３２ａは、ステップＳＴ３５で入力された可動領域の非表示指示に基づいて、可動領域を非表示にする表示制御を行う（ステップＳＴ３７）。その後、ステップＳＴ３１の処理に戻り、上述した処理を繰り返す。

（３）ガイド非表示処理
最後に、図１６のフローチャートのステップＳＴ１７からステップＳＴ１９の処理およびステップＳＴ３４からステップＳＴ３７の処理を参照しながら、ガイド非表示処理について説明する。
ガイド非表示処理は、上述したステップＳＴ１１の判定処理において、可動領域が、コマンド領域が割り当てられたガイド枠に接触していないと判定された場合（ステップＳＴ１１；ＮＯ）に行われるものであり、コマンド領域が割り当てられていないキャンセル領域に可動領域が接触した場合の処理である。

可動領域が、コマンド領域が割り当てられたガイド枠に接触していないと判定された場合（ステップＳＴ１１；ＮＯ）、連動処理部９はポインタがキャンセル領域方向へ移動しているか判定を行う（ステップＳＴ１７）。キャンセル領域方向へ移動していない場合（ステップＳＴ１７；ＮＯ）、ステップＳＴ１０の処理に戻る。一方、キャンセル領域方向へ移動している場合（ステップＳＴ１７；ＹＥＳ）、ポインタと可動領域の表示の連動を解除する表示制御をポインタ表示制御部３１および可動領域表示制御部３２ａに指示する（ステップＳＴ１８）。ポインタ表示制御部３１および可動領域表示制御部３２ａは、ステップＳＴ１８の指示に基づき、位置情報取得部２が取得した位置情報に基づいてポインタおよび可動領域をそれぞれ個別に表示制御する（ステップＳＴ１９）。その後、ステップＳＴ３４の判定処理に進む。

次に、図１６のフローチャートについて、図１７の具体例を参照しながら説明を行う。
図１７は、実施の形態２に係る表示制御装置１００ａの画面表示例を示す図であり、表示制御装置１００ａを数値入力に適用した場合を示す説明図である。
ポインタ位置判定部１５は、ステップＳＴ３１として、ポインタ９０１がコマンド表示領域９０２内に位置するか判定する。図１７に示すように、ポインタ９０１ａがコマンド表示領域９０２内に位置する場合、可動領域表示制御部３２ａおよびガイド表示制御部３３ａは、ステップＳＴ３２として、複数の可動領域９０３、複数のガイド領域９０４および複数のコマンド領域９０５を表示する表示制御を行う（ステップＳＴ３２）。

重なり判定部４は、ステップＳＴ３３としてポインタ９０１と可動領域９０３の重なりを判定する。図１７に示すように、ポインタ９０１ｂと可動領域９０３ａが重なる。連動処理部９、ポインタ表示制御部３１および可動領域表示制御部３２ａは、ステップＳＴ８およびステップＳＴ９として、図１７においてポインタ９０１ｂと可動領域９０３ａの表示を連動させる表示制御を行う。

接触判定部１０は、ステップＳＴ１０およびステップＳＴ１１として、可動領域９０３ａがガイド領域９０４のガイド枠に接触し、且つコマンド領域９０５が割り当てられたガイド枠に接触したか判定を行う。図１７に示す例の場合、接触判定部１０は、可動領域９０３ａがコマンド領域９０５ａが割り当てられたガイド領域９０４ａのガイド枠に接触したと判定する。コマンド実行部１１は、ステップＳＴ１２として、コマンド「６」の選択を実行する。解除判定部１２ａは、ステップＳＴ３４として、ポインタ９０１がコマンド表示領域９０２外に出たか判定する。図１７に示す例の場合、ポインタ９０１ａはコマンド表示領域９０２外に出ることなく、ステップＳＴ３３、ステップＳＴ８からステップＳＴ１２の処理を繰り返し、コマンド「０」の選択を実行し、コマンド「Ｅｎｔ」の選択を実行する。

その後、解除判定部１２ａが、ステップＳＴ３４として、ポインタ９０１がコマンド表示領域９０２外に出たと判定すると、ガイド表示解除部１３ａが、ステップＳＴ３５として、ガイド表示解除指示を出力する。ガイド表示制御部３３ａは、ステップＳＴ３６として、ガイド領域９０４およびコマンド領域９０５を非表示にする表示制御を行う。可動領域表示制御部３２ａは、ステップＳＴ３７として可動領域９０３を非表示にする表示制御を行う。
なお、図１７に示すように、表示制御部３は、コマンド実行部１１が実行したコマンドの選択結果、例えば「６００」を示す数値９０６を、表示部１４に表示するように構成してもよい。また、ガイド領域９０４およびコマンド領域９０５を非表示にする表示制御が行われた場合に、数値９０６の表示は残しておくように構成してもよい。

以上のように、この実施の形態２によれば、ポインタがコマンド表示領域内に位置するか判定するポインタ位置判定部１５と、ポインタがコマンド表示領域内に位置すると判定された場合に、表示情報記憶部１６に記憶された表示情報を参照し、可動領域、ガイド枠およびコマンドを表示する表示制御を行う可動領域表示制御部３２ａおよびガイド表示制御部３３ａとを備えるように構成したので、複数の可動領域と、複数のガイド枠と、複数のコマンドを並べて表示することができる。これにより、表示制御装置１００ａを複数配置されたコマンドを連続して実行するユーザインタフェースに適用することが可能である。例えば、表示制御装置１００ａを数値入力に適用し、ユーザのジェスチャー操作により数値入力を実行する構成とすることができる。

上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る表示制御装置は、ユーザのジェスチャー操作のみでコマンドの実行を可能とする表示画面を提供することができ、ヘッドマウントディスプレイなどの装着型の画像表示装置、およびテレビ、プロジェクタなどの画像表示装置に適用することができる。

１ 入力部、２ 位置情報取得部、３ 表示制御部、４ 重なり判定部、５ 入射方向取得部、６ 照合部、７ コマンドデータベース記憶部、８ ガイド生成部、９ 連動処理部、１０ 接触判定部、１１ コマンド実行部、１２，１２ａ 解除判定部、１３，１３ａ ガイド表示解除部、１４ 表示部、１５ ポインタ位置判定部、１６ 表示情報記憶部、３１ ポインタ表示制御部、３２，３２ａ 可動領域表示制御部、３３，３３ａ ガイド表示制御部、１００，１００ａ 表示制御装置、１０１ プロセッサ、１０２ メモリ、２００ ヘッドマウントディスプレイ。

Claims (7)

1. ユーザ操作に伴って移動するポインタの表示位置と、前記ポインタの移動を誘導する可動領域の表示位置とが重なっている場合に、前記ポインタが前記可動領域に入射した方向を取得する入射方向取得部と、
   前記入射方向取得部が取得した入射方向に基づいた表示情報を取得する照合部と、
   前記照合部が取得した表示情報に基づいて、前記ポインタおよび前記可動領域を誘導するガイド領域を生成するガイド生成部と、
   前記ポインタ、前記可動領域および前記ガイド生成部が生成したガイド領域を表示する制御を行う表示制御部とを備えた表示制御装置。
2. 前記ガイド生成部は、前記照合部が取得した前記表示情報に基づいて、前記入射方向に応じて前記ガイド領域に割り当てる領域であって、当該領域に前記ポインタが入射することにより、当該領域に設定されたコマンドが実行されるコマンド領域と、前記ポインタおよび前記可動領域を前記コマンド領域に誘導する誘導領域と、前記ポインタおよび前記可動領域の前記コマンド領域への誘導を解除する解除領域とを生成することを特徴とする請求項１記載の表示制御装置。
3. 前記ポインタの表示位置と前記可動領域の表示位置が重なっている場合に、前記表示制御部に対して、前記ポインタと前記可動領域の表示とを連動させる連動処理部を備え、
   前記表示制御部は、前記連動処理部の連動指示に基づいて、前記ポインタと前記可動領域を連動させて表示する制御を行うことを特徴とする請求項１記載の表示制御装置。
4. 前記照合部は、前記入射方向に対して特定方向に前記可動領域を伸長して表示させる前記表示情報を取得し、
   前記表示制御部は、前記照合部が取得した前記表示情報に基づいて、前記可動領域を前記特定方向に伸長させて表示する制御を行うことを特徴とする請求項１記載の表示制御装置。
5. 前記表示制御部の制御に基づいて表示された前記可動領域と前記ガイド領域との接触を判定する接触判定部と、
   前記接触判定部が、前記可動領域と前記ガイド領域とが接触していると判定した場合に、前記可動領域と前記ガイド領域とが接触した領域に割り当てられたコマンド領域に設定されたコマンドを実行するコマンド実行部とを備えたことを特徴とする請求項２記載の表示制御装置。
6. 前記表示制御部の制御に基づいて表示された前記可動領域と前記ガイド領域との接触を判定する接触判定部を備え、
   前記ガイド生成部は、前記照合部が取得した前記表示情報に基づいて、前記入射方向に応じて前記ガイド領域に割り当てる領域であって、当該領域に前記ポインタが入射することにより、当該領域に設定されたコマンドが実行されるコマンド領域と、前記ポインタおよび前記可動領域を前記コマンド領域に誘導する誘導領域と、前記ポインタおよび前記可動領域の前記コマンド領域への誘導を解除する解除領域とを生成し、
   前記連動処理部は、前記接触判定部が、前記可動領域と前記解除領域が割り当てられた前記ガイド領域とが接触していると判定した場合に、前記解除領域の割り当て方向への移動について前記ポインタと前記可動領域の表示の連動を解除することを特徴とする請求項３記載の表示制御装置。
7. 画像を表示する表示部と、
   ユーザ操作を撮像する撮像部と、
   前記撮像部が撮像した前記ユーザ操作を示す画像を解析し、前記ユーザ操作に伴って移動するポインタの表示位置と、前記ポインタの移動を誘導する可動領域の表示位置とを取得する位置情報取得部と、
   前記位置情報取得部が取得した前記ポインタの表示位置と、前記可動領域の表示位置とが重なっている場合に、前記ポインタが前記可動領域に入射した方向を取得する入射方向取得部と、
   前記入射方向取得部が取得した入射方向に基づいた表示情報を取得する照合部と、
   前記照合部が取得した表示情報に基づいて、前記ポインタおよび前記可動領域を誘導するガイド領域を生成するガイド生成部と、
   前記ポインタ、前記可動領域および前記ガイド生成部が生成したガイド領域を前記表示部に表示する制御を行う表示制御部とを備えた画像表示装置。

Images