JP6062416B2 - 情報入力装置及び情報表示方法 - Google Patents

Description

本発明は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する情報入力装置及び情報表示方法に関し、特に、３次元空間における指示物の位置等に基づいて情報を入力する装置及び情報を表示する方法に関する。

近年、コンピュータ技術の発展と、情報端末の高機能化に伴い、様々なＧＵＩが提案されている（例えば、特許文献１参照）。

特許文献１では、表示画面上のポインタとスクロール対象画像との位置関係が予め定められた関係になったときにポインタを操作することで、スクロール速度及び方向を制御する仮想感覚提示装置が提案されている。これによれば、仮想の皮膚感覚・力感覚や仮想の平衡感覚を、確実に提示することができる仮想感覚提示装置を提供されるというものである。

国際公開第２００８／１１１２４５号

しかしながら、特許文献１の技術では、ユーザが操作するつもりがなくてポインタを移動させている場合であっても、偶然に、ポインタとスクロール対象画像との位置関係が予め定められた関係になったときには、スクロールが開始されてしまう。そのために、ユーザが意図しない機能が実行されてしまうという問題がある。

そこで、本発明は、上記課題に鑑みてなされたものであり、偶然のポインティング操作によってユーザが意図しない機器の機能が実行されてしまうことを回避した情報入力装置等を提供することを目的とする。

上記目的を達成するために、本発明に係る情報入力装置の一形態は、表示画面に表示された画像に対するユーザの指示を取得する情報入力装置であって、３次元空間における指示物の位置及び向きの少なくとも一方を検出する指示物検出部と、前記指示物検出部で検出された前記指示物の３次元空間における位置及び向きの少なくとも一方に対応させて、前記表示画面に表示するポインタの前記表示画面における位置を決定するポインタ位置決定部と、前記ポインタ位置決定部で決定された位置を示す位置情報の時系列を取得して保持する記憶部と、前記記憶部に記憶された時系列の位置情報を用いて、前記表示画面における予め定められた領域である第１特定領域を前記ポインタが通過したことを検出する第１通過検出部と、前記第１通過検出部によって前記通過が検出された場合に、前記ポインタが前記第１特定領域を通過したときの方向を判別する方向判別部と、前記方向判別部によって判別された方向に応じて、前記表示画面に表示されている画像を変更する第１画像変更部と、前記記憶部に記憶された時系列の位置情報を用いて、前記ポインタが前記表示画面上における繰り返し運動をしていることを検出する繰り返し検出部と、前記第１通過検出部によって前記通過が検出された後に、前記繰り返し検出部による検出を有効化する繰り返し検出有効化部と、前記繰り返し検出部によって有効な検出が行われた場合に、前記画像の変更を繰り返す第２画像変更部と、を備える。

また、上記目的を達成するために、本発明に係る情報表示方法の一形態は、コンピュータによって実行される情報表示方法であって、少なくとも一つのアイテムを表示画面に表示する表示ステップと、３次元空間における指示物の位置及び向きの少なくとも一方を検出することによって、ユーザからの指示を取得する指示取得ステップとを含み、前記表示ステップは、前記指示取得ステップで取得されたユーザの指示に従って前記少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モードと、前記第１モードで選択された前記少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モードとを有し、前記指示取得ステップで取得されたユーザの指示が、前記表示画面に設定された少なくとも二つの領域の一つから他方への移動である場合に、前記第１モードから前記第２モード、又は、前記第２モードから第１モードに変更し、前記表示ステップは、少なくとも一つのアイテムをグループの要素とする、複数のグループを前記表示画面に表示し、前記第１モードでは、前記複数のグループのうちの第１グループに属するアイテムが選択可能であり、前記複数のグループのうちの第２グループに属するアイテムが選択不可能である。

なお、以上の全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明により、偶然のポインティング操作によってユーザが意図しない機器の機能が実行されてしまうことを回避した情報入力装置等が提供される。

これにより、ユーザの意図が確実に反映される操作性に優れたＧＵＩが実現され、広く情報端末装置が普及してきた今日における本発明の実用的価値は極めて高い。

図１は、本発明の実施の形態における情報入力装置の外観図である。 図２は、同情報入力装置のハードウェア構成を示す図である。 図３は、同情報入力装置の機能ブロック図である。 図４は、同情報入力装置の動作を示すフローチャートである。 図５Ａは、同情報入力装置の特徴的な動作（スクロール）の一例を説明する図である。 図５Ｂは、同情報入力装置の特徴的な動作（アイコンの選択動作）の一例を説明する図である。 図６は、本発明の実施例１における情報入力装置の機能ブロック図である。 図７は、同情報入力装置の動作を示すフローチャートである。 図８は、繰り返し運動の検出手順を示すユーザ・インタラクションの例を示す図である。 図９は、典型的な繰り返し運動のユーザ・インタラクションの例を示す図である。 図１０は、往復運動による繰り返し運動のユーザ・インタラクションの例を示す図である。 図１１は、同情報入力装置の動作のうち、繰り返し運動の終了に関する動作を示すフローチャートである。 図１２Ａは、図１１に示される繰り返し運動の終了操作に関するユーザ・インタラクション（終了操作の直前）の例を示す図である。 図１２Ｂは、図１１に示される繰り返し運動の終了操作に関するユーザ・インタラクション（終了操作）の例を示す図である。 図１３は、同情報入力装置の動作のうち、繰り返し運動の終了用のマーカである第２特定領域の位置の決定に関する動作を示すフローチャートである。 図１４は、図１３に示される第２特定領域の位置が異なる２つのケースにおけるユーザ・インタラクション例を示す図である。 図１５は、繰り返し検出部による往復運動の検出ロジックを説明する図である。 図１６は、繰り返し検出部による回転運動の検出ロジックを説明する図である。 図１７は、本発明の実施例２における情報入力装置の機能ブロック図である。 図１８は、同情報入力装置の基本動作を示すフローチャートである。 図１９は、同情報入力装置の動作のうち、ポインタが予め定められた２つの方向を通過した場合における動作を示すフローチャートである。 図２０は、同情報入力装置が備える方向決定部の基本動作を示すフローチャートである。 図２１は、同情報入力装置が備える方向決定部動作のうち、主操作方向を考慮した動作を示すフローチャートである。 図２２は、図１９に示される動作に対応するユーザ・インタラクションの例を示す図である。 図２３Ａは、図２０に示される動作（第１特定領域の位置・粗密に依存する動作）に対応するユーザ・インタラクションの例を示す図である。 図２３Ｂは、図２０に示される動作（第１特定領域の位置・粗密に依存する動作）に対応するユーザ・インタラクションの別の例を示す図である。 図２４は、図２０に示される動作（ユーザの手・指の姿勢に依存する動作）に対応するユーザ・インタラクションの例を示す図である。 図２５は、図２０に示される動作（ユーザの手・指の姿勢に依存する動作）の詳細手順を示す図である。 図２６は、図２１に示される動作（主操作方向の決定）に対応するユーザ・インタラクションの例を示す図である。 図２７は、図２１に示される動作（主操作方向に依存した動作）に対応するユーザ・インタラクションの例を示す図である。 図２８は、本発明の実施例３における情報表示方法を示すフローチャートである。 図２９は、図２８に示された表示ステップにおける状態遷移を示す図である。 図３０は、２つのモード間でのモード遷移の画面表示例を示す図である。 図３１は、図２８に示された表示ステップにおける状態遷移の別の一例を示す図である。 図３２は、３つのモード間でのモード遷移の画面表示例を示す図である。

（本発明の概要）
上記目的を達成するために、本発明に係る情報入力装置の一形態は、表示画面に表示された画像に対するユーザの指示を取得する情報入力装置であって、３次元空間における指示物の位置及び向きの少なくとも一方を検出する指示物検出部と、前記指示物検出部で検出された前記指示物の３次元空間における位置及び向きの少なくとも一方に対応させて、前記表示画面に表示するポインタの前記表示画面における位置を決定するポインタ位置決定部と、前記ポインタ位置決定部で決定された位置を示す位置情報の時系列を取得して保持する記憶部と、前記記憶部に記憶された位置情報の時系列を用いて、前記表示画面における予め定められた領域である第１特定領域を前記ポインタが通過したことを検出する第１通過検出部と、前記第１通過検出部によって前記通過が検出された場合に、前記ポインタが前記第１特定領域を通過したときの方向を判別する方向判別部と、前記方向判別部によって判別された方向に応じて、前記表示画面に表示されている画像を変更する第１画像変更部とを備える。

これにより、ポインタが第１特定領域を通過した場合に、その通過した方向に応じて、アクションが決定されるので、従来技術のように偶然のポインティング操作によってユーザが意図しない機器の機能が実行されてしまうという不具合が回避される。つまり、ユーザは、ポインティング操作と選択操作とを連続的かつ確実な操作として行うことができる。

ここで、具体的には、前記第１特定領域は、前記表示画面に表示された少なくとも一本の線分であり、前記第１通過検出部は、前記ポインタが前記少なくとも一本の線分のうちの一本を交差するように通過したことを検出し、前記第１画像変更部は、前記方向判別部によって判別された方向に沿って、前記画像をスクロールさせてもよい。より詳しくは、前記第１特定領域は、前記表示画面に表示された、平行に配置された２本の線分であり、前記第１通過検出部は、前記ポインタが前記２本の線分のいずれかを交差するように通過したことを検出し、前記方向判別部は、前記方向として、前記２本の線分で挟まれた第１領域から、前記２本の線分のいずれを交差するように前記ポインタが移動したかを判別してもよい。これにより、通常のポインティング操作とスクロール操作とが明確に区別される。

また、前記第１特定領域は、前記表示画面に表示されたアイコンであり、前記第１画像変更部は、前記方向判別部によって判別された方向が予め定められた方向である場合に、前記アイコンを２以上の部分アイコンに分割するように、前記画像を変更してもよい。これにより、通常のポインティング操作とアイコンの選択操作とが明確に区別される。

また、さらに、前記記憶部に記憶された位置情報の時系列を用いて、前記ポインタが前記表示画面上における繰り返し運動をしていることを検出する繰り返し検出部と、前記繰り返し検出部による検出を無効化しておき、前記第１通過検出部によって前記通過が検出された後に、前記繰り返し検出部による検出を有効化する繰り返し検出有効化部と、前記繰り返し検出部によって有効な検出が行われた場合に、前記画像の変更を繰り返す第２画像変更部とを備えてもよい。これにより、ポインタが第１特定領域を通過した後は、再びポインタが第１特定領域を通過することを繰り返す必要がなく、所定の繰り返し操作が行われるだけで、ポインタが第１特定領域を通過することを繰り返すのと同様の結果が得られる。よって、ユーザは、簡易な操作で、かつ、確実に、繰り返し操作を行うことができ、ユーザの繰り返し操作の負担が軽減される。

なお、繰り返し運動の具体例としては、前記繰り返し運動は、前記ポインタが前記表示画面上で円を描くように移動すること、及び、前記ポインタが前記表示画面上で往復移動をすることの少なくとも一つを含んでもよい。

また、前記繰り返し検出部はさらに、前記繰り返し運動の終了を検出し、前記繰り返し検出有効化部はさらに、前記繰り返し検出部が前記繰り返し運動の終了を検出した場合に、前記繰り返し検出部による検出を無効化したり、さらに、前記記憶部に記憶された位置情報の時系列を用いて、前記表示画面における予め定められた第２特定領域を前記ポインタが通過したことを検出する第２通過検出部を備え、前記繰り返し検出有効化部はさらに、前記第２通過検出部が前記通過を検出した場合に、前記繰り返し検出部による検出を無効化したりしてもよい。このとき、前記第２通過検出部はさらに、前記ポインタが前記第２特定領域を通過したときの方向を判別し、前記繰り返し検出有効化部は、前記第２通過検出部が前記通過を検出し、かつ、前記第２通過検出部によって判別された方向が予め定められた方向である場合に、前記繰り返し検出部による検出を無効化してもよい。これにより、ユーザは、確実に、繰り返し運動を終了させることができる。

また、さらに、前記第２画像変更部による変更の程度に依存して、前記第２特定領域を変更する第３画像変更部を備えてもよい。具体的には、前記画像に対する前記繰り返し運動に対応する変更は、前記表示画面における前記画像のスクロール、及び、前記ポインタの移動であり、前記第３画像変更部は、前記画像のスクロール、及び、前記ポインタの移動における速度が大きいほど、前記第１特定領域から遠い位置に前記第２特定領域を配置することによって、前記第２特定領域の位置を示す画像を表示してもよい。これにより、繰り返し運動の検出を無効化する操作を行うための第２特定領域が表示されたり、その第２特定領域の表示位置が適応的に変更されたりするので、誤った操作をすることなく、確実に、繰り返し操作を終了させることができる。

また、さらに、前記第１特定領域の属性に依存して、前記ポインタが前記第１特定領域を通過すべき方向を決定する方向決定部を備え、前記第１画像変更部は、前記方向判別部で判別された方向が、前記方向決定部で決定された方向である場合に、前記画像を変更してもよい。これにより、第１特定領域を通過するポインタの通過方向が絞られるので、誤操作を抑制したり、操作性を向上したりすることが可能になる。

また、通過方向の適応的な例として、前記方向決定部は、前記第１特定領域が前記表示画面の枠を構成する辺に接して配置されている場合には、前記方向として、前記辺を横切る方向に決定したり、前記方向決定部は、前記第１特定領域が前記表示画面の枠を構成する辺に接して配置されている場合には、前記方向として、前記辺と平行な方向に決定したり、前記方向決定部は、複数の前記第１特定領域の密集度に依存して、前記方向を決定したりしてもよい。これにより、ユーザは、第１特定領域が複数配置されている場合に、それら複数の第１特定領域の中から確実に一つの第１特定領域だけを選択したり、それら複数の第１特定領域をまとめて選択したりすることが容易になる。

また、さらに、前記第１特定領域の属性に基づいて、前記画像に対するユーザの主操作方向を決定する主操作方向決定部を備え、前記方向決定部は、前記主操作方向決定部で決定された主操作方向を含まない範囲の方向から前記方向を決定してもよい。このとき、さらに、前記指示物検出部に対する前記表示画面の位置及び姿勢を検出する表示画面状態検出部を備え、前記主操作方向決定部は、前記表示画面状態検出部で検出された前記位置及び前記姿勢に依存して前記主操作方向を決定してもよい。これにより、主操作方向と選択操作の方向とが明確に区別され、例えば、複数の対象物を主操作方向にスクロールさせながら、それら複数の対象物から一つを選択するという操作が容易になる。

また、前記指示物検出部は、前記ユーザの手又は指の姿勢を検出し、前記方向決定部は、前記指示物検出部で検出された前記姿勢に依存して、前記方向を決定してもよい。これにより、ユーザは、手又は指を用いて、操作し易い方向で選択操作を行うことができる。

また、コンピュータによって実行される情報表示方法であって、少なくとも一つのアイテムを表示画面に表示する表示ステップと、３次元空間における指示物の位置及び向きの少なくとも一方を検出することによって、ユーザからの指示を取得する指示取得ステップとを含み、前記表示ステップは、前記指示取得ステップで取得されたユーザの指示に従って前記少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モードと、前記第１モードで選択された前記少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モードとを有し、前記指示取得ステップで取得されたユーザの指示が、前記表示画面に設定された少なくとも二つの領域の一つから他方への移動である場合に、前記第１モードから前記第２モード、又は、前記第２モードから第１モードに変更してもよい。これにより、ユーザは、３次元空間における連続的な操作によって、対象物（アイテム）を選択する画面表示と、選択した対象物に対する処理を決定する画面表示との切り替えを行うことができる。また、２つの表示モードを遷移するだけで全ての操作をできるので、深く階層化されたメニュー等と比べ、操作が簡単であり、短時間で操作方法を習得できる。

ここで、前記少なくとも二つの領域は、前記表示画面に表示された線分によって区切られる二つの領域が含まれ、前記移動には、前記線分を超える移動が含まれてもよい。

また、第１モードの詳細として、前記表示ステップは、少なくとも一つのアイテムをグループとする、複数のグループを前記表示画面に表示し、前記第１モードでは、前記複数のグループのうちの第１グループが選択可能であり、前記複数のグループのうちの第２グループが選択不可能であってもよい。このとき、前記第１モードでは、前記指示取得ステップで取得されたユーザの指示が前記移動である場合に、前記第１グループに属していたアイテムが移動して前記第２グループに属するアイテムとなり、選択不可能になってもよい。

また、第２モードの詳細として、前記第２モードでは、前記第１モードで選択されたアイテムに対する前記処理に対応づけられたアイコンが前記表示画面に表示され、前記アイコンには、少なくとも二つの領域が対応づけられ、前記指示取得ステップで取得されたユーザの指示が、前記アイコンに対応づけられた少なくとも二つの領域の一つから他方への移動である場合に、前記アイコンに対応づけられた処理が実行されてもよい。このとき、前記アイコンは、当該アイコンに対応づけられたアイテムの属性に依存して、当該アイコンに対応づけられた処理が実行可能である状態、及び、実行不可能な状態をとってもよい。

また、前記表示ステップはさらに、メニューを表示する第３モードを有し、前記表示ステップは、前記指示取得ステップで取得されたユーザの指示が示すポインタの移動が第１パターンに属する場合に、元のモードである前記第１モード又は前記第２モードから前記第３モードに遷移し、前記指示取得ステップで取得されたユーザの指示が示すポインタの移動が第２パターンに属する場合に、前記第３モードから前記元のモードに遷移してもよい。このとき、前記指示取得ステップはさらに、３次元空間における前記指示物の個数を検出し、前記第１パターンと前記第２パターンとは、異なる個数の前記指示物を用いたユーザの指示であってもよい。これにより、第１モード及び第２モードの両方に共通するメニューを表示する第３モードが設けられるので、第１モード及び第２モードにおけるメニューが簡素化され、操作性が向上される。また、３つのモードについては、３つのモードのいずれからいずれにも遷移できるので、ユーザは、画面表示を切り替える際の煩わしいルールに拘束されることなく、所望の処理を完遂することができる。

なお、以上の全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の一態様に係る情報入力装置及び情報表示方法について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態及び実施例は、いずれも本発明の一具体例を示すものである。以下の実施の形態及び実施例で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序、画面表示例などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態及び実施例における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
まず、後述する本発明の具体的な実施例１〜３に共通する情報入力装置１０の構成及び基本機能について、本実施の形態で説明する。その後に、本実施の形態の具体例として、実施例１〜３を説明する。

本実施の形態は、カメラによって検出される３次元空間における指示物の位置及び向きの少なくとも一方を入力情報とするＧＵＩを提供する情報入力装置であるが、このような３次元空間における位置等を入力情報とする情報入力装置では、マウス及びタッチパネルを用いた入力と異なり、「選択（あるいは、決定）」操作を行う直感的で直接的な操作が存在しない。特に、ポインティング（つまり、ポインタの移動）操作を行う場合には、ポインティング操作と選択操作とを連続的な操作として実装するには、何らかの工夫が必要とされる。

ここで、ユーザが特定のジェスチャをした場合に選択操作が行われたと認識することで、ポインティング操作と選択操作とを切り分ける手法が考えられる。たとえば、手のひらを一定時間、対象物に対して静止させるという特定のジェスチャをした場合に選択操作が行われたと認識することで、ポインティング操作と選択操作とを切り分ける手法が考えられる。しかしながら、このような手法では、指示物を移動させるポインティング操作中に対象物に対して指示物を静止させる必要があり、即時性に乏しく、快適な操作とはいえない。

また、手をぐるぐる回転させる、あるいは、手を前方に押し込む等の特定のジェスチャをした場合に選択操作が行われたと認識することも考えられる。しかしながら、このような手法では、ジェスチャの認識率、あるいは、奥行き方向の表示解像度に依存して操作が認識されるために、確実な操作が実現されない。

さらに、「決定！」と話す等の他のモーダルを用いて選択操作を認識する方法も考えられる。しかしながら、音声認識を用いる手法では、マイク等の装備のためにコストがかかり、かつ、音声認識率に依存するために確実な操作が実現されない。

そこで、本実施の形態では、ポインティング操作と選択操作とを連続的かつ確実な操作として実現した情報入力装置を説明する。

図１は、本発明の実施の形態における情報入力装置１０の外観図である。ここには、ステレオカメラ１２及び表示画面１６が図示されている。ユーザは、指示物１１（ここでは、ユーザの指）を、ステレオカメラ１２の撮像範囲内で移動させることで、その指示物１１の３次元空間における位置に対応して表示される表示画面１６上のポインタを移動させることができる。これによって、ユーザと表示画面１６に表示された画像との様々なインタラクションが実現される。

なお、指示物１１は、ユーザの指に限られず、ユーザの手、腕、又は、ユーザが持っているペン等の物品であってもよい。

図２は、本実施の形態における情報入力装置１０のハードウェア構成を示す図である。

この情報入力装置１０は、表示画面１６に表示された画像に対するユーザの指示を取得する装置であって、ステレオカメラ１２、通信部１４、表示画面１６、入力部１８及び制御部２０を備える。

ステレオカメラ１２は、少なくとも２台のカメラを有する撮像装置であり、３次元空間における指示物１１の位置及び向きの少なくとも一方（本実施の形態では、位置及び向きの両方）を検出するためのセンサである。本実施の形態では、ステレオカメラ１２は、一定のフレームレートで、指示物１１を撮影し、得られた２枚の画像を通信部１４に無線送信する。なお、本実施の形態では、このステレオカメラ１２は、表示画面１６等とは独立した装置であったが、表示画面１６を備える装置内に内蔵されてもよい。たとえば、ＴＶの表示画面を囲む枠体に設けられてもよい。

通信部１４は、ステレオカメラ１２から送られてくる画像を取得し、制御部２０に送る無線通信インターフェース等である。

表示画面１６は、ユーザに提示するための画像を表示する液晶等のディスプレイである。

入力部１８は、電源を投入するためのボタン、リモコン等の入力装置である。なお、本実施の形態では、あらゆる指示がステレオカメラ１２を通じて制御部２０に与えられるので、この入力部１８は、予備的な構成要素である。

制御部２０は、ユーザとのインタラクションを実現する情報処理を実行するコンピュータであり、ＣＰＵ２２、ＲＯＭ２４、ＲＡＭ２６及び不揮発性メモリ２８を有する。ＣＰＵ２２は、プログラムを実行するプロセッサである。ＲＯＭ２４は、プログラム及びデータを予め保持している読み取り専用メモリである。ＲＡＭ２６は、ＣＰＵ２２がプログラムを実行する際に使用されるワーキング用の一時記憶用メモリである。不揮発性メモリ２８は、電源が投入されていないときでもデータを記憶できるハードディスク装置等の読み書き可能なメモリであり、プログラム及びデータを記憶している。

なお、情報入力装置１０の必須のハードウェア構成としては、制御部２０、より具体的には、プログラムを実行するコンピュータが備えられていればよい。本発明に係る情報入力装置は、典型的には、ソフトウェアによって実現されるからである。よって、他の周辺機器は、任意の構成要素であり、必要に応じて、本発明に係る情報入力装置として装備されればよい。また、ＲＯＭ２４及び不揮発性メモリ２８は、いずれも不揮発性の記憶装置であり、いずれか一方だけが装備されればよい。

図３は、本実施の形態における情報入力装置１０の機能ブロック図である。ここでは、図２に示されるハードウェア構成によって実現される情報入力装置１０の機能的な構成が示されている。

この情報入力装置１０は、機能的には、表示画面５２に表示された画像に対するユーザの操作を取得する装置であって、指示物検出部４２、ポインタ位置決定部４４、記憶部４６、第１通過検出部４８、方向判別部５０、表示制御部６０ａ及び表示画面５２を備える。なお、表示画面５２は、図２の表示画面１６に相当し、上述したように、必ずしも情報入力装置１０に装備されている必要はない。

指示物検出部４２は、３次元空間における指示物１１の位置及び向きの少なくとも一方を検出する処理部であり、図２のステレオカメラ１２、通信部１４及び制御部２０によって実現される。たとえば、指示物１１として、人差し指だけを伸ばし、かつ、他の指を握った状態の片手であるとして予め定められている場合には、指示物検出部４２は、同時に撮影された２枚の画像のそれぞれについて、人さし指を含む手の形状を認識し、各画像中の指示物１１の位置及び向きから、画像マッチング等によって、ステレオカメラ１２に内蔵された２台のカメラの３次元空間における位置及びカメラ間の距離を用いて、３次元空間における指示物１１の位置及び向きを検出する。

ポインタ位置決定部４４は、指示物検出部４２で検出された３次元空間における指示物の位置及び向きの少なくとも一方に対応させて、表示画面５２に表示するポインタの表示画面５２における位置を決定する処理部であり、図２の制御部２０によって実現される。たとえば、ポインタ位置決定部４４は、３次元空間における指示物１１の位置及び向きを利用する場合には、指示物１１が、上記３次元空間内に予め設定された仮想の２次元操作面上のいずれの位置を指したかを特定し、その指した位置に対応する表示画面５２における位置に特定形状（例えば、十字形状）、及び／又は、特定色（例えば、赤色）のポインタを表示する。あるいは、ポインタ位置決定部４４は、３次元空間における指示物１１の位置だけを利用する場合には、その３次元空間における位置が、予め設定された仮想の２次元操作面に投影された場合の２次元操作面における位置を特定し、特定した位置に対応する表示画面５２における位置にポインタを表示する。あるいは、ポインタ位置決定部４４は、３次元空間における指示物１１の向きだけを利用する場合には、予め、指示物１１の向きと表示画面５２との対応関係を記憶しておき、検出された指示物１１の向きに対応する表示画面５２における位置にポインタを表示する。

記憶部４６は、ポインタ位置決定部４４で決定された位置を示す位置情報の時系列を取得して保持するメモリ等であり、図２のＲＡＭ２６又は不揮発性メモリ２８によって実現される。

第１通過検出部４８は、記憶部４６に記憶された位置情報の時系列を用いて、表示画面５２における予め定められた領域である第１特定領域をポインタが通過したことを検出する処理部であり、図２の制御部２０によって実現される。この第１特定領域は、単なるポインタの移動とは区別されるユーザの特別なジェスチャ操作の認識に用いられるマーカであり、表示画面５２に表示されていてもよいし、表示画面５２に表示されていなくてもよい（ユーザがその位置を予め知っていればよい）。

方向判別部５０は、第１通過検出部４８によって通過が検出された場合に、ポインタが第１特定領域を通過したときの方向を判別する処理部であり、図２の制御部２０によって実現される。

表示制御部６０ａは、ユーザとのインタラクションの対象となる画像を表示画面５２に表示する処理部であり、図２の制御部２０によって実現される。この表示制御部６０ａは、第１画像変更部６２を有する。第１画像変更部６２は、方向判別部５０によって判別された方向に応じて、表示画面５２に表示されている画像を変更する処理部である。なお、表示制御部６０ａが有する機能のうち、第１画像変更部６２を除く機能は、一般的な画像表示機能であり、表示画面５２と同様に、情報入力装置１０に装備されている必要はない。

ここで、第１特定領域は、例えば、表示画面５２に表示された少なくとも一本の線分である。このときには、第１通過検出部４８は、ポインタが少なくとも一本の線分のうちの一本を交差するように通過したことを検出する。そして、第１画像変更部６２は、例えば、方向判別部５０によって判別された方向に沿って、画像をスクロールさせる。

より具体的には、第１特定領域は、例えば、表示画面５２に表示された、平行に配置された２本の線分である。このときには、第１通過検出部４８は、ポインタが２本の線分のいずれかを交差するように通過したことを検出する。そして、方向判別部５０は、その通過方向として、２本の線分で挟まれた第１領域から、２本の線分のいずれを交差するようにポインタが移動したかを判別する。そして、第１画像変更部６２は、例えば、第１領域からポインタが通過した線分の方向に沿って、画像をスクロールさせる。

また、第１特定領域は、他の例として、表示画面５２に表示されたアイコンである。このときには、第１画像変更部６２は、方向判別部５０によって判別された方向が予め定められた方向である場合に、アイコンを２以上の部分アイコンに分割するように、画像を変更する。これによって、ポインタがアイコンを通過したことを明確にユーザに伝えることができる。

次に、以上のように構成された本実施の形態における情報入力装置１０の動作について説明する。

図４は、本実施の形態における情報入力装置１０の動作を示すフローチャートである。図５Ａ及び図５Ｂは、情報入力装置１０の特徴的な動作（それぞれ、スクロール、アイコンの選択動作）の一例を説明する図である。

まず、指示物検出部４２は、３次元空間における指示物１１の位置及び向きの少なくとも一方（本実施の形態では、位置及び向きの両方）を検出する（Ｓ１０）。

指示物検出部４２によって指示物１１の位置及び向きが検出されると、ポインタ位置決定部４４は、指示物検出部４２で検出された位置及び向きに対応させて、表示画面５２に表示するポインタの表示画面５２における位置を決定する（Ｓ１２）。この指示物検出部４２は、指示物１１の検出を一定周期で繰り返し行うことで、ポインタの位置を示す位置情報の時系列を生成して記憶部４６に格納する（Ｓ１４）。

第１通過検出部４８は、記憶部４６に記憶された位置情報の時系列を用いて、表示画面５２における予め定められた領域である第１特定領域をポインタが通過したか否かを判断する（Ｓ１６）。通過が検出されない場合には（Ｓ１６でＮｏ）、上記ステップＳ１０〜Ｓ１６が繰り返される。

第１通過検出部４８によって通過が検出されると（Ｓ１６でＹｅｓ）、方向判別部５０は、そのポインタが第１特定領域を通過したときの方向を判別する（Ｓ１８）。

そして、第１画像変更部６２は、方向判別部５０によって判別された方向に応じて、表示画面５２に表示されている画像を変更する（Ｓ２０）。

図５Ａは、情報入力装置１０によって提供されるＧＵＩの一例であるスクロールの様子を示している。ここには、３つの写真１０１〜１０３が水平方向に並べられて表示画面５２に表示されている。中央の写真１０２を示す画像には、第１特定領域の一例として、２本の線分１０５及び１０６がお互いに平行になるように、表示画面５２の縦方向に配置されて表示されている。

本図では、ユーザが、指示物１１を３次元空間内で移動させることで、２本の線分１０５及び１０６で挟まれた領域から、左に位置する線分１０５を横切るように、ポインタ１０８を移動した様子が示されている。このような操作が行われると、第１通過検出部４８が、ポインタ１０８が線分１０５を通過したことを検出し、その検出に従って、方向判別部５０は、第１特定領域である線分１０５を、ポインタ１０８が通過した方向を左方向と判定する。そして、方向判別部５０での判定に従って、第１画像変更部６２は、表示画面５２に表示している画像（写真の並び）を、左方向に、一定量（例えば、１枚の写真分）だけ、スクロールする。

なお、本図に示される指示物１１は、表示画面５２をタッチするように図示されているが、これは理解を容易にするためであり、実際は、図１に示されるステレオカメラ１２の撮影空間（３次元空間）内において移動される。以下、ＧＵＩの例示を示す図についても同様である。

また、本明細書では、表示画面５２における「右（右側）」、「左（左側）」、「上（上方）」、「下（下方）」等の方向は、表示画面５２に向かったときの方向を意味する。

このように、図５Ａに示されるように、本実施の形態における情報入力装置１０によれば、ユーザは、表示画面５２に表示された２本の線分１０５及び１０６とポインタ１０８とを見ながら、ポインタを中央の領域から左の領域に移動させる操作を行うことで、左方向へのスクロール表示を開始することができる。よって、従来技術のように偶然のポインティング操作によってユーザが意図しない機器の機能が実行されてしまうという不具合が回避され、ユーザの意図が確実に反映される操作性に優れたＧＵＩが実現される。

図５Ｂは、情報入力装置１０によって提供されるＧＵＩの一例であるアイコンの選択動作の様子を示している。ここには、図５Ａに示された写真の並びを順に再生させるためのボタンを示すアイコン１０９が表示画面５２に表示されている。このアイコン１０９は、第１特定領域の一例である。

本図では、ユーザが、指示物１１を３次元空間内で移動させることで、アイコン１０９を、その上方から下方に向かって（アイコン１０９の上辺を横切り、続いて、下辺を横切るように）、ポインタを移動させた様子が示されている。このような操作が行われると、第１通過検出部４８が、ポインタがアイコン１０９を通過したことを検出し、その検出に従って、方向判別部５０は第１特定領域であるアイコン１０９を、ポインタ１０８が通過した方向を、上方から下方に向かう方向（アイコン１０９の上辺を横切り、続いて、下辺を横切る方向）、と判定する。そして、方向判別部５０での判定結果に従って、第１画像変更部６２は、それまで表示していたアイコン１０９を、２つの分割されたアイコン１０９ａ及び１０９ｂに置き換えて表示画面５２に表示する。これにより、ユーザは、アイコン１０９を選択する操作（マウス操作におけるクリック、あるいは、タッチパネルにおけるタッチにあたる操作）ができたことを知る。

このように、図５Ｂに示されるように、本実施の形態における情報入力装置１０によれば、ユーザは、表示画面５２に表示されたアイコン１０９とポインタとを見ながら、アイコン１０９の上方から下方にポインタを通過させる操作をすることで、アイコン１０９を選択することができる。よって、従来技術のように偶然のポインティング操作によってユーザが意図しない機器の機能が実行されてしまうという不具合が回避され、ユーザの意図が確実に反映される操作性に優れたＧＵＩが実現される。

なお、アイコン１０９が選択された後の動作は、制御部２０等により、これらの写真を表示しているアプリケーションソフトウェアに依存した動作、例えば、中央に表示されている写真に対応付けられた写真集のスライドショーが開始される。

以上のように、本実施の形態における情報入力装置１０によれば、表示画面５２に表示された第１特定領域をポインタが通過したときの通過方向に依存して画像の変更が行われるので、従来技術のように偶然のポインティング操作によってユーザが意図しない機器の機能が実行されてしまうという不具合が回避される。

また、本実施の形態における情報入力装置１０では、カメラによって検出される３次元空間における指示物１１の位置等を入力情報とするにも拘わらず、「ポインタを特定の位置に移動すること」と、「機能の実行操作（決定操作の判別）」とを区別して行うことができる。つまり、本実施の形態によれば、表示画面５２に表示された第１特定領域をポインタが所定の方向に通過したときに決定操作が行われたと判定されるので、ユーザは、表示画面５２を見ながら、簡単に、マウスのクリック、あるいは、タッチパネルのタッチに相当する選択または決定操作をすることができる。

なお、本実施の形態において、第１通過検出部４８は、記憶部４６に記憶された位置情報の時系列を用いて、表示画面５２における予め定められた領域である第１特定領域を、予め定められた値以上の速度、または、加速度でポインタが通過したことを検出する処理部であってもよい。このような構成にすると、ポインタが、第１特定領域を予め定められた速度または加速度以上で通過したときのみ、第１画像変更部６２、表示画面５２に表示されている画像を変更する。つまり、表示画面５２に表示されている画像を変更するためには、ユーザは、第１特定領域に対し、指示物１１を素早く動かす必要があり、偶然のポインティング操作によるユーザの意図しない誤動作の発生確率をより低くすることが可能となる。

（実施例１）
次に、上述した実施の形態の第１の具体例として、実施例１を説明する。

上述した実施の形態では、一つの決定操作に対して、一つのアクションが対応づけられている。たとえば、ポインタが線分を通過する１回のジェスチャ操作をすると、画面表示を一定量だけ、スクロールさせることができる。しかしながら、このようなアクションを繰り返させる場合には、線分に対し、ポインタを、常に同一方向に通過させる操作を繰り返す必要がある。即ち、ユーザは常に線分を意識して操作を行わなければならず、操作の負担が大きい。たとえば、左へのスクロールを繰り返す場合には、ユーザは、ポインタが線分をその右側から左側に通過するような操作を繰り返す必要がある。つまり、ユーザは、常に、線分の右側にポインタを意識して戻す必要があるので、操作の負担が非常に大きい。

そこで、本実施例１では、繰り返し操作の負担を軽減することができる、改良された情報入力装置を説明する。

図６は、本発明の実施例１における情報入力装置４０ａの機能ブロック図である。なお、この情報入力装置４０ａは、上述した実施の形態と同様に、図２に示されるハードウェア構成によって実現される装置である。この情報入力装置４０ａは、ポインタの繰り返し運動を検出する点に特徴を有する装置であり、機能的には、指示物検出部４２、ポインタ位置決定部４４、記憶部４６、第１通過検出部４８、方向判別部５０、表示制御部６０ｂ、表示画面５２、繰り返し処理部７０及び第２通過検出部７６を備える。なお、本実施例１における情報入力装置４０ａは、上述した実施の形態における情報入力装置１０が備える構成要素に加えて、第２画像変更部６４、第３画像変更部６５、繰り返し処理部７０及び第２通過検出部７６を備える。以下、上述した実施の形態と異なる点を中心に説明する。

繰り返し処理部７０は、表示画面５２におけるポインタの繰り返し運動を検出する処理部であり、繰り返し検出有効化部７２及び繰り返し検出部７４を有する。

繰り返し検出部７４は、記憶部４６に記憶された位置情報の時系列を用いて、ポインタが表示画面５２上における繰り返し運動をしていることを検出する処理部であり、図２の制御部２０によって実現される。

繰り返し検出有効化部７２は、繰り返し検出部７４による検出を無効化しておき、第１通過検出部４８によって通過が検出された後に、繰り返し検出部７４による検出を有効化する処理部であり、図２の制御部２０によって実現される。

表示制御部６０ｂは、上述した実施の形態における第１画像変更部６２に加えて、第２画像変更部６４及び第３画像変更部６５を有する。第２画像変更部６４は、繰り返し検出部７４によって有効な検出が行われた場合に、繰り返し操作に対応する画像の変更、例えば、画面スクロール等の画像の変更を繰り返す。第３画像変更部６５は、第２画像変更部６４による変更の程度に依存して、第２特定領域を変更する。

第２通過検出部７６は、記憶部４６に記憶された位置情報の時系列を用いて、表示画面５２における予め定められた第２特定領域をポインタが通過したことを検出する処理部であり、図２の制御部２０によって実現される。繰り返し検出有効化部７２は、第２通過検出部７６が通過を検出した場合に、繰り返し検出部７４による検出を無効化する。この第２特定領域は、繰り返し運動を終了させるのに用いられるマーカであり、表示画面５２に表示されていてもよいし、表示画面５２に表示されていなくてもよい（ユーザがその位置を予め知っていればよい）。また、この第２特定領域は、用途としては、第１特定領域と異なるが、表示画面５２における領域（位置及び形状）としては、第１特定領域と同じであってもよい。

なお、第２通過検出部７６はさらに、ポインタが第２特定領域を通過したときの方向を判別してもよい。この場合には、繰り返し検出有効化部７２は、第２通過検出部７６が上記通過を検出し、かつ、第２通過検出部７６によって判別された方向が予め定められた方向である場合に、繰り返し検出部７４による検出を無効化する。

ここで、繰り返し運動には、具体例として、ポインタが表示画面５２上で円を描くように移動すること（つまり、回転運動）、及び、ポインタが表示画面５２上で往復移動をすること（つまり、往復運動）の少なくとも一つが含まれる。

また、画像の変更例として、第２画像変更部６４は、方向判別部５０で判別された方向に沿って、画像の変更を繰り返す。具体的には、第２画像変更部６４は、画像の変更として、表示画面５２における画像の一定量のスクロール、及び、ポインタの一定量の移動を行う。

ここで、繰り返し検出部７４はさらに、繰り返し運動における表示画面５２上でのポインタの移動量の大きさ（例えば、回転運動における円の半径、又は、往復運動における振幅）を検出する。そして、第２画像変更部６４はさらに、繰り返し検出部７４で検出された移動量が大きいほど、画像の変更における度合い（例えば、スクロールの粒度（移動する単位）又はスクロールの速度）を大きくする。

また、繰り返し検出部７４はさらに、繰り返し運動の終了を検出する。たとえば、繰り返し検出部７４は、ポインタの移動量が予め定められた値より小さくなった場合に、繰り返し運動が終了したと検出する。そして、繰り返し検出有効化部７２は、繰り返し検出部７４が繰り返し運動の終了を検出した場合に、繰り返し検出部７４による検出を無効化する。

なお、第３画像変更部６５は、第２画像変更部６４による画像の変更の程度に依存して、第２特定領域を変更する。より詳しくは、第３画像変更部６５は、第２画像変更部６４による画像の変更の程度に依存して、第２特定領域を示す表示画面５２における画像（例えば、線分）を変更する。具体的には、第３画像変更部６５は、第２画像変更部６４による画像の変更の程度に依存して、第２特定領域を示す表示画面における画像（例えば、線分）の位置を変更することによって、表示画面に表示される画像を変更する。ここで、画像に対する繰り返し運動に対応する画像の変更の一例は、表示画面５２における画像のスクロール、及び、ポインタの移動である。そして、第３画像変更部６５は、画像のスクロール、及び、ポインタの移動における速度が大きいほど、第１特定領域から遠い位置に第２特定領域を配置することによって、第２特定領域の位置を示す画像を表示する。これは、ユーザが繰り返し運動を早めようとすると、ユーザの操作がオーバーアクションになるので、意図せずに繰り返し運動を終了させるマーカである第２特定領域を超えてしまうような誤った操作が行われることを避けるためである。

次に、以上のように構成された本実施例における情報入力装置１０の動作について説明する。

図７は、本実施例における情報入力装置４０ａの動作を示すフローチャートである。ここでは、情報入力装置４０ａによる繰り返し運動の検出手順が示されている。図８は、繰り返し運動の検出手順を示すユーザ・インタラクションの例を示す図である。

まず、繰り返し検出有効化部７２は、繰り返し検出部７４による検出を無効化しておき、第１通過検出部４８によってポインタが第１特定領域を通過したか否かを判断する（Ｓ３０）。この判断は、図８の（ａ）に示されるように、ポインタ１０８が第１特定領域（ここでは、線分１０５）を通過したと判断されるまで、繰り返される（Ｓ３０でＮｏ）。

ポインタが第１特定領域を通過したと判断されると、繰り返し検出有効化部７２は、繰り返し検出部７４による検出を有効化する。その結果、図８の（ｂ）に示される回転運動、あるいは、図８の（ｃ）に示される往復運動のように、ユーザが繰り返し、同一のアクションを行った場合には、そのことが、繰り返し検出部７４によって検出される（Ｓ３２）。

繰り返し検出部７４によって有効な検出が行われると（Ｓ３２でＹｅｓ）、第２画像変更部６４は、その繰り返し運動に対応するように、表示画面５２に表示している画像の変更を繰り返す。たとえば、第２画像変更部６４は、繰り返し運動がされている間、左方向への画像スクロールを繰り返す。

図９は、典型的な繰り返し運動のユーザ・インタラクションの例を示す図である。ユーザは、指示物１１を３次元空間で移動させることで、ポインタ１０８が線分１０５をその右側から左側に通過するように、ポインタ１０８を移動させ、その後、線分１０５の左側の領域において、回転運動をする。すると、表示画面５２に表示される画像は、左方向へのスクロールが繰り返される。

このように、本実施例では、一旦、ポインタが第１特定領域を通過した後は、再びポインタが第１特定領域を通過することを繰り返す必要がなく、所定の繰り返し操作が行われるだけで、ポインタが第１特定領域を通過することを繰り返すのと同様の結果が得られる。これにより、ユーザは、簡易な操作で、かつ、確実に、繰り返し操作を行うことができ、ユーザの繰り返し操作の負担が軽減される。

図１０は、往復運動による繰り返し運動のユーザ・インタラクションの例を示す図である。図１０の上段に示されたユーザ・インタラクションの例では、ユーザは、ポインタ１０８が線分１０５をその右側から左側（厳密には、２本の線分１０５及び１０６に挟まれた中央領域から線分１０５よりも左の領域）に通過する操作をした後に、往復運動をしている。この場合には、線分１０５の右側から左側への操作が繰り返されたとの同じ結果、つまり、左方向へのスクロール表示が行われる。

一方、図１０の下段に示されたユーザ・インタラクションの例では、ユーザは、ポインタ１０８が線分１０６をその左側から右側（厳密には、２本の線分１０５及び１０６に挟まれた中央領域から線分１０６よりも右の領域）に通過する操作をした後に、往復運動をしている。この場合には、線分１０６の左側から右側への操作が繰り返されたとの同じ結果、つまり、右方向へのスクロール表示が行われる。

図１１は、本実施例における情報入力装置４０ａの動作のうち、繰り返し運動の終了に関する動作を示すフローチャートである。図１２Ａ及び図１２Ｂは、図１１に示される繰り返し運動の終了操作に関するユーザ・インタラクションの例を示す図である。

繰り返し検出有効化部７２は、繰り返し検出部７４によって繰り返し運動の終了が検出されるか、又は、第２通過検出部７６によってポインタが第２特定領域を通過したことが検出されるかを監視している（Ｓ４０）。この監視は、いずれかが検出されるまで、繰り返される（Ｓ４０でＮｏ）。

なお、第２通過検出部７６による通過の検出では、その通過の検出に加えて、ポインタが第２特定領域を通過したときの通過方向が予め定められた方向であることも検出されてもよい。たとえば、繰り返し運動が行われているときに、ポインタが第２特定領域をその左側から右側に通過した場合に、繰り返し運動が終了したと検出されてもよい。

その結果、繰り返し検出部７４によって繰り返し運動の終了が検出されるか、又は、第２通過検出部７６によってポインタが第２特定領域を通過したことが検出されると（Ｓ４０でＹｅｓ）、繰り返し検出有効化部７２は、繰り返し検出部７４による検出を無効化する（Ｓ４２）。つまり、繰り返し検出有効化部７２は、繰り返し検出部７４による繰り返し運度の検出を停止させる。

具体的なユーザ・インタラクションの例として、いま、図１２Ａに示されるように、ユーザによるポインタの繰り返し運動によって表示画面５２に並べて表示された画像の並びがスクロールしているとする。なお、ここでは、複数の楽曲のそれぞれに対応する画像１１０ａ、１１１ａ〜１１１ｃ、１１２ａ〜１１２ｃが並べられ、複数の楽曲から構成されるアルバムごとに、対応する画像を囲む枠１１０、１１１及び１１２が表示されている。スクロールにおいては、繰り返し運動における表示画面５２上でのポインタの移動量の大きさ（例えば、回転運動における円の半径、又は、往復運動における振幅）に依存して、スクロールの粒度が切り替えられる。たとえば、大きな繰り返し運動の場合には、表示画面５２での表示は、アルバム単位でスクロールされ、一方、小さな繰り返し運動の場合には、一曲単位でスクロールされる。

なお、繰り返し運動の大きさは、繰り返し運動を継続している時間、または、繰り返し運動を行うための表示画面５２上でのポインタの動きの速さ、などで定義しても良い。繰り返し運動を継続している時間が長い場合や、繰り返し運動を行うためのポインタの動きの速さが速い場合には、アルバム単位でスクロールされ、繰り返し運動を継続している時間が短い場合や、繰り返し運動を行うためのポインタの動きの速さが遅い場合には、一曲単位でスクロールされるようにしても良い。

図１２Ｂは、図１２Ａに示されるスクロールが行われているときにユーザによって行われたインタラクションの例を示す図である。ここでは、スクロール中において、ユーザは、第２特定領域の一例である線分１１５を、その左側から右側にポインタ１０８を通過させる操作をしている。これにより、ポインタ１０８が第２特定領域を特定の方向に通過したことが検出され、繰り返し検出部７４による検出が無効化され、スクロールが停止する。

図１３は、本実施例における情報入力装置４０ａの動作のうち、繰り返し運動の終了用のマーカである第２特定領域の位置の決定に関する動作を示すフローチャートである。図１４は、図１３に示される第２特定領域の位置が異なる２つのケースにおけるユーザ・インタラクション例を示す図である。

第３画像変更部６５は、画像のスクロールの速度（あるいは、ポインタの移動速度）を検出し（Ｓ５０）、その速度に依存して、第２特定領域を配置する位置を移動させる（Ｓ５２）。たとえば、第３画像変更部６５は、画像のスクロールの速度（あるいは、ポインタの移動速度）が大きいほど、第１特定領域から遠い位置に第２特定領域を配置する。

このような動作の意義は、図１４に示される通りである。つまり、このような動作の工夫がない場合には、図１４の左図に示されるように、ユーザがスクロール速度を大きくしようとすると、ユーザの操作がオーバーアクションになり、例えば、往復運動における振幅が大きくなり、誤って、ポインタ１０８が第２特定領域（ここでは、線分１１５）を超えてしまう可能性がある。これに対して、本実施例では、図１４の右図に示されるように、スクロールの速度が大きくなるに従って、第２特定領域（ここでは、線分１１５）の位置が第１特定領域（ここでは、線分１０５）から遠くなる。よって、スクロール速度を大きくしようとしてユーザがオーバーアクションをしても、誤ってポインタ１０８が第２特定領域（ここでは、線分１１５）を超えてしまう可能性が低くなる。

このように、繰り返し運動による画像の変更の程度に応じて、動的に第２特定領域の位置が変更され、誤操作が防止される。

以上のように、本実施例によれば、繰り返し操作を行う際、第１特定領域に対し、ポインタを通過させる操作を何度も繰り返すことなく、一回の通過操作の後に、簡単な回転操作や往復操作等の繰り返し操作を行うだけで、１回目に行った操作を連続して行ったことと同様の結果を得ることができ、繰り返し操作の負担を軽減することができる。また、繰り返し運動の検出を無効化する操作を行うための第２特定領域が表示されたり、その第２特定領域の表示位置が適応的に変更されたりするので、誤った操作をすることなく、確実に、繰り返し操作を終了させることもできる。

なお、繰り返し検出部７４による往復運動の検出ロジックの一例は、図１５に示される通りである。つまり、記憶部４６に記憶された位置情報の時系列が示す位置の変化を示すカーブにおける全ての極値を特定し、特定した極値のうち、連続する２つの極値からその時点での周期を算出することで、周期の時間変化を特定する。その結果、周期が大きく変化していない（つまり、周期の時間変化が所定の範囲内である）場合には、往復運動が行われていると判定できる。たとえば、図１５において、周期Ｔ１と周期Ｔ２とは大きく変化していないので、この時点では往復運動が継続していると検出でき、周期Ｔｍでは大きく変化しているので、この時点で往復運動が終了したと検出できる。

また、繰り返し検出部７４による回転運動の検出ロジックの一例は、図１６に示される通りである。つまり、記憶部４６に記憶された位置情報の時系列に基づいて、表示画面５２のｘ軸方向の位置の変化を示すカーブと、表示画面５２のｙ軸方向の位置の変化を示すカーブとを算出する。そして、両カーブに基づいて、周期Ｔと、両カーブの位相差とを算出する。その位相差が＋Ｔ／４又は−Ｔ／４の近傍である場合に、回転運動が継続していると検出できる。

（実施例２）
次に、上述した実施の形態の第２の具体例として、実施例２を説明する。

上述した実施の形態では、ポインタが第１特定領域を通過したときに、その通過方向に依存してアクションが決定される。たとえば、線分をその右側から左側に横切るようにポインタが通過した場合には表示を左方向にスクロールさせ、線分をその左側から右側に横切るようにポインタが通過した場合には表示を右方向にスクロールさせた。しかしながら、第１特定領域をアイコンとし、ポインタがアイコンを通過したときに、アイコンが選択されるというアクションを定義した場合においては、線分と異なり、アイコンを横切る方向は様々な方向が存在するので、誤操作により、ユーザの意図しないアイコンの選択も起こり得る。

そこで、本実施例２では、アイコンの属性や表示画面の状態（表示画面の位置や姿勢）に基づいて、アイコンの選択が有効となるポインタの通過方向を絞ることで、誤操作を抑制したり、操作性を向上したりすることを可能にした、改良された情報入力装置を説明する。

なお、ここで、第１特定領域の属性、即ち、アイコンの属性とは、アイコンの粗密、表示画面５２におけるアイコンの位置、複数のアイコンの配置方法などを示す。

図１７は、本発明の実施例２における情報入力装置４０ｂの機能ブロック図である。なお、この情報入力装置４０ｂは、上述した実施の形態と同様に、図２に示されるハードウェア構成によって実現される装置である。この情報入力装置４０ｂは、アイコンの選択操作におけるポインタの通過方向が様々な要因に応じて（あるいは、動的に）決定される点に特徴を有する装置であり、機能的には、指示物検出部４２、ポインタ位置決定部４４、記憶部４６、第１通過検出部４８、方向判別部５０、表示制御部６０ｃ、表示画面５２、表示画面状態検出部８０及びポインティング可能領域決定部６９を備える。表示制御部６０ｃは、第１画像変更部６２、方向決定部６６及び主操作方向決定部６８を有する。

なお、本実施例２における情報入力装置４０ｂは、上述した実施の形態における情報入力装置１０が備える構成要素に加えて、方向決定部６６、主操作方向決定部６８、表示画面状態検出部８０及びポインティング可能領域決定部６９を備える。以下、上述した実施の形態と異なる点を中心に説明する。

表示画面状態検出部８０は、指示物検出部４２に対する表示画面５２の３次元空間における位置及び姿勢を検出する処理部であり、表示画面１６に内蔵された３軸加速度センサ等によって実現される。

ポインティング可能領域決定部６９は、表示画面５２に表示するポインタの位置として指定可能な領域を決定する処理部であり、指示物検出部４２における指示部の検出範囲に基づいて領域が決定される。

主操作方向決定部６８は、第１特定領域であるアイコンの属性や表示画面５２の状態に基づいて、画像に対するユーザの主操作方向を決定する処理部であり、図２の制御部２０によって実現される。たとえば、この主操作方向決定部６８は、表示画面状態検出部８０で検出された表示画面５２の位置及び姿勢に依存して主操作方向を決定する。

方向決定部６６は、第１特定領域であるアイコンの属性に依存して、ポインタが第１特定領域を通過すべき方向を決定する処理部であり、図２の制御部２０によって実現される。つまり、第１画像変更部６２は、方向判別部５０で判別された方向が、方向決定部６６で決定された方向である場合に、有効な操作（ここでは、アイコンの選択操作）が行われたと判定し、表示画面５２における画像を変更する。

より詳しくは、この方向決定部６６は、有効な方向として、２つの方向、つまり、第１方向と、第１方向と異なる第２方向とを決定する。そして、第１画像変更部６２は、方向判別部５０で判別された方向が第１方向であり、その後に方向判別部５０で判別された方向が第２方向である場合に、アイコンの選択操作が行われたと判定し、表示画面５２における画像を変更する。さらに、第１画像変更部６２は、方向判別部５０で判別された方向が第１方向である場合に、アイコンの選択操作が行われたと判定し、表示画面５２における画像を変更するが、その後に方向判別部５０で判別された方向が第２方向である場合に、アイコンの選択操作がキャンセルされたと判定し、表示画面５２における画像の変更をキャンセルする動作をしてもよい。なお、第１方向と第２方向とは、例えば、お互いに正反対の方向である。

また、各種状況に応じた動的な方向の決定例として、以下の態様がある。

つまり、一つの方向の決定例として、方向決定部６６は、アイコンが表示画面５２の枠を構成する辺に接して配置されている場合には、アイコンの選択操作の方向として、辺を横切る方向に決定する。つまり、第１特定領域を通過する方向のうち、第１特定領域が接する表示画面５２の枠（辺）を横切る方向が有効な方向と決定されるので、常に表示画面５２の外に向かう方向が有効な方向として決定される。

また、他の方向の決定例として、方向決定部６６は、アイコンが表示画面５２の枠を構成する辺に接して配置されている場合には、アイコンの選択操作の方向として、辺と平行な方向に決定する。つまり、第１特定領域を通過する方向のうち、第１特定領域が接する表示画面５２の枠（辺）に平行な方向が有効な方向と決定される。これにより、表示画面５２の外と内とを出入りするポインタの移動と区別して、アイコンの選択操作を検出することができる。

また、他の方向の決定例として、方向決定部６６は、表示画面５２における、ポインティング可能領域決定部６９で決定されたポインティング可能領域に対し、アイコンがポインティング可能領域の枠を構成する辺に接して配置されている場合には、アイコンの選択方向として辺を横切る方向に決定する。つまり、アイコンを通過する方向のうち、アイコンが接するポインティング可能領域の枠（辺）を横切る方向が有効な方向と決定されるので、常にポインティング可能領域の外に向かう方向が有効な方向として決定される。

また、他の方向決定の例として、方向決定部６６は、アイコンがポインティング可能領域の枠を構成する辺に接して配置されている場合には、アイコン選択操作の方向として、辺と平行な方向に決定する。つまり、アイコンを通過する方向のうち、アイコンが接するポインティング可能領域の枠（辺）に平行な方向が有効な方向として決定される。これにより、常にポインティング可能領域内でポインタの移動が可能な方向が有効な方向として決定される。なお、方向決定部６６は、アイコンの属性、例えば、アイコンの粗密（つまり、表示画面における複数のアイコンの密集度）に依存して、アイコンの選択操作の方向を決定する機能も有する。

また、他の方向の決定例として、方向決定部６６は、主操作方向決定部６８で決定された主操作方向を含まない範囲の方向からアイコンの選択操作の方向を決定する。つまり、アイコンを通過する方向のうち、主操作方向決定部６８で決定された主操作方向を含まない範囲の方向が有効な方向と決定される。これにより、スクロール指示等の主操作と区別して、アイコンが選択されたことが確実に検出される。たとえば、複数のアイコンを主操作方向にスクロールさせながら、それら複数のアイコンの中から一つを選択するという操作が容易になる。

また、他の方向の決定例として、方向決定部６６は、指示物検出部４２で検出された指示物１１の姿勢に依存して、アイコンの選択操作の方向を決定する。たとえば、指示物１１が指である場合には、指が指す方向と直交する方向が有効な方向と決定される。これにより、より操作し易い方向がアイコンを選択する場合のポインタの移動方向として決定され、操作性が向上される。

次に、以上のように構成された本実施例における情報入力装置４０ｂの動作について、図１８〜図２１のフローチャート、及び、図２２〜図２６のユーザ・インタラクション例を示す図を用いて、説明する。

図１８は、本実施例における情報入力装置４０ｂの基本動作を示すフローチャートである。

方向決定部６６は、第１特定領域であるアイコンの属性に依存して、ポインタが第１特定領域を通過すべき方向を決定する（Ｓ６０）。

第１画像変更部６２は、ユーザによるポインティング操作によってポインタがアイコンを通過し、その通過時におけるポインタの移動方向（つまり、方向判別部５０で判別された方向）が、方向決定部６６で決定された方向と同じであるか否かを判断する（Ｓ６２）。この判断は、アイコンの通過時におけるポインタの移動方向が方向決定部６６で決定された方向と同じであると判断されるまで、繰り返される（Ｓ６２でＮｏ）。

第１特定領域の通過時におけるポインタの移動方向が方向決定部６６で決定された方向と同じであると判断した場合には（Ｓ６２でＹｅｓ）、第１画像変更部６２は、有効な操作が行われたと判定し、表示画面５２上の画像、即ち、アイコンの画像を変更する（Ｓ６４）。

たとえば、ポインタが第１特定領域であるアイコンを通過し、その通過時におけるポインタの移動方向が方向決定部６６で決定された方向と同じである場合に、そのアイコンが選択されたとみなし、図５Ｂに示されるように、それまで表示していたアイコン１０９を、２つの分割されたアイコン１０９ａ及び１０９ｂに置き換えて表示画面５２に表示する。

これにより、ポインタがアイコンを所定の方向に通過したときにだけ、有効な操作と認識されるので、誤った操作によってポインタがアイコンを所定の方向以外の方向に通過した場合であっても、ユーザの意図しない誤操作として無視される。

図１９は、本実施例における情報入力装置４０ｂの動作のうち、ポインタが予め定められた２つの方向を通過した場合における動作を示すフローチャートである。

いま、方向決定部６６により、ポインタが第１特定領域であるアイコンを通過すべき有効な方向として、２つの方向、つまり、第１方向及び第２方向が決定されているとする。たとえば、第１方向として、第１特定領域をその上方から下方に通過する方向と決定され、第２方向として、その正反対の方向、つまり、アイコンをその下方から上方に通過する方向と決定されているとする。

まず、第１画像変更部６２は、ポインタがアイコンを通過したと第１通過検出部４８で検出された場合に、方向判別部５０で判別されたポインタの通過方向が第１方向であるか否かを判断する（Ｓ７０）。この判断は、ポインタの通過方向が第１方向であると判断されるまで、繰り返される（Ｓ７０でＮｏ）。

ポインタの通過方向が第１方向であると判断した場合には（Ｓ７０でＹｅｓ）、第１画像変更部６２は、続いて、ポインタがアイコンを通過したと第１通過検出部４８で検出された場合に、方向判別部５０で判別されたポインタの通過方向が第２方向であるか否かを判断する（Ｓ７２）。この判断は、アイコンをポインタが再び通過する方向が第２方向であると判断されるまで、繰り返される（Ｓ７０でＮｏ）。なお、この第２方向の判断（Ｓ７２）は、第１方向の通過（Ｓ７０でＹｅｓ）が検出されてから、予め定められた時間内だけで行われてもよい。つまり、第１方向の通過（Ｓ７０でＹｅｓ）が検出されてから、予め定められた時間内に第２方向の通過が検出されない場合には、当該フローがリセットされ、再び、第１方向の通過の検出（Ｓ７０）が行われてもよい。

その結果、ポインタの通過方向が第２方向であると判断した場合には（Ｓ７２でＹｅｓ）、第１画像変更部６２は、アイコンの選択操作が行われた判定し、表示画面５２における画像を変更するか、あるいは、アイコンの選択操作がキャンセルされたと判定し、表示画面５２における画像変更をしない（Ｓ７４）。なお、画像の変更をするかしないかは、ユーザによる事前の設定によって定まる。

図２２は、図１９に示される動作に対応するユーザ・インタラクションの例を示す図である。ユーザは、アイコン１１８をその上方から下方に通過するようにポインタを移動させた後に、続いて、そのアイコン１１８をその下方から上方に通過するようにポインタを移動させる。これにより、事前の設定に応じて、アイコン１１８の選択を完了するか、あるいは、上方から下方へのポインタの移動によって暫定的に選択されたアイコン１１８の選択をキャンセルすることができる。

これにより、２つの異なる方向にポインタがアイコンを通過した場合にだけ、所定の操作が完了するので、１つの方向だけで操作が決定される場合に比べ、誤操作が防止される。

図２０は、本実施例における情報入力装置４０ｂが備える方向決定部６６の基本動作を示すフローチャートである。

まず、方向決定部６６によって、第１特定領域であるアイコンの属性、例えば、表示画面５２におけるアイコンの位置、又は、複数のアイコンの粗密が検出される（Ｓ９０）。あるいは、指示物検出部４２によって、ユーザの手又は指等の指示物１１の姿勢が検出される（Ｓ９０）。なお、これら３種類のパラメータ（アイコンの位置、アイコンの粗密、指示物１１の姿勢）のいずれを有効とするかは、ユーザによる事前の設定によって決定されている。そのときに、これら３種類のパラメータのうちの一つだけが有効になっていてもよいし、２つ以上のパラメータが有効になっていてもよい。

そして、方向決定部６６は、検出されたアイコンの位置、アイコンの粗密、及び、指示物１１の姿勢の少なくとも一つに依存して、そのアイコンをポインタが通過すべき方向（つまり、アイコンの選択操作の方向）を決定する（Ｓ９２）。

たとえば、図２３Ａの（ａ）のユーザ・インタラクション例に示されるように、方向決定部６６は、第１特定領域（アイコン１２２ａ〜１２２ｃ）が表示画面５２の枠を構成する辺に接して配置されている場合には、アイコン１２２ａ〜１２２ｃの選択操作の方向として、辺を横切る方向に決定する。これにより、常に表示画面５２の外に向かう方向が有効な方向として決定されるので、複数のアイコンが表示画面５２の枠（辺）に沿って並べられている場合に、誤ってそれら複数のアイコンの全てを横切るようにポインタが直線的に動いてしまった場合であっても、アイコンの選択操作として認識されないので、誤操作が防止される。

あるいは、図２３Ａの（ｂ）のユーザ・インタラクション例に示されるように、方向決定部６６は、第１特定領域（アイコン１２４ａ〜１２４ｃ）が表示画面５２の枠を構成する辺に接して配置されている場合には、アイコン１２４ａ〜１２４ｃの選択操作の方向として、辺と平行な方向に決定する。これにより、表示画面５２の枠（辺）に沿う方向が有効な方向として決定されるので、複数のアイコンが表示画面５２の枠の辺に沿って並べられている場合に、それら複数のアイコンの全てを横切るようにポインタを移動させることで、それら複数のアイコンの一括選択が容易になる。また、表示画面５２の外と内とを出入りするポインタの移動と区別して、アイコンの選択操作を検出することができるため、誤操作が防止される。

あるいは、図２３Ａの（ｃ）のユーザ・インタラクション例に示されるように、方向決定部６６は、第１特定領域（アイコン１２０ａ〜１２０ｄ）の粗密に依存して、アイコンの選択操作の方向を決定する。たとえば、アイコン１２０ａのように、選択可能なアイコンが密集していない場合には、３つの方向を選択操作の方向として決定する。一方、アイコン１２０ｂ〜１２０ｄのように、選択可能なアイコンが密集している場合には、それらのアイコンについて同一の一つの方向を選択操作の方向として決定する。これにより、アイコンが密集している場合には、アイコンの選択操作が限定されるので、誤って複数のアイコンを選択してしまう誤操作が回避される。

なお、アイコンが密集しているか否かは、例えば、予め定められた密集度の閾値（例えば、単位面積当たりのアイコンの個数）より大きいか小さいかで判断される。

あるいは、図２３Ｂの（ａ）〜（ｃ）のユーザ・インタラクション例に示されるように、方向決定部６６は、表示画面５２における、ポインティング可能領域決定部６９で決定されたポインティング可能領域（図２３Ｂの（ａ）参照）に対し、アイコンの選択操作の方向を決定する。図２３Ｂの（ｃ）に示されるように、第１特定領域（アイコン１２８ａ〜１２８ｂ）がポインティング可能領域の枠を構成する辺に接して配置されている場合には、アイコンの選択操作の方向として、辺を横切る方向に決定する。これにより、常にポインティング可能領域の外に向かう方向が有効な方向として決定されるので、複数のアイコンがポインティング可能領域の枠（辺）に沿って並べられている場合に、誤ってそれら複数のアイコンの全てを横切るようにポインタが直線的に動いてしまった場合であっても、アイコンの選択操作として認識されないので、誤操作が防止される。また、図２３Ｂの（ｂ）に示されるように、第１特定領域（アイコン１２６ａ〜１２６ｂ）がポインティング可能領域の枠を構成する辺に接して配置されている場合には、アイコンの選択操作の方向として、辺と平行な方向に決定することとしても良い。これにより、ポインティング可能領域内でポインタの移動が可能な方向が有効な方向として決定されるので、アイコン選択操作の操作性が向上する。

あるいは、図２４の（ａ）〜（ｃ）のユーザ・インタラクション例に示されるように、方向決定部６６は、指示物検出部４２で検出されたユーザの手又は指等の指示物１１の姿勢に依存して、アイコンの選択操作の方向を決定する。たとえば、指示物１１が指である場合には、指が指す方向と直交する方向が、アイコンの選択操作の方向と決定する。これにより、ユーザの手又は指等の向きを考慮して、ユーザが操作し易い方向がアイコンの選択操作の方向として決定されるので、操作性が向上されるとともに、誤操作が防止される。具体的には、図２４の（ａ）に示されるように、指示物１１であるユーザの指が表示画面５２を指す方向に向いている場合には、指を鉛直方向に移動させる（あるいは、指又は手首を曲げる）ことで、アイコンを選択することができる。また、図２４の（ｂ）及び（ｃ）に示されるように、指示物１１であるユーザの指が表示画面５２と並行する方向（例えば、地面を指す方向）に向いている場合には（図２４の（ｂ））、地平面と平行な方向（例えば、表示画面５２の奥から手前への方向）に指を移動させる（あるいは、指又は手首を曲げる）ことで（図２４の（ｃ））、アイコンを選択することができる。

なお、ユーザの手又は指の姿勢に応じてアイコンの選択操作の方向を決定する場合には、図２５の手順に示されるように、まず、指示物検出部４２がユーザの手又は指の姿勢（向き）を認識し（図２５の（ａ））、次に、方向決定部６６が有する姿勢データベースを参照することで（図２５の（ｂ））、操作し易い方向をアイコンの選択操作の方向として決定する（図２５の（ｃ））。ここで、姿勢データベースとは、予め定められた指示物の姿勢と操作し易い方向との対応づけを示す情報である。

図２１は、本実施例における情報入力装置４０ｂが備える方向決定部６６の動作のうち、主操作方向を考慮した動作を示すフローチャートである。

まず、表示画面状態検出部８０は、指示物検出部４２に対する表示画面５２の位置及び姿勢を検出する（Ｓ８０）。たとえば、表示画面５２が鉛直方向に沿う方向に置かれているか（例として、表示画面５２が机の上に立てて設置されているか）、あるいは、地平面と平行する方向に置かれているか（例として、表示画面５２が机の上に寝かせて設置されているか）を検出する。

次に、主操作方向決定部６８は、表示画面状態検出部８０で検出された表示画面５２の位置及び姿勢に依存して主操作方向を決定する（Ｓ８２）。たとえば、表示画面５２と平行な面における指示物１１の動きを主操作方向と決定する。

そして、方向決定部６６は、主操作方向決定部６８で決定された主操作方向を含まない範囲の方向から、ポインタが第１特定領域であるアイコンを通過すべき方向、つまり、アイコンの選択操作の方向を決定する（Ｓ８４）。たとえば、主操作方向と直交する方向をアイコンの選択操作の方向として決定する。

図２６及び図２７は、図２１に示される動作に対応するユーザ・インタラクションの例を示す図である。

図２６の（ａ）に示されるように、表示画面５２が鉛直方向に沿う方向に置かれている（例えば、表示画面５２が机の上に立てて設置されている）と表示画面状態検出部８０によって検出された場合には、主操作方向決定部６８は、表示画面５２と平行な面（つまり、鉛直方向に沿った面）における指示物１１の動きを主操作方向と決定する。

一方、図２６の（ｂ）に示されるように、表示画面５２が地平面と平行する方向に置かれている（例えば、表示画面５２が机の上に寝かせて設置されている）と表示画面状態検出部８０によって検出された場合には、主操作方向決定部６８は、表示画面５２と平行な面（つまり、地平面に沿った面）における指示物１１の動きを主操作方向と決定する。

そして、図２７に示されるように、方向決定部６６は、主操作方向決定部６８で決定された主操作方向を含まない範囲の方向から、アイコンの選択操作の方向を決定する。たとえば、図２７の（ｂ）に示されるように、主操作方向が表示画面５２の横方向である場合には、表示画面５２の縦方向にポインタを動かすような指示物１１の動きを、アイコンの選択操作の方向として決定し、一方、図２７の（ｃ）に示されるように、主操作方向が表示画面５２の縦方向及び横方向である場合には、表示画面５２の奥行き方向にポインタを動かすような指示物１１の動きを、アイコンの選択操作の方向として決定する。

これにより、スクロール指示等の主操作と区別してアイコンの選択が確実に行われ、誤操作が防止される。

（実施例３）
次に、上述した実施の形態の第３の具体例として、実施例３を説明する。

上述した実施の形態では、ポインタを移動させるポインティング操作とアイコン等を選択する選択操作とを連続的かつ確実な操作として実現した情報入力装置が説明された。本実施例３では、その機能に加えて、３次元空間における連続的な操作によって、対象物（アイテム）を選択する画面表示と、選択した対象物に対する処理を決定する画面表示との切り替えができる情報表示方法を説明する。

本実施例３は、上述の実施の形態における情報入力装置１０による表示機能（つまり、情報表示方法）に着目した実施例である。つまり、本実施例は、図２に示されるハードウェア構成及び図３に示される機能構成を備える情報入力装置１０によって実現される情報表示方法の一つである。

図２８は、本実施例における情報表示方法を示すフローチャートである。

本実施例では、情報入力装置１０は、コンピュータによって実行される情報表示方法を実行する装置であり、基本的には、少なくとも一つのアイテムを表示画面５２に表示する表示ステップ（Ｓ９６）と、３次元空間における指示物の位置及び向きの少なくとも一方（本実施の形態では、位置及び向きの両方）を検出することによって、ユーザからの指示を取得する指示取得ステップ（Ｓ９８）とを繰り返す。なお、ここでアイテムとは、例えば、アプリケーションを示すアイコンや、写真、動画等のコンテンツを示すサムネイル等を示す。

図２９は、図２８に示された表示ステップ（Ｓ９６）における状態遷移を示す図である。

表示ステップ（Ｓ９６）は、指示取得ステップで取得されたユーザの指示に従って少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モード（Ｓ１００）と、第１モードで選択された少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モード（Ｓ１０２）とを有する。つまり、表示ステップ（Ｓ９６）では、情報入力装置１０は、第１モード（Ｓ１００）及び第２モード（Ｓ１０２）のいずれかの状態にある。

ここで、指示取得ステップ（Ｓ９８）で取得されたユーザの指示が、表示画面５２に設定された少なくとも二つの領域の一つから他方への移動である場合に、情報入力装置１０は、第１モード（Ｓ１００）から第２モード（Ｓ１０２）、又は、第２モード（Ｓ１０２）から第１モード（Ｓ１００）に変更する。

なお、「少なくとも二つの領域」とは、表示画面５２に表示された線分によって区切られる二つの領域が含まれてもよいし、表示画面５２に表示されていない暗黙的な線分によって区切られる二つの領域が含まれてもよい。また、「少なくとも二つの領域」には、表示画面５２の外の領域（仮想的に設定された領域）も含まれる。たとえば、「少なくとも二つの領域」には、表示画面５２上の領域と、表示画面５２外の領域とが含まれてもよい。また、「移動」には、そのような明示的又は暗黙的な線分を超える移動（例えば、上述の実施の形態における第１特定領域の通過）が含まれる。

なお、表示ステップ（Ｓ９６）では、情報入力装置１０は、少なくとも一つのアイテムをグループとする、複数のグループを表示画面５２に表示する場合がある。この場合には、情報入力装置１０は、第１モード（Ｓ１００）では、複数のグループのうちの第１グループを選択可能に設定し、複数のグループのうちの第２グループを選択不可能に設定する。

このとき、第１モード（Ｓ１００）では、指示取得ステップ（Ｓ９８）で取得されたユーザの指示が移動である場合に、第１グループに属していたアイテムが移動して第２グループに属するアイテムとなり、選択不可能になる。

一方、第２モード（Ｓ１０２）では、第１モード（Ｓ１００）で選択されたアイテムに対する処理に対応づけられたアイコンが表示画面５２に表示され、アイコンには、少なくとも二つの領域が対応づけられ、指示取得ステップ（Ｓ９８）で取得されたユーザの指示が、アイコンに対応づけられた少なくとも二つの領域の一つから他方への移動である場合に、アイコンに対応づけられた処理が実行される。

なお、アイコンは、当該アイコンに対応づけられたアイテムの属性に依存して、当該アイコンに対応づけられた処理が実行可能である状態、及び、実行不可能な状態をとり得る。

図３０は、本実施例における２つのモード間でのモード遷移の画面表示例を示す図である。ここには、第１モードにおける画面表示例として、４つの画面表示１３０〜１３３が示され、第２モードにおける画面表示例として、３つの画面表示１４０〜１４２が示されている。

画面表示１３０は、処理対象となるアイテムをユーザの指示に従って選択する第１モードでの代表的な表示例であり、ここには、３つのアイテムが表示されている。なお、ここでは、横方向に並ぶアイテムのうち、中央に位置するアイテムが選択されるアイテムとなる。画面表示１３１は、画面表示１３０を詳細化した表示例であり、画面表示１３２及び１３３は、画面表示１３１がスクロールした後の表示例である。

画面表示１４０は、第１モードで選択されたアイテムに対する処理を行う第２モードでの代表的な表示例であり、ここには、第１モードで選択されたアイテム（横並びの中央に位置するアイテム）に対する４つの処理のそれぞれに対応する４つのアイコンが表示されている。画面表示１４１は、画面表示１４０における一つのアイコン（一つの処理に対応するアイコン）を示す図（選択操作を説明する図）であり、画面表示１４２は、一つのアイコンが選択され、そのアイコンに対応する処理が、第１モードで選択されたアイテムに対して実行されたときの表示例である。

いま、表示画面５２に、第１モードの画面表示１３０が表示されているとする。この状態で、ユーザが、表示画面５２に設定された少なくとも二つの領域の一つから他方へ（例えば、表示画面５２上の領域から表示画面５２外の領域へ）ポインタを移動させると、表示画面５２での表示は、第１モードの画面表示１３０から第２モードの画面表示１４０に変わる。つまり、画面表示１３０において横並びにおける中央に位置するアイテムに対する４つの処理を示す４つのアイコンが表示される。

逆に、いま、表示画面５２に第２モードの画面表示１４０が表示されている状態で、ユーザが、表示画面５２に設定された少なくとも二つの領域の他方から一方へ（例えば、表示画面５２外の領域から表示画面５２内の領域へ）ポインタを移動させるか、あるいは、ポインタが表示画面５２外に出たまま所定時間が経過すると、表示画面５２での表示は、第２モードの画面表示１４０から第１モードの画面表示１３０に戻る。つまり、複数のアイテムから一つを選択できる画面表示に戻る。

ここで、第１モードにおいて、表示画面５２に画面表示１３０が表示されている状態では、より詳しくは、表示画面５２には、画面表示１３１に示されるように、表示画面５２の中央に、２本の線分１０５及び１０６がお互いに平行になるように、表示画面５２の縦方向に配置して表示される。この画面表示１３１に対するユーザ操作は、図５Ａ等に示される上述した実施の形態の通りである。たとえば、ユーザが、２本の線分１０５及び１０６で挟まれた領域から、左に位置する線分１０５を横切るようにポインタ１０８を移動する操作をした場合には、画面表示１３２及び１３３に示されるように、１回の操作のたびに、左方向に１アイテム分だけ、スクロールして表示される。なお、この第１モードから第２モードに遷移した場合には、遷移の直前において、表示画面５２における横並びの中央に位置するアイテムが選択されたことになる。

また、第２モードにおいて、表示画面５２に画面表示１４０が表示されている状態において、ユーザは、画面表示１４１に示されるように、ポインタ１０８が、複数のアイコンから選択した一つのアイコンを通過するように、指示物１１を操作することで、そのアイコンを選択することができる。これによって、第１モードで選択されたアイテムに対して、いま選択したアイコンに対応づけられた処理を実行することができる。たとえば、第１モードで選択されたアイテムが、動画のサムネイル画像であり、第２モードで選択されたアイコンが「再生」に対応するアイコンである場合には、表示画面５２に、そのサムネイル画像に対応する動画が再生される。

このように、本実施例における情報表示方法によれば、ユーザは、表示画面５２を見ながら、アイテムを選択できる第１モードと、選択したアイテムに対する処理を実行する第２モードとを切り替えながら、あらゆる処理を完遂することができる。よって、２つの表示モードを遷移するだけで全ての操作をできるので、深く階層化されたメニュー等と比べ、操作が簡単であり、短時間で操作方法を習得できる。

図３１は、図２８に示された表示ステップ（Ｓ９６）における状態遷移の別の一例を示す図である。ここでは、表示ステップ（Ｓ９６）には、第１モード（Ｓ１００）及び第２モード（Ｓ１０２）に、さらに、メニューを表示する第３モード（Ｓ１０４）が設けられている。ここで、第３モード（Ｓ１０４）とは、例えば、詳細メニューとして予め定められたメニュー、第１モード（Ｓ１００）及び第２モード（Ｓ１０２）に共通する指示のためのメニュー、表示画面５２への電源をオフするためのメニュー、及び、ブラウザを含む予め定められたプログラムを立ち上げるためのメニューの少なくとも一つが含まれる。

３つのモード間の遷移については、情報入力装置１０は、表示ステップ（Ｓ９６）において、指示取得ステップ（Ｓ９８）で取得されたユーザの指示が示すポインタの移動が第１パターンに属する場合に、元のモードである第１モード（Ｓ１００）又は第２モード（Ｓ１０２）から第３モード（Ｓ１０４）に遷移し、一方、指示取得ステップ（Ｓ９８）で取得されたユーザの指示が示すポインタの移動が第２パターンに属する場合に、第３モード（Ｓ１０４）から元のモードに遷移する。

ここで、第１パターンと第２パターンとは、例えば、異なる個数の指示物１１を用いたユーザの指示である。例として、一本の指でのポインティング操作が第１パターンに属し、５本の指でのジェスチャ操作が第２パターンに属する。なお、３次元空間における指示物１１の個数は、指示取得ステップ（Ｓ９８）で検出される。

図３２は、本実施例における３つのモード間でのモード遷移の画面表示例を示す図である。ここには、第１モードにおける画面表示例として画面表示１３０が示され、第２モードにおける画面表示例として画面表示１４０が示され、第３モードにおける画面表示例として画面表示１５０が示されている。

画面表示１５０は、メニューを表示する第３モードでの代表的な表示例であり、例えば、詳細メニュー、全体を通じて共通する操作（電源オフ、ブラウザを含むユーティリティ・ソフトウェアの起動）を指示できるグローバルメニューの表示等である。

ユーザは、第１パターンに属するポインタの移動、例えば、一本の指を左、または、右に素早く動かす操作をした場合に、モードである第１モード（Ｓ１００）又は第２モード（Ｓ１０２）から第３モード（Ｓ１０４）に遷移し、一方、第２パターンに属するポインタの移動、例えば、５本の指を上、または、下に素早く動かす操作をした場合に、第３モード（Ｓ１０４）から元のモードである第１モード（Ｓ１００）又は第２モード（Ｓ１０２）に遷移することができる。

このように、本実施例における情報表示方法によれば、ユーザは、表示画面５２を見ながら、アイテムを選択できる第１モードと、選択したアイテムに対する処理を実行する第２モードと、第１モード及び第２モードに共通する操作ができる第３モードとを切り替えながら、あらゆる処理を完遂することができる。よって、３つの表示モードを遷移するだけで全ての操作をできるので、深く階層化されたメニュー等と比べ、操作が簡単であり、短時間で操作方法を習得できる。また、３つのモードについては、３つのモードのいずれからいずれにも遷移できるので、ユーザは、画面表示を切り替える際の煩わしいルールに拘束されることなく、所望の処理を完遂することができる。

なお、本実施例における情報表示方法は、図２及び図３に示される情報入力装置１０によって実現されたが、本実施例に特化した装置である情報表示装置によって実現されてもよい。その情報表示装置は、図２における制御部２０等で構成されるコンピュータと図２における表示画面１６とを備える装置である。そして、そのコンピュータは、少なくとも一つのアイテムを表示画面に表示する表示ステップと、３次元空間における指示物の位置及び向きの少なくとも一方を検出することによってユーザからの指示を取得する指示取得ステップとを実行する。その表示ステップでは、コンピュータは、指示取得ステップで取得されたユーザの指示に従って少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モードと、第１モードで選択された少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モードとを有し、指示取得ステップで取得されたユーザの指示が表示画面１６に設定された少なくとも二つの領域の一つから他方への移動である場合に、第１モードから第２モード、又は、第２モードから第１モードに変更する。

これにより、本実施例における情報表示方法は、汎用のコンピュータによって実現され得る。

以上、本発明の一つまたは複数の態様に係る情報入力装置及び情報表示方法について、実施の形態及び実施例１〜３に基づいて説明したが、本発明は、これらの実施の形態及び実施例１〜３に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態及び実施例１〜３に施したものや、異なる実施の形態及び実施例１〜３における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

たとえば、上記実施の形態及び実施例１〜３において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

ここで、上述の実施の形態、実施例１及び実施例２における情報入力装置を実現するソフトウェアは、次のようなプログラムである。

すなわち、そのプログラムは、コンピュータに、以下の情報入力方法を構成する各ステップを実行させる。その情報入力方法は、表示画面に表示された画像に対するユーザの指示を取得する装置による情報入力方法であって、３次元空間における指示物の位置及び向きの少なくとも一方を検出する指示物検出ステップと、指示物検出ステップで検出された指示物の位置及び向きの少なくとも一方に対応させて表示画面に表示するポインタの表示画面における位置を決定するポインタ位置決定ステップと、ポインタ位置決定ステップで決定された位置を示す位置情報の時系列を取得して保持する記憶ステップと、記憶ステップで記憶された位置情報の時系列を用いて表示画面における予め定められた領域である第１特定領域をポインタが通過したことを検出する第１通過検出ステップと、第１通過検出ステップによって通過が検出された場合にポインタが第１特定領域を通過したときの方向を判別する方向判別ステップと、方向判別ステップによって判別された方向に応じて表示画面に表示されている画像を変更する第１画像変更ステップとを含む。

また、上記実施例３における情報表示方法を実現するソフトウェアは、次のようなプログラムである。

すなわち、そのプログラムは、コンピュータに、以下の情報表示方法を構成する各ステップを実行させる。その情報表示方法は、少なくとも一つのアイテムを表示画面に表示する表示ステップと、３次元空間における指示物の位置及び向きの少なくとも一方を検出することによってユーザからの指示を取得する指示取得ステップとを含み、表示ステップでは、指示取得ステップで取得されたユーザの指示に従って少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モードと、第１モードで選択された少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モードとを有し、指示取得ステップで取得されたユーザの指示が表示画面に設定された少なくとも二つの領域の一つから他方への移動である場合に、第１モードから第２モード、又は、第２モードから第１モードに変更する。

また、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。

また、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。さらに、これらの記録媒体に記録されているデジタル信号で実現してもよい。

また、本発明に係るコンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本発明は、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

また、上記実施の形態及び実施例において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

本発明は、ＧＵＩを提供する情報入力装置及び情報表示方法として、例えば、ＴＶ、コンピュータディスプレイ、又は、タブレット端末等の表示画面を有する機器に備えられる情報入力装置又は情報表示方法を実現するソフトウェア及びハードウェアとして、利用できる。

１０、４０ａ、４０ｂ 情報入力装置
１１ 指示物
１２ ステレオカメラ
１４ 通信部
１６ 表示画面
１８ 入力部
２０ 制御部
２２ ＣＰＵ
２４ ＲＯＭ
２６ ＲＡＭ
２８ 不揮発性メモリ
４２ 指示物検出部
４４ ポインタ位置決定部
４６ 記憶部
４８ 第１通過検出部
５０ 方向判別部
５２ 表示画面
６０ａ、６０ｂ、６０ｃ 表示制御部
６２ 第１画像変更部
６４ 第２画像変更部
６５ 第３画像変更部
６６ 方向決定部
６８ 主操作方向決定部
６９ ポインティング可能領域決定部
７０ 繰り返し処理部
７２ 繰り返し検出有効化部
７４ 繰り返し検出部
７６ 第２通過検出部
８０ 表示画面状態検出部

Claims (28)

1. 表示画面に表示された画像に対するユーザの指示を取得する情報入力装置であって、
   ３次元空間における指示物の位置及び向きの少なくとも一方を検出する指示物検出部と、
   前記指示物検出部で検出された前記指示物の３次元空間における位置及び向きの少なくとも一方に対応させて、前記表示画面に表示するポインタの前記表示画面における位置を決定するポインタ位置決定部と、
   前記ポインタ位置決定部で決定された位置を示す位置情報の時系列を取得して保持する記憶部と、
   前記記憶部に記憶された時系列の位置情報を用いて、前記表示画面における予め定められた領域である第１特定領域を前記ポインタが通過したことを検出する第１通過検出部と、
   前記第１通過検出部によって前記通過が検出された場合に、前記ポインタが前記第１特定領域を通過したときの方向を判別する方向判別部と、
   前記方向判別部によって判別された方向に応じて、前記表示画面に表示されている画像を変更する第１画像変更部と、
   前記記憶部に記憶された時系列の位置情報を用いて、前記ポインタが前記表示画面上における繰り返し運動をしていることを検出する繰り返し検出部と、
   前記第１通過検出部によって前記通過が検出された後に、前記繰り返し検出部による検出を有効化する繰り返し検出有効化部と、
   前記繰り返し検出部によって有効な検出が行われた場合に、前記画像の変更を繰り返す第２画像変更部と、
   を備える情報入力装置。
2. 前記第１特定領域は、前記表示画面に表示された少なくとも一本の線分であり、
   前記第１通過検出部は、前記ポインタが前記少なくとも一本の線分のうちの一本を交差するように通過したことを検出し、
   前記第１画像変更部は、前記方向判別部によって判別された方向に沿って、前記画像をスクロールさせる
   請求項１記載の情報入力装置。
3. 前記第１特定領域は、前記表示画面に表示された、平行に配置された２本の線分であり、
   前記第１通過検出部は、前記ポインタが前記２本の線分のいずれかを交差するように通過したことを検出し、
   前記方向判別部は、前記方向として、前記２本の線分で挟まれた第１領域から、前記２本の線分のいずれを交差するように前記ポインタが移動したかを判別する
   請求項１記載の情報入力装置。
4. 前記第１特定領域は、前記表示画面に表示されたアイコンであり、
   前記第１画像変更部は、前記方向判別部によって判別された方向が予め定められた方向である場合に、前記アイコンを２以上の部分アイコンに分割するように、前記画像を変更する
   請求項１〜３のいずれか１項に記載の情報入力装置。
5. 前記繰り返し運動は、前記ポインタが前記表示画面上で円を描くように移動すること、及び、前記ポインタが前記表示画面上で往復移動をすることの少なくとも一つを含む
   請求項１記載の情報入力装置。
6. 前記繰り返し検出部はさらに、前記繰り返し運動の終了を検出し、
   前記繰り返し検出有効化部はさらに、前記繰り返し検出部が前記繰り返し運動の終了を検出した場合に、前記繰り返し検出部による検出を無効化する
   請求項１又は５記載の情報入力装置。
7. さらに、前記記憶部に記憶された時系列の位置情報を用いて、前記表示画面における予め定められた第２特定領域を前記ポインタが通過したことを検出する第２通過検出部を備え、
   前記繰り返し検出有効化部はさらに、前記第２通過検出部が前記通過を検出した場合に、前記繰り返し検出部による検出を無効化する
   請求項１〜６のいずれか１項に記載の情報入力装置。
8. 前記第２通過検出部はさらに、前記ポインタが前記第２特定領域を通過したときの方向を判別し、
   前記繰り返し検出有効化部は、前記第２通過検出部が前記通過を検出し、かつ、前記第２通過検出部によって判別された方向が予め定められた方向である場合に、前記繰り返し検出部による検出を無効化する
   請求項７記載の情報入力装置。
9. さらに、前記第２画像変更部による変更の程度に依存して、前記第２特定領域を変更する第３画像変更部を備える
   請求項８記載の情報入力装置。
10. 前記画像に対する前記繰り返し運動に対応する変更は、前記表示画面における前記画像のスクロール、及び、前記ポインタの移動であり、
    前記第３画像変更部は、前記画像のスクロール、及び、前記ポインタの移動における速度が大きいほど、前記第１特定領域から遠い位置に前記第２特定領域を配置することによって、前記第２特定領域の位置を示す画像を表示する
    請求項９記載の情報入力装置。
11. さらに、前記第１特定領域の属性に依存して、前記ポインタが前記第１特定領域を通過すべき方向を決定する方向決定部を備え、
    前記第１画像変更部は、前記方向判別部で判別された方向が、前記方向決定部で決定された方向である場合に、前記画像を変更する
    請求項１〜１０のいずれか１項に記載の情報入力装置。
12. 前記方向決定部は、前記第１特定領域が前記表示画面の枠を構成する辺に接して配置されている場合には、前記方向として、前記辺を横切る方向に決定する
    請求項１１記載の情報入力装置。
13. 前記方向決定部は、前記第１特定領域が前記表示画面の枠を構成する辺に接して配置されている場合には、前記方向として、前記辺と平行な方向に決定する
    請求項１１記載の情報入力装置。
14. 前記方向決定部は、複数の前記第１特定領域の密集度に依存して、前記方向を決定する
    請求項１１〜１３のいずれか１項に記載の情報入力装置。
15. さらに、前記第１特定領域の属性に基づいて、前記画像に対するユーザの主操作方向を決定する主操作方向決定部を備え、
    前記方向決定部は、前記主操作方向決定部で決定された主操作方向を含まない範囲の方向から前記方向を決定する
    請求項１１〜１４のいずれか１項に記載の情報入力装置。
16. さらに、前記指示物検出部に対する前記表示画面の位置及び姿勢を検出する表示画面状態検出部を備え、
    前記主操作方向決定部は、前記表示画面状態検出部で検出された前記位置及び前記姿勢に依存して前記主操作方向を決定する
    請求項１５記載の情報入力装置。
17. 前記指示物検出部は、前記ユーザの手又は指の姿勢を検出し、
    前記方向決定部は、前記指示物検出部で検出された前記姿勢に依存して、前記方向を決定する
    請求項１１〜１６のいずれか１項に記載の情報入力装置。
18. 表示画面に表示された画像に対するユーザの指示を取得する装置による情報入力方法であって、
    ３次元空間における指示物の位置及び向きの少なくとも一方を検出する指示物検出ステップと、
    前記指示物検出ステップで検出された前記位置及び向きの少なくとも一方に対応させて、前記表示画面に表示するポインタの前記表示画面における位置を決定するポインタ位置決定ステップと、
    前記ポインタ位置決定ステップで決定された位置を示す位置情報の時系列を取得して保持する記憶ステップと、
    前記記憶ステップで記憶された時系列の位置情報を用いて、前記表示画面における予め定められた領域である第１特定領域を前記ポインタが通過したことを検出する第１通過検出ステップと、
    前記第１通過検出ステップによって前記通過が検出された場合に、前記ポインタが前記第１特定領域を通過したときの方向を判別する方向判別ステップと、
    前記方向判別ステップによって判別された方向に応じて、前記表示画面に表示されている画像を変更する第１画像変更ステップと、
    前記記憶ステップで記憶された時系列の位置情報を用いて、前記ポインタが前記表示画面上における繰り返し運動をしていることを検出する繰り返し検出部ステップ、
    前記第１通過検出ステップによって前記通過が検出された後に、前記繰り返し検出ステップによる検出を有効化する繰り返し検出有効化ステップと、
    前記繰り返し検出ステップによって有効な検出が行われた場合に、前記画像の変更を繰り返す第２画像変更ステップと、
    を含む情報入力方法。
19. 請求項１８記載の情報入力方法に含まれるステップをコンピュータに実行させるプログラム。
20. コンピュータによって実行される情報表示方法であって、
    少なくとも一つのアイテムを表示画面に表示する表示ステップと、
    ３次元空間における指示物の位置及び向きの少なくとも一方を検出することによって、ユーザからの指示を取得する指示取得ステップとを含み、
    前記表示ステップは、
    前記指示取得ステップで取得されたユーザの指示に従って前記少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モードと、前記第１モードで選択された前記少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モードとを有し、
    前記指示取得ステップで取得されたユーザの指示が、前記表示画面に設定された少なくとも二つの領域の一つから他方への移動である場合に、前記第１モードから前記第２モード、又は、前記第２モードから第１モードに変更し、
    前記表示ステップは、少なくとも一つのアイテムをグループの要素とする、複数のグループを前記表示画面に表示し、
    前記第１モードでは、前記複数のグループのうちの第１グループに属するアイテムが選択可能であり、前記複数のグループのうちの第２グループに属するアイテムが選択不可能である
    情報表示方法。
21. 前記少なくとも二つの領域は、前記表示画面に表示された線分によって区切られる二つの領域が含まれ、
    前記移動には、前記線分を超える移動が含まれる
    請求項２０記載の情報表示方法。
22. 前記第１モードでは、前記指示取得ステップで取得されたユーザの指示が前記移動である場合に、前記第１グループに属していたアイテムが移動して前記第２グループに属するアイテムとなり、選択不可能になる
    請求項２０記載の情報表示方法。
23. 前記第２モードでは、
    前記第１モードで選択されたアイテムに対する前記処理に対応づけられたアイコンが前記表示画面に表示され、
    前記アイコンには、少なくとも二つの領域が対応づけられ、
    前記指示取得ステップで取得されたユーザの指示が、前記アイコンに対応づけられた少なくとも二つの領域の一つから他方への移動である場合に、前記アイコンに対応づけられた処理が実行される
    請求項２０〜２２のいずれか１項に記載の情報表示方法。
24. 前記アイコンは、当該アイコンに対応づけられたアイテムの属性に依存して、当該アイコンに対応づけられた処理が実行可能である状態、及び、実行不可能な状態をとる
    請求項２３記載の情報表示方法。
25. 前記表示ステップはさらに、メニューを表示する第３モードを有し、
    前記表示ステップは、
    前記指示取得ステップで取得されたユーザの指示が示すポインタの移動が第１パターンに属する場合に、元のモードである前記第１モード又は前記第２モードから前記第３モードに遷移し、
    前記指示取得ステップで取得されたユーザの指示が示すポインタの移動が第２パターンに属する場合に、前記第３モードから前記元のモードに遷移する
    請求項２０〜２４のいずれか１項に記載の情報表示方法。
26. 前記指示取得ステップはさらに、３次元空間における前記指示物の個数を検出し、
    前記第１パターンと前記第２パターンとは、異なる個数の前記指示物を用いたユーザの指示である
    請求項２５記載の情報表示方法。
27. 請求項２０記載の情報表示方法に含まれるステップをコンピュータに実行させるプログラム。
28. コンピュータと表示画面とを備える情報表示装置であって、
    前記コンピュータは、
    少なくとも一つのアイテムを表示画面に表示する表示ステップと、
    ３次元空間における指示物の位置及び向きの少なくとも一方を検出することによって、ユーザからの指示を取得する指示取得ステップとを実行し、
    前記表示ステップは、
    前記指示取得ステップで取得されたユーザの指示に従って前記少なくとも一つのアイテムの中から少なくとも一つのアイテムを選択する第１モードと、前記第１モードで選択された前記少なくとも一つのアイテムに対する表示変更を伴う処理を行う第２モードとを有し、
    前記指示取得ステップで取得されたユーザの指示が、前記表示画面に設定された少なくとも二つの領域の一つから他方への移動である場合に、前記第１モードから前記第２モード、又は、前記第２モードから前記第１モードに変更し、
    前記表示ステップは、少なくとも一つのアイテムをグループの要素とする、複数のグループを前記表示画面に表示し、
    前記第１モードでは、前記複数のグループのうちの第１グループに属するアイテムが選択可能であり、前記複数のグループのうちの第２グループに属するアイテムが選択不可能である
    情報表示装置。

Images