JP5783828B2 - 情報処理装置およびその制御方法 - Google Patents

Description

本発明は、入力モードを切り替える技術に関する。

従来、表示画面に対してタッチ入力操作をすることによって、表示画面上の所定の位置をポインティングする技術が知られている。また、表示画面に対して指差し入力操作をすることによって、表示画面上の所定の位置をポインティングする技術が知られている（例えば、特許文献１）。

特開平５−３２４１８１号公報

そして、指差し入力操作は、手ぶれの影響により、遠隔にあるオブジェクトの正確なポインティングが困難である。そこで、指差し入力操作によって表示画面上のおおよその位置をポインティングし、更に、タッチ入力操作をすることによって、表示画面上の詳細な位置をポインティングすることが望まれる。
しかしながら、従来、指差し入力操作を受け付けるモードとタッチ入力操作を受け付けるモードとを切り替えるためには、切り替えを指示する声を音声認識させたり、切り替えを指示するボタン操作を受け付けたりする必要があった。本発明は、このような課題に鑑みてなされたものであり、指差し入力操作をしている指（注目物）そのものの動きに基づいて、入力モードを切り替えることを目的とする。

上記の課題を解決する為に、本発明に係る情報処理装置は、所定時間あたりの注目物の位置の変化量を検知する検知手段と、注目物の位置と前記注目物が指し示す方向とに基づいて表示面上の第１の操作位置を決定する第１のモードと、前記注目物と前記表示面との接触位置に基づいて前記表示面上の第２の操作位置を決定する第２のモードとを、前記検知した変化量を用いて、切り替える切替手段を有することを特徴とする。

本発明によれば、注目物そのものの動きに基づいて、入力モードを切り替えることが可能となる。

本発明に係るシステムを設置した様子示す図。 情報処理装置１０４の機能ブロック図およびハードウェア構成図。 入力モードを切り替える処理の流れを示すフローチャート。 ステップＳ４０２、Ｓ４０３の処理の詳細を示すフローチャート。 入力モードを切り替える様子を示す図。 ステップＳ４０４の処理の詳細を示すフローチャート。 入力モードを切り替える様子を示す図。 ステップＳ５０２の結果を示す図。 ステップＳ５０２の結果を示す図。

以下、図面を参照しながら本発明を実施するための形態について説明する。

（第１の実施形態）
図１は、本実施形態に係るシステム（情報処理システム）を設置した様子を示す図であり、本システムは、プロジェクタ１０１、カメラ１０２、デジタイザ１０３、情報処理装置１０４を有する。尚、本実施形態においては、上記の各装置が連携したシステムによって本発明を実現するが、上記の各装置に相当する機能を有する１つの情報処理装置が本発明を実現してもよい。

プロジェクタ１０１は、情報処理装置１０４から出力された画像データに従って、デジタイザ１０３に対して、所定の画像を投影する。カメラ１０２は、デジタイザ１０３と対向するよう設置され、ユーザの指等の注目物を撮影する。カメラ１０２は、距離画像を出力する距離画像センサ等である。尚、距離画像とは、それぞれの画素がカメラ１０２と空間上の注目物との距離に従った画素値を有する画像とする。距離の測定方法としては、例えば、赤外線を発光して対象物からの反射光の到達時間を計測する飛行時間計測方式（ＴＯＦ）などが適用される。互いに異なる時点で出力された複数の距離画像を比較することにより、注目物の移動距離と移動方向の特定が可能である。また、カメラ１０２は、所定の形状を有する物体を認識する機能を有し、ユーザ手１０５の形状（指先や指の根元など）を認識できるものとする。本実施形態では、様々な人間の形状や手の形状をモデルとして記憶装置（ＲＡＭ）に保持しておくことにより上述した認識機能を実現するものとする。尚、所定の形状を有する物体を認識する機能は、情報処理装置１０４が備えていてもよい。

デジタイザ１０３は、デジタイザ１０３と接触した物体の位置を検知する。また、デジタイザ１０３は、プロジェクタ１０１が投影した画像の表示面として機能する。情報処理装置１０４は、カメラ１０２から距離画像を取得し、デジタイザ１０３から接触位置を示す情報を取得し、後述する処理を実行し、プロジェクタ１０１に対して所定の画像データを出力する。尚、本実施形態において、デジタイザ１０３は、縦（Ｘ軸方向の長さ）が１９０ｃｍ、横（Ｙ軸方向の長さ）が１５０ｃｍの矩形である。また、デジタイザ１０３上空の３次元空間については、デジタイザ１０３の角に相当する点Ｐ１を原点（０，０，０）とし、横方向をＹ軸、縦方向をＸ軸、高さ方向をＺ軸（原点を通り、ＸＹ平面に直行する軸）とする。また、本実施形態では、デジタイザ１０３の別の角に相当する点Ｐ２を（１９０，０，０）、点Ｐ３を（０，１５０，０）とする。座標の単位はｃｍとする。

図２（ａ）は、情報処理装置１０４の機能構成を示す機能ブロック図である。情報処理装置１０４は、指差し入力処理部２０１、タッチ入力処理部２０２、モード管理部２０３、表示制御部２０４、遠隔制御部２０５を有する。また、情報処理装置１０４は、プロジェクタ１０１、カメラ１０２、デジタイザ１０３と接続されている。

指差し入力処理部２０１は、ＣＰＵ等によって構成され、カメラ１０２が出力した距離画像から、注目物（本実施形態においては、指）の位置と、注目物の方向（本実施形態においては指先の向き）を求め、デジタイザ１０３（表示面）上の所定の位置を特定する。例えば、図５に示すような３次元空間座標系において、指差し入力処理部２０１によって、指先の位置座標Ｐ４が（９０，１２０，５０）と求められ、指の根元の位置座標Ｐ５が（９３，１３０，５３）と求められたとする。このとき、指先の位置座標と指の根元の位置座標とを結んだ直線と、デジタイザ１０３（表示面）に相当する面との交点（６０，２０，０）が、ポインティング位置（操作位置）として特定される。また、指差し入力処理部２０１は、指差し入力を示す情報の履歴を管理する。また、本実施形態では、指を用いて指差し入力を行っていたが、ペン先等を用いて指差し入力を行ってもよい。また、レーザポインタ等のポインティングデバイスを用いてポインティングを行ってもよい。タッチ入力処理部２０２は、ＣＰＵ等によって構成され、デジタイザ１０３に対する接触する認識する。また、タッチ入力処理部２０２は、タッチ入力を示す情報の履歴を管理する。

モード管理部２０３は、ＣＰＵ等によって構成され、指差し入力モードとタッチ入力モードを切り替える機能を有する。尚、指差し入力モードでは、指差し入力処理部２０１によって特定された位置がポインティングされ、タッチ入力モードでは、タッチ入力処理部２０２によって特定された位置として、デジタイザ１０３との接触が検知された位置がポインティングされる。表示制御部２０４は、ＣＰＵ、出力Ｉ／Ｆ等によって構成され、プロジェクタ１０１に対して所定の画像データを出力する。遠隔制御部２０５は、ＣＰＵ、ＲＡＭ等によって構成され、後述するポインティング位置を遠隔操作するための制御を実行する。

図２（ｂ）は、情報処理装置１０４のハードウェア構成を示す図である。情報処理装置１０４は、中央処理装置（ＣＰＵ）３０１、ランダムアクセスメモリ（ＲＡＭ）３０２、リードオンリメモリ（ＲＯＭ）３０３、入力インタフェース（Ｉ／Ｆ）３０４、入力Ｉ／Ｆ３０５、出力Ｉ／Ｆ３０６を有する。また、情報処理装置１０４は、プロジェクタ１０１、カメラ１０２、デジタイザ１０３と接続されている。ＣＰＵ３０１は、ＲＯＭ３０３等に格納されたプログラム等をＲＡＭ３０２に展開し、実行することによって、情報処理装置１０４の各機能を実現する。ＲＡＭ３０２は、上記プログラムの動作に必要な記憶領域を提供する。ＲＯＭ３０３は、上記プログラムの動作手順を実現するプログラムやデータ等を保持する。入力Ｉ／Ｆ３０４は、カメラ１０２から距離画像を取得する。入力Ｉ／Ｆ３０５は、デジタイザ１０３から接触位置を示す情報を取得する。出力Ｉ／Ｆ３０６は、プロジェクタ１０１に対して、所定の画像データを出力する。尚、上記の各部は、システムバスを介して、互いに連携して機能している。

図３は、入力モードを切り替える処理を示すフローチャートである。ステップＳ４０１において、モード管理部２０３は、指差し入力モードであるか、タッチ入力モードであるかを判定する。ステップＳ４０１において、デジタイザ１０３との接触が検知されている場合には、タッチ入力モードと判定し、ステップＳ４０５の処理を実行する。一方、デジタイザ１０３との接触が検知されていない場合には、指差し入力モードと判定し、ステップＳ４０２の処理を実行する。ステップＳ４０２において、指差し入力処理部２０１は、ユーザの指を注目物として捉え、注目物（指）の位置と方向に基づいて、表示面（デジタイザ１０３）上のポインティング位置を特定する。

ステップＳ４０３において、指差し入力処理部２０１は、互いに異なる時点で出力された距離画像に基づいて、指の振り下ろしがあったか否かを検知する。具体的には、ステップＳ４０３において、指差し入力処理部２０１は、所定の時間（例えば、２８０ミリ秒）あたりのデジタイザ１０３（表示面）に対する垂直方向の指先の移動量（変化量）が、表示面に近づく方向に、所定の距離（例えば、１３ｃｍ）以上となったか否か判断する。ステップＳ４０３において、指の振り下ろしが検知された場合、ステップＳ４０４の処理を実行し、指の振り下ろしが検知されなかった場合、ステップＳ４０２の処理が実行される。

ステップＳ４０４において、モード管理部２０３は、指差し入力モードからタッチ入力モードへ入力モード切替える処理を実行する。ステップＳ４０８において、タッチ入力処理部２０２が、タッチ入力処理を行う。

ステップＳ４０５において、タッチ入力処理部２０２は、表示面（デジタイザ１０３）上の、指の接触位置に基づいて、ポインティング位置を特定する。即ち、例えば、デジタイザ１０３と指先とが接触した位置がポインティング位置となる。ステップＳ４０６において、指差し入力処理部２０１は、指の振り上げを検知する。より具体的には、ステップＳ４０６において、指差し入力処理部２０１は、所定の時間（例えば、２８０ミリ秒）あたりのデジタイザ１０３（表示面）に対する垂直方向の指先の移動量（変化量）が、表示面から遠ざかる方向に、所定の距離（例えば、１３ｃｍ以上）となったか否か判断する。ステップＳ４０６において、指の振り上げを検知した場合、ステップＳ４０７の処理を実行し、指の振り上げを検知しなかった場合、ステップＳ４０５の処理を実行する。ステップＳ４０７において、モード管理部２０３は、タッチ入力モードから指差し入力モードに切替を行う。ステップＳ４０９において、指差し入力処理部２０１が、指差し入力処理を行う。即ち、ステップＳ４０１からステップＳ４０７の処理により、指差し入力モードとタッチ入力モードとの切替を、指一本の操作で行うことが可能となる。

尚、ステップＳ４０３と、ステップＳ４０６の判定方法は、上記方法に限らない。例えば、上述したステップＳ４０３の処理に変えて、指差し入力処理部２０１は、基準となる時点から現時点までに検知された指先の位置を線形近似して得られた直線の傾き（ｓ１）を求める。そして、基準となる時点から所定時間遡った時点までに検知された指先の位置を線形近似して得られた直線の傾き（ｓ２）を求め、互いの傾きを比較して、例えばｓ２／ｓ１の値が所定の閾値以上となった場合、指の振り下ろしとして検知してもよい。また、上述したステップＳ４０６の処理に変えて、指差し入力処理部２０１は、基準となる時点から現時点までに検知された指先の位置を線形近似して得られた直線の傾きを求める。そして、基準となる時点から所定時間遡った時点までに検知された指先の位置を線形近似して得られた直線の傾きを求め、互いの傾きを比較して、指の振り上げを検知してもよい。

ここで、ステップＳ４０２の処理方法（Ｓ５０１〜Ｓ５０５）を、図４（ａ）を用いて詳細に説明する。図４（ａ）は、ステップＳ４０２の内部処理の手順を説明するフローチャートである。ステップＳ５０１では、指差し入力処理部２０１が、カメラ１０２が撮像した映像から、手１０５の指先（人差し指）の点Ｐ４と根元の点Ｐ５を検知する。ステップＳ５０２では、指差し入力処理部２０１が、カメラ１０２が撮像した映像から、指先の点Ｐ４に対する原点からの距離と方向を認識する。そして、指先の点Ｐ４における３次元空間の座標を特定する。カメラ１０２で撮像された映像から時間情報も取得し、時間情報と３次元空間座標を対応付ける。尚、時間情報と３次元空間座標を、所定の時間間隔で取得し続け、取得した時間情報と３次元空間座標を保持部に保持しておく。図８は、ステップＳ５０２の処理を行った結果を示す表である。時間Ｔ（単位はｍｓｅｃ）に対して、点Ｐ４のＸ座標Ｘ１、Ｙ座標Ｙ１、Ｚ座標Ｚ１を表にまとめたものである。図９は、図８に示した情報をグラフにまとめたものである。尚、図９の横軸は時間Ｔであり、縦軸はＸ座標Ｘ１とＹ座標Ｙ１とＺ座標Ｚ１である。ユーザが手１０５の人差し指を突き出し、指差し入力を開始した時点をＴ＝０とする。撮像された映像から、人差し指が突き出された瞬間が検知される。

ステップＳ５０３では、ステップＳ５０２と同様の方法により、指差し入力処理部２０１が、指の根元の点Ｐ５における３次元空間の座標を特定する。また、ステップＳ５０２と同様に時間情報も取得し、時間情報と３次元空間座標を対応付ける。ステップＳ５０４では、指差し入力処理部２０１が、点Ｐ４と点Ｐ５を結んだ線と、ＸＹ平面とが交わる点Ｐ６をポインティング位置とする。点Ｐ４と点Ｐ５を結ぶ直線の方程式を求め、Ｚ座標が０となるＸ座標Ｘ３とＹ座標Ｙ３を求める。ステップＳ５０５では、表示部であるプロジェクタ１０１が、点Ｐ６に、カーソルを表示する。指差し入力モードである間は、常に点Ｐ６のポインティング位置の特定を続け、カーソルの表示もその間行われる。

尚、ここで、ポインティング位置とは、ユーザがタッチや指差しで、指し示した位置である。カーソルとは、ポインティング位置をディスプレイに表示させたシンボルである。カーソル位置は、指差しモードからタッチモードに移行する前のカーソルの位置で、移行前のポインティング位置である。移行後は、手前のポインティングする位置が、遠隔のカーソル位置の動きに反映される。

ここで、ステップＳ４０３の処理方法（Ｓ６０１〜Ｓ６０２）を詳細に説明する。図４（ｂ）は、ステップＳ４０３の内部処理の手順を説明するフローチャートである。ステップＳ６０１では、指差し入力処理部２０１が、保持部に保持された時間Ｔと指先の変化量の関係から、変化点を検知する。所定時間内で、所定の指先の変化量を検知するとステップＳ６０２の処理を行う。変化点が検知されない場合は、一連の処理を終了する。本実施形態では、計測し始めた時点（Ｔ＝０）から、所定時間（本実施形態の例では、２８０ｍｓｅｃ）以内でＺ座標Ｚ１が所定距離（本実施形態の例では、１３ｃｍ）以上減少する区間が初めて検知された時に、ステップＳ６０２の処理を行う。図８より、Ｔ１（Ｔ＝１４４０ｍｓｅｃ）からＴ２（Ｔ＝１６８０ｍｓｅｃ）の範囲で、Ｚ座標Ｚ１の変化量が１３．０２１９２と減少しているので、この時にステップＳ６０２の処理を行う。この時の時点Ｔ１に相当する時点を変化点とする。

ステップＳ６０２では、ステップＳ６０１で変化点を検知した位置でカーソルを停止させる。
ステップＳ６０２の処理を行わなかった場合、ユーザの指の振り下ろしに合わせて、ポインティング位置が移動する。ステップＳ６０２の処理を行うことにより、ユーザの意図したポインティング位置を維持したまま、指差し入力モードからタッチ入力モードに切替できる効果がある。ここで、ステップＳ４０６の処理方法を説明する。まず、ステップＳ５０１の処理と同様に、カメラ１０２が撮像した映像から、手１０５の指先（人差し指）の点Ｐ４の３次元空間座標を特定する。そして、ステップＳ４０４の処理と同様に、時間Ｔと指先の変化量の関係から、変化点を検知する。所定の時間内で、所定の指先の変化量を検知するとステップＳ４０８の処理を行う。変化点が検知されない場合は、Ｓ６０１の処理が継続される。本実施形態では、計測し始めた時点（Ｔ＝０）から、２８０ｍｓｅｃ以内でＺ座標Ｚ１が１３ｃｍ以上上昇する区間が初めて検知された時に、Ｓ４０７の処理を行う。詳細なデータを使った説明は、ステップＳ４０３とステップＳ４０４で行ったのでここでは省略する。

ここで、ステップＳ４０８の処理を詳細に説明する。図６は、ステップＳ４０８の処理の内部処理の手順を説明するフローチャートである。図６において、「指差し入力モード時」とは、ステップＳ５０４でポインティング位置を特定されたときであり、時点Ｔ１である。「切り替え時」とは、ステップＳ６０２でポインティング位置を特定されたときであり、時点Ｔ２である。

ステップＳ８０１では、指差し入力モード時（ステップＳ５０４）で特定されたポインティング位置が、画像オブジェクト上にあるかを判定する。尚、画像オブジェクトとは、画面に表示された部分画像のうち、画面上で移動可能な部分画像をいい、例えば、写真、アイコン、ドキュメント等である。ポインティング位置が、例えば、図７に示すように、指差し入力モード時に、画像オブジェクトＡの上にある場合は、ステップＳ８０２の処理を行う。また、指差し入力モード時に、ポインティング位置が画像オブジェクト上にない場合は、ステップＳ８０７の処理を行う。ステップＳ８０２では、ステップＳ４０４でタッチ入力モードに切り替えた時に、手１０５（指差し入力処理の対象となった手）が別の画像オブジェクト上をタッチしたかを判定する。画像オブジェクト上ではない位置をタッチした場合には、ステップＳ８０４の処理を行う。また、例えば、図７に示すように、切り替え時に、画像オブジェクトＢ上をタッチするとステップ８０３の処理を行う。ステップＳ８０３では、画像オブジェクトＡと画像オブジェクトＢとを入れ替えて、ステップＳ８１０で、タッチ入力処理を行う。ステップＳ８０４では、ステップＳ８０２でタッチした指の本数（接触点の数）を判定する。接触点が１点である場合は、ステップＳ８０５の処理を行う。接触点が２点である場合は、ステップＳ８０６の処理を行う。ステップＳ８０５では、指差し入力モード直前で特定されたポインティング位置を、タッチ入力モードにおけるタッチ入力で操作する。ステップＳ８０６では、タッチ入力モードにおいて画像オブジェクトＡに関連したメニューが表示される。例えば、Ｘ軸の正方向にタッチ入力すると、画像の大きさ変更に関するメニューが表示される。ステップＳ８１１で、タッチ入力処理を行う。ステップＳ８０７では、ステップＳ４０４でタッチ入力モードに切り替えた時に、手１０５が画像オブジェクト上をタッチしたかを判定する。例えば、画像オブジェクトＢ上をタッチするとステップＳ８０８の処理を行う。画像オブジェクト上をタッチしないとステップＳ８０９の処理を行う。ステップＳ８０８では、指差し入力モード時に特定されたポインティング位置に画像オブジェクトＢを移動させる。ステップＳ８１２で、タッチ入力処理を行う。

ステップＳ８０５と、ステップＳ８０９では、指差し入力モード時に特定されたポインティング位置を、タッチ入力モードにおけるタッチ入力で操作する。指差し入力は、手ぶれの影響により、遠隔にある画像オブジェクトの正確なポインティングや移動等の操作が困難である。画像の大まかなポインティングを指差し入力で行い、その後テーブル上のタッチ操作で詳細なポインティング操作を行う。これにより、遠隔の画像オブジェクトも正確に操作できる効果がある。尚、ステップＳ８０５と、ステップＳ８０９で遠隔操作を行う際に、指差し入力モード時に特定されたポインティング位置の周辺の画像オブジェクトを、タッチ入力エリアに複製して、遠隔操作を行えるようにしてもよい。これにより、ユーザは、通常、タッチで操作できないエリアの画像オブジェクトに対して、手元を見ながら、タッチ入力することが可能となる。

尚、図５は、入力モードを切り替え、遠隔の画像オブジェクトを操作する様子を示す図である。本図においては、まず指先の位置座標Ｐ４と指の根元の位置座標Ｐ５とから求められた指（人差し指）の位置と向きとに基づいて、画面上（表示面上）の操作位置として、カーソル位置Ｐ６が決定されている。ここで、所定時間（例えば、２８０ｍｓｅｃ）あたりの指（指先）の位置の変化量のうち、表示面に対する垂直方向の変化量が、表示面に近づく方向に所定の閾値（例えば、１３ｃｍ）以上となったとき、以下の処理が実行される。即ち、例えば、所定の閾値以上の変化量が検知された所定時間の始点に相当する時点におけるカーソル位置を保持する。更に、指と表示面との接触位置が検知された位置を決定し、図示した様に、接触位置を移動させるユーザ操作に応じて、カーソル位置が移動する操作である。尚、接触位置を移動させるユーザ操作に応じて、カーソル位置が移動する操作は、遠隔制御部２０５による制御に基づいて実行される。

また、本実施形態では、図４（ｂ）に示したステップＳ４０３の処理の代わりに、図４（ｃ）に示す処理を実行してもよい。まず、ステップＳ７０１では、ステップＳ６０１と同様に時間Ｔと指先の変化量の関係から、変化点を検知する処理を実行する。所定の時間内で、所定の指先の変化量を検知するとステップＳ７０２の処理を行う。変化点が検知されない場合は、一連の処理を終了する。ステップＳ７０２では、ユーザによるタップ（デジタイザと手の接触）を検知したかを判定する。タップを検知した場合は、ステップＳ７０３の処理を行う。タップを検知しなかった場合は、一連の処理を終了する。ステップＳ７０３では、ステップＳ７０１で変化点を検知した位置にポインティング位置を戻す。

上記実施形態では、ステップＳ４０２では、指先と指の根元の点を結んだ直線とＸＹ平面との交点をポインティング位置とした。本発明は、指の根元以外にも、指先とユーザの頭の重心の点を結んだ直線とＸＹ平面との交点をポインティング位置としてもよい。

また、上記実施形態における、デジタイザの長さやポインティング位置、指の振りおろしの距離、時間などは、一例であって、これらの長さ、位置、距離、時間は、適宜設定すればよい。

上記実施形態では、画像データを表示するために、プロジェクタを用いたが、プロジェクタの代わりに、ディスプレイなどの表示部を用いてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 所定時間あたりの注目物の位置の変化量を検知する検知手段と、
   注目物の位置と前記注目物が指し示す方向とに基づいて表示面上の第１の操作位置を決定する第１のモードと、前記注目物と前記表示面との接触位置に基づいて前記表示面上の第２の操作位置を決定する第２のモードとを、前記検知した変化量を用いて、切り替える切替手段を有することを特徴とする情報処理装置。
2. 前記切替手段は、前記所定時間あたりの前記注目物の位置の変化量のうち、前記所定時間あたりの前記表示面に対する垂直方向の変化量が、所定の閾値以上となったとき、前記第１のモードと前記第２のモードとを切り替えることを特徴とする請求項１に記載の情報処理装置。
3. 更に、前記第１のモードである場合において、前記所定時間あたりの前記注目物の位置の変化量のうち、前記所定時間あたりの前記表示面に対する垂直方向の変化量が、前記表示面に近づく方向に所定の閾値以上となったとき、前記垂直方向の変化量が前記表示面に近づく方向に所定の閾値以上となった所定時間に含まれる所定の時点における前記第１の操作位置を、前記第１の操作位置とする変更手段と、
   前記第１のモードから前記第２のモードに切り替わった場合、前記第２の操作位置に対するユーザ操作に応じた処理を、前記第１の操作位置に対して実行する制御手段とを有することを特徴とする請求項１に記載の情報処理装置。
4. 情報処理装置の制御方法であって、
   検知手段が、所定時間あたりの注目物の位置の変化量を検知する検知工程と、
   切替手段が、注目物の位置と前記注目物が指し示す方向とに基づいて表示面上の第１の操作位置を決定する第１のモードと、前記注目物と前記表示面との接触位置に基づいて前記表示面上の第２の操作位置を決定する第２のモードとを、前記検知した変化量を用いて、切り替える切替工程を有することを特徴とする情報処理装置の制御方法。
5. 前記切替工程は、前記所定時間あたりの前記注目物の位置の変化量のうち、前記所定時間あたりの前記表示面に対する垂直方向の変化量が、所定の閾値以上となったとき、前記第１のモードと前記第２のモードとを切り替えることを特徴とする請求項４に記載の情報処理装置の制御方法。
6. 更に、前記第１のモードである場合において、前記所定時間あたりの前記注目物の位置の変化量のうち、前記所定時間あたりの前記表示面に対する垂直方向の変化量が、前記表示面に近づく方向に所定の閾値以上となったとき、前記垂直方向の変化量が前記表示面に近づく方向に所定の閾値以上となった所定時間に含まれる所定の時点における前記第１の操作位置を、前記第１の操作位置とする変更工程と、
   前記第１のモードから前記第２のモードに切り替わった場合、前記第２の操作位置に対するユーザ操作に応じた処理を、前記第１の操作位置に対して実行する実行工程とを有することを特徴とする請求項４に記載の情報処理装置の制御方法。
7. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１〜３の何れか１項に記載の情報処理装置が有する各手段とて機能させるためのコンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
9. ユーザの手を検出する検出手段と、
   前記検出手段によって検出されたユーザの手が、前記検出手段によって検出されたユーザの手のうち指先の位置と、前記指先が向けられた方向とに基づいて、表示面上の前記ユーザが指差した位置を特定し、操作位置として利用する第１のモードと、前記指先が前記表示面に接触している位置を特定し、前記操作位置として利用する第２のモードとを、切り替える切替手段を有し、
   前記切り替え手段は、前記検出手段によって検出されたユーザの手が、基準よりも速い速さで前記表示面に近づいた場合に、前記第１モードから第２モードへの切り替えを実行し、前記検出手段によって検出されたユーザの手が、基準よりも速い速さで前記表示面から遠ざかった場合に、前記第２モードから前記第１モードへの切り替えを実行することを特徴とする情報処理装置。
10. 情報処理装置に制御方法であって、
    検出手段により、ユーザの手を検出する検出工程と、
    切替手段により、前記検出工程において検出されたユーザの手のうち指先の位置と、前記指先が向けられた方向とに基づいて、表示面上の前記ユーザが指差した位置を特定し、操作位置として利用する第１のモードと、前記指先が前記表示面に接触している位置を特定し、前記操作位置として利用する第２のモードとを、切り替える切替工程を有し、
    前記切り替え工程では、前記検出手段によって検出されたユーザの手が、基準よりも速い速さで前記表示面に近づいた場合に、前記第１モードから第２モードへの切り替えを実行し、前記検出手段によって検出されたユーザの手が、基準よりも速い速さで前記表示面から遠ざかった場合に、前記第２モードから前記第１モードへの切り替えを実行することを特徴とする情報処理装置。
11. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項９に項に記載の情報処理装置が有する各手段とて機能させるためのコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images