JP5561092B2 - 入力装置、入力制御システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、２次元的又は３次元的に表示される操作対象物を操作するための入力装置、入力制御システム、情報処理方法及びプログラムに関する。

例えば、ディスプレイ上に２次元的に表示されるＧＵＩ（Graphical User Interface）を操作するための入力装置として、マウスが広く用いられている。近年においては、マウスに代表される平面操作型の入力装置に限られず、空間操作型の入力装置が多種提案されている。

例えば特許文献１には、３つの軸に沿った線形並進運動を検出する３の加速度計と、３つの軸の角度回転を検出する３つの角速度センサとを含み、３次元内の６次の運動を検出する入力装置が記載されている。この入力装置は、マウスの加速度、速度、位置および姿勢を検出し、その検出信号をコンピュータに伝送することで、３次元的に表示される画像を制御可能としている。

特表平６−５０１１１９号公報

しかしながら、この種の空間操作型の入力装置は、平面操作型の入力装置と比較して操作性が低いという問題がある。その原因として、加速度センサが重力加速度と運動加速度とを分離できないこと、各種センサ値の積分などの数値処理に誤差が生じ易いこと、人間の細かい動きなどを検知することが難しく誤検出し易いこと、などが挙げられる。したがって、従来の空間操作型の入力装置では、ユーザの直感に即した操作感を得ることが容易でなかった。

以上のような事情に鑑み、本発明の目的は、操作性に優れ、ユーザの直感に即した操作感を得ることが可能な入力装置、入力制御システム、情報処理方法及びプログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る入力装置は、筐体と、第１の検出部と、第２の検出部と、制御部とを具備する。
上記筐体は、２次元的な検出面を有する。
上記第１の検出部は、上記検出面上を移動する検出対象の位置座標を検出し、上記検出対象の移動方向及び移動量を算出するための第１の信号を出力する。
上記第２の検出部は、画面が属する空間座標系の一基準面に対する上記検出面の傾きを検出し、上記基準面に対する上記検出面の傾斜角を算出するための第２の信号を出力する。
上記制御部は、上記第１の信号及び上記第２の信号に基づいて、画面に表示される画像の表示を３次元的に制御するための制御信号を生成する。

上記入力装置において、制御部は、第１の信号に基づいて検出対象の移動方向及び移動量を算出し、第２の信号に基づいて基準面に対する検出面の傾斜角を算出する。検出対象は、例えばユーザの指であり、基準面としては、例えば水平な地面が挙げられる。制御部は、第２の信号に基づいて画面に対する検出面の相対位置を特定し、画面の上下、左右及び奥行きの各方向と検出面内の各軸方向とを相互に対応させる。そして制御部は、検出対象の移動方向及び移動量に応じて、画像の表示を３次元的に制御する。

上記入力装置によれば、筐体の姿勢操作と検出面上での指の移動操作によって画像を３次元的に制御することができる。これにより操作性が高まり、ユーザの直感に即した操作感を得ることができる。

検出対象としては、ユーザの指だけに限られず、入力ペン等の他の操作子が含まれる。第１の検出部としては、検出面上の検出対象の位置座標を検出可能なセンサであれば特に限定されず、例えば、静電式、抵抗式等のタッチセンサが用いられる。また、第２の検出部としては、例えば加速度センサ、地磁気センサ、角速度センサ等が用いられる。

基準面としては、重力方向に垂直な面に限られず、重力方向に平行な面、例えば画面に平行な面であってもよい。

操作対象である画像は、２次元画像でもよいし３次元画像（実像および虚像）でもよく、アイコンやポインタ（カーソル）等を含む。画像の表示の３次元的な制御は、画面の上下、左右及び奥行きの各方向に沿った画像の表示制御を意味し、例えば、３次元映像を指標するポインタの３軸方向に沿った移動制御、３次元映像の表示制御などを含む。

上記検出面は、典型的には、第１の軸と、上記第１の軸と直交する第２の軸とを有する。上記第２の検出部は、重力方向に対する上記第１の軸及び上記第２の軸の少なくとも一方の軸方向についての傾斜角に応じた信号を出力する加速度センサを含んでもよい。これにより、基準面に対する検出面の傾斜角に応じた検出信号を容易に得ることができる。

加速度センサは、典型的には、第１の軸方向、第２の軸方向及びこれらに直交する第３の軸方向に沿って各々筐体内部に配置され、各軸方向の加速度センサの出力に基づいて基準面に対する検出面の傾斜角が算出される。

上記画像が上記画面上に表示された３次元映像である場合、上記制御信号は、上記３次元映像の映像視差の大きさを制御する信号を含んでもよい。
これにより、画面の奥行き方向に沿った３次元映像の適切な表示制御が可能となる。

本発明の一形態に係る入力制御システムは、入力装置と、情報処理装置とを具備する。
上記入力装置は、筐体と、第１の検出部と、第２の検出部と、送信部とを有する。上記筐体は、２次元的な検出面を有する。上記第１の検出部は、上記検出面上を移動する検出対象の位置座標を検出し、上記検出対象の移動方向及び移動量を算出するための第１の信号を出力する。上記第２の検出部は、画面が属する空間座標系内の一基準面に対する上記検出面の傾斜角を検出し、上記基準面に対する上記検出面の傾斜角を算出するための第２の信号を出力する。上記送信部は、上記第１の信号及び上記第２の信号を送信する。
上記情報処理装置は、受信部と、制御部とを有する。上記受信部は、上記送信部から送信された上記第１の信号及び上記第２の信号を受信する。上記制御部は、上記第１の信号及び上記第２の信号に基づいて、画面に表示される画像の表示を３次元的に制御するための制御信号を生成する。

本発明の一形態に係る情報処理方法は、２次元的な検出面上を移動する検出対象の位置座標を検出する第１の検出部の出力に基づいて、上記検出対象の移動方向及び移動量を算出することを含む。
画面が属する空間座標系内の一基準面に対する上記検出面の傾きを検出する第２の検出部の出力に基づいて、上記基準面に対する上記検出面の傾斜角が算出される。
上記検出対象の移動方向及び移動量と、上記基準面に対する上記検出面の傾斜角とに基づいて、上記画面に表示される画像の表示が３次元的に制御される。

本発明の一形態に係るプログラムは、上記入力制御方法を、情報処理装置に実行させる。上記プログラムは、記録媒体に記録されていてもよい。

本発明によれば、操作性に優れ、ユーザの直感に即した操作感を得ることができる。

本発明の一実施形態に係る入力制御システムの概略構成図である。 本発明の一実施形態に係る入力装置の概略構成図である。 上記入力装置の有するローカル座標系と、画面が属するグローバル座標系との関係を説明する図である。 上記入力装置の各方向への傾きを説明する図である。 上記入力装置の操作例を説明する模式図である。 上記入力装置の他の操作例を説明する模式図である。 上記入力制御システムの制御フローを説明する図である。 （Ａ）、（Ｂ）ともに上記入力制御システムの動作例を説明する図である。 （Ａ）、（Ｂ）ともに上記入力制御システムの他の動作例を説明する図である。 （Ａ）、（Ｂ）ともに上記入力制御システムのさらに他の動作例を説明する図である。 本発明の他の実施形態に係る入力制御システムの制御フローを説明する図である。 本発明の他の実施形態に係る入力制御システムの動作例を説明する図である。 本発明の他の実施形態に係る入力制御システムの動作例を説明する図である。 本発明の他の実施形態に係る入力制御システムの動作例を説明する図である。 上記入力装置を用いた検出対象の検出処理例を説明する図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

＜第１の実施形態＞
［入力制御システム］
図１は、本発明の一実施形態に係る入力制御システムを示すブロック図である。本実施形態の入力制御システム１００は、入力装置１と、画像制御装置２（情報処理装置）と、表示装置３とを有する。

入力制御システム１００は、入力装置１から送信される操作信号を画像制御装置２で受信し、受信した操作信号に応じて、表示装置３の画面３１に表示される画像を制御するものである。表示装置３の画面３１は、図中Ｘ軸方向に奥行き方向、Ｙ軸方向に水平方向、Ｚ軸方向に垂直方向（重力方向）をそれぞれ有する。

表示装置３は、例えば液晶ディスプレイ、ＥＬ（Electro-Luminescence）ディスプレイ等が挙げられるが、これらに限られない。表示装置３は、テレビジョン放送等を受信できるディスプレイと一体となった装置でもよい。本実施形態では、表示装置３は、画面３１上に３次元映像を表示することが可能な、例えば３Ｄテレビジョンで構成されている。

以下、入力装置１及び画像制御装置２について説明する。

［入力装置］
入力装置１は、ユーザが把持できる大きさの筐体１０を有する。筐体１０は、ｘ軸方向に長手方向、ｙ軸方向に短手方向、ｚ軸方向に厚み方向を有する略直方体であり、筐体１０の一方の表面には検出面１１が形成されている。検出面１１は、ｘ軸及びこれに直交するｙ軸に座標軸を有する２次元的な座標系に属し、ｘ軸方向に平行な長辺と、ｙ軸方向に平行な短辺とを有する、ｚ軸に垂直な矩形状を有する。

入力装置１は、例えばユーザの手指を検出対象とし、検出面１１上における指の位置座標及びその変化を検出する機能を有する。これにより、検出面１１上における指の移動方向、移動速度、移動量等が取得される。入力装置１はさらに、地面（ＸＹ平面）に対する検出面１１の傾きを検出する機能を有する。これにより、操作空間（ＸＹＺ空間）内における筐体１０の姿勢を判別でき、画面３１に対する検出面１１の相対位置情報が取得される。

図２は、入力装置１の内部構成を示すブロック図である。入力装置１は、筐体１０と、センサパネル１２（第１の検出部）と、角度検出ユニット１３（第２の検出部）と、外部スイッチ１４と、バッテリＢＴと、ＭＰＵ１５（制御部）と、ＲＡＭ１６と、ＲＯＭ１７と、送信機１８（送信部）とを有する。

センサパネル１２は、検出面１１とほぼ同一の形状及び大きさに形成される。センサパネル１２は、検出面１１の直下に配置され、検出面１１に接触又は近接する検出対象（指）を検出する。センサパネル１２は、検出面１１上の検出対象の位置座標に応じた電気信号（第１の検出信号）を出力する。

本実施形態においてセンサパネル１２は、検出面１１に近接又は接触する検出対象を静電的に検出することが可能な静電容量方式のタッチパネルが用いられる。静電容量方式のタッチパネルは、プロジェクテッドキャパシティブ式（投影型）でもよいし、サーフェイスキャパシティブ式（表面型）でもよい。この種のセンサパネル１２は、典型的には、ｙ軸方向に平行な第１の配線がｘ軸方向に複数配列されたｘ位置検出用の第１のセンサ１２ｘと、ｘ軸方向に平行な第２の配線がｙ軸方向に複数配列された位置検出用の第２のセンサ１２ｙとを有し、これら第１及び第２のセンサ１２ｘ，１２ｙはｚ軸方向に相互に対向して配置される。

上記以外にも、タッチパネルとしては、検出対象の位置座標を検出できるセンサであれば特に限定されず、抵抗膜式、赤外線式、超音波式、表面弾性波式、音響波照合式、赤外線イメージセンサなどの種々のタイプが適用可能である。

なお検出面１１は、筐体１０の表面を形成する壁面の一部で構成されてもよいし、検出面として別に設けられたプラスチック板などで構成されてもよい。あるいは、検出面１１は、筐体１０の壁面の一部に形成された矩形状の開口であってもよく、この場合、センサパネル１２の表面が検出面１１の一部を形成する。さらに、検出面１１及びセンサパネル１２は光透過性を有してもよいし、光透過性を有していなくてもよい。

検出面１１及びセンサパネル１２が光透過性を有する材料で形成されている場合、センサパネル１２の直下に液晶ディスプレイや有機ＥＬディスプレイ等の表示素子１９がさらに配置されてもよい。これにより、検出面１１に文字や絵柄を含む画像情報を表示することができる。

角度検出ユニット１３は、表示装置３が属する空間座標系内の一基準面に対する検出面１１の傾きを検出する。本実施形態において基準面は、水平な地面（ＸＹ平面）とされる。角度検出ユニット１３は、基準面に対する検出面の傾斜角を算出するための電気信号（第２の検出信号）を出力する。

本実施形態において角度検出ユニット１３は、筐体１０のｘ軸、ｙ軸及びｚ軸のうち少なくとも一方の軸回りの角度を検出するためのセンサユニットで構成される。角度検出ユニット１３は、重力方向に対するｘ軸、ｙ軸及びｚ軸のうち少なくとも一方の軸方向の傾斜角を検出し、その傾斜角に応じた検出信号を出力する。

角度検出ユニット１３は、ｘ軸方向の加速度を検出するｘ軸加速度センサ１３ｘと、ｙ軸方向の加速度を検出するｙ軸加速度センサ１３ｙと、ｚ軸方向の加速度を検出するｚ軸加速度センサ１３ｚとを有する、３軸加速度センサユニットで構成される。なお加速度センサ以外の他のセンサ、例えば、角速度センサ、地磁気センサ等によって角度検出ユニット１３が構成されてもよい。

ＭＰＵ１５は、センサパネル１２から出力される第１の検出信号と、角度検出ユニット１３から出力される第２の検出信号とに基づいて、筐体１０の姿勢の判定と、所定の制御信号の生成のための各種演算処理を実行する。

図３は、表示装置３が属するＸＹＺ座標系（以下「グローバル座標系」ともいう。）と、筐体１０の有するｘｙｚ座標系（以下「ローカル座標系」ともいう。）との関係を示す図である。図では、ローカル座標系とグローバル座標系とが相互に対応した状態を示している。本実施形態では、ＸＹ平面に対する筐体１０のｘ軸回りの回転角度をφ、ＸＹ平面に対するｙ軸回りの回転角度をθとそれぞれ定義する。なおｚ軸回りの回転角度は、ψと定義される。

角度φ及びθは、ｘ軸方向加速度センサ１３ｘ、ｙ軸方向加速度センサ１３ｙ及びｚ軸方向加速度センサ１３ｚの出力の三角関数を用いた数値演算によって、それぞれ算出される。すなわちＭＰＵ１５は、各加速度センサの出力に基づいて、グローバル座標系内の一基準面（ＸＹ平面）に対する検出面１１の傾斜角をそれぞれ算出することで、角度φ及びθを算出する。角度φ及びθのうちいずれか一方のみを算出する場合には、ｘ軸及びｙ軸方向のいずれか一方の軸方向について重力方向との傾斜角を算出すればよい。

図４は、基準面（ＸＹ平面）に対して筐体１０がｙ軸回りに角度θ、ｘ軸回りに角度φだけ傾いた状態を示す図である。角度検出ユニット１３の各加速度センサ１３ｘ，１３ｙ及び１３ｚの出力はそれぞれｘ、ｙ及びｚ方向を正の方向として出力する。ここで、各加速度センサ１３ｘ、１３ｙ及び１３ｚの信号（電圧）の大きさをそれぞれＡｘ、Ａｙ及びＡｚとし、重力１Ｇに対する加速度センサ１３ｘ及び１３ｙの信号（電圧）の大きさをそれぞれＡ及びＢとする。

このとき、地面（ＸＹ平面）に対する角度θの大きさは、例えば、
Ａｘ＜０、Ａｚ＞０のとき、θ＝−arc sin（Ａｘ／Ａ） …（１）
Ａｘ＜０、Ａｚ＜０のとき、θ＝１８０＋arc sin（Ａｘ／Ａ） …（２）
Ａｘ＞０、Ａｚ＜０のとき、θ＝１８０＋arc sin（Ａｘ／Ａ） …（３）
Ａｘ＞０、Ａｚ＞０のとき、θ＝３６０−arc sin（Ａｘ／Ａ） …（４）
の演算式で算出される。

また、地面（ＸＹ平面）に対する角度φの大きさは、例えば、
Ａｙ＜０、Ａｚ＞０のとき、φ＝−arc sin（Ａｙ／Ｂ） …（５）
Ａｙ＜０、Ａｚ＜０のとき、φ＝１８０＋arc sin（Ａｙ／Ｂ） …（６）
Ａｙ＞０、Ａｚ＜０のとき、φ＝１８０＋arc sin（Ａｙ／Ｂ） …（７）
Ａｙ＞０、Ａｚ＞０のとき、φ＝３６０−arc sin（Ａｙ／Ｂ） …（８）
の演算式で算出される。

ＭＰＵ１５は、上述したような演算処理によって、基準面（ＸＹ平面）に対する筐体１０の姿勢を判定する。

なお以上の説明では、地面（ＸＹ平面）を基準面として筐体１０の姿勢を判定する例を説明したが、この説明は、重力方向（Ｚ軸方向）に平行な面を基準面とした筐体１０の姿勢判定と実質的に同義である。したがって以下の説明では特に断らない限り、地面（ＸＹ平面）を基準とした説明には重力方向を基準とした説明が含まれ、重力方向を基準とした説明には地面（ＸＹ平面）を基準とした説明が含まれるものとする。

ＭＰＵ１５は、演算部と信号生成部とを有する。演算部は、上記角度θ及びφを算出する。信号生成部は、角度θ及びφに基づいて判定された筐体１０の姿勢に基づいて、検出面１１上における検出対象の移動方向に応じた制御信号を生成する。

また演算部は、検出面１１上における検出対象の移動方向及び移動量を各々算出する。例えば図５及び図６に示すように、筐体１０の検出面１１が基準面（ＸＹ平面）に対して傾いた状態で操作される場合を考える。これらの例において上記演算部は、角度検出ユニット１３の各加速度センサ１３ｘ、１３ｙ、１３ｚの出力に基づいて、筐体１０のｘ軸及びｙ軸の基準面（ＸＹ平面）に対する傾斜角θ及びφをそれぞれ算出する。

例えば図５に示すように検出面１１上で検出対象（指）をｘ方向へ距離Ｄだけ移動させた場合、画面３１の奥行き方向（Ｘ軸方向）に沿った移動量Ｄ１と、画面の垂直方向（Ｚ軸方向）に沿った移動量Ｄ２とは、それぞれ以下のようにして算出される。
Ｄ１＝Ｄ×cosθ …（９）
Ｄ２＝Ｄ×sinθ …（１０）
同様に、図６に示すように検出面１１上で検出対象（指）をｙ方向へ距離Ｌだけ移動させた場合、画面３１の水平方向（Ｙ軸方向）に沿った移動量Ｌ１と、画面の垂直方向（Ｚ軸方向）に沿った移動量Ｌ２とは、それぞれ以下のようにして算出される。
Ｌ１＝Ｌ×cosφ …（１１）
Ｌ２＝Ｌ×sinφ …（１２）

信号生成部は、演算部で算出された検出対象の移動量及び移動方向の傾斜角に基づいて、画面３１の奥行き方向に沿った画像の表示を制御するための制御信号を生成する。すなわち信号生成部は、演算部で算出された検出対象の移動量及び移動方向の傾斜角に基づいて、画面３１に表示される画像の表示を３次元的に制御するための制御信号を生成する。

画面３１に表示される画像の３次元的な制御には、例えば、画面３１に表示された３次元映像、３次元映像を指標するためのポインタ（カーソル）等の上下、左右及び奥行きの各方向への移動制御が含まれる。また、画面３１に表示された２次元画像の移動制御であってもよく、この場合、画面奥行き方向の制御には当該画像のズーム制御が挙げられる。また上記制御信号には、表示素子１９に表示される画像を制御するための信号が含まれていてもよい。

入力装置１はさらに、外部スイッチ１４を有してもよい。外部スイッチ１４は、図１に示すように例えば筐体１０の一側面に取り付けられる。外部スイッチ１４は、ユーザによる押圧操作を検出し、押圧操作に応じた信号（第３の検出信号）を生成する。「押圧操作に応じた信号」には、押圧の有無、押圧力の大きさ、押圧時間などの信号が含まれてもよい。ＭＰＵ１５の信号生成部は、外部スイッチ１４の押圧操作に応じた制御信号（第２の制御信号）を生成し、より拡張的な画像表示制御を可能とする。

外部スイッチ１４は、例えば、上記ポインタによって指標された画像の選択あるいは実行キーとして機能させてもよい。これにより、ドラッグ・アンド・ドロップなどの操作が可能となる。また、外部スイッチ１４を筐体１０の両側面に設置すれば、右クリック／左クリックなどのクリックキーとして機能させることができる。外部スイッチ１４の場所、数、形状等は特に限定されず、適宜設定することが可能である。

一方、ＭＰＵ１５は、センサパネル１２及び角度検出ユニット１３を駆動するための駆動回路を含んでもよい。センサパネル１２は、上記駆動回路から上記第１及び第２の配線へ信号電流が順次供給され、検出対象の位置座標に応じた検出信号を出力する。ＭＰＵ１５はセンサパネル１２からの検出信号を受信して、検出面１１上における検出対象の位置座標、位置座標の変化、一座標の軌跡等を算出する。検出方式は特に限定されず、配線間の静電容量の変化に基づいて検出対象の位置座標を検出するミューチュアル方式でもよいし、配線と検出対象との間の静電容量の変化に基づいて検出対象の位置座標を検出するセルフ方式でもよい。

ＭＰＵ１５は、各検出信号をデジタル信号に変換するＡ／Ｄコンバータを含んでもよい。ＲＡＭ１６及びＲＯＭ１７は、ＭＰＵ１５による種々の演算に用いられる。ＲＯＭ１７は、例えば不揮発性メモリで構成され、ＭＰＵ１５に各種演算処理を実行させるためのプログラムや設定値を格納する。

送信機１８は、ＭＰＵ１５によって生成された所定の制御信号を画像制御装置２へ送信する。バッテリＢＴは、入力装置１の電源を構成し、筐体１０内部の各部へ必要な電力を供給する。バッテリＢＴは、一次電池でもよいし、二次電池でもよい。またバッテリＢＴは、太陽電池で構成されてもよい。

［画像制御装置］
画像制御装置２は、図１に示すように、ビデオＲＡＭ２３と、表示制御部２４と、ＭＰＵ２５と、ＲＡＭ２６と、ＲＯＭ２７と、受信機２８とを有する。

受信機２８は、入力装置１から送信された制御信号を受信する。ＭＰＵ２５は、その制御信号を解析し、ＲＡＭ２６、及びＲＯＭ２７に格納された各種設定値及びプログラムを用いて各種の演算処理を行う。表示制御部２４は、ＭＰＵ２５の制御に応じて、主に、表示装置３の画面３１に表示するための画面データを生成する。ビデオＲＡＭ２３は、表示制御部２４の作業領域となり、生成された画面データを一時的に格納する。

画像制御装置２は、入力装置１に専用の機器であってもよいし、ＰＣ（パーソナルコンピュータ）等の一般的な情報処理装置であってもよい。また、画像制御装置２は、表示装置３と一体となったコンピュータであってもよい。画像制御装置２による制御対象機器は、オーディオ／ビジュアル機器、プロジェクタ、ゲーム機器、カーナビゲーション機器等であってもよい。

入力装置１の送信機１８と画像制御装置２の受信機２８との間の信号の送受信は、無線通信でもよいし有線通信でもよい。信号の伝送方法は特に限定されず、「ZigBee」（登録商標）、「Bluetooth」（登録商標）などの機器間通信でもよいし、インターネットを経由した通信でもよい。

送信機１８は、画像制御装置２などの他の機器からの信号を受信可能に構成されてもよい。また、受信機２８は、入力装置１などの他の機器へ信号を送信可能に構成されてもよい。

［入力制御システムの動作例］
次に、入力制御システム１００の基本的な動作例について説明する。図７は、入力装置１及び画像制御装置２の基本的な動作フローを説明する図である。図８及び図９は、入力制御システム１００の典型的な動作例を説明する図である。ここでは、入力装置１による、画面３１に３次元的に表示された画像（映像）Ｖ１を指標するポインタＰの移動制御について説明する。

入力装置１は、センサパネル１２によって検出面１１上におけるユーザの指（検出対象）の位置座標を検出し、指の移動方向及び移動量を算出するための第１の検出信号を出力する。さらに入力装置１は、角度検出ユニット１３によって基準面（ＸＹ平面）に対する筐体１０の傾きを検出し、基準面に対する検出面１１の傾斜角を算出するための第２の検出信号を出力する。入力装置１のＭＰＵ１５は、センサパネル１２から出力される第１の検出信号と、角度検出ユニット１３から出力される第２の検出信号とをそれぞれ取得する（ステップ１０１Ａ、ステップ１０１Ｂ）。各検出信号の取得の順序は限定されず、各検出信号は同時に取得されてもよい。

ＭＰＵ１５は、第１及び第２の検出信号に基づいて、検出面１１上における指の移動量及び移動方向と、検出面１１の基準面に対する傾斜角を算出する（ステップ１０２、ステップ１０３）。指の移動量等の算出（ステップ１０２）と検出面１１の傾斜角の算出（ステップ１０３）の順序は特に限定されず、これらは同時に算出されてもよい。

ＭＰＵ１５は、検出面１１上の指の位置座標の時間変化に基づいて検出面１１上における指の移動方向及び移動量を算出する。また、指の移動速度や位置の軌跡を同時に算出するようにしてもよい。また、ＭＰＵ１５は、角度検出ユニット１３の各加速度センサの出力に基づいて、上記（１）〜（８）式に示したような演算方法で基準面に対する検出面１１の傾斜角を算出する。ここでは、基準面に対する検出面１１の傾斜角は、検出面のｘ軸回りの傾斜角φ及びｙ軸回りの傾斜角θを含む。角度φ及びθの算出順序は特に限定されず、これらは同時に算出されてもよい。

例えば図８（Ａ）及び（Ｂ）に示すように、入力装置１の検出面１１が基準面（ＸＹ平面）に対してほぼ平行な場合、角度φ及びθはそれぞれ０度となる。一方、図９（Ａ）に示すように検出面１１が基準面（ＸＹ平面）に対してほぼ垂直な場合、角度φは０度、角度θは９０度となる。さらに図９（Ｂ）に示すように検出面１１が基準面（ＸＹ平面）に対して傾斜している場合の傾斜角はそれぞれ所定の角度φ及びθとなる。なお、図８及び図９に示した例においては、検出面１１は上方に向けられ、検出面１１のｘ方向は画面３１に向けられている。

次にＭＰＵ１５は、検出面１１上における指Ｆの移動方向及び移動量と、基準面に対する検出面１１の傾斜角φ、θとに基づいて、画面３１に表示される画像の表示を３次元的に制御するための制御信号を生成する（ステップ１０４）。すなわちＭＰＵ１５は、上記（９）〜（１２）式に示したような演算方法で算出した角度φ及びθに基づいて、画面３１の上下、左右及び奥行きの各軸方向と検出面１１の各軸方向とを相互に対応させる。そしてＭＰＵ１５は、指Ｆの移動方向及び移動量に応じて、ポインタＰの表示を３次元的に制御するための制御信号を生成する。

例えば図８（Ａ），（Ｂ）に示すように検出面１１が水平である場合、ＭＰＵ１５は、筐体１０のローカル座標系（ｘｙｚ座標系）を画面３１が属するグローバル座標系（ＸＹＺ座標系）に一致させる。そして、検出面１１上でユーザが指Ｆをｘ軸方向に移動させると（図８（Ａ））、ＭＰＵ１５は、ポインタＰを画面３１の奥行き方向（Ｘ軸方向）に移動させるための制御信号を生成する。同様に、検出面１１上でユーザが指Ｆをｙ軸方向に移動させると（図８（Ｂ））、ＭＰＵ１５は、ポインタＰを画面３１の水平方向（Ｙ軸方向）に移動させるための制御信号を生成する。

一方、図９（Ａ）に示すように検出面１１が基準面（ＸＹ平面）に対して垂直である場合、ＭＰＵ１５は、筐体１０のｘ軸方向を画面３１の垂直方向（Ｚ軸方向）に、筐体１０のｙ軸方向を画面３１の水平方向（Ｙ軸方向）にそれぞれ一致させる。そして、検出面１１上でユーザが指Ｆを例えばｘ軸方向に移動させると、ＭＰＵ１５は、ポインタＰを画面３１の垂直方向（Ｚ軸方向）に移動させるための制御信号を生成する。

さらに図９（Ｂ）に示すように検出面１１が基準面（ＸＹ平面）に対して角度φ及びθで傾斜している場合、ＭＰＵ１５は、ｘ軸の余弦（cosθ）方向を画面３１の奥行き方向（Ｘ軸方向）に一致させ、ｙ軸の余弦（cosφ）方向を画面３１の水平方向（Ｙ軸方向）に一致させる。そして、検出面１１上でユーザが指Ｆを例えばｘ軸方向に移動させると、ＭＰＵ１５は、（９），（１０）式に基づいて、ポインタＰを画面３１の奥行き方向（Ｘ軸方向）及び垂直方向（Ｚ軸方向）に移動させるための制御信号を生成する。

ＭＰＵ１５は、送信機１８を介して制御信号を画像制御装置２へ送信する（ステップ１０５）。画像制御装置２は、受信機２８を介して制御信号を受信する（ステップ１０６）。ＭＰＵ２５は、受信した制御信号を解析し、ポインタＰの移動を制御するための表示制御信号を表示制御部２４へ供給することで、画面３１上のポインタＰの移動を制御する（ステップ１０７）。

ポインタＰが所望の位置に移動した後は、外部スイッチ１４を押圧操作することで、ポインタＰによって指標されているアイコン等のオブジェクトが選択される。この選択信号は入力装置１のＭＰＵ１５において第２の制御信号として生成され、画像制御装置２へ送信される。アイコンの選択操作は、外部スイッチ１４の押圧操作に限られず、例えば検出面１１の長押し操作やタップ操作でもよい。

外部スイッチ１４はアイコンの選択操作だけに限らず、アイコンのドラッグ操作にも用いることができる。例えば図１０（Ａ）に示すように、画面３１上の画像Ｖ２の表示位置にポインタＰを移動させた後、筐体１０の両側部に配置された外部スイッチ１４を同時に押圧することで、画像Ｖ２のドラッグ操作に相当する動作を可能としてもよい。また外部スイッチ１４として押圧力（押圧量）を段階的に検出できるセンサを用いることで、外部スイッチ１４の押圧量に応じて画像Ｖ２の表示を変化させることができる。例えば図１０（Ｂ）に示すように、外部スイッチ１４の押圧力に比例して画像Ｖ２を大きく変形させる等の画像表示制御が可能である。なお以上の説明は、筐体１０の両側部に外部スイッチ１４が配置される例に限られず、筐体１０の一方の側部にのみ外部スイッチ１４が配置される例にも適用可能である。

以上のように本実施形態の入力制御システムにおいては、筐体１０の姿勢操作と検出面１１上での指の移動操作によって、画面３１に表示された画像を３次元的に制御することができる。本実施形態によれば、操作性が高く、ユーザの直感に即した操作感を得ることができる。

＜第２の実施形態＞
図１１は、本発明の第２の実施形態に係る入力制御システムの制御フローを説明する図である。本実施形態では、第１の実施形態の構成および作用と同様な部分についてはその説明を省略または簡略化し、第１の実施形態と異なる部分を中心に説明する。

本実施形態の入力制御システム２００は、画面に表示される画像の表示を３次元的に制御するための制御信号を画像制御装置２のＭＰＵ２５で生成する点で、上述の第１の実施形態と異なる。すなわち本実施形態の入力制御システム２００において、入力装置１のＭＰＵ１５は、センサパネル１２及び角度検出ユニット１３から取得した第１の検出信号及び第２の検出信号をそれぞれ画像制御装置２へ送信する（ステップ２０１Ａ，２０１Ｂ，２０２）。画像制御装置２のＭＰＵ２５は、受信した第１及び第２の検出信号に基づいて、検出面１１上における検出対象（指）の移動方向及び移動量と、基準面に対する検出面１１の傾斜角をそれぞれ算出し（ステップ２０４，２０５）、画像の表示制御のための制御信号を生成する（ステップ２０６，２０７）。

画像制御装置２のＭＰＵ２５は、例えばＲＯＭ２７に格納されたプログラムに基づいてステップ２０３〜ステップ２０７の各処理を実行する。この制御プログラムは、例えば画像制御装置２に接続された通信ケーブルを介してダウンロードされてもよいし、各種記録媒体からロードされてもよい。

本実施形態によれば、検出面１１上における指の移動方向及び移動量の算出、さらに基準面に対する検出面１１の傾斜角の算出といった複雑な演算処理を画像制御装置２で実行させることができる。したがって、入力装置１は制御信号の生成に必要な情報のみを送信すればよいので、ＭＰＵ１５の構成の簡素化、低コスト化、省電力化を図ることができる。

＜第３の実施形態＞
図１２〜図１４は、本発明の第３の実施形態を説明する図である。本実施形態では、第１の実施形態の構成および作用と同様な部分についてはその説明を省略または簡略化し、第１の実施形態と異なる部分を中心に説明する。

本実施形態では、入力装置１を用いた３次元映像の表示制御について説明する。図１２に示すようにポインタＰが画面３１上の３次元映像Ｖ３に重なったことで操作が行えるモードに入ったとする。この状態では、図示するように水平な姿勢に保持された入力装置１の検出面１１上で指Ｆをｘ軸方向に沿って移動させると、映像Ｖ３は、画面３１の奥行き方向に動くように表示される。すなわち、指Ｆを＋ｘ方向へ移動させると映像Ｖ３は画面３１の奥の方向（＋Ｘ方向）へ移動し、反対に、指Ｆを−ｘ方向へ移動させると映像Ｖ３は画面３１の手前方向（−Ｘ方向）へ移動する。

なお、映像Ｖ３の移動操作モードへは、例えば映像Ｖ３にポインタＰが重なった状態で外部スイッチ１４を押圧操作したり、検出面１１上を指Ｆで長押し又はタップ操作したりすることで移行される。映像Ｖ３の上下、水平方向への移動表示は、上述したポインタＰの移動操作と同様であるので、ここではその説明を省略する。

さて、画面奥行き方向に沿った３次元映像Ｖ３の移動表示は、検出面１１上における指の動きと、画面３１に表示される映像の視差を関連付けることで可能となる。例えば図１３に示すようにユーザと画面３１との距離（視聴距離）をＴ、映像Ｖ３の映像視差をＡ、眼球距離をＥ、映像奥行きをＲとすると、これらＴ、Ａ、Ｅ、Ｒには以下の関係がある。
Ｒ：Ａ＝（Ｒ＋Ｔ）：Ｅ
Ａ＝（Ｒ×Ｅ）／（Ｒ＋Ｔ） …（１３）

一例として、Ｅ＝６５ｍｍ、Ｔ＝２ｍとして、画面３１の奥２４ｍ（Ｒ＝２４ｍ）の位置に映像Ｖ３が表示されているように見せたい場合、映像視差Ａの大きさは６ｃｍとなり、右目用の表示映像と左目用の表示映像との間を６ｃｍずらせばよいことになる。したがって、この映像視差Ａと、検出面１１上でのｘ軸方向への指の移動量Ｄとを、
Ａ＝α・Ｄ （αは比例定数） …（１４）
のように関連付けることで、指の移動量と３次元映像Ｖ３とを相互に対応させることができる。この場合、入力装置１のＭＰＵ１５（あるいは画像制御装置２のＭＰＵ２５）は、（１３）、（１４）式に基づいた演算手法で映像視差情報を含む制御信号を生成する。

一方、画面３１の手前方向に映像Ｖを表示させる場合、図１４に示すように、映像視差Ａは以下のように表される。
Ｒ：Ａ＝（Ｔ−Ｒ）：Ｅ
Ａ＝（Ｒ×Ｅ）／（Ｔ−Ｒ） …（１５）

一例として、Ｅ＝６５ｍｍ、Ｔ＝２ｍとして、画面３１の手前１．２ｍ（Ｒ＝１．２ｍ）の位置に映像Ｖ３が表示されているように見せたい場合、映像視差Ａの大きさは１０ｃｍとなり、右目用の表示映像と左目用の表示映像との間を１０ｃｍずらせばよいことになる。そしてこの場合においても、この映像視差Ａと、検出面１１上でのｘ軸方向への指の移動量Ｄとを、
Ａ＝α・Ｄ （αは比例定数） …（１４）
のように関連付けることで、指の移動量と３次元映像Ｖ３とを相互に対応させることができる。

以上のように本実施形態の入力制御システムにおいては、画面３１の奥行き方向に沿った３次元映像Ｖ３の適切な表示制御が可能となる。また、入力装置１の姿勢操作と検出面１１上での指の移動操作によって、画面３１に表示された画像を３次元的に制御することができるため、操作性が高く、ユーザの直感に即した操作感を得ることができる。

以上、本発明の実施形態について説明したが、本発明はこれに限定されることはなく、本発明の技術的思想に基づいて種々の変形が可能である。

例えば以上の実施形態では、角度検出ユニット１３は、入力装置（筐体）の各軸方向に沿って配置された３つの加速度センサ１３ｘ，１３ｙ，１３ｚで構成される場合に限られない。筐体１０の検出すべき傾斜方向、傾斜角範囲等に応じては、これら加速度センサは単数または２つであってもよい。すなわち、筐体１０のｙ軸回りの傾斜角を０〜９０度の範囲で検出する場合には、ｘ軸方向に加速度センサを１つ配置すればよい。また、筐体１０のｘ軸及びｙ軸周りの傾斜角をそれぞれ０〜９０度の範囲で検出する場合には、ｘ軸及びｙ軸の各方向に加速度センサをそれぞれ配置すればよい。

また、角度検出ユニットに角速度センサが含まれてもよい。これにより、重力方向に関係なく筐体１０の所望の軸方向の傾斜角を検出することができる。また、加速度センサと角速度センサとを同時に使用し、一方を主センサ、他方を補助センサとして用いることもできる。さらに、加速度センサや角速度センサ等のいわゆる慣性センサに代えて、地磁気センサ等を用いてもよい。この場合、例えば２軸あるいは３軸地磁気センサを用いて角度検出ユニットを構成することができる。

さらに、画面の隅部や地面等の所定位置に電磁気学的もしくは光学的な発信点を複数設置することで、グローバル座標系に対する入力装置の傾きを検出するようにしてもよい。この種の発信点としては、例えばレーザ光源、撮像素子等が挙げられる。

一方、センサパネル１２を用いた検出対象（指）の位置座標の検出には、重心計算を適用することで検出精度を向上させることができる。例えば図１３に示すようにｘ位置検出用の配線ｘ１、ｘ２、ｘ３、ｘ４、ｘ５、…における信号の大きさをそれぞれＭ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、…とすると、重心を求める一般式は、次のように表される。
重心位置＝ΣＭｉＸｉ／ΣＭｉ …（１６）
ｙ軸方向についても同様に演算される。
以上のようにしてｘ軸の信号の重心とｙ軸の信号の重心を算出することで、指の位置座標が算出される。

１…入力装置
２…画像制御装置
３…表示装置
１１…検出面
１２…センサパネル
１３…角度検出ユニット
１４…外部スイッチ
１５，２５…ＭＰＵ
３１…画面
１００、２００…入力制御システム
Ｆ…指
Ｖ１〜Ｖ３…画像

Claims (7)

1. ２次元的な検出面を有する筐体と、
   前記検出面上を移動する検出対象の位置座標を検出し、前記検出対象の移動方向及び移動量を算出するための第１の信号を出力する第１の検出部と、
   画面が属する空間座標系内の一基準面に対する前記検出面の傾きを検出し、前記基準面に対する前記検出面の傾斜角を算出するための第２の信号を出力する第２の検出部と、
   前記第１の信号及び前記第２の信号に基づいて、前記画面に表示される３次元画像の映像視差の大きさを制御するための制御信号を生成する制御部と
   を具備する入力装置。
2. 請求項１に記載の入力装置であって、
   前記検出面は、第１の軸と、前記第１の軸と直交する第２の軸とを有し、
   前記第２の検出部は、重力方向に対する前記第１の軸及び前記第２の軸の少なくとも一方の軸方向についての傾斜角に応じた信号を出力する加速度センサを含む
   入力装置。
3. 請求項１に記載の入力装置であって、
   前記筐体に設けられ、押圧操作されることで第３の信号を生成するスイッチをさらに具備し、
   前記制御部は、前記第３の信号に基づいて、前記画面に表示された画像を選択するための第２の制御信号を生成する
   入力装置。
4. 請求項１に記載の入力装置であって、
   前記第１の検出部は、前記検出面に対する検出対象の近接位置を静電的に検出する容量センサを含む
   入力装置。
5. ２次元的な検出面を有する筐体と、前記検出面上を移動する検出対象の位置座標を検出し、前記検出対象の移動方向及び移動量を算出するための第１の信号を出力する第１の検出部と、画面が属する空間座標系内の一基準面に対する前記検出面の傾斜角を検出し、前記基準面に対する前記検出面の傾斜角を算出するための第２の信号を出力する第２の検出部と、前記第１の信号及び前記第２の信号を送信する送信部とを有する入力装置と、
   前記送信部から送信された前記第１の信号及び前記第２の信号を受信する受信部と、前記第１の信号及び前記第２の信号に基づいて、画面に表示される３次元画像の映像視差の大きさを制御するための制御信号を生成する制御部とを有する情報処理装置と
   を具備する入力制御システム。
6. ２次元的な検出面上を移動する検出対象の位置座標を検出する第１の検出部の出力に基づいて、前記検出対象の移動方向及び移動量を算出し、
   画面が属する空間座標系内の一基準面に対する前記検出面の傾きを検出する第２の検出部の出力に基づいて、前記基準面に対する前記検出面の傾斜角を算出し、
   前記検出対象の移動方向及び移動量と、前記基準面に対する前記検出面の傾斜角とに基づいて、前記画面に表示される３次元画像の映像視差の大きさを制御する
   情報処理方法。
7. 情報処理装置に、
   ２次元的な検出面上を移動する検出対象の位置座標を検出する第１の検出部の出力に基づいて、前記検出対象の移動方向及び移動量を算出するステップと、
   画面が属する空間座標系内の一基準面に対する前記検出面の傾きを検出する第２の検出部の出力に基づいて、前記基準面に対する前記検出面の傾斜角を算出するステップと、
   前記検出対象の移動方向及び移動量と、前記基準面に対する前記検出面の傾斜角とに基づいて、前記画面に表示される３次元画像の映像視差の大きさを制御するステップと
   を実行させるプログラム。