JP5231809B2 - ハンドヘルドビジョン型絶対ポインティングシステム - Google Patents

Description

本発明は、「Ｈａｎｄｈｅｌｄ Ｖｉｓｉｏｎ Ｂａｓｅｄ Ａｂｓｏｌｕｔｅ Ｐｏｉｎｔｉｎｇ Ｓｙｓｔｅｍ」という名称で２００５年７月２１日に出願された米国仮出願第１１／１８７，４３５号、「Ｅｌｅｃｔｒｏｎｉｃ Ｅｑｕｉｐｍｅｎｔ Ｆｏｒ Ｈａｎｄｈｅｌｄ Ｖｉｓｉｏｎ Ｂａｓｅｄ Ａｂｓｏｌｕｔｅ Ｐｏｉｎｔｉｎｇ Ｓｙｓｔｅｍ」という名称で２００５年７月２１日に出願された米国仮出願第１１／１８７，４０５号、「Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ Ｆｏｒ Ｈａｎｄｈｅｌｄ Ｖｉｓｉｏｎ Ｂａｓｅｄ Ａｂｓｏｌｕｔｅ Ｐｏｉｎｔｉｎｇ Ｓｙｓｔｅｍ」という名称で２００５年７月２１日に出願された米国仮出願第１１／１８７，３８７号、および「Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｓｉｏｎ Ｂａｓｅｄ Ｒｅｍｏｔｅ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍ」という名称で２００５年１月１２日に出願された米国仮出願第６０／５９３，４１３号に関連し、それらの利益を主張する。

本発明の分野は電子システム技術に関し、詳しくはハンドヘルドビジョン型絶対ポインティングシステムに関する。

図１および図２は、電子機器を制御するために使用される最も適切なタイプのハンドヘルド装置を示す。図１は、コンピュータディスプレイ１００上のカーソル１０２の位置を制御するマウス１０１を示す。マウス１０１は典型的には、その下側にトラックボールが設けられている。トラックボールは、それが「ロールする」水平面１０３上のマウスの位置を、カーソル１０２が表示されるコンピュータディスプレイ１００上の位置に変換するために使用される。典型的なマウスは、マウスのトラックボールがロールする動作を記述するデータをコンピュータへ（例えば、高周波（ＲＦ）送信機を介してワイヤレスで、またはケーブルを介して電子的に）送信する。次に、コンピュータはこの情報をカーソル１０２のための適切な画面位置に変換する。マウス１０１はまた、カーソル１０２が、コンピュータ画面２００上に表示される「ボタン」または「メニュー」その他のフィーチャに重なるまたは指示すると、コンピュータに所定の動作をトリガできるボタンも含む。

図２は、エンターテイメント関連の電子機器を制御するために使用されるハンドヘルド装置に関する。テレビジョンに関しては、典型的なシステムは、テレビジョンに所定タイプの「信号」を与えるように設計された回路を有する外部「ボックス」２０３に接続されるテレビジョンを含む。かかる回路の例は、ケーブルＴＶ受信機回路、衛星ＴＶ受信機回路、ビデオカセットレコーダ（ＶＣＲ）回路、デジタルビデオディスク（ＤＶＤ）プレーヤ回路、ゲーム装置回路、コンピュータ回路、音楽プレーヤ回路（例えばＣＤプレーヤ回路、ステレオ受信機回路等）を含む。将来にわたり、上述の回路はますます、外部ボックスに位置決めされずにテレビジョンに統合されるようになると予測される。

テレビジョン信号を与える回路のパッケージングおよび位置にかかわらず、リモートコントロール２０１が、テレビジョンディスプレイ２００上でユーザ選択を行うためにしばしば使用される。選択を行う機会は典型的には、テレビジョン信号に重ねられ（または統合され）るソフトウェアにより生成される所定種類のユーザインターフェイスとして表示される。ユーザインターフェイスは、区切られた領域および／またはアイコン（例えば領域／アイコン２０４，２０５）を含むことが多い。典型的には、これらの領域／アイコン２０４，２０５は、ユーザが所定の領域／アイコンを示したとされる場合に「ハイライト」される。所定の領域／アイコンを示すために、ユーザは、ハイライトされ／示されるべき次の領域／アイコンがテレビジョンディスプレイ２００上で位置決めされる方向を「ポイント」する複数の矢印ボタン２０２の１つを押す。リモートコントロール２０１は典型的には、ユーザによって押された場合に、ハイライトされた領域／アイコンの表示に一致するテレビジョンの回路または外部ボックス回路による（典型的には赤外線（ＩＲ）コードの送信を介して）所定動作をトリガする「選択」ボタンも含む。

図３は、デジタルカメラもまたハンドヘルド装置に統合されることを示す。標準の「デジタルハンドヘルドカメラ」のほかに、デジタルカメラは、写真をとるのとは異なる従来的なまたは主要な目的を有する機器にも統合されている。例えば、統合デジタルカメラを有する携帯電話が今や入手可能である。図３は、デジタル写真３０２をキャプチャするプロセスにある携帯電話３０１を示す。
米国特許第６７２７８８５号明細書 米国特許第５３１７１４０号明細書 欧州特許出願公開第１０８１６３５号明細書 米国特許第５７９６３８７号明細書 国際公開第９５／１９０３１号パンフレット 英国特許出願公開第２３８１６８６号明細書 米国特許第５９２９４４４号明細書

１つ以上の固定マーカそれぞれの１つ以上の画像を特定することを含む方法が記載される。各マーカは、ディスプレイ上またはディスプレイの近くに位置する。画像は、ハンドヘルド装置内の画素化センサ上に現れる。方法はまた、特定中にハンドヘルド装置がポイントされたディスプレイ上のまたはディスプレイの近くの位置を決定することも含む。方法はまた、１つ以上の固定マーカそれぞれの１つ以上の画像を特定することから導かれる情報をハンドヘルド装置から送信することも含む。方法はまた、電子機器回路によって行われる動作を、その動作が所望されることを示す信号をハンドヘルド装置が送信することに応答してトリガすることも含む。

本発明は例示によって説明されるが、添付図面の図において限定されない。図面では同じ参照番号は同様の要素を示す。

１．０ 絶対ハンドヘルド装置ポインティング

これから、電子機器とともに使用するための「絶対ポインティング」ハンドヘルド装置システムを説明する。ハンドヘルド装置からの絶対ポインティングは、１）ハンドへルド装置がポイントされているディスプレイ上のまたはディスプレイの近くの位置を決定すること、および２）その位置に所定種類の画像（例えば、カーソル、アイコン、ハイライトされた領域、メニュー選択）をレンダリングし、および／または、その位置に表されたユーザインターフェイスフィーチャから所定種類の動作をトリガすることを含む。例えば、単純なカーソルの場合、ハンドヘルドはディスプレイ表面でポイントされ、ハンドヘルド装置がポイントしているディスプレイ上の位置にカーソルが表示される。ハンドヘルド装置が移動してディスプレイ上の新たな位置をポイントすると、カーソルはその新たな位置に表示される。

ハンドヘルド装置絶対ポインティングは、場合によっては単独で、１）ハンドヘルド装置がポイントされているディスプレイの近くの位置（例えば、ディスプレイの近くに配置された特定の電子機器の位置）を決定する、および２）ディスプレイ上の所定種類の画像（例えば、カーソル、アイコン、ハイライトされた領域、メニュー選択）をレンダリングし、および／または、その位置から所定動作をトリガすること（例えば、特定の電子機器に画像をレンダリングさせたり、そのポイントされた結果としてある特定の動作を行わせたりすること）も含む。ハンドヘルド装置からの絶対ポインティングは、場合によっては単独で、１）特定の器具（例えばランプ）または他のタイプの電気機器がポイントされていることを決定する、および２）その器具または他のタイプの電気機器において所定種類の動作をトリガすることも含む。簡便のため、以下の説明は、完全にではないが主に、まず上述した絶対ポインティングを利用する場合を参照する。ここで、ハンドヘルド装置は、ディスプレイにてポイントされてディスプレイ上のその位置においてまたはその位置から所定の動作を引き起こす。

所定種類の動作をトリガする場合、ハンドヘルド装置は、ディスプレイ上に表示されるユーザインターフェイスの一部（例えばアイコンまたはメニュー選択）となるフィーチャをポイントする。ここで、フィーチャとは、ユーザインターフェイスを介して制御される電子機器による所定種類の動作（例えば、テレビジョン信号の選択、ファイルのオープン、ソフトウェアルーチンの開始等）が引き起こされるということを意味すると理解される。

ハンドヘルド装置を持ったユーザが所定種類の動作をする（例えば、ハンドヘルド装置上のボタンを押す、またはユーザ自身の手首を「急に動かす」）と、信号がハンドヘルド装置から送信されて、フィーチャによって示唆された動作が究極的にはユーザによって所望されたものと解釈される。

図４ａから図４ｃは、ハンドヘルド装置４０１とディスプレイ４００'との間の絶対ポインティングの例を示す。ここで、ハンドヘルド装置４０１は異なる位置に位置決めされ、図４ａから図４ｃの各々にわたって異なる表示位置（「ｘ」）をポイントする。図４ａから図４ｃの各々は、それぞれのハンドヘルド装置４０１とディスプレイ４００'との配向に対する正面図（ｉ）、上面図（ｉｉ）、および側面図（ｉｉｉ）を示す。正面図４ａ（ｉ），４ｂ（ｉ），４ｃ（ｉ）は、ディスプレイ４００'に対して直ぐ前で直面する視点から見たそれぞれのハンドヘルド装置４０１とディスプレイ４００'との配向を示す。

上面図４ａ（ｉｉ），４ｂ（ｉｉ），４ｃ（ｉｉ）は、ディスプレイ４００'およびハンドヘルド装置４０１の上部を直下に見下ろす、ディスプレイ４００'上の視点から見たそれぞれのハンドヘルド装置４０１ディスプレイ４００'との配向を示す。側面図４ａ（ｉｉｉ），４ｂ（ｉｉｉ），４ｃ（ｉｉｉ）は、ディスプレイの側面およびハンドヘルド装置の側面４０１を直視する、ディスプレイの「左」側からの視点から見たそれぞれのハンドヘルド装置４０１ディスプレイ４００'との配向を示す。ここで、用語「左」は、ディスプレイ４００'に対して正面で面して立っている観視者の視点から取られている。

なお、これらの図示は、＋ｙ'方向がディスプレイ４００'表面の観視者に対して相対的に垂直に移動する方向であり、＋ｘ'方向がディスプレイ表面の観視者に対して右４００'に向かって水平に移動する方向であり、＋ｚ'方向がディスプレイ４００'表面の正面からまっすぐ離れるように移動する方向であることを示す。

図４ａは、ハンドヘルド装置４０１がディスプレイの左側の下にあってディスプレイの右上角近くの位置をポイントする場合の、第１セットの視点を示す。図４ｂは、ハンドヘルド装置４０１がディスプレイの右側の下にあってディスプレイの左下角近くの位置をポイントする場合の、第２セットの視点を示す。図４ｃは、ハンドヘルド装置４０１がディスプレイの左側の上にあってディスプレイの右下角近くの位置をポイントする場合の、第３セットの視点を示す。重要なのは、単純なカーソル操作の場合、カーソルであれば、図４ａ（ｉ）、図４ｂ（ｉ）および図４ｃ（ｉ）に見られる各「ｘ」位置に現れるようにされることである。所定種類の動作をトリガする場合、所定の種類のユーザインターフェイスまたはアイコンは、図４ａ（ｉ）、図４ｂ（ｉ）および図４ｃ（ｉ）に見られる各「ｘ」位置に現れる。

図５ａは、ハンドヘルド装置５０１、図４ａから図４ｃに関連してたった今上述された絶対ポインティングを有効にすることができるディスプレイ５００'および電子機器５０３の詳細な実施例を示す。ハンドヘルド装置５０１は、カメラおよびワイヤレス送信機５０５を含む。

ハンドヘルド装置のカメラによってキャプチャされた画像から得られたまたは処理された情報は、ハンドヘルド装置のワイヤレス送信機によってワイヤレス受信機５０８へ送信される。または、ハンドヘルド装置と電子機器５０３との間の通信が、ユニバーサルシリアルバス（ＵＳＢ）またはＲＳ−２３２シリアルケーブルのような有線接続を使用して達成されてもよい。カーソルのディスプレイ５００上の提示を制御するおよび／またはユーザインターフェイスをディスプレイ５００'に提示する役割の電子回路（例えば、プロセッサ５０７、またはコントローラ、またはプログラムコードを実行しない回路のような）は、ハンドヘルド装置５０１によって送信される情報を受信する。電子回路は、様々なタイプの電子機器に統合されてよい。例えば、電子機器５０３は、ａ）テレビジョン、ｂ）衛星ＴＶ受信機、ｃ）ケーブルＴＶ受信機、ｄ）ＶＣＲ、ｅ）ＤＶＤプレーヤ、ｆ）コンピュータ、ｇ）ＣＤプレーヤ、ｈ）音楽受信機および／またはプレーヤ、ｉ）ビデオゲームボックスまたはゲーム回路を含む他の所定タイプの機器、ｊ）ＩＰＴＶ受信機および／またはテレビジョン、ｋ）上記ａ）からｉ）に挙げられた１つ以上の電子機器物品からの信号を受信する「受信機」、ｌ）ホームおよび／またはオフィス自動化機器（例えば、家事用スイッチを「オン」および「オフ」に切り替えるための回路を含む）、のいずれかであってよい。

所定の基本的に可能な操作によれば、電子回路は、この情報の受信に応答して、ハンドヘルド装置５０１がポイントしている表示位置にカーソル（または他の画像）が提示されるようにする、および／または、ハンドヘルド装置５０１がポイントしている表示位置にあるユーザインターフェイスフィーチャが所定の態様でハイライトされるようにする。ここで、センサによって検知可能な固定マーカ５０４'＿１および５０４'＿２がディスプレイ５００'の近くに位置していることに注意されたい。図６ａから図６ｄに関連してこの後すぐに説明するように、１）これらの固定マーカ５０４'＿１から５０４'＿２はハンドヘルド装置のカメラによって観測され、２）典型的には、ハンドヘルド装置５０１のフェイス５０６の視点からは、これらの位置の少なくとも１つ以上は、ハンドヘルド装置の位置およびポインティング方向の関数として「変化」する。

これらの固定マーカ５０４'＿１から５０４'＿２の位置をハンドヘルド装置のカメラによってキャプチャすることによって、および、（ハンドヘルド装置における、前記電子回路、両者の組み合わせ等との）数学的関係の自動実行によって、観測されたマーカ位置がディスプレイ表面上の被ポイント位置に関連付けられ、被ポイント表示位置にカーソルが現れるようにできる、および／または、被ポイント表示位置に提示されたユーザインターフェイスフィーチャから所定種類の動作をトリガすることができる。図５ａの固定マーカは、１つの可能な２マーカ配置である。

ディスプレイ５００'と同様に、両者互いに対して他の位置に配置された他の１つ、２つ、３つ、４つ、またはそれより多くのマーカを含む他の配置が可能である。

上述のように、様々な数のマーカの様々な配置が絶対ポインティングを可能にするために使用されてよい。本質的には、ハンドヘルド装置が所定軸上で「移動」すると、単数または複数のマーカの位置が、同じ軸上でハンドヘルド装置のセンサの視点から「移動」する。例えば、ハンドヘルド装置がｘ軸上で移動すると、ハンドヘルド装置のセンサの単数または複数のマーカの単数または複数の画素位置が変化する。こうして、単数または複数のマーカの所定配置を実施例ごとに変えることができる。さらに、マーカの数を増やすことにより、ハンドヘルド装置のポインティング位置をより正確に計算することが可能となる。しかしながら、以下のセクション４．０で詳細に説明されることだが、単数のマーカのみが使用される場合でも、少なくともいくつかのアプリケーションに対しては十分に正確と考えられる。

図５ｂから図５ｅは、単数のマーカ（図５ｂ）、２つのマーカ（図５ｃ）、３つのマーカ（図５ｄ）および４つのマーカ（図５ｅ）の実施例に対するいくつかの可能なマーカのレイアウト配置を探る。図５ｂから図５ｅに見られる各実施例に対して、マーカとディスプレイとの間の距離は変化する（もちろん、その距離は、マーカがハンドヘルド装置から見えないようであってはならない）。さらに、ディスプレイ自体の上にマーカを配置することもできる。

図５ｂは、単数のマーカ５１４がディスプレイの側辺に沿って配置される実施例を示す。代替的なアプローチにおいては、マーカは、ディスプレイの角にまたはその付近に配置される。図５ｃ（ｉ）は、マーカ５１５＿１，５１６＿１両者がディスプレイの同じ側辺上に位置する２マーカの実施例を示す。図５ｃ（ｉｉ）は別の実施例を示す。ここで、マーカ５１５＿２，５１６＿２のペアのそれぞれは異なるディスプレイ側辺沿いに位置する。別の実施例では、２マーカの実施例のうちの１つまたは両方は、ディスプレイの１つ以上にまたはその近くに位置してよい（例えば、同じ角の周りにマーカのペアを配置すること、または、第１マーカを第１ディスプレイ角に、第２マーカを別のディスプレイ角に置くことによって）。２マーカのシステムでは、マーカのペアは同じまたは異なるｚ'位置に配置されてよい。

図５ｄ（ｉ）から図５ｄ（ｉｖ）は、様々な３マーカの実施例を示す。図５ｄ（ｉ）には、３マーカのうちの各１つが異なるディスプレイ側辺上に位置することが示される。図５ｄ（ｉｉ）には、３マーカのうちの各１つが同じディスプレイ側辺上に位置することが示される。図５ｄ（ｉｉｉ）には、３マーカが同じディスプレイ側辺上にあり、そのマーカのうちの２つが同じｙ'軸位置を有することが示される。図５ｄ（ｉｖ）は、３マーカが同じディスプレイ側辺上にあり、１つのマーカが他の２つのマーカとは異なるｚ'位置を有することが示される。他の様々な配置も可能である。一般には、ハンドヘルド装置によって３マーカが可視であり、かつ、その各々が固有のｘ'，ｙ'，ｚ'位置を有する限り、実行可能なシステムを実装することができる。

図５ｅ（ｉ）から図５ｅ（ｉｉｉ）は、様々な４マーカの実施例を示す。図５ｅ（ｉ）のアプローチによれば、マーカの各１つはディスプレイの異なる側辺上に位置する。図５ｅ（ｉｉ）のアプローチによれば、マーカの各１つはディスプレイの異なる角に位置する。図５ｅ（ｉｉｉ）のアプローチによれば、１つ以上のマーカがディスプレイの同じ側辺上に位置する。２マーカおよび３マーカのシステムと同様に、ハンドヘルド装置によって３マーカが可視であり、かつ、その各々が固有のｘ'，ｙ'，ｚ'位置を有する限り、実行可能なシステムを実装することができる。

図６ａから図６ｄは、ハンドヘルド装置のカメラによって観測されるとおりの、ディスプレイ表面に対して異なるハンドヘルド装置位置およびポインティング配向に対応する２マーカシステムのマーカの画像を示す（図４ａから図４ｃと同様である）。図６ａから図６ｄの各々は４つの分図（ｉ）から（ｉｖ）を含む。図６ａ（ｉ）、図６ｂ（ｉ）、図６ｃ（ｉ）および図６ｄ（ｉ）の各々は、ハンドヘルド装置のカメラの「画像キャプチャ」部分に対応する画素化センサ６１０上に観測されるとおりの、ディスプレイマーカ６０４'＿１および６０４'＿２の画像例６０４＿１，６０４＿２を含む。図６ｂ（ｉｉ）、図６ｃ（ｉｉ）および図６ｄ（ｉｉ）の各々はハンドヘルド装置位置およびポインティング方向各々の正面図を示し、図６ｂ（ｉｉｉ），図６ｃ（ｉｉｉ）および図６ｄ（ｉｉｉ）の各々はハンドヘルド装置位置およびポインティング方向各々の上面図を示し、図６ｂ（ｉｖ），図６ｃ（ｉｖ）および図６ｄ（ｉｖ）の各々はハンドヘルド装置位置およびポインティング方向各々の側面図を示す。

図４ａから図４ｃ各々に関連して上述した（ｘ'，ｙ'，ｚ'）座標系は、図６ａから図６ｄの分図（ｉｉ），（ｉｉｉ）および（ｉｖ）に対しても維持される。分図（ｉ）に対しては、新たな座標軸（ｘ，ｙ）が導入されて、画素化センサの所定の画素位置を表す。ここで、＋ｙ方向はセンサ表面上方への垂直移動に対応し、＋ｘ方向はセンサ表面沿いの右方向への水平移動に対応する。画素化センサは、ＣＭＯＳ，ＣＣＤ，またはフォトダイオードのアレイのような様々なテクノロジによって作られる。

まず図６ａを参照すると、図６ａ（ｉｉ）から図６ａ（ｉｖ）には、ハンドヘルド装置６０１がディスプレイ６００'の中心に直面していることが示されることがわかる。こうして、ハンドヘルド装置６０１によってポイントされるディスプレイ６００'上の位置６０２'は、ディスプレイ６００'の中心に対応する。この位置において、マーカ６０４'＿１および６０４'＿４は、ハンドヘルド装置のセンサ６１０上に画像６０４＿１および６０４＿２として現れる。ここで、マーカ画像位置６０４＿１は画素位置ｘ'＝１０，ｙ'＝１４として観測され、マーカ画像位置６０４−＿２は画素位置ｘ'＝１６，ｙ'＝１０として観測される。

操作に先立ち、センサ６１０上の検知されたマーカ位置を、ハンドヘルド装置がポイントしているディスプレイ６００'上の位置に変換する数学的関係に現れる変数に対する値を決定するため、初期較正手順が必要になる。較正を行う方法にはいくつかあり、任意の所定手順は、使用されるシステムの所定実施例に依存する。１つの較正アプローチによれば、ユーザは１つ以上の画定位置（一般には画面上またはその近く）をポイントし、ハンドヘルド装置はマーカ画像６０４＿１，６０４＿２のセンサアレイ６１０上の位置を記録する（所定の較正手順のより詳細な説明は、以下のセクション４．０で与える）。より少数のマーカを含む実施例では、較正手順は、画面上（例えば対向する角）に一時的に表示される可視マーカ（典型的には２つ）を順次ポイントすることを含む。

較正後、ハンドヘルド装置の位置およびポインティング方向の変化に応答してのセンサ６１０表面上の観測マーカ画像６０４＿１，６０４＿２位置の変化は、それらの原較正位置を参照して画定することができる。そして、ハンドヘルド装置６０１がポイントしているディスプレイ６００'上の位置に関連付けることができる。

図６ｂ（ｉ）は、ハンドヘルド装置６０１がディスプレイの中心（図６ａのような）の前に位置したままではあるが、ディスプレイの中央上方をポイントする場合の観測センサ画像を示す。ハンドヘルド装置６０１の垂直ポインティング方向が変化しても水平位置が図６ａに対して固定しているので、マーカ画像６０４＿１および６０４＿２に対するｘ座標値は、図６ａ（ｉ）のそれらの値と比べて不変のままとなる（すなわち、マーカ画像６０４＿１および６０４'＿２各々に対してｘ'＝１０および１６となる）。しかし、それらのｙ'座標値は図６ａ（ｉ）のそれらの値に対して増加する。さらに、図６ｂ（ｉ）のマーカ画像６０４＿１と６０４＿２との間の垂直距離は、図６ａ（ｉ）のこの距離と比べて圧縮される（すなわち、図６ｂ（ｉ）における１６−１３＝３画素対図６ａ（ｉ）における１４−１０＝４画素となる）。

図６ｂ（ｉ）の観測されたマーカ画像位置の変化は、ディスプレイ６００'上のハンドヘルド装置の正しいポインティング位置に数学的に関連付けることができる。そして、ポインティング位置にカーソルを生成するかまたは、ポインティング位置に現れるユーザインターフェイスフィーチャから動作をトリガするために使用することができる。かかる数学的関係の徹底した説明は、さらに以下の「絶対ハンドヘルド装置ポインティングのための数学的関係」という名称のセクション４．０において詳細に提示する。

一般に、より多数のマーカが使用されればされるほど、被ポイント表示位置をより詳細に決定することができるが、より多数の処理が必要になる。

１マーカ、２マーカ、３マーカおよび４マーカのシステムを実装するために適した数学的関係はセクション４．０で提示される。セクション４．０で与えられる関係は主に、検知されたマーカ画像位置の分析によって表示位置上のまたはその近くのハンドヘルド装置の絶対ポインティング方向、位置および配向を決定するための関係を表すが、マーカ画像のサイズおよび形状の分析によってこれらのシステムの精度を向上させることも理論的に可能である。

図６ｃ（ｉ）は、ハンドヘルド装置６０１が、図６ｂにおけるその位置の直上位置に向かって「上昇」するが、図６（ａ）のようなディスプレイ６００に直面する場合の観測センサ画像を示す。ハンドヘルド装置６０１が図６（ａ）および図６（ｂ）におけるその位置に対して物理的に上昇し、かつ、図６（ａ）におけるようなディスプレイに直面するので、マーカ画像６０４＿１および６０４＿２のｘ座標値は、この場合も不変である。しかし、図６ｃ（ｉ）のマーカ画像６０４＿１と６０４＿２との間の垂直距離は、図６ｂ（ｉ）におけるこの距離と比べてわずかに拡大される（すなわち、図６ｃ（ｉ）における１７−１３．５＝３．５対図６ａ（ｉ）における１６−１３＝３となる）。

この場合も、図６ｃ（ｉ）の観測されたマーカ画像位置の変化は、ディスプレイ６００'上のハンドヘルド装置の正しいポインティング位置に数学的に関連付けることができる。そして、ポインティング位置にカーソルを生成するかまたは、ポインティング位置に現れるユーザインターフェイスフィーチャから動作をトリガするために使用することができる。

図６ｄ（ｉ）は、ハンドヘルド装置６０１が、図６ｃにおけるその位置からすぐ左に移動するが、そのポインティング方向は図６ｃにおいてポイントされるのと同じ表示位置６０２'をポイントしたままとなるように調整される場合の観測センサ画像を示す。ハンドヘルド装置はｙ軸上ではなんら変化しないので、マーカ画像６０４＿１および６０４＿２のｙ'座標値は、図６ｃ（ｉ）のそれらの値と比べた場合に図６ｄ（ｉ）において不変のままである。さらに、ハンドヘルド装置のフェイスはｘ'軸上およびｚ'軸上の両方で実質的に変化するので、マーカ画像のｘ座標値は図６ｃ（ｉ）におけるそれらの値から実質的に変化する。この場合も、図６ｄ（ｉ）の観測されたマーカ画像位置の変化は、ディスプレイ６００'上のハンドヘルド装置の正しいポインティング位置に数学的に関連付けることができる。そして、ポインティング位置にカーソルを生成するかまたは、ポインティング位置に現れるユーザインターフェイスフィーチャから動作をトリガするために使用することができる。

図７ａから図７ｃは、異なるシステム設計を有する絶対ポインティングハンドヘルド装置システムによって実行可能な方法を示す。最も注意すべきことは、様々な設計間の違いには、ハンドヘルド装置によって行われるプロセスの程度が含まれるということである。図５ａおよび図７ａを参照すると、図７ａは、ハンドヘルド装置５０１がマーカ画像データをキャプチャするだけでなく、観測マーカ画像位置をディスプレイ５００上の所定の被ポイント位置に変換するために必要な数学的関係の計算すべても行う方法を示す。

こうして、ハンドヘルド装置５０１はワイヤレス受信機５０８にディスプレイ上の被ポイント位置の座標を変換する（７１４）。すべてのプロセスは、ハンドヘルド装置５０１が、１）そのカメラでマーカ画像データをキャプチャすること（７１１）、２）カメラの画素化センサ上の各マーカ画像の位置を特定すること（７１２）、３）数学的関係による計算を介してディスプレイ上のハンドヘルド装置の被ポイント位置を決定すること（７１３）、および４）被ポイント位置をワイヤレス受信機５０８へ送信すること（７１４）を含む。そして、ディスプレイ５００上の表示内容を制御する役割の電子回路は、所定の効果が被ポイント位置に現れるようにする（７１５）（例えば、カーソル、メニューフィーチャのハイライト化等）。

図７ｂは、ハンドヘルド装置５０１が、数学的関係による計算を介してディスプレイ上のハンドヘルド装置の被ポイント位置を決定しないが、そのカメラによってマーカ画像データをキャプチャすること（７２１）に加えてさらにカメラの画素化センサ上の各マーカ画像の位置を特定する（７２２）方法を示す。こうして、ハンドヘルド装置５０１は、マーカ位置をワイヤレス受信機５０８へ送信する（７２３）。ディスプレイ５００上の表示内容を制御する役割の電子回路はマーカ位置を受信し、数学的関係による計算を介してディスプレイ上のハンドヘルド装置の被ポイント位置を決定し７２４、次に、所定の効果が被ポイント位置に現れるようにする（７２５）（例えば、カーソル、メニューフィーチャのハイライト化等）。

図７ｃは、ハンドヘルド装置５０１が、数学的関係による計算を介してディスプレイ上のハンドヘルド装置の被ポイント位置を決定せず、また、カメラの画素化センサ上の各マーカ画像の位置を特定することもしない方法を示す。その代わりに、ハンドヘルド装置５０１はそのカメラによってマーカ画像をキャプチャし（７３１）、これらの画像を記述する情報をワイヤレス受信機５０８に送信する（７３２）。ディスプレイ５００上の表示内容を制御する役割の電子回路はマーカ画像データを受信し、１）カメラの画素化センサ上の各マーカ画像の位置を特定し（７３３）、２）数学的関係による計算を介してディスプレイ上のハンドヘルド装置の被ポイント位置を決定し（７３４）、４）次に、所定の効果が被ポイント位置に現れるようにする（７３５）（例えば、カーソル、メニューフィーチャのハイライト化等）。

図７ａから図７ｃの各々において、画像データは繰り返しキャプチャされる（７１１，７２１，７３１）。その結果、新たなディスプレイ上の被ポイント位置は、迅速な規則性で決定することができる（例えば、カーソルの移動は、ディスプレイ５００上で少なくとも外見上は滑らかに追跡することができる）。

さらに、図７ａから図７ｃの各々が、被ポイント位置において効果をディスプレイ上に現れるようにするプロセスを示すことに留意されたい。代替的にまたは組み合わせで、ハンドヘルド装置の「ボタン押し」または「ロール動作」の形態での付加的な情報がハンドヘルド装置から送信されて、電子機器は所定種類の動作をトリガする。例えば、被ポイント位置が表示アイコンまたはメニューに対応する場合、および、被ポイント位置に対してハンドヘルド装置から送信された情報が所定種類のボタン押しまたはロール動作も含む場合、表示内容を決定する役割の回路は、ハンドヘルド装置から送信された情報の集合を、ユーザがアイコンまたはメニュー項目を選択したものと解釈する。

詳細な数学的関係はセクション４．０で以下に詳細に提示するが、図８ａから図８ｄおよび図９は、少なくとも所定の実施例において、観測マーカ画像位置をディスプレイ８００'表面上のまたはその近くの所定の被ポイント位置８０２'に変換するのに利用可能な数学的関係に適用可能ないくつかの高度な詳細を与える。図８ａから図８ｄは、適用可能な数学的関係の所定セットにおいて規定されかつ適用される様々な３次元概念を示す。

図８ａの図示および図９のプロセスフローによれば、ディスプレイ８００'上の被ポイント位置８０２を決定することは、１）倍率（Ｍ）を決定すること（９０１）、および２）倍率Ｍを使用して、マーカが観測されるセンサ軸位置をハンドヘルド装置がポイントしているディスプレイ上の対応軸位置に変換する数学的関係を実行すること（９０２）を含む。アプローチにおいて、１つの装置／ディスプレイ座標軸ペア（ｘ，ｘ'）に対して第１倍率ＭＸが計算されて、第２の装置／ディスプレイ座標軸（ｙ，ｙ'）に対して第２倍率ＭＹが計算される。したがって、図９に見られるプロセスは本質的に２回実行される。１回はｘ，ｘ'軸ペアに対するものであり、もう１回はｙ，ｙ'軸ペアに対するものである。

倍率ＭＸは本質的には、ｘ軸上の所定センサ位置に対してｘ軸上のセンサのマーカ位置に観測される変化と、ｘ'軸上の所定ディスプレイ位置に対してディスプレイ上のポイントされたｘ'軸上位置の位置変化と割合である。ここで、所定センサ位置および所定ディスプレイ位置は較正中に決定される。セクション４．０で詳細に説明するが、倍率の精度は、ハンドヘルド装置に関する付加的な詳細が観測マーカ画像から集められる場合に向上する。具体的には、倍率の精度は、ディスプレイに対するハンドヘルド装置の位置（例えば、ディスプレイ８０２の中心とハンドヘルド装置の前との間の距離Ｌ８２０）および／またはディスプレイに対するハンドヘルド装置の配向（例えば、ハンドヘルド装置９０１の視野角θ）が決定されている場合に高めることができる。

様々な実施例によれば、１）ハンドヘルド装置のヨーまたはハンドヘルド装置のヨーの変化を計算する場合にはマーカ画像位置の左右移動が追跡され、および２）ハンドヘルド装置位置を計算する場合にはマーカ画像位置の相対的分離が追跡される。一般には、すべてのマーカ画像位置間の分離は、ディスプレイからの距離に反比例し、マーカ画像位置の異なるペアの相対的分離は、ディスプレイ表面に対するハンドヘルド装置の角度に依存する。

図８ａおよび図８ｂはまた、ハンドヘルド装置の配向の別の特徴も示す。これは、ハンドヘルド装置の「ロール」φと称され、マーカ画像位置から追跡することができる。ここで、ハンドヘルド装置のロールは、ハンドヘルド装置のポインティングベクトル軸まわりのハンドヘルド装置の回転に対応する（すなわち、ハンドヘルド装置の前から突出するベクトルであり、それとディスプレイとの切片がディスプレイ上の被ポイント位置に対応する）。

ハンドヘルド装置のロールφを計算する場合、マーカ画像位置の集団回転が検知される。実施例において、ポインティングベクトルは、ハンドヘルド装置のセンサアレイの中心に始点があるものと仮定される。図８ａおよび図８ｄは、ハンドヘルド装置のピッチγを示す。ハンドヘルド装置の有効ピッチまたは有効ピッチの変化はまた、ディスプレイ上の被ポイント位置をより正確に規定するように決定される。

装置のロール中にセンサ軸は画面軸に関して回転するので、計算されるカーソル位置がロール動作によって影響を受け、それにより所定のカーソル配置にオフセット誤差が生じる可能性がある。しかし、センサアレイの回転が、ディスプレイ上のカーソル位置決定に使用されるアルゴリズムにおいて適切に考慮されれば、ハンドヘルド装置のロールはそのポインティングベクトル計算になんら影響を与えない。さらに、１つの実施例によれば、ハンドヘルド装置のロールは、電子機器が行う所定種類の動作をトリガするために使用することができる。例えば、ユーザの「手首のひねり」を「ボタン押し」として解釈することができる（例えば、ユーザがハンドヘルド装置をアイコンまたはユーザインターフェイスメニュー項目をポイントした後に自身の手首をひねってそのアイコンまたはメニュー項目を「選択」する）。図１０ａおよび図１０ｂは、ハンドヘルド装置のロール動作を追跡する、別の有用なアプリケーションを示す。図１０ａおよび図１０は「仮想ダイヤル」機能に関する。仮想ダイヤルの実施例によれば、ダイヤル１０１０の図がディスプレイ上に表示される。図１０ａにおいて、ダイヤルはＬＯＷ１０１１の値にセットされるように示される。

ユーザがハンドヘルド装置をダイヤルにポイントして自身の手首をひねると、ダイヤルはユーザの手首の回転と連動して回転するように表示される。したがって、図１０ｂにおいて、ユーザはハンドヘルド装置をダイヤルにポイントして自身の手首を時計方向１００２にひねったことがわかる。それに応答して、表示される仮想ダイヤル１０１０は、ユーザの手首の回転が、「停止」されたとみなされるまで時計方向に回転された。これは、図１０ｂによれば、ＭＩＤ１０１１の設定となる。さらなる実施例によれば、ユーザはハンドヘルド装置の回転中にハンドヘルド装置のボタンを押して、ダイヤル１０１０の回転をアクティベートする（すなわち、ユーザは手首の回転と組み合わせてボタンを押す必要がある）。こうして、ハンドヘルド装置は、１）ディスプレイ上の被ポイント位置（またはディスプレイ上の被ポイント位置が決定され得る情報）、２）ハンドヘルド装置のロール位置（またはハンドヘルド装置のロール動作が決定され得る情報）、３）ユーザがボタンを押していることを意味する情報、を送信する。

１つのアプローチによれば、マーカ自体が、ハンドヘルド装置のセンサによって検知される光源として動作する（例えば、マーカはＬＥＤとして実装される）。他の実施例において、ハンドヘルド装置が、ハンドヘルド装置のセンサによって検知される光源として動作する。例えば、かかる１つのアプローチによれば、ハンドヘルド装置は、赤外線（ＩＲ）「フラッシュライト」を含む。これは、表示領域内にＩＲ光を照らし、各マーカは「パッシブ」反射体として実装される。信号対ノイズ比を高めるために付加的な画像処理が使用されてよい。例えば、ハンドヘルド装置にとって検知可能な放射光の特性が反射された画像から減算されて、検知されたマーカ画像の信号対ノイズ比を本質的に向上させてもよい。さらなる実施例において、フラッシュライトは「ストロボ」となって、検知された各マーカ画像から減算される放射光の表示が、マーカ画像の検知の直前に行われる。また、ＩＲフィルタが、カメラを覆って不要な光の除去を補助するように配置されてもよい。

反射マーカの使用で利益を得る他のアプリケーションには、例えば、ホームおよび／またはオフィス自動化回路の使用によって、単数のハンドヘルド装置を複数の器具に適用することが含まれる。１つのアプローチによれば、反射基準マーカが、制御される器具上またはその近くに位置決めされ、各装置に対しては反射マーカが所定の空間パターンで配列される。そして、ハンドヘルド装置は、その特定のパターンを認識することによって所定器具を認識することができる。ここで、器具の１つ以上はディスプレイさえ有していなくてもよいことに留意されたい。さらに適した言い方をすると，器具自体および／またはそのリモート使用は単純化されてよく（例えば、「オン」および「オフ」のような少数の状態のみを有するような）、それによって、器具をポインティングしてハンドヘルド装置上の１つまたは少数のボタンを押すという簡単な動作で、装置の使用が十分可能となる。かかる器具の例には、ランプ、ラジオおよびテレビジョンが含まれる。

所定装置／器具を特定する空間マーカのパターンには、様々なフォーマットを使用することができる。例として、バーコード（すなわちユニバーサルプロダクトコード）、および単純なオン／オフバイナリコードが含まれる。器具当たり要するマーカの数は、特定される必要がある異なる器具の数および／または使用されるパターンフォーマットに依存する。ほとんどの家事用途に対しては、その数は小さい（５よりも少ない）可能性が高い。ハンドヘルド装置が器具（例えばランプ）をポイントし、ハンドヘルド装置上の所定のボタンが押される（および／または装置に関する所定のジェスチャが行われる）と、ハンドヘルド装置はプログラムされて所定の指令をワイヤレス送信（例えばＲＦまたはＩＲ）によって器具に、直接または中央指令ユニット（例えばＸ１０のような電子機器５０３）を介して送信する。中央指令ユニットは、実際にはその指令を被ポイント器具に直接送信する。

１つのアプローチによると、コマンドは、ポイントされる器具の識別を含むパケットで送信される（すなわち、ハンドヘルド装置には、所定器具の各々を特定することができるパターン認識能力がプログラムされている）。別のアプローチでは、ハンドヘルド装置は画像パターンおよびハンドヘルド装置の動作（例えば、ボタン押し、ロール動作等）またはコマンドを別の装置（例えば前記中央指令ユニット）に送信する。次に、他の装置は、１）被ポイント器具を認識し、２）被ポイント器具にコマンドを送信／転送する。単純な電源オン／オフおよび異なる器具特性（例えば光強度、オーブン温度、音量等）の増／減を含む様々なコマンドが、器具に通信されてよい。

ハンドヘルド装置が器具に直接コマンドを出す場合、または、中間ユニット（例えば前記指令ユニット）が器具にワイヤレスでコマンドを出す場合、器具は、ホームおよび／またはオフィス自動化回路（例えば、（実行コードを備える）プロセッサ／コントローラに接続されたワイヤレス受信機を有する集積回路および／または（「選択」または「設定」回路（例えば、チャネル設定／選択、温度設定／選択、音量設定／選択等）のような）スイッチまたは他の機能的実行回路に接続された（実行コードを備えない）論理状態機械回路）として適正にみなされる所定種類のコマンド検知および機能的実行回路を備えるように構成される必要がある。なお、ハンドヘルド装置の使用を介した単純化器具のリモートコントロールは、ディスプレイ上の被ポイント位置を表示するのとは別個にまたはそれと組み合わせて実装されてよい。

２．０ハンドヘルド装置ハードウェア設計の実施例

図１１および図１２は、ハンドヘルド装置ハードウェア設計に関する。図１１によると、ハンドヘルド装置は、（ハンドヘルド装置の前面に位置する）アパチャ１１０１、様々な光学要素（例えば、レンズ、ディフューザ、フィルタ等）を含む光学チャネル１１０２および画素化センサ１１０３を含む。同時に、アパチャ１１０１、光学チャネル１１０２およびセンサ１１０３は、出力１１０９がプロセッサまたはコントローラ１１０４に接続されたデジタルカメラを形成する（または、デジタルカメラの出力値は、それが読み取られてプロセッサまたはコントローラ１１０４に与えられるメモリ１１０５に書き込まれる）。

プログラムコード１１０６は、プロセッサ／コントローラ１１０４上で実行されて、様々な機能が達成される（例えば、マーカ画像検知、検知されたマーカ画像位置を所定の被ポイント表示位置に関連付ける数学的計算、検知されたマーカ画像位置をハンドヘルド装置のロール位置に関連付ける数学的計算、有線またはワイヤレス通信の受信および送信プロトコル等）。図１１には示さないが、ハンドヘルド装置のプログラムコードを格納する不揮発性メモリ装置、およびプロセッサ／コントローラ１１０４に接続された１つ以上のボタンもある。実施例において、メモリ１１０５は、低コストおよび低電力消費ゆえにダイナミックランダムアクセスメモリ（ＤＲＡＭ）セルで作られる。

コントローラは、特別な目的の命令セットを有するプロセッサとして理解される。プロセッサは、プログラムコード１１０６命令を実行するように論理回路的に設計されると理解される。マイクロプロセッサ、マイクロコントローラ、組み込み型プロセッサおよび組み込み型コントローラのような異なる形態のプロセッサおよびコントローラが存在する。プロセッサまたはコントローラはまた、ワイヤレストランシーバ回路１１０７にも接続される。そして、これはワイヤレス信号を送信／受信するアンテナ１１０８に接続される。考えられるところでは、プロセッサ／コントローラ１１０４は、適用可能な数学的計算および／またはマーカ画像位置検知機能を行うように設計された専用論理回路に置換できる。

図７ａに整合するプロセスフローによれば、画素化センサ１１０３からのデータは、画素化センサ１１０３上のマーカ画像位置を検知するプロセッサ／コントローラ１１０４によって処理される。次に、プロセッサ／コントローラ１１０４は、マーカ画像位置を所定の被ポイント表示位置に関連付ける数学的計算を実行する。次に、プロセッサ／コントローラは、ワイヤレス送信用に被ポイント位置を特定するデータを用意し、それをワイヤレストランシーバ回路１１０７に転送する。そして、ワイヤレストランシーバ回路１１０７はそれをワイヤレス装置から送信する。

ワイヤレストランシーバ回路は、送信および受信両方の回路を含む。単純な実施例では、回路１１０７はワイヤレス送信機回路である（すなわち、ハンドヘルド装置は、カメラのアパチャに入る電磁放射以外のワイヤレス信号を受信および処理するように設計されていない）。ワイヤレスユニバーサルシリアルバス（ＵＳＢ）、Ｚ−Ｗａｖｅ、ＩＲ、ＩＥＥＥ８０２．１５．１（ＢＬＵＥＴＯＯＴＨ）、ＩＥＥＥ８０２．１５．４（ＺｉｇＢｅｅ）またはＩＥＥＥ８０２．１１（ＷｉＦｉ）規格のような様々なワイヤレスソリューション、およびＵＳＢまたはＲＳ−２３２のような有線ソリューションが存在する。別の可能な実施例では、ハンドヘルド装置は、ワイヤレスではなく有線によって情報を電子機器に送信する。こうして、ワイヤレストランシーバ１１０７およびアンテナ１１０８は、ドライバ回路１１０７、および適用可能な電気機器に接続される配線に置換される。

図７ｂに整合するプロセスフローによると、画素化センサ１１０３からのデータは、画素化センサ１１０３上のマーカ画像位置を検知するプロセッサ／コントローラ１１０４によって処理される。次に、プロセッサ／コントローラ１１０４は、ワイヤレス送信用にマーカ画像位置を特定するデータを用意し、それをワイヤレストランシーバ回路１１０７に転送する。そして、ワイヤレストランシーバ回路１１０７はそれをワイヤレス装置から送信する。

図７ｃに整合するプロセスフローによれば、プロセッサ／コントローラ１１０４は、画素化センサ１１０３からのデータをワイヤレス送信用に用意し、それをワイヤレストランシーバ回路１１０７に転送する。そして、ワイヤレストランシーバ回路１１０７はそれをワイヤレス装置から送信する。図７ｃに整合する別の実施例においては、プロセッサ／コントローラ１１０４は、単に画素化センサデータをワイヤレストランシーバ回路１１０７に転送する回路に置換される。なお、ワイヤレストランシーバ回路１１０７は、考えられるところでは、ハンドヘルド装置からの電気信号をケーブルを介してディスプレイに向けて駆動するための駆動回路に置換される。

図１２は、ハンドヘルド装置のカメラのための光学チャネル設計の例を示す。図１２の図示によると、「バンドパスフィルタ」は、本質的には画素化センサ１１０３の光学伝達関数、および光学フィルタの伝達関数ハンドヘルド装置の光学チャネル１１０２にによって生成される。図１２の所定の実施例によれば、画素化センサ１１０３はシリコン系ＣＭＯＳデバイスである。ＣＣＤおよび光ダイオードのアレイのような他のタイプのセンサが使用されてよい。ＣＭＯＳデバイスは、９４０ｎｍ付近のピーク応答よりも上のそのパスバンドの上端でロールオフするローパスフィルタに本質的に対応する光学伝達関数１２０３を有する。光学チャネル１１０２は、９４０ｎｍよりも下のそのパスバンドの下端でロールオフする赤外線（ＩＲ）ハイパスフィルタ１２０２を含むように作られる。Ｋｏｄａｋ Ｗｒａｔｔｅｎ ８７Ｃ、Ｈｏｙａ ＩＲ−８５またはそれらと同等の市販のＩＲパスフィルタがこの目的に適している。

これらの２つのフィルタ１２０２，１２０３を組み合わせることによって、９４０ｎｍ付近の狭いパスバンド１２１０ａが得られる。ここで、図５に戻ると、マーカ５０４＿１から５０４＿４自体は、ＩＲ送信機（例えば光放射ダイオード（ＬＥＤ））となるように作られるが、理想的には、画素化センサ１１０３はその出力１１０９において強い検知「信号」を提示する。出力１１０９は、マーカ５０４＿１から５０４＿４から受信される電磁放射にほぼ対応し、ハンドヘルド装置のアパチャ１１０１を介して受信される他の電磁放射からのバックグラウンドがほとんどない。

しかし、他の光学的アプローチも可能である。例えば、ハンドヘルド装置５０１はそれ自体のＩＲ送信機を含むように設計されてよく、マーカ５０４＿１から５０４＿４は単なる鏡（または、さらにＩＲ反射鏡）として実装されてよい。光学チャネル１１０２自体の伝達関数は、所定のパスバンド（例えば、ハイパスフィルタとローパスフィルタとの両方を含むことによる）であってよい。さらに、考えられるところでは、画素化センサがローパスフィルタではなくハイパスフィルタに対応する伝達関数を有し、光学チャネル１１０２の伝達関数がローパスフィルタに対応するように作られてよい。

また、考えられるところでは、全体としてカメラの設計目的のパスバンド（すなわち、光学チャネルと画素化センサ１１０３）が、単なるハイパスフィルタまたはローパスフィルタであってもよい。他の実施例において、ハードウェアで行われる光学的フィルタリングはほとんどまたは全くなくて、むしろ、フィルタリング（あるとすれば）は、プロセッサ／コントローラ１１０４によって、または専用の論理回路によってソフトウェアで行われてよい。マーカ画像を形成するために使用される電磁放射の波長は、設計的な選択事項である。ＩＲスペクトル内（約８００−９５０ｎｍ）に存在するスペクトルのほかに、マーカ画像のための他の可能な波長範囲が使用されてよい。一般に、市販の光源およびセンサに基づくと、可視から近赤外（約４００−１０００ｎｍ）の領域のスペクトルが好ましい。シリコン系検知器アレイ（例えばＣＭＯＳおよびＣＣＤ）がこの波長範囲に最も好適である一方で、ガリウムヒ素およびゲルマニウムのような他の材料が使用されてさらにＩＲに及んでもよい。

なお、図１３ｂに関連して以下に詳細に説明するが、光学チャネル１１０２は、ディフューザまたは「焦点外の」光学経路を含むように作られて、マーカ画像を故意にぼかしてより容易に検知されるようにしてよい。マーカサイズが大きければ大きいほど、マーカの真の中心位置のより正確な決定が可能になる。これは、サブ画素分解能をもたらす補間アルゴリズムを使用して達成することができる。

３．０ 画像マーカ検知処理方法

図１３ａ、図１３ｂ、図１４および図１５は、マーカ画像位置検知処理方法に関する。図７ａおよび図７ｂのシステム方法によれば、マーカ画像位置検知はハンドヘルド装置によって行われる。図７ｃのシステム方法によれば、マーカ画像位置検知は、ディスプレイ上の表示内容を制御する役割の電子機器に関連する回路（または少なくとも、かかる回路に接続された回路）によって行われる。

図１３ａは、マーカ画像の放射によって照らされた画素化センサの図を示す。例えば、ハンドヘルド装置のカメラのパスバンドがバンドパスフィルタ（例えば、図１２に関して説明したような）に対応して理想的には画素化センサがマーカからの電磁放射のみに応答する場合、画素が受けるマーカの放射量が、その画素の出力値を決定する。１つの実施例によれば、各画素は、２５６の異なる強度値を可能にする８ビット出力を有する。

理想的にマーカ画像放射のみが画素化センサに当たる場合、マーカからの放射によって十分に照らされる画素は２５６に近い「高」出力値を生成し、マーカからの放射によって部分的にのみ照らされる画素は１２８近くの「中」出力値を生成し、マーカからの放射を受けない画素は０近くの「低」出力値を生成する。もちろん、上述の値は、ハンドヘルド装置がマーカから離れた位置にあると落ち込む。図１３ａは、マーカからの放射によって照らされた画素領域を「暗部」として描いている。特に、暗部の円が見られる。したがって、円内の画素は理想的には２５６近くの値を有し、円周では約１２８の値を有し、円外の画素は０近くの値を有する。この場合、対応する画素の２次元（ｘ，ｙ）座標に相関するこれらの値の集合は、マーカの画像（または、このマーカ画像に対する画素化センサの出力信号）に対応する。

図１３ｂは、図１３ａのマーカ画像よりも大きいマーカ画像の表示１３０２を示す。ここで、光学分野では十分に理解されることであるが、光は、光の小さな「点」に収束され得る。図１３ａは、光学チャネル１１０２での光学処理がマーカ画像を小さな画像に収束するように設計されている場合のマーカ画像を表す。それとは対照的に、図１３ｂは、光学チャネル１１０２がディフューザを含み意図的にセンサ１１０３が光学チャネルの出力焦点の前後に位置するように設計され、その結果マーカ画像が故意にぼかされている場合の同じマーカ画像を示す。マーカ画像を故意にぼかすことにより、マーカ画像は、マーカ位置検知アルゴリズムによって容易に検知される。

この経験にそぐわない結果（すなわち、マーカ画像が明瞭に収束していない場合に検知マーカ画像位置の分解能が向上すること）は、画像により多くの画素（すなわちデータ）が存在することに起因する。この画像データを適切に処理することにより、画像の真の中心をより正確に決定することのできる高分解能補間を行うことができる。これにより、ユーザが自身のポインティング方向または配向を変更する場合に、より良好で滑らかな追跡をすることができる。この増大した分解能を達成することのトレードオフは、センサのピーク信号が弱小化することである。したがって、信号が検知できないほど弱小にならずに許容できるマーカ画像の拡大量には限りがある。実際には、マーカ画像サイズと信号強度との間には、マーカ画像信号強度、センサ感度、センサのノイズ信号およびバックグラウンド信号、マーカの間隔、ならびにマーカからユーザまでの最大距離（マーカ画像はひとたびセンサ上で互いに当たり始めるとそれ以上拡大されるべきではない）等のようないくつかのシステム因子に依存する最適なバランスがある。

図１４および図１５は、マーカ位置検知技術に関連する。図１４は、ハンドヘルド装置のセンサによって提示される複数のマーカ画像の位置の検知プロセスを示す。図１５は、センサの出力信号の例示となる図を与える。図１４のプロセスによれば、マーカ画像（単純な場合には図１５のマーカ１５０５'＿１のような「マーカ」）が、センサの出力信号に検知される（１４０１）。ここで、例えば、「高」出力値（あからじめ決定されたしきい値より上）を与える十分な数の隣接画素を有するセンサの画素アレイの領域を特定することによってマーカを認識することができる。

ひとたびマーカが特定されると、検知されたマーカ１５０４'＿１付近の領域１４０２，１５２０内の画素データは、マーカの「位置」を特定するためにさらに処理される。図１３ｂのマーカ画像１３０２は、領域１５０４'＿１に関連するデータの図示の例とみなすことができる。各画素位置が、画素位置を照らすマーカからの放射量が増大するに従って増大する関連強度値を有するということから考えて、図１３ｂのマーカ画像１３０２は、強度値のアレイとしてみなすことができる。

図１４に示すように、強度値は、ｘ軸上の「水平方向」１４０３'＿１で合計されて、抽出されたデータ領域１５０４'＿１の各データロウに対し、そのロウに対する総計強度値が生成される。マーカ画像の形状に起因して、抽出されたデータ領域１５０４'＿１の垂直方向の広がりにわたる総計強度値の分布は、「ベルカーブ」１３０５の分布（例えばガウスまたはガウス様分布）に近似することになる。同様に、強度値は、ｙ軸上の「垂直方向」１４０３'＿２で合計されて、抽出されたデータ領域１５０４'＿１の各データカラムに対し、そのカラムに対する総計強度値が生成される。

この場合も、マーカ画像の形状に起因して、抽出されたデータ領域１５０４'＿１の水平方向の広がりにわたる総計強度値の分布は、「ベルカーブ」１３０３の分布に近似することになる。次に、カーブフィッティング関数１４０４＿１，１４０４＿２が分布１３０３，１３０５の各々に適用され、その各々に対するフィッティング連続カーブ１３０４，１３０６が規定される。次に、水平方向フィッティングカーブ１３０４の最大値はマーカ画像１４０５＿１の位置のｘ座標値１３０７（ｘｏ）とされ、次に、垂直方向フィッティングカーブ１３０６の最大値はマーカ画像１４０５＿２の位置のｙ座標値１３０８（ｙｏ）とされる。その後、すべてのマーカが検知されてそれらの位置が決定されるまで、次のマーカに対してプロセスが繰り返される（１４０７）。単純なピーク検知に加えて、特にビームの分布が滑らかでもなく対称関数でもない場合には、中心決定のための他の方法が使用されてもよく有益である。

かかる方法は、フィッティングカーブの幅（例えば半値全幅−ＦＷＨＭ）を本質的に決定し、マーカ中心はＦＷＨＭ点間の中心位置となる。

この場合、中心はピーク位置と同じではない。このアプローチに対する他のバリエーションも使用されてよい。これらのマーカ中心決定アルゴリズムサブ画素分解能を使用することが可能と考えられる。達成可能な分解能は、信号のノイズおよびデジタルセンサのサンプリングビット数によって限られる。例えば、８ビットのデジタル化でサンプリングされたノイズのない信号であれば、０．００５画素空間分解能よりも低くなる。

信号の平均化によって、この分解能をさらに高めることができる。実際には、システムノイズおよびバックグラウンド信号の存在により、典型的には０．０１画素から０．１画素までにわたる低下した分解能となる。

４．０絶対ハンドヘルド装置ポインティングのための数学的関係

１，２，３および４マーカシステムに対する絶対ハンドヘルド装置ポインティングおよび位置追跡のための様々な数学的アプローチの詳細が説明を以下に提示する。

４．１ １マーカ実施例

１マーカ実施例に対するアプローチによれば、主要な作業は、ハンドヘルド装置に位置決めされたセンサのポインティング方向をディスプレイ上の所望カーソル位置に関連付けることである。これは一般に、ディスプレイ（ｘ'，ｙ'）およびセンサ（ｘ，ｙ）両者に対する水平および垂直座標を含む２次元問題である。軸は直交するので、関連する方程式は分離可能であり、各軸に対して独立に式を導くことができる。このため、水平軸（ｘ'およびｘ）に対する計算を最初に提示する。次に、これらを垂直軸（ｙ'およびｙ）に拡張する。

図１６は、座標系および符号規約を示す。「上面図」の視点からの水平次元の２つの異なるポインティング方向を図示し、変数がどのように関連するのかを示す。垂直次元に対しても類似の図が適用される。センサ１６０３およびディスプレイ１６００'の座標に関する基本方程式は以下のようになる。

ここで、ｘ_０はセンサ１６０３の座標の原点、すなわち、所望のポインティング方向に対応する座標である（好ましい実施例ではｘ_０はセンサ１６０３上の中心画素付近にあり、さらに適した言い方をすると、センサ視野１６０４はカーソルｘ'_ＣＵＲに中心を有する）。ｘ_ＲＥＦは、基準マーカ画像のセンサ１６０３上の位置である（これはセンサ１６０３が移動すると移動する）。ｘ'_ＲＥＦは、ディスプレイ１６００'に対する基準マーカの実際の位置である。ｘ'_ＣＵＲは、ディスプレイ１６００'上の所望のカーソル位置である（これもセンサ１６０３が移動すると移動する）。Ｍ_ｘは、拡大倍率、すなわち、センサ１６０３の座標とディスプレイ１６００'の座標との間のマッピングを決定する比例定数である。Ｍは、いくつかのシステム因子（例えば、ディスプレイに対するセンサ位置、センサ視野、ディスプレイサイズおよびディスプレイに対するセンサ配向）に依存し、一般に、ｘ，ｘ'座標およびｙ，ｙ'座標は、Ｍ（Ｍ_ｘおよびＭ_ｙ）に対して異なる値（大きさおよび符号）をとり得る。

方程式（１）は、基準マーカからディスプレイのカーソルまでの距離１６０５＿１，１６０５＿２および基準マーカ画像からセンサ原点までの距離１６０６＿１，１６０６＿２が、それらの相対的な局所座標系において、線形的に関連（すなわち比例）し、その比例定数すなわち倍率がＭであることを示す。

（１）を、ディスプレイカーソルを追跡および移動するための実際のアルゴリズムに変換するために、１つの実施例によれば、（１）のいくつかの因子は、画面に対する所定位置において行われる初期較正ルーチンを使用して決定される。実際には、ｘ位置およびｙ位置はセンサ１６０３上の画素数に対応し、ｘ'位置およびｙ'位置はディスプレイ１６００'上の画素数に対応する。また、画素数が各座標系における合計画素数に対応するので、ｘ（ｙ）およびｘ'（ｙ'）は、それに応じて正規化されることになる点に留意されたい。

較正中に決定される（１）の因子は、Ｍ_ｘ，ｘ_０およびｘ'_ＲＥＦである（ここで、ｘ_ＲＥＦは、センサ１６０３上の測定された基準マーカ画素数であり、ｘ'_ＣＵＲは、アルゴリズムの出力−ディスプレイカーソルの画素数である）。一般に、ｘ_０は、センサ１６０３上の原点に対応する任意の所定画素数であるが、近似中心が最も自然に使用される。例えば、６４０×４８０のアレイサイズを有するセンサであれば、ｘ_０〜３２０およびｙ_０〜２４０を有する。しかし、１つの実施例に対しては、これらの値は較正に先立って明示的に決定される必要がない。実際には、ｘ_０およびｙ_０は、以下に示すように較正中に自動的に決定される。

したがって、Ｍ_ｘおよびｘ'_ＲＥＦは、較正中に明示的に決定される２つの因子である。ｘ'_ＲＥＦを決定する１つの方法であれば、そのｘ'位置、およびディスプレイ１６００'上の対応する相対画素数を物理的に測定することになる。なお、基準マーカをディスプレイ１６００'自体内に物理的に位置決めする必要はない。

ｘ'_ＲＥＦおよびＭ_ｘの両者を同時に決定するための単純で正確な方法は、ディスプレイ１６００'上の既知の位置において表示される２つの可視較正基準点を使用することである。一般に、較正基準点は異なるｘ座標およびｙ座標を有し、例えば画面の対向する角に位置決めされる。センサ１６０３で２つの較正基準点を順次ポインティングして記録することにより、各基準点に対して、センサ１６０３上の対応マーカ画像位置（基準マーカ画像位置のペアが記録される−１つは第１較正基準点に対応し、もう１つは第２較正基準点に対応する）、Ｍ_ｘおよびｘ'_ＲＥＦの両者をそのユーザ位置に対して決定することができる。この手順では、ｘ'_ＣＡＬＡおよびｘ'_ＣＡＬＢは既知の較正基準点位置を表し、ｘ_ＲＥＦＡおよびｘ_ＲＥＦＢは、対応する記録された基準マーカのセンサ画像位置である。方程式（１）において、これらの量でｘ'_ＣＵＲおよびｘ_ＲＥＦ各々を置換すると、以下のようになる。

これら２つの方程式を減算することにより、Ｍ_ｘに対して以下の表現を得る。

ここで、Δｘ'_ＣＡＬは、ディスプレイ上の較正基準点間の分離（画素単位）であり（ｘ'_ＣＡＬＡ−ｘ'_ＣＡＬＢ）、Δｘ_ＲＥＦは、センサ上の対応するマーカ画像位置の測定分離（画素単位）である（ｘ_ＲＥＦＡ−ｘ_ＲＥＦＢ）。

方程式（４）からひとたびＭ_ｘが決定されると、方程式（２）および（３）からｘ'_ＲＥＦを決定することができる。

または、ｘ'_ＲＥＦを得るために、方程式（２）および（３）両者を使用してそれらを合計して２で割ってもよい。

方程式（６）を方程式（１）に代入して項を並べ替えると、測定量に関するカーソル位置に対する式を得る。

Ｍ_ｘは方程式（４）から決定される。方程式（７）の右側第１項は、較正中の、所定ポインティング方向に対する基準マーカ画像（Ｘ_ＲＥＦ）の実際の画素位置に対応するセンサ上のマーカ画像の平均画素位置（１／２（Ｘ_ＲＥＦＡ＋Ｘ_ＲＥＦＢ））を表し、全体がＭ_ｘ倍される。これは、基準画像がセンサ１６０３上で移動するにつれてディスプレイ１６００'上のカーソルが移動することになる量を本質的に決定する。右側の第２項は、画面上の較正基準点の平均画素位置であり、視線ポインティングを有効にするためにカーソル位置に適用される任意のオフセットを表す。

図１７は、ディスプレイ１７００'およびセンサ１７０３基準フレーム内の様々な（ｘおよびｙ）座標の例を示す。

なお、（６）を（１）に代入する際ｘ_０は消去されるので、方程式（７）はｘ_０から独立である。これは、方程式（１）のｘ_０が方程式（２）および（３）のそれと同じであるという仮定に基づく。これは一般に真であるが、必ずしも当てはまるとは限らない。すなわち、有効なｘ_０は、較正手順中にポインティング方向によって決定される。較正中のポインティングにおける任意のオフセット（意図的であろうとなかろうと）によって、使用中のカーソル位置における同等のオフセットが得られる。

最初で述べたように、上記分析は水平次元に関する。垂直次元に対して類似の導出を適用することができる。方程式（１）−（７）は垂直座標において同等に対応する。したがって、ｙおよびｙ'の次元において得られるカーソル位置は以下によって決定される。

方程式（４）から明確なのは、Ｍ（Ｍ_ｘおよびＭ_ｙ両者）は、較正中のディスプレイ１６００'に対するユーザの位置の関数である（Δｘ_ＲＥＦはユーザ位置に依存する）。したがって、ユーザの位置が変化するとＭもそれに応じて変化することになる。非常に良好な近似に対しておよびほとんどの状況において、Ｍは、ディスプレイからのユーザの距離Ｌがその初期値Ｌ０から変化すると線形的に変化する。

ここで、Ｍ_０は、Ｌ_０に対応する較正倍率である。

このアプローチによれば、図１８を参照すると、センサ１８０３から基準点１８１０'＿１，１８１０'＿２間の中間点１８１１'（例えばディスプレイ１８００'の中心）までのＬおよびＬ_０が測定される。したがって、ユーザがディスプレイ１８００'または初期較正が行われる基準点から遠くなるように２回移動すると、Ｍも２倍となる。さらに、Ｍも、ディスプレイ１８００'に対するユーザの視野角の変化に依存する。

視野角の変化は、方程式（９）への三角関数補正因子の追加を考慮すればよい。

ここで、θ_０は、初期較正条件に対応する視野角（画面法線から測定される）、θは、ユーザ移動後の現在の視野角、およびｄは、ディスプレイ上の較正基準点１８１０＿１，１８１０＿２間の（ｘ軸またはｙ軸上の）距離（例えばｃｍまたはｍｍの実単位で測定）である。方程式（１０）は、視野角および距離の変化が倍率Ｍへ与える影響の正確な表現である。しかし、多数の条件のもと、かっこ内の最後の項は、Ｍに実質的または気付き得る誤差を導入することなく落とすことができる小さな補正因子である。したがって、Ｍに対する近似かつ単純な表現は以下のようになる。

方程式（１０）に見ることができるように、かっこ内の項は１に近似し、以下の共通条件のもとでは無視できる。すなわち、較正中（θ_０）および使用中（θ）両者において視野角が比較的小さい場合、または、ｄがＬおよびＬ０と比べて小さい場合である。典型的な動作条件のもと、ユーザの視野角は〜２５°よりも小さく変化し、画面からの距離は較正マーカ分離の少なくとも２倍である。この場合、方程式（１１）を使用することによって導入される誤差は〜１％以下であり、これは通常の状況でユーザが感知できるよりも十分低い。ユーザがθ_０＝０近くの較正後システムの動作範囲（典型的にはθ〜４５°）の端へ移動し、かつ、ユーザが画面のすぐ近く（ｄ〜Ｌ）へ移動するという極端な状態では、誤差は〜１２％となり、何人かのユーザが気付き得る。

実際には、この誤差は、操作位置により近いところ（例えば、４５°近く）で較正することによって低減され得る。一般に、極端な操作条件が予測される場合、非常に高いポインティング精度が所望される場合、または、時々の再較正が不可能または好ましくない場合、厳密式（方程式（１０））を使用してポインティング誤差を最小化することができる。しかし、ほとんどの状態では、正しい較正倍率を決定するには方程式（１１）が適切である。また、Ｍが、方程式（７）および（８）で使用されるｘおよびｙ成分の両方を有することに留意されたい。したがって、方程式（１０）および（１１）に現れる視野角は、Ｍ_ｘおよびＭ_ｙを各々決定するｘおよびｙ成分の両方を有する。また、方程式（１０）および（１１）は、動きが１平面においてのみであること、すなわち、θがｘ成分またはｙ成分のみを有することを仮定していることに留意されたい。任意の動きという一般的な場合にはより複雑な方程式が含まれるが、後のセクションで取り上げる。図１８に示すｘ'次元の方程式（１０）および（１１）に対する幾何形状は、ディスプレイ１８００'および基準点１８１０＿１，１８１０＿２に対する初期較正位置（θ_０およびＬ_０に対応）から最終位置（θおよびＬに対応）へのハンドヘルド装置の移動を示す。

上述のように、距離および視野角の変化を考慮する１つのアプローチは、ユーザの位置変化がポインティング精度に気付き得る誤差を作るほど十分な場合には、較正プロセスを繰り返すことである。知識がなければ、直接または間接にＬ、Ｌ_０、θおよびθ_０のいずれかの再較正が、ユーザ位置変化の際のＭを補償する唯一のオプションとなる。したがって、再較正の必要性を回避するためには、Ｌ，Ｌ_０，θおよびθ_０を有効に測定して方程式（１０）または（１１）が使用することが必要となる。もちろん、これらの因子を直接的に物理測定することによっても較正の補正は可能であるが、このアプローチは実際には特に適さない。しかし、１つ以上の基準マーカをシステムに付加することによって、距離および視野角両者の決定を基本ポインティング能力に組み込むことが可能になる。自動的および動的な較正の補正が可能になることに加え、複数の基準点によって可能となる付加的な自由度のある感度は新たな可能性を開く。２マーカ配置の分析は次のセクションの主題である。

４．２ ２マーカ実施例

２番目の固定マーカをシステムに付加することにより、（Ｉ）で説明した較正の補正問題を扱うことができる。これで済ますことができるのは、マーカ画像の分離をモニタできる一方でユーザが画面に対して移動するからである。マーカ画像の分離の変化は、距離または視野角の明示的知識なしに方程式（１０）または（１１）の補正因子を決定するために使用することができる。そして、Ｍは、再較正手順の必要性なしにリアルタイムで修正することができる。しかし、Ｍの変化はＬおよびθ両者に依存するので、付加的情報なしには、距離および視野角の変化がＭに与える影響を分離することはできない。それらが組み合わされた影響のみが感知されて考慮されるにもかかわらず、較正の補正にはこれで十分となる。次のセクションで説明される第３のマーカの付加により、距離および視野角両者の独立した検知が可能となる。

自動的な較正の補正は、セクション４．１で説明されたものと同様に、２マーカ実施例において行うことができる。この場合、距離および視野角の変化の影響を分離する必要がないので、方程式（１０）および（１１）は不要である。較正の補正にとって重要なのは、それが距離の変化からのものなのか視野角の変化からのものなのかにかかわらず、マーカ画像の分離の変化のみである。したがって、ユーザの移動に際してＭを修正するためには方程式（４）が必要となる。この場合、方程式（４）のΔｘ_ＲＥＦは、（ディスプレイ較正マーカの距離の代わりに）センサ上の２つの基準マーカの画像間の分離になる。ユーザが画面に対して移動すると、倍率ＭはΔｘ_ＲＥＦの変化に伴い自動的に調整される。この動的な較正と上述の初期較正との間の主要な相違点は、較正に使用される２つのマーカは操作中いつでも感知されるという事実にある。このため、ユーザは、移動完了後に倍率Ｍを更新するための４．１で説明した較正手順を行う必要がない。

１つの実施例において、２つの基準マーカは互いにおよびディスプレイに十分近くに配置され、両者はすべての操作条件下でセンサの視野内に維持される。他方、それらは、ディスプレイから最も遠い操作距離において、または最大の視野角において、空間的に分離できるように十分に離れる必要がある。図５ｃに関して上述したように基準マーカに対して使用される配置は様々である（例えば、画面の対向角に各々１つ、隣接辺上の中心、同じ側辺の互いに隣等）。各配置にはその潜在的利点があるが、実際には、２つのマーカは通常、画面の同じ側辺に数センチメートル（典型的には５−１５ｃｍ）離れて位置決めされる。

この配置は、両マーカが同じハウジングに配置されて単一の電源からともに電力を得るよう配線できるので最も都合がよい。ディスプレイの任意の側辺が使用可能であるが、通常は、ディスプレイの上部かつ水平方向の中心近くにマーカ装置を配置するのが最も都合がよい。マーカアセンブリが較正後認め得るほどに移動しない限り、正確な位置が重要となるわけではない。また、２つの基準マーカが同じｘ'またはｙ'座標を有する場合は、直交座標に関する付加的な空間情報がないので、この場合は動的な較正の補正は１つの軸上で行うことしかできない。しかし、リモートコントロール装置として使用する場合は、ユーザの動きのほとんどは、水平（ｘ'）軸上であるから、Ｍ_ｘの動的較正を可能とする同じｘ座標を有する２つの基準マーカで十分である。

基本的には、２つの基準マーカは、装置の位置および配向（すなわち自由度（ｄｅｇｒｅｅｓ ｏｆ ｆｒｅｅｄｏｍ（ＤＯＦｓ））に関する付加的な空間情報を与える。動的較正に加えて、この情報は、装置のＤＯＦｓを測定および追跡することに依存する様々な他の機能に対して使用することができる。２マーカ実施例を使用して追跡できる２つの付加的なＤＯＦｓは、装置のロール（すなわち、センサのｚ軸まわりの回転、または装置と画面との間の直線）および画面からの距離である。上述のように、方程式（１０）および（１１）に示すように、角度および距離の感度は実際には２マーカ配置に組み合わされる。しかし、操作中にユーザの視野角がそれほど変化しない状態では、２マーカ配置は、方程式（９）および（４）の変形を使用することにより距離変化をモニタするために有効に使用することができる。

この場合、Δｒ_ＲＥＦは、センサ上の２つの基準マーカの画像の測定された分離であり、Δｒ_ＲＥＦ０は、センサと実際のマーカ間の中間点との間の既知距離Ｌ_０に対応する２つの基準マーカの画像の分離である。一般に、センサ上のマーカの画像間の分離に対する標準式は、Δｒ＝（（Δｘ）^２＋（Δｙ）^２）^１／^２である。ここで、Δｘはセンサ上の２つのマーカの画像のｘ座標における差分であり、Δｙはセンサ上の２つのマーカの画像のｙ座標における差分である。

方程式（１２）を使用した距離測定の手順は、センサと実際のマーカ間の中間点との既知の距離Ｌ_０における、センサ上のマーカ画像間の分離Δｒ_ＲＥＦ０を記録することである。Ｌ_０は測定してもよい。その後、方程式（１２）がＬを追跡するために使用される。また、Δｒ_ＲＥＦ０およびＬ_０は定数なので、実験的に決定（例えば初期的に）されて方程式（１２）に挿入されるシステム定数に組み込むことができる。システムの他の既知な側辺を使用することにより、上述の初期測定を行わずに、Ｌを決定および追跡することも可能である。例えば、結像レンズの焦点距離（または同等なものとして光学システムの視野およびセンササイズ）および実際の基準マーカの間隔Δｒ'_ＲＥＦが既知の場合、原則的にはセンサから画面までの距離（または画面付近に配置された基準マーカ）は以下により決定される。

ここで、ｆは結像レンズの焦点距離であり、Δｒ_ＲＥＦはセンサ上の基準マーカ画像間隔であり、Ｘ_Ｓはｘ次元におけるセンササイズであり、ｔａｎθ_１／_２はセンサシステムの半角視野角（視野角の半分）の正接である。

Ｌを決定するために、システムに関するどの情報が既知であるかに応じて、方程式（１３）における表現のいずれかを使用してもよい。例えば、典型的な配置は、１０ｃｍの基準分離、５０°の視野角、およびｘ次元の６４０合計画素を備えるセンサを有する。ｘ次元の４０画素の測定基準画像分離に対しては、方程式（１３）が画面までの距離１．７１ｍを与える。ユーザが移動すると、Δｒ_ＲＥＦはそれに応じて変化し、ユーザの距離が追跡される。

方程式（１２）および（１３）は本質的に同等であり、どちらかが使用されてよい。しかし、方程式（１２）はシステムパラメータを直接測定量Ｌ０およびΔｒ_ＲＥＦ０に組み込んでおり、システムに対する先行知識なしに所定倍率を決定する方法である。また、方程式（１３）は、ユーザの視野角が０°であることを仮定する。または、傾斜した視野を考慮する（１０）および（１１）に類似の方程式を使用することもできる。方程式（１２）は、直接較正測定手順によってユーザの視野角を本質的に考慮する（視野角が較正後に変化しない限り）。

２マーカ実施例を使用して視野角および距離を測定し追跡することが可能である。重要なのは、視野角（好ましくは大きさおよび符号の両方）に一意的に依存する基準マーカの１つ以上の特性の存在であり、これにより、角度と距離との分離が可能となる。かかる特性の１つは、異なる方向に配向する２つのマーカの相対的信号強度である。図１９は、かかる配置の１つを示す。ここで、マーカはｘ'軸上の異なる方向に配置される。また、画面法線に対する角度の関数として各マーカの強度分布１９０１，１９０２も示される。この構成において、ユーザが直視視野の一方の側へまたは他方の側へ移動すると、２つの基準マーカの相対的信号強度（すなわち２つの測定信号の比）は、視野角に比例して変化する。その比は、直視視野の各側に対して異なる。

このようにして、比は距離に依存しないので、角度が決定されて上述の距離測定からは分離される。この構成を実装するための直接的な方法は、センサによって測定し、画面法線軸の各側の様々な既知視野角に対して各マーカからの信号強度を記録することによってシステムを較正することであろう。そして、信号の比が各角度に対して計算され、データから関数またはルックアップテーブルが生成される。または、基準信号の空間分布が既知の場合、視野角対信号比の解析的表現が生成されるかまたは見積もられる。例えば、各基準ソースの角度分布がガウス分布（光源に対する通常形態）の場合、視野角に対する２つのソースの信号比Ｒ（θ）は、単純な指数関数となる。その減衰率は各分布の幅Δθおよびソース間の角度分離２θ_０に依存する。それら両者は、較正手順を使用して測定または決定される。

上記方程式（１４）によれば、Ａ_１は第１基準マーカ１９０３のピーク信号強度であり、Ａ_２は第２基準マーカ１９０４のピーク信号強度である。

方程式（１４）および図１９は、両方のマーカが、画面法線に対して同じ分布幅および傾斜角を有することを仮定する。表現は任意の傾斜および異なる幅の一般的場合に対して修正可能であるが、図１９の対称配置が最も自然である。基準マーカに対する他の信号分布に対してもこのアプローチを使用することができる。その結果、信号比と視野角との間に１対１の関係が得られる。このアプローチの主要な欠点は、各基準マーカのポインティング方向をオフセットする必要があることであり、そのため、マーカ間の角度がそれらの角度分布のかなりの割合を占める。この結果、システムの視野角が低減される。

視野角の低減は、マーカのポインティング軸間の角度分離にほぼ等しい。このため、この分離を最小にすることが望ましい。しかし、方程式（１４）に見られるように、角度感度Ｒは角度分離とともに増加する。そのため、視野角範囲と視野角分解能との間には固有のトレードオフが存在する。なお、上述の「傾斜マーカ」構成は、マーカがｘおよびｙ両方向で傾斜していない限り１次元において機能する。その影響は、有効な視野角をさらに低減する。最後に、２つのマーカ（例えばＬＥＤ）の光学パワー（Ａ_１およびＡ_２）の任意の変化が相関することによって任意の視野角におけるそれらの比（方程式（１４）のＡ_１／Ａ_２）が時間が経っても（例えば、それら両者のパワーが１０％低下しても）一定のままである限りは、マーカ信号比を使用する方法は十分機能する。

しかし、いずれかのマーカのパワーまたは空間分布が他方と異なって変化する場合、視野角較正に誤差が導入されるので再較正を行う必要がある。この潜在的な問題に対する１つの可能な解決策は、相対的な信号変化がはるかに生じにくくなる反射（例えば逆反射体）マーカ設計を使用することであろう。したがって、傾斜マーカ構成によって、２マーカ実施例においては（マーカの分離により）距離および（信号比により）視野角両者を独立して決定することが原則的に可能である一方で、実際にはその利便性は、複雑さが増し、かつ、潜在的な誤差が導入されて、低減した視野角により制限される。距離および視野角を別個に感知および追跡するために好ましい方法は３つまたは４つのマーカを使用することである。これらの実施例は次のセクションで説明される。２マーカ配置を使用して測定可能な他のＤＯＦは「ロール」である。これは、装置のｚ軸（センサアレイの平面に対して直交する軸）まわりの回転である。このＤＯＦの追跡は、ユーザが装置で画面をポインティングしているまま装置を（例えば手首をひねることによって）回転させた場合の回転の大きさおよび方向を示す。装置のロールを測定かつ追跡する能力は、単純な手首の動作によって可能になる新たな機能および制御の可能性を導く。２つのマーカの基準マーカ画像座標の関数としてのロール角φの一般表現は以下のようになる。

ここで、Δｘ^ｉ＝ｘ^ｉ _２−ｘ^ｉ _１およびΔｙ^ｉ＝ｙ^ｉ _２−ｙ^ｉ _１およびｉ＝０は、φ＝０のロール角に関する座標に対応し、ｉ＝１はロール角φに関する座標に対応する。典型的には、φ＝０のロール角は、ユーザが直立したままハンドヘルド装置によって画面をポイントし、かつ、手首がその自然な位置にある場合の通常操作条件に対応する。所望により、装置の他の配向に対するΔｘ^０およびΔｙ^０の値を再較正することによって、他のφ＝０のロール角も可能である。

方程式（１５）は、ディスプレイに関する基準マーカの任意の（ｘ'，ｙ'）座標に対する一般表現である。方程式（１５）の符号規約では、装置の時計方向の回転（画面にポイントされている間の装置の背面から見て）が正のロール角に対応する。図２０は、任意の２マーカ配置に対するロールに含まれる幾何形状を示す。２マーカ実施例の多くの配置において、マーカは、画面端に対して水平方向または垂直方向のいずれかに配置される。水平方向に配置された基準マーカの特別な場合には、Δｙ^０＝０であり、方程式（１５）は以下まで変形される。

また、垂直方向に配置された基準マーカの場合には、Δｘ^０＝０であり、方程式（１５）は以下まで変形される。

したがって、ロール角は、適切な方程式（１５）−（１７）に連動して、センサ上の２つのマーカのリアルタイムに測定された基準マーカ画像座標を使用して測定かつ追跡される。なお、一般に、Δｘ^ｉおよびΔｙ^ｉの両者はユーザの視野角（画面に対するユーザ自身の位置）に依存してもよい。これにより、見かけ上のφは、装置のロールに変化がない場合でも視野角によって変化する。したがって、方程式（１５）を使用する場合、Δｘ^０およびΔｙ^０に対して使用される値は、Δｘ^１およびΔｙ^１に対する値とほぼ同じ視野角に対応する必要がある。これは、周期的に再較正を行い、新たなユーザ位置のΔｘ^０およびΔｙ^０に対する新たな値を記録することによって達成される。

ロール角に対する感度の１つの結果は、装置が回転する際に、その基準フレームもまた画面のフレームに対して回転するということである。これは、基準マーカの見かけ上の回転を作る効果を有し、装置のポインティング動作に応じて、ポインティング方向の見かけ上の平行移動が生じ得る。したがって、補正のないままでは、装置のロールは、装置のｚ軸（ポインティング方向）が変化しない場合であっても、不都合なカーソル移動をもたらしかねない。さらに、センサの座標軸の回転に起因して、装置の回転に伴って生じるポインティング方向のなんらかの変化によりカーソル移動方向に誤差が生じる。その誤差はロール角に比例する。例えば、装置のロールが４５度であり、かつ、ユーザがその後ポインティング方向を水平方向で変化させた場合、カーソルは、水平方向にではなく画面軸に対して４５度移動する。

センサ座標軸の回転を適切に考慮して補正するためには、装置のロールの影響を、追跡アルゴリズムから取り除く必要がある。これにより、カーソルの位置および動きは装置の真のポインティング方向に正しく対応する。ロール補償手順の第１ステップは、適切ないずれかの方程式（１５）−（１７）を使用してロール角を正確に感知することである。ロールを補償しカーソル位置を正しく維持するために、原（ｘ，ｙ）座標をセンサ原点（ｘ_０，ｙ_０）まわりにφだけ回転することによって新たな基準フレームが生成される。ほとんどの場合、ポインティング方向に対応する原点は、アレイの中心画素である。点（ｘ_０，ｙ_０）まわりの所定角度回転を含む座標変換の一般表現は以下のようになる。

ここで、（ｘ，ｙ）は、原座標（回転前）であり、（ｘφ，ｙφ）は変換後の座標（回転後）である。この場合も、ここで使用される符号規約では、センサの時計方向の回転（画面にポイントされている間の）は正のφに対応する。方程式（１８）は、回転された座標系を決定する。回転に対し補償して適切なカーソル位置を維持するためには、方程式（１８）を原座標系に戻るように変換する必要がある。

方程式（１９）は、測定された基準マーカ画像座標を変換して、回転前の座標系に戻す。この変換を適用することには２つの効果がある。正しい画面カーソル位置が維持されることと、回転された装置のポインティング方向が変化すると画面カーソルに対する適切な追跡方向が生成されることである。そして、各マーカ画像に対して変換された（ｘ，ｙ）座標は、カーソル追跡アルゴリズム（例えば、方程式（７）および（８）のｘ_ＲＥＦおよびｙ_ＲＥＦ）で使用される。なお、カーソル追跡に使用される倍率Ｍ_ｘおよびＭ_ｙは、測定されたロール角に応じて修正する必要がある。ほとんどの場合、光学システムに対する倍率はｘおよびｙに対して同じである（典型的には球面レンズが使用される）。しかし、Ｍ_ｘおよびＭ_ｙは画素数で規定されるので、変換においてはセンサの画素寸法を考慮する必要がある。一般にカーソル追跡アルゴリズムにおいて、Ｍ_ｘはＭ_ｘ（ｃｏｓ^２φ＋（ｐ_ｙ／ｐ_ｘ）ｓｉｎ^２φ）に変換され、Ｍ_ｙはＭ_ｙ（ｃｏｓ^２φ＋（ｐ_ｙ／ｐ_ｘ）ｓｉｎ^２φ）に変換される。ここで、ｐ_ｘおよびｐ_ｙは各センサ画素寸法である。方程式（１５）に連動して方程式（１９）を使用する手順により、装置が任意のロール角で回転されていても２マーカ実施例による正確なポインティングおよび追跡が可能になる。

なお、２マーカ実施例において、センサ上には２つの基準マーカ画像があるので、１マーカアプローチで上述された方程式を使用するポインティングおよび追跡のアルゴリズムは、２番目のマーカを考慮してわずかに修正される。原則的に、方程式（１）−（８）の各々は２つのバージョン−各マーカに対して１つ−を有する。しかし、マーカがお互いに対して固定されているので、各方程式の２つのバージョンは、お互いに対して単に空間的にシフトされ、それゆえにポインティングおよび追跡のための冗長なデータを含む。その結果、ポインティングおよび追跡に対して、実際には方程式の１つのセットのみが使用できる。もちろん、複数マーカの実施例における付加的なマーカが、視野角、距離およびロールのような付加的ＤＯＦｓとして使用できるが、基本ポインティングは１つのマーカのみによって達成することができる。

したがって、複数マーカの実施例におけるポインティングのための別の方法は、１マーカ配置のための方程式と同等のものを使用する。これらの方程式のいくつかの形態が−各々プラス面とマイナス面とがあるが−使用される。最も単純なアプローチであれば、較正および追跡の両者においてマーカの１つ（例えば２マーカ実施例のマーカ１）に対応する方程式を使用するだろう。単純なアプローチであれば、３マーカおよび４マーカの配置に対しても使用できるだろう。または、実際の基準画像のいくつかまたはすべてから構成される基準画像座標を使用することもできる。この単純な例は、２つ以上のマーカの「質量中心」座標または平均座標となろう。したがって、ｎマーカに対しては、有効な基準座標は以下のようになろう。

ここで、ｘ_ＲＥＦｉは、ｉ番目の基準マーカに対するセンサ上の基準マーカ画像座標である。同様の表現がｙ座標に対しても適用される。

次に、有効な基準座標が、１マーカ実施例に対するセクション４．１で上述されたポインティングおよび追跡アルゴリズムにおいて使用される。基準座標のその他の加重平均もまた、カーソル追跡用基準点として使用してよい。ｎマーカの実施例における基準として平均座標を使用することには、より正確かつ安定した基準点を生成できる潜在的な利点がある。個別のマーカ座標における任意のランダムなゆらぎが相殺されるからである。また、各マーカの識別が明確でない状態があるので、基準として平均位置を採用することは最適であろう。例えば、装置は傾斜されたり上下逆さまにされるかもしれず、その場合、マーカ画像の基準１および２への対応があいまいになり、画面カーソル位置にオフセットが生じる可能性がある。追跡アルゴリズムの複雑性がわずかに増大するというトレードオフはあるが、大抵の場合は必要となる計算の増大はかなり小さくて済む。

２つの基準マーカが異なるｘ'座標およびｙ'座標に位置決めされる場合（例えば、画面の対向角に対角線上に配置される場合）、セクション４．１で説明した可視ディスプレイ較正点の代わりに２つの基準マーカを使用することによって、上述の動的較正の調整に加えて初期較正を行うことができる。この代替的な装置較正手順は、較正がより早くかつより単純になる（およびこの手順の１つのバージョンにおいては分離較正ステップを完全に回避できる）という潜在的な利点を有する。しかし、これらの代替的なアプローチの各々において、カーソル追跡方程式にはいくつかの修正が必要となる。１マーカ配置におけるポインティングおよび追跡に対してセクション４．１で上述した基本的な導出は、２マーカ配置においても依然当てはまるが、今度は、各基準マーカに１つが対応する２つのセットの方程式が存在する点が異なる。この付加的基準の情報によって、様々な測定システムパラメータに関するカーソル位置の２つの異なるが同等の表現が得られる。各々はその利点および欠点がある。各々に対する関連結果を以下に示す。

１マーカに対する導出に類似する詳細な導出は示さない。

１つのアプローチにおいて、「シングルステップ」較正手順が使用される。ここで、ユーザは画面上の既知の位置（ｘ'_０，ｙ'_０）をハンドヘルド装置でポイントする。ユーザがポイントする１つの可視マーカまたはアイコンは較正精度を補助すべくディスプレイ上に表示されてもよいが、これは、画面中心または角のような容易に位置決めされる位置が使用される場合は特に必要がない。ユーザが（ｘ'_０，ｙ'_０）をポイントしている間、２つのマーカの対応するセンサ座標（ｘ^０ _ＲＥＦＡ，ｙ^０ _ＲＥＦＡ）および（ｘ^０ _ＲＥＦＢ，ｙ^０ _ＲＥＦＢ）が記録される。次に、画面カーソル位置が測定量から決定される。

較正ステップが行われるが、測定量が容易に測定されて基準マーカの物理的位置の知識には依存しない。本質的には、方程式（２１）が、平均基準点位置に対応する、センサ上の平均基準マーカ位置の移動を追跡することによって、既知の基準「点」（例えばディスプレイの中心）に対応する正しいカーソル位置を決定する。そして、これは既知のディスプレイ基準点に対応する。

分離較正ステップが不要な別のアプローチは、実際の既知の基準マーカの位置を使用する。この場合のカーソル位置に対する方程式は以下のようになる。

ここで、（ｘ'_ＲＥＦＡ，ｙ'_ＲＥＦＡ）および（ｘ'_ＲＥＦＢ，ｙ'_ＲＥＦＢ）は、基準マーカの位置（画面座標系における画素で測定される）であり、（ｘ_０，ｙ_０）は、ハンドヘルド装置の光学軸に対応するセンサの原点である。これは典型的にはセンサの中心画素付近であるが、必ずしもそうとは限らない。例えば、光学軸がセンサの法線軸に対して平行でない場合には、センサの原点は中心画素からオフセットしかねない。これは、レンズ軸がセンサの中心にない場合に生じるかもしれない。このアプローチを使用すれば、ひとたびマーカ位置が既知（およびそれが固定されたまま）であれば、較正手順は不要となる。しかし、この方法は、基準マーカが移動されて新たな位置が方程式（２２）において考慮されない場合には誤差の影響を受けやすい。較正に基づく方法であれば、基準マーカが移動する場合でも単純な再較正が必要となるだけである。

上述の２つのカーソル追跡アプローチの各々に対して、倍率Ｍは同じである。

方程式（２３）は方程式（４）と同等である。ここで、２つの基準マーカ既知の分離（Δｘ'_ＲＥＦ）はΔｘ'_ＣＡＬの代わりに使用され、Δｘ_ＲＥＦは、２つの基準マーカ画像のセンサ上の分離である。なお、マーカ画像の分離はポインティング方向に依存しない（非常に良好な近似に対して）ので、Δｘ_ＲＥＦ＝Δｘ^０ _ＲＥＦである。類似の議論がｙ座標にも当てはまる。また、方程式（４）と（２３）との間の符号の違いにも留意されたい。これは、２つの較正方法の違い−２つの較正マーカを順次ポインティングする（方程式（４））対２つの基準マーカをシングルステップで記録する（方程式（２３））−の結果である。カーソルのポインティングおよび追跡ならびに較正に対する上述の３つの方法（２ステップ、１ステップおよび較正なし）の各々は、関連する利点および欠点を有し、いずれも２マーカ実施例における所定条件下で使用することができる。しかし、２つの基準マーカがｘ'軸またはｙ'軸上に整列している場合には、セクション４．１で説明した基本的な２ステップ方法が必要である。

４．３ ３マーカ実施例

６つのＤＯＦｓの検知を原則的に可能にする２マーカ配置があるが、それらは各々、６つのＤＯＦｓすべてを検知する実際的な実装に対してはいくつかの制限を有する。３マーカまたは４マーカの配置を使用することによて、６つのＤＯＦｓすべてを感知することが実装容易となる。３番目の基準マーカを付加することによって、距離と視野角との分離を可能とする付加的な空間情報が利用可能となる。ポインティングおよび回転（ロール）の追跡は、２マーカ実施例に類似する態様で得ることができる。３番目のマーカが２マーカ配置に付加されて同じｚ'座標（例えば、画面の３つの角の各々に近いマーカ位置）に置かれると、いくつかの２マーカ配置を超える最小限の付加的情報（例えば、画面の隣接辺に近いマーカ）だけが存在する。

この場合、３番目のマーカは、視野角からの距離を分離するための増分的に価値のある基準データのみを付加する。

しかし、視野角のあいまいさ（画面中心の左対右または上対下）は残る。ｘ'−ｙ'平面（画面平面）から３番目のマーカを取り出して異なるｚ'座標に移動することによって、あいまいさなしの完全なポインティングおよび配向追跡を行うことが可能となる。マーカはセンサの視野内に存在する（すなわち、ユーザが画面近傍のどこかをポイントしている）必要があり、ユーザはマーカの視野内に存在する必要がある（例えば、ユーザは画面の側面または背面から離れすぎて立っていることができない）。典型的なマーカの視野は（＋／−）３０−４５度であり、これは、ユーザ自身の実際の画面視野角に整合する。このセクションは、後者の「平面外」３マーカ配置に焦点を当てる。他の「平面内」３マーカ配置は、上述のセクション４．２で与えられる２マーカ解析の延長上にある。

平面外配置は、図２１ａおよび図２１ｂに示される。この配置では、センサ上のマーカ画像位置によって、ｘおよびｙ両者の次元における視野角の大きさおよび符号両者の測定が可能となる（他の３マーカおよび２マーカ配置によっては視野角の大きさの検知のみが可能である）。１つの配置（図２１ａおよび図２１ｂに示す）は、３つのマーカすべて２１０１＿１，２１０１＿２および２１０１＿３をディスプレイ２１００'の同じ側辺で互いに密接して有する。これは、マーカが共通のエンクロージャに配置可能であり１つの電源によって容易に電力供給可能であるという実際的な利点を有する。また、センサの必要な視野角を低減することもあり得る。しかし、１つがｘ'−ｙ'平面から外れて配置される３つのマーカの任意の配置も許容できる。以下の方程式は、画面までの距離がマーカの分離よりもはるかに大きくユーザの視野角が小さい（方程式（３６）参照）遠視野条件を仮定する。ｘ'およびｙ'に対する視野角を計算すると、２つのセットの方程式が以下のように導かれる。第１のセットにおいては、ユーザがｘ'−ｚ'平面またはｙ'−ｚ'平面のどちらかにまたはその近くにいるという、よくあることではあるが特別な場合において有効な単純化表現が与えられる。これらの条件により、θ_ｘまたはθ_ｙのいずれかが、測定されたマーカ分離を距離および視野角に関連付ける基礎方程式において０に設定される。このため、比較的単純な式が得られる。この状態が該当するのは、多くの実際的な状態がこれらの平面にまたはその近くに限られたユーザを含むからである。これらの場合には、複雑な一般的解法よりも単純な式を実装する方が有用である。第２のセットにおいては、一般表現が、この場合も遠視野内の任意のユーザ位置の近似に対して与えられる。図２１ａを参照すると、ｘ'次元の視野角に対する表現（θ_ｙ≒０と仮定）は、システム定数および測定可能なマーカ座標に関して以下のようになる。

ここで、ｄはｘ'次元上の２つの外部マーカ（１および３）の間の実際のマーカ分離、Ｄはｚ'次元上のマーカ２１０１＿１および２１０１＿３に関して中間のマーカ（２）のオフセット、およびδｒ_ｉｊ＝（（ｘ_ｉ−ｘ_ｊ）^２＋（ｙ_ｉ−ｙ_ｊ）^２）^１／^２は、マーカ画像ｉおよびｊの間のセンサ２１０３上の分離である。かっこ内の第２項は、中心マーカ（２）が各外部マーカ（１および３）から等距離に位置していない非対称的なマーカ配置の場合の潜在的定数オフセットを表す。この場合、オフセット項は、ディスプレイ２１００'のすぐ前面（θ_ｘ＝０）に位置している間にマーカ分離の測定を行うことによって決定される。または、オフセットは、測定値に対して定数「オフセット角度」を加算または減算することによって考慮することができる。オフセット角度θ_ｘ０は、非対称的配置の幾何形状から簡単に決定することができる。

ここで、δｒ'_０は、外部マーカの中間点からの中心マーカのオフセットである。方程式（２５）を使用すると、オフセット角度は、オフセットが生じる方向に応じて測定値に対して加算または減算される。図２１ａおよび図２１ｂならびに方程式（２４）に示す幾何形状に対して、符号規約では、画面の観視側に面している場合に正の視野角は画面中心の右側に対応する。したがって、中心マーカが中間点の左側にある場合はオフセット角度は測定値から減算され、中心マーカが中間点の右側にある場合は測定値に加算される。なお、方程式（２５）が任意のオフセットを考慮するべく使用される場合は方程式（２４）のオフセット項が落とされる（δｒ^０ _ｉｊ＝０）。それらは同じ関数だからである。

しかし、図２１ａおよび図２１ｂの配置において、マーカ２１０１＿１から２１０１＿３は対称的に配置されているので、オフセット項は消去されて無視できるほど小さくなる。また、図２１ａおよび図２１ｂに示す好ましい配置に対しては、マーカは水平方向に（ｘ'次元上に）配置されるので、ハンドヘルド装置が回転されない限り、ｙ座標は典型的にはθ_ｘの計算に登場しない。この場合、方程式（２４）はｘ座標のみの関数まで変形される。しかし、視野角測定中に装置が回転される場合、マーカ画像座標はｘおよびｙ成分の両方を有する。この場合、方程式（２４）が使用される。なお、マーカ画像座標および分離がユーザの画面からの距離には依存するとしても、方程式（２４）はユーザの画面からの距離には依存しない。これは、式が正規化されて距離の変化が分子および分母の両方に等しく影響するからである。

３つのマーカがｘ'軸上にある図２１ａおよび図２１ｂの配置を使用すると、中心マーカ画像２が外部マーカ画像１、３の１つを遮る角度が存在することが明らかである。そして、大きな視野角のマーカ画像２はマーカ画像１または３を通り過ぎて移動し、マーカ識別それゆえ視野角のあいまいさが生じる。この問題は、ｄに対してＤを小さくすることによって扱うことができる。その結果、あいまいさは大きな視野角−システムの通常の視野から外れる視野角−で生じる。この単純なアプローチの欠点は、方程式（２４）からわかるように、Ｄを低減することによって角度分解能が低減するということである。妥協は、Ｄを十分小さく設定することによって達成され得る。その結果、遮りが通常の視野の端で生じ、分解能は最大になる。このアプローチが十分か否かは、必要な角度分解能、視野角、ディスプレイからの距離、およびマーカ分離（ｄ）のようないくつかの因子による。典型的なポインティングアプリケーションに対しては、Ｄは遮りを回避できる程度に十分小さくされても依然十分な角度分解能が得られる可能性が高い。例えば、ｄ＝１５ｃｍ、Ｄ＝５ｃｍを備えるシステムであって、利用可能な（遮られない）視野角＞５０度、全視野角４５度の４００画素センサ、および画面から３メートルの距離で０．１画素の分解能を与えるシステムは、直視近くで〜０．７度の角度分解能が視野の端近く（〜４５度）で〜１度まで低下する。これは、〜３．７ｃｍの側方移動に対応する。この分解能は、多くのアプリケーションに対して十分である。

Ｄを増大させることによって高い分解能を所望する場合、分解能の妥協を回避する解決策は、１つ以上のマーカをｘ'−ｚ'平面から外に移動させて全視野角において遮りおよびあいまいさを防止することである。このアプローチに対する最も単純な配置は、外部マーカとは異なる高さに中心マーカ２１０１＿２（すなわち、マーカ２１０１＿１と２１０１＿３とを結ぶ直線の上または下のオフセット）を有する。この配置に対しては、上述の遮りが回避されて、マーカ画像の識別にあいまいさは存在しない−マーカ画像２は常に例えばマーカ画像１および３の上にある。そして、Ｄは、分解能を向上させるために所望されるだけまたは実用的なだけ大きくすることができる。δｒ_ｉｊが、マーカ画像の相対的位置に応じて正でも負でもよいことに留意することは重要である。具体的には、ｘ_２がｘ_１とｘ_３との間にある場合、方程式（２４）のすべてのδｒ_ｉｊは正である。しかし、ｘ_２＜ｘ_１の場合はδｒ_２１＜０であり、ｘ_２＞ｘ_３の場合はδｒ_３２＜０である。マーカがｘ'軸上に（マーカが水平方向に存在）およびｘ軸上に（装置のロールなし）配置される典型的な場合には、δｒ_ｉｊに対するｙ成分は存在せず、δｒ_ｉｊの平方根の符号のあいまいさも存在しない。マーカ２１０１＿２に対してｙ'オフセットという一般的な場合には、視野角θ_ｘのための方程式になるマーカ画像２（ｘ_２，ｙ_２）の座標表現は、オフセットを考慮するために修正される必要がある。マーカ画像２のための新たな座標は、２つの直線の交点の座標である−１つはマーカ画像１と３とを結ぶ直線であり、１つはマーカ画像２を通過して第１の直線に直交する。本質的に、オフセットが存在しない場合にはマーカ画像２の座標が存在する。具体的には、方程式（２４）の座標（ｘ_２，ｙ_２）の値は（ｘ^０ _２，ｙ^０ _２）によって置換される。ここで、

および、ｍ＝（ｙ_３−ｙ_１）／（ｘ_３−ｘ_１）は、マーカ画像１と３とを結ぶ直線の傾きであり、ロール角φ（方程式（１６）参照）に関連する。

ハンドヘルド装置が視野角測定中は回転されないとう典型的な状態においては、ｍ＝０であり、（ｘ^０ _２，ｙ^０ _２）は、オフセットなしでマーカ画像２の座標に対する予測結果（ｘ_２，（ｙ_１＋ｙ_３）／２）まで変形される。

オフセット配置の主要な目的は、任意の視野角に対して高い分解能を可能にすることにある。ここで、マーカ画像２はマーカ画像１または３の外に移動する。この状態は、装置がロールされる場合のマーカ識別における潜在的あいまいさを表す。というのは、マーカ画像２のｙ座標は、マーカ画像１および３のそれよりも大きいかまたは小さく、マーカ画像２のｙ座標は、他のマーカ画像と区別されるために使用されるだけだからである。この状態は、大きな視野角（マーカがマーカ画像１または３の外部にある）と大きなロール角とが同時に生じる場合に起こるので、通常の使用下で問題となる可能性はない。この状態が生じるかもしれない視野角およびロール角の所定値は、詳細な配置に依存する。この潜在的な問題に対する１つの解決策は、マーカ画像のそのｙ位置以外の所定の特性を使用してそれを他と区別することである。例えば、マーカ２１０１＿２は変調される（繰り返し電源がオンオフされる）かもしれず、またはマーカ２１０１＿１および２１０１＿３とは異なる一定電源レベルに設定されるかもしれない。このようにして、マーカ画像２の識別が任意の視野角およびロール角のために決定される。

回転されたセンサの場合に、（ｘ^０ _２，ｙ^０ _２）を決定する方程式（２６）の使用は、２マーカ配置で説明した装置の回転またはロール角を決定することで代用される。これは、マーカ画像１および３を使用してφ（傾きｍに関連する）を得て、その後方程式（１８）および（１９）に記載の座標変換を行うことでなされ得る。このようにして、（ｘ^０ _２，ｙ^０ _２）に対するより単純な（ｍ＝０）表現を、θｘを決定するために使用することができる。

ｙ'次元の視野角はまた、「平面外」配置を使用して追跡することができる。幾何形状は図２１ｂに示す。ユーザが垂直方向に（ｙ'次元内で）移動すると、中心マーカ画像は外部マーカ画像に対してセンサのｙ次元で変位する。この変位は、適切に正規化されてθｙを決定するために使用される。

ｙ次元の視野角（θ_ｘ≒０と仮定）に対する単純化された方程式は以下のようになる。

ここで、δｙは、中心マーカ画像（２）のｙ座標の、直視（θ_ｙ＝０）におけるそのｙ座標からの変位である。一般に、変位はｘおよびｙ座標両方を有し、その結果δｙ＝（（ｘ_２−ｘ^０ _２）^２＋（ｙ_２−ｙ^０ _２）^２）^１／^２となる。ここで、（ｘ_２，ｙ_２）は中心マーカ画像２のセンサ座標であり、（ｘ^０ _２，ｙ^０ _２）は、外部点（１および３）を結ぶ直線と、マーカ画像２を通過するこの直線に対する法線との交点に対応するマーカ画像２の座標である（方程式（２６）参照）。

マーカがｘ軸およびｘ'軸両者上に配向する通常の条件下では、変位に対する表現はδｙ＝ｙ_２−（ｙ_１＋ｙ_３）／２に単純化される。センサが回転されるかまたはマーカが水平方向に配置されない場合には、方程式（２６）に連動してさらに一般化された変位の表現が使用できる。符号規約では、正の視野角は、ユーザの直視に対する垂直方向の移動に対応する。中心マーカ２１０１＿２が外部マーカ２１０１＿１，２１０１＿３とは異なる高さ（ｙ'）にある場合、ｙ'オフセットを考慮するための角度オフセットを方程式（２７）に付加することができる。この角度オフセットθ_ｙ０は幾何形状から容易に決定される。

ここで、δｙ'_０は、外部マーカ２１０１＿２，２１０１＿３のｙ'座標に対する中心マーカ２１０１＿２のｙ'における実際のオフセットである。ひとたび方程式（２７）からθ_ｙの値が決定されると、オフセット角は、マーカオフセットの方向に応じて、測定値に対して加算または減算される。方程式（２７）に対して記載された規約を使用すると、オフセット角は、中心マーカ２１０１＿２が外部マーカ２１０１＿１，２１０１＿３よりも上の場合には加算され、中心マーカ２１０１＿２が外部マーカよりも下の場合には減算される必要がある。

角度分解能は、垂直（θ_ｙ）軸に対しても、同じ条件下では上述の水平軸に対する場合と同じであることがわかる。なお、θ_ｙに対しては、マーカの遮りまたはあいまいさは存在しない。このため、Ｄがどれくらい大きいくなり得るかについては基本的な制限が存在しない。したがって、Ｄを増加することによってθ_ｙに対して著しく高い分解能が得られるかもしれない。しかし、実際には、物理的制約からＤの上限が存在するのが典型的である。

なお、図２１ａおよび２１ｂの全幾何形状を９０度回転させることによって、３つのマーカが垂直方向に整列し（中心マーカがｚ'で変位し）、θ_ｘおよびθ_ｙの表現は逆になる。最後に、ここで説明する平面外配置に対する２つの基本仮定は、ユーザが測定中ディスプレイをまたはその近くをポイントしているということと、マーカ（少なくともマーカ２１０１＿１および２１０１＿３）が画面端にほぼ平行または垂直に配列されているということである。マーカがディスプレイ端に対して所定角度で整列している場合、方程式はこの角度を考慮するために修正する必要がある。さらに適した言い方をすると、θ_ｘおよびθ_ｙの測定は実際にはマーカ軸を基準とするので、マーカ軸が画面軸と一致しない場合、２つのセットの軸間の角度オフセットが考慮されなければならず、方程式が複雑になる。このため、自然かつ好ましい配置は、図２１ａおよび図２１ｂにおけるように画面に対して整列したマーカを有する。

上述のように、前記方程式および説明は、ユーザがθ_ｘ＝０またはθ_ｙ＝０の平面内に存在する状態に関連する（図２１ａおよび図２１ｂ）。ユーザがこれらの平面から外に移動すると、これらの方程式を使用する位置追跡上の誤差が大きくなる。角度における小さな偏差に対しては、角度の誤差は許容可能に小さい。例えば、ユーザがｙ'方向に＋／−１０°移動すると、方程式（２４）を使用することによって導入される誤差は、ｘ'方向の２０°−４５°範囲の視野角に対して２°−３°となり得る。一般に、視野角は、特別な場合の解決法を使用すると過小評価される。この誤差量は多くのアプリケーションに対して許容可能であるが、ユーザが意図された平面からさらに外れて移動すると誤差は急速に大きくなり得る。任意のユーザ位置の一般的な場合、θ_ｘ＝０またはθ_ｙ＝０の条件は有効ではなく、θ_ｘおよびθ_ｙの両方を含む基礎方程式を使用することができる。任意位置の一般的な場合、マーカ２は、マーカ１および３を結ぶ直線に対して平行および垂直の両方に変位する。この状態に対応する図は本質的には図２１ａと図２１ｂとの組み合わせである。測定されたマーカ画像分離Ｒ_ｉｊおよびＬ，θ_ｘおよびθ_ｙに関連する基礎方程式は、遠視野近似を用いると以下のようになる。

ここで、Ｒ_ｉｊ＝δｒ_ｉｊ／δｒ^０ _ｉｊは、それらの較正値に正規化されたマーカ画像分離であり、Ｌ０は較正が行われる画面からの既知の距離であり、αはマーカの配置から決定される幾何定数である。

角度αは本質的には、マーカ配置の上部から見られるマーカ１および３ならびに１（または３）および２を結ぶ直線によって張られる角度である。遠視野条件に加えて、３つの付加的な仮定が方程式（２９）−（３０）で使用される。これらの方程式は、図２１（好ましい配置）に示すように、マーカが対称的に配置されていること（マーカ２はｘ'軸上のマーカ１と２との中間にある）と、マーカ２がマーカ１および３と直線上にある（前から見ると）こととを仮定する。これらの条件を緩和することが可能である一方、対応する基礎方程式はより多くの定数が付加されて著しく複雑になる。さらに、非対称的にまたは垂直に変位したマーカを含む配置は、θ_ｘ＝０およびθ_ｙ＝０解決策に対して上述した方法と類似する方法を使用してより単純に扱うことができる。まとめると、方程式（２５）および（２８）にあるようなオフセット角度は、初期的にまたは較正手順中にのいずれかで決定することができる。そして、任意のユーザ位置に対して以下に与えられる方程式により計算される視野角に加算または減算される。しかし、好ましい配置では、オフセットは無視できるほど小さいかまたはゼロであり、以下に与えられる解決策を直接使用することができる。さらに、方程式（２９）−（３０）は、マーカ１および３がｘ'軸上に整列していることを仮定する。これは好ましい配置である。ｙ'上に整列するマーカ１および３に対しては、本質的にθ_ｘおよびθ_ｙが入れ替えられた、対応するセットの方程式が使用される。マーカが任意の軸上に整列した他の配置も可能であり、関連する基礎方程式も導くことができるが、より複雑で付加的因子を含む。

方程式（２９）は３つの独立した方程式のセットと、Ｌ、θ_ｘおよびθ_ｙに対して解くことができる３つの未知値からなる。

解は以下のようになる。

ここで、

およびｋ＝２ｓｉｎαｃｏｓαである。これらの方程式からわかるように、θ_ｘは、直接測定された量およびシステム定数から決定される。ひとたび方程式（３１）からθ_ｘが決定されると、方程式（３２）がθ_ｙを決定するために使用される。そして、方程式（３３）がＬを決定するために使用される。方程式（３１）−（３４）のセットにより、マーカがセンサによって検知可能であれば、任意点のいずれに対してもユーザ位置が決定される。しかし、いくつかの特別な場合が存在し、以下のように扱われる。

方程式（３１）の正接関数の反復性ゆえに、｜θ_ｘ｜＞４５°に対しては、θ_ｘの大きさおよび符号両者にはあいまいになる可能性がある。これらのあいまいさは、方程式（３１）による結果とΔの符号とを比較することによって解決される。正しいθ_ｘの符号は、Δの符号から直接決定される。したがって、方程式（３１）から計算されたθ_ｘの符号がΔの符号と異なる場合には、正しいθ_ｘを決定するために、９０°がθ_ｘの計算値に対して加算または減算される必要がある。例えば、方程式（３１）から計算されたθ_ｘの値が−４０°であるがΔ＞０（θ_ｘ＞０を示唆）の場合は、９０°が計算値に加算されて補正された５０°のθ_ｘが得られる。この状態は、大きな視野角に対してのみ生じるので実際にはまれである。しかし、θ_ｘを決定するアルゴリズムにこのステップを含めるのは単純なことである。また、θ_ｙの符号は方程式（３２）から直接的に決定されるわけではない。

この場合、マーカ＃２の相対的位置が使用されてθ_ｙの符号が決定される。方程式（２７）で使用されるのと同様の方法で、θ_ｙの符号を決定するために、ひとたび方程式（３２）からその大きさが計算されればδｙの符号も使用できる。

θ_ｙ＝０の特別な場合において、方程式（３１）が（オフセット項のない）方程式（２４）と同等の表現にまで変形できることを（三角関数および代数の識別を使用して）示すことができる。同様に、θ_ｘ＝０の場合、方程式（３１）および（３２）は以下にまで変形される。

これはまた、方程式（２７）と同等であることを示すことができる。最終的には、ユーザが本質的に画面の平面（ｚ'＝０）内に存在するθ_ｘ＝＋／−９０°の特別な場合において、方程式（３２）が分解されて使用することができない。実際には、この状態はほぼ生じることはない。というのは、それは画面およびマーカの視野を越えているからである。しかし、位置情報が必要である一方でユーザが画面平面にまたはその近くに存在する（およびマーカが検知可能である）という起こりそうにない事象において、θ_ｙに対する別個の表現が基礎方程式（２９）−（３０）から容易に導くことができる。

ここで説明した３マーカの平面外配置は、装置に対して関連するＤＯＦｓのすべて−画面上のポインティング位置、画面からの距離、ロール角、および画面に対する視野角−を決定することができる。これらのパラメータの組み合わせによって、ハンドヘルド装置の位置および配向が完全に定義される。これらのパラメータを決定するための一般的手順は本質的に、前のセクションで説明したそれらの統合である。装置のポインティング方向（具体的には装置のポインティングベクトルと画面との交点）は、セクション４．１で説明された手順を使用して決定される。最初で述べたように、複数のマーカの場合、それらのいずれか１つはディスプレイカーソル基準として使用することができる。しかし、３マーカ配置においては、マーカ２１０１＿２は典型的には中心に位置決めされ、ディスプレイの中心に配置されるので、これをカーソル基準点として使用するのは自然である。または、３つの基準マーカの中心または平均位置を（２マーカ配置と同様に）使用してもよい。なお、ユーザの視野角が変化すると平面外の幾何形状に起因して基準位置にわずかなオフセットが存在するが、このオフセットは極めて小さいのが典型的であり、典型的なポインティングアプリケーションで認識される可能性は低い。必要に応じて、小さい視野角依存補正因子を使用してポインティングのなんらかのオフセットを低減してもよい。そして、視野角は、このセクションで説明された手順を使用して決定される。

ロール角の決定は、２マーカ配置のためのセクション４．２で説明した手順の後に行われる。典型的には、マーカ２１０１＿１および２１０１＿３はφを決定するための２つの基準マーカとして使用されるが、任意のペアのマーカを、その位置が既知かつ固定であれば使用することができる。セクション４．２で説明したように、マーカがｘ'軸またはｘ軸上で整列していない場合には、見かけ上のロール角は視野角に依存し得る。セクション４．２で説明したように、この状態は、ひとたび視野角が変化すればφ＝０の条件下でハンドヘルド装置を再較正することによって回避することができる。方程式（１５）のΔｘ^０およびΔｙ^０がθ_ｘおよびθ_ｙに既知の依存関係を有することを考慮すれば、ロールから視野角の影響を自動的に較正または除去することもできる。したがって、θ_ｘおよびθ_ｙは、ロール角から独立して測定することができるので（マーカ分離の大きさのみが使用されてその配向は使用されないので）、それらの影響をロール測定から除去することができる。ロール角はマーカ画像のｘ座標およびｙ座標に依存し、その分離のみに依存するわけではないので、ｘおよびｙに対する視野角の影響を決定する必要がある。これは、Δｙ^０＝０（θ_ｘ＝θ_ｙ＝φ＝０という較正条件下においてｘ軸上で水平方向に整列したマーカ画像）を仮定する方程式（２９）を使用して行うことができる。具体的には、典型的な遠視野条件下では、測定されたΔｘ^０はｃｏｓ（θ_ｘ）のように変化し、Δｙ^０はｓｉｎ（θ_ｘ）ｓｉｎ（θ_ｙ）のように変化する。したがって、ロールの方程式に現れるΔｘ^０およびΔｙ^０の値であれば、それらをΔｘ^０ｃｏｓ（θ_ｘ）およびΔｘ^０ｓｉｎ（θ_ｘ）ｓｉｎ（θ_ｙ）で各々視野角を考慮するべく置換することによって修正される。遠視野近似が有効ではない、または、高い精度が所望される場合は、方程式（１０）に類似するより正確な表現が必要となるだろう。なお、方程式（２６）の公式化を使用してロールを視野角と同時に決定することもできる。その方程式のｍはロール角に関連し、本質的に方程式（１６）と同等だからである。しかし、これは、水平方向に整列したマーカの場合にのみ当てはまる。任意に整列したマーカに対しては、ｍに対する表現は、それに応じて修正する必要があるだろう（方程式（１５）参照）。

距離測定は視野角に敏感に依存する（しかし、視野角測定は、適切に行えば距離には依存しない）ので、距離は視野角が測定された後に決定する必要がある。また、ロール角測定は視野角に依存し得るので、視野角はロール角に先立って決定する必要がある。しかし、距離およびロール角は本質的に互いに独立なので、それらはいずれの順番で決定されてよい。直視に対しては２マーカ配置（方程式（１２）および（１３））で使用されるのと同じ表現を使用して、または、一般的な場合に対しては方程式（３３）を使用して、距離を決定してよい。この場合も、任意のペアのマーカが使用されるが、好ましい方法では、距離Ｌを決定するためにマーカ２１０１＿１および２１０１＿３を使用するのが典型的である。

４．４ ４マーカ実施例

セクション４．３で説明したように、３マーカ実施例は、関連するＤＯＦｓのすべてを検知することができるので、装置ポインティングおよび位置追跡の両者を必要とする、すべてではないにしてもほとんどのアプリケーションに対して十分である。しかし、３マーカ実施例の好ましい（平面外の）配置が不可能な、非現実的な、または望ましくない状態も存在し得る。例えば、好ましい３マーカ幾何形状の主要な欠点は、マーカの１つが他の２つに対して後方または前方に設置される必要があるということであり、視野角測定の分解能はこのオフセットを低減することによって高められる。これにより、マーカの１つが、空間的制限ゆえに不可能になりかねない不都合に大きな距離によってオフセットされる配置が生じ得る。

セクション４．３で説明した大きな視野角での遮り効果の可能性もまた、短所となり得る。遮るマーカを垂直に変位することによってこの問題を扱うことができる一方で、複雑性が若干増してマーカアセンブリのための空間をわずかに増やす必要がある。また、マーカがディスプレイ画面の上部（または場合によっては下部）に配置されて画面平面からわずかに後方に設置される典型的な配置では、十分大きな角度に対し、垂直視野角の１つは部分的にまたは完全にあいまいとなる。この潜在的な問題に対する解決策は、マーカを画面平面を越えて拡張することであろうが、これは不都合または非実用的となり得る。したがって、多くの状態においてこれらの潜在的な欠点のいずれも顕著でなく、かつ、好ましい３マーカ実施例がほとんどの場合十分に機能する一方で、「平面内」幾何形状が必要または所望される状態もあり得る。こうした場合には、所定の４マーカ配置は、３マーカ実施例のいくつかまたはすべての欠点を回避する単純な幾何形状を使用して、必要なＤＯＦ感度を与えることができる。結局、４マーカ実施例は、いくつかの状態においていくつかの付加的な利点を有し得る。

上述の１マーカ、２マーカ、および３マーカ実施例は、ポインティング、ロール角、および多くの場合は画面距離を追跡することができるので、４マーカ実施例の説明に対する主要な焦点を、視野角の大きさおよび符号の測定に当てる。しかし、測定されるマーカ画像の座標は、距離および視野角両者の関数であり、両者は解析的に決定される。他のＤＯＦｓは、一般に、前述のアプローチに対する直接的なバリエーションである。可能な４マーカ幾何形状のバラエティが存在するが（図５ｅ参照）、このセクションでは、図５ｅ（ｉｉ）および図２２に示す好ましい配置に焦点を当てる。この幾何形状において、好ましい基準マーカは、画面の４角の各々にまたはその近くに配置される。マーカがともに近く画面の一方の側にある（好ましい２マーカおよび３マーカ実施例にあるような）同等な矩形配置を使用することもできるが、好ましい４角配置にはいくつかの技術的および実用的利点が存在する。これらを以下に説明する。

４マーカ配置の主要な利点は、ｘおよびｙ両者における距離および視野角測定の分離、ならびに角度符号の決定（例えば画面の左または右）が可能になることである。これらの変数は、固有的に結合され、セクション４．２で説明した基本的な２マーカ実施例におけるマーカ画像座標単独に基づいて分離できないことを想起されたい。他の実施例におけるように、基本測定は、４つのマーカ画像座標と、それらからの、その分離の決定とを含む。

様々な画像分離が使用されて距離および視野角が計算される。４マーカ配置に対しては、操作の２つの基本モードおよびレジームが存在する。ここでは、一方は「遠視野」と称し、他方は「近視野」と称する。２つのレジームに対する解は相補的であり、画像分離の異なる測定に依存する。遠視野は、ユーザの各マーカまでの距離がほぼ同じであり、等しいとみなされる領域として定義される。これは、マーカ分離がユーザの画面までの距離よりもはるかに小さい場合か、または、ユーザが小さな視野角で（すなわち画面中心近くに）位置決めされている場合に生じる。数学的には、遠視野は以下の条件が当てはまる場合として定義することができる。

なお、この条件は方程式（１０）のかっこ内の最終項に関連し、それが無視できる方程式（１１）に至る条件が遠視野に対応する。方程式（３６）がどれほど小さくあるべきかは、許容してもよい距離または角度の誤差による。距離または角度のいずれかにおいて１％誤差までは許容できると仮定すると、具体的な遠視野条件を見積もることができる。遠視野に対して「最悪の場合」を見積もるために、＋／−４５度の大きな視野角が仮定される。この場合、ユーザは画面からＬ〜３．５ｄもの近さにあり、視野角測定において１％以下の誤差を維持できる。

ほとんどの場合において、視野角はそれよりも小さく、遠視野条件はさらに小さい距離においても満たされる。例えば、＋／−１２度の典型的な視野角に対しては、上記定義のように、Ｌ〜ｄから始まり、ユーザは画面までマーカ分離ほど近くてもよく、それでも遠視野内にある。そして、好ましい４マーカ実施例においてはマーカ分離ｄが画面寸法に近いので、ユーザは約１画面幅離れても遠視野内に残ることができる。セクション４．１で説明したように、遠視野の意義は、距離および視野角の計算において有用な近似が可能になることにある。これらの遠視野近似は解析を著しく単純化し、ＤＯＦｓに対する閉形式解を可能にする。さらに、遠視野の距離はマーカ分離に比例し、２および３マーカ実施例に対してはｄははるかに小さいのが典型的なので、これらの実施例は、通常の操作においてほぼ常に遠視野条件を満たす。したがって、前述のセクションで使用された解析はすべて遠視野条件を仮定していた。

対照的に、近視野のレジームは、方程式（３６）の遠視野条件が無効な領域に、または、同等に、ユーザから各マーカまでの距離が等しいと仮定できない場合に存在する。このレジームにおいては、遠視野の誤差解決策は、許容可能制限を越えるかもしれず、各マーカまでの距離のバリエーションに依存する近視野解決策が使用される。ユーザがマーカから遠くへ移動すると、近視野解決策が敏感ではなくなり、遠視野解決策を使用することができる。ほとんどの状態では、距離および視野角の決定に対して遠視野解決策が適切となる。しかし、遠視野解決策に固有なのは、視野角の符号には鈍感ということである。近視野解決策（これはいくつかの仮定においては本質的に正確である）は、視野角変化に対してかなり鈍感であるが、角度の符号に対しては敏感である。したがって、多くの場合、より敏感な遠視野解決策が使用されて視野角の大きさが決定され、近視野解決策が使用されて角度の符号すなわち方向が決定される。

４マーカ実施例の基本的幾何形状を図２２に示す。従来の球座標が使用されて、視野角θ_ｘおよびθ_ｙ、およびマーカ原点までの距離Ｌが規定される。

原点は、マーカの中心点としてとられる。これは典型的には、画面中心であり、原点までの距離が測定される。図２２を参照すると、主要な測定可能量は、センサ上のマーカ画像の様々な分離δｒ_ｉｊ＝（（ｘ_ｉ−ｘ_ｊ）^２＋（ｙ_ｉ−ｙ_ｊ）^２）^１／^２である。ここで、ｉ，ｊ＝１，２，３，４は各マーカに対応する。各画像分離は、対応する較正値δｒ^０ _ｉｊを有する。これは、所定の既知の位置で決定される。好ましい実施例に対しては、この位置は、画面（またはマーカ）からの既知の距離Ｌ_０および画面中心（θ_ｘ＝θ_ｙ＝０）においてとられる。以下の解析に対しては、画像分離はそれらの較正値に対して正規化され、公式がこれら正規化量Ｒ_ｉｊ＝δｒ_ｉｊ／δｒ^０ _ｉｊによって表現される。遠視野アプローチと近視野アプローチとの基本的な違いは、遠視野が隣接辺（例えばＲ_２１およびＲ_３１）の組み合わせと対角線（Ｒ_４１およびＲ_３２）とを使用するのに対し、近視野が対向辺（例えばＲ_３１およびＲ_４２）の組み合わせを使用して距離および視野角を決定することにある。遠視野近似を使用すると、測定マーカ画像の分離Ｒ_ｉｊおよびＬ、θ_ｘおよびθ_ｙに関する基礎方程式は以下のようになる。

ここで、αは、マーカ１と２とを結ぶ水平線と、マーカ１と４との対角線とで形成される角度によって決定される幾何定数である（図２２参照）。マーカの矩形配置に対しては、幾何角度は以下のように定義される。

ここで、ｄ_ｘおよびｄ_ｙは、ｘ'およびｙ'方向各々の実際のマーカ分離である。マーカが画面の角に配置されると、典型的なマーカ配置は、正方形（α＝４５°）、４:３のアスペクト比（α＝３６．９°）、および１６:９のアスペクト比（α＝２９．４°）となる。なお、２つの対向辺に対する公式は方程式（３７）と同じであり、Ｌ，θ_ｘ，およびθ_ｙの値は各表現において同じである。これは、配置が矩形であるということと、すべてのマーカに対する距離および角度が本質的に同じ（すなわち遠視野近似）であるということとに起因する。一般に、遠視野でさえ、各側辺までの距離は異なり（ユーザが正確に画面中心にいない限り）、Ｌは画面／マーカの中心にあるようにとられるので、すべての側辺が計算で使用されれば測定の精度を向上させることができる。したがって、対向辺の組み合わせが単なる１つの側辺の代わりに使用される。最も単純な組み合わせは２つの側辺の平均である。したがって、Ｒ_ｘ＝（Ｒ_２１＋Ｒ_４３）／２およびＲ_ｙ＝（Ｒ_３１＋Ｒ_４２）／２が、方程式（３７）の最初の２つの表現を各々置換することができる。また、より高い精度が必要な場合はより洗練された組み合わせを使用してもよいが、ほとんどの場合は単純平均が非常に良好な近似を与える。２つの対角方程式は、１つの表現に結合することができる。

ここで、ｋ＝４ｓｉｎαｃｏｓαはシステム定数である。方程式（３７）における隣接辺（Ｒ_２１およびＲ_３１）に対する公式に連動する方程式（３９）は、３つの方程式のセット、および、今やＬ，θ_ｘ，θ_ｙについて解くことができる３つの未知値を形成する。結果的な公式は以下のようになる。

測定量Ｒ_ｘ，Ｒ_ｙ，およびΔが方程式（４０）で使用されてＬが決定され、次に、Ｌが使用されて方程式（４１）および（４２）を各々に使用してθ_ｘおよびθ_ｙが決定される。Ｌ_０は、マーカ／画面中心からの既知の距離に対応する。ここで、較正マーカ座標が決定され、基準座標として格納され、その後位置およびポインティング計算のために使用される。方程式（３７）−（４２）はまた、較正がθ_ｘ＝θ_ｙ＝０（画面の直接前面）で行われることを仮定する。視野角符号（方程式（３９））を示すΔは正または負であり得るが、Δ^２のみが方程式（４１）および（４２）に現れ、そのため視野角符号は解決しない。これは、遠視野条件に整合する−遠視野では、画面中心のどちら側からもマーカ配置はほぼ同じに見える。

角度の符号（左か右か、上か下か）を決定するために、対向辺間の違いを検知する必要がある。ユーザが遠視野にある場合、この違いは当然小さい。しかし、視野角の符号のみがこの側辺から要求される場合、近視野効果を使用して一方の側辺と他方の側辺とを区別することができる。したがって、ユーザが遠視野にある場合、方程式（４０）−（４２）が使用されて、距離および視野角の大きさが決定される。そして、視野角の符号を決定するために以下の条件が使用できる。Ｒ_４２−Ｒ_３１＞０に対してはθ_ｘ＞０、Ｒ_４２−Ｒ_３１＜０に対してはθ_ｘ＜０、およびＲ_２１−Ｒ_４２＜０に対してはθ_ｙ＞０。なお、それにもかかわらず、これらの不等式は、画面中心近くまたは画面から遠くの位置に対しては固有的に不明確である。すなわち、不等式がほぼ等式になる遠視野となる。これらの場合、ユーザは遠視野レジームに十分入ったところにおいては、視野角の符号があいまいになり得る。この制限は平面内の幾何形状の特徴であるのに対して、セクション４．３で説明した３マーカを使用する平面外の幾何形状は、潜在的に高い感度を与え、角度符号のあいまいさが小さくなる。

遠視野条件の要求とは別に、方程式（４０）−（４２）が無効になる１つの状態がある。θｘ＝＋／−９０°またはθｙ＝＋／−９０°。この場合、ユーザは本質的に画面の平面内（ｚ'＝０）にあり、方程式（４０）は未定義となり、距離を決定することができない。しかし、実際には、この状態は実質的に生じない。というのは、それは、システムの典型的な操作範囲の外だからである。ユーザは画面を見ることができず、マーカは一般にこの領域内のセンサによって検知することができない。したがって、この特別な場合はほとんど問題とはならない。ハンドヘルド装置の位置が所望される一方でユーザが画面平面内またはその近くにある（およびマーカが検知可能である）所定の場合があれば、その状態に当てはまる個別のセットの方程式を導くことができる。しかし、この場合は画面を見ながらポインティングする主要なアプリケーションとは関連しないので、これ以上説明しない。

本質的に正確であり、かつ、遠視野近似に依存しない、（３７）に類似する方程式のセットを構築することができる。しかし、この、方程式（１０）に類似する形態を有する結合方程式のセットは複雑であり、空間内の任意の位置を決定することは実質的に困難である。このため、方程式（３７）に至る遠視野近似を使用するのである。方程式（３７）は、遭遇する状態の多数において正確な位置決定を与えるのに十分である。しかし、ユーザが近視野にある場合、方程式（４０）−（４２）を用いての位置決定は正確ではなくなる。ユーザがマーカ／画面の近くにいて画面中心の近くではない極端な場合、すなわち方程式（３６）が無効な場合、所定領域に当てはまるユーザ位置に対する別個のセットの方程式を導くことができる。近視野レジームでは、遠視野解決策に対して使用されたのとは異なるアプローチが必要となる。各マーカまでの距離が事実上等しいとは考えられないからである。方程式そのものに対して閉形式解を得ることはできないが、所定の、潜在的によくある状態において、かなり単純な解を導くことができる。方程式（３７）を参照すると、ｘ'−ｚ'平面（θｙ≒０）上またはその近くのユーザの位置が制限されて、マーカによって形成される矩形の各側辺までの正確な距離が含まれる場合、側辺の２つに対して以下の単純化された方程式が得られる。

ここで、Ｌ_ｉｊは、ユーザからマーカｉとｊとを結ぶ直線の中心までの距離であり、Ｌ^０ _ｉｊは、較正中の対応する距離である。同様に、ユーザの位置がｙ'−ｚ'平面（θ_ｘ≒０）に制限される場合は以下のようになる。

方程式（４３）と（３７）との２つの重要な違いは、θ_ｘ≒０またはθ_ｙ≒０の仮定の下で消去される三角関数項が存在しないことと、ユーザのマーカまでの距離が同じという近似とは対照的に、測定される画像分離（Ｒ_ｉｊ）のユーザまでの実際の距離（Ｌ_ｉｊ）への依存が含まれていることである。これらの条件下では、視野角への依存は距離因子Ｌ_ｉｊに含まれる。Ｌ_ｉｊを距離および視野角に関連付ける標準の三角関数のテクニックを使用すれば、θ_ｙ≒０に対して以下の表現が得られる。

ここで、

および

ここで、

なお、Ｌ^０ _ｉｊは（ｉ，ｊ）＝（３，１）および（４，２）に対して当然等しいので、いずれの値も方程式（４５）および（４７）で使用することができる。同様の方程式のセットがθ_ｘ≒０に対して以下のように導かれる。

これらの方程式のセットと、遠視野に対応するそれ（方程式（３９）−（４２））との重要な違いは、マーカ矩形の対向辺が隣接辺に対してここでは使用されることと、Δ_ｘおよびΔ_ｙは正または負なので、視野角の符号が方程式（４７）および（５１）で決定されることである。したがって、近視野方程式を使用して、視野角の大きさおよび符号を決定することができる。残念ながら、これらの閉形式解は、ユーザがｙ'＝０平面またはｘ'＝０平面のいずれかにある場合にのみ厳密に有効となる。ユーザの位置がこれらの平面に近い場合も、ユーザがこれらの平面から離れるにつれて大きくなる小誤差を伴うが依然としてそれらを使用することができる。さらに、最初に述べたように、近視野解法の感度は、ユーザがマーカから離れるにつれて低減する。

したがって、実際には、ほとんどのユーザ位置が遠視野内に十分入るので、遠視野方程式を一般的に使用して、高い感度でユーザの距離および視野角の大きさを決定することができる。視野角の符号を決定するために、遠視野に対して最初に述べた条件を使用することができる（Ｒ_ｉｊの大きさを比較して）。または、Δ_ｘおよびΔ_ｙの符号を使用することもできる。ユーザが近視野にあり、かつ、ｙ'＝０平面またはｘ'＝０平面の近くにいることが既知である（例えば、動きがこれらの平面のいずれかに制限されている）特別な場合には、近視野方程式（方程式（４５）−（５２））を使用することができる。また、これらの方程式は正確なので、ユーザがｙ'＝０平面またはｘ'＝０平面の近くにいることが既知である場合は、遠視野においてであっても近視野方程式を使用することができる。しかし、遠視野方程式は、視野角変化に対して一般にはるかに大きな感度を有するので、好ましい方法は、適用可能な場合はいつでも遠視野方程式を使用する。

セクション４．２で説明したように、ポインティングおよび追跡は、１つ以上のマーカを使用して行うことができる。好ましい実施例は、セクション４．２で説明したように、方程式（２０）を使用して、マーカ画像に対する「平均」座標を決定し、この座標の変化を追跡する。追跡する必要がある残りのＤＯＦはロールである。２マーカ実施例に対する方程式（１５）−（１７）でとられるアプローチのバリエーションを、４マーカ実施例に対しても使用することができる。原則的には、任意の２つのマーカを、それらの初期座標が既知である限りにおいて、ロールの動きに対する基準として使用することができる。４マーカ実施例に対するロール検知および回転補償両者の手順は、前のセクションで説明した２または３マーカ実施例に対するそれと本質的に同じである。

複数のマーカを含む実施例のいずれに対しても潜在的な問題は、各マーカ、すなわちマーカ＃１、＃２等の正しい識別である。極めて多数の状態（ユーザ位置、ポインティング方向、およびロール角）に対しては、マーカの識別は明確である。例えば、４マーカ実施例では、マーカ画像＃１はほぼ常に、画像センサ上の４マーカ配置の左角の上方にあり、その他のマーカは図２２に示すマーカ＃１に対する画像位置を有する。マーカ識別の曖昧さが存在する主要な状態は、装置が大きな量回転されて、マーカ配置が正方形（α＝４５°）の場合である。これらの場合において、マーカ＃１は、位置および配向の誤差を導き得る例えばマーカ＃２に通常占められる位置にあってよいが、ポインティング精度は、マーカの誤識別のいずれによっても著しい影響を受けるべきではない。

マーカ識別が問題となり得る場合には、関連する測定の問題のいずれかを扱うためのいくつかの方法が存在する。１つの方法は、ハンドヘルド装置が既知のロール角で初期較正されるように要求することである。そして、その後の動きがその初期配向に対して追跡される。このように、各マーカの識別は初期較正後は常に既知である。よりロバストな方法は、物理的区別を使用してマーカの少なくとも１つを一意的に特定することである。例えば、４マーカ実施例のマーカ＃１、または３マーカ実施例の中央のマーカを一時的に変調してよい（例えば、繰り返してオンおよびオフに切り替える）。そして、追跡アルゴリズムをプログラムして変調されたマーカを、例えば＃１として特定してよい。その他のマーカは、＃１に対してその相対的位置を維持する。このアプローチの長所は、マーカの識別を確立するために較正が要求されないということである。短所は、より複雑なマーカのセットアップが要求されることである。

５．０ 電子機器実施例

長々と上述してきたが、絶対ポインティングは、ハンドヘルド装置から送信された信号が処理され、かつ、それに応じて所定の影響が、ディスプレイ上に現れるように与えられる、および／または、電子機器によってトリガされる作動システムを含む。かかる電子機器の例は、以下のタイプの回路、すなわちａ）テレビジョンのリモートコントロールから受信した信号を処理するために使用されるテレビジョン内の回路のような標準テレビジョン回路、ｂ）衛星ＴＶ受信機回路、ｃ）ケーブルＴＶ受信機回路、ｄ）ＶＣＲ回路、ｅ）ＤＶＤプレーヤ回路、ｆ）コンピュータの回路、ｇ）音楽プレーヤの回路（例えばＣＤプレーヤ回路、ステレオ受信機回路等）、ｈ）ゲーム回路、ｉ）ＩＰＴＶ受信機および／またはテレビジョン回路、ｊ）上記ａ）からｉ）に挙げられたような１つ以上の電子機器物品からの信号を受信する「受信機」のための受信回路、ｋ）ホームおよび／またはオフィス自動化機器（例えば、家事用スイッチを「オン」および「オフ」に切り替えるための回路を含む機器）、を含む電子機器を含む。

これらのタイプの回路の各々は典型的には、１）該当する所定タイプの機器のためのユーザインターフェイス（例えば、テレビジョン、ＴＶ受信機、ＤＶＤプレーヤ、ＶＣＲプレーヤ等の場合にはメニュー駆動ユーザインターフェイス、または、コンピュータの場合にはウィンドウズ（登録商標）系インターフェイス）を実装する、および／または、２）（ユーザインターフェイスに関連付けられた）カーソルもしくはアイコン、または、所定メニューオプションがハイライトされるメニュー系ユーザインターフェイスのためのハイライトメカニズムを実装するプログラムコードを実行する所定種類のプロセッサまたはコントローラを含む。

これらのプロセッサ上で、絶対ポインティングを実装するためのプログラムコード（例えば、マーカ画像位置を被ポイント表示位置に変換する数学的計算および／またはマーカ画像位置の識別の実行、ならびに直前のパラグラフで上述したプログラムコード）を実行することが見込まれている。図２３ａから図２３ｅは、上述で概略されたような様々なタイプの電子機器のためのこれらのプロセッサを含む異なるアーキテクチャを示す。もちろん、他のタイプのアーキテクチャも可能である。簡便のため、図２３ａから図２３ｅのいずれも、プログラムコードを格納するために典型的に使用される不揮発性メモリ装置（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ等のようなリードオンリーメモリ）を示していない。なお、図２３ａから図２３ｅのアーキテクチャはそれらを含むと仮定される。

図２３ａは、パーソナルコンピュータ（ＰＣ）システムによく見られるアーキテクチャを示す。図２３ａのアーキテクチャによれば、メモリコントローラ２３０２は、プロセッサ２３０７＿１（シングルコアまたはマルチコア）、グラフィックスコントローラ２３０４およびＩ／Ｏ制御ハブ２３０５によるメモリ２３０３＿１へのアクセス要求を制御する。メモリ２３０３＿１は典型的には、プロセッサ２３０７＿１によって実行可能な命令およびこれらの命令が動作するデータを含む。ディスプレイには、グラフィックスコントローラ２３０４によって用意されたコンテンツ情報が与えられてよい。または、ディスプレイがプロセスチェーンのさらに下流にある場合は、ディスプレイ上にコンテンツをレンダリングするための上方が、（Ｉ／Ｏ２３０１＿１のような）入力／出力（Ｉ／Ｏ）を介してコンピュータシステムから送信されてよい。Ｉ／Ｏは、プロセッサ２３０７＿１によって処理されてプロセッサ２３０７＿１が関連するシステムによって送信および／または受信される情報が通る任意の種類のチャネルである。例えば、ハンドヘルド装置によって送信される情報は、Ｉ／Ｏ（例えば、これはワイヤレストランシーバ回路を含む）を介して到着する。

図２３ｂは、プロセッサ２３０７＿２がメモリ２３０３＿２に直結され、プロセッサ２３０７＿２がそれ自体のＩ／Ｏ２３０３＿２を受ける／供給するアーキテクチャを示す。図２３ｃは、Ｉ／Ｏ ２３０６＿３に対してバスが使用される点を除いて図２３ｂに類似するアーキテクチャを示す。図２３ｄは、メモリ２３０３＿４がＩ／Ｏ２３０６＿４と同じバスを共有するアーキテクチャを示す。図２３ｅは、メモリ２３０３＿５が、Ｉ／Ｏ２３０６＿５とは異なるバスを介してアクセスされるアーキテクチャを示す。

６．０ 多ユーザ実施例

他のアプリケーションは、具体的にはカーソル／メニュー選択制御が１人以上のユーザで共有されるかまたは複数のアクティブなカーソルを有することが所望される状態において、複数のユーザを同時に（すなわちパラレルに）または、ある場合には連続して（すなわちシリアルに）サポートする能力を含む。１つの共有カーソルまたは１つの共有メニューの場合には、各々リモートポインティング装置を有する個別のユーザが、画面カーソルの制御（それゆえ機能コマンドも）を所有し、および／または、所定のプロトコルを使用してメニュー選択を行う。共有プロトコルを確立するために使用される様々な方法がある。

１つのアプローチは、「集中化」することである。ここで、リモート装置の１つが、カーソルの制御を、制御ユニットへ所定のコマンドを送信することによって他のユーザのいずれかに手放すマスタコントローラとして指定される。他のアプローチにおいては、カーソルの制御はトークンパッシング方式のように「分散化」される（例えば、ハンドヘルド装置によってトークンがまわされて、トークンを持つ装置がカーソルを制御するとされる場合）。集中化方式または分散化方式のいずれにおいても、制御の優先権はアクティビティレベルを考慮するルールのセット（例えば、非アクティブリモートコントロールが優先権を失うかまたはアクティブコントロールが優先権を得るか）、所定のシーケンス（優先権がユーザのグループ間でまわされる）、または、所定の制御階層（例えば、ユーザ＃１がコントロールを有している間アクティブ、ユーザ＃２がコントロールを有している間アクティブかつ＃１は非アクティブ等）に基づいて決定される。本明細書の要旨が包含する他の多くの共有プロトコルが、当業者によって容易に実装できる。

複数の同時にアクティブなカーソルおよび／またはメニュー選択を有する複数のユーザ（例えば、各ユーザに対して１つのカーソル）は、複数ユーザ環境のより高度な形態を表す。この場合、制御ユニットは、各装置の座標データに基づいてユーザのポインティング装置の各々に対応する画面カーソルを表示かつ移動する。ユーザの動作の各々を区別する補助として異なるカーソルアイコン（例えば色、形等）を使用してよい。複数のカーソルが同時に表示および制御されても、機能コマンドの優先権は、少なくとも、複数のカーソルによっておよび／または一度に１つのコマンドしか実行できないシステムにおいて１つの表示フィーチャがポイントされる状態のために決定する必要がある。優先権決定の最も単純な形態は、最初にコマンドを選択するのがどのユーザかに基づいてよい。コマンド優先権を決定するための他の手順は当業者にとっては明らかである。同時にアクティブなカーソルを有する複数のユーザは、ゲーム機能に対しては特に有用である。

７．０ ハンドヘルド装置の動作から生じるアプリケーション

図１０ａ、図１０ｂおよび「仮想ダイヤル」に関連して上述された説明から考えると、所定のポインティング動作または動きは、予めプログラムされた機能として解釈される。例えば、画面をポイントしながらの可視リモートの迅速な上方への動きすなわち急な動きは、「上への移動」コマンドとして解釈され、右への迅速な動きは、「右への移動」コマンド等として解釈される。基本的な選択機能はまた、画面カーソルが所望機能タブをポイントしながら、コンピュータマウスと同様に、ボタンの単純なクリックとしてハンドヘルド装置にプログラムされてもよい。または、カーソルが機能タブから離れるおよび戻る移動のような所定の動作が選択機能を可能にしてもよい。このジェスチャ能力によって、仮想ボタンおよび動作のプログラミングが可能となり、ポインティング装置上のハードコードされたボタンが必要なくなる。

距離および位置決定または見積もりに加えて、本発明の複数基準または複数センサの形態の別の側面は、セクション１および４で説明したようなポインティング装置の回転移動を感知する能力である。例えば、２つの基準マーカによって、ポインティング装置と画面とを結ぶ直線にほぼ平行な軸上の画面とポインティング装置との相対回転が検知できる。このタイプの動きは、１つの基準／１つのセンサの好ましい実施例では一般的には検知できない。というのは、それはポインティング方向の変化を表さないからである。このタイプの動きは、典型的にはロールと称され、ポインティング動作を表さないが、単純かつ直感的なジェスチャを介して他のコマンドおよび機能を可能にするために使用される。この回転またはひねりの動きを使用する一例は、上述の「仮想ダイヤル」であり、器具の様々な属性、例えば、音量、チャネル、ソングトラック等が制御される。本発明によって検知可能な他の基本的な動きまたは動作であり、前述されたものは、所定のコマンドまたは機能のために使用してよい。ハンドヘルド装置の操作の別の側面は、それをすべてのシステムが認識するべくユーザが画面境界内でポイントすることが要求されないことである。これは、システムの位置および配向感知能力の結果であり、実行可能な動作は、従来のマウスタイプのポインティング装置にあるような画面カーソルの位置に限定されない。ここで、ポインティング範囲は、装置のセンサの視野、および、画面サイズの代わりとしてのユーザの画面からの距離によって決定される。典型的には、利用可能なポインティング範囲は画面サイズよりも大きい。したがって、様々な機能またはコマンドに対して、画面境界を越えるポインティング動作を使用することができる。例えば、画面メニューを、ユーザが所定の境界（例えば画面端）を越えてポインタを向けたときにアクティベートまたは表示することができる。または、画面境界の外での上下移動が、表示画面メニュー上のスクロール機能をアクティベートしてもよい。他の多くの「画面外」動作が、絶対ポインティング装置のこの特性を使用して可能になる。

８．０ ゲームアプリケーション

上述の基本的なリモートコントロール機能に加え、絶対ポインティング装置の関連アプリケーションは、ビデオゲーム相互作用メカニズムすなわちゲームコントローラとしてのその使用である。従来のゲームコントローラは、マウスタイプまたはジョイスティックタイプの入力装置およびボタンに基づく。ここで、ゲーム機能（例えば、シーンのナビゲーション、武器の砲火等）は、標準のマウスまたはジョイスティックの動き（これらは比較的自然である）およびボタンを押すことによって制御される。具体的には、ビデオゲームのナビゲーションおよび動きの制御の側面は、装置の絶対ポインティングおよび位置感知能力によって著しく高められる。直接画面ポインティング能力に加え、画面距離、画面視野角、装置ロール角、ピッチ、およびヨーの感度により、従来のゲームコントローラに見られないプレーヤの自由度が可能となる。これらの特性は、直感的な３次元の動き（例えば、フライトシミュレーションを使用するゲーム）、および位置感応相互作用（例えば、プレーヤの移動につれてのシーンの視点移動、またはインアウトの動きを使用するスピード制御）のような様々な動作を制御するために使用することができる。ここで、「ユーザインターフェイス」という用語は、表示されるゲームインターフェイスをカバーするのに十分広いものとして解釈する必要がある。

９．０ 締めくくりのコメント

上述により教示されたプロセスのいくつかは、所定の機能を実行するべく機械（半導体チップ上に配置されたプロセッサ、または抽象的なプログラムコードをプロセッサ特定プログラムコードに変換する「インタープリタ」（例えばＪａｖａ（登録商標）仮想機械）のような）に機械実行命令のようなプログラムコードによって行うことができる。または、これらの機能は、機能実行のための配線論理回路を含む特定のハードウェアコンポーネント（例えば論理状態機械）によって、または、プログラムされたコンピュータコンポーネントおよび配線論理コンポーネントの任意の組み合わせによって行ってもよい。

プログラムコードを格納するために製品が使用されてよい。プログラムコードを格納する製品は、１つ以上のメモリ（例えば、１つ以上のフラッシュメモリ、ランダムアクセスメモリ（静的、動的その他））、光学ディスク、ＣＤ−ＲＯＭ，ＤＶＤ ＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ，磁気または光学カードまたは他のタイプの、電子命令格納に適した機械読み取り可能媒体として実施されるが、それに限られることはない。プログラムコードはまた、リモートコンピュータ（例えばサーバ）から要求コンピュータ（例えばクライアント）まで、伝搬媒体で実施されるデータ信号によって（例えば通信リンク（例えばネットワーク接続）を介して）ダウンロードされてよい。

上記明細書において、本発明を所定の実施例を参照して説明してきた。しかし、それに対する様々な修正および変形を、添付の請求項に記載される本発明の広い要旨および範囲から逸脱することなしに行い得ることは明らかである。したがって、明細書および図面は、限定の意味ではなく例示としてみなされるべきである。

コンピュータマウス（従来技術）を示す。 リモートコントロール（従来技術）を示す。 統合型デジタルカメラ（従来技術）を備える携帯電話を示す。 絶対ポインティングの異なる図を示す。 絶対ポインティングの異なる図を示す。 絶対ポインティングの異なる図を示す。 電子機器ディスプレイに対してハンドヘルド装置の絶対ポインティングを有効にする目的の統合型カメラを有するハンドヘルド装置の実施例を示す。 絶対ポインティング位置を計算するために使用されるマーカの様々なレイアウトを示す。 絶対ポインティング位置を計算するために使用されるマーカの様々なレイアウトを示す。 絶対ポインティング位置を計算するために使用されるマーカの様々なレイアウトを示す。 絶対ポインティング位置を計算するために使用されるマーカの様々なレイアウトを示す。 ハンドヘルド装置が電子機器ディスプレイに面する態様に関連したハンドヘルド装置のカメラによりキャプチャされた異なる画像を示す。 ハンドヘルド装置が電子機器ディスプレイに面する態様に関連したハンドヘルド装置のカメラによりキャプチャされた異なる画像を示す。 ハンドヘルド装置が電子機器ディスプレイに面する態様に関連したハンドヘルド装置のカメラによりキャプチャされた異なる画像を示す。 ハンドヘルド装置が電子機器ディスプレイに面する態様に関連したハンドヘルド装置のカメラによりキャプチャされた異なる画像を示す。 図５Ａのハンドヘルド装置のようなハンドヘルド装置によって絶対ポインティングを有効にするべく実行可能な異なるプロセスを示す。 図５Ａのハンドヘルド装置のようなハンドヘルド装置によって絶対ポインティングを有効にするべく実行可能な異なるプロセスを示す。 図５Ａのハンドヘルド装置のようなハンドヘルド装置によって絶対ポインティングを有効にするべく実行可能な異なるプロセスを示す。 ディスプレイ上のハンドヘルド装置の絶対ポインティング位置を決定するために使用される３次元座標系を示す。 ディスプレイ上のハンドヘルド装置の絶対ポインティング位置を決定するために使用される３次元座標系を示す。 ディスプレイ上のハンドヘルド装置の絶対ポインティング位置を決定するために使用される３次元座標系を示す。 ディスプレイ上のハンドヘルド装置の絶対ポインティング位置を決定するために使用される３次元座標系を示す。 ディスプレイ上のハンドヘルド装置の絶対ポインティング位置を決定するためのプロセスを示す。 ハンドヘルド装置の絶対ポインティングベクトルおよびロール位置が既知の場合に実装可能な「仮想ダイヤル」機能を示す。 ハンドヘルド装置の絶対ポインティングベクトルおよびロール位置が既知の場合に実装可能な「仮想ダイヤル」機能を示す。 電子機器ディスプレイに対して絶対ポインティング制御を有効にすることができるハンドヘルド装置のための設計の実施例を示す。 図１１に表される設計によって実装可能な光学伝達関数の例を示す。 ハンドヘルド装置のセンサに形成および向けることができる異なるマーカサイズを示す。 ハンドヘルド装置のセンサに形成および向けることができる異なるマーカサイズを示す。 ハンドヘルド装置のセンサを介して観測されるマーカ位置を決定する方法を示す。 ハンドヘルド装置のセンサを介して観測されるマーカ画像の集合の例を示す。 ２つの異なるポインティング方向のセンサ視野を示す。 １つのマーカシステム用ディスプレイの表示および対応するセンサ画像を示す。 較正および「実用」ハンドヘルド装置ポインティング状態を示す。 ２つの異なる方向に放射するマーカを示す。 ロールするハンドヘルド装置のためのセンサ上のマーカ画像を示す。 ３マーカのシステムを示す。 ３マーカのシステムを示す。 ４マーカのシステムを示す。 プロセッサを含む異なるアーキテクチャを示す。 プロセッサを含む異なるアーキテクチャを示す。 プロセッサを含む異なるアーキテクチャを示す。 プロセッサを含む異なるアーキテクチャを示す。 プロセッサを含む異なるアーキテクチャを示す。

Claims (49)

1. ディスプレイの近くに位置する２つ以上の空間的に離れた固定マーカから所定周波数帯域を有する不可視放射線を放射することと、
   前記所定周波数帯域の放射線を通過させ他の放射線を除外するべく放射線をハンドヘルド装置においてフィルタリングすることと、
   前記ハンドヘルド装置内の画素化センサ上に放射線が入射しているときに、前記固定マーカのそれぞれの複数の画像を取得することと、
   前記複数の画像のそれぞれの画像データを生成することと、
   前記ハンドヘルド装置内の前記画像データを処理することと
   を有し、
   前記画像データを処理することは、
   前記画素化センサの複数の画素のそれぞれの強度値から、予め決定された閾値より上の強度値を持つ複数の画素を特定して、前記強度値および前記複数の画素のそれぞれの位置に基づいて、前記画像データよりも少ないデータを持つ、前記固定マーカのそれぞれの画像に対応する座標データを与えることと、
   前記画像データを処理することから導かれる座標データを前記ハンドヘルド装置から電子機器回路へ送信することと、
   前記電子機器回路によって行われる動作を、前記座標データおよび前記ハンドヘルド装置が送信する前記動作が所望されることを示す信号に応答してトリガすることと
   を含み、
   前記動作は、前記ディスプレイ上に表示されたカーソルの位置を動的に制御することを含み、前記カーソルは、前記ディスプレイの前記電子機器回路によって生成されたグラフィカルユーザインタフェースのうちの１以上の他のグラフィック要素を選択するのに使用されるグラフィック要素を有する
   方法。
2. 前記電子機器回路は、
   ａ）テレビジョン回路と、
   ｂ）衛星ＴＶ受信機回路と、
   ｃ）ケーブルＴＶ受信機回路と、
   ｄ）ＶＣＲ回路と、
   ｅ）ＤＶＤプレーヤ回路と、
   ｆ）コンピュータ回路と、
   ｇ）ＣＤプレーヤ回路と、
   ｈ）音楽受信機回路と、
   ｉ）ＩＰＴＶテレビジョンおよび／または受信機回路と、
   ｊ）ゲーム回路と、
   ｋ）ホーム自動化回路と、
   ｌ）受信機回路と
   からなる群から選択される、請求項１に記載の方法。
3. 前記電子機器はプロセッサを含む、請求項１または２に記載の方法。
4. 前記電子機器はコントローラを含む、請求項１または２に記載の方法。
5. 前記電子機器回路によって行われる動作を、前記ディスプレイ上のアイコンに存在する座標データに応答してトリガすることをさらに含む、請求項１から４のいずれか一項に記載の方法。
6. 前記電子機器回路によって行われる動作を、前記ハンドヘルド装置から受信する１以上の付加的な制御信号と組み合わせて、アイコン内における前記カーソルの移動を引き起こす座標データに応答してトリガすることをさらに含む、請求項１から４のいずれか一項に記載の方法。
7. 前記座標データは、前記２つ以上のマーカの各々の信号強度を含む、請求項１から６のいずれか一項に記載の方法。
8. 前記座標データは、前記画素化センサ上にキャプチャされた前記２つ以上のマーカ画像の位置を含む、請求項１から６のいずれか一項に記載の方法。
9. 前記座標データは、前記座標データを送信する前記所定のハンドヘルド装置を特定するデータを含む、請求項１から８のいずれか一項に記載の方法。
10. 前記方法は、
    前記ハンドヘルド装置が所定位置の上方の位置をポインティングしていることを決定して、前記ポインティングを「上への移動」コマンドとして解釈することと、
    前記ハンドヘルド装置のポインティングが所定位置の右方向であることを決定して、ポインティングを「右への移動」コマンドとして解釈することと、
    前記ハンドヘルド装置のロールを決定することと、前記ディスプレイからの前記ハンドヘルド装置の距離を決定することと
    のうち少なくとも１つをさらに含む、請求項１から９のいずれか一項に記載の方法。
11. ロールの変化が決定された場合、前記ディスプレイ上に示されるダイヤルの画像が回転する、請求項１０に記載の方法。
12. 前記電子機器回路によって行われる動作を、前記ディスプレイ上に提示されるメニューオプションに存在する座標データに応答してトリガすることをさらに含む、請求項１から１１のいずれか一項に記載の方法。
13. 前記電子機器回路によって行われる動作を、前記ディスプレイ上のカーソルに存在する座標データに応答してトリガすることをさらに含む、請求項１から４のいずれか一項に記載の方法。
14. （ｉ）画素化センサ、所定周波数帯域の不可視放射線を前記画素化センサへ通過させる光学フィルタ、および送信機を含むハンドヘルド装置と、
    （ｉｉ）ディスプレイを有する電子機器と、
    （ｉｉｉ）各々が前記ディスプレイの近くに位置する少なくとも２つの空間的に離れたマーカであって、前記光学フィルタによって通過される周波数帯域における不可視放射線を放射するマーカと
    を含み、
    （ｉｖ）前記ハンドヘルド装置は、前記画素化センサ上の前記マーカの複数の画像の画像データを受信して処理するべく接続されたプロセッサを含み、
    前記プロセッサは、前記画像データよりも少ないデータを持つ前記画素化センサ上の複数の画像のそれぞれの座標データを前記画像データから計算し、
    前記プロセッサは、前記座標データを前記電子機器に送信するべく前記送信機に接続され、前記電子機器は前記ディスプレイ上のカーソルの位置を動的に制御し、
    前記プロセッサは、前記画素化センサの複数の画素のそれぞれの強度値から、予め決定された閾値より上の強度値を持つ複数の画素を特定して、前記強度値および前記複数の画素のそれぞれの位置に基づいて前記座標データを計算する
    システム。
15. 前記送信機はワイヤレス送信機である、請求項１４に記載のシステム。
16. 機械および実行可能プログラムコードを含む電子機器物品であって、前記実行可能プログラムコードは不揮発性メモリに格納され、前記実行可能プログラムコードは前記機械によって実行され、前記実行可能プログラムコードは方法を実行し、前記方法は、ハンドヘルド装置によってポイントされるディスプレイ上のまたは前記ディスプレイ近くの位置に関連し、
    前記方法は、
    前記ハンドヘルド装置内の画素化センサ上に現れる１以上の画像の画像データから、前記画素化センサの複数の画素のそれぞれの強度値から、予め決定された閾値より上の強度値を持つ複数の画素を特定して、前記強度値および前記複数の画素のそれぞれの位置に基づいて計算された座標から導かれた情報を受信することと、
    前記ディスプレイ上の前記位置を決定して、（ｉ）前記位置において前記ディスプレイ上にカーソルを表示すること、（ｉｉ）前記位置において前記ディスプレイ上にメニューオプションをハイライトすること、および（ｉｉｉ）前記電子機器によって行われる動作を、前記動作が所望されていることを示す信号の前記ハンドヘルド装置による送信に応答してトリガすることのうち少なくとも１つを実行することと
    を有し、
    前記１以上の画像は、１つ以上の空間的に固定されたマーカから放射された所定周波数帯域の不可視放射線を光学要素が前記画素化センサへ通過し他の放射線を除外することで得られた画像であり、
    前記１つ以上のマーカは、前記画素化センサの視野内に位置し、
    前記電子機器物品は、
    ａ）テレビジョン回路と、
    ｂ）衛星ＴＶ受信機回路と、
    ｃ）ケーブルＴＶ受信機回路と、
    ｄ）ＶＣＲ回路と、
    ｅ）ＤＶＤプレーヤ回路と、
    ｆ）コンピュータ回路と、
    ｇ）ＣＤプレーヤ回路と、
    ｈ）音楽受信機回路と、
    ｉ）ＩＰＴＶテレビジョンおよび／または受信機回路と、
    ｊ）ゲーム回路と、
    ｋ）ホーム自動化回路と、
    ｌ）受信機回路と
    からなる群から選択される電子回路を含む電子機器物品。
17. 前記方法は、前記座標を計算することをさらに含み、前記１つ以上のマーカは前記ディスプレイの近くまたはその上に位置する、請求項１６に記載の電子機器物品。
18. 前記信号は、前記ハンドヘルド装置上のボタンが押されたことを特定する、請求項１６または１７に記載の電子機器物品。
19. 前記ハンドヘルド装置は、前記ディスプレイの近くに位置する前記１つ以上のマーカの画像を前記画素化センサによって検知し、前記１つ以上のマーカを記述するデータを送信し、
    前記方法は、
    前記画像の１つを取り囲む画素領域内から前記画素化センサによって得られたデータを使用することと、
    前記データを、第１方向および第２方向にわたり合計することと、
    前記第１方向での前記合計から得られる第１プロファイルに第１カーブをフィッティングすることと、
    第２方向での前記合計から得られる第２プロファイルに第２カーブをフィッティングすることと、
    前記第１カーブの中心を前記１つの画像の位置の第１座標として特定することと、
    前記第２カーブの中心を前記画像の位置の第２座標として特定することと
    をさらに含み、
    前記第１方向は前記センサの画素のロウ上にあり、前記第２方向は前記センサの画素のカラム上にある、請求項１６から１８のいずれか一項に記載の電子機器物品。
20. 前記ハンドヘルド装置は、前記ディスプレイの近くに位置する前記１つ以上のマーカの画像を前記画素化センサによって検知し、
    前記方法は、
    前記ハンドヘルド装置と前記ディスプレイとの間の距離を決定することと、
    前記ハンドヘルド装置と前記ディスプレイとの間の視野角を決定することと、
    倍率および／または前記距離からのオフセットおよび／または視野角を計算することと、
    前記画像のために特定された基準座標に関して前記画像の決定された座標を前記倍率および／またはオフセットによって拡大縮小することと
    をさらに含む、請求項１６から１８のいずれか一項に記載の電子機器物品。
21. 前記方法は、前記ハンドヘルド装置の配向、および／または前記画像の決定された座標から前記配向への変化を決定することをさらに含む、請求項２０に記載の電子機器物品。
22. 前記倍率および／またはオフセットはまた、前記画像の決定された座標から計算される、請求項２１に記載の電子機器物品。
23. 前記距離または視野角を決定することは、前記マーカの前記画像の２つ以上の位置間の分離の変化を追跡することをさらに含む、請求項２０から２２のいずれか一項に記載の電子機器物品。
24. 前記ハンドヘルド装置のロール角配向および／または前記ロール角配向の変化が前記電子機器の操作特性を制御するための仮想ダイヤルとして使用され、
    前記特性は、
    音量レベルと、
    チャネル番号と、
    再生速度と、
    ページ番号と、
    操作モードと、
    照明レベルと
    を含む、請求項２１または２２に記載の電子機器物品。
25. ゲーム回路を含み、
    前記ハンドヘルド装置の前記決定された特性である被ポイント位置と、ディスプレイからの距離と、配向と、視野角との１つ以上が、前記ゲームの属性である回路と、シミュレーションされた動きおよびゲーム内の位置と、ポインティング方向およびゲーム内の位置と、ゲーム場面の視野角と、ゲーム音の音量レベルおよびバランスとの１つ以上を制御するために使用される、請求項２１または２２に記載の電子機器物品。
26. 方法（ｉ）が行われて、
    前記方法は、
    前記ディスプレイ上の第２位置に第２カーソルを表示することを含み、
    前記第２カーソルは第２ハンドヘルド装置によってポイントされ、前記第２カーソルは前記ハンドヘルド装置の前記カーソルとは視覚的に区別可能である、請求項１７に記載の電子機器物品。
27. 方法（ｉ）が行われて、前記位置は第２ハンドヘルド装置によって決定される、請求項１７に記載の電子機器物品。
28. ハンドヘルド装置内の画素化センサ上に現れる、１つ以上の空間的に固定されたマーカそれぞれの１つ以上の画像を検知することと、
    前記ハンドヘルド装置の電子回路によって、前記画素化センサの複数の画素のそれぞれの強度値から、予め決定された閾値より上の強度値を持つ複数の画素を特定して、前記強度値および前記複数の画素のそれぞれの位置に基づいて、前記画像の各々に対して、その座標を前記画素化センサ上において決定することと、
    前記画像の決定された座標をディスプレイ上のまたは前記ディスプレイの近くの被ポイント位置に変換することと
    を含み、
    前記ハンドヘルド装置は前記決定することから導かれた情報を送信し、
    前記１つ以上のマーカは、所定周波数帯域の不可視放射線を放射し、前記ハンドヘルド装置は、前記所定周波数帯域の放射線を通過させ他の放射線を除外するフィルタを含み、
    前記マーカは、前記画素化センサの視野内の固定された位置に設けられる
    方法。
29. 前記ハンドヘルド装置は、各画像の前記座標を記述するデータを送信する、請求項２８に記載の方法。
30. 前記画像の各々に対して、前記センサ上のその信号レベルを前記ハンドヘルド装置の電子回路によって決定することをさらに含む、請求項２８または２９に記載の方法。
31. 前記ハンドヘルド装置は前記変換することを行う、請求項２８から３０のいずれか一項に記載の方法。
32. 前記ハンドヘルド装置は、前記被ポイント位置を記述するデータを送信する、請求項３１に記載の方法。
33. 前記決定することは、
    前記画像の１つを取り囲む画素領域内から前記センサによってとられたデータを使用することと、
    前記データを、第１方向および第２方向にわたり合計することと、
    前記第１方向での前記合計から得られる第１分布に第１カーブをフィッティングすることと、
    第２方向での前記合計から得られる第２分布に第２カーブをフィッティングすることと、
    前記第１カーブの中心を前記１つの画像の座標の第１座標として特定することと、
    前記第２カーブの中心を前記画像の座標の第２座標として特定することと
    をさらに含む、請求項２８から３２のいずれか一項に記載の方法。
34. 前記第１方向は前記センサの画素のロウ上にあり、前記第２方向は前記センサの画素のカラム上にある、請求項３３に記載の方法。
35. 前記変換することは、
    前記ハンドヘルド装置と前記ディスプレイとの間の距離および／または視野角を決定することと、
    倍率および／または前記距離からのオフセットおよび／または視野角を計算することと、
    前記画像のために特定された基準座標に関して前記画像の決定された座標を前記倍率および／またはオフセットによって拡大縮小することと
    をさらに含む、請求項２８から３４のいずれか一項に記載の方法。
36. 前記倍率および／またはオフセットを計算することは、
    （ｉ）前記ハンドヘルド装置は連続して、前記ディスプレイ上の２つ以上の既知の位置をポイントし、
    （ｉｉ）前記ハンドヘルド装置は前記ディスプレイ上の１つの既知の位置をポイントし、前記マーカの各々は前記ディスプレイに関して異なる水平方向および垂直方向の位置に位置決めされ、
    （ｉｉｉ）前記マーカの各々は、画面に関して既知かつ異なる水平方向および垂直方向の位置に位置決めされる、較正手順を含む、請求項３５に記載の方法。
37. 前記ハンドヘルド装置の配向、および／または前記画像の決定された座標から前記配向への変化を決定することをさらに含む、請求項３５に記載の方法。
38. 前記ハンドヘルド装置の視野角を決定することをさらに含む、請求項３７に記載の方法。
39. 前記ハンドヘルド装置の視野角は、前記画像の信号レベルの相対値を使用して決定される、請求項３８に記載の方法。
40. 前記１つ以上のマーカは、
    （ｉ）前記ディスプレイの境界から数センチメートル以内かつ水平次元上のほぼ中央で、前記ディスプレイの上下のどちらかに配置され、
    （ｉｉ）水平方向に配列されて約５〜１５センチメートルだけ互いに分離している、
    請求項２８から３９のいずれか一項に記載の方法。
41. 前記マーカの前記画像の座標における集団回転を検知することによって前記ハンドヘルド装置のロール角を決定することをさらに含む、請求項３５から３９のいずれか一項に記載の方法。
42. 前記画像の決定された座標をディスプレイ上の被ポイント位置に変換することは、前記ハンドヘルド装置のロール角を補正するべく修正される、請求項４１に記載の方法。
43. 前記ハンドヘルド装置の配向を決定することと、前記倍率および／またはオフセットを前記距離および／または視野角および前記配向から計算することとをさらに含む請求項３７に記載の方法。
44. 前記距離および／または視野角を決定することは、前記マーカの前記画像の２つ以上の座標間の分離の変化を追跡することをさらに含む、請求項４３に記載の方法。
45. 前記マーカは光学的放射線源として動作する、請求項４４に記載の方法。
46. 前記マーカは、前記ハンドヘルド装置のセンサによって検知される光学的放射線を反射する、請求項４４に記載の方法。
47. 前記位置は、１画素の分数となるサイズに規定され、前記分数は１／２より小さい請求項２８から４６のいずれか一項に記載の方法。
48. 請求項２８から４７のいずれか一項に記載の方法を実行するハンドヘルド装置。
49. 前記ハンドヘルド装置の前面に位置決めされたアパチャと前記画素化センサとの間を通る光学チャネル内にディフューザが存在する、請求項４８に記載のハンドヘルド装置。