JP4885867B2 - 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム - Google Patents

Description

本発明は、画面などの指示対象平面に対して、指示した位置を特定する位置情報検出装置、その方法およびそのプログラムに関する。

従来から、ＣＲＴやＬＣＤなどの表示装置とその表示画面上の位置を特定するデバイスによって構成されるシステムが開発されている。その一例が射撃ゲーム装置である。このような射撃ゲーム装置において、画面上の位置を特定するための手法には、種々のものがある。その中でも、特許文献１、２、３に記載された技術は、ゲーム機器からの表示信号に基づいて、ゲームの進行に応じた画面を表示装置に表示させ、ガン型コントローラなどの画面位置指定手段をユーザが操作することにより画面周辺に光を照射もしくは画面周辺の発光体から光を放射し、画面周辺の撮像結果を基に、画面位置指定手段が照準を合わせた画面上の位置を特定するものである。
特許第３４２２３８３号公報 特開平１１−３０５９３５号公報 特開２００４−１３９１５５号公報

しかしながら、上記の特許文献１のシステムでは、次のような問題があった。
（１）指示位置等の検出された数値は近似解であるため、検出誤差が無視できない。
（２）装置製造段階において、位置検出に必要な定数を求めるための調整が必要であるため、製造過程が複雑であり、調整誤差が装置運用時の検出誤差に反映されてしまうおそれがある。
（３）ビデオ画面を特定する４つの発光体はそれぞれ区別されていない。このため、少なくとも特許文献１の記載内容のみでは、画面の上下左右を特定できない。
（４）４つの発光体とそれ以外の外乱光源が同時に撮影された場合に、発光体を外乱光源から識別することが困難なため、装置運用時の周辺の照明環境が大きく制限される。

また、特許文献２のシステムでは、指示位置と距離情報の検出のみを実現しているが、特許文献１とは異なり、厳密解を求めることができる。しかし、その実現方法には、次の問題点が挙げられる。
（１）演算の構成が複雑であり、演算規模が大きい。
（２）撮像装置に含まれるレンズの焦点距離を演算に用いるため、装置個体差による焦点距離の誤差が演算結果に悪影響を及ぼす。
（３）指示対象画面を特定するために赤外線光源を用いているが、輝度によってのみ外乱光源と区別しているため、結局は装置運用時の周辺の照明環境が大きく制限されてしまう。
（４）対象画面側から自発光する赤外線光源を用いているため、画面側の装置構成は複雑となり制約を受ける。このため、家庭用の装置には向いていない。

また、特許文献３のシステムは、本件出願人により提案されたものであるが、その検出対象は、ガン型コントローラの指示位置のみにとどまる。このため、銃身軸周りの回転角、表示装置に対する距離等の相対的な位置情報を得て、ゲーム内容の多様化、高度化を図るには不十分であり、適用範囲が限定される。

さらに、上記のような従来技術においては、撮像に用いる撮像素子に起因する問題もある。すなわち、一般的な撮像素子を用いる場合、被写体や撮像素子が比較的高速に移動すると、被写体の像がぶれてしまい、期待する画像認識結果が得られず、対象画面の特定に失敗してしまう可能性がある。この問題を解決する一つの方法として、シャッタースピードが高速な撮像素子を用いることが考えられる。しかし、このような高速な撮像素子は、普及型撮像素子と比較して高価である。

本発明は、上記のような従来技術の問題点を解決するために提案されたものであり、その主たる目的は、簡単で識別容易な識別マークを用いて、多様な位置情報を高精度に検出できる位置情報検出装置、方法及びプログラムを提供することにある。

本発明の他の目的は、安価な撮像素子を用いても、位置検出の成功率を向上させることができる位置情報検出装置、方法及びプログラムを提供することにある。

上記の目的を達成するために、本発明の位置情報検出装置は、指示対象平面側に配設された識別マークをカメラレンズを介して撮像する撮像部と、前記撮像部が撮像した画像から、幾何学的図形像を抽出する識別マーク抽出部と、複数の前記幾何学的図形像の重心を結ぶことにより形成される参照矩形像を抽出する参照矩形抽出部と、前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出する焦点距離算出部と、前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出する指示位置算出部と、を有することを特徴とする。なお、本発明は、上記の各部の機能を実現するための位置情報検出方法、位置情報検出プログラムとして捉えることもできる。

以上のような本発明では、幾何学的図形像の特定の点から抽出した参照矩形像に基づく座標系を用いることにより、撮像部の内部パラメータである焦点距離を求めるとともに、外部パラメータである指示位置を厳密解として求めることができる。従って、撮像部に個体差がある場合、運用時にピント変化が生じた場合、焦点距離が変化するレンズを適用した場合等であっても、焦点距離を運用時に求めることにより、精度の高い検出を行うことができる。また、識別マークとして、重心が特定できる幾何学的図形を用いればよいので、構成が単純であり、抽出も容易となる。また、いずれかの幾何学的図形の特徴や設置方法に方向性を持たせることにより、方向の特定も可能となる。

他の態様の位置情報検出装置は、指示対象平面側に配設された識別マークをカメラレンズを介して撮像する撮像部と、前記撮像部が撮像した画像から、幾何学図形像を抽出する識別マーク抽出部と、前記幾何学図形像における特定の点を結ぶことにより形成される参照矩形像を抽出する参照矩形抽出部と、前記参照矩形抽出部により抽出された参照矩形像を記憶する参照矩形記憶部と、前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出する焦点距離算出部と、前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出する指示位置算出部と、前記識別マーク抽出部による識別マークの抽出ができない場合に、前記参照矩形記憶部に記憶された参照矩形像に基づいて、参照矩形像を推定する参照矩形推定部と、を有することを特徴とする。なお、本態様は、上記の各部の機能を実現するための位置情報検出方法、位置情報検出プログラムとして捉えることもできる。

以上のような態様では、被写体や撮像素子が高速に移動した場合に、撮像部が撮像した画像から識別マークの抽出ができず、そのために参照矩形像の抽出に失敗したとしても、直前の参照矩形像の抽出もしくは推定に成功している場合には、参照矩形推定処理により、参照矩形像を良好に推定可能となる。したがって、高価な撮像素子を用いずとも、位置検出の成功率を向上させることができる。

他の態様は、前記参照矩形推定部は、前記参照矩形記憶部に記憶された参照矩形像に基づいて、識別マークの近傍領域を算出する領域算出部と、前記近傍領域において遮断すべき背景光を検出する背景光検出部と、前記背景光検出部による検出結果に基づいて、前記近傍領域における識別マークの重心を推定する重心推定部と、前記重心推定部により推定された重心に基づいて、参照矩形像を推定する推定部と、を有することを特徴とする。

以上のような態様では、直前に記憶された参照矩形像に基づいて算出された識別マークの近傍領域に基づいて、識別マークの重心を推定して、これにより参照矩形像を推定するので、処理すべきデータ量を低減して高速化を図りつつ、より高い確度によって良好な参照矩形像が推定できる。

他の態様は、前記推定部による推定のために、前記重心推定部により推定された重心と、前記参照矩形記憶部に記憶された参照矩形像との対応付けを行う整合部を有することを特徴とする。

以上のような態様では、推定できない重心があった場合であっても、直前の参照矩形像に基づいて、頂点を推定できるので、参照矩形が得られる可能性が高まる。

他の態様は、前記座標系及び前記焦点距離に基づいて、前記指示対象平面を基準に張った３次元の座標系における前記撮像部の相対位置を算出する撮像部位置算出部を有することを特徴とする。
他の態様は、前記撮像部の回転の前後における前記座標系に基づいて、前記撮像部の回転角を算出する回転角算出部を有することを特徴とする。

以上のような態様では、指示対象平面に対する指示位置のみならず、撮像部の相対位置もしくは回転角といった位置情報も得ることができるので、ゲーム内容、適用範囲等の多様化、高度化を図ることができる。

他の態様は、前記識別マークは、前記撮像部が撮像して得られた画像から、前記幾何学的図形を識別可能とする光源を有することを特徴とする。
以上のような態様では、識別マークを自発光型とすることにより、周囲の照明環境にかかわらず、識別マークを明確に識別できる。

他の態様は、前記撮像部は、前記識別マークに光を照射する投光部を有することを特徴とする。
以上のような態様では、識別マークを反射型として構成できるので、設置が容易であり、家庭用途に適している。

他の態様は、前記撮像部、前記識別マーク抽出部、前記参照矩形抽出部、前記焦点距離算出部、前記指示位置算出部、前記参照矩形推定部が一体的に構成されていることを特徴とする。
以上のような態様では、撮像部等を別体で構成するよりも、全体構成を簡素化でき、装置間の接続作業を簡略化できる。

以上説明したように、本発明によれば、簡単で識別容易な識別マークを用いて、多様な位置情報を高精度に検出可能な位置情報検出装置、方法及びプログラムを提供することができる。

また、本発明によれば、安価な撮像素子を用いても、位置検出の成功率を向上させることが可能な位置情報検出装置、方法及びプログラムを提供することができる。

本発明の第１の実施形態を示す全体構成図である。 図１に示す実施形態の機能ブロック図である。 図１の実施形態に使用する識別マークの例を示す説明図である。 図３の識別マークと画像表示領域との位置関係を示す説明図である。 図１の実施形態の処理手順を示すフローチャートである。 識別マークの抽出方法を示す説明図である。 図３（ａ）の識別マークの参照矩形頂点の抽出方法を示す説明図である。 図３（ｂ）の識別マークの参照矩形頂点の抽出方法を示す説明図である。 図３（ｃ）の識別マークの参照矩形頂点の抽出方法を示す説明図である。 図１の実施形態で用いる座標系を示す説明図である。 図１の実施形態で撮像された参照矩形像を示す説明図である。 図１の実施形態の補正参照矩形像の算出方法を示す説明図である。 図１の実施形態の指示位置の特定方法を示す説明図である。 図１の実施形態のカメラレンズ位置特定方法を示す説明図である。 図１の実施形態の回転角特定方法を示す説明図である。 図１の実施形態の指示位置の画像表示領域基準の正規化方法を示す説明図である。 本発明の第２の実施形態を示す全体構成図である。 図１７に示す実施形態の機能ブロック図である。 図１７の実施形態の識別マークが４つの場合の近傍領域算出例を示す説明図である。 図１７の実施形態の識別マークが２つの場合の近傍領域算出例を示す説明図である。 図１７の実施形態の背景光遮断閾値の例を示す説明図である。 図１７の実施形態の識別マーク重心推定処理の一例を示す説明図である。 図１７の実施形態の区画選択処理の一例を示す説明図である。

符号の説明

１００…位置情報検出装置
１０１…ガン型コントローラ
１０２…識別マーク
１０３…ディスプレイ
１０３Ａ…画像表示領域
１０４…ゲーム機
２０１…操作部
２０２…位置情報検出部
２０３…撮像部
２０４…投光部
２０５…周辺制御部
２０６…識別マーク抽出部
２０７，３２０…参照矩形抽出部
２０８…Ｉ／Ｏ部
２１０…指示位置算出部
２１１…レンズ位置算出部
２１２…回転角算出部
２１３…焦点距離算出部
３１０…参照矩形処理部
３３０…参照矩形推定部
３３１…領域算出部
３３２…背景光検出部
３３３…重心推定部
３３４…整合部
３３５…推定部

以下、本発明の位置情報検出装置を銃射撃型ゲームに適用した場合の一実施形態を、図面を参照して説明する。
［第１の実施形態］
［概要］
まず、本実施形態の概要を、図１及び図２を参照して説明する。なお、図１は、本実施形態の外観を示す斜視図であり、図２はその機能ブロック図である。すなわち、本実施形態の位置情報検出装置１００は、ガン型コントローラ１０１、ゲーム機１０４及びディスプレイ１０３を使用する銃射撃型ゲームに適用したシステムである。

一般に、銃射撃型ゲームでは、ディスプレイの画像表示領域に表示された標的に向かって、ガン型コントローラの照準を合わせ、その狙いの正確性を判定すること等によってゲームを進行させる。そのため、少なくともガン型コントローラが画像表示領域内のいかなる位置に照準を合わせているか（指示位置）を検出する必要がある。このような指示位置検出を行う装置には、ディスプレイに表示されもしくはその周囲に配置された識別マークを撮像し、これを解析することにより、指示位置を算出するものがある。

本実施形態においては、ディスプレイ１０３に配設された識別マーク１０２を撮像する撮像部２０３、指示位置を含む位置情報を検出する位置情報検出部２０２、識別マークを抽出する識別マーク抽出部２０６、参照矩形を抽出する参照矩形抽出部２０７等が、ガン型コントローラ１０１の内部に実装され、一体的に構成されている。さらに、本実施形態では、指示位置のみならず、ガン型コントローラ１０１の銃身軸周りの回転角やディスプレイ１０３に対する位置（レンズ位置）等の相対的な位置情報をも検出できるようにして、ゲーム内容の多様化を可能としている。

［構成］
次に、本実施形態の構成を具体的に説明する。
［ディスプレイ１０３］
まず、ディスプレイ１０３は、ＣＲＴやＬＣＤ等のテレビ受像機やコンピュータ用の表示装置である。ディスプレイ１０３には、ゲーム機１０４で実行されるゲームプログラムの進行に応じて、画像信号が入力される。そして、その矩形型の画像表示領域（指示対象平面）１０３Ａに、入力された画像信号に応じた画像が表示される。

［識別マーク１０２］
識別マーク１０２は、画像表示領域１０３Ａの周囲に、複数設置されている。この識別マーク１０２は、その正面に幾何学的パターン（図形）を有している。図１は、識別マーク１０２を、画像表示領域１０３Ａの上方の左右２箇所に設置した例である。その際の幾何学的パターンとしては、たとえば、図３（ａ）〜（ｃ）に例示したものが適用可能である。これらは、縦長の長方形状であり、その外周に沿った背景部分（周囲の黒色枠）と、この背景部分の内側に正方形状の穴（内側の黒色部）を有している。但し、特定点（本実施形態では重心）を結ぶ参照矩形の抽出が可能な形状であれば、どのような図形であってもよい。

図３（ａ）の左の識別マーク１０２は、重心が直交する２直線に沿うように、右上隅近傍、左上隅近傍及び左下隅近傍の３箇所に穴を有し、右の識別マーク１０２も、重心が直交する２直線に沿うように、左上隅近傍、右上隅近傍及び右下隅近傍の３箇所に穴を有している。図３（ｂ）の左右の識別マーク１０２は、重心を結ぶ直線が直角をなす「く」の字となるように、上、中、下の３箇所に穴を有している。なお、必ずしもこれには限定されず、原理的には、重心を結ぶ直線が等辺夾角が９０度以上の二等辺三角形を描ければよい。図３（ｃ）の左の識別マーク１０２は、重心を結ぶ直線が垂直な直線上となるように、その上端、中点、下端の３箇所に穴を有し、右の識別マーク１０２は、重心を結ぶ直線が垂直な直線となるように、その上端、下端の２箇所に穴を有している。

なお、たとえば、図３（ｄ）に示すように、識別マーク１０２を４つ使用することも可能である。これは正方形状であり、画像表示領域１０３Ａの頂点付近の４箇所に設置され、その外周に沿った背景部分（周囲の黒色枠）と、この背景部分の内側の穴（内側の黒色部）を有している。そして、右上、右下、左下の識別マーク１０２は、穴が正方形の枠状であり、左上の識別マーク１０２のみ穴が平行な２つの長方形状となっている。

以上のような識別マーク１０２は、図４（ａ）〜（ｄ）に示すように、各穴もしくはその内部の重心を結ぶ直線が、画像表示領域１０３Ａの頂点付近に、仮想的な矩形（後述する参照矩形）が構成されるように設置される。但し、必ずしも頂点付近でなくともよい。なお、図４は説明図であり、画像表示領域１０３Ａの大きさは、便宜的に小さく表している。

さらに、識別マーク１０２の構造は、自発光型と反射型の２種類に分類できる。まず、自発光型の場合には、表面は主に穴及び背景部分の光の透過率が小さく、それ以外の部分で光を透過・拡散する構成とし、背面から表面へ向かって内部から光を放射する光源を備えている。自発光型の識別マーク１０２でシステムを構成する場合、後述する投光部２０４を実装する必要はないが、識別マーク１０２内部の光源への給電が必要となる。

反射型の場合、表面は主に穴および背景部分の光の反射率が小さく、それ以外の部分の反射率が高い構成とする。自由な位置で射撃を可能とするためには、高反射率部分の素材には再帰反射特性を有するものが望ましい。本実施形態では、設置の容易な反射型の識別マーク１０２を使用するものとする。なお、以上の説明の通り、識別マーク１０２の穴や背景部分は、他の部分との境界が光学的に識別できればよいのであり、必ずしも現実に物理的な穴や窪み等が形成されている必要はない。つまり、同一平面上に形成されているか否かにかかわらず、色彩や素材等から、境界が区別される構造であればよい。

［ゲーム機１０４］
ゲーム機１０４は、所定のプログラムを実行し、当該実行にしたがってゲーム用の画像を表示するための画像信号を生成し、これをディスプレイ１０３に出力する機器である。このゲーム機１０４は、位置情報検出部２０２から、ガン型コントローラ１０１によって指定された画像表示領域１０３Ａ上の点の指示位置データその他等のデータが入力され、当該データを基に、プログラムの実行に応じた所定のゲーム進行処理を行う。したがって、ゲーム機は、家庭用のゲーム機のみならず、アーケードゲーム機やゲームプログラムをインストールしたコンピュータであってもよい。

［ガン型コントローラ１０１］
ガン型コントローラ１０１は、操作部２０１、位置情報検出部２０２、撮像部２０３、投光部２０４、周辺制御部２０５、識別マーク抽出部２０６、参照矩形処理部３１０、Ｉ／Ｏ部２０８を有している。

操作部２０１は、引き金（トリガ）などであり、ユーザの指などの操作によって所定の位置まで引かれると、操作信号を出力する。なお、操作部２０１の具体的な構成は、本発明とは基本的に独立したものであり、特定のものには限定されない。したがって、必ずしも引き金の形状をしている必要はなく、たとえば、押しボタンやトグル等のスイッチであっても、光の遮蔽を検知するセンサであってもよい。

撮像部２０３は、主に撮像素子、レンズ、光学フィルタによって構成されている。レンズはガン型コントローラ１０１の銃口付近に、その光軸上で照準が合うように設置されている。撮像素子は、レンズよりも内部に撮像面が光軸と直交するように設置されている。光学フィルタは、撮影対象とする光の波長領域のみを良好に通過させるものとし、レンズ付近に設置されるかレンズ自体の素材となっている。

投光部２０４は、主に撮像素子が撮影対象とする波長領域で発光する発光素子群で構成されている。この投光部２０４は、撮像部２０３のレンズ外周に、光軸よりもやや外側に傾けた状態で設置されている。周辺制御部２０５は、投光部２０４の発光及び撮像部２０３の撮像を制御する手段である。たとえば、発光タイミングの制御、投光部２０４の光量、撮像部２０３の感度などの調整が可能な設定とすることもできる。

識別マーク抽出部２０６は、撮像部２０３において撮像した画像から、外乱光成分を除去し、識別マーク１０２のパターンのみを抽出する手段である。参照矩形抽出部２０７は、抽出された識別マーク１０２のパターンから、上述の参照矩形を抽出する手段である。位置情報検出部２０２は、抽出された参照矩形等に基づいて、画像表示領域１０３Ａにおける指示位置、レンズ位置、回転角等のカメラ(撮像部２０３)の外部パラメータや、焦点距離等の内部パラメータを検出する手段である。

この位置情報検出部２０２は、指示位置を算出する指示位置算出部２１０、レンズ位置を算出するレンズ位置算出部２１１、回転角を算出する回転角算出部２１２、焦点距離を算出する焦点距離算出部２１３を有している。識別マーク抽出部２０６、参照矩形抽出部２０７、位置情報検出部２０２における具体的な処理は、以下の作用に述べるように行われる。Ｉ／Ｏ部２０８は、外部機器との入出力を制御する手段である。

なお、各処理で抽出、算出等された情報は、適宜、メモリ等の記憶手段に記憶され、次処理に利用されるが、常識的であるため、図示は省略する。

［作用］
以上のような本実施形態による指示位置等の検出処理を、図５のフローチャート、図６〜２１の説明図を参照して説明する。なお、下記の処理手順は例示であり、各処理において必要な情報がその前段階のいずれかにおいて得られているのであれば、順序が前後してもよい。
［識別マークの撮像…ステップ５０１］
まず、ガン型コントローラ１０１の照準を、ディスプレイ１０３の画像表示領域１０３Ａ近辺に合わせている場合、投光部２０４から放射された光が、識別マーク１０２表面で反射し、その一部が撮像部２０３に入射し、撮像素子で撮影される。なお、放射光が識別マーク１０２に到達しない場合、その反射光は当然撮影されない。また、自発光型の識別マーク１０２を使用して、投光部２０４を省略した場合には、識別マーク１０２から放射された光が、撮像部２０３に入射する。撮影された画像は、処理に適した画像データ（たとえば、２値画像等）に変換される。

［識別マーク抽出…ステップ５０２，５０３］
撮影された画像データは、識別マーク抽出部２０６で解析されて、識別マーク１０２が抽出される。つまり、画像データには、目的とする識別マーク１０２の幾何学的パターンや、それ以外の外乱光が撮影されている可能性がある。このため外乱光成分を除去し、識別マーク１０２のみを抽出する必要がある。

その抽出処理は、たとえば、以下のように行う。すなわち、図３に示すように、識別マーク１０２の背景部分及び内部の穴が凸図形であるとすれば、撮影された原画像とその２値画像から、図６に示すように、撮影画像中の図形属性を検査することによって、幾何学的パターンの判定が可能となる。

まず、穴以外の水平方向に連続している成分（連結成分）の次に、穴が存在するために連続していない成分が出現する場合（分岐）と、穴が存在するために連続していない成分の次に、連結成分が出現する場合（統合）とを垂直方向に検証していき、その分岐と統合の回数をカウントして、その差を求める。これにより、連結成分に囲まれた穴が存在する正しい識別マーク１０２の場合、分岐数−統合数は常に０となる。また、穴の面積（２値画像を構成するピクセル数）を１単位として、穴数、連結成分の面積、穴の面積を算出する。

たとえば、表１に示すように、図６の（ａ）は分岐が１で統合が０、（ｂ）は統合が１で分岐が０なので、識別マークとしては認識されない。また、穴数、連結成分の面積、穴の面積から、各識別マーク１０２の幾何学的パターンの相違が判定できる。たとえば、図３（ｄ）に示した識別マーク１０２の場合には、左上の識別マーク１０２のみが穴数は２であるのに対して、その他の３つの識別マーク１０２の穴数は１であるため、左上の識別マーク１０２のみ異なることが判別でき、これを左上として特定することができる。

そして、識別マーク１０２の幾何学的パターンを抽出する過程で、撮影画像平面上での各穴の重心位置情報を記憶する。重心の算出は周知の技術を適用可能である。なお、図３（ｄ）の識別マーク１０２のような場合には、識別マーク１０２自体の重心としてもよい。さらに、その重心位置情報と識別マークの配置情報をもとに、指示領域である画像表示領域１０３Ａの位置と天地に関する情報を特定することになる。

［参照矩形抽出…ステップ５０４］
次に、参照矩形抽出部２０７による参照矩形の抽出は、以下のように行われる。すなわち、識別マーク１０２が当初の設置位置から移動しない限り、たとえば、図３，４（ｄ）の４つの識別マーク１０２の重心点を頂点とする仮想的な矩形と、画像表示領域１０３Ａとの位置関係は変化しない。この仮想的な矩形を参照矩形と称する。図３，４（ａ）〜（ｃ）のように、識別マーク１０２が２つの場合は、幾何学的パターン中の穴の重心位置を頂点として参照矩形を生成する。その生成方法には、たとえば、図３，４（ａ）〜（ｃ）に関しては、それぞれ図７〜９に示すような手法が適用できる。

図７に示す手法は、以下の通りである。すなわち、図７（ａ）に示すように、一方の識別マーク１０２における穴の重心位置をｐ_ｉ、もう一方の穴の重心位置をｑ_ｉとする。なお、［ｉ＝０..２］である。次に、図７（ｂ）に示すように、２組の差ベクトルの内積（ｐ_ｊ−ｐ_ｉ）・（ｑ_ｋ−ｑ_ｉ）が、最大となるｐ_ｉを共有点をｖとする。なお［ｊ，ｋ≠ｉ］である。ｑ_ｉについても同様の共有点ｗを求める。ｖ，ｗは参照矩形の頂点となる。残る重心位置を各々ｐ_ｉ，ｑ_ｉ［ｉ＝ａ，ｂ］とする。

そして、図７（ｃ）に示すように、外積（ｗ−ｖ）×（ｐ_ｉ−ｖ）が負の場合、ｐ_ｉを有する識別マークを基準マークとし、正の場合、ｑ_ｉを有する方を基準マークとする。さらに、図７（ｄ）に示すように、基準マークがｑ_ｉを有する場合、外積（ｑ_ａ−ｗ）×（ｑ_ｂ−ｗ）が負ならばｑ_ｂを、正ならばｑ_ａを基準頂点とする。他方も同様に外積（ｐ_ａ−ｖ）×（ｐ_ｂ−ｖ）が負ならｐ_ａを、正ならばｐ_ｂを残りの頂点とする。

図８に示す手法は、以下の通りである。すなわち、図８（ａ）に示すように、一方の識別マーク１０２における穴の重心位置をｐ_ｉ 、もう一方の穴の重心位置をｑ_ｉとする。なお、[ｉ＝０..２］である。次に、図８（ｂ）に示すように、２組の差ベクトルの内積（ｐ_ｊ−ｐ_ｉ）・(ｐ_ｋ -ｐ_ｉ）が最小となる共有点ｐ_ｉをｖとする。 なお、［ｊ，ｋ≠ｉ]である。ｑ_ｉについても同様の共有点ｗを求める。残る重心位置を各々ｐ_ｉ，ｑ_ｉとする。なお、 [i = a, b]である。

そして、図８（ｃ）に示すように、内積（ｗ−ｖ）・（ｐ_ｉ−ｖ）が負の場合、ｑ_ｉを有する識別マーク１０２を基準マークとし、正の場合、ｐ_ｉを有する方を基準マークとする。さらに、図８（ｄ）に示すように、基準マークがｐ_ｉを有する場合、外積（ｐ_ａ−ｖ）×（ｐ_ｂ−ｖ）が負ならばｐ_ｂを、正ならばｐ_ａを基準頂点とする。基準マークがｑ_ｉを有する場合も同様とする。ｖ，ｗ以外の残るｐ_ｉ，ｑ_ｉを参照矩形の残りの頂点とする。

図９に示す手法は、以下の通りである。すなわち、図９（ａ）に示すように、穴が３つある識別マーク１０２を基準マークとし、その穴の重心位置をｐ_ｉとする。なお、 [ｉ＝０..２］である。他方の識別マーク１０２の穴の重心位置をｑ_ｉとし、参照矩形の２頂点とする。なお、 [ｉ＝０，１］である。次に、図９（ｂ）に示すように、基準マークにおいて、２組の差ベクトルの内積（ｐ_ｊ−ｐ_ｉ）・（ｐ_ｋ−ｐ_ｉ）が負となる共有点ｐ_ｉをｖとする。なお、[j, k≠i]である。残る重心位置をｐ_ｉとする。なお、［ｉ＝ａ，ｂ］である。

そして、図９（ｃ）に示すように、外積 （ｐ_ａ−ｖ）×（ｑ_ｉ−ｖ）が負の場合ｐ_ｂを、正の場合ｐ_ａを基準頂点とする。残るｐ_ｉを参照矩形の残りの頂点とする。さらに、図９（ｄ）に示すように、外積 (ｑ_０−ｖ）×（ｑ_１−ｖ）の符号を検査することにより、参照矩形の辺に沿った頂点の並びを得ることができる。本例では［ｐ_ａ, ｑ_０,ｑ_１，ｐ_ｂ］の並びが一例として得られる。

参照矩形がその名の通り矩形を成すために、画像表示領域１０３Ａが存在する平面上へ、その法線方向に参照矩形を正射影した場合、その射影像が矩形となるように、識別マーク１０２を構成及び設置する必要がある。また識別マーク１０２の表面が、画像表示領域１０３Ａが存在する平面上にのるように、参照矩形と画像表示領域１０３Ａとの水平方向の辺が平行となるように設置する。また、レンズに歪曲収差がある場合、少なくとも抽出された参照矩形の頂点すべてに歪曲収差補正を実施する。補正しない場合、検出した指示位置等に歪曲収差による誤差が含まれてしまう。

位置情報検出部２０２では、上述のように抽出された参照矩形に基づいて、画像表示領域１０３Ａにおける外部パラメータや内部パラメータを検出する。本実施形態においては、カメラ（撮像部２０３）の外部パラメータを、指示領域における指示位置(２次元)、カメラレンズ光軸周りの回転角(１次元)及び指示領域に対するカメラレンズの位置(３次元)と定義している。なお、回転角以外は後述のとおり正規化される。

また、本実施形態では、外部パラメータや内部パラメータの算出のために、銃射撃型ゲームをプレイする実３次元空間に、以下のような座標系を定める（図１０参照）。世界座標系０_ｗ−ｘ_ｗ ｙ_ｗ ｚ_ｗの原点は、参照矩形の左上頂点に位置し、ｘ_ｗ，ｙ_ｗ軸は、それぞれ参照矩形の水平、垂直方向に沿い、ｚ_ｗ軸は、参照矩形がのる平面の法線に一致する。カメラ座標系０−ｘｙｚの原点は、レンズの主点に位置し、ｘ，ｙ軸はそれぞれ撮像素子受光面の水平、垂直方向に沿い、ｚ軸は光軸に一致する。画像座標系０_Ｉ−ｘ_Ｉｙ_Ｉの原点は、撮像素子受光面の中心に位置し、ｘ_Ｉ ，ｙ_Ｉ軸は、それぞれ受光面の水平、垂直方向に沿う。撮像素子受光面の法線はｚ軸に一致しており、受光面とレンズ主点までの距離はレンズの焦点距離ｆとする。ただし、ｆは未知であってもよい。

画像座標系が定められた撮像素子受光面がのる平面は、すなわちカメラ座標系における平面ｚ＝ｆである。前述した座標系の定義から、画像座標系の任意点ｐ_Ｉ＝（ｘ_Ｉ，ｙ_Ｉ）^Ｔは、その成分に１次元追加することにより容易にカメラ座標系の点Ｐ＝（ｘ_Ｉ，ｙ_Ｉ，ｆ)^Ｔに拡張することができる。拡張の容易さを図るため、両座標系すべての成分の単位を撮影画像のピクセルとする。

すべての識別マーク１０２が正しく撮影された場合、図１１に示すように、撮像素子受光面にレンズを通して射影された参照矩形の各頂点Ｖ’ｉ（ｉ＝０..３)は、識別マーク１０２自体または内部の穴の重心点である。ここではピンホールレンズモデルを用いる。

［補正参照矩形算出…ステップ５０５］
なお、撮像素子受光面の法線と識別マーク１０２表面の法線とが一致していない場合、受光面上の参照矩形像は射影歪みの影響を受ける。射影歪みを受けた参照矩形像からは正しく指示位置等の検出が行えないため、射影歪みを除去する。すなわち、参照矩形抽出部２０７は、参照矩形像に逆射影変換を施した補正参照矩形を得る必要がある。両法線が一致しているかどうかを撮影画像から知ることはできないため、常に参照矩形像の射影歪みを除去しなければならない。なお、請求項の参照矩形像は、かかる補正参照矩形像までも含む広い概念である。

参照矩形の中心点、すなわちその対角線同士の交点ｃ’は、図１１に示すように、２つの対角線をｔ_２０：（１−ｔ_２０），ｔ_３１：（１−ｔ_３１）にそれぞれ内分する。ｔ_２０，ｔ_３１は、Ｖ’ｉを用いた式（１），（２）の通りである。 なお、ｄｅｔ［Ａ Ｂ］は、小行列Ａ，Ｂで構成される正方行列の行列式を表す。

参照矩形像が射影歪みを受けている場合、ｔ_２０＝ｔ_３１＝０．５とはならず、ｃ’は対角線の中点とはならない。ここで、図１２に示すように、Ｖ’ｉ，ｃ’をカメラ座標系のＶｉ，ｃに拡張し、カメラ座標系の原点０およびＶ０，ｃ，Ｖ _２がのる平面を考える。０とＶ_０とを通る直線上の任意点ｖ_０＝ｔ_０Ｖ _０と、０とＶ_２とを通る直線上の任意点ｖ_２＝ｔ_２Ｖ_２とに、式（３）の関係を与える。

すなわち、中点がｃとなるような線分の端点ｖ_０，ｖ_２としたい。ここで、

であるから、式（３）を整理して式（５）を得る。

同様に、０とＶ_１とを通る直線上の任意点ｖ_１＝ｔ_１Ｖ_１と、０とＶ_３とを通る直線上の任意点ｖ_３＝ｔ_３Ｖ_３に関しても、式（６）を満足させるために、式（７）を得る。

よって、図１２からも分かる通り、式（３）を満足するｖ_０，ｖ_２を端点とする線分のみが、参照矩形の対応する対角線と平行になる。さらに、式（６）よりｖ_１，ｖ_３に関しても、同様のことが言えるため、ｖ_ｉ（ｉ＝０..３)がのる平面Ｃは、参照矩形がのる平面Ｒと平行であり、ｖ_ｉを頂点とする四角形は、矩形になることがわかる。すなわち、前述の参照矩形像を逆射影変換した像(補正参照矩形像)が得られたことになる。

［焦点距離算出…ステップ５０６，５０７］
但し、焦点距離ｆが未知である場合、画像座標系からカメラ座標系への点の拡張は一意に定まらない。そこで、後述のキャリブレーションで説明するように、焦点距離算出部２１３によって算出焦点距離ｆを特定する。

［指示位置算出（補正参照矩形）…ステップ５０８］
焦点距離ｆが特定できたならば、前述の補正参照矩形像および平面Ｃを用いることで、カメラの外部パラメータを求める。まず、指示位置算出部２１０により、補正参照矩形への指示位置を算出する。すなわち、図１３に示すように、補正参照矩形像とカメラ座標系の原点０により構成される四角錐は、同じく参照矩形と原点０により構成される四角錐と相似形であることがわかる。このため、平面Ｃに世界座標系のｘ_ｗ，ｙ_ｗ軸と同様の補正画像座標系０_Ｃ−ｘ_Ｃｙ_Ｃを定め、参照矩形および補正参照矩形像の幅と高さをそれぞれ１として正規化した場合、０を通る直線と平面Ｃ，Ｒとの交点の正規化座標は同一となる。

よって、図１３に示すように、補正参照矩形像における指示位置は、カメラ座標系ｚ軸と平面Ｃとの交点ｐの、補正画像座標系における正規化座標ｐ_Ｃとして求めることができる。ここでｚ軸方向の単位ベクトルｅ_ｚ＝（０，０，１）^Ｔ，平面Ｃの法線ベクトルｎ_Ｃ＝ｖ_２０×ｖ_３１とすると、ｐ，ｐ_Ｃはそれぞれ式（８），（９）の通りとなる。なお、これとは別に、焦点距離を用いずに指示位置を求める手法としては、特許文献３に示したものが適用できる。

［レンズ位置算出（補正参照矩形）…ステップ５０９］
図１４に示すように、指示領域に対するカメラレンズ位置のうち、距離方向以外の２成分を、レンズ主点から下ろした垂線と平面Ｒとの交点の正規化座標と定義する。よって、その２成分はカメラ座標系においてレンズ主点から下ろした垂線と平面Ｃとの交点ｌの、補正画像座標系における正規化座標ｌ_Ｃを求めることに相当する。前述の平面Ｃの法線ベクトルｎ_Ｃを用いると、ｌ，ｌ_Ｃは、それぞれ式（１０），（１１）の通りである。

［指示位置・レンズ位置算出（画像表示領域）…ステップ５１０，５１１］
なお、指示位置およびカメラレンズ位置の距離成分以外の２成分は、参照矩形及び補正参照矩形を基準として正規化されている。しかし、最終的に指示位置として特定すべき対象は、ディスプレイ１０３の画像表示領域１０３Ａであるため、画像表示領域１０３Ａを基準として正規化し直す。この処理は、後述のキャリブレーションにおいて説明する。

[レンズ位置距離成分算出…ステップ５１２］
指示領域に対するカメラレンズ位置のうち、距離方向の成分は、世界座標系においてキャリブレーション時に設定されるカメラレンズ初期位置のｚ_Ｗ成分を、１として正規化した場合の正規化座標と定義する。ただし、ｚ_Ｗ成分を直接は計測できない。そこで、レンズ位置算出部２１１による距離成分の算出にあたっては、レンズと平面Ｒとの距離ｄの位置から、長さＸの平面Ｒ上の線分がレンズを通して平面Ｃ上に長さｘ’の線分像として射影された場合の、焦点距離ｆおよび実係数ｋ_Ｃを用いた式（１２）の関係を考える。

同一距離で参照矩形を撮影したとしても、カメラレンズ位置の残る２成分が変化すれば、レンズ主点と平面Ｃの距離も変化してしまう。この変化の割合を、式（１２）の係数ｋ_Ｃは表している。この係数ｋ_Ｃは、以下の式（１３）により求まる。

以上より、カメラレンズ位置の変化による影響を補正した上記線分像の長さｘ＝ｋ_Ｃｘ’は、距離ｄと常に反比例の関係にあるため、この線分長ｘを用いて正規化された距離を求めることができる。

ここで、前述した長さｘの平面Ｒ上の線分を参照矩形の水平もしくは垂直の辺とする。さらに、カメラレンズ初期位置における平面Ｃ上のその線分像の長さをｘ_ｉとする。それ以降のシステム運用時における同線分像の長さｘを用いて、目的とする正規化された距離ｚ_ｌは式（１４）の通り求まる。ただし、ｘ_ｉ，ｘともにカメラレンズ位置の変化による影響を補正済みとする。

［回転角算出…ステップ５１３］
カメラレンズ光軸周りの回転角については、回転角算出部２１２が、焦点距離ｆによらず求めることができる。ここで、一般性を失うことなくレンズの主点位置を固定して、光軸周りに回転することなく平面Ｒ上の任意点を指示する動作について考える。すなわち、図１５に示すように、世界座標系とカメラ座標系において、ｘ_Ｗ軸とｘ軸およびｙ_Ｗ軸とｙ軸が平行であり、ｘ軸周りの回転角をθｘ、ｙ軸周りの回転角をθｙとした場合、上記動作は光軸を順序付きで両軸周りに回転させることに相当する。回転させる軸の順序は上記指示動作において光軸周りの回転なしとする基準平面の選択により異なる。本実施形態では、実際の使用感に則してｙ_Ｗ軸方向に天地を想定しているため、ｘ_Ｗｚ_Ｗ平面を基準とするが、その場合においては光軸をｘ軸周りからｙ軸周りの順序で回転させる必要がある。

一方、上記回転変換はカメラ座標系においては平面Ｒをｙ軸周りに−θｙ、ｘ軸周りに−θｘの順序で回転させる変換とみなすことができる。このときの合成回転行列Ｒは式（１５）の通りである。

上記Ｒにより、平面Ｒ上の任意の２点ｐ_{Ｗ i} = (ｘ_{Ｗ i}, ｙ_Ｗｉ，０ ）（ｉ＝０，１）は、実定数Ｚと対応する実係数ｋ_ｉを用いると、撮像素子の受光面へは式（１６）のｐ_Ｉｉのごとく画像座標系の点に射影される。

式（１６）のｐ_Ｉｉのｘ_Ｉ成分にｙ_Ｗｉに関する項が含まれていないことに着目すると、ｘ_Ｗｉを任意に固定した場合、差ベクトルｐ_Ｉ１０ = ｐ_Ｉｌ - ｐ_Ｉ０は式（１７）の通りである。

すなわち、式（１７）は、平面Ｒ上のｙ_Ｗ軸に平行な線分は、本装置がカメラレンズ光軸周りに回転しない場合において、常にｙ_Ｉ （ｘ_Ｉ）軸に対して一定の角度をもった線分像として撮像素子に撮影されることを表している。よって、参照矩形のｙ_Ｗ軸方向の辺が撮像素子に撮影された場合、光軸周りに回転前の(後述するキャリブレーション時の本装置の初期姿勢における)その線分像と、光軸周りに回転後のその線分像が成す角度が、カメラレンズ光軸周りの回転角となる。前者の線分像の端点Ｖ_Ｉｉ （ｉ＝０，１）、後者の端点ｖ_Ｉｉ(ｉ＝０，１）とし、ｉは原像の同一端点を表すとすると、回転角θ_ｚの余弦、正弦はそれぞれ式（１８）（１９）の通りである。

［キャリブレーション…ステップ５０７，５１０，５１１］
以上によりカメラの外部パラメータをすべて求めることができた。但し、上述のように、指示位置及びカメラレンズ位置の算出のためには、少なくとも１回は焦点距離ｆを特定する必要がある。また、指示位置・レンズ位置の距離成分以外の２成分は画像表示領域を基準として正規化しなおす必要がある。さらに、カメラレンズ位置の距離成分および光軸周りの回転角については、計測の基準となる本装置の初期位置・姿勢を定めなければならない。これらを解決する作業をキャリブレーションと称し、以下に説明する。

［焦点距離の特定…ステップ５０７］
参照矩形における２つの対角線同士の長さが同一であることに着目すると、ｆを特定するための条件は、以下の通りに導くことができる。

まず、

とする。ここで、ｖ_ｎは、たとえば、図１２、図１３に示されるような補正参照矩形像の頂点を示している。

よって、

同様に、

が得られる。ここで、対角線同士の長さは同一であるから、

ゆえに、

となる。

焦点距離ｆを特定するためには、式（２６）より、ｔ２０≠ｔ３１でなければならい。すなわち、撮影された参照矩形像が矩形もしくは線対称な台形状を成すときは算出不能である。よって、焦点距離のキャリブレーションはたとえば画像表示領域中心を真っ直ぐ見据える位置から、いずれかの頂点位置にカメラレンズ光軸を振った姿勢で行う必要がある。

なお、焦点距離が固定のシステムではそのキャリブレーションは少なくとも１回行えばよいが、ズームレンズ等の使用により焦点距離が変化するシステムでは撮像された画像毎に焦点距離を求め続ける必要がある。

［画像表示領域における指示位置及びレンズ位置算出…ステップ５１０，５１１］
図１６に示す通り、画面表示領域に関するキャリブレーションは、その水平方向の辺が参照矩形の水平方向の辺と平行である場合、少なくとも対角の位置にある２頂点を指示して行う。たとえば、補正画像座標系における画像表示領域の左上、右下頂点をそれぞれｖ_Ｃ０，ｖ_Ｃ１とすれば、任意の指示位置ｐ_Ｃを、画面表示領域を基準として改めて正規化した指示位置ｐ_Ｃｄは式（２７）の通りである。

ただし、ｅ_Ｃｘ，ｅ_Ｃｙは、それぞれ補正画像座標系ｘ_Ｃ，ｙ_Ｃ軸方向の単位ベクトルとする。カメラレンズ位置の距離成分以外の２成分も同様に求める。これらｖ_Ｃ０，ｖ_Ｃ１をキャリブレーションにより計測する。

なお、システム運用中に識別マークが移動してしまった場合は、式（２７）のｖ_Ｃ０，ｖ_Ｃ１が変化してしまうため指示位置等に誤差が生ずる。その際は再度キャリブレーションを実施する必要がある。

カメラレンズ位置の距離成分や光軸周りの回転角は、キャリブレーションにより計測の基準とすべき本装置の初期位置・姿勢をもって、上記の式（１４）のｘ_ｉ及び式（１８），（１９）のＶ_ｉを計測する。

［効果］
以上のような本実施形態によれば、幾何学的図形を使用した簡単な識別マーク１０２から抽出される参照矩形を用いて、撮像部２０３の外部パラメータをすべて厳密解として求めることができる。したがって、近似解で求めるよりも、検出精度が向上する。求める外部パラメータは指示位置、相対位置、回転角等と多様であるため、ゲーム内容、適用範囲等の多様化、高度化を図ることができる。たとえば、同一標的に対する命中であっても、相対位置、回転角に応じて、得点や表示画面を変える等が可能となる。

このような外部パラメータのみならず、内部パラメータのうち焦点距離を、運用時に求めることができる。このため、撮像部２０３の内蔵レンズのピントを調整する以外、外部パラメータを求めるために必要な装置製造時の調整が不要となる。したがって、大量生産に向いている。そして、個体差がある場合、運用時にピントが変化してしまった場合、焦点距離が変化するレンズ（たとえば、バリフォーカルレンズ、ズームレンズ等）であっても、適切に焦点距離を更新して、問題なく検出できる。

目的とする各種パラメータを求めるための演算規模は従来技術と比較して小さく、演算の構成も簡素であるため、処理負担が小さい。また、外乱光と識別マーク１０２を判別する機能も実現しているため、周囲の照明環境に柔軟に対応できる。特に、識別マーク１０２の抽出は、撮影された画像を水平ライン毎に逐次的に記憶および検査すればよいため、１画面分の画像記憶領域を必要とせず、総じて水平数ライン程度の記憶領域で抽出が可能であるので、小規模の組込機器に適している。

識別マーク１０２は、識別可能な幾何学的図形を有していればよいので、構成が単純であり、設置が容易である。また、幾何学的図形の特徴や設置方法に方向性を持たせることにより、天地等の方向の識別が可能となる。これにより、装置の姿勢によらず、正しい指示位置等の検出が可能となる。そして、識別マーク１０２は、自発光型とすれば、識別しやすくなるが、反射型としても、設置が容易となり家庭用途に適する。

投光部２０４、撮像部２０３、位置情報検出部２０２、識別マーク抽出部２０６、参照矩形抽出部２０７等を含む装置が、全てガン型コントローラ１０１内に一体的に構成されているので、全体構成を簡素化でき、装置間の接続作業も簡単となる。

［第２の実施形態］
［概要］
本実施形態は、上記の第１の実施形態を基本としつつ、さらに、被写体や撮像素子の高速な移動によって所望の識別マーク像が得られない場合においても、以下のような特徴によって、参照矩形を良好に推定し位置検出を行うことが可能なものである。
（Ａ）直前の参照矩形像の大きさより、識別マーク位置推定対象となる参照矩形頂点の近傍領域を決定する。
（Ｂ）直前の参照矩形像頂点と同位置の、現画像における近傍領域の部分画像より、識別マーク画像の背景と見做すべき画素値の閾値を求める。
・閾値は部分画像毎に個別に求めてもよい。
・閾値算出過程で得られた統計量より撮像素子の露光時間等を制御してもよい。
（Ｃ）直前の参照矩形像頂点と同位置の、現画像における近傍領域の部分画像より、濃淡画像の重心を求める。
・重心を求めるのに先立って精度向上のため背景と見做すべき画素値の閾値を用いて背景光成分を除去してもよい。
・部分画像毎の１次モーメントおよび０次モーメントを求めて重心を算出してもよい。
・各モーメントは部分画像を複数の区画に分割し、区画毎に求めてもよい。
・分割した区画のうち、重心算出に適する区画のみを選択して重心を算出してもよい。
（Ｄ）求められた重心より、現画像上の参照矩形像の頂点位置を推定する。
・重心を直接参照矩形像の頂点としてもよい。
・直前の参照矩形像頂点とそれに対応する識別マーク像の重心との幾何学的情報を用いて現画像で求められた重心により参照矩形像の頂点を算出してもよい。

［構成］
次に、本実施形態の構成を説明する。なお、本実施形態は、基本的には、上記の第１の実施形態と同様である。但し、本実施形態は、図１７に示すように、参照矩形処理部３１０を備えている。この参照矩形処理部３１０は、抽出された識別マーク１０２のパターンから、参照矩形を抽出する参照矩形抽出部３２０（第１の実施形態における２０７）、参照矩形の抽出ができなかった場合に、直前に抽出もしくは推定された参照矩形等に基づいて、参照矩形を推定する参照矩形推定部３３０を有している。

参照矩形推定部３３０は、直前に抽出もしくは推定された参照矩形をもとに、識別マーク近傍領域を算出する領域算出部３３１、遮断すべき背景光を検出する背景光検出部３３２、識別マーク近傍領域と背景光に基づいて、識別マークの重心を推定する重心推定部３３３、推定された重心に基づいて、直前に抽出もしくは推定された参照矩形の頂点との対応付けを行う整合部３３４、推定された重心と整合部による対応付けの結果から、参照矩形を推定する推定部３３５を有している。

位置情報検出部２０２は、抽出もしくは推定された参照矩形等に基づいて、画像表示領域１０３Ａにおける指示位置、レンズ位置、回転角等のカメラ(撮像部２０３)の外部パラメータや、焦点距離等の内部パラメータを検出する。参照矩形処理部３１０、位置情報検出部２０２における具体的な処理は、以下の作用に述べるように行われる。

なお、本実施形態においても、各処理で抽出、算出等された情報は、適宜、メモリ等の記憶手段に記憶され、次処理に利用されるが、常識的であるため、図示は省略する。記憶手段として、どのような種類、容量のものを確保するかについては、自由である。特に、本実施形態においては、参照矩形処理において、抽出された参照矩形や推定された参照矩形もメモリに記憶され（参照矩形記憶部）、直前に抽出された参照矩形や推定された参照矩形は、参照矩形推定処理に利用される。

［作用］
以上のような本実施形態による処理を、図１８のフローチャート、図１９〜２３の説明図を参照して説明する。なお、上記の第１の実施形態と同様の処理については、説明を省略する。また、下記の処理手順は例示であり、各処理において必要な情報がその前段階のいずれかにおいて得られているのであれば、順序が前後してもよい。

［参照矩形推定処理…ステップ５１５〜５２０］
上述の第１の実施形態における識別マーク抽出処理（ステップ５０２）において、識別マークの抽出に失敗した場合には（ステップ５０２ａ）、参照矩形推定処理に移行する（ステップ５１５〜５２０）。

すなわち、位置情報検出部２０２では、抽出された参照矩形をもとに、画像表示領域における指示位置等のカメラ(撮像部)の外部パラメータや内部パラメータである焦点距離を検出するが、被写体である識別マークやカメラが比較的高速に移動した場合、識別マーク像がぶれてしまい期待する形状および画素値(受光量)が得られなくなり、たとえ識別マークを撮像したとしても参照矩形の抽出に失敗してしまう。

本問題は普及型カメラの構造上回避できないが、シャッタースピードが高速なカメラを用いることで解決が可能である。ただし、同カメラは比較的高価であるため製品コストを抑えにくいという別の問題が生じる。

さらにそのような高速移動期間においては正確な指示位置検出の要求は少なく、位置検出誤差が比較的大きくなってしまったとしても、指示位置検出を成功させることへの要求のほうが優先的である。

よって、普及型カメラにより問題となる高速移動期間においても参照矩形を推定し抽出できればよい。それを実現するために、本実施形態では、参照矩形推定部３３０において、識別マーク位置を推定し、続いて参照矩形像の頂点位置を推定する処理を行う。このような一連の参照矩形推定処理を、以下に詳述する。

［識別マーク近傍領域算出…ステップ５１５］
まず、参照矩形の抽出に失敗した場合（ステップ５０２ａ）、撮影画像を対象として参照矩形の推定を行うに先立って、直前に抽出もしくは推定された参照矩形をもとに、領域算出部３３１が、参照矩形の大きさに応じた領域を算出する（ステップ５１５）。

識別マーク近傍領域の半径の長さは、たとえば参照矩形の任意辺の１／ｎとしたり、任意辺の端点のｘ座標もしくはｙ座標同士の差のうち大きい方の１／ｎとしたりして許容すべき移動速度をもとに決定する。ただし、図１９に示すように、近傍領域同士が重ならないよう決定すべきである。

識別マーク近傍領域の中心は、参照矩形の頂点とする。図２０に示すように、識別マークが２点の場合は、同一識別マークに属する２点の参照矩形頂点を結ぶ線分の中点とするため、近傍領域数は２である。なお、図１９及び図２０では、説明を容易にするため識別マーク近傍領域の形状を正方形としたが、この形状には限定されない。

［背景光検出…ステップ５１６］
背景光検出部３３２は、現画像上の直前に求められた識別マーク近傍領域に対応する領域内の部分画像より、識別マーク像の背景と見做すべき画素値の閾値(背景光遮断閾値)を決定する（ステップ５１６）。

ノイズの少ない理想的な状態で識別マークが撮影された場合、同部分画像による画素値を階級とする画素数のヒストグラムは、おおよそ図２１に示すような傾向を示す。よって、多値画像の２値化手法を応用して背景光遮断閾値を決定する。

本閾値は複数の部分画像をまとめて唯一つ求めることも、部分画像毎に求めることもできる。以降の説明は部分画像毎に閾値を求めたものとする。

背景光検出処理において得られたヒストグラムが、図２１に示す特徴と異なる場合、理想的でない撮影状態の可能性があるため、図２１と同様な特徴が得られるように、撮像部２０３の撮像素子の露光時間等を適切に制御してもよいし、Ｉ／Ｏ部２０８経由で、本システム外部のホスト機器に適切な制御情報を提供させてもよい。

［識別マーク重心推定…ステップ５１７］
重心推定部３３３は、現画像上の直前に求められた識別マーク近傍領域に対応する領域内の部分画像より、識別マークと推定される画素情報を集計してそれら画素集合の重心を求める。画素集合が識別マーク像より構成される場合は、良好に識別マーク像の重心を求めることができる。

算出する重心の精度を向上させるために、背景光検出処理で求めた背景光遮断閾値Ｉ_ｂ ^（ｋ）により対応する識別マーク近傍領域ｋの部分画像ｓ^（ｋ）（ｉ，ｊ）を、式（２８）のとおり、ｔ^（ｋ）（ｉ，ｊ）へ変換してもよい。

識別マーク近傍領域ｋの部分画像ｓ^（ｋ）（ｉ，ｊ）の重心を求めるために、同画像の０次モーメントｍ_０ ^（ｋ）およびｉ方向とｊ方向の１次モーメントｍ_ｉ ^（ｋ），ｍ_ｊ ^（ｋ）を、式（２９）−（３１）のとおり、逐次求める。以降、ｓ^（ｋ）（ｉ，ｊ）は式（２８）のｔ^（ｋ）（ｉ，ｊ）に読み替えてもよい。

これらｍ_０ ^（ｋ），ｍ_ｉ ^（ｋ），ｍ_ｊ ^（ｋ）により、部分画像ｓ^（ｋ）（ｉ，ｊ）の重心ｇ^（ｋ）は、式（３２）のとおり求めることができる。

しかし、これら部分画像に識別マーク以外のノイズ成分が無視できない程度に含まれる場合は、式（３２）の重心算出方法では、誤った重心が求まる可能性がある。そこで、図２２に示すように、すべての識別マーク近傍領域を同様に複数の区画に分割し、重心算出に適する区画のみを選択することで期待する重心を求めることができる。

識別マーク近傍領域ｋの区画ｌにおける部分画像ｓ^{（ｋ，ｌ）}（ｉ，ｊ）毎に、式（２９）−（３１）と同様に、０次モーメントｍ_０ ^{（ｋ，ｌ）}およびｉ方向とｊ方向の１次モーメントｍ_ｉ ^{（ｋ，ｌ）}，ｍ_ｊ ^{（ｋ，ｌ）}を求めておく。

重心算出に適する区画を選択するためには、たとえば、図２３に示すような識別マーク近傍領域間の一定条件を満たした選択候補区画の一致を考える。

区画ｌを選択候補とする条件として、識別マーク近傍領域がｎ個の区画に分割される場合、区画ｌを含む識別マーク近傍領域ｋの０次モーメントｍ_０ ^（ｋ）と区画数ｎによる関数値ｆ（ｍ_０ ^（ｋ），ｎ）が、区画ｌの０次モーメントｍ_０ ^{（ｋ，ｌ）}を下回ることなどが挙げられる。このｆ（ｍ，ｎ）は、たとえばｆ＝ｍ／ａｎ（ａは任意の定数）とできるが、識別マーク像を一定率以上含む区画が選択候補となるように決定される。

すべての識別マーク近傍領域が、撮影画像上である程度同一方向に移動するならば、図２３のとおり、複数の識別マーク近傍領域間の同一区画で識別マーク像を一定率以上含むものが選択候補とされることを期待できる。

このように複数領域間で一致する選択候補区画のみを選択すれば、ノイズ成分を含む区画を良好に排除することができる。

以上のとおり選択された区画のみの各モーメントの和をそれぞれｍ’_０ ^（ｋ），ｍ’_ｉ ^（ｋ），ｍ’_ｊ ^（ｋ）とすれば、部分画像ｓ^（ｋ）（ｉ，ｊ）の重心ｇ’^（ｋ）＝［ｍ’_ｉ ^（ｋ）／ｍ’_０ ^（ｋ），ｍ’_ｊ ^（ｋ）／ｍ’_０ ^（ｋ）］^Ｔが新たに得られる。

以上までの参照矩形推定処理は、識別マーク抽出処理等と平行して実行することが可能である。

［識別マーク整合…ステップ５１８，５１９］
整合部３３４は、直前に抽出または推定された参照矩形の各頂点位置と、現画像から抽出された参照矩形の各頂点（重心）位置との対応付けを試みる。

識別マークが４点の場合は、現画像で参照矩形が抽出されたならばそのまま後段の処理に出力する（ステップ５１８）。参照矩形の抽出に失敗したが一部の参照矩形頂点が抽出できた場合、整合部３３４は、それら頂点を、それぞれ直前に抽出または推定された参照矩形の各頂点のうち最も近くに存在する頂点に対応させ、それらのみを出力する（ステップ５１９）。すべての頂点の抽出に失敗した場合は出力なしとする。

識別マークが２点の場合は、現画像で参照矩形が抽出されたならばそのまま後段の処理に出力する（ステップ５１８）。参照矩形の抽出に失敗した場合は出力なしとする。

［参照矩形推定…ステップ５２０］
推定部３３５は、抽出された参照矩形の一部または全部と部分画像ｓ^（ｋ）（ｉ，ｊ）の重心ｇ^（ｋ）（ｇ’^（ｋ））とにより現画像における参照矩形を推定する。

識別マークが４点の場合は、参照矩形の抽出に成功しているならばそのままそれを参照矩形とする。一部の参照矩形頂点のみが抽出されている場合もしくはすべての頂点の抽出に失敗している場合は、抽出に失敗した頂点の識別マーク近傍領域ｋから求められた重心ｇ^（ｋ）（ｇ’^（ｋ））を当該頂点と推定する。その推定した頂点と抽出に成功した頂点とをもって参照矩形とする。

識別マークが２点の場合は、参照矩形の抽出に成功しているならば求められた２つの重心間の差分ベクトル自身の内積Ｇ＝（ｇ^（１）−ｇ^（０））・（ｇ^（１）−ｇ^（０））と参照矩形の各頂点ｖ_ｉと重心ｇ^（０） (またはｇ^（１））とで決定する式（２６）の参照矩形頂点推定係数行列Ｖ_ｉを求めて記憶する(表記簡略化のためｇ’^（ｋ）を割愛している)。

参照矩形の抽出に失敗している場合、現画像より求められた2つの重心間の差分ベクトルｇ＝ｇ^（１）−ｇ^（０）と、直前に求められたＧおよびＶ_ｉにより、式（３４）のとおり各頂点ｖ_ｉを推定する。

［効果］
以上のような本実施形態によれば、上記の第１の実施形態の効果に加えて、以下のような効果が得られる。すなわち、現画像で参照矩形の抽出に失敗したとしても、直前の参照矩形の抽出もしくは推定に成功している場合には、一連の参照矩形推定処理により、現画像における参照矩形を良好に推定可能となり、要求される指示位置検出結果を得られる。

また、識別マーク１０２や撮像部２０３の高速移動による像のぶれはもちろん、他の何らかの原因により参照矩形の抽出に失敗した場合においても、本機能は良好に参照矩形を推定できることは自明であり、指示位置検出の成功率は従来よりも向上する。たとえば、一時的な光量不足により識別マーク１０２の認識に失敗した場合においても指示位置検出に成功する。したがって、高価な高速度対応型の撮像素子が必ずしも必要とならず、普及型の撮像素子を用いて製品コストを抑えることが可能となる。また、カメラの動作可能距離範囲の拡大にもつながる。

また、直前の参照矩形に基づいて算出された識別マーク１０２の近傍領域を対象として、背景光を遮断し、識別マーク１０２の重心を推定して、これにより参照矩形を推定できるので、処理すべきデータ量を低減した高速化を図りつつ、より高い確度によって良好な参照矩形が推定できる。そして、推定できない重心があっても、直前の参照矩形に基づいて頂点を推定できるので、参照矩形が得られる可能性が高まる。

［他の実施形態］
本発明は上記の実施形態に限定されるものではない。上記の説明は、本発明が目的とするところを実現できるその他の実施形態に対する説明としても容易に読み替えることができる。また、図２及び図１７に示した機能ブロック図は、概念的なものであり、これらの機能を実現する具体的な回路は種々考えられ、特定のものには限定されない。また、本発明は、上記の処理に対応してコンピュータ及び周辺回路を動作させる方法、プログラムとしても把握できる。ハードウェア処理によって実現する範囲とソフトウェア処理によって実現する範囲も自由である。ディスプレイも、ＣＲＴ、ＬＣＤ以外の現在又は将来において利用可能なあらゆるものを適用可能である。

また、本発明の用途としては、射撃型のゲームには限定されない。たとえば、射撃型以外の釣り、フェンシング、消防活動などのゲーム、ゲーム以外のプレゼンテーションシステム、会議システム、テレビジョンのリモートコントローラ、照明のオン／オフ、ブラインド開閉などのリモートコントローラ、倉庫や書庫の管理システムなどに適用可能である。したがって、指示対象となる平面は、ディスプレイには限定されず、スクリーン、パネル、壁面その他あらゆるものが利用できる。

Claims (13)

1. 指示対象平面側に配設された識別マークをカメラレンズを介して撮像する撮像部と、
   前記撮像部が撮像した画像から、幾何学的図形像を抽出する識別マーク抽出部と、
   複数の前記幾何学的図形像の重心を結ぶことにより形成される参照矩形像を抽出する参照矩形抽出部と、
   前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出する焦点距離算出部と、
   前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出する指示位置算出部と、
   を有することを特徴とする位置情報検出装置。
2. 指示対象平面側に配設された識別マークをカメラレンズを介して撮像する撮像部と、
   前記撮像部が撮像した画像から、幾何学的図形像を抽出する識別マーク抽出部と、
   複数の前記幾何学的図形像の重心を結ぶことにより形成される参照矩形像を抽出する参照矩形抽出部と、
   前記参照矩形抽出部により抽出された参照矩形像を記憶する参照矩形記憶部と、
   前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出する焦点距離算出部と、
   前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出する指示位置算出部と、
   前記識別マーク抽出部による識別マークの抽出ができない場合に、前記参照矩形記憶部に記憶された参照矩形像に基づいて、参照矩形像を推定する参照矩形推定部と、
   を有することを特徴とする位置情報検出装置。
3. 前記参照矩形推定部は、
   前記参照矩形記憶部に記憶された参照矩形像に基づいて、識別マークの近傍領域を算出する領域算出部と、
   前記近傍領域において遮断すべき背景光を検出する背景光検出部と、
   前記背景光検出部による検出結果に基づいて、前記近傍領域における識別マークの重心を推定する重心推定部と、
   前記重心推定部により推定された重心に基づいて、参照矩形像を推定する推定部と、
   を有することを特徴とする請求項２記載の位置情報検出装置。
4. 前記推定部による推定のために、前記重心推定部により推定された重心と、前記参照矩形記憶部に記憶された参照矩形像との対応付けを行う整合部を有することを特徴とする請求項２又は請求項３記載の位置情報検出装置。
5. 前記座標系及び前記焦点距離に基づいて、前記指示対象平面を基準に張った３次元の座標系における前記撮像部の相対位置を算出する撮像部位置算出部を有することを特徴とする請求項１又は請求項２記載の位置情報検出装置。
6. 前記撮像部の回転の前後における前記座標系に基づいて、前記撮像部の回転角を算出する回転角算出部を有することを特徴とする請求項１又は請求項２記載の位置情報検出装置。
7. 前記識別マークは、前記撮像部が撮像して得られた画像から、前記幾何学的図形を識別可能とする光源を有することを特徴とする請求項１又は請求項２記載の位置情報検出装置。
8. 前記撮像部は、前記識別マークに光を照射する投光部を有することを特徴とする請求項１又は請求項２記載の位置情報検出装置。
9. 前記撮像部、前記識別マーク抽出部、前記参照矩形抽出部、前記参照矩形記憶部、前記焦点距離算出部、前記指示位置算出部及び前記参照矩形推定部が一体的に構成されていることを特徴とする請求項１又は請求項２記載の位置情報検出装置。
10. 撮像部が、指示対象平面側に配設された識別マークをカメラレンズを介して撮像し、
    識別マーク抽出部が、撮像部により撮像された画像から、幾何学的図形像を抽出し、
    参照矩形抽出部が、複数の前記幾何学的図形像の重心を結ぶことにより形成される参照矩形像を抽出し、
    焦点距離算出部が、前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出し、
    指示位置算出部が、前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出することを特徴とする位置情報検出方法。
11. 撮像部が、指示対象平面側に配設された識別マークをカメラレンズを介して撮像し、
    識別マーク抽出部が、撮像部により撮像された画像から、幾何学的図形像を抽出し、
    参照矩形抽出部が、複数の前記幾何学的図形像の重心を結ぶことにより形成される参照矩形像を抽出し、
    参照矩形記憶部が、前記参照矩形抽出部により抽出された参照矩形像を記憶し、
    焦点距離算出部が、前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出し、
    指示位置算出部が、前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出し、
    参照矩形推定部が、前記識別マーク抽出部による識別マークの抽出ができない場合に、前記参照矩形記憶部に記憶された参照矩形像に基づいて、参照矩形像を推定することを特徴とする位置情報検出方法。
12. 撮像部が接続されたコンピュータにより実行可能な位置情報検出プログラムにおいて、
    撮像部に、指示対象平面側に配設された識別マークをカメラレンズを介して撮像させ、
    撮像部により撮像された画像から、幾何学的図形像を抽出させ、
    複数の前記幾何学的図形像の重心を結ぶことにより形成される参照矩形像を抽出させ、
    前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出させ、
    前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出させることを特徴とする位置情報検出プログラム。
13. 撮像部が接続されたコンピュータにより実行可能な位置情報検出プログラムにおいて、
    撮像部に、指示対象平面側に配設された識別マークをカメラレンズを介して撮像させ、
    撮像部により撮像された画像から、幾何学的図形像を抽出させ、
    複数の前記幾何学的図形像の重心を結ぶことにより形成される参照矩形像を抽出させ、
    前記参照矩形像を記憶させ、
    前記参照矩形像により特定される座標系に基づいて、前記指示対象平面に対する前記撮像部のカメラレンズの焦点距離を算出させ、
    前記座標系及び前記焦点距離に基づいて、前記指示対象平面に対する前記撮像部の指示位置を算出させ、
    識別マークの抽出ができない場合に、記憶された参照矩形像に基づいて、参照矩形像を推定させることを特徴とする位置情報検出プログラム。

Images