JPWO2005096129A1 - 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム - Google Patents

Abstract

【課題】 マークの情報に他のマークの位置を推測させる情報を盛り込み、マークが４つ撮影されない状況でも、ディスプレイ四隅のマークの位置情報を取得する。【解決手段】 ディスプレイ１の四隅に、他の３つのマークの配置方向を示す指標線分を含むマーク０〜３を設け、これを撮像装置１で撮像する。位置検出部５は、撮影された画像中からマークを抽出するマーク検出部５１、撮影された各マークがディスプレイのどの位置に設けられたものであるかを判別するマーク種別判別部５２、撮像された各マークに含まれる線分を判別する指標線分選定部５３、指標線分の延長線の交点から未撮像マークの位置を演算する未撮影マーク位置演算部５４、画像平面上における撮影マークと未撮影マークの画像平面上の位置情報に基づいて、ディスプレイと撮像装置間の相対位置を演算する相対座標検出部５５を備えている。【選択図】図１

Description

本発明は、撮像装置によってディスプレイを撮影した場合において、撮像装置の光軸（又は、指示方向）とディスプレイ平面との交点におけるディスプレイ上の相対座標を検出するための撮像装置の指示位置検出方法および装置に関するものであって、特に、射撃ゲーム用のガンやポインティングデバイスに内蔵された撮像装置を用いて、ディスプレイ側に用意された複数のマークを撮影することにより、撮像装置の光軸がディスプレイ上のどの位置を指示しているかを検出するための方法および装置に係る。
また、本発明は、前記位置検出方法および装置をコンピュータ上で実現するための撮像装置の指示位置検出用プログラムに関する。

従来から、ＣＲＴや液晶ディスプレイを利用した射撃ゲームにおいて、標的をねらうガンなどの発射装置の照準位置を検出したり、スクリーン型のディスプレイ上に投影された画像上の所定の位置を指示するためのポインティングデバイスの使用時に、ポインティングデバイスの指示するディスプレイ上の位置を検出するための装置として、撮像装置を利用したものが知られている（特許文献１−３参照）。

この種の装置は、被写体となるディスプレイの四隅に設けられたマークを撮影し、ディスプレイと撮像装置の距離、角度等に応じて、撮影された四隅のマークの画像平面上における相対位置が変化することを利用して、ディスプレイに対する撮像装置の光軸の向き、すなわちディスプレイ上におけるガンの照準位置やポインティングデバイスの指示位置を検出するものである。
特開平８−７１２５２号公報 特開平１１−３０５９３５号公報 特開２００１−１４８０２５号公報

この種の撮像装置の指示位置検出装置は、撮像装置によって撮影された四隅のマークの画像平面上での位置情報を用いて撮像装置の光軸が指示するディスプレイ平面上の相対位置を検出するものであるため、射影歪みを考慮した精度の良い位置検出を行う場合、必ず、ディスプレイ上の規定された四隅のマークの位置情報が必要となる。なお、マークの位置は、必ずしも特許文献１−３のようなディスプレイの四隅でなくても良いが、少なくとも４つに設けられていることが検出精度上不可欠である。

このような従来技術において、撮像装置の照準や指示位置をディスプレイの周辺領域に定めると、その反対側に設けられたマークが撮影範囲から外れてしまい、４つのマークを画像平面上に映し出すことができなくなり、撮像装置の位置決めが不可能となる。そのため、これら４つのマークを必ず画像平面範囲内に撮像するためには、ディスプレイと撮像装置の距離はディスプレイ全体が写るくらい十分に離れている必要がある。

しかし、撮像装置とディスプレイの距離を大きくすることは、これを利用したゲーム機などの大型化に繋がり、特に、設置スペースの小型化が求められているアーケードゲーム機などにおいては大きな不都合であった。また、大型のディスプレイを使用した場合は、撮像装置とディスプレイの距離がより大きくなり、離れた位置から撮像装置を内蔵したガンやポインタを操作することになり、ディスプレイの希望する位置に照準を合わせることが困難になったり、表示内容を確認することが不可能になる問題が生じていた。

本発明は前記のような従来技術の問題点を解決するために提案されたものであって、その目的は、マークの情報に他のマークの位置を推測させる情報を盛り込み、撮像されていないマークの位置を推測させることにより、マークが４つ撮影されない状況であっても、ディスプレイ四隅のマークの位置情報を取得可能とし、その４つの位置情報に基づいて、撮像装置の指示位置検出を精度良く実施することができるようにした位置検出方法および装置を提供することにある。

本発明の他の目的は、ディスプレイの四隅のマークすべてを撮影しない状態でも四隅のマークの位置確認を可能とすることにより、ディスプレイの周辺領域に照準位置や指示位置が向けられた場合であっても、撮像装置の指示位置検出を精度良く行うことを可能とした位置検出方法および装置を提供することにある。

本発明のさらに他の目的は、ディスプレイ四隅のマークすべてを撮影しなくても撮像装置の指示位置検出を可能とすることにより、撮像装置とディスプレイの距離の短縮化を図り、装置全体の小型化および操作性の向上を可能とした位置検出方法および装置を提供することにある。

本発明は、４つのマークを使用した撮像装置の指示位置検出方法に関するものであって、ディスプレイの四隅にそれぞれマークを配置し、各マークには、他の３つのマークの配置方向を示す直線状の指標線分を設けておき、撮像装置の指示位置検出時において、撮像装置に４つのマークが撮影されていない場合に、撮影された少なくとも２つのマークがディスプレイのどの位置に設けられたものであるかを判別して、撮像されていないマークの存在する方向を検出する処理と、撮像された各マークに含まれる指標線分を判別して、その指標線分を撮像されていないマークの存在する方向に延長すると共に、各マークから延長された線分の交点を求め、この交点上に撮像されていないマークの存在位置を演算する処理と、この演算された撮影されていないマークの位置と、前記撮影された複数のマークの位置とに基づいて、ディスプレイ上に設けられた４つのマークの撮像装置における画像平面上の位置を算定する処理と、これら４つのマークの画像平面上の位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理とを含むことを特徴とする。

本発明は、他の態様として、以上の方法を撮像装置の指示位置検出装置や撮像装置の指示位置検出用プログラムとして捉えることも可能である。

このような態様によれば、ディスプレイの四隅に設けられた各マークに他のマークの方向を示す情報、すなわち指標線分を包含させることにより、撮像装置の画像平面上にすべてのマークが撮影されていない場合であっても、少なくとも２つのマークが撮影されていれば、撮影されたマークに包含されている指標線分を検出し、この指標線分を延長することにより、未撮影のマークの画像平面上の位置を算出することができる。その結果、撮影されたマークと演算により算定された未撮影のマークの画像平面上における位置情報に基づいて、すべてのマークが撮影された場合と同様にして、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出することが可能である。

本発明の他の態様は、２つのマークを使用した撮像装置の指示位置検出方法に関するものであって、撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、ディスプレイの四隅のうち、２つにマークを配置し、各マークには、マークが設けられていないディスプレイの隅部の配置方向を示す直線状の指標線分を設けておき、撮像装置の指示位置検出時においては、撮像装置により撮影された画像平面上における撮像された２つのマークの位置と、これら２つのマークに含まれる指標線分を判別する処理と、前記２つのマークに含まれている指標線分をマークが設けられていないディスプレイの隅部の方向に延長すると共に、この延長した線分の交点を演算し、この交点をマークが設けられていないディスプレイの隅部の画像平面上における位置とする処理と、この演算されたディスプレイ隅部の位置と、前記撮影された２つのマークの位置とに基づいて、ディスプレイの四隅の位置の画像平面上における位置を算定する処理と、これらディスプレイの四隅の位置の画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする。

本発明は、他の態様として、以上の方法を撮像装置の指示位置検出装置や撮像装置の指示位置検出用プログラムとして捉えることも可能である。

このような態様によれば、ディスプレイ側に２つのマークを設け、これら各マークにディスプレイのマークが設けられていない隅部の方向を示す情報、すなわち指標線分を包含させることにより、撮像装置の画像平面上に撮影された２つのマークに包含されている指標線分を検出し、この指標線分を延長することにより、ディスプレイのマークが設けられていない隅部の画像平面上の位置を算出することができる。その結果、撮影されたマークと演算により算定されたディスプレイの隅部の画像平面上における位置情報に基づいて、ディスプレイの四隅に設けられたすべてのマークが撮影された場合と同様にして、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出することが可能である。

本発明によれば、マークをディスプレイの四隅に４つ設置した場合には、指標線分を３本備えた４つのマークの内、任意の２つが撮像できれば、前記指標線分の情報から撮像されていないマークの位置を予測でき、マークを４つ撮像しなければならない場合と比較して、撮像装置の操作範囲の拡大が可能となる。

また、マークをディスプレイの四隅のうち、少なくとも２カ所に設けた場合には、指標線分を備えた少なくとも２つのマークを撮像することにより、これら２つのマークに含まれる指標線分の情報からディスプレイのマークが存在しない他の隅部の位置を予測でき、これらマークの位置と予測されたディスプレイ隅部の位置に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置検出することが可能になり、マークを４カ所設ける場合と比較して、マーク設置個数の低減が可能となる。

本発明の実施例１の構成を示すブロック図。 本発明の実施例１の動作を示すフローチャート。 本発明のマーク位置推測の原理を示す説明図。 本発明に使用するマークの一例を示す正面図。 図４のマークの拡大正面図。 本発明に使用するマークの他の例を示す正面図。 図４のマークを使用した場合のマーク推測位置を示す正面図。 射影歪みによる撮像画像の変形を示す正面図。 射影歪みによるマークの変形を示す正面図。 本発明に使用するマークのさらに他の例を示す正面図。 図１０のマークをディスプレイ四隅に配設した場合の正面図。 実施例１における撮像画像中からマークをサイズにより判別する手法を示す正面図。 図４のマーク判別に当たり、輪郭追跡を行う際に使用する方向カテゴリを説明するための図。 図４のマークの判別に当たり、三角形を検出する手法を説明する図。 ３つのマークが検出された場合に、残る１つの未撮像のマークの検出方法を示す図。 ２つのマークが検出された場合に、その組み合わせを示すディスプレイの正面図。 ２つのマークが検出された場合に、残る２つの未撮像のマークの検出方法を示す図。 ２つのマークが検出された場合に、各マークの頂点を識別する手法を示す図。 ２つのマークが検出された場合に、未撮像マークの位置を推測するために使用する指標線分を選択する手法を示す図。 撮像されたマークと未撮像のマークとからなる４つのマークを識別するに当たり、撮像されたマークの組み合わせを示す図。 本発明において、ディスプレイの下部に設けられた２つのマークが撮像されている場合の効果を説明する図。 本発明において、ディスプレイの左側に設けられた２つのマークが撮像されている場合の効果を説明する図。 図１０のマークを使用した場合に、撮像画像中から図１０のマークを抽出する手法を示す図。 図１０のマークを使用した場合に、撮像画像中から図１０のマークを抽出する他の手法を示す図。

符号の説明

１…ディスプレイ
２…撮像装置
３…Ａ／Ｄ変換器
４…フレームメモリ
５…位置検出部
６…ディスプレイ制御部
５０…フィルタ処理部
５１…マーク検出部
５２…マーク種別検出部
５３…指標線分選定部
５４…未撮像マーク位置演算部
５５…相対座標検出部

本発明のように、射影変換を利用して、被写体であるとディスプレイと撮像装置によって撮影された画像平面との相対的な位置関係を把握する場合、被写体および画像平面上における直線性は位相不変量であり、射影変換では直線は直線に変換されることがわかっている。そこで、２つの直線Ａ，Ｂの交点をＣとし、また、直線Ａ，Ｂの射影変換後の直線をそれぞれＡ’，Ｂ’、交点Ｃの射影変換後の位置をＣ’とすると、Ｃ’はＡ’、Ｂ’の交点となる。今、線分の延長線上の交点が、反対側のマークの位置になるような線分情報を各マークに盛り込んだ場合、被写体（ディスプレイ）上の２点のマークが撮像されていれば、他の２点のマーク位置を、線分の延長線上の交点として推測できる。

本発明は、これらの特徴を利用し、
（１）マーク４つを設置した場合における、撮像装置の操作範囲の拡大。
（２）マークの設置個数の低減。
のいずれかを可能としたものである。

この場合、ディスプレイに設ける各マークは、直線情報を含む形状となるため、それに応じた認識処理が必要となり、且つ追加される処理として、マークの座標位置の推定を行う処理が必要となる。以下に、どのような形状のマークが考えられるか、それらの認識手法、認識後の交点の推測方法を示す。なお、以下の説明において、簡単化のためマークに付加する直線情報を以下「指標線分」と称す。

指標線分の構成する画素数（エッジの画素数）により、指標線分の精度が決定する。言い換えれば、指標線分が、少ない個数で構成されていれば、それだけ、直線上の交点の位置は不確かなものとなる。但し、マーク４点を撮像できない状態とは、被写体と位置認識ユニットである撮像装置がある程度近い場合に発生するものと考えられる。

今、図３に示すように、ディスプレイの四隅に設置されるマークをそれぞれ、マーク０，１，２，３とする。このとき、マーク０に、延長線上にマーク１，２，３が存在するような情報を含ませておくことにより、マーク０のみが撮像されても残りのマークが存在する方向が判断できるようにする。マーク１，２，３の構成も同様に、延長線上に自身以外のマークが存在する線分の情報を含ませる。但し、マークと、他の図形の判別をする必要があるため、マークの形状を工夫する必要がある。

そこで、本実施形態において、マークは、図４のように、一つの円形部（塗りつぶし部）を内部に持ち、その周りを三角形の枠で囲まれている形状（マーク０，１）、および内部に塗りつぶし部がない策角形の枠で囲まれている形状（マーク２，３）とする。また、画像においてマークの抽出を助長させるために、図６のように、マークの周囲を低輝度な素材で構成し、マーク自身を構成する指標線分１〜指標線分３および円形部を高輝度な領域で構成する。
この構成にすることにより、撮像された画像においてマーク図形部分が高コントラストになり、濃度変化情報で他の図形と区別しやすくできる。これらは透過照明による面光源や再帰反射板等によって実現できる。

マークを構成する枠は３直線でできており、それぞれの直線が上記で示した、マークの位置を予測させるための線分の情報となる。また、このこと自身も他の図形との判別材料にもなり得る。図５において、指標線分１〜指標線分３はそれぞれ、左下マーク、右下マーク、右上マークの存在する方向を示す線分となる。なお、指標線分の情報においては、実際に線分の形状を入れる必要は無く、マークの形状よりそれらの情報が引き出せれば良い。

たとえば、図６（Ａ）のように、指標線分を三角形の頂点を結ぶことによって作成することも可能である。この場合、
(a) ある範囲内において存在する４つの点の集合。
(b) 凸包図形は、内部に点を有する三角形となる。
(c) 他の図形に比較して高輝度。
等の情報から、撮像された他の図形とマークとを区別することができる。また、図６（Ｂ）のように、外側に枠を設けることで、他の図形と区別しても良い。

ところで、前記のように三角形の枠状のマークを使用した場合、マークに含まれる３本の直線は、マーク上の一点を通るものではないため、次のような問題がある。図７は、上記のマークが持つ線分と他のマークの設置位置を示した図である。この図７から分かるとおり、このマーク形状では、マークの線分によって得られる直線は、他の２直線が成す交点を通らず、求めるべき被写体上の規定の４点の位置からずれることになる。そのため、縦方向の線分より、マーク位置を予測する場合は、縦方向の線分と同じ傾きを持ち且つ他の２直線の交点を通る直線を考えなければならない。

その上、厳密に言えば、図８に示すように、ディスプレイの表面に対して所定の角度で撮像装置を配置して撮影した場合、撮像装置で得られる画像は射影歪みを受けることになる。そして、このように射影歪みを受けた画像においては、図９に示すように、マーク自体の画像も射影歪みの影響を受けることになる。そのため、マークの線分によって得られる直線の方向と被写体の縦方向は異なり、図７のように単に縦方向の線分と同じ傾きで他の２直線の交点を通る線分を想定しただけでは正確に他のマークの位置を推測できない。しかし、射撃ゲームのガンコントローラにしろ、プレゼンテーション用のポインタにしろ、その焦点や指示位置には多少の許容範囲があるので、前記のような直角三角形状のマークを使用して、交点の位置分だけ直線を平行移動する補正を行うことで、実用上問題のない程度で、ディスプレイ上の４点のマークの位置を近似的に予測することができる。

図１０は、前記のような直角三角形状のマークの問題点を解消したマークの一例を示すものであって、マークに含める３本の直線線分の情報が一点で交わる構成としたものである。このような形状のマークによれば、３本の直線の交点が、図１１のように、ディスプレイ上に設置される規定の点となり、射影歪みに起因する誤差が解消される。なお、この形状のマークは、各マークに含まれる３本の直線の相対的な位置を異ならせたり、ディスプレイの片側の放射状マークの外周に、リング状のマークを組み合わせたりすることにより、各マークがディスプレイのどの位置に設けられているかを判別できる。

１．実施例の構成
以下、本発明の一実施例を図面に基づいて、具体的に説明する。
本実施例の位置検出装置は、図１に示す通り、撮影対象となる画像表示面を有するディスプレイ１と、このディスプレイ１の画像表示面を撮影する撮像装置２とを備えている。この撮像装置２としては、ＣＣＤ撮像素子を備えたビデオカメラやデジタルカメラが使用される。

前記ディスプレイ１の四隅にはそれぞれ異なった形状の４つのマーク０，１，２，３が設けられている。図４は、各マーク０，１，２，３の一例を示すものであって、各マークは全体として直角三角形状をなし、各マークのそれぞれには、他のマークの配置方向を示す３本の直線状の線分（直角三角形の各辺）が含まれている。これら各マークは、ディスプレイ１上における配置箇所が判別できるように、それぞれ異なった形状をなすものであり、本実施形態においては、ディスプレイの左側のマーク０，１の内部には円形の塗りつぶし部が設けられ、右側のマーク２，３には塗りつぶし部がないことで判別できる。また、ディスプレイ１上部のマーク０，３は水平な直線が三角形の下辺に位置し、下部のマーク１，２は水平な直線が三角形の上辺に位置している。

これらのマークは、ディスプレイ１の枠部などに貼り付け、印刷等の手段で設けることも可能であるし、ディスプレイ１の表示画面中の映像として映し出すことによって表示することもできる。また、撮像装置２によるマークの抽出を助長させるために、マークの周囲を低輝度な素材で構成し、マーク自身を高輝度な領域で構成することが好ましい。この構成にすることにより、撮像装置２によって撮影された画像中においてマーク図形部分が高コントラストになり、濃度変化情報で他の図形と区別しやすくできる。これらは透過照明による面光源や再帰反射板等によって実現できる。

前記撮像装置２には、これによって撮影された画像データをデジタル画像データとするＡ／Ｄ変換器３が接続され、このＡ／Ｄ変換器３の出力がフレームメモリ４に出力される。このフレームメモリ４は、Ａ／Ｄ変換されたデジタル画像データを、撮像装置２のＣＣＤ撮像素子の撮像平面の各画素に対応したアドレス毎に一時的に記憶するものである。前記フレームメモリ４には、フレームメモリ４上に一時記憶された画像データを解析して、ディスプレイ１の画像表示面に対する撮像装置２の光軸が指示しているディスプレイ平面上における座標を検出するための位置検出部５が設けられている。

前記位置検出部５は、撮像装置２によって撮影され画像平面上に存在する図形中からマークに該当する可能性の低い図形を排除するフィルタ処理部５０と、前記フィルタ処理部５０を通過した図形中からマークの画像を判別するマーク検出部５１とを備えている。また、前記マーク検出部５１によって判定されたマークが、ディスプレイのどの位置に設けられたものであるかを判別するマーク種別判別部５２と、撮像された各マークに含まれる３本の指標線分の中から撮像されていないマークの方向に延長する指標線分を選定する指標線分選定部５３を備えている。さらに、前記指標線分選定部５３により選定された複数のマーク中の指標線分を撮像されていないマークの存在する方向に延長すると共に、各マークから延長された指標線分の交点を求め、この交点上に撮像されていないマークの画像平面上における位置を演算する未撮影マーク位置演算部５４と、画像平面上における撮影マークと未撮影マークの画像平面上の位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を演算する相対座標検出部５５を備えている。

前記位置検出部５の出力側はゲーム機やディスプレイ表示装置に設けられたディスプレイ制御装置６に接続され、このディスプレイ制御装置６に前記相対座標検出部５５で算出された撮像装置のディスプレイ表面に対する相対的な位置情報が出力されるようになっている。この場合、ディスプレイ制御装置６は、入力された撮像装置の位置情報に基づいて、例えば、撮像装置の中心が指示するディスプレイ上の座標を算出し、その座標上に射撃ゲームの照準点を表示したり、ポインティングデバイスの指示ポイントを表示する。

２．各部の動作の詳細
次に、前記のような構成を有する本実施例における各部の動作を、より詳細に説明する。
（１）フィルタ処理部５０
前記フィルタ処理部５０は、前記のようにマーク図形を高コントラストとしておくことにより、撮影された画像中の濃度変化情報で他の図形と区別するものであって、判定対象となる図形の濃淡情報を検出し、一定の閾値を超えたコントラストの高い図形をマーク候補として判定する。この場合、撮像装置２にあらかじめ赤外線透過フィルタを使用することで、可視光線領域の画像と比較してある程度判別対象となる図形数を制限することにより、よりフィルタ処理を効果的に行なうように構成することも可能である。
このように本実施形態においては、マークと他の部分とのコントラストを強調した鮮鋭化処理や赤外線フィルタを利用したノイズ除去処理などにより、判定対象となる図形数を制限しておく。これらの処理は、後の処理の効率を上げ、演算装置の負担を軽減する意味でも有効である。

（２）マーク検出部５１
前記マーク検出部５１は、撮像装置によって撮影された１フレーム分の画像データ中に、各マークに相当する画像が存在するか否かを判別し、その撮影画像平面上における位置（座標）を取得するものである。すなわち、撮像装置によって撮影された画像中には、マーク以外のものが種々含まれているので、それらの画像中からマークに相当するものを抽出する。

このようなマーク検出部５１の処理は、次のような判定処理を順次実行することにより、撮像された図形中からマークを抽出する。
(1) 規定矩形の範囲内の連結成分である。
(2) 各マークは、３つの直線で囲まれている図形であるので、撮影された画像を構成する画素を連結処理し、その中から枠状の図形のみを抽出する。
(3) ３つの直線から構成されている枠である。
以下、これらの処理について、順次説明する。

（２−１）寸法、画素数による判定処理
前記のようなフィルタ処理によって選別された判定対象の図形に対して、その図形が規定矩形（画像平面の垂直、水平方向の矩形）範囲内の領域に含まれるか否かを判定する。すなわち、この判定は、判定対称となる図形の大きさ（図形の面積、図形の領域に外接する矩形の幅・高さ）による判定であって、この判定は、次の２つの処理の少なくとも一方を実施する。

(a) 領域が、有する画素数の総計による判定
この処理は、マークは３本の直線を含みしかも一定の大きさを有することから、一定の領域内における画素数の割合が決まっている。すなわち、画素数が多くほとんど塗りつぶされているような図形や、逆に画素数が少なすぎる図形は、たとえ寸法的にマーク候補であったとしても、３本の直線を判別できないので、マーク候補から除外することができる。

(b) 判定対象となる図形の領域と外接する画像平面における水平、垂直方向の辺を有する矩形の幅、高さによる判定を行う。すなわち、図１２の例で言えば、垂直方向矩形幅ｍｉｎと垂直方向矩形幅ｍａｘ、および水平方向矩形幅ｍｉｎと水平方向矩形幅ｍａｘにより規定された矩形の範囲内にある領域のみを対称図形と判断する。図１２において、図形Ａ，Ｂ，Ｃ，Ｄは、前記の条件を満たすものであるからマーク候補として判定し、図形Ｅ，Ｆは、前記領域よりも小さいかあるいは大きい図形であるためマークではないと判定する。

（２−２）輪郭追跡による直線検出
前記の寸法、画素数による判定処理後、対象となった図形に対して、枠のエッジ部分に直線の要素がどの程度含まれているかを下記の通りに判定する。
図１３において符号Ａは、対称図形の所定の一点から選定された検査開始位置（現在位置）である。この現在位置Ａを中心として、上下、左右、斜めの８方向をそれぞれ図１３の表に示すように４つの方向カテゴリに分類する。すなわち、現在位置Ａを中心として、時計回りに、
２，３，４方向…方向カテゴリＡ
４，５，６方向…方向カテゴリＢ
６，７，０方向…方向カテゴリＣ
０，１，２方向…方向カテゴリＤ
とする。また、現在位置Ａから判定対象図形の輪郭を追跡した場合に、方向変化が生じるごとに、１つ前の方向コード変化の場所をＸ１，Ｙ１、今回の方向コードの変化の場所をＸ２，Ｙ２とする。

ところで、「ディジタル直線の定義」として次のことが知られている。
[定理]
単純弧αが連続画像上の線分のディジタルかであるための必要十分条件は、αがコード特性を持つことである。このときの図形をディジタル線分またはディジタル直線と呼ぶ。

[性質]
単純弧がディジタル直線であるための必要条件は、この単純弧を方向コードで表したとき、次の(1) 〜(3) がすべて成り立つことである。但し、方向コードはある画素から隣の画素に向かう方向を４５°を単位として表したものであり、チェインコード、フリーマンコードと呼ばれる。
(1) 方向コードは２種類以内であり、しかもそれらは互いに４５度異なる。
(2) このコードの少なくとも一方は長さ１の連でしか生じない。
(3) もう一方のコードは高々２種類の長さの連を作る。そして、この２種類の連の長さは１しか違わない。

なお、これらの点については、非特許文献１に詳しい。
鳥脇純一郎著 画像理解のためのディジタル画像処理（II） 昭晃 堂発行

ここで、輪郭追跡において上記の条件を満たさない時を、頂点予測点と呼ぶことにし、その数により、図形の縁に直線成分がどの程度含まれているかを判断する。例えば、図１４（Ａ）のような画像においては、長い３本の直線と、その各頂点部分における短い線分が存在するが、このうち、各頂点部分の短い線分は前記(1) 〜(3) の条件を満たすことがないので、デジタル直線とはカウントせず、この図形では３本の長い線分のみが直線として検出される。

（２−３）三角形の検出
但し、前記(1) 〜(3) の判定だけでは、円のように、一つ一つの小さな辺でできている場合、それらの辺はカウントされないため下記の条件も追加する必要がある。すなわち、図１４（Ｂ）のように短い線分が組み合わされた凹部が形成されている図形においては、凹部を形成する短い線分は前記(1) 〜(3) の条件を満たさないために直線とはカウントされず、凹部以外の残るコ字型の３本の直線が検出され、辺の数が３の図形として認識されてしまう。しかし、たとえ３本の直線が検出されたとしても、このような凹部を含む形状の図形は本発明の検出対象である三角形のマークではないので、このような図形がマーク候補としては排除される必要がある。そこで、本実施形態では、次のような条件を追加することにより、マーク候補であるか否かを判定する。

［追加条件］
輪郭追跡において、必ず、同じ方向変化カテゴリを取りつつ一回だけサイクルする。
すなわち、輪郭追跡時に、方向変化が生じる毎に、変化する方向の判定を行ない、たとえば、追跡開始位置からの方向変化カテゴリＡを開始カテゴリとした場合に、方向変化カテゴリＡ−方向変化カテゴリＢ−方向変化カテゴリＣ−方向変化カテゴリＤ−方向変化カテゴリＡまたは方向変化カテゴリＡ−方向変化カテゴリＤ−方向変化カテゴリＣ−方向変化カテゴリＢ−方向変化カテゴリＡのように、同一の方向変化カテゴリが一回だけサイクルして、元の追跡開始位置に戻ることを、検出対象であるマーク判定の条件とする。なお、このとき、開始カテゴリは規定せず、どの方向変化カテゴリから追跡が開始されても良い。

このようにすると、図１４（Ｂ）のように、凹部を含む図形においては、サイクルの途中で異なる方向変化カテゴリを含むことになるので、この異なる方向変化カテゴリの存在により、凹部を含む図形はマークでないと判別できる。

前記のようなデジタル直線の定義および追加条件に従って、判定対象とした図形について、直線抽出処理を行う場合のアルゴリズムは、次の通りである。
まず、判定対象とした図形の輪郭追跡を行うに当たり、輪郭追跡開始点を開始頂点予測点とし、前記の条件（デジタル直線の定義）を、満たさないときの位置を終了頂点予測点として、下記の判定を行う。

(1) 開始頂点予測点と終了頂点予測点間の距離を抽出した辺の大きさとし、以下の判定・処理を行う。なお、ここで、辺の大きさの判定距離は、水平方向の差分と垂直方向の差分の各絶対値の和（シティブロックの距離）とする。
(a) 辺の大きさがあらかじめ定めたある規定の大きさであれば、開始頂点予測点と終了頂点予測点の位置（座標）を記憶し、辺の数をインクリメントし、終了頂点予測点を次の辺の開始頂点予測点とするための更新処理を行う。
(b) 辺の大きさがある規定の大きさでなければ、終了頂点予測点を次の辺の開始頂点予測点とする更新処理のみ行う。

(2) カテゴリ変化の判定
前記追加条件の変化サイクルでない場合は、マークでないとして、判定対象とした図形に対する処理を中止する。

(3) 辺の数の判定
輪郭追跡終了時において、前記(1) および(2) の条件を満足した図形について、インクリメントした辺の数を検査し、辺の数が３である場合には、その図形をマークであると判定する。この場合、その図形が有する各辺が、求める指標線分に相当する。すなわち、求めた辺は、開始頂点予測点と終了頂点予測点の２点を通る直線となる。一方、その図形の辺の数が３でない場合には、その図形はマークではないと判定する。

（２−４）枠の頂点の算出
前記のようにして、マークとして判定された図形中から抽出された３直線より、３つの交点（枠の頂点）を算出する。すなわち、前記(1) の(b) の処理によって辺としてはカウントされていない短い直線が認識されている場合のように（図１４（Ａ）参照）、図形中で検出された３直線の開始頂点予測点と終了頂点予測点は、必ずしも枠の頂点に位置するとは限らない。そこで、前記マークの判別処理で、マークとして判定された図形の３直線より、各々各組み合わせの２直線の交点を求め、それらの交点を枠が形成する三角形の頂点とするための算出処理を行う。

（２−５）マーク数の決定
以下、撮影されたすべての図形に対して、このような処理を行い、撮像平面上にいくつのマークが存在するかを判定していく。この場合、マークと判定された図形が２〜４の場合は、判定されたマーク数に応じたそれぞれの処理がなされるが、マークが１以下あるいは５以上とあると判定された場合には、焦点や指示位置が判定できないので、再び元の画像入力処理に戻り、撮像された図形中からのマークの判定処理を繰り返す。

なお、マークと判定された図形が５以上（マークの設置個数以上）の場合には、さらにマークの判定基準を厳しくすることで、マーク候補図形を絞り込むことも可能である。たとえば、マークを構成する枠の直線性の確か度合いを基準としたり、枠内部に含まれる画像の形状や画素数を絞り込みの基準とすることができる。具体的には、枠の内部に左右判別用の円形部を設けたマークでは、枠中に円形の図形が存在することをマークとしての判定基準としたり、円形部を構成する画素数が一定の範囲内にあることで、その図形をマークとして判定したり、枠内に円形部が存在しない側のマークについては、枠内に他の図形や一定数以上の画素が存在しないことをマークとしての判定基準とする。

（３）マーク種別判別部５２
前記マーク種別判別部５２は、マークがディスプレイの左右のどちら側に設けられたものであるかを判別するものであって、前記マーク検出部５１の処理によってマークと判定された図形について、枠の内部に塗りつぶし部が存在するか否かを検出し、その有無によって、ディスプレイのいずれの側に設けられたマークであるかの判別を行なう。なお、この処理は、３本の指標線分によって囲まれた領域内に、一定数以上の画素が存在することを検出することで実施できる。

（４）指標線分選定部５３
（４−１）マーク位置の予測…基本的な考え方
前記のようにして、各マークについて、その頂点の位置（各マークの頂点の座標）が算出され、撮像平面上における各マークの位置が判明した後は、撮像されたマークに含まれるどの指標成分をどの方向に延長するかによって、撮像されていないマークの位置の推測を行う。

（Ａ）撮影されたマークが４個
マークと判定された図形が４個の場合には、すべてのマークが撮像されているとして、これら４個のマークの撮像平面上における座標を基準として、画像平面の中心である撮像装置の光軸がディスプレイ表示平面の座標系のどの座標に位置しているかを算出する。なお、この処理については、前記の特許文献１などに示されるとおり、公知の技術である。

（Ｂ）撮影されたマークが３個
マークと判定された図形が３個の場合には、この３個の図形に含まれた線分を利用して、残る１つのマークの位置を算出する。本実施形態においては、最低２個のマークが認識されれば他のマークの位置が算出できるが、この場合のように３個のマークが検出されている場合には、各マークの異なる方向の３つの線分の交差点を求めることにより、精度を向上させることができる。

この交点を求める処理は次のように行う。まず、図１５に示すように、画像平面上の座標をｘ，ｙとし、各マークに含まれる直線をｙ＝ａｘ＋ｂで表し、検出された３つのマークをマーク０、マーク１、マーク２とする。これらマーク０からマーク２が有する３本の直線それぞれその傾きとＹ切片を調べると、３本の直線のうち、２本の直線については、他のマークの直線と同じ傾きで同じＹ切片を有する。すなわち、撮像された２つのマークには、同一直線上を通る線分がそれぞれ含まれているので、各マークの３本の直線について、その傾きとＹ切片を調べると、各マークの３本の直線のうち、２本については、他のマークの直線と同一の傾きとＹ切片を持つものがある。このことは、マークが３つ撮影されているとすると、各マークについて、必ず１本の直線は、他のマークの直線と同一直線上を通ることがない。そして、撮影されていない第４のマーク（マーク４）は、各マークの他のマークの直線と同一直線上を通ることがない１本の直線の交点上に位置することになる。

（Ｃ）撮影されたマークが２個
ディスプレイ側にマークを４つ設置した状態において、マークが２個撮像されるパターンは、図１６のように大別して次の６通りである。
(1) 上側のマークのみ撮像される場合（左上マーク、右上マークのみ撮像）
(2) 下側のマークのみ撮像される場合（左下マーク、右下マークのみ撮像）
(3) 右側のマークのみ撮像される場合（右上マーク、右下マークのみ撮像）
(4) 左側のマークのみ撮像される場合（左上マーク、左下マークのみ撮像）
(5) 対角のマークが撮像される場合…その１（左上マーク、右下マークのみ撮像）
(6) 対角のマークが撮像される場合…その２（左下マーク、右上マークのみ撮像）

前記(1) 〜(6) については、いずれの場合においても、たとえば左側のマーク２つが撮像された(4) の状態を示す図１７のように、撮像された２つのマークの直線成分の内、方向が同一である直線を除いた２直線同士の交点により、撮像されていない２つのマークの位置を予測することができる。すなわち、図１７の右側のグラフに示すように、マーク０とマーク１の直線の中で、同一の直線と思われる直線以外の４本の直線の交点の中から残る２つのマークの位置を予測する。この場合、まず、４本の直線の交点の中で、同じマークに派生する直線の交点は、そのマークの頂点を表すものであり、残る２つのマークとは無関係なので、排除する。

（４−２）マーク位置の予測…具体的なアルゴリズム
（４−２−１）マークの頂点の識別
次に、各マークの２本の直線同士の組み合わせによって生じる４つの交点の中で、本来のマーク２とマーク３の位置ではない箇所に生じる２つの交点（例えば、図１７中のＰ）を排除する必要があり、そのためには、推測するマーク位置を通る直線と通らない直線とを区別する必要がある。そこで、本実施形態では、各マークの頂点の中で他の頂点とは性質の違う頂点を識別することにより、前記の直線の区別を行う。

図１８は、頂点の識別の手法を示すものであって、図中左側は、マークとして判別された図形であり、この図形には、３つの頂点ａ’，ｂ’，ｃ’が有るとする。同様に図示していないが、マークとして判別された他の図形も３つの頂点ｄ’，ｅ’，ｆ’を備えているとする。この場合、各マークの頂点は、それぞれ識別されていない状態なので、頂点の符号に「’」をつけて識別後の頂点の符号とは区別している。

この状態で、２つのマークを検討すると、各マークの頂点のうち２つは、他のマークの２つの頂点を通る同一直線Ｌ上に存在することになる。図１８の例であれば、図中右側のように、２つのマークの頂点ａ’，ｂ’，ｄ’，ｅ’が同一直線Ｌ上に位置する。そこで、この同一直線Ｌ上に位置しない頂点ｃ’，ｆ’をそれぞれ各マークの頂点ｃ，ｆと定め、残りの２頂点を任意にａ，ｂとｄ，ｅとする。これにより、各マークについて、性質の異なる頂点ｃ，ｆを基準とした各頂点の識別が可能となる。

（４−２−２）ベクトルの向きを揃える
前記のようにして、各マークについて頂点が決定された後は、同一直線上に位置する各マークの直線、すなわち、マーク０１の直線ａｂとマーク０２の直線ｄｅによって定まるベクトルの向きをそろえる。すなわち、各マークにおいて、頂点ａ，ｂとｄ，ｅは任意に定めているため、同一直線上に配置された直線上の直線ａｂ，ｄｅによって示されるベクトルの向きが一致するとは限らない。そこで、次のような規則に基づいて、ベクトルの向きを一致させる。
(1) ａｂ＝ｋ・ｄｅ ｋ＞０の時（内積：正の値）ならば、そのまま何もしない。
(2) ａｂ＝ｋ・ｄｅ ｋ＜０の時（内積：負の値）ならば、頂点ａ，ｂを交換する。
（ここで、必ず、ａｂとｄｅを同じ向きになるように調整する。）

（４−２−３）推測されるマーク位置の決定
次に、撮像されている２つのマークの種類が異なる場合、上側や下側のマークが撮像されているのか、もしくは対角の位置にあるマークが撮像されているのかによって、直線の組み合わせの抽出の条件が異なるため判断する必要がでてくる。この撮像パターンには、図１９に示すように、３つのパターンが存在するので、各パターンごとに各マークの頂点の位置を決定する。

(a) 撮像パターン１（右側、左側マークのみ撮像された場合）
このパターンにおいては、前記のように、撮像された２つベクトルの向きが同一となるように各マークの頂点ａ，ｂ，ｃとｄ，ｅ，ｆが定められている状態で、外積：ａｂ×ａｃ符号をα、外積ｄｅ×ｄｆの符号をβとすると、α＝β（同符号）になる。そこで、撮像された各マークの直線ｃａと直線ｆｄの交点が撮像されていない第１のマークの位置となり、直線ｃｂと直線ｆｅの交点が撮像されていない第２のマークの位置となる。

(b) 撮像パターン２（上側、下側マークのみ撮像された場合）
このパターンにおいても、撮像された２つベクトルの向きが同一となるように各マークの頂点ａ，ｂ，ｃとｄ，ｅ，ｆが定められている状態で、外積：ａｂ×ａｃ符号をα、外積ｄｅ×ｄｆの符号をβとすると、前記撮像パターン１と同様にα＝β（同符号）になる。そして、撮像された各マークの直線ｃａと直線ｆｄの交点が撮像されていない第１のマークの位置となり、直線ｃｂと直線ｆｅの交点が撮像されていない第２のマークの位置となる。

(c) 撮像パターン３（対角に位置するマークが撮像された場合）
このパターン３において、撮像された２つベクトルの向きが同一となるように各マークの頂点ａ，ｂ，ｃとｄ，ｅ，ｆが定められている状態で、外積：ａｂ×ａｃ符号をα、外積ｄｅ×ｄｆの符号をβとすると、α≠β（異符号）になる。そして、撮像された各マークの直線ｃａと直線ｆｅの交点が撮像されていない第１のマークの位置となり、直線ｃｂと直線ｆｄの交点が撮像されていない第２のマークの位置となる。

しかし、本実施の形態においては、このような撮像パターン３が検出された場合（α≠β）には、撮像エラーとして、再度、撮像処理を行わせるようにする。すなわち、この撮像パターン３が生じるのは、撮像装置が被写体にかなり近づき、しかも、光軸を中心にして回転した場合であるが、実際の撮像装置の使用態様、たとえば、一般的なシューティングゲームによる照準やプレゼンテーション装置におけるポインタの使用時には、撮像装置がそのような状態となることは不自然であり、ほとんどあり得ない。そこで、本実施形態においては、このような撮像パターン３を検出した場合には、エラーとして使用者に対して再度の撮像を促すようにする。

なお、このような撮像パターン３において、エラーとせずに撮像されていない２つのマークの位置を算出する場合には、撮像されたどちらかのマークにおいてそれぞれ上下のマークが明確になるようにマークの形状を変更する必要がある。つまりマークの形状としては３種類のマークを用意する必要がでてくることに注意する。その理由は、次の各マーク位置の頂点決め処理を行う場合に、２種類の異なる形状のマークだけでは、４つのマークの位置を特定できなくなるからである。

また、これらの交点計算するための直線の組み合わせ判定は、ディスプレイ側に設けるマークの点数を減少させるためではなく、撮像装置による指示可能範囲を拡大するために、ディスプレイ側に４つのマークを設けた場合のみ考える必要があり、ディスプレイ側に設けるマーク点数を減らす場合（たとえば２つとした場合）は、撮像された２つのマークが、ディスプレイの何処に設置しているマークかは既知であるため必要がない。

（５）未撮像マーク位置演算部５４
（５−１）未撮像マークの座標の演算
前記のようにして、指標線分選定部５３により、撮像された２つのマークのどの指標線分の組み合わせにより未撮像のマークの位置を演算するかが決定された後は、この未撮像マーク位置演算部５４により、選定された指標線分の組み合わせに従いその延長線の交点の座標を演算することで、２つの未撮像のマークの位置（画像平面上における座標）を演算する。

（５−２）各マーク位置の頂点決め処理
前記のようにして、撮像されていない２つのマークの位置（座標）が、撮像されたマークに含まれている線分の延長線の交点として求められた後は、マーク０〜マーク３がディスプレイに設けられたどのマークに対応するか、すなわち、４つのマークの識別（４つのマークによって形成される四角形の頂点決め）を行う。なお、以下の説明において、符号Ａ，Ｂ，Ｃ，Ｄは、マーク０〜マーク３の識別位置を示し、上記で述べた各マークでの３つの交点ａ，ｂ，ｃ，……を示しているのではない。また、撮像されたマークをＡ，Ｂとし、交点によって推測されたマークをＣ，Ｄとする。

ただし、検出マークが３点であるときは、検出したマークの内、２点対で検出されたマークがわかるため、１点しか検出されなかったマークをＣ、３直線の交点より推測したＤとして、以下述べる２つのマークが撮像された場合と同様な処理により、４つのマークの頂点決めを行う。

この頂点決めの前提として、撮像されたマーク特徴（内部の円形部の有無）によって、マークの種類は明確になっており、且つ、上記のマーク位置の予測処理において、どのマークの組み合わせが撮像されたかは明確になっている。そして、図２０のように、内部の円形部を含むマークを左側、含まないマークを右側とし、それぞれ左上より、反時計回りにマーク０〜３とする。また、検出されたマークが左側マーク２点、右側マーク２点、異なる種類のマークの２点に分けて、頂点決めの処理を行う。

(1) 検出マークが左側のマーク２点であることは既知の場合
（推測マーク：マーク２，３）
ＡＢ×ＡＣの外積を行う。
ＡＢ×ＡＣの符号が正であるならば、左上がＡ、左下がＢ
ＡＢ×ＡＣの符号が負であるならば、左上がＢ、左下がＡ
ＡＣ×ＡＤの外積を行う
ＡＣ×ＡＤの符号が正であるならば、右下がＣ、右上がＤ
ＡＣ×ＡＤの符号が負であるならば、右下がＤ、右上がＣ

(3) 検出マークが右側のマーク２点であることは既知
（推測マーク：マーク０，１）
ＡＢ×ＡＣの外積を行う
ＡＢ×ＡＣの符号が正であるならば、右下がＡ、右上がＢ
ＡＢ×ＡＣの符号が負であるならば、右下がＢ、右上がＡ
ＡＣ×ＡＤの外積を行う
ＡＣ×ＡＤの符号が正であるならば、左上がＣ、左下がＤ
ＡＣ×ＡＤの符号が負であるならば、左上がＤ、左下がＣ

(2)／(4) 検出マークの１点(Ａ)が左側、もう１点(Ｂ)が右側であることは既知
ＡＢ×ＡＣの外積を行う
(ａ) ＡＢ×ＡＣの符号が正であるならば、右下がＢ、左下がＡ
ＡＣ×ＡＤの外積を行う
ＡＣ×ＡＤの符号が正であるならば、左上がＤ、右上がＣ
ＡＣ×ＡＤの符号が負であるならば、左上がＣ、右上がＤ
(ｂ) ＡＢ×ＡＣの符号が負であるならば、左上がＡ、右上がＢ
ＡＣ×ＡＤの外積を行う
ＡＣ×ＡＤの符号が正であるならば、左下がＣ、右下がＤ
ＡＣ×ＡＤの符号が負であるならば、左下がＤ、右下がＣ

(5)／(6) 検出マークの１点(Ａ)が左側、もう１点(Ｂ)が右側であることは既知
このように斜めの２つのマークが撮像された場合は、前記のような外積による手法では、各マークの特定は無理となり頂点の検出は不可となる。そのため、前記のように本実施形態では、撮像パターン３のようなマークの組み合わせの場合には、再度の撮像処理を求め、この(5)／(6)のような撮像パターンが生じないようにしている。もちろん、左右を区別する２種類のマークに加えて、左上下のマークを異なる形状にして区別することができれば（合計３種類のマークを用意することになる）、この(5)／(6)の場合でも４つの頂点の識別が可能になる。

（６）相対座標検出部５５
この相対座標検出部５５においては、画像平面上における４つのマークの座標と、ディスプレイ表示平面上におけるディスプレイの四隅に設けられている各マークの座標とに基づいて、撮像画像平面の座標系とディスプレイ表示平面の座標系との透視射影変換処理を行うことにより、両座標系の相対的な位置関係を算出する。そして、両座標系の相対的な位置関係が判明すると、たとえば、撮像装置の中心（光軸上）にある指示部がディスプレイ表示面のどの位置を指示しているかを算出することができるので、その演算結果をディスプレイ制御装置６に出力することにより、ディスプレイ上に撮像装置の中心が指示しているポイントを表示させることが可能になる。

なお、撮像画像平面上における４つのマークの座標が算出された後の透視射影変換処理による指示位置の特定は、特開平８−７１２５２号公報、特開昭２００１−１４８０２５号公報、および本出願人の出願にかかる特願２００２−３００４７８号に記載されているように公知の技術であるから、本発明において、この部分処理の手法はどのようなものを採用しても良い。

３．装置全体の動作
次に、本実施例の位置検出装置の動作について、図２のフローチャートによって説明する。本実施例の処理は、大別して、（１）撮像された画像平面上の画素中からマークを判別する処理と、（２）判別されたマークによる撮像されていないマークの位置を判定する処理とからなるが、フローチャートに記載した各ステップの詳細な動作については、既に、本実施例のアルゴリズムの欄で説明したので、その詳細は省き、装置がどのような順序で、各処理を実行するかを説明する。

また、このフローチャートは、撮像装置によって撮像された画像平面上の図形に対して行なう画像処理を示すものであって、この前段階として、撮像装置としては、あらかじめ赤外線透過フィルタを使用し、なるべく図形が発生しないような構造にしておく。そのようにすることで、可視光領域での画像と比較し、ある程度図形の数は制限できる。

（１）マークの判別処理
（ステップ０１）
赤外線透過フィルタにより、赤外領域の光により画像平面上に結像した画像に対して、鮮鋭化処理、二値化処理による対象領域の抽出を行なう。すなわち、他の図形とマークを区別するために、マーク自身は、近赤外領域の波長を使用する等を行い、撮像装置にフィルタを設置することによってあらかじめ発生する図形の数を抑制する手段をとる。
（ステップ０２）
撮像され画像平面上に表示される図形中から、枠状の図形、すなわち内部に穴を含む形状の図形のみをマークの判断の対象とするために、ステップ０１によって抽出されたすべての画素に対して、連結処理を行なう。
（ステップ０３）
連結処理された画素によって構成される図形が、(1) 枠状のものか、(2) 内部に塗りつぶし部（円形部）が存在するものであるかの判別を行なう。すなわち、(1) の処理において、枠状の図形以外は、マークでないと判別して、マーク候補から除外する。また、(2) の処理において、マーク候補として判定された図形について、枠の内部に塗りつぶし部があるか否かを判定する。なお、この塗りつぶし部の判別は、以下のステップでマークと判定された図形について、それがディスプレイの左右いずれかの側にあるかを判定するために使用される。

（ステップ０４）
マーク候補の図形が、規定矩形の範囲内の連結成分であることを検査する。すなわち、マークとなるべき図形は、一定範囲の寸法に収まるはずであるから、範囲外の図形については、マークでないと判定する。
（ステップ０５）
ステップ０４においてマーク候補とされた図形について、それらが３つの直線から構成されている枠であるか否かの判定を行なう。
（ステップ０６）
ステップ０５において検出されたマークは、３本の線分（指標線分）を含むものであるが、判別された線分の端点がそのまま三角形の頂点とは限らない。そこで、検出された３本の直線の交点から枠の頂点座標を検出する。

以上の通り、前記各ステップを順次実行することにより、撮像された画像中からマークとなる図形を、一例として、次のように判定する。
左マーク：内部に塗りつぶし部が存在し、３つの直線で構成される枠
右マーク：内部に塗りつぶし部が存在せず、３つの直線で構成される枠
この場合、マークの数はディスプレイ側に設置したマークの数以下の０〜４の範囲にあるはずである。しかし、（１）のマーク判別処理において、マークの設置数以上に対象となる図形が存在する場合は、内部点の形状もしくは枠の直線性の確か度合いの比較等行うこともできる。

（２）マーク位置の判定処理
前記のようにしてマークとなる図形の判別がなされた後は、判別されたマーク数に応じて、撮像された各マークの位置と、これら撮像された各マークから推測される撮像されていないマークの位置の判定を行なう。
（ステップ０７）
４つのマークが検出されたか否かを判定し、４つのマークが判定されている場合には、次のステップ１３の４つのマークの頂点の識別処理に進む。一方、マークが４つ検出されなかった場合には、ステップ０８の３つのマークが検出されたか否かの判別処理に進む。なお、この判定において、各マークに同一の直線が含まれることも入れることで、前記（２）のマーク図形判定処理においてマーク候補として判定された図形であっても、同一の直線を含まないものは、本来のマークでないと判定することもできる。この同一直線を含むか否かの判定は、後述するステップ０８，１０のおいてマークの個数を判定する場合にも同様に実施することにより、撮像された図形中からマークを選定する場合の精度が向上する。

（ステップ０８）
３つのマークが検出された場合には、次のステップ０９に進み、３直線の交点から残る１つのマークの位置を求める。一方、３つのマークが検出されなかった場合には、次のステップ１０の２つのマークが検出されたか否かの判定に進む。
（ステップ０９）
このステップでは、３つのマークの指標線分うち、他のマークの指標線分と同じ直線上にない指標線分を各マークから抽出し、これら３本の指標線分の延長線の交点から残る１つのマークの位置を求める。なお、この場合、３つのマークの中から選択する２つのマークが有する指標線分の組み合わせから、残る１つのマークの位置を推測しても良い。そして、残る１つのマークの位置が推測された後は、撮像された３つのマークと推測された１つのマークの位置に基づいて、次のステップ１３に進み、４つのマークの頂点の識別を行なう。

（ステップ１０）
このステップでは、検出されたマークが２つか否かの判定を行なう。マークが２つの場合には、ステップ１１の直線組合せの決定に進み、マークが２つでない場合、すなわち、撮像されたマークが１つ以下の場合には、他のマーク位置の推測が不可能であるとし、ステップ１５の無限ループ処理を介して、次の撮像画像に対する処理を行なうため、ステップ０１に戻る。なお、前記（１）マーク判別処理において、マークの設置個数以上にマークと判定された図形がある場合、マーク判別処理において、マーク個数を４つ以下にする代わりに、このステップ１０において、５つ以上のマークがある場合には、マークの位置決めを行なわずに、次の撮像画像に対する判定処理を行なうためにステップ０１に戻るように構成することも可能である。

（ステップ１１）
前記ステップ１０において、撮像されたマークが２つであると判定された場合には、このステップ１１において、２つのマークに含まれている指標線分のうち、どの指標線分の組合せにより撮像されていないマークの位置を推測するかという、指標線分の組合せの選択処理を実行する。この処理は、既に述べたように、２つのマークの頂点の中で同一直線上にないものを選択し、それを基準として各マークの頂点の識別を行なうことで、交点検出のために使用する指標線分を選定するものである。
（ステップ１２）
ステップ１１において、２つのマークのどの指標線分を利用するかが決定された後は、それらの指標線分の延長線の交点を求め、それを撮像されていない２つのマークの位置と推測する。

（ステップ１３）
前記のステップ０７，０９，１２の処理の結果、撮像されたマーク及び推測されたマークの画像平面上における座標が判別するので、このステップ１３においては、これら４つのマークがディスプレイの四隅のどの位置に相当するか、すなわち、ディスプレイの表示画面をなす四角形の頂点と４つのマークの対応関係を決定する。

（ステップ１４）
このステップ１４においては、画像平面上における４つのマークの座標と、ディスプレイ表示平面上におけるディスプレイの四隅に設けられている各マークの座標とに基づいて、撮像画像平面の座標系とディスプレイ表示平面の座標系との透視射影変換処理を行うことにより、画像平面の中心である撮像装置の光軸がディスプレイ表示平面の座標系のどの座標に位置しているかを算出する。

（ステップ１５）
以上のようにして、撮像装置光軸とディスプレイ平面上における座標位置が判別された後は、中止指令が入力されない限り、撮像装置から入力された次のデータ、すなわち、刻々と移動する撮像装置から入力される画像データの分析を繰り返すことにより、その時点ごとにおける撮像装置の指示位置検出を繰り返す。また、前記のように、マークが５点以上検出された場合や、１点以下しか検出されなかった場合も、次に入力される撮像画像データに対して、新たにマークの検出処理を行い、撮像装置の指示位置検出を実行する。

４．実施例の効果
以上のように、本実施例によれば、画像平面に２つのマークしか撮影されていない場合においても、残る２つのマークの位置を推測することにより、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出することが可能となる。その結果、従来技術では、撮像装置により指示するディスプレイ上のポイントは、ディスプレイ側のすべてのマークが撮像される範囲に限られており、ディスプレイの周辺近くを指示することが不可能であったが、本実施例によれば、２つのマークを撮影できれば良いので、ディスプレイの周辺部近くのポイントを指示することも可能となる。

たとえば、図２１は、撮像装置の画像平面Ｗには、ディスプレイの四隅のマークのうち、下の２つのマーク１，２しか撮像されていない場合を示すものであって、画像平面Ｗの中心点Ｏが撮像装置の中心点として、ディスプレイ表示面の所定のポイントを指示している。本実施例によれば、この２つのマーク１，２に含まれている指標線分に基づいて他のマーク３，４の位置を推測することが可能になる。これら４つのマークによって囲まれた範囲がディスプレイの表示平面Ｖに相当し、画像平面Ｗの中心点Ｏがディスプレイ表示平面Ｖにおける指示ポイントとなるので、この中心点Ｏをディスプレイ表示平面Ｖの周辺部近くにまで移動させることができる。

同様に、図２２は、撮像装置の画像平面Ｗには、ディスプレイの四隅のマークのうち、左の２つのマーク０，１しか撮像されていない場合であるが、この場合にも、撮像されていない他の２つのマーク２，３の位置を推測することにより、画像平面Ｗの中心点Ｏをディスプレイ表示平面の周辺部近くにまで移動させることができる。

さらに、従来技術では、撮像装置をディスプレイに近づけると４つのマークの撮像が不可能になって撮像装置の指示する相対座標の検出ができなくなるが、本発明では、最低限２つのマークが撮像されていればよいので、従来技術に比較して撮像装置をディスプレイに近接させることが可能となる。その結果、本実施例によれば、ディスプレイと撮像装置とからなるゲーム機器などの小型化や、撮像装置の使用者と大型のディスプレイが近接しているプレゼンテーション装置を実現することができる。

実施例２は、２つのマークだけがディスプレイ側に設けられている場合であって、マーク設置個数の低減を図ったものである。この実施例では、ディスプレイの四隅のうち、いずれの２カ所に設けられた２点のマークが撮像されれば、ディスプレイのマークを設けなかった２カ所の隅部の位置を予測できるため、マークの設置数の削減が可能になる。

その反面、設置した２点のマークは必ず撮像されなければならず、前記実施例１と比較して指示可能範囲が狭くなる。また、この実施例では、設置された２点のマークは必ず撮像されていることが前提条件となるため、設置されているマークの方向を示す情報は付加しなくても良い。

具体的な構成としては、前記実施例１でディスプレイの四隅に設けた４つのマークのうちの、任意の２つのマークをあらかじめディスプレイに設けたことを想定すれば良い。例えば、本実施例のようにマークの設置数を低減させた場合、実施例１の４つのマークのなかから任意の２つが撮像された場合と比べて、撮像されるパターンが少なくなるので、実施例１において行ったマーク位置の予測処理における、直線の組み合わせが不要となる。

さらに、４つのマークの識別（４つのマークによって囲まれたディスプレイ領域の頂点決め）の処理においても、この実施例２では、明らかに撮像されているマークの位置が既知であるため、実施例１における同種類のマークが撮像されている時の処理のみとなる。従って、実施例２においては、図３に示した前記実施例１のフローチャートの中で、ステップ０７のマークが４つ検出された場合の処理と、ステップ０８，０９のマークが３つ検出された場合の処理は不要である。

前記の各実施例は、マークとして三角形の枠状のものを使用したものであるが、本発明のマークの形状はそれに限定されるものではない。前記図１０に示すように、１点で交差する３本の指標線分の組み合わせからなるマークを使用することも可能である。その場合には、撮像された図形中からマークを判別するに当たり、輪郭追跡による枠の判定の手法を採用することはできない。そこで、図１２に示すように、前記実施例１に示したマークの寸法が一定の領域に入るという判定手法に加え、３本の直線の一点交差をマークの特長量として使用する。

すなわち、図２３に示すように、判定対象となる３本の直線の中から２本の直線の組み合わせを選びその交点の位置を算出して、算出された３つの交点によって区切られる直線Ｌ１，Ｌ２，Ｌ３がどれだけ短いかが、３本の直線が一点で交わっているかの指標とする。この場合、３交点の各Ｘ，Ｙ座標のうちの最大値、最小値をそれぞれ求める。Ｘ，Ｙ方向の長さＬＸ，ＬＹを求め、ＬＸ＋ＬＹが最小であるものが一番交点に近いと判定する。

なお、この場合、３つの交点によって囲まれた部分の面積の大小によって、３本の直線が１点で交わっている度合いを判定することも考えられるが、図２４に示すように、交点Ｂ，Ｃが交点Ａから遠く離れていても交点Ｃが交点Ｂに近づけば面積は０に近くなるため、前記のような各点の位置関係を指標とするものの方が優れている。しかし、この面積による指標を他の指標（検出された２つの指標線分の角度など）と組み合わせることで、１点交差の度合いを判定することも可能であり、本発明は、図２４のような指標を排除するものではない。

このように実施例３のマーク構成にすることによって、「３直線（指標線分）で構成され且つ、１点で交差する」と言う特徴付けが可能となる。そのため、２つのマークの指標線分を延長して撮像されていない他のマークの位置を推測した場合に、前記実施例１の三角形の枠状のマークに比較すると、マーク位置を正確に予測できる利点がある。特に、交差した１点は、図８のような枠を構成する線分の長さに起因する誤差や、図９（Ａ）に示すような射影歪みによる影響を受けることがないので、より正確な位置予測が可能になり、撮像マークと予測マークとに基づいた撮像装置の指示位置検出の精度も高い利点がある。

本発明は、ゲーム機の照準装置、プレゼンテーション用ディスプレイのポインタに加え、撮像装置を利用者の頭部に装着することにより運転シミュレータにおける利用者の視線方向検出装置などの用途にも適用できる。

Claims (13)

1. 撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、
   ディスプレイの四隅にそれぞれマークを配置し、各マークには、他の３つのマークの配置方向を示す直線状の指標線分を設けておき、
   撮像装置の指示位置検出時において、撮像装置に４つのマークが撮影されていない場合に、撮影された少なくとも２つのマークがディスプレイのどの位置に設けられたものであるかを判別して、撮像されていないマークの存在する方向を検出する処理と、
   撮像された各マークに含まれる指標線分を判別して、その指標線分を撮像されていないマークの存在する方向に延長すると共に、各マークから延長された線分の交点を求め、この交点上に撮像されていないマークの存在位置を演算する処理と、
   この演算された撮影されていないマークの位置と、前記撮影された複数のマークの位置とに基づいて、ディスプレイ上に設けられた４つのマークの撮像装置における画像平面上の位置を算定する処理と、
   これら４つのマークの画像平面上の位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理とを含むことを特徴とする撮像装置の指示位置検出方法。
2. 撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、
   ディスプレイの四隅の２ヶ所にマークを配置し、各マークには、マークが設けられていないディスプレイの隅部の配置方向を示す直線状の指標線分を設けておき、
   撮像装置の指示位置検出時においては、撮像装置により撮影された画像平面上における撮像された２つのマークの位置と、これら２つのマークに含まれる指標線分を判別する処理と、
   前記２つのマークに含まれている指標線分をマークが設けられていないディスプレイの隅部の方向に延長すると共に、この延長した線分の交点を演算し、この交点をマークが設けられていないディスプレイの隅部の画像平面上における位置とする処理と、
   この演算されたディスプレイ隅部の位置と、前記撮影された２つのマークの位置とに基づいて、ディスプレイの四隅の位置の画像平面上における位置を算定する処理と、
   これらディスプレイの四隅の位置の画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする撮像装置の指示位置検出方法。
3. 前記複数のマークが、ディスプレイの上下、左右、および対角方向に沿った指標直線を有する三角形の枠状をなすものであることを特徴とする請求項１記載の撮像装置の指示位置検出方法。
4. 前記複数のマークが、内部が空白となった枠状のマークと、枠の内部に塗りつぶし部分を有するマークとから構成されていることを特徴とする請求項３記載の撮像装置の指示位置検出方法。
5. 撮像装置によって撮影された図形の輪郭追跡を行い、撮像された図形に含まれる直線の方向変化のサイクルを検出することにより、撮像された図形中から凸塊状図形を判別し、この凸塊状図形に直線成分が３つ含まれている場合に三角形のマークであると判定することを特徴とする請求項３に記載の撮像装置の指示位置検出方法。
6. 前記撮像された各マークに含まれる指標線分を判別して、その指標線分を撮像されていないマークの存在する方向に延長する処理が、撮像された２つのマークの同一線上に存在する指標線分のベクトルの方向を揃えた状態において、撮像された２つのマークにおける前記同一直線上に存在しない頂点を判別し、この同一直線上に存在しない各マークの頂点を基準として各マークの他の頂点を識別し、ついで識別された３つの頂点に基づいて、撮像されていないマークやマークの設けられていないディスプレイの隅部の存在する方向に延長する指標線分を決定する処理を含むことを特徴とする請求項３、請求項４または請求項５に記載の撮像装置の指示位置検出方法。
7. 前記複数のマークが、ディスプレイの上下、左右、および対角方向に沿った指標直線を１点で交差させた放射状をなすものであることを特徴とする請求項１または請求項２記載の撮像装置の指示位置検出方法。
8. 前記撮像された各マークに含まれる指標線分を判別して、その指標線分を撮像されていないマークの存在する方向に延長する処理が、撮像された２つのマークの同一線上に存在する指標線分のベクトルの方向を揃えた状態において、撮像された２つのマークにおける前記同一直線上に存在しない２つの指標線分の外積に基づいて、同一線上にある指標線分とこの２つの指標線分との位置関係を識別し、ついで識別された３つの指標線分の位置関係に基づいて、撮像されていないマークやマークの設けられていないディスプレイの隅部の存在する方向に延長する指標線分を決定する処理を含むことを特徴とする請求項７に記載の撮像装置の指示位置検出方法。
9. 前記演算された撮影されていないマークの位置と、前記撮影された複数のマークの位置とに基づいて、ディスプレイ上に設けられた４つのマークの撮像装置における画像平面上の位置を算定する処理が、撮像された２つのマークの位置が既知であり、しかもその２つのマークがディスプレイの対角に位置しないものである場合において、撮像されたマークと交点から予測されたマークとを結ぶベクトルの外積に基づいて、ディスプレイに設けられたマークの位置を特定する処理を含むことを特徴とする請求項１に記載の撮像装置の指示位置検出方法。
10. 撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための装置において、
    ディスプレイと、
    そのディスプレイの四隅にそれぞれ設けられたマークであって、しかも、前記各マークには他の３つのマークの配置方向を示す直線状の指標線分を含むマークと、
    前記マークの少なくとも２つを撮影する撮像装置と、
    前記撮像装置によって撮影された画像中からマークを抽出するマーク検出部と、
    前記撮影された各マークがディスプレイのどの位置に設けられたものであるかを判別するマーク種別判別部と、
    撮像された各マークに含まれる他のマークの方向を示す直線状の線分を判別する指標線分選定部と、
    前記指標線分選定部により検出された複数のマーク中の指標線分を撮像されていないマークの存在する方向に延長すると共に、各マークから延長された線分の交点を求め、この交点上に撮像されていないマークの画像平面上における位置を演算する未撮影マーク位置演算部と、
    画像平面上における撮影マークと未撮影マークの画像平面上の位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を演算する演算部を備えていることを特徴とする撮像装置の指示位置検出装置。
11. 撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための装置において、
    ディスプレイと、
    そのディスプレイの四隅の２カ所に設けられたマークであって、しかも、前記各マークにはディスプレイのマークの設けられていない他の四隅の配置方向を示す直線状の指標線分を含むマークと、
    前記２つのマークを撮影する撮像装置と、
    前記撮像装置によって撮影された画像中からマークを抽出するマーク検出部と、
    撮像された各マークに含まれる他のマークの方向を示す指標線分を判別する方向線判別部と、
    前記指標線分選定部により検出された複数のマーク中の指標線分をマークが設けられていないディスプレイの隅部の方向に延長すると共に、各マークから延長された線分の交点を求め、この交点上にマークが設けられていないディスプレイの他の隅部の画像平面上における位置を演算するディスプレイ隅部位置演算部と、
    画像平面上における撮影マークと指標線分の交点から算出したディスプレイ隅部の画像平面上の位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を演算する演算部を備えていることを特徴とする撮像装置の指示位置検出装置。
12. 撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するためのプログラムにおいて、
    コンピュータに対して、
    撮像装置によって撮像されたディスプレイの画像中から、ディスプレイの四隅に配置されたマークのうち少なくとも２つを判別する処理と、
    前記画像中から判別された前記少なくとも２つのマークがディスプレイのどの位置に設けられたものであるかを判別して、撮像されていないマークの存在する方向を検出する処理と、
    前記画像中から判別された各マークに含まれるディスプレイの四隅の他のマークの配置方向を示す指標線分を判別して、その指標線分を撮像されていないマークの存在する方向に延長すると共に、各マークから延長された線分の交点を求め、この交点上に撮像されていないマークの存在位置を演算する処理と、
    この演算された撮影されていないマークの位置と、前記撮影された複数のマークの位置とに基づいて、ディスプレイ上に設けられた４つのマークの撮像装置における画像平面上の位置を算定する処理と、
    これら４つのマークの画像平面上の位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理とを実行させることを特徴とする撮像装置の指示位置検出用プログラム。
13. 撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するためのプログラムにおいて、
    コンピュータに対して、
    撮像装置によって撮影されたディスプレイの画像中から、ディスプレイの四隅の２カ所に設けられた２つのマークを判別する処理と、
    前記画像中から判別された前記２つのマークに含まれるマークが設けられていないディスプレイの隅部の配置方向を示す直線状の指標線分を判別して、その指標線分をマークが設けられていないディスプレイの隅部の方向に延長すると共に、この延長した線分の交点を演算し、この交点をマークが設けられていないディスプレイの隅部の画像平面上における位置とする処理と、
    この演算されたディスプレイ隅部の位置と、前記撮影された２つのマークの位置とに基づいて、ディスプレイの四隅の位置の画像平面上における位置を算定する処理と、
    これらディスプレイの四隅の位置の画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を実行させることを特徴とする撮像装置の指示位置検出用プログラム。

Images