JPWO2005096130A1 - 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム - Google Patents

Abstract

【課題】 撮像装置と被写体が近い場合は、マークに設けられた指標線分により未撮像のマーク位置を推測する。遠い場合は、指標線分を使用することなく、撮像された４つのマークの位置から撮像装置の光軸が指示しているディスプレイ平面上の座標を検出する。【解決手段】 ディスプレイ１の四隅に、他の３つのマークの配置方向を示す指標線分を含むマーク０〜３を設け、撮像装置１で撮像する。位置検出部５は、画像中からマークを抽出するマーク検出部５１、各マークがディスプレイのどの位置のものかを判別するマーク種別判別部５２、各マークに含まれる他のマークの方向を示す線分を判別する指標線分検出部５３、指標線分の延長線の交点から未撮像マークの位置を演算する未撮像マーク位置演算部５４、撮影マークと未撮影撮影マークの画像平面上の位置情報に基づいて撮像装置の光軸が指示する座標位置を検出する座標位置検出部５６を備えている。【選択図】図１

Description

本発明は、撮像装置によってディスプレイを撮影した場合において、撮像装置の光軸（又は、指示方向）とディスプレイ平面との交点におけるディスプレイ上の相対座標を検出するための撮像装置の指示位置検出方法および装置に関するものであって、特に、射撃ゲーム用のガンやポインティングデバイスに内蔵された撮像装置を用いて、ディスプレイ側に用意された複数のマークを撮影することにより、撮像装置とディスプレイ間の距離、回転角度、照準位置等を検出するための方法および装置に係る。
また、本発明は、前記位置検出方法および装置をコンピュータ上で実現するための撮像装置の指示位置検出用プログラムに関する。

従来から、ＣＲＴや液晶ディスプレイを利用した射撃ゲームにおいて、標的をねらうガンなどの発射装置の照準位置を検出したり、スクリーン型のディスプレイ上に投影された画像上の所定の位置を指示するためのポインティングデバイスの使用時に、ポインティングデバイスの指示するディスプレイ上の位置を検出するための装置として、撮像装置を利用したものが知られている（特許文献１−３参照）。

この種の装置は、被写体となるディスプレイの四隅に設けられたマークを撮影し、ディスプレイと撮像装置の距離、角度等に応じて、撮影された四隅のマークの画像平面上における相対位置が変化することを利用して、ディスプレイに対する撮像装置の光軸の向き、すなわちディスプレイ上におけるガンの照準位置やポインティングデバイスの指示位置を検出するものである。

特開平８−７１２５２号公報 特開平１１−３０５９３５号公報 特開２００１−１４８０２５号公報

この種の撮像装置の指示位置検出装置は、撮像装置によって撮影された四隅のマークの画像平面上での位置情報を用いて撮像装置の光軸が指示するディスプレイ平面上の相対位置を検出するものであるため、射影歪みを考慮した精度の良い位置検出を行う場合、必ず、ディスプレイ上の規定された四隅のマークの位置情報が必要となる。なお、マークの位置は、必ずしも特許文献１−３のようなディスプレイの四隅でなくても良いが、少なくとも４つ設けられていることが検出精度上不可欠である。

このような従来技術において、撮像装置の照準や指示位置をディスプレイの周辺領域に定めると、その反対側に設けられたマークが撮影範囲から外れてしまい、４つのマークを画像平面上に映し出すことができなくなり、撮像装置の位置決めが不可能となる。そのため、これら４つのマークを必ず画像平面範囲内に撮像するためには、ディスプレイと撮像装置の距離はディスプレイ全体が写るくらい十分に離れている必要がある。

しかし、撮像装置とディスプレイの距離を大きくすることは、これを利用したゲーム機などの大型化に繋がり、特に、設置スペースの小型化が求められているアーケードゲーム機などにおいては大きな不都合であった。また、大型のディスプレイを使用した場合は、撮像装置とディスプレイの距離がより大きくなり、離れた位置から撮像装置を内蔵したガンやポインタを操作することになり、ディスプレイの希望する位置に照準を合わせることが困難になったり、表示内容を確認することが不可能になる問題が生じる欠点があった。

また、従来技術は、ディスプレイ側にマークを必ず４つ設ける必要があり、マーク自体をディスプレイと別体に設けた場合には、その設置作業が面倒であるとか、マーク数を用意するためのコストがかかるといった欠点があった。また、マークをディスプレイの映像として表示した場合には、４つのマークを常時表示しなければならず、ゲームなどの表示内容の邪魔になる欠点があった。

本発明は前記のような従来技術の問題点を解決するために提案されたものであって、その目的は、マークの形状にディスプレイ隅部の位置を推測させる情報を盛り込み、ディスプレイの四隅がすべて撮影されない状況であっても、ディスプレイ四隅の位置情報を取得可能とし、その位置情報に基づいて、撮像装置の指示位置検出を精度良く実施することができるようにした位置検出方法および装置を提供することにある。

本発明の他の目的は、マークの形状に工夫を凝らすと共に、撮像装置とディスプレイの距離に応じてマークの判別手法を異ならせたり、撮像装置の撮像範囲に制限を与えることにより、撮像装置によって撮像された図形中からマークを確実に判別することができる撮像装置の指示位置検出方法および装置を提供することにある。

上記のような目的を達成するため、本発明の撮像装置の指示位置検出方法の一態様は、撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、ディスプレイの四隅にそれぞれマークを配置し、各マークには他のマークの配置方向を示す複数の指標線分を検出するための図形と、この指標線分を検出する図形を取り囲む外形部とを設けておき、撮像装置の指示位置検出時において、撮像装置によって撮像した画像中から、外形部とその内部の穴が存在する図形をマークとして判別する処理と、このマークとして判別された図形が４つある場合には、これら４つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、前記マークとして判別された図形が２つの場合には、判別された各マーク内に存在する図形より指標線分を検出し、この指標線分を延長して、この延長した指標線分の交点を演算し、この交点を撮像されていない残りの２つのマークの位置と推測する処理と、前記撮像された２つのマークと、前記撮像されたマークから推測された残りの２つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする。

本発明は、他の態様として、以上の方法を撮像装置の指示位置検出装置や撮像装置の指示位置検出用プログラムとして捉えることも可能である。

このような態様によれば、被写体であるディスプレイと撮像装置が十分に離れており、ディスプレイの４隅に設置されているマーク全てが撮像されている場合は、指標線分による未撮像のマーク位置の予測処理は行わなくて良い。そのため、マークに含まれている図形から指標線分を検出することなく、４つのマークの位置から、撮像装置の光軸が指示するディスプレイ平面上の座標位置を検出することができる。一方、ディスプレイとマークの位置が近い場合には、すべへのマークを撮影することが不可能となるが、その場合には、マークに含まれている図形から指標線分を検出し、検出された指標線分を延長してその交点を求めることで、撮像されていない残りのマークの位置を推測し、撮像されたマークと推測されたマークの位置に基づいて、撮像装置の光軸が指示するディスプレイ平面上の座標位置を検出することができる。
その結果、ディスプレイと撮像装置が離れており各マークの細かな識別が困難な場合には、４つのマークにより位置検出を行ない、ディスプレイと撮像装置が近接し各マークの細かな識別が可能な場合には、マークに含まれている指標線分を利用した位置検出が可能となり、ディスプレイと撮像装置の距離の如何に問わず、撮像された図形中からマークを識別して撮像装置の指示位置検出を行なうことができる。

本発明の撮像装置の指示位置検出方法における別の態様は、撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、ディスプレイの四隅にそれぞれマークを配置し、各マークには、ディスプレイの水平方向とディスプレイの対角線方向に配置された他のマークの方向を示す直線状の指標線分を検出するための図形を設けておき、撮像装置の指示位置検出時においては、ディスプレイの一方の側に配置された上下２つのマークを前記撮像装置により撮像し、これら２つのマークの撮像装置の画像平面上における位置と、これら２つのマークに含まれる図形から指標線分を検出する処理と、検出された各指標線分を延長し、この延長した線分の交点を演算し、この交点をディスプレイの反対側に設けられた上下２つのマークの画像平面上における位置と推測する処理と、これら前記撮像された２つのマークと、撮像された２つのマークから推測された残りの２つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする。

本発明は、他の態様として、以上の方法を撮像装置の指示位置検出装置や撮像装置の指示位置検出用プログラムとして捉えることも可能である。

このような態様によれば、撮像装置に垂直方向の移動を制限することにより、マークには水平方向と対角線方向の２つの指標線分を検出することのできる図形を設けることにより、マーク自体の構成を単純化して、撮像装置により撮影された図形中からマークを容易に判別することができるようにしたものである。特に、横長のディスプレイにおいて撮像装置をディスプレイに近接させた場合に、その上下方向よりも水平方向の方が撮像範囲から外れることが多く、そのため、撮像装置による指示方向が主としてディスプレイの水平方向に対して移動する。このような場合に、撮像装置の垂直方向の移動を制限しても問題がないことから、マークの構成の単純化によるマーク識別精度の向上を図ったものである。

本発明によれば、ディスプレイの四隅に設けられたマークの少なくとも２つを撮像することにより、これら撮像されたマークに含まれる図形から検出される指標線分の情報からディスプレイの四隅のマークの位置を予測でき。そして、予測されたディスプレイ四隅のマークの位置に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出することが可能になる。特に、撮像されているマーク数に応じて、撮像された図形中からのマークの判別手法を変更することにより、ディスプレイと撮像装置の距離の如何にかかわらず、マークの判別精度を向上させることができる。また、撮像装置の撮像方向に制限を加えることで、マーク形状の単純化をはかり、マークの判別精度を向上させることもできる。

本発明の第１の実施の形態の構成を示すブロック図。 本発明の第１の実施の形態の全体の処理の前半部分示すフローチャート。 本発明の第１の実施の形態の全体の処理の後半部分示すフローチャート。 本発明の第１の実施の形態における頂点推測処理の前半部分を示すフローチャート。 本発明の第１の実施の形態における頂点推測処理の後半部分を示すフローチャート。 本発明のマーク位置推測の原理を示す説明図。 本発明に使用するマークの一例を示す正面図。 図５のマークを使用したマーク推測位置を示す正面図。 本発明における他のマークの例を示す正面図。 本発明における方向ベクトルの検出処理を示す図。 本発明におけるマーク設置位置指標ベクトルを決定する処理を示す図。 本発明において、検出されたマークがディスプレイの上下いずれにあるを判別する処理を示す図。 本発明において、２つのマークのマーク設置位置指標ベクトルの方向をろえる処理を示す図。 本発明において、交点予測指標ベクトルを決定する処理を示す図。 本発明において、撮像された２つのマークから残る２つのマークの位置算出する処理を示す図。 本発明において、４つのマークがディスプレイの四隅のどの位置に対応るかを判定する処理を示す図。 本発明において、ディスプレイの下部に設けられた２つのマークが撮像れている場合の効果を説明する図。 本発明において、ディスプレイの左側に設けられた２つのマークが撮像れている場合の効果を説明する図。 本発明の第２の実施の形態に使用するマークの一例を示す図。 本発明の第２の実施の形態における未撮像マーク位置を推測する手法を示す図。

符号の説明

１…ディスプレイ
２…撮像装置
３…Ａ／Ｄ変換器
４…フレームメモリ
５…位置検出部
６…ディスプレイ制御部
５０…画像処理部
５１…マーク検出部
５２…マーク種別検出部
５３…指標線分検出部
５４…未撮像マーク位置演算部
５５…マーク位置識別部
５６…座標位置検出部

Ａ．第１実施の形態
以下、本発明の第１実施の形態を図面に従って具体的に説明する。
１．マークの形状
本発明のように、射影変換を利用して、被写体であるとディスプレイと撮像装置によって撮影された画像平面との相対的な位置関係を把握する場合、被写体および画像平面上における直線性は位相不変量であり、射影変換では直線は直線に変換されることがわかっている。そこで、２つの直線Ａ，Ｂの交点をＣとし、また、直線Ａ，Ｂの射影変換後の直線をそれぞれＡ’，Ｂ’、交点Ｃの射影変換後の位置をＣ’とすると、Ｃ’はＡ’、Ｂ’の交点となる。今、線分の延長線上の交点が、ディスプレイ四隅の位置になるような線分情報を各マークに盛り込めば、被写体（ディスプレイ）上で２点のマークが撮像されていれば、ディスプレイ四隅の位置を、線分の延長線上の交点として推測できる。

この場合、ディスプレイに設ける各マークは、直線情報を含む形状となるため、それに応じた認識処理が必要となり、且つ追加される処理として、ディスプレイ四隅の座標位置を推定する処理が必要となる。以下に、どのような形状のマークが考えられるか、それらの認識手法、認識後の交点の推測方法を下記に示す。なお、以下の説明において、簡単化のためマークに付加する直線情報を以下「指標線分」と称す。

今、図１に示すように、ディスプレイの四隅に設置されるマークをそれぞれ、マーク０〜３とする。このとき、図４に示すように、各マーク０〜３に３本の指標線分をそれぞれ含ませておくことにより、例えば、マーク０が撮像された場合にディスプレイの四隅（ディスプレイの四隅に設けられた他のマーク１〜３）が存在する方向が判断できるようにする。

この場合、撮像画像平面におけるディスプレイの四隅の座標を決定するには、撮像装置によって撮影された画像中から、２つ以上のマークの識別と、各マークに含まれ指標線分の識別との処理が必要となる。そこで、本実施の形態において、各マーク０〜３は、図５のように、円形をした１つの外形部Ｒの内側に３本の指標線分を得るための穴Ｈあるいは内部点Ｐを形成したものとする。

すなわち、ディスプレイの左側に設けられるマーク０，１は、その内部に３つの穴を備え、この３つの穴Ｈを端点とする３本の指標線分が検出できるものである。この３本の指標線分は、ディスプレイの縦横及び斜め方向（ディスプレイの対角線方向）を示すものである。一方、ディスプレイの右側に設けられるマーク２，３では、その内部に１つの大きな穴Ｈを備え、さらにその穴Ｈに３つの内部点Ｐが設けられており、これら３つの内部点Ｐを端点とする３本の指標線分が検出できるものである。

なお、前記の各マークは、撮像された画像中においてマークの抽出を助長させるために、マークの周囲を低輝度な素材で構成し、マーク自身を構成する外形部や穴を高輝度な領域で構成する。この構成にすることにより、撮像された画像においてマーク図形部分が高コントラストになり、濃度変化情報で他の図形と区別しやすくできる。これらは透過照明による面光源や再帰反射板等によって実現できる。

このような指標線分を検出可能な図形を含んだ各マークをディスプレイの四隅に設けることにより、図６に示すように、ディスプレイの左側上下に設けられている２つのマーク０，１が撮像されている場合に、マーク０の水平方向の指標線分１とマーク１の斜め方向の指標線分２の延長線の交点を求めれば、それがディスプレイの右側上方のマーク３の位置となる。また、マーク０の斜め方向の指標線分２とマーク１の水平方向の指標線分１の交点が、ディスプレイの右側下方のマーク２の位置となる。他の２つのマークが撮像されている場合も同様であって、本実施の形態によれば、２つのマークが撮像されていれば、マークに含まれた指標線分を延長して交点を求めることにより、撮像画面上における他のマークの位置、すなわち、各マークが設けられたディスプレイの四隅の位置を検出することができる。

本発明に使用するマークは前記のような形状に限定されるものではなく、例えば、図７に示すように、円形の外形部４の内部に３本の直線状の指標線分１−３を配置したものとすることもできる。この場合、３本の指標線分の端点は、外形部と指標線分との交点及び指標線分と他の指標線分との交点とすることで、３本の指標線分を特定できる。また、この形状のマークでは、各指標線分と外形部との間の塗り潰し部の有無により外形部内に形成される穴の数を異ならせることにより、左右のマークの判別ができる。

さらに、第２の実施の形態で後述するように、撮像装置について、上下方向の移動を制限した場合には、常に上下２個のマークが１組となって撮像されるので、上下方向の指標線分は不要である。その場合には、図１７に示すように、円形の外形部内に水平方向及び斜め方向の２本の指標線分を備えたマークを使用できる。この場合も、左右のマークの判別は、塗り潰し部の有無による穴の個数により行うことができる。この図７のマークを使用した場合には、撮像装置の上下方向の移動を制限したため、４つのマークすべてが撮像されるか、あるいはディスプレイの左右いずれかの側に設けられた上下２つのマークが一組になって撮像される。従って、このマークの場合には、左右いずれかの側の２つのマークに設けられた指標線分を使用して、図１８のように未撮像の２つのマークの位置を推測することができる。

２．検出装置の構成
本実施の形態の指示位置検出装置は、図１に示す通り、撮影対象となる画像表示面を有するディスプレイ１と、このディスプレイ１の画像表示面を撮影する撮像装置２とを備えている。この撮像装置２としては、ＣＣＤ撮像素子を備えたビデオカメラやデジタルカメラが使用される。

前記ディスプレイ１の四隅には、前記図４に示すようなそれぞれ異なった形状のマーク０〜３が設けられている。これらのマーク０〜３は、ディスプレイ１の枠部などに貼り付け、印刷等の手段で設けることも可能であるし、ディスプレイ１の表示画面中の映像として映し出すことによって表示することもできる。

前記撮像装置２には、これによって撮影された画像データをデジタル画像データとするＡ／Ｄ変換器３が接続され、このＡ／Ｄ変換器３の出力がフレームメモリ４に出力される。このフレームメモリ４は、Ａ／Ｄ変換されたデジタル画像データを、撮像装置２のＣＣＤ撮像素子の撮像平面の各画素に対応したアドレス毎に一時的に記憶するものである。前記フレームメモリ４には、フレームメモリ４上に一時記憶された画像データを解析して、ディスプレイ１の画像表示面に対する撮像装置２の光軸が指示しているディスプレイ平面上における座標を検出するための位置検出部５が設けられている。

前記位置検出部５は、撮像装置２によって撮影された画像平面上に存在する図形中からマークに該当する可能性の低い図形を排除する画像処理部５０と、前記画像処理部５０を通過した図形中からマークの画像を判別するマーク検出部５１と、前記マーク検出部５１によって判定されたマークがディスプレイのどの位置に設けられたものであるかを判別するマーク種別判別部５２を備えいてる。

前記位置検出部５は、前記マーク検出部５１によって検出されたマークの個数が２つの場合に、撮像された各マークに含まれる３本の指標線分の中から、他のマークに含まれる指標線分と組み合わせてその交点を得るための指標線分を選定する指標線分検出部５３と、前記指標線分検出部５３により検出された各マーク中の指標線分を撮像されていないマークの方向に延長すると共に、各マークから延長された指標線分の交点を求め、この交点上を画像平面上における撮像されていないマークの位置とするための演算を行う未撮像マーク位置演算部５４を備えている。

さらに、４つのマークが撮像された場合、あるいは撮像された２つのマークと未撮像の２つのマークの位置が推測された場合に、これら４つのマークがディスプレイのどの位置にあるかを識別するマーク位置識別部５５と、これら４つのマークのディスプレイ平面上における位置情報に基づいてディスプレイ平面上における撮像装置の光軸が指示する座標位置を演算するための座標位置検出部５６とを備えている。

前記位置検出部５の出力側はゲーム機やディスプレイ表示装置に設けられたディスプレイ制御装置６に接続され、このディスプレイ制御装置６に前記座標位置検出部５６で算出された撮像装置のディスプレイ表面に対する相対的な位置情報が出力されるようになっている。この場合、ディスプレイ制御装置６は、入力された撮像装置の位置情報に基づいて、例えば、撮像装置の中心が指示するディスプレイ上の座標を算出し、その座標上に射撃ゲームの照準点を表示したり、ポインティングデバイスの指示ポイントを表示する。

３．各部の動作の詳細
次に、前記のような構成を有する本実施の形態における各部の動作を、図２及び図３のフローチャートにより詳細に説明する。なお、図２は本実施の形態の全体の動作を示すものであり、図３はその中の頂点推測処理（図２のステップ１７）を詳細に示したものである。

（１）画像処理部５０…ステップ１，ステップ２
前記画像処理部５０は、撮像装置によって撮影された画素データを二値化処理すると共に、二値化された画素データを連結して、画像認識が可能な図形データとするものである。

なお、これらの画像処理に先立って、前記のようにマーク図形を高コントラストとしておくことにより、撮影された画像中の濃度変化情報で他の図形と区別するものであって、判定対象となる図形の濃淡情報を検出し、一定の閾値を超えたコントラストの高い図形をマーク候補として判定する。この場合、撮像装置２にあらかじめ赤外線透過フィルタを使用することで、可視光線領域の画像と比較してある程度判別対象となる図形数を制限することにより、よりフィルタ処理を効果的に行なうように構成することも可能である。

このように本実施の形態においては、マークと他の部分とのコントラストを強調した鮮鋭化処理や赤外線フィルタを利用したノイズ除去処理などにより、判定対象となる図形数を制限しておく。これらの処理は、後の処理の効率を上げ、演算装置の負担を軽減する意味でも有効である。

（２）マーク検出部５１及びマーク種別判別部５２の処理…ステップ４〜１２
前記マーク検出部５１は、撮像装置によって撮影された１フレーム分の画像データ中に、各マークに相当する画像が存在するか否かを判別し、その撮影画像平面上における位置（座標）を取得するものである。すなわち、撮像装置によって撮影された画像中には、マーク以外のものが種々含まれているので、それらの画像中からマークに相当するものを抽出する。

前記マーク種別判別部５２は、マークがディスプレイの左右のどちら側に設けられたものであるかを判別するものであって、前記マーク検出部５１の処理によってマークと判定された図形について、外形部内に設けられた穴及び内部点の数を検出し、その穴数が３つの場合にはディスプレイの左側のマークと判定し、穴数が１つで内部点が３つある場合にはディスプレイの右側のマークと判定する。そして、これら左右の図形について、左側マークの候補の図形については１つの穴の重心位置を算出し、右側マークの候補の図形については３つの内部点の重心位置を算出する。

このようなマーク検出部５１の処理は、次の通りである。
(1) 撮像されたすべての図形について、(2) から(5) のような判定処理を順次実行することにより、撮像された図形中からマークを抽出する。…ステップ４からステップ１２のループ処理
(2) 各マークについて穴の個数及び内部点の個数を検出する。…ステップ３
(3) 穴が１つある図形については、その穴の内側に内部点が３つあるものを抽出する。…ステップ５のYES、ステップ６

(4) 穴が複数ある図形については、その穴が３つある図形を抽出する。…ステップ５のNO、ステップ９のYES
(5) 候補の図形が規定の大きさである場合に、マークと判定する。…ステップ７，ステップ１０
(6) マークと判定された図形について、穴内部の内部点の中心位置の算出または穴の重心位置の算出…ステップ８，ステップ１１

前記(5) のステップ７，ステップ１０は、外形部の存在や、穴数及び内部点の数といった条件を満足する図形であっても、その寸法が一定の範囲外のものについては、求めるマークと判定しない処理である。ただし、撮像装置とディスプレイの距離が変化すると、撮像装置の画像平面上に撮像されたマークの寸法も変化するので、例えば、撮像された画像平面上における撮像寸法が一定値以上であっても、マーク全体が大きく撮像されている場合にはその図形がマークとは限らない。そこで、マークと判定された複数の図形間の距離とマークの寸法とを比較することで、一定の値内にある図形をマークと判定することができる。また、外形部に対する穴または内部点の寸法や位置もマーク判定の基準とすることもできる。

前記各ステップにおける穴及び内部点の個数の検出や重心位置の検出手段としては、公知の手段を適宜使用することが可能であって、例えば、マイクロビジョン株式会社の「画像マネージャー」、アイエムソフト有限会社の「Image Factory」などで、形状特徴抽出
ツールとして提供されているものを使用することができる。これらのツールで、撮像範囲内に存在する各図形について、その面積、外周長、内周長、円形度、穴数、穴面積などの特徴量を抽出することができる。

（３）マーク種別判別部５２による各マーク個数の判別…ステップ１３〜１６
上記のようにして、すべての図形について、右側マークあるいは左側マークであるか否かの判定が終了すると（ステップ１２）、マーク種別判別部５２は、さらに夫々のマークがいくつあるかを判定する。判定結果は、次のいずれかである。
(a) 右側マークと左側マークの４つが撮像されている。
(b) 左側マークが２つが撮像されている。
(c) 右側マークが２つが撮像されている。
(d) 左側マークと右側マークが１つずつ撮像されている。

（４）上下位置の判定…ステップ１７
検出された基準マークがディスプレイの上下のどちら側に位置するかを決定する。すなわち、本実施の形態では、左右のマークについては、穴や内部点の数により判別可能であるが、左右のマークが一つずつ検出された場合には、それら２つのマークがディスプレイの上側の２つか、下側の２つかが直ちには判別できない。そこで、このような場合に、本実施の形態では、上下位置の判定処理を行う。

なお、図２のフローチャートでは、この上下マークの判定を頂点推測処理（ステップ１７）の前段に設けているが、これは「左側マークと右側マークが１つずつ撮像されている」場合に実施することを明確にするために記載したものであって、本実施の形態では、この上下位置の判定は、次のステップ１７の頂点推測処理の中で行っている。もちろん、この図２の全体フローチャートのように、頂点推測処理とは独立して、外積値を計算しても良い。

（５）指標線分検出部５３
次に、この指標線分検出部５３で行われる処理を、図３のフローチャートにより具体的に説明する。

（５−１）用語の定義
指標線分検出部５３は、前記マーク検出部５１によってマークと判定された図形が２つある場合に、その２つの図形中から、未撮像のマーク位置を推測するために使用する指標線分を検出するものである。この場合、本実施の形態では、各マーク候補の図形には、３つの穴または内部点が設けられているので、これら３つの穴または内部点を端点とする３本の直線を各マーク候補の図形から抽出することができる。このようにして得られた３本の指標線分によって各マークに定義されるベクトルを「方向ベクトル」と定義する。

また、前記図６からも分かるように、各マークに含まれている３本の指標線分の中で、未撮像のマークの位置を推測するために必要な指標線分は２本である。すなわち、１本の指標線分は、撮像されたマークの方向を向いているので、これは未撮像マークの位置を推測するためには使用しない。そこで、本実施の形態においては、まず、この撮像されたマークを指し示す指標線分を検出し、この指標線分のベクトルを他の２本とは区別して「マーク設置位置指標ベクトル」と定義する。
また、このマーク設置位置指標ベクトルを検出するに当たり、撮像された２つのマークを区別する必要があることから、最初に基準とするマークを「基準マーク」、もう一方のマークを「補助マーク」とする。

（５−２）内部点または穴の重心位置
以下の説明では、前記のようにしてマーク検出部５１で得られた1つ目のマーク（基準
マーク）における内部点または穴の重心位置を、pnt[0][0]、pnt[0][1]、pnt[0][2]とし
、２つ目のマーク（補助マーク）における内部点または穴の重心位置を、pnt[1][0]、pnt[1][1]、pnt[1][2]とする。

（５−３）方向ベクトルの作成…ステップ３１
図８に示すように、マークの中の穴また内部点の個数は３点なので、抽出時は必ずどちらかの向き（右回りor左回り）に規則正しく並ぶことになる。但し、開始点は順不同となる。そこで、基準マークの３点の重心位置において検出順に、始点、終点とする方向ベクトルを作成し、最後の３点目では、一番最初に検出した重心位置を終点とした方向ベクトルとする。このようにすることにより、一方向(右回り、左回り)のベクトルが作成されることになる。

vec01A=pnt[0][1]−pnt[0][0]
vec12A=pnt[0][2]−pnt[0][1]
vec20A=pnt[0][0]−pnt[0][2]

（５−４）マーク設置位置指標ベクトルの検出
この「マーク設置位置指標ベクトル」を他のベクトルと区別するために、この指標線分検出部５３は、図９に示すように、次のような処理を行うように構成されている。

(1) 位置ベクトルの算出…ステップ３２
ある一つのマークを基準マークに取り、基準マークの各方向ベクトルの始点を基準点とし、もう一方のマーク（補助マーク）の任意の位置を終点とする３本の「位置ベクトル」を生成する。基準マークの各方向ベクトルと、生成された３本の位置ベクトルとの外積値の絶対値を指標値とする。ここで、３本の位置ベクトルは次のように作成される。

pvec00=pnt[1][0]−pnt[0][0]
pvec01=pnt[1][1]−pnt[0][0]
pvec02=pnt[1][2]−pnt[0][0]

(2) 外積計算…ステップ３３
マーク内部の方向ベクトルの大きさに比べ、マーク間の「位置ベクトル」の大きさの方が遙かに大きく、外積値の値は、ほぼ方向ベクトルともう一方の位置ベクトルとの成す角度によって左右されると言える。よって、成す角度が一番小さくなる方向ベクトルをマーク設置位置指標線分を構成する方向ベクトルとする。すなわち、基準マークの方向ベクトルと前記位置ベクトルの外積E１，E2，E3は次のようになる。

E1=vec01A×pvec00
E2=vec12A×pvec01
E3=vec20A×pvec02

(3) 各外積の絶対値の最小値を判定…ステップ３４
なお、この場合、各外積値の絶対値は、方向ベクトルの大きさ×マーク間の距離×成す角度と近似できる。この中で各方向ベクトルにおいて大きくことなるパラメータは成す角度である。よって、なす角度の大小が、マーク設置位置指標線分を決定するための要素となる。すなわち、前記外積E1、E2、E3の絶対値が一番小さい方向ベクトルvec**が、基準
マークにおけるマーク設置位置指標ベクトルであると言える。

（５−５）交点予測指標ベクトルと基準点の決定…ステップ３５
この処理で基準マークのマーク設置位置指標ベクトルの端点２点と、基準点Ａ（マーク設置位置指標ベクトルを構成しない位置）が明確になる。このマーク設置位置指標ベクトルが決定されると、残る２本の指標線分から得られるベクトルは、マーク設置位置指標ベクトルの両端点を基点として、未撮像マーク方向を指し示すものであるから、これら２つのベクトルを「交点予測指標ベクトル１と交点予測指標ベクトル２」と定義する。

（５−６）上下位置の判定…ステップ３６，ステップ３７
検出された基準マークがディスプレイの上下のどちら側に位置するかを決定する。すなわち、本実施の形態では、左右のマークについては、穴や内部点の数により判別可能であるが、左右のマークが一つずつ検出された場合には、それら２つのマークがディスプレイの上側の２つか、下側の２つかが直ちには判別できない。

そこで、本実施の形態では、マーク設置位置指標ベクトルの始点もしくは終点を始点とし、交点基準点を終点としたベクトルと、補助マークの任意の一点の位置ベクトルの外積の符号より、基準マークの上下設置位置が確定する。ここでは、再度外積計算を行うのではなく、前記ステップ３４で既に求めた外積値E1、E2、E3の符号を使用する。

すなわち、図１３に示すように、外積値の絶対値の最小値によって、マーク設置位置指標ベクトルの判定し、マーク設置位置指標ベクトルの端点を始点として交点予測指標ベクトルの向きを決定する。交点予測指標ベクトル１，２の始点を原点として、他方マークの穴、もしくは内部の図形の重心位置の位置ベクトルと交点予測指標ベクトルとの外積を計算する。それらの外積値の符号において、下記の通りに撮像されているマークの上下位置を決定できる。

左右の位置決定は、マークの形状より判断できるので、次のような撮像パターンが得られ、それに応じて外積値の符号からマーク位置を判定する。ただし、斜めの２種類のマークが撮像されている場合は、特定できないが、本実施の形態では図２のステップ１３−１６によりそのような場合はあらかじめ排除されている。

(a)マークが左側マーク
正→基準マークは左下マーク
負→基準マークは左上マーク
(b)マークが右側マーク
正→基準マークは右上マーク
負→基準マークは右下マーク

(c)マーク２種類(上側２つまたは下側２つの組み合わせ)
(c-1)基準マークが左側マーク
正→基準マークは左上マーク
負→基準マークは左下マーク
(c-2)基準マークが右側マーク
正→基準マークは右下マーク
負→基準マークは右上マーク

（５−７）補助マークについての処理
このようにして、基準マークについて、マーク設置位置指標ベクトルと２つの交点予測指標ベクトルが検出された後は、同様な手法で、補助マークについても、マーク設置位置指標ベクトルと２つの交点予測指標ベクトルを検出する。ただし、補助マークでは、前記「位置ベクトル」を使用することなく、基準マークのマーク設置位置指標ベクトルとの外積の絶対値が最小となる方向ベクトルが、補助マークのマーク設置位置指標ベクトルとなる。その理由は、基準マークと補助マークのマーク設置位置指標ベクトルは、同一線上にあるはずなので、両者の角度は「０」となり、その外積の絶対値も最小となる。

(1) 方向ベクトルの作成…ステップ３８
補助マークにおける方向ベクトルの作成は、補助マークの３点の重心位置において検出順に、始点、終点とする。方向ベクトルの最後の３点目では、一番最初に検出した重心位置を終点とした方向ベクトルとする。

vec01B=pnt[1][1]−pnt[1][0]
vec12B=pnt[1][2]−pnt[1][1]
vec20B=pnt[1][0]−pnt[1][2]

(2) マーク設置位置指標ベクトルとの外積計算…ステップ３９
次に、補助マークの方向ベクトルと基準マークのマーク設置位置ベクトルの外積E*を求める。
E1=vec1×vec01B
E2=vec1×vec12B
E3=vec1×vec20B

(3) 各外積値の絶対値の最小値の判定…ステップ４０
外積値E１，E2，E3の絶対値の大きさによる補助マークのマーク設置位置指標ベクトル
の判定を行う。基準マークのマーク設置位置指標ベクトルとの外積の絶対値が最小となる方向ベクトルが、補助マークにおけるマーク設置位置指標ベクトルとなる。

(4) 補助マークの交点予測指標ベクトルと基準点の決定…ステップ４１
この処理で基準マークのマーク設置位置指標ベクトルの端点２点と、基準点Ａ（マーク設置位置指標ベクトルを構成しない位置）が明確になる。このマーク設置位置指標ベクトルが決定されると、残る２本の指標線分から得られるベクトルは、マーク設置位置指標ベクトルの両端点を基点として、未撮像マーク方向を指し示すものであるから、これら２つのベクトルを「交点予測指標ベクトル１と交点予測指標ベクトル２」と定義する。

（５−８）交点予測指標ベクトルの組み合わせの検出
前記のように各マークには、２つのベクトルを「交点予測指標ベクトル１と交点予測指標ベクトル２」が定義されるが、これら４つのベクトルの中で特定の組み合わせのものの延長線の交点が、未撮像マークの推測位置となる。例えば、図６において、マーク０を基準マーク、マーク１を補助マークとした場合に、マーク０の交点予測指標ベクトル１と、マーク１の交点予測指標ベクトル２の交点は未撮像マーク３，４の位置にない。そこで、マーク０の交点予測指標ベクトル１とマーク０の交点予測指標ベクトル１、及びマーク０の交点予測指標ベクトル２とマーク０の交点予測指標ベクトル２との組み合わせを検出する必要がある。

本実施の形態の指標線分検出部５３は、この組み合わせの検出を次のように行うように構成されている。
(1) マーク設置位置指標ベクトルの内積計算と符号の判定…ステップ４２，４３
各マークにおける交点予測指標ベクトル１，２を特定するために、マーク設置位置指標ベクトルの延長線上に存在する各マークの頂点の並び替え処理を行う。そのため、まず、基準マークと補助マークにおける各マーク設置位置指標ベクトルの向きをそろえる。この処理は、図１０に示すように、基準マークと補助マークにおける各マーク設置位置指標ベクトルの内積を計算し、その符号を判定することで実現できる。すなわち、図１１において、２つのベクトルａ，ｂの向きがそろう（両者の角度θが９０°以下となる）ためには、両者の内積が下記の関係にあることを利用する。

a・b=|a||b|cosθ
0＜θ＜90→a・b＞0
θ90＜θ＜180→a・b＜0
a:(xa,ya)
b:(xb,yb)
a・b=xa×xb+ya×yb

(2) 方向ベクトルの入れ替え…ステップ４４
このステップでは、マーク位置指標ベクトルの向き補正後の直線組み合わせを検出する。すなわち、前記(1) の処理によりマーク設置位置指標ベクトルの向きをそろえ、各マークにおいてマーク設置位置指標ベクトルの始点を含む交点予測指標ベクトルを交点予測指標ベクトル１、終点を含む交点予測指標ベクトルを交点予測指標ベクトル２と置き換える。なお、基準マークを中心に、マーク設置位置指標ベクトルの向きが異なる場合は、補助マークの交点予測指標ベクトルを上記を満たすように交換する。

このようにすると、図１２に示すように、基準マークのマーク設置位置指標ベクトルがいずれの方向を向いていても、基準マークと補助マークのマーク設置位置指標ベクトルの方向をそろえ、その始点と終点により、交点予測指標ベクトル１，２を定義すると、未撮像マークの位置として求める交点は、上記の交点予測指標ベクトル１同士、交点予測指標ベクトル２同士の交点となる。

（５−９）判定式の値を判定…ステップ４６
交点予測指標ベクトル１，２のいずれの組み合わせが、未撮像マーク位置を示す交点となるかは、次のような判別式による判定も必要となる。
(a) 基準マーク
交点予測指標ベクトル１（xa,ya)
交点予測指標ベクトル２（xb,yb）
(b) 補助マーク
交点予測指標ベクトル１（xc,yc）
交点予測指標ベクトル２（xd,yd）

(c) 交点予測指標線分１における判別式
D1=xc×ya-yc×xa
(d) 交点予測指標線分２における判別式
D2=xd×yb-yd×xb
この場合、判別式の値が「０」の場合、組み合わせの線分は平行であり、交点は求まらない。

なお、上記の処理を行う場合、マーク設置位置指標ベクトルの向きを、図１２のいずれか一方にとなるように、（例えば、補助マークから基準マークへの向きとするように）さらに制限を付けることによって、交点予測指標ベクトル１，２の交点がディスプレイ四隅のどの位置のマークの推測値かは明確になる。但し、本実施の形態では、マークが４点検出された場合も、マーク位置の決定が必要であるため、ここで頂点位置（ディスプレイ四隅の位置）を確定させず、その確定はマーク位置識別部５５によって判定を行う。

（６）マーク位置演算部５４…ステップ４７
前記のようにして、指標線分検出部５３により、撮像された２つのマークのどの指標線分の組み合わせにより未撮像のマークの位置を演算するかが決定された後は、マーク位置演算部５４により、選定された指標線分の組み合わせに従いその延長線の交点の座標を演算することで、２つの未撮像のマークの位置（画像平面上における座標）を演算する。

この交点計算においては、図１３のように、基準マークの交点基準点を(x0,y0)とし、
補助マークの基準点を(x1,y1)として、次の計算を行う。
k1={xa×(y1−y0)−ya×(x1−x0)}／D1
k2={xb×(y1−y0)−yb×(x1−x0)}／D2

交点指標線分１による交点
x=k1×xc+x1
y=k1×yc+y1
交点指標線分２による交点
x=k2×xd+x1
y=k2×yd+y1

なお、４つのマークが撮像されている場合（指標線分によるマーク位置の推測を行なわない場合）には、撮像された各マークの座標をそのまま各マークの座標とするので、この演算処理は不要である。

（７）マーク位置識別部５５による各マーク位置の頂点決め処理…ステップ１８
前記のようにして、撮像されていない２つのマークの位置（座標）が、撮像されたマークに含まれている線分の延長線の交点として求められた後は、マーク０〜マーク３がディスプレイに設けられたどのマークに対応するか、すなわち、４つのマークの識別（４つのマークによって形成される四角形の頂点決め）を行う。なお、以下の説明において、符号Ａ，Ｂ，Ｃ，Ｄは、マーク０〜マーク３の識別位置を示し、上記で述べた各マークに含まれる指標線分を示しているのではない。また、撮像されたマークをＡ，Ｂとし、交点によって推測されたマークをＣ，Ｄとする。

ただし、撮像されたマークが３つの場合は、図２のフローチャートの前記ステップ１３−１６によって排除されており、また、４つのマークが撮像された場合には、同種の２つのマーク（例えば、左側の２つのマークＡ，Ｂ）が検出されたとして、残る２つのマーク（右側のマークＣ，Ｄ）を推測されたマークとみなすことにより、以下述べる２つのマークが撮像された場合と同様な処理により、４つのマークの頂点決めを行う。

この頂点決めの前提として、撮像されたマーク特徴（内部の穴の個数）によって、マークの種類は明確になっており、且つ、上記のマーク位置の予測処理において、どのマークの組み合わせが撮像されたかは明確になっている。そして、図１４のように、穴の数が３つのマークを左側、内部点の数が３つのマークを右側とし、それぞれ左上より、反時計回りにマーク０〜３とする。また、検出されたマークが左側マーク２点、右側マーク２点、異なる種類のマークの２点の３つの場合に分けて、頂点決めの処理を行う。

(1) 検出マークが左側のマーク２点であることは既知の場合
（推測マーク：マーク２，３）
ＡＢ×ＡＣの外積を行う。
ＡＢ×ＡＣの符号が正であるならば、左上がＡ、左下がＢ
ＡＢ×ＡＣの符号が負であるならば、左上がＢ、左下がＡ
ＡＣ×ＡＤの外積を行う
ＡＣ×ＡＤの符号が正であるならば、右下がＣ、右上がＤ
ＡＣ×ＡＤの符号が負であるならば、右下がＤ、右上がＣ

(3) 検出マークが右側のマーク２点であることは既知
（推測マーク：マーク０，１）
ＡＢ×ＡＣの外積を行う
ＡＢ×ＡＣの符号が正であるならば、右下がＡ、右上がＢ
ＡＢ×ＡＣの符号が負であるならば、右下がＢ、右上がＡ
ＡＣ×ＡＤの外積を行う
ＡＣ×ＡＤの符号が正であるならば、左上がＣ、左下がＤ
ＡＣ×ＡＤの符号が負であるならば、左上がＤ、左下がＣ

(2)／(4) 検出マークの１点(Ａ)が左側、もう１点(Ｂ)が右側であることは既知
ＡＢ×ＡＣの外積を行う
(ａ) ＡＢ×ＡＣの符号が正であるならば、右下がＢ、左下がＡ
ＡＣ×ＡＤの外積を行う
ＡＣ×ＡＤの符号が正であるならば、左上がＤ、右上がＣ
ＡＣ×ＡＤの符号が負であるならば、左上がＣ、右上がＤ
(ｂ) ＡＢ×ＡＣの符号が負であるならば、左上がＡ、右上がＢ
ＡＣ×ＡＤの外積を行う
ＡＣ×ＡＤの符号が正であるならば、左下がＣ、右下がＤ
ＡＣ×ＡＤの符号が負であるならば、左下がＤ、右下がＣ

(5)／(6) 検出マークの１点(Ａ)が左側、もう１点(Ｂ)が右側であることは既知
このように斜めの２つのマークが撮像された場合は、前記のような外積による手法では、各マークの特定は無理となり頂点の検出は不可となる。そのため、前記のように本実施の形態では、撮像パターン３のようなマークの組み合わせの場合には、再度の撮像処理を求め、この(5)／(6)のような撮像パターンが生じないようにしている。もちろん、左右を区別する２種類のマークに加えて、左上下のマークを異なる形状にして区別することができれば（合計３種類のマークを用意することになる）、この(5)／(6)の場合でも４つの頂点の識別が可能になる。

（８）座標位置検出部５６…ステップ１９
この座標位置検出部５６においては、画像平面上における４つのマークの座標と、ディスプレイ表示平面上におけるディスプレイの四隅に設けられている各マークの座標とに基づいて、撮像画像平面の座標系とディスプレイ表示平面の座標系との透視射影変換処理を行うことにより、両座標系の相対的な位置関係を算出する。そして、両座標系の相対的な位置関係が判明すると、たとえば、撮像装置の中心にある指示部がディスプレイ表示面のどの位置を指示しているかを算出することができるので、その演算結果をディスプレイ制御装置６に出力することにより、ディスプレイ上に撮像装置の中心が指示しているポイントを表示させることが可能になる。

なお、撮像画像平面上における４つのマークの座標が算出された後の透視射影変換処理による指示位置の特定は、特開平８−７１２５２号公報、特開昭２００１−１４８０２５号公報、および本出願人の出願にかかる特願２００２−３００４７８号に記載されているように公知の技術であるから、本発明において、この部分処理の手法はどのようなものを採用しても良い。

４．第１の実施の形態の効果
以上のように、本実施の形態によれば、画像平面に２つのマークしか撮影されていない場合においても、残る２つのマークの位置を推測することにより、ディスプレイと撮像装置との光軸が指示しているディスプレイ平面上における座標を検出することが可能となる。その結果、従来技術では、撮像装置により指示するディスプレイ上のポイントは、ディスプレイ側のすべてのマークが撮像される範囲に限られており、ディスプレイの周辺近くを指示することが不可能であった場合においても、本実施の形態によれば、２つのマークを撮影できれば良いので、ディスプレイの周辺部近くのポイントを指示することも可能となる。

たとえば、図１５は、撮像装置の画像平面Ｗには、ディスプレイの四隅のマークのうち、下の２つのマーク１，２しか撮像されていない場合を示すものであって、画像平面Ｗの中心点Ｏが撮像装置の中心点として、ディスプレイ表示面の所定のポイントを指示している。本実施の形態によれば、この２つのマーク１，２に含まれている指標線分に基づいて他のマーク３，４の位置を推測することが可能になる。これら４つのマークによって囲まれた範囲がディスプレイの表示平面Ｖに相当し、画像平面Ｗの中心点Ｏがディスプレイ表示平面Ｖにおける指示ポイントとなるので、この中心点Ｏをディスプレイ表示平面Ｖの周辺部近くにまで移動させることができる。

同様に、図１６は、撮像装置の画像平面Ｗには、ディスプレイの四隅のマークのうち、左の２つのマーク０，１しか撮像されていない場合であるが、この場合にも、撮像されていない他の２つのマーク２，３の位置を推測することにより、画像平面Ｗの中心点Ｏをディスプレイ表示平面の周辺部近くにまで移動させることができる。

さらに、従来技術では、撮像装置をディスプレイに近づけると４つのマークの撮像が不可能になって撮像装置の指示位置検出ができなくなるが、本発明では、最低限２つのマークが撮像されていればよいので、従来技術に比較して撮像装置をディスプレイに近接させることが可能となる。その結果、本実施の形態によれば、ディスプレイと撮像装置とからなるゲーム機器などの小型化や、撮像装置の使用者と大型のディスプレイが近接しているプレゼンテーション装置を実現することができる。

特に、本実施の形態においては、被写体と撮像系が十分に離れており、被写体上の４隅に設置されている４つのマークのすべてが撮像されている場合は、マーク位置の予測処理は行わなくて良い。すなわち、４つのマークのすべてが撮像されている場合とは被写体が十分に離れている場合と考えられ、そのような場合、マークは４点撮像されるがマークを構成している画素数はかなり少なくなると考えられる。そのため、本実施の形態では、マークをその外周が円であることと、内部に穴があるという単純な形状にし、遠くからでも認識しやすく且つ近くで撮像される場合は、マークに包含されている線分が十分な画素数を持つように構成した。

その結果、本実施の形態では、構成画素数が多い場合（大きく撮像されている場合）はマーク内部の線分を抽出し、撮像されていないマークの位置を予測し、一方、被写体と撮像装置の距離が遠い場合、マークは比較的小さく映り、構成する画素数が減少してもマーク全体の構成からマークの判別を可能としたので、撮像装置とディスプレイのと距離の遠近にかかわらず、撮像装置の指示位置検出を確実に行なうことができる。

Ｂ．第２の実施の形態
第２の実施の形態は、マークの形状をより単純なものとすることにより、被写体と撮像装置の距離が遠い場合でも撮像された画像中からマークの判別を確実に行なえるようにしたものである。すなわち、被写体と撮像装置の距離が遠い場合、マークは比較的小さく映り、構成する画素数が減少する。

少ない構成画素数でマークを判断するためには、マークを複雑な形状にすることが難しく、指標線分の情報を低減する必要性も考えられる。例えば、被写体の位置と撮像装置が指示する高さがほぼ同程度あるいは垂直方向の傾きを考慮しなくても良いような系では、被写体の角度を水平方向の回転角度のみ考慮し、垂直方向の指標線分が不要となるので、マークを簡易化できる。

前記図１７は、このような場合に使用されるマークの一例を示すものである。この図１５に示すように、各マーク０〜３は外周の外形部４の内側に水平方向と斜め方向の２本の指標線分をそれぞれ有している。また、左側のマーク０，１は内側に１つの穴を持ち、右側のマーク２，３は内側に２つの穴を持っている。

図１８に示すように、２つの指標線分を有するこのマークでは、ディスプレイの左上、右上のみ又は左下、右下のみのマークが撮像されていても、未撮像のマーク位置を推測できないが、前記のように撮像装置の姿勢変化について制限をかけているために、このようなマークの組合せが撮像されることは無いと言える。

この実施の形態において、撮像装置が被写体から遠くの位置にあり、４つのマークが撮像されている場合には、前記第１の実施の形態において４つのマークが撮像されている場合と同様に、撮像された４つのマークの位置に基づいて、撮像装置の位置を検出することができる。なお、４つのマークの検出処理は、前記第１の実施の形態における穴の数や内部点の数を検出するのと同様な手法で判定できる。

また、各マークが有する指標線分の検出処理、未撮像のマーク位置を推測するための指標線分の組合せや、４つの頂点の識別処理も、各マークに含まれている線分の端点や線分と外形部との交点を第１の実施の形態における３つの穴部や内部点と見なして計算を行うことにより、前記第１の実施の形態と同様に実施できる。

この場合、第２の実施の形態では、撮像装置の垂直方向の移動が制限されているので、４つのマークが撮像されていない場合は、右側の２つのマークのみが撮像されている場合か、左側の２つのマークのみが撮像されている場合に限られることになる。従って、図２のフローチャートにおけるステップ１６が不要となり、第１の実施の形態に比較して、処理が簡単になる。

このように第２の実施の形態によれば、撮像装置の姿勢に制限を加えることにより、指標線分の数を減少させることが可能になるので、マーク自体の構成を単純化して、マークの判別精度を向上させることができる。

本発明は、ゲーム機の照準装置、プレゼンテーション用ディスプレイのポインタに加え、撮像装置を利用者の頭部に装着することにより運転シミュレータにおける利用者の視線方向検出装置などの用途にも適用できる。

Claims (8)

1. 撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、
   ディスプレイの四隅にそれぞれマークを配置し、各マークには他のマークの配置方向を示す複数の指標線分を検出するための図形と、この指標線分を検出する図形を取り囲む外形部とを設けておき、
   撮像装置の指示位置検出時において、撮像装置によって撮像した画像中から、外形部とその内部に指標線分を検出するための図形が存在する図形をマークとして判別する処理と、
   このマークとして判別された図形が４つある場合には、これら４つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、
   前記マークとして判別された図形が２つの場合には、判別された各マーク内に存在する図形より指標線分を検出し、この指標線分を延長して、この延長した指標線分の交点を演算し、この交点を撮像されていない残りの２つのマークの位置と推測する処理と、
   前記撮像された２つのマークと、前記撮像されたマークから推測された残りの２つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする撮像装置の指示位置検出方法。
2. 撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、
   ディスプレイの四隅にそれぞれマークを配置し、各マークには、ディスプレイの水平方向とディスプレイの対角線方向に配置された他のマークの方向を示す直線状の指標線分を検出するための図形を設けておき、
   撮像装置の指示位置検出時においては、ディスプレイの一方の側に配置された上下２つのマークを前記撮像装置により撮像し、これら２つのマークの撮像装置の画像平面上における位置と、これら２つのマークに含まれる図形から指標線分を検出する処理と、
   検出された各指標線分を延長し、この延長した線分の交点を演算し、この交点をディスプレイの反対側に設けられた上下２つのマークの画像平面上における位置と推測する処理と、
   これら前記撮像された２つのマークと、撮像された２つのマークから推測された残りの２つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする撮像装置の指示位置検出方法。
3. 撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、
   ディスプレイの四隅にそれぞれマークを配置し、各マークには、ディスプレイの水平方向とディスプレイの対角線方向に配置された他のマークの方向を示す直線状の指標線分を検出するための図形と、この指標線分を検出する図形を取り囲む外形部とを設けておき、
   撮像装置の指示位置検出時において、撮像装置によって撮像した画像中から、外形部とその内部に指標線分を検出するための図形が存在する図形をマークとして判別する処理と、
   このマークとして判別された図形が４つある場合には、これら４つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、
   前記マークとして判別された図形が２つの場合には、これら２つのマークの撮像装置の画像平面上における位置と、これら２つのマークに含まれる図形から指標線分を検出し、検出されたされた２つのマークの指標線分を延長して、この延長した指標線分の交点を演算し、この交点を撮像されていない残りのマークの位置と推測する処理と、前記撮像された２つのマークと前記撮像されたマークから推測された残りの２つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする撮像装置の指示位置検出方法。
4. 前記ディスプレイの四隅に設けられたマークが、円形の外形部の内部に３つの穴を有する図形からなるマークと、円形の外形部の内部に１つの穴とその穴の内部に３つの点を有する図形からなるマークとによって構成されていることを特徴とする請求項１、請求項２または請求項３記載の撮像装置の指示位置検出方法。
5. 撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための装置において、
   ディスプレイと、
   前記ディスプレイの四隅にそれぞれ配置され、他のマークの配置方向を示す複数の指標線分を示す図形とこの指標線分を取り囲む外形部とを設けたマークと、
   前記撮像装置によって撮影された画像中から、外形部とその内部に指標線分を検出する図形が存在する図形をマークとして判別するマーク検出部と、
   前記マークとして判別された図形が２つの場合に、判別された各マーク内に存在する図形中から未撮像マークの位置を推測するのに必要な指標線分を検出する指標線分検出部と、
   この指標線分検出部によって検出された指標線分を延長してこの延長した指標線分の交点を演算し、この交点を撮像されていない残りのマークの位置と推測するマーク位置推測部と、
   前記撮像された図形中に、マークとして判別された図形が４つある場合には、これら４つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出し、
   前記撮像された図形中に２つのマークがある場合には、これら撮像されたマークと、前記撮像されたマークから推測された残りのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する座標位置検出部を備えていることを特徴とする撮像装置の指示位置検出装置。
6. 撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するためのプログラムにおいて、
   コンピュータに対して、
   撮像装置によって撮像された画像中から、外形部とその内部に指標線分を検出するための図形が存在する図形をマークとして判別する処理と、
   このマークとして判別された図形が４つある場合には、これら４つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、
   前記マークとして判別された図形が２つの場合には、判別された各マーク内に存在する図形から指標線分を検出し、この検出された指標線分を延長して、この延長した指標線分の交点を演算し、この交点を撮像されていない残りのマークの位置と推測する処理と、
   前記撮像された２つのマークと、前記撮像されたマークから推測された残りの２つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、
   を実行させることを特徴とする撮像装置の指示位置検出用プログラム。
7. 撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための装置において、
   ディスプレイと、
   ディスプレイの四隅にそれぞれ配置され、ディスプレイの水平方向とディスプレイの対角線方向に配置された他のマークの方向を示す直線状の指標線分を検出するための図形を有するマークと、
   撮像方向のディスプレイの垂直方向に対する移動が制限された撮像装置と、
   前記撮像装置によって撮影された画像平面上の図形中から、ディスプレイ四隅のマークのうち少なくとも２つのマークを抽出するマーク検出部と、
   撮像された各マーク内に存在する図形中から未撮像マークの位置を推測するのに必要な指標線分を検出する指標線分検出部と、
   前記指標線分検出部により検出された２つのマーク中の指標線分をディスプレイの隅部の方向に延長すると共に、各マークから延長された線分の交点を求め、この交点を撮像されていないマークの位置とするマーク位置推測部と、
   これら前記撮像された２つのマークと、撮像された２つのマークから推測された残りの２つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する座標位置検出部を備えていることを特徴とする撮像装置の指示位置検出装置。
8. 撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するためのプログラムにおいて、
   コンピュータに対して、
   撮像装置によって撮像された画像中から、ディスプレイの一方の側に配置された上下２つのマークの撮像装置の画像平面上における位置と、これら２つのマークに含まれる図形に基づいて指標線分を検出する処理と、
   前記２つのマークにおいて検出された各指標線分を延長し、この延長した線分の交点を演算し、この交点をディスプレイの反対側に設けられた上下２つのマークの画像平面上における位置と推測する処理と、
   これら前記撮像された２つのマークと、撮像された２つのマークから推測された残りの２つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、
   を実行させることを特徴とする撮像装置の指示位置検出用プログラム。

Images