WO2005096130A1

WO2005096130A1 - 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム

Info

Publication number: WO2005096130A1
Application number: PCT/JP2005/006237
Authority: WO
Inventors: Syuhei Jyonishi
Original assignee: Tamura Corporation
Priority date: 2004-03-31
Filing date: 2005-03-31
Publication date: 2005-10-13
Also published as: JPWO2005096130A1

Description

明細書

撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用

[0001] 本発明は、撮像装置によってディスプレイを撮影した場合において、撮像装置の光軸（又は、指示方向）とディスプレイ平面との交点におけるディスプレイ上の相対座標を検出するための撮像装置の指示位置検出方法および装置に関するものであって、特に、射撃ゲーム用のガンやポインティングデバイスに内蔵された撮像装置を用いて、ディスプレイ側に用意された複数のマークを撮影することにより、撮像装置とデイスプレイ間の距離、回転角度、照準位置等を検出するための方法および装置に係る。また、本発明は、前記位置検出方法および装置をコンピュータ上で実現するための撮像装置の指示位置検出用プログラムに関する。

背景技術

[0002] 従来から、 CRTや液晶ディスプレイを利用した射撃ゲームにおいて、標的をねらうガンなどの発射装置の照準位置を検出したり、スクリーン型のディスプレイ上に投影された画像上の所定の位置を指示するためのポインティングデバイスの使用時に、ポインティングデバイスの指示するディスプレイ上の位置を検出するための装置として、撮像装置を利用したものが知られている（特許文献 1 3参照)。

[0003] この種の装置は、被写体となるディスプレイの四隅に設けられたマークを撮影し、デイスプレイと撮像装置の距離、角度等に応じて、撮影された四隅のマークの画像平面上における相対位置が変化することを利用して、ディスプレイに対する撮像装置の光軸の向き、すなわちディスプレイ上におけるガンの照準位置やポインティングデバイスの指示位置を検出するものである。

[0004] 特許文献 1 :特開平 8 71252号公報

特許文献 2：特開平 11 - 305935号公報

特許文献 3：特開 2001 _ 148025号公報

発明の開示発明が解決しょうとする課題

[0005] この種の撮像装置の指示位置検出装置は、撮像装置によって撮影された四隅のマークの画像平面上での位置情報を用いて撮像装置の光軸が指示するディスプレイ平面上の相対位置を検出するものであるため、射影歪みを考慮した精度の良い位置検出を行う場合、必ず、ディスプレイ上の規定された四隅のマークの位置情報が必要となる。なお、マークの位置は、必ずしも特許文献 1—3のようなディスプレイの四隅でなくても良いが、少なくとも 4つ設けられていることが検出精度上不可欠である。

[0006] このような従来技術において、撮像装置の照準や指示位置をディスプレイの周辺領域に定めると、その反対側に設けられたマークが撮影範囲から外れてしまレ、、 4つのマークを画像平面上に映し出すことができなくなり、撮像装置の位置決めが不可能となる。そのため、これら 4つのマークを必ず画像平面範囲内に撮像するためには、デイスプレイと撮像装置の距離はディスプレイ全体が写るくらい十分に離れている必要力 ^sある。

[0007] しかし、撮像装置とディスプレイの距離を大きくすることは、これを利用したゲーム機などの大型化に繋がり、特に、設置スペースの小型化が求められているアーケードゲーム機などにおいては大きな不都合であった。また、大型のディスプレイを使用した場合は、撮像装置とディスプレイの距離がより大きくなり、離れた位置から撮像装置を内蔵したガンやポインタを操作することになり、ディスプレイの希望する位置に照準を合わせることが困難になったり、表示内容を確認することが不可能になる問題が生じる欠点があった。

[0008] また、従来技術は、ディスプレイ側にマークを必ず 4つ設ける必要があり、マーク自体をディスプレイと別体に設けた場合には、その設置作業が面倒であるとか、マーク数を用意するためのコストがかかるといった欠点があった。また、マークをディスプレイの映像として表示した場合には、 4つのマークを常時表示しなければならず、ゲームなどの表示内容の邪魔になる欠点があった。

[0009] 本発明は前記のような従来技術の問題点を解決するために提案されたものであつて、その目的は、マークの形状にディスプレイ隅部の位置を推測させる情報を盛り込み、ディスプレイの四隅がすべて撮影されない状況であっても、ディスプレイ四隅の位置情報を取得可能とし、その位置情報に基づいて、撮像装置の指示位置検出を精度良く実施することができるようにした位置検出方法および装置を提供することにある。

[0010] 本発明の他の目的は、マークの形状に工夫を凝らすと共に、撮像装置とディスプレィの距離に応じてマークの判別手法を異ならせたり、撮像装置の撮像範囲に制限を与えることにより、撮像装置によって撮像された図形中からマークを確実に判別することができる撮像装置の指示位置検出方法および装置を提供することにある。

課題を解決するための手段

[0011] 上記のような目的を達成するため、本発明の撮像装置の指示位置検出方法の一態様は、撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、ディスプレイの四隅にそれぞれマークを配置し、各マークには他のマークの配置方向を示す複数の指標線分を検出するための図形と、この指標線分を検出する図形を取り囲む外形部とを設けておき、撮像装置の指示位置検出時において、撮像装置によって撮像した画像中から、外形部とその内部の穴が存在する図形をマークとして判別する処理と、このマークとして判別された図形が 4つある場合には、これら 4つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、前記マークとして判別された図形が 2つの場合には、判別された各マーク内に存在する図形より指標線分を検出し、この指標線分を延長して、この延長した指標線分の交点を演算し、この交点を撮像されていない残りの 2つのマークの位置と推測する処理と、前記撮像された 2つのマークと、前記撮像されたマーク力推測された残りの 2つのマークの画像平面上における位置情報に基づレ、て、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする。

[0012] 本発明は、他の態様として、以上の方法を撮像装置の指示位置検出装置や撮像装置の指示位置検出用プログラムとして捉えることも可能である。

[0013] このような態様によれば、被写体であるディスプレイと撮像装置が十分に離れており、ディスプレイの 4隅に設置されているマーク全てが撮像されている場合は、指標線分による未撮像のマーク位置の予測処理は行わなくて良レ、。そのため、マークに含まれている図形から指標線分を検出することな 4つのマークの位置から、撮像装置の光軸が指示するディスプレイ平面上の座標位置を検出することができる。一方、デイスプレイとマークの位置が近レ、場合には、すべへのマークを撮影することが不可能となる力その場合には、マークに含まれている図形から指標線分を検出し、検出された指標線分を延長してその交点を求めることで、撮像されていない残りのマークの位置を推測し、撮像されたマークと推測されたマークの位置に基づいて、撮像装置の光軸が指示するディスプレイ平面上の座標位置を検出することができる。

その結果、ディスプレイと撮像装置が離れており各マークの細力な識別が困難な場合には、 4つのマークにより位置検出を行ない、ディスプレイと撮像装置が近接し各マークの細かな識別が可能な場合には、マークに含まれている指標線分を利用した位置検出が可能となり、ディスプレイと撮像装置の距離の如何に問わず、撮像された図形中からマークを識別して撮像装置の指示位置検出を行なうことができる。

[0014] 本発明の撮像装置の指示位置検出方法における別の態様は、撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレィ平面との交点の相対座標を検出するための方法において、ディスプレイの四隅にそれぞれマークを配置し、各マークには、ディスプレイの水平方向とディスプレイの対角線方向に配置された他のマークの方向を示す直線状の指標線分を検出するための図形を設けておき、撮像装置の指示位置検出時においては、ディスプレイの一方の側に配置された上下 2つのマークを前記撮像装置により撮像し、これら 2つのマークの撮像装置の画像平面上における位置と、これら 2つのマークに含まれる図形から指標線分を検出する処理と、検出された各指標線分を延長し、この延長した線分の交点を演算し、この交点をディスプレイの反対側に設けられた上下 2つのマークの画像平面上における位置と推測する処理と、これら前記撮像された 2つのマークと、撮像された 2つのマーク力推測された残りの 2つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする。

[0015] 本発明は、他の態様として、以上の方法を撮像装置の指示位置検出装置や撮像装置の指示位置検出用プログラムとして捉えることも可能である。

[0016] このような態様によれば、撮像装置に垂直方向の移動を制限することにより、マークには水平方向と対角線方向の 2つの指標線分を検出することのできる図形を設けることにより、マーク自体の構成を単純化して、撮像装置により撮影された図形中からマークを容易に判別することができるようにしたものである。特に、横長のディスプレイにおいて撮像装置をディスプレイに近接させた場合に、その上下方向よりも水平方向の方が撮像範囲から外れることが多ぐそのため、撮像装置による指示方向が主としてディスプレイの水平方向に対して移動する。このような場合に、撮像装置の垂直方向の移動を制限しても問題がないことから、マークの構成の単純化によるマーク識別精度の向上を図ったものである。

発明の効果

[0017] 本発明によれば、ディスプレイの四隅に設けられたマークの少なくとも 2つを撮像することにより、これら撮像されたマークに含まれる図形から検出される指標線分の情報力もディスプレイの四隅のマークの位置を予測でき。そして、予測されたディスプレイ四隅のマークの位置に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出することが可能になる。特に、撮像されているマーク数に応じて、撮像された図形中からのマークの判別手法を変更することにより、ディスプレイと撮像装置の距離の如何にかかわらず、マークの判別精度を向上させることができる。また、撮像装置の撮像方向に制限を加えることで、マーク形状の単純化をはかり、マークの判別精度を向上させることもできる。

図面の簡単な説明

[0018] [図 1]本発明の第 1の実施の形態の構成を示すブロック図。

[図 2]本発明の第 1の実施の形態の全体の処理の前半部分示すフローチャート。

[図 3]本発明の第 1の実施の形態の全体の処理の後半部分示すフローチャート。

[図 4]本発明の第 1の実施の形態における頂点推測処理の前半部分を示すフローチヤート。

[図 5]本発明の第 1の実施の形態における頂点推測処理の後半部分を示すフローチヤート。 [図 6]本発明のマーク位置推測の原理を示す説明図。

[図 ₇]本発明に使用するマークの一例を示す正面図。

[図 8]図 5のマークを使用したマーク推測位置を示す正面図。

[図 9]本発明における他のマークの例を示す正面図。

[図 10]本発明における方向ベクトルの検出処理を示す図。

[図 11]本発明におけるマーク設置位置指標ベクトルを決定する処理を示す図。

[図 12]本発明において、検出されたマークがディスプレイの上下いずれにあるを判別する処理を示す図。

[図 13]本発明において、 2つのマークのマーク設置位置指標ベクトルの方向をろえる処理を示す図。

[図 14]本発明において、交点予測指標ベクトルを決定する処理を示す図。

[図 15]本発明において、撮像された 2つのマークから残る 2つのマークの位置算出する処理を示す図。

[図 16]本発明において、 4つのマークがディスプレイの四隅のどの位置に対応るかを判定する処理を示す図。

[図 17]本発明において、ディスプレイの下部に設けられた 2つのマークが撮像れている場合の効果を説明する図。

[図 18]本発明において、ディスプレイの左側に設けられた 2つのマークが撮像れている場合の効果を説明する図。

[図 19]本発明の第 2の実施の形態に使用するマークの一例を示す図。

[図 20]本発明の第 2の実施の形態における未撮像マーク位置を推測する手法を示す図。

符号の説明

1…ディスプレイ

2…撮像装置

3- - -A/D変換器

4· · ·フレームメモリ

5…位置検出部 6…ディスプレイ制御部

50· · ·画像処理部

51…マーク検出部

52…マーク種別検出部

53· · ·指標線分検出部

54…未撮像マーク位置演算部

55…マーク位置識別部

56…座標位置検出部

発明を実施するための最良の形態

[0020] A.第 1実施の形態

以下、本発明の第 1実施の形態を図面に従って具体的に説明する。

1.マークの形状

本発明のように、射影変換を利用して、被写体であるとディスプレイと撮像装置によつて撮影された画像平面との相対的な位置関係を把握する場合、被写体および画像平面上における直線性は位相不変量であり、射影変換では直線は直線に変換されることがわかっている。そこで、 2つの直線 A， Bの交点を Cとし、また、直線 A， Bの射影変換後の直線をそれぞれ A' , B'、交点 Cの射影変換後の位置を C'とすると、 C 'は Α'、 Β 'の交点となる。今、線分の延長線上の交点が、ディスプレイ四隅の位置になるような線分情報を各マークに盛り込めば、被写体 (ディスプレイ）上で 2点のマークが撮像されていれば、ディスプレイ四隅の位置を、線分の延長線上の交点として推測できる。

[0021] この場合、ディスプレイに設ける各マークは、直線情報を含む形状となるため、それに応じた認識処理が必要となり、且つ追加される処理として、ディスプレイ四隅の座標位置を推定する処理が必要となる。以下に、どのような形状のマークが考えられる力、それらの認識手法、認識後の交点の推測方法を下記に示す。なお、以下の説明において、簡単化のためマークに付加する直線情報を以下「指標線分」と称す。

[0022] 今、図 1に示すように、ディスプレイの四隅に設置されるマークをそれぞれ、マーク 0 〜3とする。このとき、図 4に示すように、各マーク 0〜3に 3本の指標線分をそれぞれ含ませておくことにより、例えば、マーク 0が撮像された場合にディスプレイの四隅（デイスプレイの四隅に設けられた他のマーク 1〜3)が存在する方向が判断できるようにする。

[0023] この場合、撮像画像平面におけるディスプレイの四隅の座標を決定するには、撮像装置によって撮影された画像中から、 2つ以上のマークの識別と、各マークに含まれ指標線分の識別との処理が必要となる。そこで、本実施の形態において、各マーク 0 〜3は、図 5のように、円形をした 1つの外形部 Rの内側に 3本の指標線分を得るための穴 Hあるいは内部点 Pを形成したものとする。

[0024] すなわち、ディスプレイの左側に設けられるマーク 0, 1は、その内部に 3つの穴を備え、この 3つの穴 Hを端点とする 3本の指標線分が検出できるものである。この 3本の指標線分は、ディスプレイの縦横及び斜め方向（ディスプレイの対角線方向）を示すものである。一方、ディスプレイの右側に設けられるマーク 2, 3では、その内部に 1つの大きな穴 Hを備え、さらにその穴 Hに 3つの内部点 Pが設けられており、これら 3つの内部点 Pを端点とする 3本の指標線分が検出できるものである。

[0025] なお、前記の各マークは、撮像された画像中においてマークの抽出を助長させるために、マークの周囲を低輝度な素材で構成し、マーク自身を構成する外形部や穴を高輝度な領域で構成する。この構成にすることにより、撮像された画像においてマーク図形部分が高コントラストになり、濃度変化情報で他の図形と区別しやすくできる。これらは透過照明による面光源や再帰反射板等によって実現できる。

[0026] このような指標線分を検出可能な図形を含んだ各マークをディスプレイの四隅に設けることにより、図 6に示すように、ディスプレイの左側上下に設けられている 2つのマーク 0， 1が撮像されている場合に、マーク 0の水平方向の指標線分 1とマーク 1の斜め方向の指標線分 2の延長線の交点を求めれば、それがディスプレイの右側上方のマーク 3の位置となる。また、マーク 0の斜め方向の指標線分 2とマーク 1の水平方向の指標線分 1の交点が、ディスプレイの右側下方のマーク 2の位置となる。他の 2つのマークが撮像されている場合も同様であって、本実施の形態によれば、 2つのマークが撮像されていれば、マークに含まれた指標線分を延長して交点を求めることにより、撮像画面上における他のマークの位置、すなわち、各マークが設けられたディスプレイの四隅の位置を検出することができる。

[0027] 本発明に使用するマークは前記のような形状に限定されるものではなぐ例えば、図 7に示すように、円形の外形部 4の内部に 3本の直線状の指標線分 1一 3を配置したものとすることもできる。この場合、 3本の指標線分の端点は、外形部と指標線分との交点及び指標線分と他の指標線分との交点とすることで、 3本の指標線分を特定できる。また、この形状のマークでは、各指標線分と外形部との間の塗り潰し部の有無により外形部内に形成される穴の数を異ならせることにより、左右のマークの判別ができる。

[0028] さらに、第 2の実施の形態で後述するように、撮像装置について、上下方向の移動を制限した場合には、常に上下 2個のマーク力 S1組となって撮像されるので、上下方向の指標線分は不要である。その場合には、図 17に示すように、円形の外形部内に水平方向及び斜め方向の 2本の指標線分を備えたマークを使用できる。この場合も、左右のマークの判別は、塗り潰し部の有無による穴の個数により行うことができる。この図 7のマークを使用した場合には、撮像装置の上下方向の移動を制限したため、 4つのマークすべてが撮像されるか、あるいはディスプレイの左右いずれかの側に設けられた上下 2つのマークが一組になって撮像される。従って、このマークの場合には、左右いずれかの側の 2つのマークに設けられた指標線分を使用して、図 18のように未撮像の 2つのマークの位置を推測することができる。

[0029] 2.検出装置の構成

本実施の形態の指示位置検出装置は、図 1に示す通り、撮影対象となる画像表示面を有するディスプレイ 1と、このディスプレイ 1の画像表示面を撮影する撮像装置 2とを備えている。この撮像装置 2としては、 CCD撮像素子を備えたビデオカメラやデジタルカメラが使用される。

[0030] 前記ディスプレイ 1の四隅には、前記図 4に示すようなそれぞれ異なった形状のマーク 0〜3が設けられている。これらのマーク 0〜3は、ディスプレイ 1の枠部などに貼り付け、印刷等の手段で設けることも可能であるし、ディスプレイ 1の表示画面中の映像として映し出すことによって表示することもできる。

[0031] 前記撮像装置 2には、これによつて撮影された画像データをデジタル画像データとする A/D変換器 3が接続され、この AZD変換器 3の出力がフレームメモリ 4に出力される。このフレームメモリ 4は、 A/D変換されたデジタル画像データを、撮像装置 2 の CCD撮像素子の撮像平面の各画素に対応したアドレス毎に一時的に記憶するものである。前記フレームメモリ 4には、フレームメモリ 4上に一時記憶された画像データを解析して、ディスプレイ 1の画像表示面に対する撮像装置 2の光軸が指示しているディスプレイ平面上における座標を検出するための位置検出部 5が設けられている。

[0032] 前記位置検出部 5は、撮像装置 2によって撮影された画像平面上に存在する図形中からマークに該当する可能性の低い図形を排除する画像処理部 50と、前記画像処理部 50を通過した図形中からマークの画像を判別するマーク検出部 51と、前記マーク検出部 51によって判定されたマークがディスプレイのどの位置に設けられたものであるかを判別するマーク種別判別部 52を備えいてる。

[0033] 前記位置検出部 5は、前記マーク検出部 51によって検出されたマークの個数が 2 つの場合に、撮像された各マークに含まれる 3本の指標線分の中から、他のマークに含まれる指標線分と組み合わせてその交点を得るための指標線分を選定する指標線分検出部 53と、前記指標線分検出部 53により検出された各マーク中の指標線分を撮像されていないマークの方向に延長すると共に、各マークから延長された指標線分の交点を求め、この交点上を画像平面上における撮像されていないマークの位置とするための演算を行う未撮像マーク位置演算部 54を備えている。

[0034] さらに、 4つのマークが撮像された場合、あるいは撮像された 2つのマークと未撮像の 2つのマークの位置が推測された場合に、これら 4つのマークがディスプレイのどの位置にあるかを識別するマーク位置識別部 55と、これら 4つのマークのディスプレイ平面上における位置情報に基づいてディスプレイ平面上における撮像装置の光軸が指示する座標位置を演算するための座標位置検出部 56とを備えている。

[0035] 前記位置検出部 5の出力側はゲーム機やディスプレイ表示装置に設けられたディスプレイ制御装置 6に接続され、このディスプレイ制御装置 6に前記座標位置検出部 56で算出された撮像装置のディスプレイ表面に対する相対的な位置情報が出力されるようになっている。この場合、ディスプレイ制御装置 6は、入力された撮像装置の位置情報に基づいて、例えば、撮像装置の中心が指示するディスプレイ上の座標を算出し、その座標上に射撃ゲームの照準点を表示したり、ポインティングデバイスの指示ポイントを表示する。

[0036] 3.各部の動作の詳細

次に、前記のような構成を有する本実施の形態における各部の動作を、図 2及び図 3のフローチャートにより詳細に説明する。なお、図 2は本実施の形態の全体の動作を示すものであり、図 3はその中の頂点推測処理（図 2のステップ 17)を詳細に示したものである。

[0037] (1)画像処理部 50…ステップ 1,ステップ 2

前記画像処理部 50は、撮像装置によって撮影された画素データを二値化処理すると共に、二値化された画素データを連結して、画像認識が可能な図形データとするものである。

[0038] なお、これらの画像処理に先立って、前記のようにマーク図形を高コントラストとしておくことにより、撮影された画像中の濃度変化情報で他の図形と区別するものであつて、判定対象となる図形の濃淡情報を検出し、一定の閾値を超えたコントラストの高い図形をマーク候補として判定する。この場合、撮像装置 2にあらかじめ赤外線透過フィルタを使用することで、可視光線領域の画像と比較してある程度判別対象となる図形数を制限することにより、よりフィルタ処理を効果的に行なうように構成することも可能である。

[0039] このように本実施の形態においては、マークと他の部分とのコントラストを強調した鮮鋭ィヒ処理や赤外線フィルタを利用したノイズ除去処理などにより、判定対象となる図形数を制限しておく。これらの処理は、後の処理の効率を上げ、演算装置の負担を軽減する意味でも有効である。

[0040] (2)マーク検出部 51及びマーク種別判別部 52の処理…ステップ 4〜12

前記マーク検出部 51は、撮像装置によって撮影された 1フレーム分の画像データ中に、各マークに相当する画像が存在するか否力を判別し、その撮影画像平面上における位置 (座標）を取得するものである。すなわち、撮像装置によって撮影された画像中には、マーク以外のものが種々含まれているので、それらの画像中からマークに相当するものを抽出する。 [0041] 前記マーク種別判別部 52は、マークがディスプレイの左右のどちら側に設けられたものであるかを判別するものであって、前記マーク検出部 51の処理によってマークと判定された図形について、外形部内に設けられた穴及び内部点の数を検出し、その穴数が 3つの場合にはディスプレイの左側のマークと判定し、穴数が 1つで内部点が 3つある場合にはディスプレイの右側のマークと判定する。そして、これら左右の図形について、左側マークの候補の図形については 1つの穴の重心位置を算出し、右側マークの候補の図形については 3つの内部点の重心位置を算出する。

[0042] このようなマーク検出部 51の処理は、次の通りである。

(1)撮像されたすベての図形について、 (2)から (5)のような判定処理を順次実行することにより、撮像された図形中からマークを抽出する。…ステップ 4からステップ 12のループ処理

(2)各マークについて穴の個数及び内部点の個数を検出する。…ステップ 3

(3)穴が 1つある図形については、その穴の内側に内部点が 3つあるものを抽出する。…ステップ 5の YES、ステップ 6

[0043] (4)穴が複数ある図形については、その穴が 3つある図形を抽出する。…ステップ 5の NO、ステップ 9の YES

(5)候補の図形が規定の大きさである場合に、マークと判定する。…ステップ 7,ステップ 10

(6)マークと判定された図形について、穴内部の内部点の中心位置の算出または穴の重心位置の算出…ステップ 8，ステップ 11

[0044] 前記 (5)のステップ 7，ステップ 10は、外形部の存在や、穴数及び内部点の数といつた条件を満足する図形であっても、その寸法が一定の範囲外のものについては、求めるマークと判定しない処理である。ただし、撮像装置とディスプレイの距離が変化すると、撮像装置の画像平面上に撮像されたマークの寸法も変化するので、例えば、撮像された画像平面上における撮像寸法が一定値以上であっても、マーク全体が大きく撮像されている場合にはその図形がマークとは限らない。そこで、マークと判定された複数の図形間の距離とマークの寸法とを比較することで、一定の値内にある図形をマークと判定することができる。また、外形部に対する穴または内部点の寸法や位置もマーク判定の基準とすることもできる。

[0045] 前記各ステップにおける穴及び内部点の個数の検出や重心位置の検出手段としては、公知の手段を適宜使用することが可能であって、例えば、マイクロビジョン株式会社の「画像マネージャー」、アイエムソフト有限会社の「Image Factory」などで、形状特徴抽出

ツールとして提供されているものを使用することができる。これらのツールで、撮像範圏内に存在する各図形について、その面積、外周長、内周長、円形度、穴数、穴面積などの特徴量を抽出することができる。

[0046] (3)マーク種別判別部 52による各マーク個数の判別…ステップ 13〜16

上記のようにして、すべての図形について、右側マークあるいは左側マークであるか否かの判定が終了すると (ステップ 12)、マーク種別判別部 52は、さらに夫々のマークがいくつあるかを判定する。判定結果は、次のいずれかである。

(a)右側マークと左側マークの 4つが撮像されている。

(b)左側マークが 2つが撮像されている。

(c)右側マークが 2つが撮像されている。

(d)左側マークと右側マークが 1つずつ撮像されている。

[0047] (4)上下位置の判定…ステップ 17

検出された基準マークがディスプレイの上下のどちら側に位置するかを決定する。すなわち、本実施の形態では、左右のマークについては、穴や内部点の数により判別可能である力左右のマークが一つずつ検出された場合には、それら 2つのマークがディスプレイの上側の 2つ力、下側の 2つかが直ちには判別できなレ、。そこで、このような場合に、本実施の形態では、上下位置の判定処理を行う。

[0048] なお、図 2のフローチャートでは、この上下マークの判定を頂点推測処理（ステップ

17)の前段に設けているが、これは「左側マークと右側マークが 1つずつ撮像されている」場合に実施することを明確にするために記載したものであって、本実施の形態では、この上下位置の判定は、次のステップ 17の頂点推測処理の中で行っている。もちろん、この図 2の全体フローチャートのように、頂点推測処理とは独立して、外積値を計算しても良い。 [0049] (5)指標線分検出部 53

次に、この指標線分検出部 53で行われる処理を、図 3のフローチャートにより具体的に説明する。

[0050] (5— 1)用語の定義

指標線分検出部 53は、前記マーク検出部 51によってマークと判定された図形が 2 つある場合に、その 2つの図形中から、未撮像のマーク位置を推測するために使用する指標線分を検出するものである。この場合、本実施の形態では、各マーク候補の図形には、 3つの穴または内部点が設けられているので、これら 3つの穴または内部点を端点とする 3本の直線を各マーク候補の図形から抽出することができる。このようにして得られた 3本の指標線分によって各マークに定義されるベクトルを「方向べタトル」と定義する。

[0051] また、前記図 6からも分かるように、各マークに含まれている 3本の指標線分の中で、未撮像のマークの位置を推測するために必要な指標線分は 2本である。すなわち、 1本の指標線分は、撮像されたマークの方向を向いているので、これは未撮像マークの位置を推測するためには使用しなレ、。そこで、本実施の形態においては、まず、この撮像されたマークを指し示す指標線分を検出し、この指標線分のベクトルを他の 2 本とは区別して「マーク設置位置指標ベクトル」と定義する。

また、このマーク設置位置指標ベクトルを検出するに当たり、撮像された 2つのマークを区別する必要があることから、最初に基準とするマークを「基準マーク」、もう一方のマークを「補助マーク」とする。

[0052] (5 - 2)内部点または穴の重心位置

以下の説明では、前記のようにしてマーク検出部 51で得られた 1つ目のマーク（基準

マーク）における内部点または穴の重心位置を、 pnt[0][0]、 pnt[0][l]、 pnt[0][2]とし、 2つ目のマーク（補助マーク）における内部点または穴の重心位置を、 pnt[l][0]、 pnt[l][l]、 pnt[l][2]とする。

[0053] (5 - 3)方向ベクトルの作成.■ 'ステップ 31

図 8に示すように、マークの中の穴また内部点の個数は 3点なので、抽出時は必ずどちらかの向き (右回り or左回り）に規則正しく並ぶことになる。但し、開始点は順不同となる。そこで、基準マークの 3点の重心位置において検出順に、始点、終点とする方向ベクトルを作成し、最後の 3点目では、一番最初に検出した重心位置を終点とした方向べクトノレとする。このようにすることにより、一方向 (右回り、左回り)のべタトノレが作成されることになる。

[0054] vec01A=pnt[0][l] -pnt[0][0]

vecl2A=pnt[0][2] -pnt[0][l]

vec20A=pnt[0][0] -pnt[0][2]

[0055] (5— 4)マーク設置位置指標ベクトルの検出

この「マーク設置位置指標ベクトル」を他のベクトルと区別するために、この指標線分検出部 53は、図 9に示すように、次のような処理を行うように構成されている。

[0056] (1)位置ベクトルの算出…ステップ 32

ある一つのマークを基準マークに取り、基準マークの各方向ベクトルの始点を基準点とし、もう一方のマーク（補助マーク）の任意の位置を終点とする 3本の「位置べタトル」を生成する。基準マークの各方向べタトノレと、生成された 3本の位置ベクトルとの外積値の絶対値を指標値とする。ここで、 3本の位置ベクトルは次のように作成される

[0057] pvec00=pnt[l][0] -pnt[0][0]

pvec01=pnt[l][l] -pnt[0][0]

pvec02=pnt[l][2] -pnt[0][0]

[0058] (2)外積計算…ステップ 33

マーク内部の方向ベクトルの大きさに比べ、マーク間の「位置ベクトル」の大きさの方が遙かに大きぐ外積値の値は、ほぼ方向ベクトルともう一方の位置ベクトルとの成す角度によって左右されると言える。よって、成す角度が一番小さくなる方向ベクトルをマーク設置位置指標線分を構成する方向ベクトルとする。すなわち、基準マークの方向ベクトルと前記位置ベクトルの外積 El， E2， E3は次のようになる。

[0059] El=vec01A X vec00

E2=vecl2A X pvec01 E3=vec20A X vec02

[0060] (3)各外積の絶対値の最小値を判定…ステップ 34

なお、この場合、各外積値の絶対値は、方向ベクトルの大きさ Xマーク間の距離 X 成す角度と近似できる。この中で各方向ベクトルにおいて大きくことなるパラメータは成す角度である。よって、なす角度の大小が、マーク設置位置指標線分を決定するための要素となる。すなわち、前記外積 El、 E2、 E3の絶対値が一番小さい方向べタトル _vec**が、基準

マークにおけるマーク設置位置指標ベクトルであると言える。

[0061] (5— 5)交点予測指標べタトノレと基準点の決定…ステップ 35

この処理で基準マークのマーク設置位置指標ベクトルの端点 2点と、基準点 A (マーク設置位置指標ベクトルを構成しない位置)が明確になる。このマーク設置位置指標ベクトルが決定されると、残る 2本の指標線分から得られるベクトルは、マーク設置位置指標ベクトルの両端点を基点として、未撮像マーク方向を指し示すものであるから、これら 2つのベクトルを「交点予測指標ベクトル 1と交点予測指標ベクトル 2」と定義する。

[0062] (5— 6)上下位置の判定…ステップ 36,ステップ 37

検出された基準マークがディスプレイの上下のどちら側に位置するかを決定する。すなわち、本実施の形態では、左右のマークについては、穴や内部点の数により判別可能である力左右のマークが一つずつ検出された場合には、それら 2つのマークがディスプレイの上側の 2つ力、下側の 2つかが直ちには判別できない。

[0063] そこで、本実施の形態では、マーク設置位置指標ベクトルの始点もしくは終点を始点とし、交点基準点を終点としたベクトルと、補助マークの任意の一点の位置ベクトルの外積の符号より、基準マークの上下設置位置が確定する。ここでは、再度外積計算を行うのではなぐ前記ステップ 34で既に求めた外積値 El、 E2、 E3の符号を使用する。

[0064] すなわち、図 13に示すように、外積値の絶対値の最小値によって、マーク設置位置指標べ外ルの判定し、マーク設置位置指標べ外ルの端点を始点として交点予測指標ベクトルの向きを決定する。交点予測指標ベクトル 1， 2の始点を原点として、他方マークの穴、もしくは内部の図形の重心位置の位置ベクトルと交点予測指標べタトルとの外積を計算する。それらの外積値の符号において、下記の通りに撮像されてレ、るマークの上下位置を決定できる。

[0065] 左右の位置決定は、マークの形状より判断できるので、次のような撮像パターンが得られ、それに応じて外積値の符号からマーク位置を判定する。ただし、斜めの 2種類のマークが撮像されている場合は、特定できないが、本実施の形態では図 2のステップ 13— 16によりそのような場合はあらかじめ排除されている。

[0066] (a)マークが左側マーク

正→基準マークは左下マーク

負→基準マークは左上マーク

(b)マークが右側マーク

正→基準マークは右上マーク

負→基準マークは右下マーク

[0067] (c)マーク 2種類 (上側 2つまたは下側 2つの組み合わせ）

(c_l)基準マークが左側マーク

正→基準マークは左上マーク

負→基準マークは左下マーク

(c-2)基準マークが右側マーク

正→基準マークは右下マーク

負→基準マークは右上マーク

[0068] (5 _ 7)補助マークについての処理

このようにして、基準マークについて、マーク設置位置指標ベクトルと 2つの交点予測指標ベクトルが検出された後は、同様な手法で、補助マークについても、マーク設置位置指標ベクトルと 2つの交点予測指標ベクトルを検出する。ただし、補助マークでは、前記「位置ベクトル」を使用することなぐ基準マークのマーク設置位置指標べタトルとの外積の絶対値が最小となる方向ベクトルが、補助マークのマーク設置位置指標ベクトルとなる。その理由は、基準マークと補助マークのマーク設置位置指標べクトノレは、同一線上にあるはずなので、両者の角度は「0」となり、その外積の絶対値も最小となる。

[0069] (1)方向ベクトルの作成…ステップ 38

補助マークにおける方向べタトノレの作成は、補助マークの 3点の重心位置において検出順に、始点、終点とする。方向ベクトルの最後の 3点目では、一番最初に検出した重心位置を終点とした方向ベクトルとする。

[0070] vec01B=pnt[l][l] -pnt[l][0]

vecl2B=pnt[l][2] -pnt[l][l]

vec20B=pnt[l][0] -pnt[l][2]

[0071] (2)マーク設置位置指標ベクトルとの外積計算…ステップ 39

次に、補助マークの方向ベクトルと基準マークのマーク設置位置ベクトルの外積 E* を求める。

El=vecl X vec01B

E2=vecl X vecl2B

E3=vecl X vec20B

[0072] (3)各外積値の絶対値の最小値の判定…ステップ 40

外積値 El , E2, E3の絶対値の大きさによる補助マークのマーク設置位置指標べクトル

の判定を行う。基準マークのマーク設置位置指標ベクトルとの外積の絶対値が最小となる方向ベクトルが、補助マークにおけるマーク設置位置指標ベクトルとなる。

[0073] (4)補助マークの交点予測指標ベクトルと基準点の決定…ステップ 41

この処理で基準マークのマーク設置位置指標ベクトルの端点 2点と、基準点 A (マーク設置位置指標ベクトルを構成しない位置）が明確になる。このマーク設置位置指標ベクトルが決定されると、残る 2本の指標線分から得られるベクトルは、マーク設置位置指標ベクトルの両端点を基点として、未撮像マーク方向を指し示すものであるから、これら 2つのベクトルを「交点予測指標ベクトル 1と交点予測指標ベクトル 2」と定義する。

[0074] (5 - 8)交点予測指標ベクトルの組み合わせの検出

前記のように各マークには、 2つのベクトルを「交点予測指標ベクトル 1と交点予測指標ベクトル 2」が定義されるが、これら 4つのべタトノレの中で特定の組み合わせのものの延長線の交点力未撮像マークの推測位置となる。例えば、図 6において、マーク 0を基準マーク、マーク 1を補助マークとした場合に、マーク 0の交点予測指標べクトノレ 1と、マーク 1の交点予測指標べクトノレ 2の交点は未撮像マーク 3, 4の位置になレ、。そこで、マーク 0の交点予測指標ベクトル 1とマーク 0の交点予測指標ベクトル 1、及びマーク 0の交点予測指標べクトノレ 2とマーク 0の交点予測指標ベクトル 2との組み合わせを検出する必要がある。

[0075] 本実施の形態の指標線分検出部 53は、この組み合わせの検出を次のように行うように構成されている。

(1)マーク設置位置指標べ外ルの内積計算と符号の判定…ステップ 42， 43 各マークにおける交点予測指標ベクトル 1 , 2を特定するために、マーク設置位置指標ベクトルの延長線上に存在する各マークの頂点の並び替え処理を行う。そのため、まず、基準マークと補助マークにおける各マーク設置位置指標ベクトルの向きをそろえる。この処理は、図 10に示すように、基準マークと補助マークにおける各マーク設置位置指標ベクトルの内積を計算し、その符号を判定することで実現できる。すなわち、図 11において、 2つのベクトル a, bの向きがそろう（両者の角度 Θ力以下となる）ためには、両者の内積が下記の関係にあることを利用する。

[0076] a-b=|a||b|cos Θ

0 < Θ < 90→a-b > 0

Θ 90 < Θ < 180→a-b < 0

a: xa,ya)

b:(xb,yb)

a · b=xa X xb+ya X yb

[0077] (2)方向ベクトルの入れ替え…ステップ 44

このステップでは、マーク位置指標ベクトルの向き補正後の直線組み合わせを検出する。すなわち、前記 (1)の処理によりマーク設置位置指標ベクトルの向きをそろえ、各マークにおいてマーク設置位置指標ベクトルの始点を含む交点予測指標べクトノレを交点予測指標べ外ル 1、終点を含む交点予測指標べ外ルを交点予測指標べ外ル 2と置き換える。なお、基準マークを中心に、マーク設置位置指標ベクトルの向きが異なる場合は、補助マークの交点予測指標ベクトルを上記を満たすように交換する。

[0078] このようにすると、図 12に示すように、基準マークのマーク設置位置指標ベクトルがいずれの方向を向いていても、基準マークと補助マークのマーク設置位置指標べタトルの方向をそろえ、その始点と終点により、交点予測指標ベクトル 1 , 2を定義すると、未撮像マークの位置として求める交点は、上記の交点予測指標ベクトル 1同士、交点予測指標ベクトル 2同士の交点となる。

[0079] (5 9)判定式の値を判定' · 'ステップ 46

交点予測指標ベクトル 1， 2のいずれの組み合わせが、未撮像マーク位置を示す交点となるかは、次のような判別式による判定も必要となる。

(a)基準マーク

交点予測指標ベクトル 1 (xa,ya)

交点予測指標ベクトル 2 (xb,yb)

(b)補助マーク

交点予測指標ベクトル 1 (xc，yc)

交点予測指標ベクトル 2 (xd,yd)

[0080] (c)交点予測指標線分 1における判別式

Dl=xc X ya-yc X xa

(d)交点予測指標線分 2における判別式

D2=xd X yb-yd X xb

この場合、判別式の値が「0」の場合、組み合わせの線分は平行であり、交点は求まらない。

[0081] なお、上記の処理を行う場合、マーク設置位置指標ベクトルの向きを、図 12のいずれか一方にとなるように、（例えば、補助マークから基準マークへの向きとするように）さらに制限を付けることによって、交点予測指標ベクトル 1 , 2の交点がディスプレイ四隅のどの位置のマークの推測値かは明確になる。但し、本実施の形態では、マーク力 S₄点検出された場合も、マーク位置の決定が必要であるため、ここで頂点位置（ディスプレイ四隅の位置）を確定させず、その確定はマーク位置識別部 55によって判定を行う。

[0082] (6)マーク位置演算部 54…ステップ 47

前記のようにして、指標線分検出部 53により、撮像された 2つのマークのどの指標線分の組み合わせにより未撮像のマークの位置を演算するかが決定された後は、マーク位置演算部 54により、選定された指標線分の組み合わせに従いその延長線の交点の座標を演算することで、 2つの未撮像のマークの位置（画像平面上における座標)を演算する。

[0083] この交点計算においては、図 13のように、基準マークの交点基準点を (x0,y0)とし、補助マークの基準点を (xl，yl)として、次の計算を行う。

kl={xa X (yl -yO) -ya X (xl— xO)}/Dl

k2={xb X (yl -y0) -yb X (xl—xO)}/D2

[0084] 交点指標線分 1による交点

x=kl X xc+xl

y=k丄 X yc+yl

交点指標線分 2による交点

x=k2 X xd+xl

y=k2 X yd+yl

[0085] なお、 4つのマークが撮像されてレ、る場合 (指標線分によるマーク位置の推測を行なわない場合）には、撮像された各マークの座標をそのまま各マークの座標とするので、この演算処理は不要である。

[0086] (7)マーク位置識別部 55による各マーク位置の頂点決め処理…ステップ 18

前記のようにして、撮像されていない 2つのマークの位置 (座標）が、撮像されたマークに含まれている線分の延長線の交点として求められた後は、マーク 0〜マーク 3 がディスプレイに設けられたどのマークに対応する力、すなわち、 4つのマークの識別 (4つのマークによって形成される四角形の頂点決め）を行う。なお、以下の説明において、符号 A, B, C, Dは、マーク 0〜マーク 3の識別位置を示し、上記で述べた各マークに含まれる指標線分を示しているのではなレ、。また、撮像されたマークを A, Bとし、交点によって推測されたマークを C, Dとする。 [0087] ただし、撮像されたマークが 3つの場合は、図 2のフローチャートの前記ステップ 13 —16によって排除されており、また、 4つのマークが撮像された場合には、同種の 2 つのマーク（例えば、左側の 2つのマーク A， B)が検出されたとして、残る 2つのマーク（右側のマーク C, D)を推測されたマークとみなすことにより、以下述べる 2つのマ一クが撮像された場合と同様な処理により、 4つのマークの頂点決めを行う。

[0088] この頂点決めの前提として、撮像されたマーク特徴（内部の穴の個数）によって、マークの種類は明確になっており、且つ、上記のマーク位置の予測処理において、どのマークの組み合わせが撮像されたかは明確になっている。そして、図 14のように、穴の数が 3つのマークを左側、内部点の数が 3つのマークを右側とし、それぞれ左上より、反時計回りにマーク 0〜3とする。また、検出されたマークが左側マーク 2点、右側マーク 2点、異なる種類のマークの 2点の 3つの場合に分けて、頂点決めの処理を行う。

[0089] (1)検出マークが左側のマーク 2点であることは既知の場合

(推測マーク：マーク 2, 3)

AB X ACの外積を行う。

AB X ACの符号が正であるならば、左上が A、左下が B

AB X ACの符号が負であるならば、左上が B、左下が A

AC X ADの外積を行う

AC XADの符号が正であるならば、右下が C、右上が D

AC XADの符号が負であるならば、右下が D、右上が C

[0090] (3)検出マークが右側のマーク 2点であることは既知

(推測マーク：マーク 0, 1)

AB X ACの外積を行う

AB X ACの符号が正であるならば、右下が A、右上が B

AB X ACの符号が負であるならば、右下が B、右上が A

AC X ADの外積を行う

AC XADの符号が正であるならば、左上が C、左下が D

AC XADの符号が負であるならば、左上が D、左下が C [0091] (2)/(4)検出マークの 1点 (A)が左側、もう 1点 (B)が右側であることは既知

AB X ACの外積を行う

(a) AB X ACの符号が正であるならば、右下が B、左下が A

AC X ADの外積を行う

AC XADの符号が正であるならば、左上が D、右上が C

AC XADの符号が負であるならば、左上が C、右上が D

(b) AB XACの符号が負であるならば、左上が A、右上が B

AC XADの外積を行う

AC XADの符号が正であるならば、左下が C、右下が D

AC XADの符号が負であるならば、左下が D、右下が C

[0092] (5)/(6)検出マークの 1点 (A)が左側、もう 1点 (B)が右側であることは既知

このように斜めの 2つのマークが撮像された場合は、前記のような外積による手法では、各マークの特定は無理となり頂点の検出は不可となる。そのため、前記のように本実施の形態では、撮像パターン 3のようなマークの組み合わせの場合には、再度の撮像処理を求め、この (5)/(6)のような撮像パターンが生じないようにしている。もちろん、左右を区別する 2種類のマークに加えて、左上下のマークを異なる形状にして区別することができれば (合計 3種類のマークを用意することになる）、この (5)/(6)の場合でも 4つの頂点の識別が可能になる。

[0093] (8)座標位置検出部 56…ステップ 19

この座標位置検出部 56においては、画像平面上における 4つのマークの座標と、ディスプレイ表示平面上におけるディスプレイの四隅に設けられている各マークの座標とに基づいて、撮像画像平面の座標系とディスプレイ表示平面の座標系との透視射影変換処理を行うことにより、両座標系の相対的な位置関係を算出する。そして、両座標系の相対的な位置関係が判明すると、たとえば、撮像装置の中心にある指示部がディスプレイ表示面のどの位置を指示しているかを算出することができるので、その演算結果をディスプレイ制御装置 6に出力することにより、ディスプレイ上に撮像装置の中心が指示しているポイントを表示させることが可能になる。

[0094] なお、撮像画像平面上における 4つのマークの座標が算出された後の透視射影変換処理による指示位置の特定は、特開平 8— 71252号公報、特開昭 2001— 1480 25号公報、および本出願人の出願に力かる特願 2002— 300478号に記載されてレ、るように公知の技術であるから、本発明において、この部分処理の手法はどのようなものを採用しても良い。

[0095] 4.第 1の実施の形態の効果

以上のように、本実施の形態によれば、画像平面に 2つのマークしか撮影されていない場合においても、残る 2つのマークの位置を推測することにより、ディスプレイと撮像装置との光軸が指示しているディスプレイ平面上における座標を検出することが可能となる。その結果、従来技術では、撮像装置により指示するディスプレイ上のポイントは、ディスプレイ側のすべてのマークが撮像される範囲に限られており、ディスプレィの周辺近くを指示することが不可能であった場合においても、本実施の形態によれば、 2つのマークを撮影できれば良いので、ディスプレイの周辺部近くのポイントを指示することち可會となる。

[0096] たとえば、図 15は、撮像装置の画像平面 Wには、ディスプレイの四隅のマークのうち、下の 2つのマーク 1, 2しか撮像されていない場合を示すものであって、画像平面 Wの中心点〇が撮像装置の中心点として、ディスプレイ表示面の所定のポイントを指示している。本実施の形態によれば、この 2つのマーク 1, 2に含まれている指標線分に基づいて他のマーク 3, 4の位置を推測することが可能になる。これら 4つのマークによって囲まれた範囲がディスプレイの表示平面 Vに相当し、画像平面 Wの中心点〇がディスプレイ表示平面 Vにおける指示ポイントとなるので、この中心点 Oをデイスプレイ表示平面 Vの周辺部近くにまで移動させることができる。

[0097] 同様に、図 16は、撮像装置の画像平面 Wには、ディスプレイの四隅のマークのうち、左の 2つのマーク 0， 1しか撮像されていない場合である力この場合にも、撮像されていない他の 2つのマーク 2, 3の位置を推測することにより、画像平面 Wの中心点〇をディスプレイ表示平面の周辺部近くにまで移動させることができる。

[0098] さらに、従来技術では、撮像装置をディスプレイに近づけると 4つのマークの撮像が不可能になって撮像装置の指示位置検出ができなくなるが、本発明では、最低限 2 つのマークが撮像されていればよいので、従来技術に比較して撮像装置をディスプレイに近接させることが可能となる。その結果、本実施の形態によれば、ディスプレイと撮像装置とからなるゲーム機器などの小型化や、撮像装置の使用者と大型のディスプレイが近接しているプレゼンテーション装置を実現することができる。

[0099] 特に、本実施の形態においては、被写体と撮像系が十分に離れており、被写体上の 4隅に設置されてレ、る 4つのマークのすべてが撮像されてレ、る場合は、マーク位置の予測処理は行わなくて良い。すなわち、 4つのマークのすべてが撮像されている場合とは被写体が十分に離れている場合と考えられ、そのような場合、マークは 4点撮像されるがマークを構成している画素数はかなり少なくなると考えられる。そのため、本実施の形態では、マークをその外周が円であることと、内部に穴があるという単純な形状にし、遠くからでも認識しやすく且つ近くで撮像される場合は、マークに包含されてレ、る線分が十分な画素数を持つように構成した。

[0100] その結果、本実施の形態では、構成画素数が多い場合（大きく撮像されている場合 )はマーク内部の線分を抽出し、撮像されていないマークの位置を予測し、一方、被写体と撮像装置の距離が遠い場合、マークは比較的小さく映り、構成する画素数が減少してもマーク全体の構成からマークの判別を可能としたので、撮像装置とデイスプレイのと距離の遠近にかかわらず、撮像装置の指示位置検出を確実に行なうことができる。

[0101] B.第 2の実施の形態

第 2の実施の形態は、マークの形状をより単純なものとすることにより、被写体と撮像装置の距離が遠い場合でも撮像された画像中力マークの判別を確実に行なえるようにしたものである。すなわち、被写体と撮像装置の距離が遠い場合、マークは比較的小さく映り、構成する画素数が減少する。

[0102] 少ない構成画素数でマークを判断するためには、マークを複雑な形状にすることが難しぐ指標線分の情報を低減する必要性も考えられる。例えば、被写体の位置と撮像装置が指示する高さがほぼ同程度あるいは垂直方向の傾きを考慮しなくても良いような系では、被写体の角度を水平方向の回転角度のみ考慮し、垂直方向の指標線分が不要となるので、マークを簡易化できる。

[0103] 前記図 17は、このような場合に使用されるマークの一例を示すものである。この図 1 5に示すように、各マーク 0〜3は外周の外形部 4の内側に水平方向と斜め方向の 2 本の指標線分をそれぞれ有している。また、左側のマーク 0， 1は内側に 1つの穴を持ち、右側のマーク 2, 3は内側に 2つの穴を持っている。

[0104] 図 18に示すように、 2つの指標線分を有するこのマークでは、ディスプレイの左上、右上のみ又は左下、右下のみのマークが撮像されていても、未撮像のマーク位置を推測できないが、前記のように撮像装置の姿勢変化について制限をかけているために、このようなマークの組合せが撮像されることは無いと言える。

[0105] この実施の形態において、撮像装置が被写体から遠くの位置にあり、 4つのマークが撮像されている場合には、前記第 1の実施の形態において 4つのマークが撮像されている場合と同様に、撮像された 4つのマークの位置に基づいて、撮像装置の位置を検出することができる。なお、 4つのマークの検出処理は、前記第 1の実施の形態における穴の数や内部点の数を検出するのと同様な手法で判定できる。

[0106] また、各マークが有する指標線分の検出処理、未撮像のマーク位置を推測するための指標線分の組合せや、 4つの頂点の識別処理も、各マークに含まれている線分の端点や線分と外形部との交点を第 1の実施の形態における 3つの穴部や内部点と見なして計算を行うことにより、前記第 1の実施の形態と同様に実施できる。

[0107] この場合、第 2の実施の形態では、撮像装置の垂直方向の移動が制限されているので、 4つのマークが撮像されていない場合は、右側の 2つのマークのみが撮像されている場合カ左側の 2つのマークのみが撮像されている場合に限られることになる。従って、図 2のフローチャートにおけるステップ 16が不要となり、第 1の実施の形態に比較して、処理が簡単になる。

[0108] このように第 2の実施の形態によれば、撮像装置の姿勢に制限を加えることにより、指標線分の数を減少させることが可能になるので、マーク自体の構成を単純化して、マークの判別精度を向上させることができる。

産業上の利用可能性

[0109] 本発明は、ゲーム機の照準装置、プレゼンテーション用ディスプレイのポインタに加え、撮像装置を利用者の頭部に装着することにより運転シミュレータにおける利用者の視線方向検出装置などの用途にも適用できる。

Claims

請求の範囲

[1] 撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、ディスプレイの四隅にそれぞれマークを配置し、各マークには他のマークの配置方向を示す複数の指標線分を検出するための図形と、この指標線分を検出する図形を取り囲む外形部とを設けておき、

撮像装置の指示位置検出時において、撮像装置によって撮像した画像中から、外形部とその内部に指標線分を検出するための図形が存在する図形をマークとして判別する処理と、

このマークとして判別された図形力つある場合には、これら 4つのマークの画像平面上における位置情報に基づレ、て、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、

前記マークとして判別された図形が 2つの場合には、判別された各マーク内に存在する図形より指標線分を検出し、この指標線分を延長して、この延長した指標線分の交点を演算し、この交点を撮像されていない残りの 2つのマークの位置と推測する処理と、

前記撮像された 2つのマークと、前記撮像されたマークから推測された残りの 2つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする撮像装置の指示位置検出方法。

[2] 撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、ディスプレイの四隅にそれぞれマークを配置し、各マークには、ディスプレイの水平方向とディスプレイの対角線方向に配置された他のマークの方向を示す直線状の指標線分を検出するための図形を設けておき、

撮像装置の指示位置検出時においては、ディスプレイの一方の側に配置された上下 2つのマークを前記撮像装置により撮像し、これら 2つのマークの撮像装置の画像平面上における位置と、これら 2つのマークに含まれる図形から指標線分を検出する処理と、

検出された各指標線分を延長し、この延長した線分の交点を演算し、この交点をデイスプレイの反対側に設けられた上下 2つのマークの画像平面上における位置と推測する処理と、

これら前記撮像された 2つのマークと、撮像された 2つのマーク力推測された残りの 2つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする撮像装置の指示位置検出方法。

撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、ディスプレイの四隅にそれぞれマークを配置し、各マークには、ディスプレイの水平方向とディスプレイの対角線方向に配置された他のマークの方向を示す直線状の指標線分を検出するための図形と、この指標線分を検出する図形を取り囲む外形部とを設けておき、

このマークとして判別された図形が 4つある場合には、これら 4つのマークの画像平面上における位置情報に基づレ、て、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、

前記マークとして判別された図形が 2つの場合には、これら 2つのマークの撮像装置の画像平面上における位置と、これら 2つのマークに含まれる図形から指標線分を検出し、検出されたされた 2つのマークの指標線分を延長して、この延長した指標線分の交点を演算し、この交点を撮像されていない残りのマークの位置と推測する処理と、前記撮像された 2つのマークと前記撮像されたマークから推測された残りの 2つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする撮像装置の指示位置検出方法。 [4] 前記ディスプレイの四隅に設けられたマーク力円形の外形部の内部に 3つの穴を有する図形からなるマークと、円形の外形部の内部に 1つの穴とその穴の内部に 3つの点を有する図形からなるマークとによって構成されていることを特徴とする請求項 1 、請求項 2または請求項 3記載の撮像装置の指示位置検出方法。

[5] 撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための装置において、ディスプレイと、

前記ディスプレイの四隅にそれぞれ配置され、他のマークの配置方向を示す複数の指標線分を示す図形とこの指標線分を取り囲む外形部とを設けたマークと、前記撮像装置によって撮影された画像中から、外形部とその内部に指標線分を検出する図形が存在する図形をマークとして判別するマーク検出部と、

前記マークとして判別された図形が 2つの場合に、判別された各マーク内に存在する図形中力未撮像マークの位置を推測するのに必要な指標線分を検出する指標線分検出部と、

この指標線分検出部によって検出された指標線分を延長してこの延長した指標線分の交点を演算し、この交点を撮像されていない残りのマークの位置と推測するマーク位置推測部と、

前記撮像された図形中に、マークとして判別された図形が 4つある場合には、これら 4つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出し、

前記撮像された図形中に 2つのマークがある場合には、これら撮像されたマークと、前記撮像されたマークから推測された残りのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する座標位置検出部を備えていることを特徴とする撮像装置の指示位置検出装置

[6] 撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するためのプログラムにおいて、コンピュータに対して、

撮像装置によって撮像された画像中から、外形部とその内部に指標線分を検出するための図形が存在する図形をマークとして判別する処理と、

前記マークとして判別された図形が 2つの場合には、判別された各マーク内に存在する図形から指標線分を検出し、この検出された指標線分を延長して、この延長した指標線分の交点を演算し、この交点を撮像されていない残りのマークの位置と推測する処理と、

前記撮像された 2つのマークと、前記撮像されたマークから推測された残りの 2つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、

を実行させることを特徴とする撮像装置の指示位置検出用プログラム。

撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための装置において、ディスプレイと、

ディスプレイの四隅にそれぞれ配置され、ディスプレイの水平方向とディスプレイの対角線方向に配置された他のマークの方向を示す直線状の指標線分を検出するための図形を有するマークと、

撮像方向のディスプレイの垂直方向に対する移動が制限された撮像装置と、前記撮像装置によって撮影された画像平面上の図形中から、ディスプレイ四隅のマークのうち少なくとも 2つのマークを抽出するマーク検出部と、

撮像された各マーク内に存在する図形中から未撮像マークの位置を推測するのに必要な指標線分を検出する指標線分検出部と、

前記指標線分検出部により検出された 2つのマーク中の指標線分をディスプレイの隅部の方向に延長すると共に、各マークから延長された線分の交点を求め、この交点を撮像されていないマークの位置とするマーク位置推測部と、これら前記撮像された 2つのマークと、撮像された 2つのマーク力推測された残りの 2つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する座標位置検出部を備えていることを特徴とする撮像装置の指示位置検出装置。

撮像装置によってディスプレイを撮影した場合に、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するためのプログラムにおいて、

コンピュータに対して、

撮像装置によって撮像された画像中から、ディスプレイの一方の側に配置された上下 2つのマークの撮像装置の画像平面上における位置と、これら 2つのマークに含まれる図形に基づいて指標線分を検出する処理と、

前記 2つのマークにおいて検出された各指標線分を延長し、この延長した線分の交点を演算し、この交点をディスプレイの反対側に設けられた上下 2つのマークの画像平面上における位置と推測する処理と、

これら前記撮像された 2つのマークと、撮像された 2つのマーク力推測された残りの 2つのマークの画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、