JP4497880B2 - 指標識別方法および装置 - Google Patents

Description

本発明は、現実空間もしくは物体に配置された指標を撮像装置で撮像した画像から検出し識別する指標の識別技術に関するものである。

［従来技術１］
現実空間を撮像するカメラなどの撮像部（以下適宜カメラと言い換える）の位置姿勢計測は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。このような従来技術として、特許文献１又は２および非特許文献１において開示されているように、現実空間に配置した位置が既知のマーカ、または現実空間中の位置が既知の特徴点（以下、マーカと特徴点を合わせて指標という）を用いて、カメラの位置姿勢を測定する位置姿勢センサの計測誤差を補正する方法がある。

言い換えると、これらの方法は、カメラの位置姿勢を測定する位置姿勢センサと、カメラで撮像した指標とを利用して、カメラの位置姿勢を推定する方法である。このような方法で利用される指標としては、色領域の重心や同心円等がある。また、指標は同時に複数利用されることが多いが、カメラが撮像した画像から検出した指標が、現実空間に複数個配置した指標のどれに対応するのかを求める手段のひとつとして、画像から検出した指標の座標と、指標の絶対位置を位置姿勢センサの計測値を基にして投影して得られる、画像面上での指標の座標との間の関係を利用することが知られている。

［従来技術２］
また、一方で、非特許文献２乃至３において開示されているように、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢推定を行う方法も知られている。そして、これら非特許文献においては、正方形の指標を利用し、正方形の４頂点の座標を基にして、カメラの位置姿勢を推定している。ただし、正方形はその中心点（対角線の交点）を通り、面に垂直な軸を回転軸として９０°毎の回転対称形であることから、頂点の座標からだけでは上下左右の判定を行うことができない。そのため、正方形の指標内部に、上下左右の判定を行うためのさらなる画像特徴が設けられている。さらに、指標を複数利用する場合に、カメラで撮像した画像のみに基づいて複数の指標のどれを捉えているのかを識別する必要があるため、指標の内部にはさらに指標毎に異なる固有のパターンや符号などの図形情報が埋め込まれている。

特開平１１−０８４３０７号公報 特開２０００−０４１１７３号公報 A. State, G. Hirota, D. T. Chen, B. Garrett, and M. Livingston: Superior augmented reality registration by integrating landmark tracking and magnetic tracking, Proc. SIGGRAPH '96, pp.429-438, July 1996. 加藤, Billinghurst, 浅野, 橘: マーカー追跡に基づく拡張現実感システムとそのキャリブレーション, 日本バーチャルリアリティ学会論文誌, vol.4, no.4, pp.607-616, Dec. 1999. X. Zhang, S. Fronz, N. Navab: Visual marker detection and decoding in AR systems: A comparative study, Proc. of International Symposium on Mixed and Augmented Reality (ISMAR'02), 2002.

従来技術１のカメラの位置姿勢を推定する方法において、ある特定の色の小さな円形のシート状の物体を指標とすることができる。この場合、指標のもつ情報は、３次元位置（座標）と色である。位置姿勢センサの計測値を利用し、指標の３次元位置をカメラの画像面へと投影し、一方で、画像からのその指標の色を検出する色領域検出処理を行い、画像中での重心位置を計算する。そして、画像面上へ投影した３次元位置と、画像から計算した重心位置を比較し、例えば最も近いものを同じ指標であると判定することによって、画像中の指標を同定することができる。
このように、色領域検出によって画像中から指標を検出する場合、カメラが撮像するであろう現実空間の中に、指標以外に指標と同じ色が存在してはならないという前提がある。

例えば、図２に示すように、背景となる空間に様々な物体が存在する場合を例にして説明する。図において、利用する指標２０３は現実物体上に配置され、ここでは例えば赤色の円形領域を有するものとする。また、赤色のキャップを有するボールペン２０４が指標とともにカメラ１０１に撮像される現実空間に存在している。この状態でカメラ１０１が撮像した画像が、図３に示すような画像だったとする。また、図３には、指標２０３の３次元座標を、位置姿勢センサ１０２の測定値に基づいてカメラ１０１の撮像面上に投影した点３０２も併せて示している。

このとき、上述のように色領域検出を用いて指標３０１を画像から検出すると、指標２０３の円形領域のみならず、ボールペン２０４の、赤色領域３０３もまた赤色領域として検出される可能性がある。領域３０３が赤色領域として検出されてしまうと、指標３０１の重心よりも、ボールペン２０４の赤色領域３０３の重心の方が投影位置３０２に近いため、領域３０３を投影位置３０２に対応する指標として識別してしまう。このように、撮像される空間内に、指標と同じか又は似通った色をもつ物体が存在すると、それを指標と誤って認識してしまう場合があるという問題点があった。

このような問題を防止するため、同心円状に配置した異なる色の組み合わせからなる指標を用い、色領域検出を行った後に色の組み合わせを調べる、組み合わせの正しい領域のみを指標として検出する方法もある。この場合、単色の指標を用いた場合に比べ、背景の一部を誤って指標であると検出してしまう可能性が低いため、図２のような場合に誤識別をしてしまうことはない。

しかしながら、色領域検出を利用して安定した指標検出を行うため、指標の色は目立つ色に設定されることが多く、さらに同心円上に異なる色を組み合わせる場合には、同心円を安定的に検出するために画像中で十分大きく撮像されねばならない。すなわち、現実空間に大きく、かつ、見た目を損ねる指標を配置する必要が生じる。しかし、現実空間にそのような指標を配置することが許されない場合があったり、現実空間の見栄えを悪くするという点で依然として問題があった。

一方で、従来技術２で利用されている正方形マーカのような図形的な拡がりのある指標を利用する方法がある。しかしながら、従来技術２では完全に画像のみから個々のマーカを識別する必要が生じるため、指標に符号情報やテンプレートとなりうる記号情報などを埋め込む必要があった。図１１は、非特許文献２および非特許文献３にて開示されている従来技術２で利用されている具体的な正方形マーカの例である。

このような複雑な構造をもつ指標を撮像画像から検出しなければならないため、撮像画像面の中で十分に大きな面積を占めるように指標を捉えなければ、指標の認識ができないという問題があった。これは換言すれば、現実空間の広い領域を指標配置のために確保しなければならないこと、あるいは、カメラが指標に十分に近づかなければならないということを意味する。または、指標の配置条件が厳しいという問題と言い換えることができる。
本発明はこのような従来技術の問題点を解決することを主な目的とする。

本発明の目的は、例えば、所定形状の指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得工程と、撮像装置又は現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得工程と、指標の色及び形状に基づいて、画像中に含まれる、指標と思われる領域を検出し、各領域の位置と面積とを求める領域検出工程と、位置姿勢情報取得工程で得た撮像装置又は現実物体の少なくとも一方の３次元位置姿勢測定結果と、指標の中心点の３次元座標及び外周形状に関する情報とに基づいて、指標を撮像装置の撮像面上に投影した投影指標の位置と面積とを算出する投影指標算出工程と、画像中で検出された領域の位置及び面積と、投影指標の位置及び面積とに基づいて、画像中で検出された領域のうち、投影指標との面積の比または差が所定範囲内で、投影指標に最も位置が近い領域を当投影指標に対応する指標であると識別する指標識別工程とを有することを特徴とする指標識別方法によって達成される。

また、本発明の目的は、例えば、所定形状の指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得手段と、撮像装置又は現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得手段と、指標の色及び形状に基づいて、画像中に含まれる、指標と思われる領域を検出し、各領域の位置と面積とを求める領域検出手段と、位置姿勢情報取得手段で得た撮像装置又は現実物体の少なくとも一方の３次元位置姿勢測定結果と、指標の中心点の３次元座標及び外周形状に関する情報とに基づいて、指標を撮像装置の撮像面上に投影した投影指標の位置と面積とを算出する投影指標算出手段と、画像中で検出された領域の位置及び面積と、投影指標の位置及び面積とに基づいて、画像中で検出された領域のうち、投影指標との面積の比または差が所定範囲内で、投影指標に最も位置が近い領域を当投影指標に対応する指標であると識別する指標識別手段とを有することを特徴とする指標識別装置によっても達成される。

さらに、上述の目的は、本発明の指標同定方法をコンピュータ装置に実現させるためのコンピュータプログラム及び、このコンピュータプログラムを記録したコンピュータ装置読み取り可能な記録媒体によっても達成される。

以上の構成により、本発明によれば、指標の中心点の３次元座標及び外周形状に関する情報とに基づいて３次元位置姿勢センサの計測値と座標系の変換式を用いて撮像面上に投影した指標の位置と面積を算出し、撮像した画像から検出された指標の位置と面積と、投影指標の位置と面積とに基づいて指標の識別を行うことにより、指標と似た色の領域が現実空間に存在し、その領域が指標として検出された場合であっても、指標を正しく識別することが可能となる。

以下、添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。
［第１の実施形態］
図１は、本実施形態に係る指標識別装置の構成例を示すブロック図である。まず、本実施形態においては、好適な指標として、図６（ａ）に示すような円形の指標６０１を用いる。

１０１は、現実空間を撮像できるカメラであり、例えばＣＣＤやＣＭＯＳセンサを撮像素子として有するビデオカメラである。カメラ１０１には例えば磁気センサ等を用いた３次元位置姿勢センサ１０２が固定されている。位置姿勢計測部１０３は、３次元位置姿勢センサ１０２を駆動・制御し、カメラ１０１の位置姿勢を計測する。

指標情報データ保持部１０４には、現実空間に配置されている指標、本実施形態においては円形指標の各々について、配置位置（例えば中心点の３次元絶対座標）、外周形状情報（半径や直径の長さ等）といった、指標の同定及び方向の識別を行うために必要な情報を予め記憶しておく。なお、ここで挙げた登録項目は単なる例示であり、使用する指標や指標の識別方法に応じて、これ以外の情報を登録することもあれば、より少ない項目で済む場合もある。

そして、位置姿勢計測部１０３は、３次元位置姿勢センサ１０２から得られたカメラ１０１の位置姿勢値を指標投影計算・面積計算部１０５に供給する。指標投影計算・面積計算部１０５は、カメラ１０１の位置姿勢値と、指標情報データ保持部１０４に記録されている正方形指標の３次元座標情報とを用いて、カメラ１０１が撮像していると思われる指標の、カメラ１０１の画像面上での投影位置と、画像面での面積を計算する。以下、画像面（撮像面とも言う）上に投影した指標を投影指標という。

指標検出・面積計算部１０６では、カメラ１０１の撮像画像をキャプチャし、色や形状など、予め定められた指標に関する情報に基づき、指標と思われる領域（以下、検出指標という）を画像から検出する。さらに、検出した指標の画像面での位置（例えば重心位置）と共に画像面での面積を計算する。指標識別部１０７では、指標投影計算・面積計算部１０５で得られた指標の投影位置および面積と、指標検出・面積計算部１０６で得られた指標の検出位置および面積とから指標の識別を行う。指標の識別方法の詳細については後述する。

引き続いて、上記構成を備える指標識別装置が行う処理について、図４に示したフローチャートを参照して説明する。
ステップＳ４０１にて、３次元位置姿勢センサ１０２によって位置姿勢を計測し位置姿勢計測部１０３へ送る。ステップＳ４０２では、ステップＳ４０１で得られた結果を基にして、ビューイング変換を変換行列の形で計算する。ビューイング変換とは、カメラの視点位置を原点とし撮像面をｘｙ平面、視軸をｚ軸負へのベクトルとおいた３次元座標系をカメラ座標系とし、現実世界に固定され設定された座標系を世界座標系としたときに、この２つの座標系間の座標変換のことであり、世界座標系上にある点をカメラ座標系へと変換する変換のことである。すなわち、このビューイング変換を求めておくことによって、世界座標系上にある座標値をカメラ座標系の座標値に容易に計算することが可能となる。

次に、ステップＳ４０３にて、指標情報データ保持部１０４に記録されている円形指標の中心点と頂点の位置（座標）を、ステップＳ４０２で得られたビューイング変換を利用してカメラ座標系へと変換し、カメラ１０１の透視投影変換計算を行うことによって、それぞれの撮像面上での推定位置（投影座標）を計算する。なお、カメラ１０１の透視投影変換は、カメラ１０１のレンズ焦点距離や主点（投影中心）位置によって一意に定まるものであり、本実施形態を実施する前に予め求めておくことが可能である。

次に、ステップＳ４０４にて、ステップＳ４０３と同様にビューイング変換を利用して、円形指標の外周形状が画像面へ投影されたときに形成される楕円の長軸と短軸の長さ（図６（ｂ）に示す長軸ａと短軸ｂ）とを計算することによって、楕円の面積を計算する。

また、ステップＳ４０１、Ｓ４０２、Ｓ４０３、Ｓ４０４の工程を行う一方で、ステップＳ４０５にて、カメラ１０１により現実空間を撮像し、得られた撮像画像から円形指標の検出を行う。円形指標の検出方法は、どのような方法を用いても構わないが、例えば、円形指標を赤などの特定の色としておき、色検出処理によって連続領域として求める方法がある。中心点はその連続領域の重心位置として計算できる。さらにこのステップでは、得られた領域の外周をなす画素を外周形状として取得しておく。

引き続き、ステップＳ４０７にて、得られた外周形状となる画素を通る楕円を近似計算し、長軸と短軸の長さを計算し、画像面での面積を算出する。このステップでは、外周の楕円から面積を算出する代わりに、円形指標を構成する画素数（外周形状となる画素とその内部の画素数）を数え、画素数を基にして面積を算出してもよい。

以上のステップで、３次元位置姿勢センサの計測値を基にして、円形指標の中心点を画像面へと投影した投影座標、および、円形指標が画像面に投影されたときの面積、画像から検出した円形指標（なお画像中には円ではなく楕円として写る）の中心点の検出座標と画像面での面積を得ることができた。

本実施形態にて最終的に行いたいことは、現実空間に配置されている円形指標が、画像から検出された指標のうちのどれにあたるのかを判別することである。このための処理として、まず、ステップＳ４０８にて、ステップＳ４０３で得られた投影指標の中心点と、ステップＳ４０６で得られた画像中で検出された指標の中心点との距離を基にして、ステップＳ４０３で得られた各投影指標に対して、ステップＳ４０６で得られた画像中での検出指標から、対応する指標と思われる候補リストを生成する。このリストは、例えば中心点距離の近い順に並べた線形リストである。引き続き、ステップＳ４０９では、Ｓ４０３で得られた各投影指標に対して、対応するであろう候補のリストを先頭から順に探索し、面積の差が最も小さいものを見つけ出す。

これにより、例えば上述した図３のような画像から指標を識別する場合でも、ボールペン２０４の赤色領域３０３の面積は指標２０３の面積と異なるため、誤認識を防止することができる。すなわち、赤色領域３０３は候補リストには含まれるが、図５に示すように、指標６０１の投影指標５０２の面積と領域３０３の面積とは大きく異なるため、領域３０３は対応する指標とは識別されない。そして、次に距離が近く、面積の差が小さい領域２０３が対応する指標として正しく識別される。

より具体的には、面積の比が所定範囲内（例えば０．５以上２以下）である最も近い検出指標を対応する指標として識別する。なお、面積比の代わりに面積の差異を利用しても良い。候補リストは距離の近い順に並んでいるので、リスト先頭から順にチェックし、面積比が所定範囲のものが見つかった時点で処理を打ち切り、その候補が対応する指標であると識別する処理である。もちろん、すべての候補、または一定距離内にある候補の中から、面積比が最も１に近いものを選択するという方法でもよい。また、距離と面積比とから予め定めた条件式を満たすものを選択するなど、さまざまな条件によって指標を識別することも可能である。

例えばその一例として、距離をｒとし、面積比をｓとしたときに、もしもｓが１未満の場合にはｔ＝1／ｓとなり１以上の場合にはｔ＝ｓとなるｔを考えたときに、評価値Ｅを、
Ｅ＝ａｒ＋ｂｔ （０＜ａ＜１，０＜ｂ＜１）
とする。このＥが最も小さい値となるものを選択する方法を挙げることができる。なお、この評価式Ｅにおけるａとｂは予め与えておく重み係数であり、距離を重視する場合にはａを大きくｂを小さくすればよく、面積を重視する場合にはｂを大きくａを小さくすればよい。

これにより、例えば上述した図３のような画像から指標を識別する場合でも、ボールペン２０４の赤色領域３０３の面積は指標２０３の面積と異なるため、誤認識を防止することができる。すなわち、赤色領域３０３は候補リストには含まれるが、図５に示すように、指標６０１の投影指標５０２の面積と領域３０３の面積とは大きく異なるため、領域３０３は対応する指標とは識別されない。そして、次に距離が近く、面積の差が小さい領域２０３が対応する指標として正しく識別される。より具体的には、面積の差異が所定値以下である最も近い検出指標を対応する指標として識別する。もちろん、候補内で面積の差異が最も小さいものを選択したり、距離と面積の差異とから予め定めた条件式を満たすものを選択するなど、さまざまな条件によって指標を識別することも可能である。

なお、本実施形態において、ステップＳ４０８とステップＳ４０９の２つの工程は、各投影指標を基準にして、対応候補となる検出指標をリスト化し対応付けを行う方法であった。しかし、代わりに、各検出指標を基準にして、対応候補となる投影指標をリスト化する方法でもよい。また、単純に指標の距離に基づいて候補リストを作る方法に限らず、画像面上での指標の座標に基づいた方法で候補リストを作るのであれば、他の方法であってもよい。さらに、先に画像面上での距離に基づいて候補リストを生成し、そのリストから面積による対応付けを行うという処理手順ではなく、先に指標の面積が近いものをリストアップし、その中から画像面上での距離に基づいて対応付けを行っても良い。

以上説明したように本実施形態によれば、投影指標と検出指標の画像面上での距離だけでなく、その面積をも用いて指標の識別を行うことにより、指標と似た色の領域が現実空間に存在し、その領域が指標として検出された場合であっても、指標を正しく識別することが可能となる。従って、単一色の指標を利用することが可能となる。その結果、従来技術２で利用されていた指標や、異なる色を同心円上に配置した指標よりも小さくすることが可能であり、外観も比較的目立たないものとすることができる。さらに、画像中に指標を大きく捉えなくても良いため、カメラと指標の位置の制限が非常に緩やかとなる。

［第２の実施形態］
第１の実施形態では、カメラに３次元位置姿勢センサを配置し、カメラが動的に動く状況にて、現実空間に固定された指標を撮像する場合を想定していたが、カメラを固定し、３次元位置姿勢センサおよび指標を配置した現実物体が移動する場合であっても本発明を好適に適用可能である。

図７は、本実施形態におけるカメラ１０１、現実物体７０３及び３次元位置姿勢センサ７０２の関係を模式的に示す図である。なお、３次元位置姿勢センサ７０２の取り付け位置がカメラ１０１から現実物体７０３に変わること以外、図１に示した指標識別装置の構成を変更することなく本実施形態で利用可能である。

本実施形態においては、第１の実施形態における識別処理を説明した図４のステップＳ４０２にて、世界座標系をカメラ座標系に変換するためのビューイング変換を求める代わりに、物体７０３の位置姿勢計測値を基にしてモデリング変換を変換行列の形で計算する。モデリング変換とは、現実世界に固定され設定された座標系を世界座標系とし、対象物体に固定された座標系を物体座標系としたときに、この２つの座標系間の座標変換のことであり、物体座標系にある点を世界座標系上へと変換する変換のことである。すなわち、このモデリング変換を求めておくことによって、物体に固定された座標値をもつ位置を世界座標系での座標値に容易に計算することが可能となる。

そして、ステップＳ４０３において、指標座標投影計算・面積計算部１０５が、ビューイング変換の代わりにモデリング変換を用いて指標２０３をカメラ１０１の撮像面上に投影し、ステップＳ４０４で投影指標が画像面上で形成する楕円の面積を求める。図４における他のステップは第１の実施形態と同様に処理することで、円形指標の識別を行うことが可能である。

［第３の実施形態］
第１の実施形態では、カメラが移動、指標が固定、第２の実施形態では、カメラが固定、指標が配置された現実物体が移動という状況であったが、第２の実施形態においてさらにカメラが移動する環境、すなわち、カメラと指標が配置された現実物体の両方が移動する場合においても本発明を適用することが可能である。

この場合、３次元位置センサをカメラ１０１と移動現実物体７０３の両方に取り付け、それぞれの測定結果から、投影指標の算出を行うための変換をステップＳ４０２で求める。すなわち、移動物体に固定された座標系を物体座標系、カメラに固定された座標系をカメラ座標系、現実世界に固定され設定された座標系を世界座標系としたときに、物体座標系にある点をカメラ座標系上へと変換する変換（多段変換）を求める。

この変換は、物体座標系にある点を世界座標系上へ変換するモデリング変換と、世界座標系にある点をカメラ座標系上へ変換するビューイング変換を併せて行う変換であるから、それぞれの変換行列を用いることにより容易に求めることができる。
そして、ステップＳ４０３でこの多段変換を用いて投影指標を求める。他のステップは第１の実施形態と同様に実施すればよい。

［他の実施形態］
なお、上述の実施形態においては、理解を容易にするため、カメラ及び３次元位置姿勢センサを含む指標検出装置について説明したが、これらは必ずしも必要ない。すなわち、カメラ（第１／第３の実施形態）又は現実物体（第２／第３の実施形態）の３次元位置姿勢計測及び撮像は他の装置で行い、他の装置から３次元位置計測結果と撮像画像を取得する構成であってもよい。また、リアルタイムに処理を行う場合だけでなく、記録された３次元位置計測結果と、撮像画像とを用いて識別処理を行うことももちろん可能である。

また、上述の実施形態では、投影指標と検出指標の面積を算出し、面積を比較していたが、例えば画像中に占める画素数など、面積に相当する他の情報を比較しても良いことは言うまでもない。

上述の実施形態では、指標として図６（ａ）に示す円形形状の指標を利用しているが、指標は図形としての拡がりをもち、面積を計算できるものであれば、他の形状の指標でもよい。例えば、多角形形状の指標、より具体的には図８（ａ）に示すような正方形指標でもよい。

このような正方形指標を利用する場合の実施形態を、図１０のフローチャートを利用して詳細に説明する。なお、図１０において図４と同一処理を行うステップには同じ参照数字を付し、重複する説明は省略する。

ステップＳ１００３では、指標情報データ保持部１０４に記録されている正方形指標の中心点の３次元座標を、ステップＳ４０２で得られたビューイング変換を利用してカメラ座標系へと変換し、カメラ１０１の透視投影変換計算を行うことによって、それぞれの撮像面上での推定位置（投影座標）を計算する。なお、カメラ１０１の透視投影変換は、カメラ１０１のレンズ焦点距離や主点（投影中心）位置によって一意に定まるものであり、本実施形態を実施する前に予め求めておくことが可能である。

次に、ステップＳ１００４にて、ビューイング変換と指標情報データ保持部１０４に記録されている正方形指標の外周形状情報（例えば各頂点の３次元座標）を利用して、正方形指標の外周形状が画像面へと投影されたときに形成される四角形の頂点（図８（ｂ）に示すＰ０、Ｐ１、Ｐ２、Ｐ３）を計算することによって、投影指標の面積を計算する。これは、図８（ｃ）に示すように、正方形指標が画像面上に投影されて形成された四角形を２つの三角形（Ｐ０−Ｐ３−Ｐ２及びＰ１−Ｐ２−Ｐ３）に分割し、それぞれの三角形の面積を計算することにより実施することができる。具体的には、頂点Ｐ３から辺Ｐ０−Ｐ１におろした垂線の長さｃと、辺Ｐ０−Ｐ１の長さａから一方の三角形の面積を計算し、頂点Ｐ１から辺Ｐ２−Ｐ３におろした垂線の長さｄと辺Ｐ２−Ｐ３の長さｂから他方の三角形の面積を計算し、それらを加算すればよい。また、以上の正方形指標の場合の計算式は、指標が長方形の場合でも同様に適用できる。さらに言えば、四角形全般においても同様な方法で面積を計算できる。すなわち、ここでは指標として正方形形状のものを例に説明しているが、正方形に限った方法ではなく、四角形であればどのような形状でもよい。さらには、三角形や五角形以上の多角形全般においても、あらゆる多角形は必ず三角形に分割できることから、同様な方法で面積を計算できる。その場合は、多角形を三角形に分割する方法が異なるのみである。

また、ステップＳ４０１、Ｓ４０２、Ｓ１００３、Ｓ１００４の工程を行う一方で、ステップＳ４０５にてカメラ１０１により現実空間を撮像し、ステップＳ１００６にて、得られた撮像画像から正方形指標の検出を行う。正方形指標の検出にはどのような方法を用いても構わないが、例えば、以下のような方法がある。

まず、指標の明度を背景と異なるものとしておき、明度による二値化を行った後にラベリング処理にて連続領域を求める。その連続領域のラベル外周を折れ線近似することにより外周の四角形（外周形状）を検出する。得られた四角形の頂点を求め、さらに対角線の交点を求めることにより中心点を求める。引き続き、ステップＳ１００７にて、得られた四角形頂点から、画像面での面積を算出する。このステップでは、頂点から面積を算出する代わりに、正方形指標を構成する画素数を数え、画素数を基にして面積を算出してもよい。なお、連続領域の外周を折れ線近似し、その折れ線から多角形の頂点・辺を求める方法は多角形全般に適用できるので、同様な方法で多角形全般の面積を求めることができる。

次に、ステップＳ４０８にて、ステップＳ１００３で得られた正方形の中心点の投影座標と、ステップＳ１００６で得られた正方形の中心点の検出座標との距離を基にして、ステップＳ１００３で得られた各投影指標に対して、対応するであろう画像中での検出指標の候補リストを生成する。このリストは、例えば距離の近い順に並べた線形リストである。引き続き、ステップＳ４０９では、ステップＳ１００３で得られた各投影指標に対して、対応するであろう候補リストを先頭から順に探索し、例えば面積比が所定範囲内で、最も距離が近いものを見つけ出す。

図２で示した環境において、円形指標２０３を正方形指標９０１に取り替えた空間をカメラ１０１で撮像した画像を図９に示す。そして、この空間に対して図１０の工程を実施し、ステップＳ４０１からＳ１００４の工程で画像面に投影された正方形指標が９０２である。この画像では、現実空間に指標以外に元々存在している物体として、キーボード９０３が映っており、そのキートップが四角形として検出されている。このような場合、指標の面積を考慮しない従来技術１の方法では、本来対応付けられるべき検出指標９０１ではなく、投影指標９０２に最も近いキートップ領域を対応する検出指標と誤識別してしまう。しかしながら、このような場合であっても、本実施形態においては、ステップＳ４０９において、キートップ領域の面積と投影指標９０２の面積との違いから、投影指標９０２はキートップ領域と対応付けられることはなく、検出指標９０１と正しく対応付けされる。

また、上述の実施形態で説明した指標識別装置と同等の機能を複数の機器から構成されるシステムによって実現しても良い。

尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

本発明の第１の実施形態における指標識別装置の機能構成を示すブロック図である。 従来技術１および本発明の第１の実施形態の利用場面を模式的に表す模式図である。 従来技術１で行っている処理を説明するための、指標が画像に捉えられている様子を表す模式図である。 本発明の第１の実施形態における指標識別装置が行う処理のフローチャートである。 第１の実施形態で行っている処理を説明するための、指標が画像に捉えられている様子を表す模式図である。 第１の実施形態で利用する円形指標、および、その指標の面積を計算するための長軸短軸を示す図である。 第２の実施形態の利用場面を模式的に表す模式図である。 本発明の他の実施形態で利用する正方形指標、および、その指標の面積計算方法を説明するための図である。 本発明の他の実施形態で行っている処理を補足説明するための、指標が画像に捉えられている様子を表す模式図である。 本発明の他の実施形態における指標識別装置が行う処理のフローチャートである。 従来技術で利用されている指標の例である。

Claims (8)

1. 所定形状の指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得工程と、
   前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得工程と、
   前記指標の色及び形状に基づいて、前記画像中に含まれる、前記指標と思われる領域を検出し、各領域の位置と面積とを求める領域検出工程と、
   前記位置姿勢情報取得工程で得た前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢測定結果と、前記指標の中心点の３次元座標及び外周形状に関する情報とに基づいて、前記指標を前記撮像装置の撮像面上に投影した投影指標の位置と面積とを算出する投影指標算出工程と、
   前記画像中で検出された前記領域の位置及び面積と、前記投影指標の位置及び面積とに基づいて、前記画像中で検出された前記領域のうち、前記投影指標との面積の比または差が所定範囲内で、前記投影指標に最も位置が近い領域を当該投影指標に対応する指標であると識別する指標識別工程とを有することを特徴とする指標識別方法。
2. 前記領域検出工程が、ある特定の色または周囲との明度差を有する連続領域を前記指標と思われる領域として検出することを特徴とする請求項１記載の指標識別方法。
3. 前記指標が円形であり、前記外周形状に関する情報が半径又は直径の大きさであることを特徴とする請求項１または２記載の指標識別方法。
4. 前記指標が正多角形であり、前記外周形状に関する情報が頂点の三次元座標を表す情報であることを特徴とする請求項１または２記載の指標識別方法。
5. 所定形状の指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得手段と、
   前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得手段と、
   前記指標の色及び形状に基づいて、前記画像中に含まれる、前記指標と思われる領域を検出し、各領域の位置と面積とを求める領域検出手段と、
   前記位置姿勢情報取得手段で得た前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢測定結果と、前記指標の中心点の３次元座標及び外周形状に関する情報とに基づいて、前記指標を前記撮像装置の撮像面上に投影した投影指標の位置と面積とを算出する投影指標算出手段と、
   前記画像中で検出された前記領域の位置及び面積と、前記投影指標の位置及び面積とに基づいて、前記画像中で検出された前記領域のうち、前記投影指標との面積の比または差が所定範囲内で、前記投影指標に最も位置が近い領域を当該投影指標に対応する指標であると識別する指標識別手段とを有することを特徴とする指標識別装置。
6. 前記撮像装置及び、前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢測定手段を更に有することを特徴とする請求項５記載の指標識別装置。
7. コンピュータに、請求項１記載の指標識別方法を実行させるためのコンピュータプログラム。
8. 請求項７記載のコンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images