JP4282067B2 - 指標識別方法および装置 - Google Patents

Description

本発明は、現実空間もしくは現実物体に配置された指標を、撮像装置で撮像した画像から検出、識別する指標の識別技術に関するものである。

［従来技術１］
現実空間を撮像するカメラなどの撮像部（以下適宜カメラと言い換える）の位置姿勢計測は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。このような従来技術として、特許文献１乃至３および非特許文献１において開示されているように、現実空間に配置した、位置が既知のマーカまたは現実空間中の位置が既知の特徴点（以下、マーカと特徴点を合わせて指標という）を用いて、カメラの位置姿勢を測定する位置姿勢センサの計測誤差を補正する方法がある。

言い換えると、これらの方法は、カメラの位置姿勢を測定する位置姿勢センサと、カメラで撮像した指標とを利用して、カメラの位置姿勢を推定する方法である。このような方法で利用される指標としては、色領域の重心や同心円等がある。また、指標は同時に複数利用されることが多いが、カメラが撮像した画像から検出した指標が、現実空間に複数個配置した指標のどれに対応するのかを求める手段のひとつとして、画像から検出した指標の座標と、指標の絶対位置を位置姿勢センサの計測値を基にして投影して得られる、画像面上での指標の座標との間の関係を利用することが知られている。

［従来技術２］
また、一方で、非特許文献２乃至３において開示されているように、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢推定を行う方法も知られている。そして、これら非特許文献においては、正方形の指標を利用し、正方形の４頂点の座標を基にして、カメラの位置姿勢を推定している。ただし、正方形はその中心点（対角線の交点）を通り、面に垂直な軸を回転軸として90度毎の回転対称形であることから、頂点の座標からだけでは上下左右の判定を行うことができない。そのため、正方形の指標内部に、上下左右の判定を行うためのさらなる画像特徴が設けられている。さらに、指標を複数利用する場合に、カメラで撮像した画像のみに基づいて複数の指標のどれを捉えているのかを識別する必要があるため、指標の内部にはさらに指標毎に異なる固有のパターンや符号などの図形情報が埋め込まれている。

特開平１１−０８４３０７号公報 特開２０００−０４１１７３号公報 特願２０００−３５４２３０号公報 A. State, G. Hirota, D. T. Chen, B. Garrett, and M. Livingston: Superior augmented reality registration by integrating landmark tracking and magnetic tracking, Proc. SIGGRAPH '96, pp.429-438, July 1996. 加藤, Billinghurst, 浅野, 橘: マーカー追跡に基づく拡張現実感システムとそのキャリブレーション, 日本バーチャルリアリティ学会論文誌, vol.4, no.4, pp.607-616, Dec. 1999. X. Zhang, S. Fronz, N. Navab: Visual marker detection and decoding in AR systems: A comparative study, Proc. of International Symposium on Mixed and Augmented Reality (ISMAR'02), 2002.

従来技術１のカメラの位置姿勢を推定する方法において、指標として点マーカや同心円マーカを利用する場合、１つの指標がもつ情報は１つの座標値でしかない。そのため、幾何的な情報が少なく、正確な位置姿勢を推定するためや観測視野を広くするために、比較的数多くの複数の指標を同時に利用するような方法が採られている。

上述したように、複数の指標を同時に用いる場合には、画像で捉えた指標が現実空間に配置された指標のどれに相当するのかを同定する方法を工夫する必要がある。特に指標の画像特徴（色や形状など、画像処理で識別可能な特徴）が同じか差が小さく、かつ数多くの指標を配置した際には誤識別の可能性があった。

この誤識別の可能性について、図５を用いて具体的に説明する。図５において、５００は、カメラの撮像範囲（画像領域）を、５０１と５０２はそれぞれ現実空間に配置した点マーカを撮像画像から検出したものを表す。また、５０３と５０４は、カメラに取り付けられた位置姿勢センサの計測値を利用して、カメラが撮像した２つの点マーカの絶対位置をカメラの撮像面へと投影して得られた点を表す。

位置姿勢センサに誤差がなければ、５０１と５０３および５０２と５０４とはそれぞれ画像面で一致するはずであるが、実際には位置姿勢センサに誤差がある影響で、５０３と５０４の画像面上の座標は、５０１及び５０２からずれた座標として計算されることとなる。この例の場合、５０４の座標が画像領域からはみ出した位置に投影されている。画像面に投影した指標の位置と、撮像画像から検出した指標の位置とを比較し、その距離が小さいもの同士を同じものとして指標の識別（同定）を行うとする。この場合、５０３は５０１よりも５０２に近いため、５０３と５０２とが対応するものであると判断され、画像から検出した５０２という指標は現実空間中に配置された５０３という指標であると識別されることとなる。この例に示すように、従来技術１で利用しているような、画像特徴が同じか差の小さい指標を複数用いた場合、誤識別を起こすおそれがある。

一方で、従来技術２で利用されている正方形指標は、上述のように、上下左右を識別するためにマーカ固有の符号情報やテンプレートとなりうる記号情報などを埋め込む必要があった。図７（ａ）〜（ｃ）は、非特許文献２および非特許文献３にて開示されている従来技術２で利用されている具体的な正方形指標の例である。このような複雑な構造をもつ指標を画像から検出しなければならないため、撮像画像面の中で十分に大きな面積を占めるように指標を捉えなければ、指標の認識ができないという問題があった。これは換言すれば、現実空間の広い領域を指標配置のために確保しなければならないこと、あるいは、カメラが指標に十分に近づかなければならないということを意味する。または、指標の配置条件が厳しいという問題と言い換えることができる。
本発明はこのような従来技術の問題点を解決することを主な目的とする。

本発明の目的は、方向性を持たない基本形状内部の１頂点に偏った位置に当基本形状とは明度が大きく異なる方向性付与形状が配置された方向性を有する同一種の指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得工程と、撮像装置又は現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得工程と、画像中に含まれる指標の位置を検出する指標検出工程と、指標検出工程によって検出された指標の画像の基本形状内部において明度が大きく異なる方向性付与形状の配置の偏りに基づいて、当指標の方向を判定する判定工程と、位置姿勢情報取得工程で得た撮像装置又は現実物体の少なくとも一方の３次元位置姿勢測定結果と、予め保持されている配置された指標の位置情報とに基づいて、撮像装置の撮像面上に当配置された指標を投影した投影位置を求める投影位置算出工程と、指標検出工程で検出された指標の位置及び判定工程で判定された当指標の方向と、投影位置算出工程で求めた配置された指標の投影位置及び予め保持されている当配置された指標の方向性に関する情報とに基づいて、画像中で検出された指標を識別する指標識別工程とを有することを特徴とする指標識別方法によって達成される。

また、本発明の目的は、方向性を持たない基本形状内部の１頂点に偏った位置に当基本形状とは明度が大きく異なる方向性付与形状が配置された方向性を有する同一種の指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得手段と、撮像装置又は現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得手段と、画像中に含まれる指標の位置を検出する指標検出手段と、指標検出工程によって検出された指標の画像の基本形状内部において明度が大きく異なる方向性付与形状の配置の偏りに基づいて、当指標の方向を判定する判定手段と、位置姿勢情報取得手段で得た撮像装置又は現実物体の少なくとも一方の３次元位置姿勢測定結果と、予め保持されている配置された指標の位置情報とに基づいて、撮像装置の撮像面上に当配置された指標を投影した投影位置を求める投影位置算出手段と、指標検出手段で検出された指標の位置及び判定手段で判定された当指標の方向と、投影位置算出手段で求めた配置された指標の投影位置及び予め保持されている当配置された指標の方向性に関する情報とに基づいて、画像中で検出された指標を識別する指標識別手段とを有することを特徴とする指標識別装置によっても達成される。

また、上述の目的は、本発明の指標識別方法をコンピュータ装置に実現させるためのコンピュータプログラム及び、このコンピュータプログラムを記録したコンピュータ装置読み取り可能な記録媒体によっても達成される。

本発明によれば、画像から検出するだけでは、複数の指標の区別をすることができないような指標であっても、個別に指標の識別を行うことが可能となる。また、利用する方向性を持つ指標は、個体区別のための追加情報となる図形やパターンを必要としないため、単純で安定的に画像から検出しやすい。すなわち、指標が十分に大きく画像に捉えられている場合だけではなく、指標が小さくなった場合であっても、指標を安定的に検出できる効果をもたらす。また、利用する指標も、従来技術２で利用されていたものと比較して、大きさを小さくすることが可能であり、概観も比較的目立たないものとすることができる効果もある。

以下、添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。
［第１の実施形態］
図１は、本実施形態に係る指標識別装置の構成例を示すブロック図である。まず、本実施形態においては、方向性を有する指標を用いることを特徴とするが、ここでは、好適な指標の例として、図８に示すような正方形形状（基本形状）１２０の内部の、一頂点に偏った位置に、明度の大きく異なる正方形（方向性付与形状）１２１を配置してあるような指標を利用する。すなわち、本実施形態において指標は基本形状と方向付け形状によって構成され、その位置関係を指標の配置位置と共に登録しておくことによって指標の方向を識別可能にしている。

また、本実施形態における指標において、方向性付与形状１２１は一つの頂点を基本形状１２０の中心点とし、頂点までの距離の２／３の位置に対角頂点を有するように配置されている。このような配置とすることで，指標全体が小さくなっても，基本形状１２０の外周と方向性付与形状１２１外周との間隔を維持し、方向性付与形状１２１である内部の正方形の明度を取得するときにできるだけその中心を見ることができるようになる。同様にして外部形状を正三角形にした場合の指標の例を図１１に示す。

この指標の特徴としては、図７に示す従来技術２で利用されているような指標と異なり、外形正方形の内部に埋め込まれた情報が少ないために、画像から検出する際に、比較的小さな大きさに撮影されたものであっても、安定的に検出できるという点である。そのかわりに、この指標は指標の方向性を示す情報のみが内部に埋め込まれているだけであって、個々の指標を区別するための情報が埋め込まれていないため、指標を画像から検出するだけでは、個々の指標を区別して識別することできないという特徴も併せもつ。以降ではこの指標のことを方向性付き正方形指標と呼ぶ。

１０１は、現実空間を撮像できるカメラであり、例えばＣＣＤやＣＭＯＳセンサを撮像素子として有するビデオカメラである。カメラ１０１には例えば磁気センサ等を用いた３次元位置姿勢センサ１０２が固定されている。位置姿勢計測部１０３は、３次元位置姿勢センサ１０２を駆動・制御し、カメラ１０１の位置姿勢を計測する。

指標情報データ保持部１０４には、現実空間に配置されている方向付き指標、本実施形態においては方向付き正方形指標の各々について、配置位置（例えば中心点の３次元絶対座標）、頂点の３次元絶対座標、大きさ、姿勢、指標の方向を特定するための情報（例えば方向付け形状と基本形状との位置関係を示す情報であり、図１０の指標では、例えば方向付け形状に最も近い頂点の座標など）、方向付け形状に関する情報（形状や色に関する情報など）といった、指標の同定及び方向の識別を行うために必要な情報を予め記憶しておく。なお、ここで挙げた登録項目は単なる例示であり、使用する指標や指標の識別方法に応じて、これ以外の情報を登録することもあれば、より少ない項目で済む場合もある。

そして、位置姿勢計測部１０３は、３次元位置姿勢センサ１０２から得られたカメラ１０１の位置姿勢値を指標投影計算部１０５に供給する。指標投影計算部１０５は、カメラ１０１の位置姿勢値と、標情報データ保持部１０４に記録されている方向性付き正方形指標の３次元座標情報とから、カメラ１０１が撮像していると思われる指標の、カメラ１０１の画像面上での投影位置を計算する。以下、画像面（撮像面とも言う）上に投影した指標を投影指標という。

指標検出部１０６では、カメラ１０１の撮像画像をキャプチャし、色や形状など、予め定められた指標に関する情報に基づき、指標と思われる領域（以下、検出指標ともいう）を画像から検出する。指標識別部１０７では、指標投影計算部１０５で得られた投影位置と、指標検出部１０６で得られた画像中の指標位置とから、指標の同定を行う。指標の同定方法の詳細については後述する。

図２は、図１の構成の想定される使用状態を模式的に示す図である。方向性付き正方形指標２０３は、図のように現実空間に配置されており、その指標の大きさや配置などの情報が指標情報データ保持部１０４に記録されている。

引き続いて、上記構成を備える指標識別装置が行う処理について、図４に示したフローチャートを参照して説明する。

ステップＳ４０１にて、３次元位置姿勢センサ１０２によって位置姿勢を計測し位置姿勢計測部１０３へ送る。ステップＳ４０２では、ステップＳ４０１で得られた結果を基にして、ビューイング変換を変換行列の形で計算する。ビューイング変換とは、カメラの視点位置を原点とし撮像面をｘｙ平面、視軸をｚ軸負へのベクトルとおいた３次元座標系をカメラ座標系とし、現実世界に固定され設定された座標系を世界座標系としたときに、この２つの座標系間の座標変換のことであり、世界座標系上にある点をカメラ座標系へと変換する変換のことである。すなわち、このビューイング変換を求めておくことによって、世界座標系上にある座標値をカメラ座標系の座標値に容易に計算することが可能となる。

次に、ステップＳ４０３にて、指標情報データ保持部１０４に記録されている方向性付き正方形指標の中心点と頂点の位置（座標）を、ステップＳ４０２で得られたビューイング変換を利用してカメラ座標系へと変換し、カメラ１０１の透視投影変換計算を行うことによって、それぞれの撮像面上での推定位置（投影座標）を計算する。ここで、当然個々の頂点はそれぞれ別々に区別して記録されているため、その個々の頂点を撮像面に投影して得られる投影座標においても、各々がどの頂点を投影したものであるのかは処理手順上自明である。また、方向性付き正方形指標の方向を示す頂点がどれであるのか（図８に示す指標内部に偏って配置された正方形１２１がどの頂点に対して偏らせてあるか）も明らかである。なお、カメラ１０１の透視投影変換は、カメラ１０１のレンズ焦点距離や主点（投影中心）位置によって一意に定まるものであり、本実施形態を実施する前に予め求めておくことが可能である。

また、ステップＳ４０１、Ｓ４０２、Ｓ４０３の工程を行う一方で、ステップＳ４０４にて、カメラ１０１により現実空間を撮像し、ステップＳ４０５にて、得られた撮像画像から方向性付き正方形指標の検出のための一工程として、外周正方形を検出し頂点と中心点を算出する。これには、どのような方法を用いても構わないが、例えば、以下のような方法がある。

まず、指標の明度を背景と異なるものとしておき、明度による二値化を行った後にラベリング処理にて連続領域を求める。その連続領域のラベル外周を折れ線近似することにより外周の四角形（基本形状）１２０を検出する。得られた四角形の頂点を求め、さらに対角線の交点を求めることにより中心点を求める。

引き続き、方向性付き正方形指標の検出のための一工程として、ステップＳ４０６にて、検出した外周四角形の内部の情報を用いて、方向性付き正方形指標の方向を検出する。方向の検出は、例えば図１０に示すように、外周四角形の４頂点（ａ，ｂ，ｃ，ｄ）と中心点Ｏを結ぶ線分それぞれに対して、中心点から頂点に向かってその線分を１：２に分割する点（ａ’，ｂ’，ｃ’，ｄ）を計算する。さらに、それらの４点の画像中での画素の明度を比較し、最も明度の異なる点を求める。４点のうち他の３点と明度が最も異なる点（図１０ではｃ’）は、図８に示す指標内部に偏って配置された正方形１２１に由来するものであるため、これにより画像から検出した方向性付き正方形指標の方向を決定することができる。例えば、方向を特定するための情報として方向付け形状に最も近い頂点の座標を用いた場合は、明度が最も異なる点に最も近い頂点の座標を特定する。

以上のステップで、３次元位置姿勢センサ１０２の計測値を基にして、方向性付き正方形指標の頂点と中心点を画像面へと投影した投影座標とその方向性、画像から検出した正方形指標（なお画像中には正方形ではなく四角形として写る）の頂点と中心点の検出座標とその方向性を得ることができた。

本実施形態にて最終的に行いたいことは、図８に示すように、画像から検出しただけでは個々の区別のつかない方向性付き正方形指標が複数個現実空間に配置されている場合に、個々の指標を識別することにある。例えば、図３に示すように、２つの指標が隣り合って配置されているような場合に、それらを識別することにある。図３の３０１と３０２は、それぞれ現実空間に配置した方向性付き正方形指標を撮像画像から検出したものを表す。図に示すように、これらの二つの指標３０１，３０２は、隣り合って配置されていて、かつ、その方向性はお互いに異なるように配置されている。

このとき、ステップＳ４０３にて得られた、カメラ１０１の視野に含まれるであろう指標の、カメラ１０１の画像面上への投影座標の１つが、３０３のような位置に計算されているとする。そして、この指標３０３は、画像中で検出された指標３０１であるとする。このような場合に、もしも仮に、画像面に投影した指標の位置と、撮像画像から検出した指標の位置とを比較し、その距離が小さいもの同士を同じものとして指標の識別（同定）を行うと、発明が解決しようとする課題で述べたとおり、３０３と３０２とが対応するものとして誤識別してしまう。この課題を解決し、指標の識別を正しく行う工程が、以下に述べるステップＳ４０７とステップＳ４０８である。

ステップＳ４０７では、ステップＳ４０３で得た、画像面上へ投影した中心点と、ステップＳ４０５で得た、撮像画像中で検出された指標の中心点との距離を基にして、ステップＳ４０３で得られた各投影指標に対して、対応するであろう画像中での検出指標の候補リストを生成する。このリストは、例えば中心点距離の近い順に並べた線形リストである。引き続き、ステップＳ４０８では、Ｓ４０３で得られた各投影指標に対して、対応するであろう候補リストを先頭から順に探索し、方向性のあっているものを見つけ出す。例えば、方向を特定するための情報として方向付け形状に最も近い頂点の座標を用いた場合は、ステップＳ４０６で特定された頂点の座標とステップＳ４０５で求められた中心点座標との関係と、候補リストの各指標について予め保持されている方向付け形状に最も近い頂点の座標と予め保持されている中心点の座標との関係とを評価して方向性のあっているものを見つけ出す。

このステップＳ４０７及びＳ４０８の工程を、図３の場合を例にして説明する。ステップＳ４０７により、投影指標３０３に対して、距離の近い検出指標３０２と３０１が対応する候補としてリストに挙げられる。検出指標３０２の方が３０１よりも投影指標３０３に近いので、リストでは検出指標３０２が３０１より上位となっている。そのリストを利用して、ステップＳ４０８にて、まず投影指標３０３と検出指標３０２の方向性の同一性を調べ、次に投影指標３０３と検出指標３０１の方向性の同一性を調べることとなる。

そして、検出指標３０２と投影指標３０３とは方向性の相異が大きいために、対応するものとされることはなく、方向性が一致すると思われる検出指標３０１と投影指標３０３とが対応付けられる。

なお、本実施形態において、ステップＳ４０７とステップＳ４０８の２つの工程は、各投影指標を基準にして、対応候補となる検出指標をリスト化し対応付けを行う方法であった。しかし、代わりに、各検出指標を基準にして、対応候補となる投影指標をリスト化する方法でもよい。また、単純に指標の距離に基づいて候補リストを作る方法に限らず、画像面上での指標の座標に基づいた方法で候補リストを作るのであれば、他の方法であってもよい。さらに、先に画像面上での距離に基づいて候補リストを生成し、そのリストから指標の方向性による対応付けを行うという処理手順ではなく、先に指標の方向性のあっているものをリストアップし、その中から画像面上での距離に基づいて対応付けを行っても良い。

以上説明したように本実施形態によれば、指標の方向性を用いて指標の識別を行うことにより、同じ指標が複数配置してある場合でも個々の指標を識別することが可能となる。従って、より単純な指標を利用することが可能となり、結果として指標そのものの検出自体が容易になるため、指標毎に固有のパターンを設ける従来技術と比べ、指標の大きさや配置、またカメラと指標の位置の制限が非常に緩やかとなる。

すなわち、本実施形態で利用した方向性付き正方形指標は、単純な２つの正方形の組み合わせ（正方形内部に偏った正方形をもつ）であり、指標毎の固有パターン等、個体区別のための追加情報となる図形やパターンを必要としないため、単純で安定的に画像から検出しやすい。その結果、指標が十分に大きく画像に捉えられている場合だけではなく、撮像画像中の指標が小さい場合であっても、指標を安定的に検出できる。また、利用する指標も、図７に示したような、従来技術２で利用されていた指標よりも小さくすることが可能であり、外観も比較的目立たないものとすることができる効果もある。

［第２の実施形態］
第１の実施形態では、カメラに３次元位置姿勢センサを配置し、カメラが動的に動く状況にて、現実空間に固定された指標を撮像する場合を想定していたが、カメラを固定し、３次元位置姿勢センサおよび指標を配置した現実物体が移動する場合であっても本発明を好適に適用可能である。

図６は、本実施形態におけるカメラ１０１、現実物体８０３及び３次元位置姿勢センサ８０２の関係を模式的に示す図である。なお、３次元位置姿勢センサ８０２の取り付け位置がカメラ１０１から現実物体８０３に変わること以外、図１に示した指標識別装置の構成を変更することなく本実施形態で利用可能である。

本実施形態においては、第１の実施形態における識別処理を説明した図４のステップＳ４０２にて、世界座標系をカメラ座標系に変換するためのビューイング変換を求める代わりに、物体８０３の位置姿勢計測値を基にしてモデリング変換を変換行列の形で計算する。モデリング変換とは、現実世界に固定され設定された座標系を世界座標系とし、対象物体に固定された座標系を物体座標系としたときに、この２つの座標系間の座標変換のことであり、物体座標系にある点を世界座標系上へと変換する変換のことである。すなわち、このモデリング変換を求めておくことによって、物体に固定された座標値をもつ位置を世界座標系での座標値に容易に計算することが可能となる。

そして、ステップＳ４０３において、指標座標投影計算部１０５が、ビューイング変換の代わりにモデリング変換を用いて指標２０３をカメラ１０１の撮像面上に投影する。図４における他のステップは第１の実施形態と同様に処理することで、方向性付き正方形指標の識別を行うことが可能である。

［第３の実施形態］
第１の実施形態では、カメラが移動、指標が固定、第２の実施形態では、カメラが固定、指標が配置された現実物体が移動という状況であったが、カメラと指標が配置された現実物体の両方が移動する環境においても本発明を適用することが可能である。

この場合、３次元位置センサをカメラと移動現実物体の両方に取り付け、それぞれの測定結果から、投影指標の算出を行うための変換をステップＳ４０２で求める。すなわち、移動物体に固定された座標系を物体座標系、カメラに固定された座標系をカメラ座標系、現実世界に固定され設定された座標系を世界座標系としたときに、物体座標系にある点をカメラ座標系上へと変換する変換（多段変換）を求める。

この変換は、物体座標系にある点を世界座標系上へ変換するモデリング変換と、世界座標系にある点をカメラ座標系上へ変換するビューイング変換を併せて行う変換であるから、それぞれの変換行列を用いることにより容易に求めることができる。

そして、ステップＳ４０３でこの多段変換を用いて投影指標を求める。他のステップは第１の実施形態と同様に実施すればよい。

［他の実施形態］
なお、上述の実施形態においては、理解を容易にするため、カメラ及び３次元位置姿勢センサを含む指標検出装置について説明したが、これらは必ずしも必要ない。すなわち、カメラ（第１／第３の実施形態）又は現実物体（第２／第３の実施形態）の３次元位置姿勢計測及び撮像は他の装置で行い、他の装置から３次元位置計測結果と撮像画像を取得する構成であってもよい。また、リアルタイムに処理を行う場合だけでなく、記録された３次元位置計測結果と、撮像画像とを用いて識別処理を行うことももちろん可能である。

上述の実施形態では、指標として図８に示す正方形形状の指標を利用しているが、指標が方向性を有し、かつ、その方向性を指標の画像から検出することが可能であれば、どのような指標を利用してもよい。

例えば、上述の実施形態で用いたような、方向性を持たない基本形状と、基本形状と組み合わせて方向性を付与する方向性付与形状とから構成される指標の他の例を、図９に示す。なお、ここで、「方向性を持たない」形状とは、円形のように中心点周りに回転させた際に全く外観上の変化がない場合のみならず、少なくとも２つの、区別が付かない回転状態を有しうる形状を意味する。従って、例えば基本形状が正方形の場合、中心点周りに回転させた場合、９０°、１８０°、２７０°、３６０°の状態の区別が付かないため、方向性を持たない形状として取り扱われる。

図９（ａ）は、基本形状１２０が正三角形、方向性付与形状１２１が基本形状内部に偏って配置された正三角形である指標の例を示す。図９（ａ）に示す指標を利用する場合、ステップＳ４０３の投影計算は中心点と３つの頂点を投影計算することとなり、ステップＳ４０５は、三角形の検出を行い、その頂点と中心点を算出することとなる。ここで、ステップＳ４０５の中心点の計算は、四角形の場合には対角線の交点を求めることで行っていたが、三角形の場合には、図１１（ａ）に示すように、頂点から対角辺の中点への直線の交点を計算することで算出すればよい。図１１（ｂ）は、図１１（ａ）の方向性付与形状１２１を変形し、指標が小さくなった場合の方向性付与形状１２１の識別性を向上させたものである。

このように、基本形状の内部に、基本形状と画像識別可能な特徴（明度、彩度など）を有する方向性付与形状を偏在させた指標としては、例えば星形（★）の基本形状の内部に丸い（○）方向性付与形状を偏在させたものなど、様々なものが利用可能である。ただし、基本形状の頂点が増えると処理負荷が大きくなったり、指標に関する情報を記憶する１０４の容量が増加したりするため、あまり複雑な形状を基本形状として用いることは好ましくない。

さらに、方向性付与形状は基本形状の内部に存在していなくても良い。例えば図９（ｂ）に示すように、基本形状としての正方形１２０の側に、方向性付与形状としての長方形１２１を配置した指標であってもよい。この場合、方向性付与形状の画像識別上の特徴（明度、彩度など）は、基本形状と差が少ないか、同一であってもよい。また、図９（ｃ）に示すように、直角三角形を２つ並べたような指標（この場合、基本形状は２つの直角三角形の合わせた形であり、三角形の間隔部分１２１が方向性付与形状と見なすことができる）であってもよいし、図９（ｄ）に示すように、基本形状としての正三角形１２０の一辺に方向性付与形状としての突起１２１を持つような指標や、図９（ｅ）に示すような、三角形を組み合わせた基本形状と方向性付与形状としての円の組み合わせであってもよい。この他にも利用可能な無数の指標が存在するが、これ以上の例示は省略する。

また、上述の実施形態で説明した指標識別装置と同等の機能を複数の機器から構成されるシステムによって実現しても良い。

尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

本発明の第１の実施形態における指標識別装置の機能構成を示すブロック図である。 本発明の第１の実施形態の利用場面を模式的に表す模式図である。 方向性付き正方形指標が画像に捉えられている様子、および、画像に投影された様子を表す模式図である。 本発明の第１の実施形態における指標識別装置が行う処理のフローチャートである。 従来技術１に内在する指標の誤識別の可能性を示すための補足図であり、点マーカが画像に捉えられている様子、および、画像に投影された様子を表す模式図である。 本発明の第２の実施形態の利用場面を模式的に表す模式図である。 従来技術で利用されている指標の例である。 本発明の第１の実施形態で利用する、方向性を有する指標の例を示す図である。 本発明に用いることの可能な指標の他の例を示す図である。 、 指標の方向性検出方法を説明する図である。

Claims (8)

1. 方向性を持たない基本形状内部の１頂点に偏った位置に当該基本形状とは明度が大きく異なる方向性付与形状が配置された方向性を有する同一種の指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得工程と、
   前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得工程と、
   前記画像中に含まれる前記指標の位置を検出する指標検出工程と、
   前記指標検出工程によって検出された指標の画像の基本形状内部において明度が大きく異なる方向性付与形状の配置の偏りに基づいて、当該指標の方向を判定する判定工程と、
   前記位置姿勢情報取得工程で得た前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢測定結果と、予め保持されている前記配置された指標の位置情報とに基づいて、前記撮像装置の撮像面上に当該配置された指標を投影した投影位置を求める投影位置算出工程と、
   前記指標検出工程で検出された指標の位置及び前記判定工程で判定された当該指標の方向と、前記投影位置算出工程で求めた前記配置された指標の投影位置及び予め保持されている当該配置された指標の方向性に関する情報とに基づいて、前記画像中で検出された指標を識別する指標識別工程とを有することを特徴とする指標識別方法。
2. 前記指標識別工程が、前記画像中で検出された指標の位置と距離の近い前記投影位置を有する前記配置された指標について、前記予め保持されている方向性に関する情報と前記判定された指標の方向との一致性に基づいて前記識別を行うことを特徴とする請求項１記載の指標識別方法。
3. 前記判定工程は、
   前記指標検出工程によって検出された指標の画像の基本形状における頂点及び中心点の位置を求める工程と、
   前記頂点及び中心点の位置を用いて、前記指標における前記基本形状の中心点から各頂点へ向かう線分のそれぞれを所定比率で分割する複数の代表点の位置を決定する工程と、
   前記複数の代表点の画像の明度を比較して、最も明度の異なる代表点に最も近い頂点に基づいて前記指標の方向を判定する工程とを有することを特徴とする請求項１記載の指標識別方法。
4. 前記指標の方向性に関する情報は、該指標における特定の頂点の３次元位置情報であることを特徴とする請求項１記載の指標識別方法。
5. 方向性を持たない基本形状内部の１頂点に偏った位置に当該基本形状とは明度が大きく異なる方向性付与形状が配置された方向性を有する同一種の指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得手段と、
   前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得手段と、
   前記画像中に含まれる前記指標の位置を検出する指標検出手段と、
   前記指標検出工程によって検出された指標の画像の基本形状内部において明度が大きく異なる方向性付与形状の配置の偏りに基づいて、当該指標の方向を判定する判定手段と、
   前記位置姿勢情報取得手段で得た前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢測定結果と、予め保持されている前記配置された指標の位置情報とに基づいて、前記撮像装置の撮像面上に当該配置された指標を投影した投影位置を求める投影位置算出手段と、
   前記指標検出手段で検出された指標の位置及び前記判定手段で判定された当該指標の方向と、前記投影位置算出手段で求めた前記配置された指標の投影位置及び予め保持されている当該配置された指標の方向性に関する情報とに基づいて、前記画像中で検出された指標を識別する指標識別手段とを有することを特徴とする指標識別装置。
6. 前記撮像装置及び、前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢測定手段を更に有することを特徴とする請求項５記載の指標識別装置。
7. コンピュータに、請求項１記載の指標識別方法を実行させるためのコンピュータプログラム。
8. 請求項７記載のコンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images