JP5245345B2 - 対象物認識装置、認識対象物およびプログラム - Google Patents

Description

本発明は、対象物を認識する対象物認識装置等に関する。

近年、セキュリティの確保のため特定の管理区画に係わる利用者の入退室の管理を行う等の目的で、例えば、ＩＤ（Identification）などの識別情報を付与したカード等を利用し、個人認識を行うシステムが用いられている。ＩＤなどの識別情報をカメラ等により撮影した画像から認識するシステムでは、この識別情報を付与したカード等の３次元位置や角度を計測する必要がある。

所定の対象物の３次元位置を計測する手段としては、２台のカメラで対象物を撮影し、カメラ同士の間の距離を基線とした三角測量によって対象物の位置座標を算出する方法がよく用いられる。また、三次元空間中に配置される６点の位置関係が予めわかっている場合は、これらの点をカメラで撮影して得られた画像から、６点により形成される対象物の三次元空間での位置（以下、三次元位置）および角度（ロール角、ピッチ角およびヨー角：以下、三軸角度）を計算することが可能である。

特許文献１には、２点の座標から幾何的に一意に決定される座標集合上の画像のパターン分布を獲得し、それを距離について正規化した明度分布ベクトル獲得部と、予め認識対象の画像に対して明度分布ベクトル獲得部を適用して得られた複数の明度分布ベクトルから照合情報を作成する照合情報作成部と、入力した画像から明度分布ベクトル獲得部で得られた明度分布ベクトルと、照合情報作成部で作成した照合情報を用いて明度分布ベクトルの照合を行って対象物を認識する認識部を備えた物体認識装置が開示されている。

また、特許文献２には、物体に固有の、複数の特徴点より構成される物体識別情報コードと物体識別コードに対応する第１の幾何学的不変量を生成し、画像入力装置によって、複数の視点から、物体識別情報コードが付加された物体の複数の画像を取得し、複数の画像の中から、独立な複数の画像を発生し、独立な複数の画像のそれぞれに対して、物体識別情報コードを構成する特徴点位置を抽出し、抽出された特徴点位置から、第２の幾何学的不変量を計算し、計算された第２の幾何学的不変量に最も近い、第２の幾何学的不変量に対応する物体識別情報コードを検出する物体識別情報認識システムが開示されている。

また更に、特許文献３には、物体のＩＤコードを認識するための個体標識となるＩＤマーカを幾何学的不変量に基づいて生成するＩＤマーカ生成手段と、任意の視点から撮影して得られる前記ＩＤマーカが貼付された物体の画像を画像入力装置により取り込み、その画像に対して画像処理を行なって該ＩＤマーカの領域を抽出するＩＤマーカ領域抽出手段と、ＩＤマーカ領域の画像から複数の特徴点の位置を抽出する特徴点位置抽出手段と、複数の特徴点の位置から少なくとも１つの幾何学的不変量を算出する幾何学的不変量算出手段と、幾何学的不変量と対応付けられる物体のＩＤコードを、予め幾何学的不変量と物体ＩＤコードとを対応付けて格納しているデータベースから選出するＩＤコード認識手段と、を有する物体ＩＤコード認識装置が開示されている。

特開平１１−２８３０３１号公報 特開２００３−２２３６３９号公報 特開２００４−１９２３４２号公報

この種の対象物認識装置においては、簡単な構成で対象物の位置や角度を精度よく計測し、対象物を認識することが望まれる。
本発明の目的は、対象物の位置や角度を簡易かつ高精度に測定することができ、精度よく対象物を認識することができる対象物認識装置等を提供することにある。

かかる目的のもと、本発明の対象物認識装置は、対象物に配置された平面上の３つの点である第１基準点の互いの位置関係、当該平面から一定の距離にある１つの点である第２基準点の当該第１基準点との位置関係、および当該平面上に配置された第３基準点の当該第１基準点との位置関係を記憶する記憶部と、前記対象物の基準点を撮影する撮影部と、前記撮影部により撮影された前記基準点の画像の位置関係から、アフィン不変量を用いることで前記第１基準点の画像と前記第２基準点の画像と前記第３基準点の画像とを識別する識別部と、前記記憶部より前記第１基準点の互いの位置関係および前記第２基準点の当該第１基準点との位置関係を読み出し、当該位置関係と前記撮影部により撮影された前記基準点の画像の位置関係から、第３基準点の第１基準点との位置関係を演算する演算部と、前記記憶部に記憶された前記第３基準点の前記第１基準点との位置関係を読み出し、当該位置関係と前記演算部により演算された第３基準点の第１基準点との位置関係とを比較し、前記対象物を認識する認識部と、を備えることを特徴とする。

ここで、前記演算部は、前記記憶部より読み出された前記第１基準点の互いの位置関係および前記第２基準点の当該第１基準点の位置関係と、前記識別部により識別された前記第１基準点の画像および前記第２基準点の画像との位置関係から、前記対象物の三次元位置および三軸角度を特定し、特定された前記対象物の三次元位置、三軸角度および前記撮影部により撮影された第３基準点の画像から、当該第３基準点の当該第１基準点との位置関係を特定することが好ましい。

また、前記第２基準点は、前記第１基準点よりも当該第１基準点により形成される三角形の重心に近い位置に配置され、前記識別部は、撮影された基準点の画像から当該基準点の重心を算出し、当該重心から最も近い位置にある基準点の画像を前記第２基準点と特定することが好ましい。
更に、前記第３基準点は、前記第２基準点を除いた基準点の画像を頂点として形成される四角形の対角線の交点をはさんで当該第３基準点と対角にある第１基準点とを結ぶ対角線の長さを１としたときの当該対角にある第１基準点と当該交点を結ぶ線分の長さの比をｓとし、当該対角にある第１基準点と隣接し前記平面上で反時計回り方向にある第１基準点と当該対角にある第１基準点と隣接し当該平面上で時計回り方向にある第１基準点とを結ぶ対角線の長さを１としたときの当該反時計回り方向にある第１基準点と当該交点とを結ぶ線分の長さの比をｔとしたときに、下記（ａ）〜（ｃ）の少なくとも１つの関係を満たように配置され、前記識別部は、前記第２基準点を除いた基準点の画像を頂点として形成される四角形の対角線の交点と当該頂点とを結ぶ線分が前記関係を満たすことに基づき前記第３基準点の画像を特定することが好ましい。
（ａ）ｓ＞０．５かつｔ＞０．５
（ｂ）ｓ＞ｔかつｓ＞１−ｔ
（ｃ）ｓ＜ｔかつｓ＜１−ｔ

そして、本発明の認識対象物は、基準点が配置される認識対象物であって、平面上に配置された３つの点からなり当該３つの点の互いの位置関係が特定されている第１基準点と、前記第１基準点で特定される平面から一定の距離にある１つの点からなり当該第１基準点との位置関係がアフィン不変量を用いることで特定されている第２基準点と、前記第１基準点で特定される平面上に配置され当該第１基準点との位置関係がアフィン不変量を用いることで特定されている第３基準点と、を有することを特徴とする。

ここで、前記第２基準点の前記第１基準点との位置関係を特定するために用いるアフィン不変量は、当該第１基準点により形成される三角形の重心位置であることが好ましく、前記第３基準点の前記第１基準点との位置関係を特定するために用いるアフィン不変量は、当該第１基準点および当該第３基準点を頂点として形成される四角形の対角線の長さと当該対角線の交点と当該頂点とを結ぶ線分の長さとの比であることが好ましい。
また更に、前記第１基準点、前記第２基準点および前記第３基準点は、発光点により構成されることが好ましい。

そして、本発明のプログラムは、コンピュータに、撮影部により撮影された基準点の画像の位置関係から、アフィン不変量を用いることで第１基準点の画像と第２基準点の画像と第３基準点の画像とを識別する機能と、メモリから前記第１基準点の互いの位置関係および前記第２基準点の当該第１基準点との位置関係を読み出し、当該位置関係と前記撮影部により撮影された前記基準点の画像の位置関係から、第３基準点の当該第１基準点との位置関係を演算する機能と、メモリから前記第３基準点の前記第１基準点との位置関係を読み出し、当該位置関係と前記演算された第３基準点の第１基準点との位置関係とを比較し、対象物を認識する機能と、を実現させることを特徴とする。

請求項１に記載の発明によれば、簡単な構成で対象物の位置や角度を精度よく計測し、対象物を精度よく認識できる対象物認識装置が得ることができる。
請求項２に記載の発明によれば、本構成を採用しない場合に比較して、少ない基準点で対象物の位置や角度を精度よく演算することができる対象物認識装置を得ることができる。
請求項３に記載の発明によれば、本構成を採用しない場合に比較して、第２基準点を第１基準点との識別がより容易な位置に配置できるため、より高精度に対象物を認識できる対象物認識装置を得ることができる。
請求項４に記載の発明によれば、本構成を採用しない場合に比較して、第３基準点を第１基準点との識別がより容易な位置に配置できるため、より高精度に対象物を認識できる対象物認識装置を得ることができる。
請求項５に記載の発明によれば、本構成を採用しない場合に比較して、少ない基準点で構成が可能な認識対象物を得ることができる。
請求項６に記載の発明によれば、本構成を採用しない場合に比較して、第２基準点を第１基準点との識別がより容易な位置に配置できるため、対象物認識装置により高精度な認識が可能な認識対象物を得ることができる。
請求項７に記載の発明によれば、本構成を採用しない場合に比較して、第３基準点を第１基準点との識別がより容易な位置に配置できるため、対象物認識装置により高精度な認識が可能な認識対象物を得ることができる。
請求項８に記載の発明によれば、本構成を採用しない場合に比較して、より簡易に認識対象物を作成することができる。
請求項９に記載の発明によれば、対象物の位置や角度を精度よく計測し、対象物を精度よく認識できる機能をコンピュータにより実現できる。

以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
＜対象物認識装置および認識対象物の構成＞
図１は、本実施形態が適用される対象物認識装置および認識対象物を含む対象物認識システムの全体構成を示す図である。
図１に示す対象物認識システムは、撮影対象であるターゲット（対象物、認識対象物）１００と、ターゲット１００を認識する対象物認識装置２００から構成されている。そして、対象物認識装置２００は、ターゲット１００を撮影する撮影部の一例としてのカメラ２０と、カメラ２０により撮影された画像に基づいてターゲット１００の三次元位置および三軸角度等を計算する演算装置３０とを備える。

図２は、ターゲット１００の構成を示す図である（図２（Ａ））。
図２に示すように、ターゲット１００には、ターゲット１００の三次元位置および三軸角度を計算するために用いられる基準マーカ１１〜１４と、所定の情報を付加するために用いられる符号マーカ１５（第３基準点）とが設けられている。基準マーカ１１〜１４および符号マーカ１５は、互いの位置関係が予め定義されており、ＬＥＤ（Light Emitting Diode）で構成される。またターゲット１００は、このＬＥＤの発光を制御する発光制御装置１６を備える。

基準マーカ１１〜１４は、同一平面上にある３つの基準マーカ１１〜１３（第１基準点）と、この平面から一定の高さに位置する１つの基準マーカ１４（第２基準点）とからなる。以下、前者の３点と後者の１点を区別する必要がある場合、前者を第１基準マーカ１１〜１３（第１基準点）と呼び、後者を第２基準マーカ１４（第２基準点）と呼ぶ。第１基準マーカ１１〜１３は、ターゲット１００の表面に設けられる。第２基準マーカ１４は、第１基準マーカ１１〜１３により形成される三角形の重心付近に設けられた脚の先端に設けられる。

第１基準マーカ１１〜１３により形成される三角形の形状は、特に限定されないが、例えば正三角形としても良い。図２に示す例では、正三角形の一辺が５０ｍｍとなっている。また、底辺の中点から１４ｍｍの位置に設けられた長さ６ｍｍの脚の先端に第２基準マーカ１４が設けられている。

第２基準マーカ１４が設けられる脚の長さは任意であるが、ターゲット１００がカメラ２０の撮像面に対して傾いた場合でも、第２基準マーカ１４のマーカ画像（カメラ２０（図１参照）により撮影されたマーカの画像、以下、他のマーカについても同じ）が第１基準マーカ１１〜１３のマーカ画像により形成される三角形の重心に最も近い位置を保持できることが条件となる。したがって、実際の使用において、ターゲット１００がカメラ２０の撮像面に対してどの程度傾けることがあり得るかに応じて定めれば良い。

さらに、第２基準マーカ１４が設けられる脚の位置は、第１基準マーカ１１〜１３により形成される三角形の重心付近としたが、必ずしもこれに限定されない。実際には、ターゲット１００がカメラ２０の撮像面に対して傾いた場合でも、第２基準マーカ１４のマーカ画像が、基準マーカ１１〜１４のマーカ画像のうちで、第１基準マーカ１１〜１３のマーカ画像により形成される三角形の重心に最も近くなる位置であれば良い。厳密には、第２基準マーカ１４が設けられる脚の長さとの関係を考慮する必要があるが、脚の長さが十分に短ければ、ターゲット１００がカメラ２０の撮像面に対して傾いても第２基準マーカ１４のマーカ画像はそれほど大きくは動かない。したがって、現実的には、第２基準マーカ１４が第１基準マーカ１１〜１３により形成される三角形の重心に最も近い位置となるように配置されれば良いと考えられる。

符号マーカ１５は、第１基準マーカ１１〜１３と同一の平面上（ターゲット１００の表面）であって、第１基準マーカ１１〜１３により形成される三角形の外に設けられている。符号マーカ１５の位置は、第１基準マーカ１１〜１３との関係で特定され、いくつかの態様がある。その詳細については後述する。また、符号マーカ１５には、ターゲット１００であるデバイスの用途に応じて所定の情報が付加され任意の役割が与えられる。例えば、認識情報として用いることが考えられる。ターゲット１００をＩＤ（identification）を付与したカードとし、符号マーカ１５の位置によりＩＤを認識することができる。また、ターゲット１００であるデバイスのスイッチのオン・オフやマウスクリック等の意味を、符号マーカ１５の点滅で表現することが可能である。

なお、図１および図２には、ターゲット１００として第１基準マーカ１１〜１３、第２基準マーカ１４、および符号マーカ１５が設けられたカード状の対象物が記載されている。しかし、本実施形態は、カメラ２０により撮影された基準マーカ１１〜１４のマーカ画像に基づいてターゲット１００の三次元位置および三軸角度を計算するものであるから、基準マーカ１１〜１４および符号マーカ１５が上記の位置関係をなすのであれば良く、ターゲット１００自体の形状は何ら限定されない。また、第２基準マーカ１４は、第１基準マーカ１１〜１３が含まれる平面に対して一定の高さに配置されれば良いので、必ずしも図２（Ｂ）に示すような脚を設けて配置しなくても良い。例えば、ターゲット１００の表面が、第１基準マーカ１１〜１３が含まれる平面に対して凸状に隆起した形状を有するならば、ターゲット１００の表面に直接第２基準マーカ１４を配置しても良い。

図３は、カメラ２０の構成例を示す図である。
カメラ２０は、基準マーカ１１〜１４および符号マーカ１５から発射された光を収束する光学系２１と、光学系２１により収束された光を検出する撮像手段であるイメージセンサ２２とを備える。

光学系２１は、単一のレンズまたは複数のレンズを組み合わせて構成される。レンズの組み合わせおよびレンズ表面に施されたコーティング等により、各種の収差を適切に除去されている。

イメージセンサ２２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を配列して構成される。このイメージセンサ２２の表面がカメラ２０の撮像面となる。イメージセンサ２２の前面に、基準マーカ１１〜１４および符号マーカ１５に用いられるＬＥＤの発光波長に応じたフィルタを設置することにより、余計な光が排除され、基準マーカ１１〜１４および符号マーカ１５のみが撮影されることとなる。具体的には例えば、基準マーカ１１〜１４および符号マーカ１５に用いられるＬＥＤの発光波長を９００ｎｍとした場合、イメージセンサ２２の前面に８５０ｎｍよりも長い波長だけを透過するフィルタを設置する。

図４は、演算装置３０の構成を説明した図である。
演算装置３０は、図４に示したように、第１基準マーカ１１〜１３（図２参照）の互いの位置関係、第２基準マーカ１４（図２参照）の第１基準マーカ１１〜１３との位置関係、および符号マーカ１５（図２参照）の第１基準マーカ１１〜１３との位置関係を記憶する記憶部３１、撮影部により撮影された入力画像中を取り込み、第１基準マーカ１１〜１３、第２基準マーカ１４、および符号マーカ１５の画像の位置関係に基づき、アフィン不変量を用いることで第１基準マーカ１１〜１３、第２基準マーカ１４、符号マーカ１５の画像を識別する識別部３２、記憶部３１より第１基準マーカ１１〜１３の互いの位置関係および第２基準マーカ１４の第１基準マーカ１１〜１３との位置関係を読み出し、この位置関係と識別部３２により識別された第１基準マーカ１１〜１３の画像および第２基準マーカ１４の画像の位置関係とに基づき、ターゲット１００の三次元位置、三軸角度、および符号マーカ１５の第１基準マーカ１１〜１３との位置関係を演算する演算部３３と、記憶部３１に記憶された符号マーカ１５の第１基準マーカ１１〜１３との位置関係を読み出し、この位置関係と演算部３３により演算された符号マーカ１５の第１基準マーカ１１〜１３との位置関係に基づき、ターゲット１００を認識し、認識結果を出力する認識部３４とからなる。

また、図５は、演算装置３０の動作を説明したフローチャートである。
以下、図４と図５に基づき、演算装置３０の動作の概略を説明する。
演算装置３０は、例えばパーソナルコンピュータ等で実現される。識別部３２は、カメラ２０により撮影された入力画像を取得し（ステップ１０１）、入力画像中の各マーカの画像が、第１基準マーカ１１〜１３、第２基準マーカ１４、符号マーカ１５のうちどれに該当する画像かを後に詳述するアフィン不変量を用いてまず識別する（ステップ１０２）。
次に、演算部３３が、第１基準マーカ１１〜１３の互いの位置関係、および第２基準マーカ１４の第１基準マーカ１１〜１３との位置関係を記憶部３１から読み出す（ステップ１０３）。そして、演算部３３は、これらの位置関係と撮影された第１基準マーカ１１〜１３の画像と第２基準マーカ１４の画像との位置関係に基づき、ターゲット１００の三次元位置、三軸角度を求め（ステップ１０４）、ターゲット１００上の符号マーカ１５の三次元位置を計算し、第１基準マーカ１１〜１３との位置関係を求める（ステップ１０５）。
また、認識部３４は、記憶部３１から符号マーカ１５と第１基準マーカ１１〜１３との位置関係を記憶部３１から読み出し（ステップ１０６）、演算部３３で算出された符号マーカ１５の第１基準マーカ１１〜１３との位置関係に基づき、ターゲット１００を認識する（ステップ１０７）。

以下、識別部３２で行う画像におけるマーカの識別、演算部３３で行うターゲット１００の三次元位置、三軸角度の算出、および符号マーカ１５の第１基準マーカ１１〜１３との位置関係の算出の具体的な方法について詳述する。

＜画像におけるマーカの識別＞
まず、カメラ２０により撮影された画像から、基準マーカ１１〜１４の画像および符号マーカ１５の画像の各々のマーカ画像を識別する方法を説明する。
本実施形態では、特定の幾何学的特徴を満足するように基準マーカ１１〜１４および符号マーカ１５をターゲット１００に配置し、この幾何学的特徴に基づいて各マーカ画像が基準マーカ１１〜１４および符号マーカ１５のいずれに対応するかを判断する。ここで、幾何学的特徴としては、アフィン変換の前後で保存される量（アフィン不変量）が用いられる。カメラ２０により撮影される各マーカ画像により形成される形状は、基準マーカ１１〜１４および符号マーカ１５により形成される形状をアフィン変換したものに相当するためである。

図６は、基準マーカ１１〜１４および符号マーカ１５の第１の配置例を示す図である。
図６に示す例では、第１基準マーカ１１〜１３が正三角形（ａ１ａ２ａ３）を形成し、第２基準マーカ１４がこの正三角形の重心（ａ４）に配置されている。三角形の重心は、アフィン変換の前後で保存される量である。すなわち、ターゲット１００に配置された第１基準マーカ１１〜１３により構成される三角形の重心位置は、この三角形がアフィン変換により変換された場合、変換後の三角形の重心位置に対応する。また、第２基準マーカ１４は、第１基準マーカ１１〜１３が含まれる平面から一定の高さだけ高い位置（例えば図６における紙面の手前方向）に配置されている。ただし、図６は第１基準マーカ１１〜１３が含まれる平面に垂直な方向から見た図なので、第２基準マーカ１４の高さは図示されていない。

また、符号マーカ１５は、次の関係を満たすように配置される。
第１基準マーカ１１〜１３および符号マーカ１５で形成される四角形（ａ１ａ２ａ５ａ３）の対角線の交点をｐとし、線分の比ａ１ｐ／ａ１ａ５＝ｓ、ａ２ｐ／ａ２ａ３＝ｔを考える。このとき、ａ１ｐ＝ｓ、ａ２ｐ＝ｔ、ａ３ｐ＝１−ｔ、ａ５ｐ＝１−ｓとなる。そして、符号マーカ１５は、ｓ＞０．５かつｔ＞０．５を満たす位置に配置する。このとき線分の比の値であるｓ、ｔ、１−ｓ、１−ｔの値は、アフィン変換の前後で保存されるアフィン不変量である。
よって、カメラ２０により撮影された画像上のマーカ画像の位置関係においても保存される。したがって、この幾何学的特徴に基づいて各マーカ画像が基準マーカ１１〜１４および符号マーカ１５のいずれのものかを特定すれば良い。

次に、カメラ２０により撮影された画像から各マーカ画像を識別する際の処理手順を説明する。
カメラ２０により撮影された画像には、第１基準マーカ１１〜１３の画像と第２基準マーカ１４の画像、および符号マーカ１５の画像の５つのマーカ画像が撮影されている。
まず、これら５つのマーカ画像の重心点を求める。第２基準マーカ１４は、三角形（ａ１ａ２ａ３）の重心に最も近い位置にあるので、これら５つのマーカ画像の重心位置に対しても最も近い位置にあると言える。そこで、任意の４つのマーカ画像により形成される５つのマーカ画像の重心位置を計算して、これと他の１つのマーカ画像の位置を比較する。そして、計算された重心位置とマーカ画像の位置との距離が最も短いものを選択し、選択されたマーカ画像を第２基準マーカ１４のマーカ画像と特定する。

次に、第２基準マーカ１４を除いた４つのマーカ画像より形成される四角形とその対角線を考える。カメラ２０の光学中心をＯとしたときにＯと対角線の交点ｐとを結ぶベクトルをＯｐ、Ｏと第１基準マーカ１１〜１３とを結ぶ各ベクトルをＯａ１〜Ｏａ３、Ｏと符号マーカ１５を結ぶベクトルをＯａ５とする。また、第１基準マーカ１１〜１３と符号マーカ１５をある平面上に投影した点（例えば、カメラ２０のイメージセンサ２２上（図３参照）のマーカ画像）の座標を（ａ１ｘ，ａ１ｙ）、（ａ２ｘ，ａ２ｙ）、（ａ３ｘ，ａ３ｙ）、（ａ５ｘ，ａ５ｙ）とすると、以下の関係が成り立つ。

この式より、以下の式が導かれる。

更に式を変形すると、

よって、

結局、ｔとｓは次式で表すことができる。

以上の関係とｓ＞０．５、ｔ＞０．５の関係より、第２基準マーカ１４に対応するマーカ画像を除いた４つのマーカ画像の対角線の交点と各マーカ画像を結ぶ４つの線分について、前述の比の値が大きい方２つを求めれば、これがｓとｔの比を持つ線分に対応する。そして、対角線の交点を中心にして反時計回りにこの２本の線分の次の線分を探索する。その線分の対角線の交点とは反対側にあるマーカ画像が、符号マーカ１５が撮影されたマーカ画像であると特定できる。

なお、第２基準マーカ１４は上述のように、第１基準マーカ１１〜１３により形成される三角形（ａ１ａ２ａ３）の重心ではなく、重心から一定の高さの位置にある。そのため、厳密には、第１基準マーカ１１〜１３に対する第２基準マーカ１４の位置の幾何学的特徴は、対応するマーカ画像の位置において保存されない。しかし、第１基準マーカ１１〜１３を含む平面と第２基準マーカ１４との間の距離が十分に短ければ、ターゲット１００の三軸角度が変化しても、第２基準マーカ１４の位置は三角形（ａ１ａ２ａ３）の重心からそれほど大きくは離れない。したがって、三角形（ａ１ａ２ａ３）の重心に最も近い位置にあるマーカ画像を第２基準マーカ１４のマーカ画像として良い。

図７は、基準マーカ１１〜１４および符号マーカ１５の第２の配置例を示す図である。
第１基準マーカ１１〜１３および符号マーカ１５で形成される四角形の対角線の交点をｐとし、ａ１ｐ／ａ１ａ５＝ｓ、ａ２ｐ／ａ２ａ３＝ｔとしたとき、ａ１ｐ＝ｓ、ａ２ｐ＝ｔ、ａ３ｐ＝１−ｔ、ａ５ｐ＝１−ｓとする点は、図６に示した第１の配置例と同様である。しかし、図７に示した配置例では、符号マーカ１５をｓ＞ｔかつｓ＞１−ｔを満たす位置に配置している。
この場合も上述の方法によりｓとｔの比を持つ線分を特定することができるので、同様にどのマーカ画像が符号マーカ１５に対応するものであるかを特定できる。しかし、ｓとｔの比を持つ線分を特定するのに下記の方法を使用することもできる。

まず、第１基準マーカ１１から第１基準マーカ１２と第１基準マーカ１３を結ぶ線に垂線をおろし、その長さをｄｓ１とする。また同様に符号マーカ１５から第１基準マーカ１２と第１基準マーカ１３を結ぶ線に垂線をおろし、その長さをｄｓ２とする。そして、第１基準マーカ１２から第１基準マーカ１１と符号マーカ１５を結ぶ線に垂線をおろし、その長さをｄｔ１とし、第１基準マーカ１３から第１基準マーカ１１と符号マーカ１５を結ぶ線に垂線をおろし、その長さをｄｔ２とする。

このとき、

であるので、この式より次の式が導かれる。

また、ｄｓ１とｄｓ２はベクトルの外積を使い次のようにも表わすことができる。

なお数８において、ａ２ａ３は点ａ２から点ａ３へのベクトルを表し、同様に、ａ２ａ１は点ａ２から点ａ１へのベクトルを、ａ２ａは点ａ２から点ａへのベクトルを表す。

同様にして、ｔ、ｄｔ１、ｄｔ２の関係は、

となる。

これらの関係からｄｓ１、ｄｓ２、ｄｔ１、ｄｔ２を求め、それからｓとｔの比を持つ線分を特定することができる。

図８は、基準マーカ１１〜１４および符号マーカ１５の第３の配置例を示す図である。
第３の配置例では、符号マーカ１５は、ｓとｔの定義は、上述の場合と同様であるが、ｔ＞ｓかつｔ＞１−ｓを満たす位置に配置している。
この場合も上述の方法によりｓとｔの比を持つ線分を特定することができるので、同様にどのマーカ画像が符号マーカ１５に対応するものであるかを特定できる。

以上、基準マーカ１１〜１４および符号マーカ１５の配置例を説明したが、ターゲット１００に設けられるこれらのマーカの配置は、上記の例に限定されるものではない。アフィン変換の前後で保存される幾何学的特徴等を用いて、カメラ２０により撮影された画像における個々のマーカ画像が基準マーカ１１〜１４および符号マーカ１５のいずれに対応するかを一意に決定できる配置であれば良い。

ところで、上述のように第２基準マーカ１４は、上述したように第１基準マーカ１１〜１３が含まれる平面から一定の高さに位置する。その高さは、ターゲット１００がカメラ２０の撮像面に対して傾いた場合でも、第２基準マーカ１４のマーカ画像が第１基準マーカ１１〜１３のマーカ画像により形成される三角形の重心に最も近い位置を保持できる範囲で任意に決めて良い。ただし、カメラ２０から見て第１基準マーカ１１〜１３が含まれる平面よりも手前に第２基準マーカ１４が来るように配置される必要があり、同平面の奥に第２基準マーカ１４が位置してはならない。後者の場合、カメラ２０の撮像面に対するターゲット１００の傾きが異なるにも関わらず、画像上は同じ位置に第２基準マーカ１４のマーカ画像が位置してしまう場合があるためである。

図９は、ターゲット１００上に符号マーカ１５を配置可能な領域を示した第１の例である。
図９に示したターゲット１００は、横７０ｍｍ、縦５５ｍｍのカード状であり、説明の便宜上、ターゲット１００上のｘ方向位置とｙ方向位置を示す目盛りを付加している。ここで、第１基準マーカ１１は、（ｘ，ｙ）＝（０，０）の位置に配置し、この位置を基準として、第１基準マーカ１２を、（５０，０）の位置に、第１基準マーカ１３を、（２５，４３．３）の位置に設置しており、第１基準マーカ１１〜１３により一辺５０ｍｍの正三角形が形成される。また第２基準マーカ１４は、第１基準マーカ１１〜１３により形成される正三角形の重心位置の位置から高さ６ｍｍの位置に配置される。
ここで、符号マーカ１５は、図７に示した条件、即ち、ｓ＞ｔかつｓ＞１−ｔを満たす条件で配置されるが、ここでは、誤動作の防止のため余裕をとり、ｓ＞ｔ＋０．０５かつｓ＞（１−ｔ）＋０．０５であって、各基準マーカから３０ｍｍ以上離れた位置となる条件で、符号マーカ１５を配置することにし、図９において符号マーカ１５を配置できる領域を図示した。図９における領域Ａがその領域である。この領域Ａで識別可能なピッチを１ｍｍとすると、１２７通りの位置で、符号マーカ１５が配置できる。

また、図１０は、ターゲット１００上に符号マーカ１５を配置可能な領域を示した第２の例である。
ターゲット１００の大きさ、第１基準マーカ１１〜１３、第２基準マーカ１４の位置は、図９の場合と同様である。
ここで、符号マーカ１５は、図８に示した条件、即ち、ｔ＞ｓかつｔ＞１−ｓを満たす条件で配置されるが、ここでも誤動作の防止のため余裕をとり、ｔ＞ｓ＋０．０２、ｔ＞１−ｓであって、各基準マーカから３０ｍｍ以上離れた位置となる条件で、符号マーカ１５を配置することにし、図１０に符号マーカ１５を配置できる領域を図示した。図１０における領域Ｂがその領域である。この領域Ｂで識別可能なピッチを１ｍｍとすると、２４６通りの位置で、符号マーカ１５が配置できる。

また、図１１は、ターゲット１００上に符号マーカ１５を配置可能な領域を示した第３の例である。
ターゲット１００の大きさ、第１基準マーカ１１〜１３、第２基準マーカ１４の位置は、図９の場合と同様である。
ここで、符号マーカ１５は、図８に示した条件、即ち、ｔ＞ｓかつｔ＞１−ｓを満たす条件で配置されるが、ここでも誤動作の防止のため余裕をとり、ｔ＞ｓ＋０．０５、ｔ＞１−ｓであって、各基準マーカから３０ｍｍ以上離れた位置となる条件で、符号マーカ１５を配置できる領域を図示した。図１１における領域Ｃがその領域である。この領域Ｃで識別可能なピッチを１ｍｍとすると、２１４通りの位置で、符号マーカ１５が配置できる。

＜ターゲット１００の三次元位置および三軸角度の計算＞
次に、上記の方法により抽出された基準マーカ１１〜１４の位置に基づいてターゲット１００の三次元位置および三軸角度を計算する方法について説明する。

図１２は、ターゲット１００の三次元位置および三軸角度を計算する方法を説明する図である。
まず、図１２に示すように、カメラ２０により撮影された画像上（イメージセンサ２２上）の第１基準マーカ１１〜１３のマーカ画像に基づいて、カメラ２０の光学中心Ｏから第１基準マーカ１１〜１３の各々への方向ｄｉ（ｉ＝１、２、３）を算出する。ｄｉは、カメラ２０の撮像面における第１基準マーカ１１〜１３のマーカ画像と光学中心Ｏとを結ぶ直線上にあり、光学中心Ｏを始点とする規格化された単位ベクトルである。また、第１基準マーカ１１への方向をベクトルｄ１（＝［ｘ１，ｙ１，ｚ１］）、第１基準マーカ１２への方向をベクトルｄ２（＝［ｘ２，ｙ２，ｚ２］）、第１基準マーカ１３への方向をベクトルｄ３（＝［ｘ３，ｙ３，ｚ３］）とする。

カメラ２０の光学中心Ｏを基準として、第１基準マーカ１１の位置ベクトルをａ１、第１基準マーカ１２の位置ベクトルをａ２、第１基準マーカ１３の位置ベクトルをａ３とする。これらの位置ベクトルａｉは、それぞれ上記のベクトルｄｉと重なる。そこで、各位置ベクトルａｉの長さを表す係数をｔ１、ｔ２、ｔ３とすると、各位置ベクトルａｉは次式で表せる。

第１基準マーカ１１〜１３が形成する三角形の形状は予めわかっているので、三角形の各辺の長さ（各第１基準マーカ１１〜１３間の長さ）を、ａ１ａ２＝Ｌ１、ａ２ａ３＝Ｌ２、ａ３ａ１＝Ｌ３とすると、次式が得られる。

これを整理すると、次式が得られ、

さらに次式が得られる。

ただし、
Ａ１＝ｘ１ｘ２＋ｙ１ｙ２＋ｚ１ｚ２、
Ａ２＝ｘ２ｘ３＋ｙ２ｙ３＋ｚ２ｚ３、
Ａ３＝ｘ３ｘ１＋ｙ３ｙ１＋ｚ３ｚ１
である。

実数解を持つために、次式の条件を満たす実数ｔ１、ｔ２、ｔ３をそれぞれ上記の数１３式に代入し、数１３式が成立する全てのｔ１、ｔ２、ｔ３を求める。

通常、数１３式が成立するｔ１、ｔ２、ｔ３の組は複数存在する。そこで、第２基準マーカ１４の位置に基づいて、複数のｔ１、ｔ２、ｔ３の組（候補）の中から特定の係数ｔ１、ｔ２、ｔ３の組を選択する。
具体的には、まず、算出した全ての係数ｔ１、ｔ２、ｔ３の組に対応する位置ベクトルａ１、ａ２、ａ３の組をそれぞれ算出し、ａ１、ａ２、ａ３の組で構成される三角形の三次元位置と三軸角度を求める。そして、各三角形の三次元位置および三軸角度に基づき、各三角形に対する第２基準マーカ１４の位置を計算し、位置ベクトルａ４とする。次に、位置ベクトルａ４の点をカメラ２０で撮影した場合の画像上の位置（画像位置）を計算し、計算値と実際に撮影された第２基準マーカ１４の画像位置とを比較する。そして、実際の画像位置との差が最も小さい位置ベクトルａ４に対応する三角形を抽出し、この三角形に対応するｔ１、ｔ２、ｔ３の組を正解とする。

以上のようにして、第１基準マーカ１１〜１３の方向ｄ１、ｄ２、ｄ３および距離ｔ１、ｔ２、ｔ３が特定されたため、第１基準マーカ１１〜１３で形成される三角形（およびこれを含むターゲット１００）の三次元位置および三軸角度が求まることとなる。
なお、基準マーカ１１〜１４を用いたターゲット１００の三次元位置および三軸角度の計算方法は、上記の手順に限定されるものではない。例えば、上記の手順では複数のｔ１、ｔ２、ｔ３の組を求めた後に第２基準マーカ１４の画像位置に基づいて１つの解を抽出したが、初めから第１基準マーカ１１〜１３の各々の画像位置と第２基準マーカ１４の画像位置との関係を考慮して各基準マーカ１１〜１４までの距離ｔ１、ｔ２、ｔ３、ｔ４を求めるようにしても良い。

＜符号マーカ１５の３次元位置、および第１基準マーカ１１〜１３との位置関係の計算＞
符号マーカ１５の３次元位置の特定は、カメラ２０により撮影された画像上（イメージセンサ２２上）の符号マーカ１５のマーカ画像に基づいて、カメラ２０の光学中心Ｏから符号マーカ１５への方向ベクトルを決定し、この方向ベクトルと第１基準マーカ１１〜１３により形成される平面との交点を算出する。その交点から符号マーカ１５の３次元位置が導出できる。そして、この符号マーカ１５の３次元位置から、ターゲット１００上における第１基準マーカ１１〜１３との位置関係を求めることができる。

本実施形態において、ターゲット１００については、上述したように基準マーカ１１〜１４および符号マーカ１５が配置されていれば良く、ターゲット１００自体の形状等は特に限定されない。例えば、図７に示したように基準マーカ１１〜１４および符号マーカ１５を細長い領域に配置するようにすれば、ターゲット１００自体も細長い指示具等とすることができる。この場合、基準マーカ１１〜１４に基づいて特定されるターゲットの三次元位置および三軸角度によって指示具の指示方向を特定することが可能となる。

また、本実施形態では、基準マーカ１１〜１４および符号マーカ１５をＬＥＤにより構成される発光点としたが、これに限定するものではない。例えば、基準マーカ１１〜１４および符号マーカ１５としてＬＥＤの代わりに再帰反射板を設け、カメラ２０の近くに設けられた照明装置から光を照射し、再帰反射板による反射光をカメラ２０により撮影するようにしても良い。

以上詳述したように、本実施形態では、符号マーカ１５の位置をアフィン不変量により直接求めるのではなく、第１基準マーカ１１〜１３、第２基準マーカ１４、符号マーカ１５の画像を識別する処理に用い、符号マーカ１５の位置を求めるのは他の方法を使用することを１つの特徴とする。これにより、符号マーカ１５の位置をアフィン不変量により直接求める場合は求められた位置の精度は低いが、本実施形態では、高い精度で符号マーカ１５の位置を求めることができる。また、ターゲット１００上に配置可能な符号マーカ１５の数も多くとることができる。そして、射影不変量等の他の不変量を用いる場合に対し、簡易な計算手段を採用することができる。また射影不変量を用いる場合は、位置が特定される基準点が少なくとも５点必要になるので、本実施形態のターゲット１００の方がより簡便な構成をとることができる。

本実施形態が適用される対象物認識装置および認識対象物の全体構成を示す図である。 本実施形態におけるターゲットの構成を示す図である。 カメラの構成例を示す図である。 演算装置の構成を説明した図である。 演算装置の動作を説明したフローチャートである。 本実施形態における基準マーカおよび符号マーカの第１の配置例を示す図である。 本実施形態による基準マーカおよび符号マーカの第２の配置例を示す図である。 本実施形態による基準マーカおよび符号マーカの第３の配置例を示す図である。 ターゲット上に符号マーカを配置可能な領域を示した第１の例である。 ターゲット上に符号マーカを配置可能な領域を示した第２の例である。 ターゲット上に符号マーカを配置可能な領域を示した第３の例である。 ターゲットの三次元位置および三軸角度を計算する方法を説明する図である。

符号の説明

１１〜１３…第１基準マーカ、１４…第２基準マーカ、１５…符号マーカ、２０…カメラ、２１…光学系、２２…イメージセンサ、３０…演算装置、３１…記憶部、３２…識別部、３３…演算部、３４…認識部、１００…ターゲット、２００…対象物認識装置

Claims (7)

1. 対象物に配置された平面上の３つの点である第１基準点の互いの位置関係、当該平面から一定の距離にある１つの点である第２基準点の当該第１基準点との位置関係、および当該平面上に配置された第３基準点の当該第１基準点との位置関係を記憶する記憶部と、
   前記対象物の基準点を撮影する撮影部と、
   前記撮影部により撮影された前記基準点の画像の位置関係から、アフィン不変量を用いることで前記第１基準点の画像と前記第２基準点の画像と前記第３基準点の画像とを識別する識別部と、
   前記記憶部より前記第１基準点の互いの位置関係および前記第２基準点の当該第１基準点との位置関係を読み出し、当該位置関係と前記撮影部により撮影された前記基準点の画像の位置関係から、第３基準点の第１基準点との位置関係を演算する演算部と、
   前記記憶部に記憶された前記第３基準点の前記第１基準点との位置関係を読み出し、当該位置関係と前記演算部により演算された第３基準点の第１基準点との位置関係とを比較し、前記対象物を認識する認識部と、
   を備えることを特徴とする対象物認識装置。
2. 前記演算部は、前記記憶部より読み出された前記第１基準点の互いの位置関係および前記第２基準点の当該第１基準点の位置関係と、前記識別部により識別された前記第１基準点の画像および前記第２基準点の画像との位置関係から、前記対象物の三次元位置および三軸角度を特定し、特定された前記対象物の三次元位置、三軸角度および前記撮影部により撮影された第３基準点の画像から、当該第３基準点の当該第１基準点との位置関係を特定することを特徴とする請求項１に記載の対象物認識装置。
3. 前記第２基準点は、前記第１基準点よりも当該第１基準点により形成される三角形の重心に近い位置に配置され、
   前記識別部は、撮影された前記第１基準点、前記第２基準点および前記第３基準点の画像から当該第１基準点、当該第２基準点および当該第３基準点の重心を算出し、当該第１基準点、当該第２基準点および当該第３基準点の重心から最も近い位置にある基準点の画像を当該第２基準点と特定することを特徴とする請求項１に記載の対象物認識装置。
4. 前記第３基準点は、前記第２基準点を除いた基準点の画像を頂点として形成される四角形の対角線の交点をはさんで当該第３基準点と対角にある第１基準点とを結ぶ対角線の長さを１としたときの当該対角にある第１基準点と当該交点を結ぶ線分の長さの比をｓとし、当該対角にある第１基準点と隣接し前記平面上で反時計回り方向にある第１基準点と当該対角にある第１基準点と隣接し当該平面上で時計回り方向にある第１基準点とを結ぶ対角線の長さを１としたときの当該反時計回り方向にある第１基準点と当該交点とを結ぶ線分の長さの比をｔとしたときに、下記（ａ）〜（ｃ）の少なくとも１つの関係を満たすように配置され、
   前記識別部は、前記第２基準点を除いた基準点の画像を頂点として形成される四角形の対角線の交点と当該頂点とを結ぶ線分が前記関係を満たすことに基づき前記第３基準点の画像を特定することを特徴とする請求項１に記載の対象物認識装置。
   （ａ）ｓ＞０．５かつｔ＞０．５
   （ｂ）ｓ＞ｔかつｓ＞１−ｔ
   （ｃ）ｓ＜ｔかつｓ＜１−ｔ
5. 基準点が配置される認識対象物であって、
   平面上に配置された３つの点からなり当該３つの点の互いの位置関係が特定されている第１基準点と、
   前記第１基準点で特定される平面から一定の距離にある１つの点からなり当該第１基準点との位置関係がアフィン不変量を用いることで特定されている第２基準点と、
   前記第１基準点で特定される平面上に配置され当該第１基準点との位置関係がアフィン不変量を用いることで特定されている第３基準点と、
   を有し、
   前記第２基準点の前記第１基準点との位置関係を特定するために用いるアフィン不変量は、当該第１基準点により形成される三角形の重心位置であり、当該第２基準点は、当該第１基準点よりも当該第１基準点により形成される三角形の重心に近い位置に配置され、
   前記第３基準点の当該第１基準点との位置関係を特定するために用いるアフィン不変量は、当該第１基準点および当該第３基準点を頂点として形成される四角形の対角線の長さと当該対角線の交点と当該頂点とを結ぶ線分の長さとの比である
   ことを特徴とする認識対象物。
6. 前記第１基準点、前記第２基準点および前記第３基準点は、発光点により構成されることを特徴とする請求項５に記載の認識対象物。
7. コンピュータに、
   撮影部により撮影された基準点の画像の位置関係から、アフィン不変量を用いることで第１基準点の画像と第２基準点の画像と第３基準点の画像とを識別する機能と、
   メモリから前記第１基準点の互いの位置関係および前記第２基準点の当該第１基準点との位置関係を読み出し、当該位置関係と前記撮影部により撮影された前記基準点の画像の位置関係から、第３基準点の当該第１基準点との位置関係を演算する機能と、
   メモリから前記第３基準点の前記第１基準点との位置関係を読み出し、当該位置関係と前記演算された第３基準点の第１基準点との位置関係とを比較し、対象物を認識する機能と、
   を実現させるプログラム。

Images