JP5794427B2 - マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム - Google Patents

Description

本発明は、マーカを生成するマーカ生成装置、マーカ生成機能を備えたマーカ生成検出システム、マーカ生成検出装置、そのマーカ、そのマーカを生成するマーカ生成方法、及び、マーカ生成プログラムに関する。

ある空間中に所望の物体があるか否かを識別するための技術として、対象となる物体に予め所定形状のマーカを付しておき、その空間の背景映像におけるマーカの有無に応じて対象物体の存否を判別するマーカ検出方法が一般に知られている。

例えば、特許文献１には、マーカを含まない背景映像から特徴点を抽出し、その抽出した特徴点にもとづいて導き出される、背景映像には現れていない画像特徴からなるマーカを生成する技術が開示されてある。

具体的には、準備段階で、このような方法で生成されたマーカと同一のパターンを対象物体に付しておき、検出段階で、所定の空間映像からこのパターンが検出された場合には対象物体はその空間に存在すると判別することができる。

ところが、検出段階において、その空間を撮像するカメラの方向その他環境の変化に伴い、物体に付したマーカのパターンが変化することがある。

このため、物体に付したマーカのパターンと、検出すべきマーカのパターンとが一致せずに、マーカが適切に検出できない問題が発生していた。

そこで、特許文献２には、準備段階において、物体固有の物体識別情報コード（前記マーカに対応）と対応する第一の幾何学的不変量とを物体ごとに記憶させておき、検出段階では、複数の視点から物体識別情報コードが付された物体の画像を取得し、それらの画像の中から発生させた独立な複数の画像から特徴点位置を抽出して第二の幾何学的不変量を求め、この第二の幾何学的不変量に最も近い第一の幾何学的不変量を検出することで、対応する物体を検出する技術が開示されている。

つまり、このような技術によれば、複数の視点によらない不変量にもとづいて物体識別情報の対比を行うことで、ある方向から取得した物体識別情報と他の方向から取得した物体識別情報との同一性を識別することが可能である。

このため、映像を斜めから取得したとしても対象物体を正確に検出できるため、上述の問題は解消することができる。

国際公開第２００８／０９０９０８号パンフレット 特開２００３−２２３６３９号公報

しかしながら、上述したいずれの技術においても、マーカに発生しうる様々な姿勢変化には対応していない。例えば、対象物体の形状やその環境によって、マーカそのものが平行移動し、回転し、拡大・縮小し、又は、回転する場合がある。

また、映像入力を行うカメラ等の撮像素子（特に、動画の順次読み出しを行うＣＭＯＳ素子等）によってはせん断変形等の光学歪みが発生することがある。

さらに、撮像対象とカメラ等との相対的な位置関係よっても、上述したすべての姿勢変化が生ずることがある。

したがって、このような種々の姿勢変化が発生した場合、上述した関連技術では、正確にマーカを検出することはできず、結果として、物体検出の安定性や信頼性を欠くことが問題となっていた。

本発明の目的は、上記の事情にかんがみなされたものであり、様々な姿勢変化を生じうるマーカの検出漏れを包括的に防ぐとともに、姿勢変化の種類に適したマーカを生成することによって、マーカ生成・検出時の負荷を抑えつつ正確な物体検出を実現するマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムの提供を目的とする。

本発明は、背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、前記特異特徴を用いてマーカを生成するマーカ生成手段とを有するマーカ生成装置である。

本発明は、マーカ生成装置とマーカ検出装置とを有し、前記マーカ生成装置は、背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、前記特異特徴を用いてマーカを生成するマーカ生成手段とを有し、前記マーカ検出装置は、生成された前記マーカを記憶するマーカ記憶手段と、前記マーカを検出するための背景画像から抽出した特徴点を前記不変量特徴空間に表した不変量特徴群の配置の中に前記マーカの特異特徴の配置があるか否かを判断する照合手段とを有するマーカ生成検出システムである。

本発明は、背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、前記特異特徴を用いてマーカを生成するマーカ生成手段と、生成された前記マーカを記憶するマーカ記憶手段と、前記マーカを検出するための背景画像から抽出した特徴点を前記不変量特徴空間に表した不変量特徴群の配置の中に前記マーカの特異特徴の配置があるか否かを判断する照合手段とを有するマーカ生成検出装置である。

本発明は、背景画像の特徴点を、この画像から計測される姿勢変化に応じた所定の変換処理によって不変量特徴空間に表し、この不変量特徴空間において前記特徴点が表れていない部分を用いて生成されたマーカである。

本発明は、背景画像にもとづきこの画像中の物体の姿勢変化を計測する工程と、前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す工程と、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する工程と、前記特異特徴を用いてマーカを生成する工程とを有するマーカ生成方法である。

本発明は、情報処理装置を、背景画像にもとづきこの画像中の物体の姿勢変化を計測する手段、前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す手段、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する手段、及び、前記特異特徴を用いてマーカを生成する手段として機能させるマーカ生成プログラムである。

本発明のマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムによれば、マーカ生成・検出時の負荷を抑えながら、正確な物体検出を可能とする。

図１は本発明の第一実施形態におけるマーカ生成装置の構成を示すブロック図である。 図２は本発明の一実施形態におけるマーカ生成装置の詳細な構成を示すブロック図である。 図３は複数のフレーム画像で構成される背景映像を示す図である。 図４は複数の特徴点が配置された特徴空間を示す図である。 図５は特徴空間に配置された特徴点に番号が付された様子を示す図である。 図６は特徴点情報テーブルの構成を示す図表である。 図７は特徴点５番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 図８は特徴点１５番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 図９は基底数が１の場合に特徴点のすべてを不変量特徴空間に写像した様子を示す図である。 図１０は特徴点６番を第一基底、特徴点２番を第二基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 図１１は特徴点３３番を第一基底、特徴点３４番を第二基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 図１２は特徴点５番を第一基底、特徴点４番を第二基底、特徴点１４番を第三基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 図１３は特徴点４７番を第一基底、特徴点４９番を第二基底、特徴点７番を第三基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 図１４は不変量特徴空間に区画線を付したところを示す図である。 図１５は不変特徴数が１以上ある区画を塗り潰した不変量特徴空間を示す図である。 図１６は不変量特徴空間に写像におけるマーカパターン生成範囲を示す図である。 図１７はマーカ生成範囲における区画ごとの特徴点の数を示す図である。 図１８は特異特徴配置図の構成を示す図である。 図１９は特異特徴配置図の他の構成を示す図である。 図２０はマーカの生成例を示す図である。 図２１は基底数設定テーブルを示す図である。 図２２は本発明の第一実施形態におけるマーカ生成装置の動作手順（マーカ生成方法）を示すフローチャートである。 図２３は本発明の第二実施形態におけるマーカ生成装置の構成を示すブロック図である。 図２４は本発明の第二実施形態におけるマーカ生成装置の詳細な構成を示すブロック図である。 図２５はフレーム画像に含まれる特徴点にもとづいて自由度を検出する方法を説明するための説明図である。 図２６はアフィン変換に関する説明を行うための図である。 図２７は本発明の第二実施形態におけるマーカ生成装置の動作手順（マーカ生成方法）を示すフローチャートである。 図２８は本発明の第三実施形態におけるマーカ生成装置の詳細な構成を示すブロック図である。 図２９は本発明の第三実施形態におけるマーカ生成装置の動作手順（マーカ生成方法）を示すフローチャートである。 図３０はマーカ検出装置の構成を示すブロック図である。 図３１はマーカ検出装置の詳細な構成を示すブロック図である。 図３２は検出対象の例を示す図である。 図３３は検出対象映像から抽出された特徴点の例を示す図である。 図３４は不変特徴によって行われるマーカ検出を説明するための説明図である。 図３５はマーカ検出方法の手順を示すフローチャートである。 図３６はマーカ生成検出装置の構成を示すブロックである。 図３７はマーカ生成検出装置の詳細な構成を示すブロック図である。 図３８はマーカ生成検出システムの構成を示すブロック図である。

以下、本発明に係るマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムの好ましい実施形態について、図面を参照して説明する。

［マーカ生成装置及びマーカ生成方法の第一実施形態］
まず、本発明のマーカ生成装置及びマーカ生成方法の第一実施形態について、図１を参照して説明する。同図は、本実施形態のマーカ生成装置の構成を示すブロック図である。

図１に示すように、マーカ生成装置１ａは、映像入力手段１０と、特徴抽出手段２０と、不変特徴変換手段３０と、特異特徴選択手段４０と、マーカ生成手段５０と、自由度計測手段６０ａ（計測手段）とを備えている。

映像入力手段１０は、図２に示すように、映像入力部１１と映像記憶部１２とを有している。

映像入力部１１は、本実施形態において生成されるマーカを実際に使用する場所の背景画像を入力する。例えば、マーカが付された物体を搬送するベルトコンベアがある場合に、その物体を搬送していない状態のベルトコンベア及びその周辺を撮影した映像などが該当する。

この背景画像は、動画像（映像）であってもよく、また、所定の時間間隔で撮影した複数枚の静止画像であってもよい。さらに、背景画像には、ライブ映像、録画映像、配信映像などを含むことができる。

また、映像入力部１１は、自身が撮像デバイスを有することができる。この場合、映像入力部１１は、当該マーカ生成装置１ａが設置された場所の周囲の様子を背景画像として取り込むことができる。

さらに、映像入力部１１は、当該マーカ生成装置１ａ以外の装置で取り込まれた背景画像を、通信ネットワークや通信ケーブル等を介して入力することもできる。

この映像入力部１１によって入力された背景画像の例を、図３（i-11）〜（i-15）に示す。

映像記憶部１２は、背景画像をディジタイズされたフレーム画像として記憶する。ディジタイズしたフレーム画像とは、例えば、図３（i-11）〜（i-15）に示す背景の映像を構成する静止画フレーム一枚一枚をいう。

また、映像記憶部１２は、複数のフレーム画像のそれぞれに付された番号（例えば、シリアル番号）を記憶する。この番号は、一枚のフレーム画像を一意に特定する。図３においては、（i-11）、（i-12）、（i-13）、・・・が該当する。

さらに、映像記憶部１２は、フレーム画像が撮影された時刻を特定する情報を記憶することもできる。

特徴抽出手段２０は、図２に示すように、特徴抽出部２１と、特徴記憶部２２とを有している。

特徴抽出部２１は、映像記憶部１２から背景画像、すなわち、フレーム画像を取り出す。そして、特徴抽出部２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。

画像特徴としては、例えば、図形的に特徴的な特性を数値化したものを用いることができる。これには、例えば、１９９８年ＩＥＥＥコンピュータビジョン・パターン認識会議予稿集に掲載されている方法を使用することができる。この方法は、画像中の物体形状の頂点、線状の物体の交差点、端点などを抽出することができる。そして、それらの点の画像上での位置座標情報の系列を図形的特徴とすることができる。例えば、図３（i-11）のフレーム画像に対して、この方法で特徴点を抽出すると、図４に示すように、特徴点が複数配置される。特徴点の一つ一つは、座標により管理することができる。

なお、特徴点が配置された空間を特徴空間という。

また、他の方法として、例えば、Montanariによる１９７１年Communications of ACM、１４巻に掲載されている「On the option detection ｏｆ curves in noisy pictures」に記載の方法がある。これは、基準点からの距離、相対確度を記憶するＲテーブルの内容を特徴として使用することができる。この際、基準点をすべての特徴位置に対して設定し、網羅的に特徴を抽出しておくことで、部分的な特徴の欠損に対してマーカの検出が頑健となる。

さらに、他の特徴抽出方法としては、例えば、画像上の各画素の輝度値、あるいは色差値を特徴とする方法がある。

次いで、特徴抽出部２１は、図５に示すように、特徴点のそれぞれにシリアル番号を付与する。このシリアル番号は、例えば、最も上に位置するものから順番に１，２，３，４，・・・のように付与することができる。

続いて、特徴抽出部２１は、特徴点のそれぞれの座標を求める。座標は、図５に示すように、特徴空間にＸ軸とＹ軸を設定し、Ｙ軸からの距離をＸ座標、Ｘ軸からの距離をＹ座標とすることができる。

そして、特徴抽出部２１は、それら特徴点のシリアル番号や座標を特徴記憶部２２に記憶させる。

特徴記憶部２２は、それらシリアル番号や座標等を図６に示すように、「特徴点情報テーブル」として記憶することができる。

「特徴点情報テーブル」は、同図に示すように、「フレーム画像のシリアル番号」（ア）と、「特徴点のシリアル番号」（イ）と、「特徴点のｘ座標」（ウ）と、「特徴点のｙ座標」（エ）と、「特徴点に関する情報」（オ）を項目として構成することができる。

「フレーム画像のシリアル番号」は、特徴点を抽出したフレーム画像に付された番号を示す。

「特徴点に関する情報」は、例えば、特徴として認識された要素（エッジ、交差など）、特徴点が位置する画素の色相、明度、彩度などを含むことができる。

不変特徴変換手段３０は、図２に示すように、不変特徴変換部３１と、不変特徴記憶部３２とを有している。

不変特徴変換部３１は、特徴記憶部２２から特徴点の座標を取り出して、その特徴点を所定の変換処理によって不変量特徴空間に写像する。

具体的には、特徴空間上の特徴点から基準点を選択し、この基準点が不変量特徴空間の基準座標のところにくるように配置し、他のすべての特徴点についても、同一の変換規則で不変量特徴空間に配置する。以下、この基準点を「基底」という。

この基底は、背景映像中のオブジェクトの姿勢変化の種類に応じてその数が定められる。この数を「基底数」という。

本実施形態においては、姿勢変化の種類を「自由度」と呼び、この自由度に応じた１〜３の基底数を後述する基底数設定部６２が決定する。

また、不変特徴変換部３１は、基底数に応じて、特徴点の不変量特徴空間への写像方法を変えるようにしている。

そこで、基底にもとづく特徴点の写像方法について基底数ごとの説明を行う。

なお、あるフレーム画像から抽出した特徴点は、図４に示すように特徴空間に配置されており、これらの特徴点を不変量特徴空間へ写像するものとする。

（基底数１の場合の写像）
基底数１の基底にもとづいて写像を行う場合、不変特徴変換部３１は、一つの特徴点を基底として定め、この基底が不変量空間上の一つの基準座標のところにくるように移動し、他のすべての特徴点についてもこの移動量で不変量特徴空間に移動する。

例えば、図７に示すように、シリアル番号５番の特徴点を基底とし、この５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動する。これにより、不変量特徴空間には、同図右に示すように特徴点が配置される。この不変量特徴空間に配置された特徴点を「不変特徴」という。

また、図８に示すように、シリアル番号１５番の特徴点を基底とし、この１５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。

このように、一つの特徴点を基底として定め、この基底を不変量特徴空間の原点に移動するのに伴って、すべての特徴点を平行移動させる処理を、各特徴点を順次基底として定めるごとに行い、これら移動後の特徴点を重ね合わせることで、特徴点を不変量特徴空間に写像する。

図４に示す特徴点を上記の方法で不変量特徴空間に写像した結果は、図９に示すようになる。これが、基底数が１の場合に、不変量特徴空間において不変特徴が配置された状態である。

（基底数２の場合の写像）
基底数２の基底にもとづいて写像を行う場合、不変特徴変換部３１は、二つの特徴点を基底として定め、それぞれの基底が不変量空間上の対応する二つの基準座標のところにくるように移動し、これに伴いすべての特徴点を相対的な位置関係を維持しながら不変量特徴空間に移動する。そして、この移動を、すべての特徴点から選択し得る２点の組み合わせからなる各基底について行う。

例えば、図１０に示すように、シリアル番号６番の特徴点を第一基底、シリアル番号２番の特徴点を第二基底とする場合には、第一基底を不変量特徴空間の座標Ｏ（０，０）に移動し、第二基底を座標Ａ（１，０）に移動することに伴って、同一変換規則にしたがって他のすべての特徴点を移動する。

この結果、不変量特徴空間には、同図右に示すように特徴点が配置される。

また、図１１に示すように、シリアル番号３３番の特徴点を第一基底、シリアル番号３４番の特徴点を第二基底とする場合には、第一基底を不変量特徴空間の座標Ｏ（０，０）に移動し、第二基底を座標Ａ（１，０）に移動することに伴って、同一変換規則にしたがって他のすべての特徴点を移動する。

この結果、不変量特徴空間には、同図右に示すように特徴点が配置される。

このように、二つの特徴点を基底として定め、これらの基底を不変量特徴空間の二つの基準点に移動するのに伴って、すべての特徴点を平行移動若しくは回転又は拡大・縮小させる処理を、各特徴点の組み合わせを順次基底として定めるごとに行い、これら移動後の特徴点を重ね合わせることで、特徴点を不変量特徴空間に写像する。

（基底数３の場合の写像）
基底数３の基底にもとづいて写像を行う場合、不変特徴変換部３１は、三つの特徴点を基底として定め、それぞれの基底が不変量空間上の対応する三つの基準座標のところにくるように移動し、これに伴いすべての特徴点を相対的な位置関係を維持しながら不変量特徴空間に移動する。そして、この移動を、すべての特徴点から選択し得る３点の組み合わせからなる各基底について行う。

例えば、図１２に示すように、シリアル番号５番の特徴点を第一基底、シリアル番号４番の特徴点を第二基底、シリアル番号１４番の特徴点を第三基底とする場合には、第一基底を不変量特徴空間の座標Ｏ（０，０）に移動し、第二基底を座標Ａ（１，０）に移動し、第三基底を座標Ｂ（０，１）に移動することに伴って、同一変換規則にしたがって他のすべての特徴点を移動する。

この結果、不変量特徴空間には、同図右に示すように特徴点が配置される。

また、図１３に示すように、シリアル番号４番の特徴点を第一基底、シリアル番号４９番の特徴点を第二基底、シリアル番号７番の特徴点を第三基底とする場合には、第一基底を不変量特徴空間の座標Ｏ（０，０）に移動し、第二基底を座標Ａ（１，０）に移動し、第三基底を座標Ｂ（０，１）に移動することに伴って、同一変換規則にしたがって他のすべての特徴点を移動する。

この結果、不変量特徴空間には、同図右に示すように特徴点が配置される。

このように、三つの特徴点を基底として定め、これらの基底を不変量特徴空間の三つの基準点に移動するのに伴って、すべての特徴点を平行移動若しくは回転又は拡大・縮小又はせん断変形させる処理を、各特徴点の組み合わせを順次基底として定めるごとに行い、これら移動後の特徴点を重ね合わせることで、特徴点を不変量特徴空間に写像する。

なお、「せん断変形」とは、直行性は保たれないが平行性は保たれるような変形であり、例えば、正方形を平行四辺形にするような変形のことをいう。

次に、不変特徴変換部３１は、図１４に示すように、不変量特徴空間を格子状のメッシュで複数の区画に分ける。そして、不変特徴変換部３１は、各区画ごとに不変特徴の数を求める。

なお、説明を分かり易くするため、不変特徴数が１以上ある区画を塗り潰した不変量特徴空間を図１５に示す。

不変特徴記憶部３２は、所定のメモリ領域を保持している。この不変特徴記憶部３２は、不変特徴変換部３１で求められた各種データを記憶する。各種データには、例えば、不変量特徴空間に配置された各不変特徴の座標、各区画の座標（範囲）、各区画ごとの不変特徴数などが含まれる。

特異特徴選択手段４０は、図２に示すように、特異特徴選択部４１と特異特徴記憶部４２とを有している。

特異特徴選択部４１は、図１６に示すように、不変量特徴空間の中で、マーカパターンの生成を行う範囲を、マーカパターン生成範囲として決定する。このマーカパターン生成範囲は、静止画フレームの大きさと同じ大きさとすることができる。次いで、特異特徴選択部４１は、そのマーカパターン生成範囲における各区画ごとの不変特徴数を、不変特徴記憶部３２から取り出す。

続いて、特異特徴選択部４１は、取り出した不変特徴数のうち、０又は所定値以下に対応する区画を特異特徴として選択する。本実施形態においては、図１７のマーカパターン生成範囲に示す不変特徴数分布において、「０」が記載された区画が選択されるものとしている。これにより、特異特徴選択部４１は、映像入力手段１０で入力された背景映像に現れていない画像特徴を特異特徴として選択することができる。

このように、特異特徴選択部４１は、背景パターンと一致しない特徴、すなわち、背景映像から抽出した特徴群が現れていない特徴空間の部位にもとづく不変特徴から特異特徴を選択することができる。

この特異特徴の選択は、不変量特徴空間の不変特徴の分布から大きな空白を見つける問題と同一視できるから、例えば、２００３年文書解析認識国際会議予稿集に掲載されている「An algorithm for Finding Maximal Whitespace Rectangles at Arbitrary Orientations for Document Layout Analysis」などのアルゴリズムを使用して、大きな空白領域を抽出しても良いし、得られた不変特徴を含まない矩形領域の中心を特異特徴としても良い。

その他の方法としては、不変量特徴空間を特定の大きさのメッシュ（区画）で量子化し、１次元もしくは多次元のヒストグラムを生成し、不変特徴の発生頻度が０となる区画の中心を特異特徴とするなどしても良い。頻度が０となる区画が存在しない場合、区画幅を小さくして、ヒストグラムをとり、頻度が０となる区画が現れた場合、このときの区画から特異特徴を選択するようにしてもよい。頻度が０となるメッシュが見つからない場合は、ヒストグラムを既定値で閾値処理し、規定値以下のメッシュから特異特徴を選択しても良い。

特異特徴選択部４１が、選択した特異特徴のその他の例を、図１８、図１９に示す。図１８に示す特異特徴配置図においては、特異特徴とされた区画を白で表し、特異特徴とされなかった区画をグレーの網掛けで表している。図１９は、図１８に示す特異特徴配置図にもとづき、特異特徴の中心と特異特徴配置図の中心点とを「●」で表した図である。

なお、図１７においては、特異特徴（特異特徴数が０の区画）が４個分散して配置されているが、マーカパターンの生成処理の説明を容易にするため、特異特徴は、図１８、図１９に示す配置にもとづいて選択されたものとする。

特異特徴選択部４１は、選択した特異特徴の座標を求める。例えば、特異特徴選択部４１は、図１８に示す特異特徴配置図において、特異特徴の座標を（2,6）、(5,2)、(5,4)、(5,5)、(7,6)とする。

特異特徴記憶部４２は、特異特徴選択部４１で選択された特異特徴の座標を記憶する。

マーカ生成手段５０は、図２に示すように、マーカパターン生成部５１を有している。

マーカパターン生成部５１は、特異特徴記憶部４２から特異特徴の座標を取り出し、この特異特徴の座標にもとづいてマーカパターンを生成する。

マーカパターンの生成方法には、種々の方法がある。

例えば、画像中の頂点、交差点、端点を特異特徴として使用する場合を例に説明する。

前述した「On the option detection of curves in noisy pictures」に記載の方法などにもとづく場合、マーカパターンの生成に必要になる、特異特徴群の検出は、特徴抽出手段２０で使用している特徴点抽出アルゴリズムに依存する。

例えば、下記のようなマーカパターンの生成方法が例として挙げられる。

（１）特異特徴位置に交差点を配置したパターン（図２０（１））
（２）特異特徴の凸包を求め、内部を特定の色で塗り潰す。さらに、凸包に使用されなかった特異特徴を用いて再度凸包を求め、内部を別の色で塗り潰す。このような処理を、すべての特異特徴が使用されるまで反復して生成されるパターン（図２０（２））
（３）特異特徴位置を頂点にもつ、水平垂直の辺を有する、塗り潰した矩形の集合からなるパターン（図２０（３））
（４）特異特徴点の最近傍点間を線分で結んだパターン（図２０（４））

なお、特異特徴手段４０が、明度値又は色差値を使用して特徴を抽出した場合、マーカを物体に付する装置は、特異特徴に対応する明度値、色差値に対応する塗料でマーカを印刷してもよい。

また、頂点、交差点、端点を図形的な特徴として利用する方法と、明度値や色差値を特徴として利用する方法とを併用することも可能である。この場合、マーカパターン生成部５１は、選定された特異特徴に対応する明度、色、形状に対応するマーカを生成すればよい。

なお、上述したように、本実施形態では、幾何学的不変量を用いた不変特徴変換を行うようにしているが、他の不変量を用いた態様も可能である。

例えば、物体色不変量を用いることができる。

物体の色は、同一物体であっても撮影環境に存在する光源色に依存して、異なった色で撮影されてしまう。このため、画像上から光源色変動の影響を分離して取り除くことにより、実際の物体色を得ることができる。

したがって、このようにして得られた実際の物体色を物体色不変量として使用することができる。

この場合、鏡面反射している個所は光源色の影響が支配的で、輝度値が光源色成分において飽和しやすいため、これを光源色とみなして、飽和個所に対応する色成分を不変特徴として選択しないようにしてもよい。

その他、画像から物体色を推定する方法として、Robby T. Tan and Katsushi IkeuchiによるIEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，VOL.27，NO.2，FEBRUARY 2005，pp.178-193に記載の「Separating Reflection Components of Textured Surfaces Using a Single Image」や、Graham D. Finlayson，Steven D. Hordley，Cheng Lu，and Mark S. DrewによるIEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，VOL.28，NO.1，JANUARY 2006，pp.59-68に記載の「On the Removal of Shadows from Images」などを用いてもよい。

また、テクスチャ不変量を用いることもできる。

画像の部分領域の輝度分布に対して数値演算を施し、得られた数値又はベクトルを特徴量とする。テクスチャ不変量は、図形量不変量と同様、カメラと撮影対象との相対位置関係に影響を受けやすいため、この影響を受けにくい特徴量を算出し、テクスチャ不変量とする。例えば、カメラと対象の距離やズームに不変な特徴量は、注目している部分画像を極座標変換し、同径方向にパワースペクトルをとることで実装可能である。さらに、上記パワースペクトルに対して方位角方向に再度パワースペクトルを求めるとカメラの光軸周りの回転に対して不変な特徴量となる。その他、Chi-Man Pun and Moon-Chuen LeeによるIEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，VOL.25，NO.5，MAY 2003記載の「Log-Polar Wavelet Energy Signatures for Rotation and Scale Invariant Texture Classification」などの方法を用いてもよい。

さらに、幾何学的不変量についても、Richard Hartley and Andrew Zissermanによる「Multiple View Geometry in Computer Vision」などに記載されているような他の幾何学的不変量を使用してもよい。同一シーンを複数のカメラで観測する場合には、同文献に記載の方法により、距離もしくは深さ方向の相対位置関係の情報を得ることが可能となるが、この場合、同一平面上にない４点を基底に選択し、不変量空間を三次元とすると、三次元の幾何学的不変量を作ることができる。この際には、特徴点群から選択した基底４点のうち１点を不変量空間の原点、その他の基底の特徴点を不変量空間における位置座標に対応付ける変換写像を求め、その他特徴をこの変換写像を使用して不変量空間に写像するようにする。

なお、本実施形態に係る幾何学的不変量を含め、上述した各不変量のうち２種類以上を組み合わせて使用してもよい。

自由度計測手段６０ａ（計測手段）は、図２に示すように、自由度検出部６１と、基底数設定部６２とを有している。

自由度検出部６１は、背景映像にもとづき、その背景映像に映し出される物体（マーカを含む）を含む画像環境における姿勢変化（自由度）を求める。

具体的には、映像入力手段１０の映像記憶部１２からマーカ検出するところの背景映像の中から、時刻が異なる二以上のフレーム画像を取り出し、そのフレーム画像中に現れるパターン形状や線の姿勢変化を求めることができる。

基底数設定部６２は、自由度検出部６１によって検出された自由度に応じ基底数を決定する。

具体的には、図２１に示す基底数設定テーブルにもとづき、以下の基底数を決定する。

（ａ）平行移動のみが計測された場合→基底数：１
（ｂ）拡大、縮小もしくは回転のいずれか一以上の姿勢変化又はその姿勢変化と平行移動の組み合わせの姿勢変化が計測された場合→基底数：２
（ｃ）せん断変形又はせん断変形と平行移動、拡大、縮小、回転のいずれか一以上の組み合わせの姿勢変化が計測された場合→基底数：３

そして、決定した基底数の基底にもとづき、不変特徴変換処理及び特異特徴選択処理を介し、マーカ生成手段５０によりマーカが生成される。

なお、一般に、基底数が多くなるほど、マーカの姿勢変化に対応することが可能となるが、マーカ生成の際の演算負荷は増大する。

一方、基底数が少ないほど、マーカ生成にかかる演算負荷は軽減されるが、マーカの姿勢変化に対応しづらくなる。

したがって、本実施形態のマーカ生成装置１ａによれば、予めマーカが使用される背景画像からその自由度を計測し、その自由度に応じた基底数によってマーカ生成を行うようにしているため、必要以上にマーカを複雑化することなく、かつ、一定の確実性をもってマーカを検出することができる。

次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図２２を参照して説明する。

同図は、本実施形態に係るマーカ生成方法の処理手順を示すフローチャートである。

マーカ生成装置１ａにおいて、映像入力手段１０の映像入力部１１は、マーカを実際に使用する場所の背景画像を入力する（ステップ１０１）。例えば、マーカが付された物体を搬送するベルトコンベアがある場合に、そのベルトコンベア及びその周辺を撮影した映像などを入力する。

これにより、図３に示すように、時刻の異なる２以上の静止画のフレーム画像が入力される。映像入力手段１０の映像記憶部１２は、映像入力部１１で入力された映像のフレーム画像を記憶する。

自由度計測手段６０の自由度検出部６１は、映像記憶部１２から各フレーム画像を取り出し、フレーム画像に含まれる特徴的な図形、線、点などの幾何学的変位にもとづいて、姿勢変化の種類を示す指標として自由度を検出する（ステップ１０２）。例えば、時刻の異なる同一の２画像を対比することによって、その画像中に現れる物体に関し、平行移動、拡大、縮小、回転、せん断変形などの姿勢変化を検出する。

次に、自由度計測手段６０の基底数設定部６２は、検出された自由度に応じて基底数を決定する（ステップ１０３）。

一方、特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ１０４）。

また、特徴抽出部２１は、抽出した特徴点の座標を求め、その座標を特徴記憶部２２に記憶する。

次に、不変特徴変換手段３０の不変特徴変換部３１は、基底数設定部６２が決定した基底数の基底にもとづき、各特徴点を不変量特徴空間に写像する（ステップ１０５）。

続いて、不変特徴変換部３１は、不変量空間にメッシュを掛けて区画化する（ステップ１０６）。

次いで、不変特徴変換部３１は、各区画ごとに不変特徴数を算出する（ステップ１０７）。不変特徴記憶部３２は、算出された各区画ごとの不変特徴数を記憶する。

次に、特異特徴選択手段４０の特異特徴選択部４１は、不変特徴記憶部３２から各区画ごとの不変特徴数を取り出す。

続いて、特異特徴選択部４１は、各区画ごとの不変特徴数の中から、０のものを選択し、その区画を特異特徴とする（ステップ１０８）。特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。

次に、マーカ生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出し、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ１０９）。

以上、説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、背景画像に存在しないパターンをマーカとして生成するようにしている。

このため、背景映像に存在するパターンをマーカとして誤認することを回避するとともに、所定のマーカが現れたときには、確実にこれを検出することができる。

なお、本実施形態では、不変特徴数が０の区画から特異特徴を選択する方法について説明したが、この方法に限定するものではない。例えば、不変特徴数が所定数以下の区画から特異特徴を選択するようにしてもよい。

また、本実施形態のマーカ生成装置及びマーカ生成方法によれば、マーカを使用するところの姿勢変化（自由度）を求め、その自由度に応じた基底数にもとづいてマーカを生成するようにしている。

このため、マーカが検出される場所の背景画像やその背景中に現れる物体の姿勢変化の種類に適した精度のマーカを生成することができる。すなわち、姿勢変化の種類によっては、基底数を抑えた簡易なマーカで対応させることが可能であり、マーカ生成時や検出時に必要な負荷を抑えながら一定の検出精度を保つことができる。

他方、基底数を増やしたマーカを生成することにより様々な姿勢変化にも対応でき、信頼性、安定性に優れたマーカ検出を実現することが可能となっている。

［マーカ生成装置及びマーカ生成方法の第二実施形態］
次に、本発明のマーカ生成装置及びマーカ生成方法の第二実施形態について、図２３を参照して説明する。

図２３は、本実施形態のマーカ生成装置の構成を示すブロック図である。

また、図２４は、本実施形態のマーカ生成装置の詳細な構成を示すブロック図である。

本実施形態は、第一実施形態と比較して、自由度の測定方法に特徴を有する。

具体的には、本実施形態のマーカ生成装置１ｂは、自由度計測手段６０ｂ（計測手段）が、背景画像となるフレーム画像の特徴点の位置情報にもとづき自由度を計測することとしている。他の構成要素は第一実施形態と同様である。

したがって、図２３及び図２４において、図１及び図２と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。

図２４に示す自由度計測手段６０ｂの自由度検出部６１は、背景映像にもとづき、その背景画像に映し出される物体（マーカを含む）の特徴点の座標の変位を分析することによってその物体や周辺の姿勢変化を求める。

ここで、特徴点にもとづく自由度算出方法の一例について以下説明を行う。

図２５は、図３に示すフレーム画像の中から（i-11）と（i-15）を抜き出し、これらの画像に含まれる特徴点にもとづいて自由度を算出する方法を説明するための説明図である。

同図に示すように、自由度検出部６１は、特徴記憶部２２から（i-11）のフレーム画像の特徴点と（i-15）のフレーム画像の特徴点を取り出す。

具体的には、特徴記憶部２２に記憶してある「特徴点情報テーブル」から、（i-11）のシリアル番号４２番、６７番、７３番の座標（x1，y1）、（x2，y2）、（x3，y3）と、（i-15）の対応する座標（u1,v1）、（u2,v2）、（u3,v3）を取り出す。なお、各特徴点の対応付けは、相関法や残差逐次検定法等、既知の手法によって行うものとし、その詳細な説明は省略する。

次に、取り出した各座標を図２６（ａ）に示すアフィン変換行列に代入する。

これにより、以下の数式を得る。
（イ）u1=a(x1)＋b(y1)＋c
（ロ）u2=a(x2)＋b(y2)＋c
（ハ）u3=a(x3)＋b(y3)＋c
（ニ）v1=d(x1)＋e(y1)＋f
（ホ）v2=d(x2)＋e(y2)＋f
（ヘ）v3=d(x3)＋e(y3)＋f
ここで、（イ）〜（ハ）の数式にもとづく三元連立方程式を解くことによって、ａ〜ｃのアフィン変換係数を算出することができる。また、同様にして、（二）〜（ヘ）の数式にもとづきｄ〜ｆのアフィン変換係数を算出することができる。

そして、算出した各アフィン変換係数を、図２６（ｂ）に示すアフィン変換係数テーブルの各パラメータと照合することによって、平行移動、回転移動、拡大・縮小又はせん断変形のいずれか、又はその組み合わせを自由度として検出することができる。

なお、上述の例では、３つの特徴点にもとづいて自由度を検出し、基底数を求める例について説明したが、特徴点の数は多いほど自由度の検出精度が高く、適切な基底数を判定して設定することができる。

また、本実施形態では、アフィン変換を利用した自由度の検出方法について説明したが、特にこの方法に制限するものではない。例えば、射影変換、相似変換などの他の幾何学的変換方法を利用するものであってもよい。

次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図２７を参照して説明する。同図は、本実施形態に係るマーカ生成方法の処理手順を示すフローチャートである。

マーカ生成装置１ｂにおいて、映像入力手段１０の映像入力部１１は、マーカを実際に使用する場所の背景画像を入力する（ステップ２０１）。映像入力手段１０の映像記憶部１２は、映像入力部１１で入力された背景画像（フレーム画像）を記憶する。

特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２から各フレーム画像を取り出し、その特徴点を抽出する（ステップ２０２）。そして、特徴抽出部２１は、抽出した各特徴点の座標を特徴記憶部２２に記憶する。

次に、自由度計測手段６０ｂの自由度検出部６１は、特徴記憶部２２から各フレーム画像の特徴点の座標を取り出す。そして、自由度検出部６１は、相互に対応する特徴点の座標の変位にもとづいて自由度を検出する（ステップ２０３）。

次いで、自由度計測手段６０ｂの基底数設定部６２は、検出された自由度に応じて基底数を決定する（ステップ２０４）。

不変特徴変換手段３０の不変特徴変換部３１は、特徴記憶部２２からフレーム画像の特徴点の座標を取り出し、基底数設定部６２が決定した基底数の基底にもとづき、各特徴点を不変量特徴空間に写像する（ステップ２０５）。

続いて、不変特徴変換部３１は、不変量空間にメッシュを掛けて区画化する（ステップ２０６）。

次いで、不変特徴変換部３１は、各区画ごとに不変特徴数を算出する（ステップ２０７）。不変特徴記憶部３２は、算出された各区画ごとの不変特徴数を記憶する。

次に、特異特徴選択手段４０の特異特徴選択部４１は、不変特徴記憶部３２から各区画ごとの不変特徴数を取り出す。

続いて、特異特徴選択部４１は、各区画ごとの不変特徴数の中から、０又は所定数以下のものを選択し、その区画を特異特徴とする（ステップ２０８）。特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。

次に、マーカ生成手段５０のマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出し、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ２０９）。

以上、説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、マーカ検出環境における背景映像から特徴点を抽出してマーカパターンの形成に利用するとともに、その特徴点を利用してマーカ検出環境の自由度を検出することができる。

このため、第一実施形態と同様の作用・効果を奏するだけでなく、資源共有による作業の効率化やコスト低減を図ることができる。

［マーカ生成装置及びマーカ生成方法の第三実施形態］
次に、本発明のマーカ生成装置及びマーカ生成方法の第三実施形態について、図２８を参照して説明する。図２８は、本実施形態のマーカ生成装置１ｃの詳細な構成を示すブロック図である。

本実施形態は、マーカが実際に使用されている状況に応じてマーカを更新するか否かを判断し、必要な場合にマーカを更新することを特徴としている。

具体的には、本実施形態のマーカ生成装置１ｃは、マーカが実際に使用される場所で自由度を求めるとともに、その自由度に応じた適切な基底数を算出する。

そして、その算出した基底数が直前に生成し、現在、使用しているマーカの基底数と一致するか否かを判断し、不一致の場合にはその算出した基底数にもとづいて新たなマーカを生成し、一致する場合には、新たにマーカを生成しない動作を行うようにする。

このため、本実施形態によれば、マーカの使用環境に応じた適切なマーカをリアルタイムに生成し、また、維持できるようになる。他の構成要素は第一実施形態と同様である。

したがって、図２８において、図２と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。

図２８に示すように、マーカ生成装置１ｃのマーカ生成手段５０ｃは、マーカ記憶部５２を有している。

マーカ記憶部５２は、マーカパターン生成部５１で生成されたマーカに関するデータを記憶する。本実施形態においては、基底数設定部６２との連携により、直前に生成したマーカに関する基底数を記憶する。つまり、現在使用中のマーカの生成時の不変特徴変換処理に用いた基底数を記憶しておく。

自由度計測手段６０ｃ（計測手段）は、図２８に示すように、自由度検出部６１と、基底数設定部６２と、基底数算出部６３と、基底数判定部６４とを有している。

自由度検出部６１は、特徴抽出手段２０の特徴記憶部２２から任意のフレーム画像の特徴点を取り出し、自由度を検出する。

基底数算出部６３は、その検出した自由度に応じた基底数を算出する。

基底数の算出については、前述の第一実施形態で説明したように、所定の基底数設定テーブルを用いる（図２１参照）。

基底数判定部６４は、自由度にもとづいて算出した基底数と、先のマーカ生成時に用いた基底数とが一致するか否かを判定し、その判定結果に応じて基底数を決定する。

具体的には、基底数算出部６３が算出した基底数（第一の基準点数）と、マーカ記憶部５２に記憶してある基底数（第二の基準点数）とを比較して一致するか否かを判定する。

この判定の結果、第一の基準点数と第二の基準点数とが一致しないと判定された場合には、基底数設定部６２は、第一の基準点数を、マーカを生成する際に用いる基底数として決定する。

そして、不変特徴変換手段３０は決定した基底数を用いて、特徴点を不変量特徴空間に写像し、特異特徴選択手段４０が、写像された後の不変特徴から特異特徴を選択し、マーカ生成手段５０が特異特徴にもとづいて新たなマーカを生成する。

つまり、この場合、マーカの使用環境が変化しているとみなし、その環境に応じた新たなマーカ生成を行うこととしている。

なお、ここで決定した基底数はマーカ記憶部５２に記憶される。基底数は上書きして記憶するようにすることで、常に、直前に生成したマーカに関する基底数を上記判定のために用いることができる。

一方、第一の基準点数と第二の基準点数とが一致する場合には、不変特徴変換手段３０は、これらの基準点数の一致が判定されるまで、実行を停止し、それまではマーカの生成は行わないようにする。

つまり、この場合、マーカの使用環境は変化していないこととみなし、マーカ更新のための新たなマーカを生成する処理は行わないこととする。

次に、本実施形態のマーカ生成装置の動作（マーカ生成方法）について、図２９を参照して説明する。

同図は、本実施形態に係るマーカ生成方法の処理手順を示すフローチャートである。

まず、マーカの生成又は更新を行うか否かを判断する（ステップ３０１）。実際には、図示しないタイマーにより設定された時刻や間隔、若しくは、所定操作に応じたタイミングに応じてマーカ生成やマーカ更新のプロセスに入るようにする。

マーカ生成を行う場合（Ｓ３０１：ＹＥＳ）、映像入力手段１０の映像入力部１１は、マーカを実際に使用する場所の背景画像を入力する（ステップ３０２）。映像入力手段１０の映像記憶部１２は、映像入力部１１で入力された背景画像をフレーム画像として記憶する。

特徴抽出手段２０の特徴抽出部２１は、映像記憶部１２から、各フレーム画像を取り出し、その特徴点を抽出する（ステップ３０３）。特徴抽出部２１は、抽出した各特徴点の座標を特徴記憶部２２に記憶する。

自由度検出手段６０ｃは、自由度検出部６１が、自由度を検出し、基底数算定部６３が、その自由度に応じた基底数を算出する（ステップ３０４）。

ここで、基底数判定部６４は、算出した基底数（第一の基準点数）とマーカ記憶部５２に格納されている基底数（第二の基準点数）とを比較する（ステップ３０５）。

比較の結果、第一の基準点数と第二の基準点数とが一致した場合（Ｓ３０５：一致）、ステップ３０１に戻る。つまり、これらの基底数の不一致が確認されるまで、Ｓ３０１〜Ｓ３０５の処理を繰り返す。

一方、第一の基準点数と第二の基準点数とが一致しない場合（Ｓ３０５：不一致）、基底数設定部６２は、第一の基準点数をマーカ生成に用いる基底の基底数として決定する（Ｓ３０６）。決定した基底数は、マーカ記憶部５２に記憶される。

不変特徴変換手段３０の不変特徴変換部３１は、決定した基底数の基底にもとづき、各特徴点を不変量特徴空間に写像する（ステップ３０７）。

次いで、不変特徴変換部３１は、不変量特徴空間にメッシュを掛けて区画化する（ステップ３０８）。

続いて、不変特徴変換部３１は、各区画ごとに不変特徴数をもとめ、各区画ごとの不変特徴数を算出する（ステップ３０９）。不変特徴記憶部３２は、算出された各区画ごとの不変特徴数を記憶する。

特異特徴選択手段４０の特異特徴選択部４１は、不変特徴記憶部３２から各区画ごとの不変特徴数を取り出す。

そして、特異特徴選択部４１は、各区画ごとの不変特徴数の中から、０又は所定数以下のものを選択し、その区画を特異特徴とする（ステップ３１０）。特異特徴記憶部４２は、特異特徴選択部４１で特異特徴とされた区画の座標を記憶する。

マーカ生成手段５０ｃのマーカパターン生成部５１は、特異特徴記憶部４２から、特異特徴の座標を取り出し、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ３１１）。

なお、マーカ生成後は、ステップ３０１に戻り、引き続きマーカ生成の機会を待つこととなる。

以上、説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、既にマーカ生成手段５０ｃによって生成され、実際に使用されているマーカの生成に用いた基底数を予めマーカ記憶部５２に記憶しておくようにしている。

そのうえで、自由度計測手段６０ｃが、そのマーカを含む背景画像からマーカやマーカ周辺の自由度を計測するようにしている。

また、自由度計測手段６０ｃは、自由度に応じて算出した基底数（第一の基準点数）が直前のマーカの生成時に用いた基底数（第二の基準点数）と一致するか否かを判断するようにしている。

そして、これらの基底数が一致しない場合に限り、算出した基底数の基底にもとづく変換処理を介して新たなマーカを生成するようにしている。

このため、本実施形態によって前述の実施形態と同様の作用・構成を奏することは勿論のこと、マーカ生成の無駄を省くようにしている。つまり、マーカの使用環境において、姿勢変化に変動が有る場合にのみ新たなマーカを生成するようにし、他方、姿勢変化の変動がないような場合ではマーカを生成する処理を行わないようにすることができる。

したがって、マーカの生成と検出とを一体化して使用する態様においては、それぞれの処理の省力化を図ることが可能となる。

［マーカ検出装置及びマーカ検出方法］
（マーカ検出装置）
次に、マーカ検出装置について、図３０、図３１を参照して説明する。

図３０は、マーカ検出装置の構成を示すブロック図である。

また、図３１は、マーカ検出装置の詳細な構成を示すブロック図である。

図３０に示すように、マーカ検出装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、不変特徴変換手段１３０と、マーカ記憶手段１４０と、照合手段１５０と、報知手段１６０とを備えている。

映像入力手段１１０は、図３１に示すように、映像入力部１１１と、映像記憶部１１２とを有している。

映像入力部１１１は、マーカが実際に使用される場所の背景画像を入力する。

例えば、図３２に示すように、マーカを含む背景画像を入力することとする。

映像記憶部１１２は、入力した背景画像を、ディジタイズされたフレーム画像として記憶する。

特徴抽出手段１２０は、図３１に示すように、特徴抽出部１２１と、特徴記憶部１２２とを有している。

特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出す。

そして、特徴抽出部１２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。例えば、フレーム画像が図３２に示すような画像の場合、特徴抽出部１２１は、そのフレーム画像から図３３に示すような特徴点を抽出する。

特徴記憶部１２２は、特徴抽出部１２１で抽出された特徴点の各座標を記憶する。

不変特徴変換手段１３０は、図３１に示すように、不変特徴変換部１３１と、不変特徴記憶部１３２とを有している。

不変特徴変換部１３１は、特徴記憶部１２２から特徴点の座標を取り出して、その特徴点を不変量特徴空間に写像する。なお、不変特徴変換部１３１は、検出しようとするマーカの生成時の基底数と同じ数の基底にもとづいて前記写像処理を行う。このため、不変特徴変換部１３１は、マーカ記憶手段１５０に予め記憶されている既存のマーカ生成時に用いた基底数を取り出し、この取り出した基底数と同数の基底にもとづいて写像処理を行う。

また、不変特徴変換部１３１は、不変量特徴空間を格子状のメッシュで複数の区画に分ける。

不変特徴記憶部１３２は、不変特徴変換部１３１で求められた各種データを記憶する。各種データには、例えば、不変量特徴空間に配置された各不変特徴の座標、各区画の座標（範囲）などが含まれる。

マーカ記憶手段１４０は、検出しようとするマーカ関連情報を記憶する。

また、マーカ記憶手段１４０は、そのマーカパターンの生成の際に用いられた基底数を記憶する。具体的には、不変特徴変換処理の際に用いられた基底数として１〜３のいずれかの数値をマーカ関連情報として記憶する。

照合手段１５０は、図３１に示すように、照合部１５１を有している。

照合部１５１は、検出対象映像にもとづく不変特徴群の各座標を不変特徴記憶部１３２から取り出すとともに、マーカパターンをマーカ記憶部１４２から取り出し、それらを照合する。

そして、照合部１５１は、マーカパターンと一致する不変特徴が検出対象映像にもとづく不変特徴群から検出されるか否かを判断する。

具体的には、照合部１５１は、マーカ設計時に頻度が０であったメッシュに、検出対象映像にもとづく不変特徴が１回でも投影されたときには、マーカパターンからの寄与であるとして検出を確定し、マーカ検出を高速に行うことができる。例えば、図３４（ａ）に示すように、マーカパターンの所定座標位置に、検出対象映像の不変特徴が１箇所でもプロットされた場合には、マーカの検出を確定する。一方、図３４（ｂ）に示すように、マーカパターンの所定座標位置に、不変特徴が１箇所もプロットされないときは、マーカの検出は行われなかったものと判断する。

なお、ノイズや特徴抽出計算の誤差によるマーカの誤検出を避けるために、受諾する投影の頻度を１回以上の既定値に設定してもよい。

また、照合部１５１は、照合の結果に応じて報知手段１６０に報知信号の送出を行う。具体的には、マーカパターンと一致する不変特徴が検出対象映像にもとづく不変特徴群から検出された場合に報知信号を送出する。

報知手段１６０は、照合部１５１から報知信号を受けると、マーカパターンの特異特徴の所定座標位置に不変特徴がプロットされたこと、すなわち、マーカが検出されたことを外部に報知する。この報知の方法には、例えば、音声出力や、画面表示などがある。

（マーカ検出方法）
次に、本実施形態のマーカ検出方法について、図３５を参照して説明する。

マーカ記憶手段１４０は、予めマーカに関するデータを記憶しておく（ステップ４０１）。具体的には、マーカ生成装置１ａ〜１ｃで生成されたマーカパターンを記憶する。また、そのマーカパターン生成の前処理として行った不変特徴変換に用いられた基底数を記憶する。

ここで、映像入力手段１１０の映像入力部１１１は、マーカが実際に使用される場所の背景画像（マーカを含む）を入力する（ステップ４０２）。

映像記憶部１１２は、入力した背景画像を、ディジタイズされたフレーム画像として記憶する。

次いで、特徴抽出手段１２０の特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出す。そして、特徴抽出部１２１は、取り出したフレーム画像から特徴点を抽出する（ステップ４０３）。特徴記憶部１２２は、特徴抽出部１２１で抽出された特徴点の各座標を記憶する。

続いて、不変特徴変換手段１３０の不変特徴変換部１３１は、特徴記憶部１２２から特徴点を取り出し、マーカ記憶手段１４０に記憶されている基底数にもとづいて各特徴点を不変量特徴空間に写像する（ステップ４０４）。不変特徴記憶部１３２は、不変量特徴空間に写像された特徴点（不変特徴）の座標を記憶する。

次に、照合手段１５０の照合部１５１は、不変量特徴空間に写像された検出対象映像にもとづく不変特徴群の中から、マーカパターンと一致する不変特徴の検出を試みる（ステップ４０５）。

この照合の結果、不変量特徴空間に写像された検出対象映像にもとづく不変特徴群の中から、マーカパターンと一致する不変特徴が検出された場合（Ｓ４０５：ＹＥＳ）、報知手段１６０は、マーカが検出されたことを外部に報知する（ステップ４０６）。

その後は、終了するか否かが判断され（ステップ４０７）、終了しないときは、ステップ４０１〜ステップ４０７の処理が繰り返される。

以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、マーカ生成装置で生成されたマーカパターンを用いて、検出対象映像に映し出されたマーカを確実に検出することができる。

［マーカ生成検出装置及びマーカ生成検出システム］
（マーカ生成検出装置）
次に、マーカ生成検出装置について、図３６を参照して説明する。

図３６は、マーカ生成検出装置の構成を示すブロック図である。

図３６に示すように、マーカ生成検出装置１０００は、マーカ生成装置１と、マーカ検出装置１００とを備えている。

ここで、マーカ生成装置１は、前述した第一実施形態乃至第三実施形態のいずれかのマーカ生成装置を用いることができる。

また、マーカ検出装置１００は、前述した図３０に示すマーカ検出装置１００を用いることができる。

このように、マーカ生成装置１０００は、マーカ生成装置１とマーカ検出装置１００とを一体化した構成とすることができる。

また、マーカ生成装置１とマーカ検出装置１００とは、共有化できる機能があるため、図３７に示すような構成とすることもできる。

例えば、マーカ生成検出装置１０００は、映像入力手段１０と、特徴抽出手段２０と、不変特徴変換手段３０と、特異特徴選択手段４０と、マーカ生成手段５０と、自由度計測手段６０と、照合手段１５０と、報知手段１６０とを有している。

これらのうち、映像入力手段１０と、特徴抽出手段２０と、不変特徴変換手段３０と、特異特徴選択手段４０と、マーカ生成手段５０と、自由度計測手段６０が、マーカ生成装置としての機能を有している。

一方、映像入力手段１０と、特徴抽出手段２０と、不変特徴変換手段３０と、マーカ記憶部５２と、照合手段１５０と、報知手段１６０が、マーカ検出装置としての機能を有している。

そして、映像入力手段１０と、特徴抽出手段２０と、不変特徴変換手段３０と、マーカ記憶部５２が、マーカ生成装置とマーカ検出装置に共通している部分である。

マーカ生成装置におけるマーカ生成方法は、前述した第一実施形態〜第三実施形態におけるマーカ生成方法と同様である。

また、マーカ検出装置におけるマーカ検出方法は、前述した実施形態におけるマーカ検出方法と同様である。

（マーカ生成検出システム）
次に、本実施形態のマーカ生成検出システムについて、図３８を参照して説明する。 同図に示すように、マーカ生成検出システム２０００は、マーカ生成装置１と、マーカ検出装置１００とを備えている。これらマーカ生成装置１とマーカ検出装置１００は、通信ネットワーク又は通信ケーブル３００などで接続することができる。

マーカ生成装置１は、映像入力手段１０と、特徴抽出手段２０と、不変特徴変換手段３０と、特異特徴選択手段４０と、マーカ生成手段５０と、自由度計測手段６０と、通信手段７０とを有している。

通信手段７０は、マーカ生成手段５０に記憶されているマーカに関するデータ（マーカパターン、当該マーカの生成に用いた基底数）を取り出し、これをマーカ検出装置１００へ送信する。

マーカ検出装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、不変特徴変換手段１３０と、マーカ記憶手段１４０と、照合手段１５０と、報知手段１６０と、通信手段１７０とを有している。

通信手段１７０は、マーカ生成装置１から送信されてきたマーカに関するデータを受信する。また、通信手段１７０は、その受信したマーカに関するデータをマーカ記憶手段１４０に記憶させる。

以上説明したように、マーカ生成検出装置及びマーカ検出システムによれば、マーカ生成検出装置又はマーカ生成検出システムのマーカ生成機能において、マーカ検出環境の自由度（姿勢変化）に応じた基底数を求め、その基底数の基底にもとづき特徴点を不変特徴に写像したうえで特異特徴を求め、そのうえでマーカ生成を行うことができる。

このため、マーカ生成機能とマーカ検出機能とが一体化したシステムを提供することができる。

［マーカ生成プログラム及びマーカ検出プログラム］
次に、マーカ生成プログラム及びマーカ検出プログラムについて説明する。

上記の各実施形態におけるコンピュータ（マーカ生成装置、マーカ検出装置、マーカ生成検出装置、マーカ検出システム）のマーカ生成機能（マーカ生成方法を実行するための機能）やマーカ検出機能（マーカ検出方法を実行するための機能）は、記憶手段（例えば、ＲＯＭ（Read Only Memory）やハードディスクなど）に記憶されたマーカ生成プログラム又はマーカ検出プログラムにより実現される。

マーカ生成プログラム及びマーカ検出プログラムは、コンピュータの制御手段（ＣＰＵ（Central Processing Unit）など）に読み込まれることにより、コンピュータの構成各部に指令を送り、所定の処理、例えば、マーカ生成装置の映像入力処理、特徴抽出処理、不変特徴変換処理、特異特徴選択処理、マーカ生成処理、自由度計測処理、マーカ検出装置の映像入力処理、特徴抽出処理、不変特徴変換処理、照合処理、報知処理などを行わせる。

これによって、マーカ生成機能又はマーカ検出機能は、ソフトウェアであるマーカ生成プログラムとハードウェア資源であるコンピュータ（マーカ生成手段（マーカ生成装置、マーカ生成サーバ、マーカ生成ネットワーク若しくはマーカ生成システムなど））の各構成手段とが協働することにより実現される。

なお、マーカ生成機能又はマーカ検出機能を実現するためのマーカ生成プログラムは、コンピュータのＲＯＭやハードディスクなどに記憶される他、コンピュータが読み取り可能な記録媒体、例えば、外部記憶装置及び可搬記録媒体に格納することができる。

外部記憶装置とは、ＣＤ−ＲＯＭ（Compact disc−Read Only Memory）等の記録媒体を内蔵し、マーカ生成装置に外部接続されるメモリ増設装置をいう。一方、可搬記録媒体とは、記録媒体駆動装置（ドライブ装置）に装着でき、かつ、持ち運び可能な記録媒体であって、例えば、フレキシブルディスク、メモリカード、光磁気ディスク等をいう。

そして、記録媒体に記録されたプログラムは、コンピュータのＲＡＭ（Random Access Memory）等にロードされて、ＣＰＵ（制御手段）により実行される。この実行により、上述した各実施形態のマーカ生成装置の機能が実現される。

さらに、コンピュータでマーカ生成プログラムをロードする場合、他のコンピュータで保有されたマーカ生成プログラムを、通信回線を利用して自己の有するＲＡＭや外部記憶装置にダウンロードすることもできる。このダウンロードされたマーカ生成プログラムも、ＣＰＵにより実行され、上記各実施形態のマーカ生成装置のマーカ生成機能を実現する。

以上説明したように、本実施形態のマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法、及びマーカ生成プログラムによれば、実際には存在しない所望の物体がその空間内に存在しているものとして誤って判断することを回避することができる。

また、物体やマーカなどの検出物やその使用環境の姿勢変化に応じたマーカを生成することによりマーカ生成の負荷とマーカ検出の精度との合理的な調和を図ることが可能となる。

すなわち、姿勢変化が大きくない場合には、基底数を少なく設定してマーカ生成に係る処理の負荷を軽減させることができる。

また、姿勢変化が大きい場合には、基底数を多く設定してマーカの検出精度を高めることが可能となる。

また、上記の実施の形態の内容は、以下のようにも表現されうる。

（付記１） 背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、
前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、
前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、
前記特異特徴を用いてマーカを生成するマーカ生成手段と
を有するマーカ生成装置。

（付記２） 背景画像を入力する映像入力手段と、
入力された前記背景画像から特徴点を抽出する特徴抽出手段と
を有し、
前記計測手段は、入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測し、前記姿勢変化の種類に応じ、対応する基準点の数を決定する基底数設定部を有し、
前記不変特徴変換手段は、前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表し、
前記特異特徴選択手段は、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択し、
前記マーカ生成手段は、前記特異特徴を用いてマーカを生成する
付記１に記載のマーカ生成装置。

（付記３） 前記計測手段は、前記姿勢変化の種類として、平行移動、拡大、縮小、回転もしくはせん断変形のいずれか又はこれらの組み合わせを計測し、
前記基底数設定部は、前記姿勢変化の種類として、平行移動のみが計測された場合に前記基準点の数を１と決定し、拡大、縮小もしくは回転のいずれか一以上の姿勢変化又はその姿勢変化と平行移動の組み合わせの姿勢変化が計測された場合に前記基準点の数を２と決定し、せん断変形又はせん断変形と平行移動、拡大、縮小、回転のいずれか一以上の組み合わせの姿勢変化が計測された場合に前記基準点の数を３と決定する
付記２に記載のマーカ生成装置。

（付記４） 前記特徴抽出手段は、前記特徴点の位置情報を抽出する特徴抽出部を有し、
前記映像入力手段は、異なる時刻の対応する二以上の背景画像を入力し、
前記計測手段は、前記二以上の背景画像から抽出された特徴点の位置の変化にもとづき前記姿勢変化の種類を計測する
付記２又は付記３に記載のマーカ生成装置。

（付記５） 前記計測手段は、
当該計測手段によって計測された姿勢変化の種類に応じて前記基準点の数を算出する基底数算出部と、
前記基底数算出部の処理に応じ、当該算出された第一の基準点数と、先にマーカを生成した際の前記変換処理において用いられた基準に係る第二の基準点数とが一致するか否かを判定する基底数判定部と
を有し、
前記基底数設定部は、前記第一の基準点数と前記第二の基準点数とが一致しないと判定された場合に、前記第一の基準点数を前記変換処理に用いる基準点の数として決定し、
前記不変特徴変換手段は、前記第一の基準点数を用いた写像処理を実行する
付記２から付記４のいずれかに記載のマーカ生成装置。

（付記６） 前記不変特徴変換手段は、
前記第一の基準点数と前記第二の基準点数とが一致すると判定された場合には、以降にこれらの基準点数の不一致が判定されるまで、前記所定の変換処理の実行を停止する
付記５に記載のマーカ生成装置。

（付記７） 前記基底数設定部は、入力操作に応じ、前記基準点の数を１〜３のいずれかに決定する
付記２から付記６のいずれかに記載のマーカ生成装置。

（付記８） マーカ生成装置とマーカ検出装置とを有し、
前記マーカ生成装置は、
背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、
前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、
前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、
前記特異特徴を用いてマーカを生成するマーカ生成手段と
を有し、
前記マーカ検出装置は、
生成された前記マーカを記憶するマーカ記憶手段と、
前記マーカを検出するための背景画像から抽出した特徴点を前記不変量特徴空間に表した不変量特徴群の配置の中に前記マーカの特異特徴の配置があるか否かを判断する照合手段と
を有する
マーカ生成検出システム。

（付記９） 前記マーカ生成装置は、
背景画像を入力する映像入力手段と、
入力した前記背景画像から特徴点を抽出する特徴抽出手段と
を有し、
前記計測手段は、入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測するとともに、この姿勢変化の種類に応じ、対応する基準点の数を決定する基底数設定部を有し、
前記不変特徴変換手段は、前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表し、
前記特異特徴選択手段は、前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択し、
前記マーカ生成手段は、前記特異特徴を用いてマーカを生成する
付記８に記載のマーカ生成検出システム。

（付記１０） 背景画像にもとづきこの画像中の物体の姿勢変化を計測する計測手段と、
前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す不変特徴変換手段と、
前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、
前記特異特徴を用いてマーカを生成するマーカ生成手段と、
生成された前記マーカを記憶するマーカ記憶手段と、
前記マーカを検出するための背景画像から抽出した特徴点を前記不変量特徴空間に表した不変量特徴群の配置の中に前記マーカの特異特徴の配置があるか否かを判断する照合手段と
を有するマーカ生成検出装置。

（付記１１） 背景画像を入力する映像入力手段と、
入力された前記背景画像から特徴点を抽出する特徴抽出手段と
を有し、
前記計測手段が、入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測するとともに、この姿勢変化の種類に応じ、対応する基準点の数を決定する基底数設定部を有し、
前記不変特徴変換手段は、前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表し、
前記特異特徴選択手段は、この不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択し、
前記マーカ生成手段は、この特異特徴を用いてマーカを生成する
付記１０に記載のマーカ生成検出装置。

（付記１２） 背景画像の特徴点を、この画像から計測される姿勢変化に応じた所定の変換処理によって不変量特徴空間に表し、この不変量特徴空間において前記特徴点が表れていない部分を用いて生成されたマーカ。

（付記１３） 背景画像の特徴点を、前記姿勢変化の種類に応じて決定される数の基準点を用いた写像処理によって不変量特徴空間に表し、この不変量特徴空間において前記特徴点が現れていない部分を用いて生成された付記１２に記載のマーカ。

（付記１４） 背景画像にもとづきこの画像中の物体の姿勢変化を計測する工程と、
前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す工程と、
前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する工程と、
前記特異特徴を用いてマーカを生成する工程と
を有するマーカ生成方法。

（付記１５） 背景画像を入力する工程と、
入力された前記背景画像から特徴点を抽出する工程と、
入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測するとともに、この姿勢変化の種類に応じ、対応する基準点の数を決定する工程と、
前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表す工程と、
前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する工程と、
前記特異特徴を用いてマーカを生成する工程と
を有する付記１４に記載のマーカ生成方法。

（付記１６） 情報処理装置を、
背景画像にもとづきこの画像中の物体の姿勢変化を計測する手段、
前記背景画像から抽出した特徴点を前記姿勢変化に応じた所定の変換処理によって不変量特徴空間に表す手段、
前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する手段、及び、
前記特異特徴を用いてマーカを生成する手段、
として機能させるマーカ生成プログラム。

（付記１７） 前記情報処理装置を、
背景画像を入力する手段、
入力された前記背景画像から特徴点を抽出する手段、
入力された前記背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測するとともに、この姿勢変化の種類に応じ、対応する基準点の数を決定する手段、
前記所定の変換処理として、前記背景画像から抽出された各特徴点を前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表す手段、
前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する手段、及び、
前記特異特徴を用いてマーカを生成する手段、
として機能させる付記１６に記載のマーカ生成プログラム。

以上、本発明のマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムの好ましい実施形態について説明したが、本発明に係るマーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びマーカ生成プログラムは上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。

例えば、上述した実施形態では、マーカ生成手段がマーカを一つのみ生成することとしたが、マーカを複数生成することもできる。

本出願は、２００９年７月２３日に出願された日本出願特願２００９−１７１８３７号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、マーカの生成に関する発明であるため、マーカの生成を行う装置や機器、さらには、物品管理、フィジカルセキュリティをはじめとする映像モニタリング、ロボットビジョン、複合実現感ＵＩ、コンテンツ生成応用といった用途に利用可能である。

１ マーカ生成装置
１０ 映像入力手段
２０ 特徴抽出手段
３０ 不変特徴変換手段
４０ 特異特徴変換手段
５０ マーカ生成手段
６０ 自由度計測手段
６１ 自由度検出部
６２ 基底数設定部
６３ 基底数算出部
６４ 基底数判定部
１００ マーカ検出装置
１０００ マーカ生成検出装置
２０００ マーカ生成検出システム

Claims (16)

1. 背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測する計測手段と、
   前記姿勢変化の種類に応じ、対応する基準点の数を決定する基底数設定手段と、
   前記背景画像から抽出した各特徴点を、前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表す不変特徴変換手段と、
   前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、
   前記特異特徴を用いてマーカを生成するマーカ生成手段と
   を有するマーカ生成装置。
2. 背景画像を入力する映像入力手段と、
   入力された前記背景画像から特徴点を抽出する特徴抽出手段と
   を有する請求項１に記載のマーカ生成装置。
3. 前記計測手段は、前記姿勢変化の種類として、平行移動、拡大、縮小、回転もしくはせん断変形のいずれか又はこれらの組み合わせを計測し、
   前記基底数設定手段は、前記姿勢変化の種類として、平行移動のみが計測された場合に前記基準点の数を１と決定し、拡大、縮小もしくは回転のいずれか一以上の姿勢変化又はその姿勢変化と平行移動の組み合わせの姿勢変化が計測された場合に前記基準点の数を２と決定し、せん断変形又はせん断変形と平行移動、拡大、縮小、回転のいずれか一以上の組み合わせの姿勢変化が計測された場合に前記基準点の数を３と決定する
   請求項１に記載のマーカ生成装置。
4. 前記特徴抽出手段は、前記特徴点の位置情報を抽出する特徴抽出部を有し、
   前記映像入力手段は、異なる時刻の対応する二以上の背景画像を入力し、
   前記計測手段は、前記二以上の背景画像から抽出された特徴点の位置の変化にもとづき前記姿勢変化の種類を計測する
   請求項２に記載のマーカ生成装置。
5. 前記基底数設定手段は、
   前記計測手段によって計測された姿勢変化の種類に応じて前記基準点の数を算出する基底数算出部と、
   前記基底数算出部の処理に応じ、当該算出された第一の基準点数と、先にマーカを生成した際の前記写像処理において用いられた基準に係る第二の基準点数とが一致するか否かを判定する基底数判定部と
   を有し、
   前記基底数設定手段は、前記第一の基準点数と前記第二の基準点数とが一致しないと判定された場合に、前記第一の基準点数を前記写像処理に用いる基準点の数として決定し、
   前記不変特徴変換手段は、前記第一の基準点数を用いた写像処理を実行する
   請求項１から請求項４のいずれかに記載のマーカ生成装置。
6. 前記不変特徴変換手段は、
   前記第一の基準点数と前記第二の基準点数とが一致すると判定された場合には、以降にこれらの基準点数の不一致が判定されるまで、前記写像処理の実行を停止する
   請求項５に記載のマーカ生成装置。
7. 前記基底数設定手段は、入力操作に応じ、前記基準点の数を１〜３のいずれかに決定する
   請求項１から請求項６のいずれかに記載のマーカ生成装置。
8. マーカ生成装置とマーカ検出装置とを有し、
   前記マーカ生成装置は、
   背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測する計測手段と、
   前記姿勢変化の種類に応じ、対応する基準点の数を決定する基底数設定手段と、
   前記背景画像から抽出した各特徴点を、前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表す不変特徴変換手段と、
   前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、
   前記特異特徴を用いてマーカを生成するマーカ生成手段と
   を有し、
   前記マーカ検出装置は、
   生成された前記マーカを記憶するマーカ記憶手段と、
   前記マーカを検出するための背景画像から抽出した特徴点を前記不変量特徴空間に表した不変量特徴群の配置の中に前記マーカの特異特徴の配置があるか否かを判断する照合手段と
   を有する
   マーカ生成検出システム。
9. 前記マーカ生成装置は、
   背景画像を入力する映像入力手段と、
   入力した前記背景画像から特徴点を抽出する特徴抽出手段と
   を有する請求項８に記載のマーカ生成検出システム。
10. 背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測する計測手段と、
    前記姿勢変化の種類に応じ、対応する基準点の数を決定する基底数設定手段と、
    前記背景画像から抽出した各特徴点を、前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表す不変特徴変換手段と、
    前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する特異特徴選択手段と、
    前記特異特徴を用いてマーカを生成するマーカ生成手段と、
    生成された前記マーカを記憶するマーカ記憶手段と、
    前記マーカを検出するための背景画像から抽出した特徴点を前記不変量特徴空間に表した不変量特徴群の配置の中に前記マーカの特異特徴の配置があるか否かを判断する照合手段と
    を有するマーカ生成検出装置。
11. 背景画像を入力する映像入力手段と、
    入力された前記背景画像から特徴点を抽出する特徴抽出手段と
    を有する請求項１０に記載のマーカ生成検出装置。
12. 背景画像の特徴点を、この画像から計測される姿勢変化の種類に応じて決定される数の基準点を用いた写像処理によって不変量特徴空間に表し、この不変量特徴空間において前記特徴点が表れていない部分を用いて生成されたマーカ。
13. 背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測する工程と、
    前記姿勢変化の種類に応じ、対応する基準点の数を決定する工程と、
    前記背景画像から抽出した各特徴点を、前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表す工程と、
    前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する工程と、
    前記特異特徴を用いてマーカを生成する工程と
    を有するマーカ生成方法。
14. 背景画像を入力する工程と、
    入力された前記背景画像から特徴点を抽出する工程と
    を有する請求項１３に記載のマーカ生成方法。
15. 情報処理装置を、
    背景画像にもとづきこの画像中の物体の姿勢変化の種類を計測する手段、
    前記姿勢変化の種類に応じ、対応する基準点の数を決定する基底数設定手段、
    前記背景画像から抽出した各特徴点を、前記決定した数の基準点を用いた写像処理によって不変量特徴空間に表す手段、
    前記不変量特徴空間において前記特徴点が表れていない部分を特異特徴として選択する手段、及び、
    前記特異特徴を用いてマーカを生成する手段、
    として機能させるマーカ生成プログラム。
16. 前記情報処理装置を、
    背景画像を入力する手段、及び
    入力された前記背景画像から特徴点を抽出する手段、
    として機能させる請求項１５に記載のマーカ生成プログラム。

Images