JP5712801B2 - 画像特徴量抽出装置及びこれを用いた画像処理によるマーカ検出装置 - Google Patents

Description

本発明は、画像処理により画像特徴量を抽出する画像特徴量抽出装置に関するものであり、また、抽出した画像特徴量を用いて登録した既知マーカを検出する、画像処理によるマーカ検出装置に関するものである。

画像処理によりマーカ検出を行う方法が以下のように提案されている。
特許文献１では、マーカの絵柄を登録画像とし撮影画像と比較することにより撮影画像からマーカを検出した。つまり、画像の輝度データ同士の比較によりマーカを検出する方法である。また、登録画像を回転した複数の検出用画像を生成し、入力画像と比較することで、検出対象マーカの回転に対応した。

特許文献２では、四角枠で囲まれたマーカを用意し、マーカの四角枠を検出することでマーカを検出した。四角枠を検出した後、四角枠を含む画像のアフィン変換を行い、アフィン変換後の四角枠内部の模様と予め登録しておいた模様とのパターンマッチング（輝度の差分等）を行い、登録しておいた模様に関連づけられた情報をプロジェクタで投影した。

特許文献３では、発光素子によりマーカを構成し、発光素子の点滅周期、点滅周期のパターンなどの検出によりマーカの識別を行った。このようなマーカを移動ロボットが動作する場所にランドマークとして配置し、移動ロボットの位置計測に用いた。

特許文献４では、対象物の所定の位置に形状と色と貼付パターンが既知のマーカを設置し、決まった位置から対象物を撮影し、所定の位置に貼り付けられたマーカを検出した。このようなマーカを計測機器に貼り付け、計測機器の画面を撮影して、そのデータを解析しデータをホストマシンヘ伝送した。

特許文献５では、マーカとしての赤外光発信器を用意し、白黒ＣＣＤカメラ（赤外光透過フィルタ付）により撮影した画像から、赤外光発信器の発光を検出することでマーカを検出し、人物の追跡に用いた。

より一般的な手法として、画像特徴量を用いて既知の特定物体を認識する方法が提案されている。例えば、非特許文献１では、各画素における輝度勾配を求め、画像の各部分の局所からＳＩＦＴ(Scale-Invariant Feature Transform)特徴量と呼ばれる画像特徴量を抽出し、登録画像を局所の画像特徴量の集まりとして表現した。さらに、この画像特徴量の照合を行い、登録画像と同じ画像特徴量が集まっている部分に対象物体が存在するとして特定物体を認識した。

特開２００７−３０４７３３ 特開２００７−２０６６１９ 特開２００６−３４６７６７ 特開２００２−２４８００ 特開平１０−１３７２９

「"Ｇｒａｄｉｅｎｔベースの特徴抽出−ＳＩＦＴとＨＯＧ"，藤吉弘亘，情報処理学会研究会報告，２００７−ＣＶＩＭ−１６０，ｐｐ．２１１−２２４」

特許文献１のような絵柄の比較によりマーカを検出する方法では、マーカのカメラからの距離が変化した場合、画像上でのマーカの見かけのサイズが変化し、絵柄同士の単純な比較ができない。これは、マーカに回転が生じた場合でも同様である。この場合、登録画像を基にサイズの異なる検出用画像および回転した検出用画像を複数枚用意する必要がある。また、多数の検出用画像をマーカの検出に用いる場合、検出用画像の数に応じて計算量が多くなる。

特許文献２のような四角枠を基にマーカを検出する方法では、マーカは用意した四角枠に限定され、既に設置されている標識等の一般的な対象をマーカとして利用できない。また、四角枠の抽出を基本的に二値化処理により行うため、使用できる場所が輝度変化の少ない室内等に限定される。また、影等の影響により四角枠の一部が検出できない場合、マーカを検出することができない。

特許文献３や特許文献５のような発光を基にマーカを検出する方法では、マーカは予め用意した特定の発光物体に限定され、既に設置されている標識等の一般的な対象をマーカとして利用できない。この方法では発光物体を用意する必要があり、また、発光させるための電源等の設置を行う必要がある。

特許文献４のような対象物の所定の位置にマーカを設置する方法では、カメラとマーカの位置姿勢が限定された条件でしか使用できない。

非特許文献１のような局所的な画像特徴量を基にマーカを検出する方法では、マーカとカメラとの距離が離れた場合、画像上でのマーカのサイズが小さくなり、さらにその局所部分は小さくなるため、局所的な画像特徴量自体の抽出が難しい。

上記課題を解決する本発明の請求項１に係る画像特徴量抽出装置は、画像中から閉曲線を抽出する閉曲線抽出部と、前記閉曲線抽出部により抽出された閉曲線に外接する最小矩形を計算する最小矩形抽出部と、前記最小矩形抽出部により計算された最小矩形から画像特徴量全体の回転方向を決定する回転方向決定部と、前記閉曲線抽出部により抽出された閉曲線に囲まれた内側部分の画像の輝度情報を抽出する輝度情報抽出部と、前記閉曲線抽出部、前記最小矩形抽出部、前記回転方向決定部及び前記輝度情報抽出部により求められた閉曲線・最小矩形・回転方向・輝度情報を整理して画像特徴量を構成する画像特徴量構成部と、を備えることを特徴とする。

上記課題を解決する本発明の請求項２に係る画像特徴量抽出装置は、請求項１記載の画像特徴量抽出装置において、前記輝度情報抽出部は、閉曲線に囲まれた内側部分の画像の輝度情報を抽出する際に、前記最小矩形抽出部により計算された最小矩形を格子状に分割して小領域とし、Ｈａａｒ−Ｌｉｋｅ特徴量を算出するフィルタとして複数種類用意した識別器と前記小領域との反応結果を蓄積して前記識別器の数と同じ次元のベクトルデータとして閉曲線内部の輝度情報を抽出することを特徴とする。

上記課題を解決する本発明の請求項３に係る画像特徴量抽出装置は、請求項１記載の画像特徴量抽出装置において、前記輝度情報抽出部は、閉曲線に囲まれた内側部分の画像の輝度情報を抽出する際に、前記最小矩形抽出部により計算された最小矩形を格子状に分割して小領域とし、Ｈａａｒ−Ｌｉｋｅ特徴量を算出するフィルタとして複数種類用意した識別器と前記小領域との反応結果であるＨａａｒ−Ｌｉｋｅ特徴量を並べて前記識別器の数に前記小領域の数を乗じた次元のベクトルデータとして閉曲線内部の輝度情報を抽出することを特徴とする。

上記課題を解決する本発明の請求項４に係る画像特徴量抽出装置は、請求項１記載の画像特徴量抽出装置において、前記回転方向決定部は、前記最小矩形抽出部により計算された最小矩形内の各画素に対する輝度勾配方向ヒストグラムを作成し、このヒストグラムの中で最も頻度の高い階級に含まれる輝度勾配方向の平均を計算し、この平均を画像特徴量全体の回転方向として決定したことを特徴とする。

上記課題を解決する本発明の請求項５に係る画像特徴量抽出装置は、請求項１，２，３又は４記載の画像特徴量抽出装置において、前記最小矩形抽出部は、前記閉曲線抽出部により抽出された閉曲線に外接する最小矩形を、画像座標軸に関係なく、計算することを特徴とする。

上記課題を解決する本発明の請求項６に係る画像特徴量抽出装置は、請求項１，２，３又は４記載の画像特徴量抽出装置において、前記最小矩形抽出部は、前記閉曲線抽出部により抽出された閉曲線に外接する、画像座標軸に平行乃至垂直な辺を持つ最小矩形を計算する一方、前記回転方向決定部により画像特徴量全体の回転方向が決定された場合には、決定された画像特徴量全体の回転方向に基づいて回転させた画像座標軸に平行乃至垂直な辺を持つ最小矩形として訂正することを特徴とする。

上記課題を解決する本発明の請求項７に係る画像処理によるマーカ検出装置は、請求項１，２，３，４，５又は６記載の画像特徴量抽出装置により抽出された画像特徴量を用いて予め登録した既知マーカを検出することを特徴とする。

上記課題を解決する本発明の請求項８に係る画像処理によるマーカ検出装置は、請求項１，２，３，４，５又は６記載の画像特徴量抽出装置を使用して検出対象とするマーカを撮影した画像（以下、基準画像）から複数の画像特徴を抽出する画像特徴量抽出部と、前記基準画像から抽出された複数の画像特徴量から検出に用いる画像特徴量を選択する処理設定部と、前記画像特徴量抽出部を使用して入力画像から抽出された画像特徴量と前記処理設定部により選択され検出に用いられる画像特徴量との比較を行う画像特徴量比較部と、前記画像特徴量比較部による比較結果から前記マーカに適合したと判定するマーカ検出部と、を備えることを特徴とする。

上記課題を解決する本発明の請求項９に係る画像処理によるマーカ検出装置は、請求項１，２，３，４，５又は６記載の画像特徴量抽出装置を使用して基準画像から複数の画像特徴を抽出する画像特徴量抽出部と、前記基準画像から抽出された複数の画像特徴量から検出に用いる画像特徴量を選択する処理設定部と、前記画像特徴量抽出部を使用して入力画像から抽出された画像特徴量と前記処理設定部により選択され検出に用いられる画像特徴量との輝度情報を表す高次元ベクトル同士のユークリッド距離を求めることにより画像特徴量同士の比較を行う画像特徴量比較部と、前記画像特徴量比較部により求められた前記ユークリッド距離がある閾値より近い場合には前記マーカに適合したと判定するマーカ検出部と、を備えることを特徴とする。

上記課題を解決する本発明の請求項１０に係る画像処理によるマーカ検出装置は、請求項１，２，３，４，５又は６記載の画像特徴量抽出装置を使用して基準画像から複数の画像特徴を抽出する画像特徴量抽出部と、前記基準画像から抽出された複数の画像特徴量から検出に用いる画像特徴量を選択する処理設定部と、前記画像特徴量抽出部を使用して入力画像から抽出された画像特徴量と前記処理設定部により選択され検出に用いられる画像特徴量との輝度情報を表す高次元ベクトル同士の相互相関を求めることにより画像特徴量同士の比較を行う画像特徴量比較部と、前記画像特徴量比較部により求められた前記相互相関がある閾値より近い場合には前記マーカに適合したと判定するマーカ検出部と、を備えることを特徴とする。

（１）対象物のサイズ変化・回転に影響を受け難い画像特徴量を抽出することができる。
（２）画像上での見え方が小さい対象についても画像特徴量を抽出することができる。
（３）マーカのサイズ変化・回転に影響を受け難いマーカ検出を行うことができる。
（４）画像上での見え方が小さいマーカについても検出することが出来る。
（５）対象物のサイズ変化・回転に影響を受け難い画像特徴量を用いてマーカ検出を行うため、１つのマーカに対して１つの登録データを持っておくだけで良く、カメラとマーカとの距離やマーカの回転に合わせて多数の登録データを用意する必要がない。
（６）閉曲線が完全に閉じていない場合でも画像特徴量を抽出できるため、マーカ上の１部が何らかの陰に隠れている場合でもマーカ検出を行うことができる。
（７）マーカとして発光体や四角枠といった指定がなく、より一般的な対象物を検出対象とすることができる。

閉曲線抽出結果の例を示す説明図である。 最小矩形計算結果（画像座標系に無関係）の例を示す説明図である。 画像特徴量全体の回転方向を求めるための輝度勾配方向に関するヒストグラムの例を示す説明図である。 画像特徴量全体の回転方向の例を示す説明図である。 輝度情報抽出のための識別器を示す説明図である。 閉曲線内部の輝度情報を調べるために最小矩形を格子状に分割した例の説明図である。 識別器の一つをある小領域に当てはめた例を示す説明図である。 識別器に対する応答の蓄積結果の例を示すグラフである。 本発明の第１の実施例に係る画像特徴量抽出を示すフローチャートである。 本発明の第１の実施例に係る画像特徴量抽出装置の構成例を示すブロック図である。 基準画像から画像特徴量を抽出した結果の例を示す説明図である。 検出に用いる画像特徴量を選択した例を示す説明図である。 入力画像から画像特徴量を抽出した結果の例を示す説明図である。 マーカ検出結果の例を示す説明図である。 本発明の第４の実施例に係るマーカ検出を示すフローチャートをある。 本発明の第４の実施例に係るマーカ検出装置を示すブロック図である。 図１７（ａ）（ｂ）は最小矩形（画像座標系に依存）の例を示す説明図である。 図１８（ａ）（ｂ）は再設定された最小矩形の例を示す説明図である。 本発明の第２の実施例に係る画像特徴量抽出を示すフローチャートである。 本発明の第２の実施例に係る画像特徴量抽出装置の構成例を示すブロック図である。 Ｈａａｒ−Ｌｉｋｅ特徴量の算出結果の例を示すグラフである。 本発明の第３の実施例に係る画像特徴量抽出装置の構成例を示すブロック図である。

以下、本発明について、図面に示す実施例を参照して説明する。

本発明の基本的な考え方について、実施例１に基づき説明する。
本発明の目的は、既知対象物の検出に利用できる画像特徴量を抽出する画像特徴量抽出装置を提供することである。
生活環境において道路標識・案内板・看板・表札・ワッペン・背番号・ステッカー等のように、対象物を示す目印が付いている場合が多い。また、これら目印は枠に囲まれている場合が多い。
そこで、本発明では、枠を閉曲線として抽出し、さらに閉出線に囲まれた内側部分の画像の輝度情報を抽出して整理し、画像特徴量を構成する。

本発明の第１の実施例に係る画像特徴量抽出装置１０の構成例を図１０に示す、
本実施例の画像特徴量抽出装置１０は、画像入力部１１、記憶部１２、処理設定部１３、閉曲線抽出部１４、最小矩形抽出部１５、回転方向決定部１６、輝度情報抽出部１７、画像特徴量構成部１８、データ出力部１９から構成する。
画像入力部１１は、画像データを入力し記憶部１２へ保管する。

閉曲線抽出部１４は、記憶部１２に保管された画像データから閉曲線を抽出し、閉曲線データを作成する。作成された閉曲線データは記憶部１２に保管される。
最小矩形抽出部１５は、記憶部１２に保管された閉曲線データから閉曲線に外接する最小矩形を、画像座標軸とは無関係に計算し、最小矩形データを作成する。作成された最小矩形データは記憶部１２に保管される。

回転方向決定部１６は、記憶部１２に保管された最小矩形データと画像データから最小矩形内の各画素に対する輝度勾配方向ヒストグラムを作成し、ヒストグラムの中で最も頻度の高い階級に含まれる輝度勾配方向の平均を計算し、これを画像特徴量全体の回転方向として決定して、回転方向データを作成する。作成された回転方向データは記憶部１２に保管される。

輝度情報抽出部１７は、記憶部１２に保管された最小矩形データと画像データから識別器により閉曲線内部の輝度情報を識別器の反応結果を基にした高次元ベクトルとして抽出し、輝度情報データを作成する。即ち、閉曲線に囲まれた内側部分の画像の輝度情報を抽出する際に、Ｈａａｒ−Ｌｉｋｅ特徴量の領域の明暗を指定した識別器を複数種類用意し、これらの識別器の反応結果を蓄積して識別器の数と同じ次元のベクトルデータとして閉曲線内部の輝度情報を抽出する。作成された輝度情報データは記憶部１２に保管される。

処理設定部１３は、輝度勾配方向のヒストグラムを作成するための分割数・閉曲線内部の輝度情報を抽出するための最小矩形の分割数等の処理パラメータを設定する。設定された処理パラメータは記憶部１２に保管される。
画像特徴量構成部１８は、抽出した各種データをまとめて画像特徴量データを構成する。即ち、記憶部１２に保管された閉曲線データ・最小矩形データ・回転方向データ・輝度情報データを整理して画像特徴量を構成する。ここで、「整理」とは、抽出した各種データをまとめることである。構成された画像特徴量は記憶部１２に保管される。
記憶部１２は、各種データの保管を行う。
データ出力部１９は、画像特徴量データの外部への出力を行う。

上記構成を有する本実施例の画像特徴量抽出装置１０は、具体的には、次の手順により画像特徴量を抽出する。（１）入力された画像中から閉曲線を抽出する。（２）閉曲線に対して外接する最小矩形を求める。（３）画像特徴量全体の回転方向を決める。（４）閉曲線内部の輝度情報を抽出する。（５）閉曲線・最小矩形・回転方向・輝度情報を整理し画像特徴量を構成する。
それぞれの手順について、図９に示すフローチャートを参照して説明する。

（１）画像入力部１１は画像を入力し（ステップＳ１）、閉曲線抽出部１４は入力された画像中から閉曲線を抽出する（ステップＳ２）。
閉曲線抽出結果の例を図１に示す。図１の左側の閉曲線抽出結果に示すように、閉曲線が完全に閉じておらず一部が欠けていても良い。
画像から閉曲線を抽出する方法としては、特許３４２８２５１、特許３６２７３６５、特許３６９５４４２，「”三次元円検出による部品位置決めと事前のハンド干渉チェックにより実現した視覚ベースピンピッキングシステム”， 恩田寿和他，日本ロボット学会誌，ＶｏＬ．１８，Ｎｏ.７，ｐｐ．９９５−１００２，２０００」と同様の方法を用いることができる。例えば、入力画像をエッジ処理してエッジ画像を取得し、エッジ画像から閉曲線を抽出する。

（２）最小矩形抽出部１５は、画像座標軸とは無関係に、閉曲線に対して外接する最小矩形を求める（ステップＳ３）。最小矩形計算結果の例を図２に示す。図２に示すように、最小矩形は閉曲線に対して外接するように画像座標軸に対して回転するため、最小矩形の辺は画像座標軸とは必ずしも平行乃至垂直とはならない。

（３）回転方向決定部１６は、画像特徴量全体の回転方向を決める（ステップＳ４）。
まず、最小矩形内の各画素に対して輝度勾配方向を求める。
次に、これらの輝度勾配方向についてヒストグラムを作成する。ヒストグラムの分割数については３２方向・６４方向等予め設定しておく。
ヒストグラムの中で最も頻度の高い階級に含まれる輝度勾配方向の平均を計算し、これを画像特徴量全体の回転方向とする。
輝度勾配方向に関するヒストグラムの例を図３に、画像特徴量全体の回転方向の例を図４に示す。

（４）輝度情報抽出部１７は、閉曲線内部の輝度情報を抽出する（ステップＳ５）。
輝度情報の抽出にはＨａａｒ−Ｌｉｋｅ特徴量を用いる。
Ｈａａｒ−Ｌｉｋｅ特徴量とは、２つの領域（黒領域と白領域）の輝度差を特徴量とするものである（参考文献：「コンピュータビジョン最先端ガイド２」アドコム・メディア出版，２０１０年発行）。
本実施例では、Ｈａａｒ−Ｌｉｋｅ特徴量を算出するフィルタ（以下、Ｈａａｒ−Ｌｉｋｅフィルタと呼ぶ）として図５に示す識別器を使用する。即ち、Ｈａａｒ−Ｌｉｋｅ特徴量の領域の明暗を指定した識別器により閉曲線内部の輝度情報を抽出する。

本実施例で用いる輝度情報抽出のための識別器は、図５に示すように、８種類であり、正方形を上下又は左右に分割し白黒乃至黒白に塗り分けたもの、二つ正方形を対角的に配置し白黒乃至黒白に塗り分けたものである。これらの識別器にはフィルタ番号が付される。
この識別器は、図５中の黒の領域よりも白の領域の輝度値が高い（明るい）場合は１を返し、逆の場合は０を返す。従って、このような識別器によれば、縦方向の明暗差、横方向の明暗差、斜め方向の明暗差を捉えることができる。
閉曲線内部の輝度情報を調べるために、図６に示すように最小矩形を格子状に分割する。最小矩形を何分割するかについては予め設定しておく。
こうして分割した最小矩形の全ての小領域に対して、図５で説明した輝度情報を抽出するための識別器をそれぞれ当てはめ、その識別器に対する反応を蓄積する。

図７に識別器の一つをある小領域に当てはめた例を示す。このように識別器の大きさは小領域の大きさに合わせて伸張する。
この処理を行った後、識別器に対する反応の蓄積結果を並べると、図８のようなヒストグラム状の反応結果を得ることができる。
この識別器に対する反応結果を数値で並べた場合、識別器の種類と同じ次元のベクトルデータを得ることが出来る。
そこで、図５に示した識別器の場合は識別器が８種類あるので、これらの識別器から得られる反応を並べた８次元ベクトルとして閉曲線内部の輝度情報を抽出する。

（５）画像特徴量構成部１８は、閉曲線・最小矩形・回転方向・輝度情報を整理し画像特徴量を構成する（ステップＳ６）。
本実施例の画像特徴量は、今までの手順で得られた次の情報を含む。即ち、閉曲線のデータ、最小矩形の各頂点の位置データ、画像特徴量全体の回転方向、識別器により抽出した高次元ベクトルにより示される閉曲線内部の輝度情報を含む。

上記構成を有する画像特徴量抽出装置１０の効果としては、対象物のサイズ変化・回転に影響を受け難い画像特徴量を抽出することができる。
また、閉曲線内部に含まれる全体から画像の輝度情報を抽出して画像特徴量を構成するため、局部的な画像特徴量抽出方法に比べて画像上での見え方が小さい対象についても画像特徴量を抽出することができる。

本発明の第２の実施例に係る画像特徴量抽出装置１０ａの構成例を図２０に示す。
本実施例の画像特徴量抽出装置１０ａは、前述した実施例１と同様な基本的な構成を有するが、実施例１の最小矩形抽出部１５に代えて最小矩形抽出部（訂正機能付き）１５ａを用いる点に特徴がある。
即ち、本実施例で使用する最小矩形抽出部（訂正機能付き）１５ａは、実施例１の最小矩形抽出部１５が画像座標軸に無関係に、閉曲線抽出部１４により抽出された閉曲線に外接する最小矩形を計算するのと異なり、図１７（ａ）（ｂ）に示すように、閉曲線抽出部１４により抽出された閉曲線に外接する、画像座標軸に平行乃至垂直な辺を持つ最小矩形を計算するものである。

そのため、図１７（ａ）（ｂ）に示す通り、形は同一であるにもかかわらず、画像座標系に対する方向が異なる閉曲線は、異なる最小矩形が計算されてしまう。そのため、最小矩形を格子状の小領域に分割して輝度情報を抽出すると異なる結果が得られてしまうことになる。
そこで、本実施例で使用する最小矩形抽出部（訂正機能付き）１５ａは、図１８（ａ）（ｂ）に示すように、回転方向決定部１６により画像特徴量全体の回転方向（図中矢印で示す）が決定された場合には、その画像特徴量の回転方向に基づき、画像特徴量全体の回転方向を１つの軸に設定し、それに直交する方向をもう１つの軸に設定する。そして、この座標系において画像座標軸に平行な辺を持つ最小矩形を再設定するのである。つまり、縦軸が画像特徴量全体の回転方向に一致するように画像座標系を回転させ、回転した画像座標軸に対して平行乃至垂直な辺を持つ最小矩形として訂正するのである。

従って、閉曲線に外接する最小矩形は、回転した画像座標系の縦軸横軸に対して、平行乃至垂直な辺を持つことになる。
このようにして訂正された最小矩形に基づけば、図１８（ａ）（ｂ）に示すように、最小矩形と画像特徴量全体の回転方向との相関関係が一定となり、格子状に分割された小領域から輝度情報を抽出すると同一結果が得られるという特徴がある。
上記構成を有する本実施例の画像特徴量抽出装置１０ａは、具体的には、図１９に示す手順に従って、画像特徴量を抽出する。

（１）画像入力部１１は画像を入力し（ステップＴ１）、閉曲線抽出部１４は入力された画像中から閉曲線を抽出する（ステップＴ２）。
画像から閉曲線を抽出する方法としては、実施例１と同様な方法を採用することができ、例えば、入力画像をエッジ処理してエッジ画像を取得し、エッジ画像から閉曲線を抽出する。

（２）最小矩形抽出部１５は、画像座標系に応じて閉曲線に対して外接する最小矩形を求める（ステップＴ３）。この時点では、画像特徴量全体の回転方向が決定されていないため、図１７に示すように、閉曲線抽出部１４により抽出された閉曲線に外接する、画像座標軸に平行乃至垂直な辺を持つ最小矩形を計算する。

（３）回転方向決定部１６は、画像特徴量全体の回転方向を決める（ステップＴ４）。
即ち、実施例１と同様に、先ず、最小矩形内の各画素に対して輝度勾配方向を求め、次に、これらの輝度勾配方向についてヒストグラムを作成し、ヒストグラムの中で最も頻度の高い階級に含まれる輝度勾配方向の平均を計算し、これを画像特徴量全体の回転方向とする。

（４）最小矩形抽出部１５は、画像特徴量全体の回転方向に基づいて最小矩形を再設定する（ステップＴ５）。
即ち、回転方向決定部１６により画像特徴量全体の回転方向が決定されているため、図１８に示すように、この座標系において画像座標軸に平行な辺を持つ最小矩形を再設定するのである。つまり、縦軸が画像特徴量全体の回転方向に一致するように画像座標系を回転させ、回転した画像座標軸に対して平行乃至垂直な辺を持つ最小矩形として訂正するのである。

（５）輝度情報抽出部１７は、閉曲線内部の輝度情報を抽出する（ステップＴ６）。
輝度情報の抽出には、実施例１と同様に、Ｈａａｒ−Ｌｉｋｅ特徴量を用いるものであり、Ｈａａｒ−Ｌｉｋｅフィルタとして図５に示す識別器を使用する。
但し、閉曲線内部の輝度情報を調べるために、ステップＴ５で訂正された最小矩形を格子状に分割する。こうして分割した最小矩形の全ての小領域に対して、図５に示す識別器をそれぞれ当てはめ、その識別器に対する反応を蓄積する。

この識別器に対する反応結果を数値で並べた場合、識別器の種類と同じ次元のベクトルデータを得ることが出来る。
（５）画像特徴量構成部１８は、閉曲線・最小矩形・回転方向・輝度情報を整理し画像特徴量を構成する（ステップＴ７）。
本実施例の画像特徴量は、実施例１で求めた画像特徴量に比較し、訂正された最小矩形についての画像特徴量を含む点に特徴がある。
上記構成を有する画像特徴量抽出装置１０ａの効果としては、実施例１と同様に、対象物のサイズ変化・回転に影響を受け難い画像特徴量を抽出することができ、また、閉曲線内部に含まれる全体から画像の輝度情報を抽出して画像特徴量を構成するため、局部的な画像特徴量抽出方法に比べて画像上での見え方が小さい対象についても画像特徴量を抽出することができる。

更に、画像特徴量全体の回転方向に基づいて画像座標系を回転させて最小矩形を訂正するため、画像特徴量全体の回転方向と最小矩形との相関関係が一定となり、最小矩形を小領域に分割して輝度情報を抽出すると同一結果が得られる利点がある。

本発明の第３の実施例に係る画像特徴量抽出装置１０ｂの構成例を図２２に示す。
本実施例の画像特徴量抽出装置１０ｂは、前述した実施例１と同様な基本的な構成を有するが、実施例１の輝度情報抽出部１７に代えて輝度情報抽出部１７ａを用いる点に特徴がある。

即ち、実施例１の輝度情報抽出部１７は、閉曲線内の小領域毎に識別器の反応を蓄積した８次元ベクトルとして輝度情報を抽出しているが、閉曲線形状や閉曲線に囲まれた内側部分の輝度情報が異なる場合でも、小領域毎に識別器の反応を蓄積していくと最終的な８次元ベクトルが似ている輝度特徴を示すことがあり、マーカの誤検出が起こる可能性がある。これは、輝度情報であるベクトルデータの次元数が低く、情報量が少ないためである。
そこで、本実施例の輝度情報抽出部１７ａは、輝度情報の抽出にはＨａａｒ−Ｌｉｋｅ特徴量を用いる点では共通するが、ベクトルデータの次元数を増大させた点に特徴がある。

即ち、Ｈａａｒ−Ｌｉｋｅ特徴量とは、２つの領域（黒領域と白領域）の輝度差を特徴量とするものであり、８種類のＨａａｒ−Ｌｉｋｅフィルタとして図５に示す識別器を使用する。閉曲線内部の輝度情報を調べるため、図６に示すように最小矩形を格子状の小領域に分割する。こうして分割した最小矩形の全ての小領域に対して、８種類のＨａａｒ−Ｌｉｋｅフィルタ（識別器）をそれに当てはめていき、Ｈａａｒ−Ｌｉｋｅ特徴量を算出する。
図７にＨａａｒ−Ｌｉｋｅフィルタの一つをある小領域に当てはめた例を示す。このようにＨａａｒ−Ｌｉｋｅフィルタの大きさは小領域の大きさに合わせて伸張する。
この処理を行った後、小領域毎に得られた８個のＨａａｒ−Ｌｉｋｅ特徴量を小領域の順番に並べると、図２１のようなヒストグラム状の結果を得ることができる。

そこで、これらのＨａａｒ−Ｌｉｋｅ特徴量を並べた、（８×小領域数）次元のベクトルデータを閉曲線内部の輝度情報として抽出する。
このように輝度情報の抽出方法を変更することで、図２１に示すようにベクトルデータの次元数が増え、また、各ベクトルデータはＨａａｒ−Ｌｉｋｅ特徴量（０．０〜２５５．０）であるため、Ｈａａｒ−Ｌｉｋｅフィルタの種類と同じ次元のベクトルデータとする手法に比べて多い情報量で輝度情報を表現できる。
さらに、閉曲線内の模様の位置によるＨａａｒ−Ｌｉｋｅ特徴量の偏りも表現することができる。
これにより、閉曲線形状や閉曲線に囲まれた内側部分の輝度情報が異なる場合、似たようなベクトルデータになることが無くなる。

上記構成を有する本実施例の画像特徴量抽出装置１０ｂは、具体的には、図９に示す手順に従って、画像特徴量を抽出する。
但し、ステップＳ５においては、本実施例の輝度情報抽出部１７ａは、輝度情報の抽出にはＨａａｒ−Ｌｉｋｅ特徴量を用いる点では実施例１とは共通するが、上述した通り、ベクトルデータの次元数を増大させた点に特徴がある。
上記構成を有する画像特徴量抽出装置１０ｂの効果としては、実施例１と同様に、対象物のサイズ変化・回転に影響を受け難い画像特徴量を抽出することができ、また、閉曲線内部に含まれる全体から画像の輝度情報を抽出して画像特徴量を構成するため、局部的な画像特徴量抽出方法に比べて画像上での見え方が小さい対象についても画像特徴量を抽出することができる。

更に、本実施例では、輝度情報の抽出方法を変更することで、図２１に示すようにベクトルデータの次元数が増え、Ｈａａｒ−Ｌｉｋｅフィルタの種類と同じ次元のベクトルデータとする手法に比べて多い情報量で輝度情報を表現できる。さらに、閉曲線内の模様の位置によるＨａａｒ−Ｌｉｋｅ特徴量の偏りも表現することができる。
尚、本実施例は、実施例１と同様な基本的な構成を有するが、これに代えて、実施例２と同様な基本的な構成を有するものとしても良い。つまり、実施例２と実施例３との組み合わせが可能であり、最小矩形抽出部（訂正機能付き）１５ａで訂正された最小矩形に基づいて輝度情報抽出部１７ａにより輝度情報としてベクトルデータの次元数を増大させたＨａａｒ−Ｌｉｋｅ特徴量を抽出することもできる。

本実施例は、実施例１，２，３或いは実施例２，３の組合で抽出した画像特徴量を用いて登録した既知マーカを検出する、画像処理によるマーカ検出装置を提供するものである。

本発明の一実施例に係るマーカ検出装置２０の構成例を図１６に示す。
本実施例に係るマーカ検出装置２０は、画像入力部２１、記憶部２２、処理設定部２３、画像特徴量抽出部２４、画像特徴量比較部２５、マーカ検出部２６、データ出力部２７から構成する。
画像入力部２１は、画像データを入力し記憶部２２へ保管する。検出対象とするマーカを撮影した画像は基準画像として記憶部２２へ保管される。基準画像以外の画像は入力画像として記憶部２２へ保管される。

処理設定部２３は、基準画像から抽出した複数の画像特徴量から検出に用いる画像特徴量を選択する。また、マーカ検出に用いるユークリッド距離の閾値等の処理パラメータを設定する。選択された画像特徴量、処理パラメータは記憶部２２へ保管される。

画像特徴量抽出部２４は、画像データから画像特徴量データを作成する。この処理は実施例１のものを使用する。即ち、画像特徴量抽出部２４として、図１０に示す画像特徴量抽出装置１０を使用する。抽出された画像特徴量は、記憶部２２へ保管される。
画像特徴量比較部２５は、入力画像から抽出した画像特徴量と検出に用いる画像特徴量との輝度情報を表す高次元ベクトル同士のユークリッド距離を求めることにより画像特徴量同士の比較を行い、このユークリッド距離から成る画像特徴量比較結果データを作成する。作成された画像特徴量比較結果データはマーカ検出部２６へ送られる。

マーカ検出部２６は、画像特徴量比較結果データと処理パラメータ（ユークリッド距離の閾値等）を基に、検出に用いる画像特徴量に適合する入力画像から抽出した画像特徴量の特定を行い、マーカ検出結果データを作成する。即ち、輝度情報を表す高次元ベクトル間のユークリッド距離が設定した距離よりも近ければ適合したと判断し、その入力画像から抽出した画像特徴量をマーカ検出結果とする。マーカ検出結果は、記憶部２２へ保管される。
尚、画像特徴量比較部２５は、ユークリッド距離に代えて、相互相関を用いて、画像特徴量比較結果データを作成しても良く、その場合は、マーカ検出部２６は、ユークリッド距離に代えて、相互相関を用いて、適合したか否かを判断し、マーカ検出結果とすることもできる。相互相関は、相互相関係数により、その相似度を相互相関法で計算することにより求められる（村井・近津監修，（社）日本写真測量学会動体計測研究会編，「デジタル写真測量の理論と実践」，（社）日本測量協会発行，２００４）。
記憶部２２は、各種データの保管を行う。
データ出力部２７は、マーカ検出結果データの外部への出力を行う。

本実施例に係るマーカ検出装置２０では、次の手順により既知マーカを検出する。（１）検出対象とするマーカを撮影した画像（即ち、基準画像）を入力し、基準画像から画像特徴量を抽出する。（２）基準画像から抽出した複数の特徴量から、検出対象の検出に用いる画像特徴量を選択する。（３）入力画像から画像特徴量を抽出する。（４）入力画像から抽出した画像特徴量と検出に用いる画像特徴量との比較を行う。（５）画像特徴量同士の比較結果から検出に用いる画像特徴量に適合する入力画像から抽出した画像特徴量を特定し、それをマーカ検出結果とする。
それぞれの手順について、図１５に示すフローチャートを参照して説明する。

（１）画像入力部２１は、検出対象とするマーカを撮影した基準画像を入力し（ステップＳ１１）、画像特徴量抽出部２４は、基準画像から画像特徴量を抽出する（ステップＳ１２）。
基準画像から画像特徴量を抽出する方法は、一例として、実施例１の方法を用いた。具体的には、画像特徴量抽出部２４として図１０に示す画像特徴量抽出装置１０を使用し、画像特徴量を抽出した。基準画像から画像特徴量を抽出した結果の例を図１１に示す。画像特徴量を抽出する方法としては、実施例２、実施例３又は実施例２と実施例３の組合せを用いても良い。

（２）処理設定部２３により、基準画像から抽出した複数の特徴量から、検出対象の検出に用いる画像特徴量を選択して登録する（ステップＳ１３）。
先ず、検出対象の検出に用いる画像特徴量を選択する。検出に用いる画像特徴量を選択した例を図１２に示す。検出する画像特徴量を選択する方法は、基準画像から抽出した複数の画像特徴量のリストの中から作業者が１又は２以上を選択する。画像特徴量のリストから順次１つの画像特徴量を画面上に表示し、検出に用いるか否かを判断しても良い。
また、基準画像から抽出した全ての画像特徴量を画面上に表示し、マウス等のユーザインタフェースを用いて、検出に用いる画像特徴量を作業者が適宜選んでも良い。
こうして選択した画像特徴量を、検出に用いる画像特徴量として登録しておく。

（３）画像入力部２１は、画像を入力し（ステップＳ１４）、画像特徴量抽出部２４は、入力画像から画像特徴量を抽出する（ステップＳ１５）。
入力画像から画像特徴量を抽出する方法は、一例として、実施例１の方法を用いた。具体的には、画像特徴量抽出部２４として、図１０に示す画像特徴量抽出装置１０を使用し、画像特徴量を抽出した。入力画像から画像特徴量を抽出した結果の例を図１３に示す。画像特徴量を抽出する方法としては、実施例２、実施例３又は実施例２と実施例３の組合せを用いても良い。

（４）画像特徴量比較部２５は、入力画像から抽出した画像特徴量と検出に用いる画像特徴量との比較を行う（ステップＳ１６）。
この比較には、画像特徴量に含まれる情報の中の輝度情報を表す高次元ベクトル同士のユークリッド距離を求めることによって行う。
検出に用いる画像特徴量に適合する入力画像から抽出した画像特徴量の特定は、画像特徴量に含まれる輝度情報を表す高次元ベクトルのユークリッド距離が予め設定した距離（閾値）よりも近いことを目安に判断する。

（５）マーカ検出部２６は、画像特徴量同士の比較結果から検出に用いる画像特徴量に適合する入力画像から抽出した画像特徴量を特定し、それをマーカ検出結果とする（ステップＳ１７）。
即ち、輝度情報を表す高次元ベクトル間のユークリッド距離が設定した距離よりも近ければ予め登録した既知マーカに適合したと判断し、その入力画像から抽出した画像特徴量をマーカ検出結果とする。マーカ検出結果の例を図１４に示す。

（６）マーカ検出結果の後、次の画像特徴量の有無を判定し（ステップＳ１８）、次の画像特徴量がないときには、マーカ検出を継続するか否か判定する（ステップＳ１９）。
上記構成を有する本実施例のマーカ検出装置２０の効果としては、マーカのサイズ変化・回転に影響を受け難いマーカ検出を行うことができる。
また、画像上での見え方が小さいマーカについても検出することが出来る。
対象物のサイズ変化・回転に影響を受け難い画像特徴量を用いてマーカ検出を行うため、１つのマーカに対して１つの登録データを持っておくだけで良く、カメラとマーカとの距離やマーカの回転に合わせて多数の登録データを用意する必要がない。

閉曲線が完全に閉じていない場合でも画像特徴量を抽出できるため、マーカ上の１部が何らかの陰に隠れている場合でもマーカ検出を行うことができる。
マーカとして発光体や四角枠といった指定がなく、より一般的な対象物を検出対象とすることができる。
画像特徴量全体の回転方向に基づいて閉曲線の最小矩形を訂正することにより、画像中の閉曲線が回転してもマーカを正しく検出できる。
Ｈａａｒ−Ｌｉｋｅフィルタを用いて輝度情報であるベクトルデータの情報量を増やすことにより、マーカの誤検出が低減できる。

本発明は、画像処理により画像特徴量を抽出する画像特徴量抽出装置として広く産業上利用可能なものであり、また、抽出した画像特徴量を用いて登録した既知マーカを検出する、画像処理によるマーカ検出装置として広く産業上利用可能なものである。

１０，１０ａ，１０ｂ 画像特徴量抽出装置
１１ 画像入力部
１２ 記憶部
１３ 処理設定部
１４ 閉曲線抽出部
１５ 最小矩形抽出部
１５ａ 最小矩形抽出部（訂正機能付き）
１６ 回転方向決定部
１７，１７ａ 輝度情報抽出部
１８ 画像特徴量構成部
１９ データ出力部
２０ マーカ検出装置
２１ 画像入力部
２２ 記憶部
２３ 処理設定部
２４ 画像特徴抽出部
２５ 画像特徴比較部
２６ マーカ検出部

Claims (10)

1. 画像中から閉曲線を抽出する閉曲線抽出部と、前記閉曲線抽出部により抽出された閉曲線に外接する最小矩形を計算する最小矩形抽出部と、前記最小矩形抽出部により計算された最小矩形から画像特徴量全体の回転方向を決定する回転方向決定部と、前記閉曲線抽出部により抽出された閉曲線に囲まれた内側部分の画像の輝度情報を抽出する輝度情報抽出部と、前記閉曲線抽出部、前記最小矩形抽出部、前記回転方向決定部及び前記輝度情報抽出部により求められた閉曲線・最小矩形・回転方向・輝度情報を整理して画像特徴量を構成する画像特徴量構成部と、を備えることを特徴とする画像特徴量抽出装置。
2. 前記輝度情報抽出部は、閉曲線に囲まれた内側部分の画像の輝度情報を抽出する際に、前記最小矩形抽出部により計算された最小矩形を格子状に分割して小領域とし、Ｈａａｒ−Ｌｉｋｅ特徴量を算出するフィルタとして複数種類用意した識別器と前記小領域との反応結果を蓄積して前記識別器の数と同じ次元のベクトルデータとして閉曲線内部の輝度情報を抽出することを特徴とする請求項１記載の画像特徴量抽出装置。
3. 前記輝度情報抽出部は、閉曲線に囲まれた内側部分の画像の輝度情報を抽出する際に、前記最小矩形抽出部により計算された最小矩形を格子状に分割して小領域とし、Ｈａａｒ−Ｌｉｋｅ特徴量を算出するフィルタとして複数種類用意した識別器と前記小領域との反応結果であるＨａａｒ−Ｌｉｋｅ特徴量を並べて前記識別器の数に前記小領域の数を乗じた次元のベクトルデータとして閉曲線内部の輝度情報を抽出することを特徴とする請求項１記載の画像特徴量抽出装置。
4. 前記回転方向決定部は、前記最小矩形抽出部により計算された最小矩形内の各画素に対する輝度勾配方向ヒストグラムを作成し、このヒストグラムの中で最も頻度の高い階級に含まれる輝度勾配方向の平均を計算し、この平均を画像特徴量全体の回転方向として決定したことを特徴とする請求項１記載の画像特徴量抽出装置。
5. 前記最小矩形抽出部は、前記閉曲線抽出部により抽出された閉曲線に外接する最小矩形を、画像座標軸に関係なく、計算することを特徴とする請求項１，２，３又は４記載の画像特徴量抽出装置。
6. 前記最小矩形抽出部は、前記閉曲線抽出部により抽出された閉曲線に外接する、画像座標軸に平行乃至垂直な辺を持つ最小矩形を計算する一方、前記回転方向決定部により画像特徴量全体の回転方向が決定された場合には、決定された画像特徴量全体の回転方向に基づいて回転させた画像座標軸に平行乃至垂直な辺を持つ最小矩形として訂正することを特徴とする請求項１，２，３又は４記載の画像特徴量抽出装置。
7. 請求項１，２，３，４，５又は６記載の画像特徴量抽出装置により抽出された画像特徴量を用いて予め登録した既知マーカを検出することを特徴とする画像処理によるマーカ検出装置。
8. 請求項１，２，３，４，５又は６記載の画像特徴量抽出装置を使用して検出対象とするマーカを撮影した画像（以下、基準画像）から複数の画像特徴を抽出する画像特徴量抽出部と、前記基準画像から抽出された複数の画像特徴量から検出に用いる画像特徴量を選択する処理設定部と、前記画像特徴量抽出部を使用して入力画像から抽出された画像特徴量と前記処理設定部により選択され検出に用いられる画像特徴量との比較を行う画像特徴量比較部と、前記画像特徴量比較部による比較結果から前記マーカに適合したと判定するマーカ検出部と、を備えることを特徴とする画像処理によるマーカ検出装置。
9. 請求項１，２，３，４，５又は６記載の画像特徴量抽出装置を使用して基準画像から複数の画像特徴を抽出する画像特徴量抽出部と、前記基準画像から抽出された複数の画像特徴量から検出に用いる画像特徴量を選択する処理設定部と、前記画像特徴量抽出部を使用して入力画像から抽出された画像特徴量と前記処理設定部により選択され検出に用いられる画像特徴量との輝度情報を表す高次元ベクトル同士のユークリッド距離を求めることにより画像特徴量同士の比較を行う画像特徴量比較部と、前記画像特徴量比較部により求められた前記ユークリッド距離がある閾値より近い場合には前記マーカに適合したと判定するマーカ検出部と、を備えることを特徴とする画像処理によるマーカ検出装置。
10. 請求項１，２，３，４，５又は６記載の画像特徴量抽出装置を使用して基準画像から複数の画像特徴を抽出する画像特徴量抽出部と、前記基準画像から抽出された複数の画像特徴量から検出に用いる画像特徴量を選択する処理設定部と、前記画像特徴量抽出部を使用して入力画像から抽出された画像特徴量と前記処理設定部により選択され検出に用いられる画像特徴量との輝度情報を表す高次元ベクトル同士の相互相関を求めることにより画像特徴量同士の比較を行う画像特徴量比較部と、前記画像特徴量比較部により求められた前記相互相関がある閾値より近い場合には前記マーカに適合したと判定するマーカ検出部と、を備えることを特徴とする画像処理によるマーカ検出装置。

Images