JP6104198B2 - 物体認識装置 - Google Patents

Description

本発明は、認識させたい物体（認識対象物）をあらかじめ登録しておき、その存在箇所をカメラ撮影画像の中から認識する物体認識装置に関する。

認識対象の物体の特定のパターンをあらかじめ登録しておき、その存在の有無や位置を画像中から検出する処理は、画像処理の基礎技術の一つであり、画像認識や画像検査等で広く応用されている。ここで、あらかじめ登録しておくパターンのことをテンプレートと呼び、テンプレートと画像を照合する処理をテンプレートマッチングあるいはパターンマッチングと呼ぶ。認識対象物が写っている入力画像のことを参照画像と呼ぶ。

テンプレートマッチングでは、参照画像上でテンプレート画像を走査（スキャン）しながら類似度または相違度を評価し、認識対象物の位置を検出する。この評価尺度としては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）が用いられることが多い（例えば、非特許文献１参照）。これらはいずれも、画像の輝度値に基づいた評価尺度である。

画像の輝度値ではなく、エッジ（輪郭）の形状の類似度に基づいたテンプレートマッチングアルゴリズムとしてチャンファ・マッチング（ｃｈａｍｆｅｒ ｍａｔｃｈｉｎｇ）が提案されている（非特許文献２参照）。照合の前処理として、参照画像に対してソーベル（Ｓｏｂｅｌ）フィルタやキャニー（Ｃａｎｎｙ）のエッジ検出器などを適用し、画像中のエッジを抽出する。そして、テンプレートのエッジと参照画像のエッジを照合することにより、物体を認識する。

特許文献１では、能動的な制御が可能な光源を複数利用して物体の輪郭を抽出する方法が開示されている。カメラの周囲に取り付けた複数の光源を１つずつ点滅させ、それに同期してカメラで対象物の画像を取得する。すると、立体形状が存在する箇所で影が発生したり消滅したりする。この影の明滅は照明の照射方向と対象物の物理形状に依存することから、この影の明滅の変化を各画像で調べることにより、対象物の奥行きの不連続点、すなわち物理形状の輪郭をエッジとして抽出することができる。

特開２００４−２８８１８５号公報

奥富正俊ほか編著，「ディジタル画像処理」，１２．１節パターンの検出，ｐｐ．２０２−２０４，ＣＧ−ＡＲＴＳ協会，２００４年 Ｇ． Ｂｏｒｇｅｆｏｒｓ ｅｔ ａｌ．，"Ｈｉｅｒａｒｃｈｉｃａｌ ｃｈａｍｆｅｒ ｍａｔｃｈｉｎｇ： ａ ｐａｒａｍｅｔｒｉｃ ｅｄｇｅ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．１０， Ｎｏ．６， ｐｐ．８４９−８６５， １９８８．

カメラで撮影した画像の輝度値は、物体の形状だけでなく、物体表面のテクスチャの濃淡や反射率、照明条件などにも依存する。このため、輝度値に基づくテンプレートマッチングによって物体を認識しようとすると、物体の形状以外の要因によって認識性能が低下する可能性がある。チャンファ・マッチング（ｃｈａｍｆｅｒ ｍａｔｃｈｉｎｇ）による物体認識でも同様に、物体の形状以外の要因により、検出したい物体の輪郭がエッジとして抽出されない場合、または物体表面のテクスチャなど、輪郭以外の部分が偽の輪郭として抽出される場合がある。このような状況では、チャンファ・マッチングの認識精度が大きく低下することが知られている。

光源の能動的な制御により物体の輪郭を抽出する方法は、物体の認識までは考慮されていないため、物体の認識については別の手段、例えばチャンファ・マッチングなどと組み合わせる必要がある。すなわち、光の照射方向を変えて物体を撮影した複数の画像は、物体の立体形状に関する有用な情報を持っているにもかかわらず、その情報をマッチング処理に直接利用するといったことは行われていなかった。

さらに、前述の一般的なテンプレートマッチングの枠組みでは、テンプレートの位置（さらに場合によっては大きさや角度）を変えながら、参照画像との間の類似度または相違度を評価し、最も類似度が高いテンプレートの位置（および大きさ、角度）を求める。このとき、テンプレートは２次元平面パターンとして取り扱われる。一方、認識対象物が奥行きを持った立体物の場合、カメラと認識対象物の相対的な位置関係がわずかにずれただけでも、カメラから対象物を見たときの見えが大きく変化することがある。具体的には、認識対象物の奥行きがワーキングディスタンス（カメラと認識対象物の間の距離）に近づくほど、位置関係の変化による見えの変化が大きくなる。このような立体物を一般的なテンプレートマッチングの枠組みで検出するためには、多様な見えの変化に対応する大量のテンプレートを保持しておき、テンプレートを切り替えながらマッチング処理を繰り返せばよいが、演算処理コストが膨大になるという問題がある。

本発明の目的は以上の問題点を解決し、従来技術に比較して高い認識精度を有し、演算処理コストを低減でき、対象物の見えの変化に対する頑健性を高めた高精度な物体認識装置を提供することにある。

本発明の一態様に係る物体認識装置は、認識対象物を撮影するカメラと、前記カメラの周辺に複数個配置され各々が独立して選択的に明滅する光源と、前記各光源の明滅を制御して当該各光源の明滅に同期してあるいは非同期でカメラに撮像トリガ信号を送出し符号生成部に光源ＩＤ情報を送出する制御部と、前記各光源の点灯または消灯時にカメラで撮影された各画像の輝度値から符号を生成する符号生成部と、所定の基準物体の情報を格納したテンプレート記憶部と、前記認識対象物を撮影した画像群から生成した符号を前記テンプレート記憶部に格納した情報から生成した符号と照合し照合結果を出力する符号照合部とを備え、前記符号生成部によって生成される符号は、前記光源の明滅を選択的に切り替えて撮影した画像の輝度値から算出される勾配の強度を表現したものであることを特徴とする。

本発明では、カメラの周辺に配置された複数の光源の明滅を変化させながら画像を取得し、取得した複数の画像の画素値から符号を生成する。この符号は、物体の立体形状に関する情報を持っていることから、この符号の照合、すなわちテンプレートマッチングを実行することにより、従来技術に比較して、高精度、高速かつ外乱に対して頑健に物体を認識することができる。

本発明の実施の形態１に係る物体認識装置の構成を示すブロック図である。 図１に示す物体認識装置に備わる符号生成部が保持する光源方向情報テーブルの一例を示した説明図である。 図１に示す物体認識装置の外観の一例を示した模式図である。 図１に示す物体認識装置により直方体を撮影する際の構成を示した模式図である。 図１に示す物体認識装置を用い、図３に示す構成で直方体を上から光を照射して撮影した際にカメラで撮影される画像の一例を示した模式図である。 図１に示す物体認識装置を用い、図３に示す構成で直方体を上から光を照射して撮影した際にカメラで撮影される画像の一例を示した模式図である。 図１に示す物体認識装置に備わる符号生成部によって生成される輝度勾配の画像の一例を示した図であって、（ａ）は上から光を照射した画像の斜視図であり、（ｂ）はそのときの輝度勾配の画像の模式図である。 図１に示す物体認識装置に備わる符号生成部によって生成される輝度勾配の画像の一例を示した図であって、（ａ）は左下から光を照射した画像の斜視図であり、（ｂ）はそのときの輝度勾配の画像の模式図である。 図１に示す物体認識装置に備わる符号生成部によって生成される符号を示した模式図である。 本発明の実施の形態２に係る物体認識装置に備わる符号生成部が、符号を生成する流れの一例を示した模式図である。 本発明の実施の形態３に係る物体認識装置に備わる符号生成部が、符号を生成する流れの一例を示した模式図である。 本発明の実施の形態３に係る物体認識装置に備わる符号生成部が、符号を照合し相違度を計算する一例を示した模式図である。 本発明の実施の形態４に係る物体認識装置に備わる符号生成部が、三値符号を生成する流れの一例を示した模式図である。 本発明の実施の形態４に係る物体認識装置に備わる符号照合部が、三値符号を照合し相違度を計算する一例を示した模式図である。 本発明の実施の形態５に係る物体認識装置に備わる符号生成部が、勾配方向符号を生成する流れの一例を示した模式図である。 本発明の実施の形態６に係る物体認識装置に備わる符号生成部が、勾配方向特徴量に基づく符号を生成する流れの一例を示した模式図である。 本発明の実施の形態７に係る物体認識装置の構成を示すブロック図である。 本発明の実施の形態８に係る物体認識装置により直方体を撮影する際の画像、および画像中の注目点を表す模式図である。 図１６に示す２つの注目点に対応する勾配強度を表す説明図である。 本発明の実施の形態８に係る物体認識装置に備わる符号生成部が、勾配強度順位の二値符号に基づいて安定度を求める手順を示す説明図である。 図１に示す物体認識装置の光源を、同心多重円状に配置した場合の外観の一例を示した模式図である。 本発明の実施の形態９に係る物体認識装置において、カメラと光源・物体の位置関係により影が生じる範囲が異なることを示す図であって、カメラと光源の位置が近い場合の説明図である。 本発明の実施の形態９に係る物体認識装置において、カメラと光源・物体の位置関係により影が生じる範囲が異なることを示す図であって、カメラと光源の位置が離れている場合の説明図である。 本発明の実施の形態９に係る物体認識装置において、カメラと光源・物体の位置関係により影が生じる範囲が異なることを示す図であって、物体と背景の位置が離れている場合の説明図である。

以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。本発明に係る実施形態では、物体に対して異なる方向から光を照射しながら画像を取得し、これらの画像から生成した符号を用いたマッチングを行うことにより、従来技術に比較して、対象物の見えの変化に対する頑健性を高めた高精度な物体認識装置を提供する。

実施の形態１．
図１は、実施の形態１に係る物体認識装置１００の構成を示している。図１において、実施の形態１に係る物体認識装置１００は、カメラ１０１と、複数Ｎ個の光源１０２−１〜１０２−Ｎと、制御部１０３と、符号生成部１０４と、テンプレート記憶部１０５と、符号照合部１０６とを備えて構成される。これらの構成部分について、以下に詳細説明する。

図１において、カメラ１０１は、制御部１０３からの制御信号を受信すると、認識対象物の画像を撮影し、撮影した画像の画像データを符号生成部１０４に送出する。光源１０２−１〜１０２−Ｎは上記認識対象物に光を照射する。光源１０２−１〜１０２−Ｎはそれぞれ、制御部１０３からの制御信号を受けて１個ずつ順次独立して選択的に明滅する。すなわち、Ｎ個の光源１０２−１〜１０２−Ｎのうち２個以上が同時に点灯することはないものとする。ここでは、Ｎ個の光源１０２に対し１番からＮ番まで順番に付番し、以降この番号を光源ＩＤと呼ぶこととする。

制御部１０３は例えばディジタル計算機などのコントローラであって、Ｎ個の光源１０２−１〜１０２−Ｎのうち１つに対して制御信号を送出し、これと同時にカメラ１０１に対して制御信号を送出し、また符号生成部１０４に対して光源ＩＤ情報を送出する。この動作をＮ個の光源１０２−１〜１０２−Ｎのそれぞれに対して１個ずつ順次選択的に行う。符号生成部１０４は、カメラ１０１から受信したＮ枚の画像データから符号を生成する。なお、符号生成部１０４は、各光源１０２−１〜１０２−Ｎの光源ＩＤと、その光源１０２−１〜１０２−Ｎからの光の照射方向とを対応付ける、図２に示すような光源方向情報テーブルを内部メモリ１０４ｍに保持しているものとする。この光源方向情報テーブルの情報は、後に述べる符号生成部１０４の内部処理で使用する。以降、光源からの光の照射方向のことを光源方向と呼ぶこととする。なお、光の照射方向は、例えば図３に示すように、カメラ１０１を中心として、各光源１０２−１〜１０２−Ｎの位置の角度を示す。

テンプレート記憶部１０５は、認識対象物のテンプレート符号を記憶する。物体認識装置１００で認識させたい認識対象物の符号をあらかじめ生成しておき、テンプレート符号として保持しておく。符号照合部１０６は、テンプレート記憶部１０５に記憶されているテンプレート符号を読み出し、符号生成部１０４で生成された参照画像の符号との照合、すなわちテンプレートマッチング処理を行う。テンプレート符号と参照画像の符号を照合することにより、参照画像中での認識対象物の位置を認識し、当該認識結果を出力する。

図３は、実施の形態１に係る物体認識装置１００の外観と、各光源１０２−１〜１０２−Ｎに光源ＩＤを割り当てた一例を示した模式図である。図３の例では、Ｎ＝８であり、８個の光源１０２−１〜１０２−８がカメラ１０１の光軸から等距離、かつ互いに等間隔になるように配置されている。それぞれの光源１０２−１〜１０２−８の光源ＩＤは、カメラ１０１の上方の光源１０２−１から、時計回りに順番に付番してある。なお、Ｎ個の光源１０２−１〜１０２−８の配置は、図３のように必ずしも等間隔である必要はなく、カメラ１０１の光軸から等距離である必要もない。また、図３の例のようにカメラ１０１と光源１０２−１〜１０２−８を一体化した筐体とする必要はなく、別個の筐体としてもよい。

図４は、平面の背景２０１の上に認識対象物の直方体２０２を配置したシーンにおいて、シーンの真上から物体認識装置１００で直方体２０２を撮影する様子を示した模式図である。このような状況で、物体認識装置１００に備えられる光源１０２−１〜１０２−Ｎの明滅を順次選択的に切り替えながら撮影した画像の模式図を図５Ａ及び図５Ｂに示す。図５Ａでは、直方体２０２に対して画像の上方向から光を照射した場合の例を示し、図５Ｂでは、左下方向から光を照射した場合の撮影画像の場合の例を示している。直方体２０２に光を照射することにより、直方体２０２の背面にある平面の背景２０１に影２０３が生じる。光源１０２による光の照射方向を変化させることにより、直方体２０２の周囲に現れる影２０３の位置が変化する。

次に、本発明の実施の形態１に係る物体認識装置１００が物体認識を行う流れを説明する。

はじめに、物体認識装置１００で認識させたい対象物をテンプレートとして登録するため、基準となる物体を用いてテンプレート符号を生成する。

カメラ１０１の視野内に認識対象物（基準物体）を配置し、制御部１０３の制御によりＮ個の光源１０２−１〜１０２−Ｎを１個ずつ順次選択的に点灯させながら、カメラ１０１で画像データをＮ枚取得する。Ｎ枚の画像データを撮影している間、カメラ１０１と認識対象物の相対的な位置関係は不変であることとする。こうして得られたＮ枚の画像データから、符号生成部１０４で符号を生成する。生成した符号は、テンプレート記憶部１０５へ送出され、テンプレート符号としてテンプレート記憶部１０５で記憶される。

物体認識を行う際の流れは、符号生成部１０４での符号生成までは同じである。すなわち、カメラ１０１の視野に認識対象シーンを配置し、光源１０２−１〜１０２−Ｎの明滅を順次選択的に切り替えながらＮ枚の参照画像を撮影し、符号生成部１０４で符号を生成する。その後、テンプレート記憶部１０５に記憶されている符号と、Ｎ枚の参照画像から生成された符号との照合を符号照合部１０６で実行し、物体の位置を認識する。

以上が、物体認識装置１００がテンプレートを事前登録する流れと、物体認識を実行する流れである。

次に、符号生成部１０４による符号の生成手順について説明する。

まず、カメラ１０１の視野内に対象物を配置し、Ｎ個の光源１０２−１−１〜１０２−Ｎを１個ずつ順次選択的に点灯させながらカメラ１０１で画像を取得する。こうして得られたＮ枚の画像データをそれぞれＩ_１からＩ_Ｎとおく。その後、画像データＩ_１からＩ_Ｎのそれぞれに対し、光源方向に沿う方向の輝度勾配の強度（隣接画素間の輝度の差の絶対値をいい、「輝度勾配強度」という。）を計算し、輝度勾配の画像データ（以下、「輝度勾配画像データ」という。）Ｉ_１’からＩ_Ｎ’を求める。ここで光源方向は、図２に示すような光源方向情報テーブルを参照することにより得られる。カメラ１０１で撮影した画像（ａ）とその輝度勾配画像（ｂ）の模式図を図６Ａ及び図６Ｂに示す。図６Ａ及び図６Ｂではそれぞれ、図５Ａ及び図５Ｂと同様に２方向の光源方向についての輝度勾配画像の模式図を示している。例えば、左下から光を照射したときの画像の輝度勾配画像は、左下の画素の輝度の差の絶対値を表現した画像である。

輝度勾配画像において勾配強度が大きくなるのは、光の照射によって明るく照らされた領域と影の領域の境界部分であり、この部分にエッジが現れる。このエッジは、対象物の奥行きが急激に変化する箇所、すなわち物理形状の輪郭に沿って現れる。したがって、異なる方向から光を当てたときの輝度勾配強度の違いは、対象物の奥行き形状がどの向きに変化しているかという情報を与えているとみることができる。符号生成部１０４によって生成される符号は、画素毎にＮ次元ベクトルで表現する。光源ＩＤがｋの輝度勾配画像データＩ’_ｋの、座標（ｘ，ｙ）の輝度勾配強度をＩ’_ｋ（ｘ，ｙ）とすると、座標（ｘ，ｙ）に割り当てる符号ｕ（ｘ，ｙ）を次式で表す。

ここで、記号Ｔは転置を表す。画像内の全ての画素について、上記のように符号を生成する。以上が、符号生成部１０４が撮影画像から符号を生成する手順である。

図７は、カメラ１０１により撮影されたＮ枚の画像データから、符号生成部１０４が生成した符号を濃淡画像として表現した模式図を示している。撮影した物体を基準物体として登録する事前登録の段階では、認識対象物を含む範囲（点線で図示）を符号から切り出し、テンプレート記憶部１０５へ格納しておく。

次に、符号照合部１０６において符号を照合することにより物体の位置を認識する手順について説明する。前に述べたように、符号照合部１０６では、認識対象シーンの撮影画像（参照画像）から生成された符号を、テンプレート記憶部１０５に記憶されている符号と照合し、符号の相違度が最小となる位置を求める。

いま、参照画像から求められた勾配強度により構成される、座標（ｉ，ｊ）の画像データの符号をｓ（ｉ，ｊ）とおく。また、テンプレート記憶部１０５に記憶されている、座標（ｉ，ｊ）のテンプレート符号をｔ（ｉ，ｊ）とし、そのサイズを横Ｗ画素、縦Ｈ画素とおく。このとき相違度は、２つの符号ベクトルの内積を＜，＞と表記すると、内積の総和、すなわち次式により求める。

そして、認識対象物の物体の位置は、上記の式（１）を最小にする座標（ｘ，ｙ）として求める。なお、認識対象物の画像上での大きさ（スケール）が事前登録時と物体認識時とで変化する場合は、符号照合部１０６においてテンプレート符号のスケールを変動させ、相違度を評価すればよい。例えば、テンプレート符号ｔ（ｉ，ｊ）を成分ｔ_１（ｉ，ｊ），ｔ_２（ｉ，ｊ），…に分割し、成分毎に２次元最近傍法やスプライン補間法などを用いて拡大・縮小することにより、異なるスケールのテンプレート符号が得られる。これらのテンプレート符号を切り替えながら照合を繰り返し、相違度が最小となる位置とスケールを求める。

以上のように構成された実施の形態１によれば、符号生成部１０４で生成される符号は、異なる方向から光を当てたときの輝度勾配強度に関する情報を持つことになる。この輝度勾配は、光を当てる方向と対象物の物理形状に依存する。すなわち符号生成部１０４では、対象物の物理形状に関する有効な情報を画素毎に符号として割り当てるため、この符号を用いてテンプレートマッチングを行えば、物体の立体形状情報に基づいた高精度な物体認識を実現することが可能となる。

以上の実施の形態において、各光源１０２−１〜１０２−Ｎの明滅を制御して当該各光源１０２−１〜１０２−Ｎの明滅に同期してカメラ１０１に撮像トリガ信号を送出しているが、本発明はこれに限らず、当該各光源１０２−１〜１０２−Ｎの明滅に非同期で（ただし、各光源１０２−１〜１０２−Ｎとの対応は必要）カメラ１０１に撮像トリガ信号を送出してもよい。

実施の形態２．
実施の形態１に係る物体認識装置１００に備えられる符号生成部１０４は、実施の形態２において、輝度勾配強度の順位を符号として生成するようにしてもよい。実施の形態１に係る物体認識装置１００が備える符号生成部１０４との違いは、カメラ１０１により撮影されたＮ枚の画像データから勾配強度を算出した後、勾配強度の順位を求める点である。

図８は、Ｎ＝８の場合について、ある座標の輝度勾配強度とその順位の一例を示した図である。輝度勾配強度の大きい光源方向に対応する光源ＩＤから順番に、１から８まで順位付けを行う。実施の形態２に係る符号生成部１０４によって生成される符号は、画素毎にＮ次元ベクトルで表現する。座標（ｘ，ｙ）の画像データにおいて、光源ＩＤがｋの勾配強度の順位をｒ_ｋ（ｘ，ｙ）（ただし

）と表記すると、座標（ｘ，ｙ）に割り当てる符号ｒ（ｘ，ｙ）を次式で表す。

画像データ内の全ての画素について、上記のように符号を生成する。以上が、符号生成部１０４が撮影画像から符号を生成する手順である。

符号照合部１０６による符号の照合は、輝度勾配強度の順位の差を相違度として評価することにより実行する。いま、参照画像データから求められた輝度勾配強度により構成される、座標（ｉ，ｊ）の画像データにおける符号を次式で表す。

また、テンプレート記憶部１０５に記憶されている、座標（ｉ，ｊ）のテンプレート符号を次式で表す。

そのサイズを横Ｗ画素、縦Ｈ画素とおく。このときの相違度は、輝度勾配強度の順位の差の総和、すなわち次式として求める。

そして、認識対象物の物体の位置は、上記の式（２）を最小にする座標（ｘ，ｙ）として求める。なお、認識対象物の画像上での大きさ（スケール）が事前登録時と物体認識時とで変化する場合は、実施の形態１に係る符号照合部１０６と同様に、テンプレート符号のスケールを変動させ、相違度を評価すればよい。

以上のように構成された実施の形態２によれば、符号生成部１０４で生成される符号は勾配強度の順位であるため、勾配強度の順位が入れ替わらない範囲での勾配強度の変動に対して頑健な物体認識を実現することができる。

実施の形態３．
実施の形態１に係る物体認識装置１００に備えられる符号生成部１０４は、実施の形態３において、輝度勾配強度の順位を２段階に分類した結果を表現した二値符号を生成し、符号照合部１０６は符号生成部１０４で生成された二値符号をハミング距離によって照合するように構成してもよい。

実施の形態３に係る符号生成部１０４によって生成される符号は、画素毎にＮビットの二進数で表現する。各画素の符号を構成するＮビットを、それぞれ光源ＩＤの１からＮに対応させる。実施の形態２に係る符号生成部１０４によって生成される符号との違いは、画素毎の輝度勾配強度の順位を求めた後、順位を上位と下位の２段階に分類し、その結果を二値符号とする点である。輝度勾配強度の順位が上位に含まれる光源ＩＤは、対応する二値符号のビットを１にセットし、下位に含まれる光源ＩＤは、対応する二値符号のビットを０にセットする。このような手順により、画像データ内の全ての画素について、Ｎビットからなる二値符号を生成する。

図９は、Ｎ＝８の場合について、ある画素の輝度勾配強度とその順位、さらに順位を２段階に分類して二値符号を生成した例を示している。勾配強度の順位ｒ_ｋを求めるまでの処理の流れは、図８と同様である。本実施の形態では、勾配強度の順位を求めた後、順位が上位４つの光源ＩＤ（２，３，４，６）について、対応するビットに１をセットし、下位４つの光源ＩＤ（１，５，７，８）について、対応するビットに０をセットする。こうして得られた８ビットが、この画素の二値符号となる。符号照合部１０６による符号の照合は、参照画像から生成した符号とテンプレート符号とのハミング距離に基づいて相違度を評価することにより実行する。ハミング距離とは、ビット長が同じ２つの２進数を比較したときの、値が異なっているビットの個数である。

図１０は、ある画素について、テンプレートの二値符号と参照画像から生成した二値符号からハミング距離を求める一例を示している。値が一致している部分には○を、異なっている部分には×を記している。図１０の例の場合、値が異なっているビットは４個であるため、この画素のハミング距離は４である。

いま、参照画像データから生成された符号をＳとおく。また、テンプレート記憶部１０５に記憶されているテンプレート符号をＴとし、そのサイズをＷ×Ｈとおく。２つの２進数ｂ_１，ｂ_２の間のハミング距離をＨ（ｂ_１，ｂ_２）と表記すると、相違度はハミング距離の総和、すなわち次式により求める。

そして、認識対象物の物体の位置は、上記の式（３）を最小にする座標（ｘ，ｙ）として求める。なお、ハミング距離Ｈ（ｂ_１，ｂ_２）は以下の手順で高速に求めることができる。あらかじめ、１０進数ａ（０≦ａ＜２^Ｎ）を２進数に変換した際に値が１となる桁の数をサイズ２^Ｎのテーブルｔ（ａ）に格納しておく。例えば、１０進数１５１を２進数に変換すると１００１０１１１であり、１となる桁の数は５であるから、ｔ（１５１）＝５である。

いま、２進数ｂ_１とｂ_２の排他的論理和を１０進数化した値をＸＯＲ_１０（ｂ_１，ｂ_２）と表すとすると、２つの２進数ｂ_１，ｂ_２の間のハミング距離は、テーブルｔ（・）の参照により次式によって求められる。

このように、あらかじめテーブルを作成しておくことにより、ハミング距離を高速に計算することが可能となる。

また、認識対象物の画像上での大きさ（スケール）が事前登録時と物体認識時とで変化する場合は、符号照合部１０６においてテンプレート符号Ｔ（ｉ，ｊ）のスケールを変動させ、相違度を評価すればよい。例えば、Ｔ（ｉ，ｊ）を２次元最近傍法によって拡大・縮小することにより、大きさの異なるテンプレートが得られる。これらのテンプレートを切り替えながら照合を繰り返し、相違度が最小となる位置とスケールを求める。

以上のように構成された実施の形態３によれば、符号生成部１０４で生成される符号は、勾配強度順位を上位と下位の２段階に分類した結果を二値化したものであるから、物体の位置ずれやノイズなどの外乱に起因する勾配強度の変動だけでなく、順位の入れ替わりに対しても頑健に物体認識を行うことができる。

さらに、符号照合部１０６による相違度の評価はハミング距離に基づくことから、ビット演算とテーブルの参照に基づく演算として実現できるので、ディジタル計算機上で高速に符号の照合を実行することができる。

実施の形態４．
実施の形態１に係る物体認識装置１００に備えられる符号生成部１０４は、実施の形態４において、輝度勾配強度の順位を上位、中位及び下位の３段階に分類した結果を表現した三値符号を生成し、符号照合部１０６は符号生成部１０４で生成された三値符号を照合するように構成してもよい。実施の形態４に係る符号生成部１０４によって生成される符号は、１画素につきＮ桁の三値符号で表現する。

図１１は、Ｎ＝８の場合について、ある座標の輝度勾配強度からＮ桁の三値符号を生成する流れの一例を示した図である。輝度勾配強度の順位ｒ_ｋを求めるまでの処理の流れは、図８および図９と同様である。本実施の形態では、輝度勾配強度の順位を求めた後、順位が上位２つの光源ＩＤ（２，３）について、対応する桁に１をセットし、中位４つの光源ＩＤ（１，４，５，６）について、符号＊をセットし、下位２つの光源ＩＤ（７，８）について、対応するビットに０をセットする。図１１では、上位、中位及び下位に分類する光源ＩＤの数をそれぞれ２，４，２としているが、上位、中位及び下位のそれぞれに分類する数の配分はこの限りではない。

次に、本発明の実施の形態４に係る符号生成部１０４により生成される三値符号を、符号照合部１０６で照合する手順を説明する。本発明の実施の形態３に係る符号照合部１０６での照合との相違点は、順位が中位に分類された光源ＩＤに対応する符号＊を、ワイルドカードとみなす点である。ワイルドカードとは、どの符号とも一致する（相違度が０となる）符号のことである。

図１２は、ある画素について、テンプレートの三値符号と参照画像から生成した三値符号を照合する一例を示している。値が一致している部分には○を、異なっている部分には×を記している。前に述べたように、ワイルドカードの符号＊は、どの符号とも一致する符号として定義する。図９の例の場合、値が異なっているビットの個数は２であるので、この画素の相違度は２である。

本発明の実施の形態３に係る物体認識装置１００に備えられる符号照合部１０６では、ハミング距離に基づいて相違度を定義した。本実施の形態では、この相違度の考え方を図１２のように三値符号へと拡張し、これを拡張ハミング距離と呼ぶこととする。参照画像から生成された三値符号をＳ’、テンプレート記憶部１０５に記憶されているテンプレート三値符号をＴ’とおき、そのサイズをＷ×Ｈとする。２つの三値符号ｓ_１，ｓ_２の拡張ハミング距離をＨ’（ｓ_１，ｓ_２）と表記すると、物体の位置は次式を最小にする座標（ｘ，ｙ）として得られる。

認識対象物の画像上での大きさ（スケール）が事前登録時と物体認識時とで変化する場合は、実施の形態３に係る符号照合部１０６と同様に、テンプレート符号のスケールを変動させ、相違度を評価すればよい。

以上のように構成された実施の形態４によれば、符号生成部１０４で生成される符号は、勾配強度の順位が中位の光源ＩＤにワイルドカードとなる符号、すなわちどの符号とも一致するような符号を割り当てるため、中位（Ｎ／２番目前後）での勾配強度の順位の入れ替わりが生じても、相違度の評価に影響を与えることなく、頑健に物体認識を行うことができるようになる。

実施の形態５．
実施の形態１に係る物体認識装置１００に備えられる符号生成部１０４は、実施の形態５において、輝度勾配が最大となる光源方向を求め、この方向を符号化するようにし、符号照合部１０６では勾配の方向（角度）の差に基づいて相違度を評価するように構成してもよい。

図１３は、Ｎ＝８の場合について、ある座標の輝度勾配強度から光源方向符号を生成する流れの一例を示した図である。ここで、輝度勾配強度を求めるまでの流れは、図８、図９、図１１と同様である。本実施の形態に係る符号生成部１０４では、勾配強度が最大となる光源方向を求め、これに対応する光源ＩＤをこの画素の符号（光源方向符号）とする。

符号照合部１０６では、参照画像から生成した符号とテンプレート符号との光源方向の角度差に基づいて相違度を評価する。参照画像から生成された符号をＳ”、テンプレート記憶部１０５に記憶されているテンプレート符号をＴ”とし、そのサイズをＷ×Ｈとおく。参照画像の座標（ｉ，ｊ）における光源方向、すなわち符号Ｓ”（ｉ，ｊ）をキーとして図２に示す内部メモリ１０４ｍ内の光源方向情報テーブルを参照し、対応する光源方向を求める。これをθ_ｓ（ｉ，ｊ）と表す。同様に、テンプレート符号の座標（ｉ，ｊ）における光源方向、すなわち符号Ｔ”（ｉ，ｊ）をキーとして図２に示す光源方向情報テーブルを参照し、得られる光源方向をθ_ｔ（ｉ，ｊ）と表記する。すると、物体の位置は参照画像の光源方向θ_ｓとテンプレートの光源方向θ_ｔの角度差の総和、すなわち次式を最小にする座標（ｘ，ｙ）として得られる。

ここで、％は剰余を表す演算子とする。また、ｍｉｎ（Ｘ，Ｙ）はＸとＹのうち小さい方を選択する最小値選択関数を意味する。認識対象物の画像上での大きさ（スケール）が事前登録時と物体認識時とで変化する場合は、実施の形態３で述べた手順と同様に、符号照合部１０６においてテンプレート符号のスケールを変動させ、相違度を評価すればよい。

以上のように構成された実施の形態５によれば、符号生成部１０４での符号生成処理は、画素ごとにＮ個の輝度勾配強度の数値のうち最も輝度勾配強度が大きい光源ＩＤを選択するだけで済むため、高速に符号を生成することができる。また、符号生成部１０４で生成される符号は各画素につきｌｏｇ_２Ｎビットで表現できるため、コンパクトな符号とすることができる。

実施の形態６．
本発明の実施の形態１に係る物体認識装置１００に備えられる符号生成部１０４は、実施の形態６において、各光源を点灯して撮影した画像データについて輝度勾配の方向を画素毎に求めて符号を構成し、符号照合部１０６では輝度勾配の方向（角度）の差に基づいて相違度を評価するように構成してもよい。本実施の形態に係る符号生成部１０４が符号を生成する符号は、画素毎にＮ次元ベクトルで表現する。符号を生成する流れは以下の通りである。

本実施の形態において、説明を簡単にするため、物体認識装置１００が備える光源１０２−１〜１０２−８は、図３に示すように同心円状に等間隔に配置されているものとする。光源１０２−１〜１０２−８の配置が等間隔ではない場合についても、以下に述べる処理に対して各光源１０２−１〜１０２−８の間隔に応じて適宜必要な変更を加えれば実現が可能である。あらかじめ、全周３６０度を（３６０／Ｎ）度ずつに等間隔に分割し、それぞれの範囲に０からＮ−１までの符号を割り当て、これを勾配方向特徴量とする。

まず、物体認識装置が備えるＮ個の光源１０２−１〜１０２−Ｎを１個ずつ順次選択的に点灯させながら、カメラ１０１で画像の画像データを取得する。こうして得られたＮ枚の画像データをそれぞれ、Ｉ_１からＩ_Ｎとおく。その後、画像データＩ_１からＩ_Ｎのそれぞれに対し、画素毎に輝度勾配の方向を求める。画像データＩのｘ軸方向（横方向）の輝度勾配をＩ’_ｘ、ｙ軸方向（縦方向）の輝度勾配をＩ’_ｙとすると、座標（ｘ，ｙ）の勾配方向は次式によって求められる。

ここで、関数「ａｔａｎ２」は４象限表現の逆正接関数を表し、Ｃ言語等の一般的なプログラミング言語では標準で用意されている。こうして得られた勾配方向情報をＮ段階に量子化することにより、勾配方向特徴量を求め、これを座標（ｘ，ｙ）における画像データの符号とする。

図１４は、Ｎ＝８の場合について、ある画素の輝度勾配の方向と、それに対応する輝度勾配方向特徴量を示している。輝度勾配方向と特徴量の対応関係は、図１４の右側に示している。光源ＩＤがｋの光源１０２−ｋを点灯させたときの撮影画像データＩ_ｋの、座標（ｘ，ｙ）の画像データにおける勾配方向特徴量を

（ただし

）と表記すると、座標（ｘ，ｙ）の画像データに割り当てる符号

を次式で表す。

画像内の全ての画素について、上記のように符号を生成する。以上が、符号生成部１０４が撮影画像から符号を生成する手順である。符号照合部１０６による符号の照合は、輝度勾配方向（角度）の差を相違度として評価することにより実行する。いま、参照画像データから求められた輝度勾配方向の特徴量により構成される、座標（ｉ，ｊ）の画像データにおける符号を次式で表す。

また、テンプレート記憶部１０５に記憶されている、座標（ｉ，ｊ）の画像データのテンプレート符号を次式で表す。

そのサイズを横Ｗ画素、縦Ｈ画素とおく。このとき相違度は、勾配方向の差の総和、すなわち次式として求める。

そして、物体の位置は、上記の式（４）を最小にする座標（ｘ，ｙ）として求める。

なお、認識対象物の画像データ上での大きさ（スケール）が事前登録時と物体認識時とで変化する場合は、符号照合部１０６においてテンプレート符号のスケールを変動させ、相違度を評価すればよい。例えば、テンプレート符号

を成分

に分割し、成分毎に２次元最近傍法を用いて拡大又は縮小することにより、異なるスケールのテンプレート符号が得られる。これらのテンプレート符号を切り替えながら照合を繰り返し、相違度が最小となる位置とスケールを求める。

以上のように構成された実施の形態６によれば、輝度勾配強度やその順位は、照明などの環境や物体表面の状態などの要因で変動することがある。しかし、輝度勾配の方向は物体の形状に強く依存し、環境による変動が起こりにくいという特徴があるため、このような構成により物体認識装置の認識精度を向上させることができる。

実施の形態７．
本発明の実施の形態１から６に係る物体認識装置１００に備えられる符号照合部１０６においては、物体のスケールの変化に対応するため、テンプレート符号を拡大又は縮小するという方法を採っていた。これとは別の方法として、実施の形態７では、Ｎ個の光源１０２−１〜１０２−Ｎのそれぞれを点灯させたときの撮影画像をテンプレート記憶部に保持しておき、これらＮ枚の画像データを照合の際に拡大又は縮小しながら符号を生成するように構成してもよい。

図１５は、本発明の実施の形態７に係る物体認識装置１００の構成を示している。実施の形態７に係る物体認識装置１００は、図１の実施の形態１に係る物体認識装置１００に比較して、Ｎ個の光源１０２−１〜１０２−Ｎをそれぞれ順次選択的に点灯させて撮影したＮ枚の輝度画像データを制御部１０３からの制御信号に基づいてテンプレート記憶部１０５に格納する点が異なる。符号生成部１０４は、制御部１０３からの光源ＩＤと、カメラ１０１からの画像データと、テンプレート記憶部１０５からのテンプレート画像データに基づいて、テンプレート画像データに対する符号を生成するとともに、参照画像データの符号を生成して符号照合部１０６に出力する。符号照合部１０６は、テンプレート画像データと参照画像データの各符号を照合するときに、テンプレート記憶部１０５から読み出したＮ枚のテンプレート画像データから符号生成部１０４にて生成した符号と、認識対象物を撮影した参照画像から符号生成部１０４にて生成した符号とを照合する。

認識対象物の画像上での大きさ（スケール）が事前登録時と物体認識時とで変化する場合は、符号生成部１０４はテンプレート記憶部１０５から読み込んだＮ枚のテンプレート画像を拡大又は縮小する。これらのテンプレート画像データは輝度画像であるため、拡大又は縮小には画像の拡大又は縮小の手法として一般的に用いられている２次元スプライン補間法などの滑らかな補間法を用いることができる。当該補間法によって拡大又は縮小したＮ枚の画像データから符号を生成し、これをテンプレート画像データの符号とする。Ｎ枚の画像データから符号を生成する手順については、実施の形態１から６に係る物体認識装置１００が備える符号生成部１０４の手順と同様である。また、参照画像データに対する符号の生成、およびその後に実行するテンプレート画像データの符号との照合についても、実施の形態１から６における手順と同様である。

以上のように構成された実施の形態７によれば、テンプレート記憶部１０５はＮ枚の輝度画像データの形式で基準物体の情報を保持することから、輝度画像に対する滑らかな補間による拡大又は縮小が行える。滑らかな拡大又は縮小を行った画像から生成した符号を用いて照合を行うため、物体のスケール変化に対する認識処理の信頼性を向上させることができる。

実施の形態８．
本発明の実施の形態１から７に係る物体認識装置１００に備えられる符号生成部１０４は、実施の形態８において、テンプレート記憶部１０５へ記憶するテンプレート画像データの符号を生成する際、各実施の形態において生成する符号に加えて、画素毎に符号を有効化または無効化する情報、いわゆるマスク情報を生成するようにし、符号照合部１０６はマスク情報を参照し符号が有効な画素のみについて、参照画像データから生成した符号とテンプレート画像データの符号とを照合するように構成してもよい。

はじめに、マスク情報を生成する方法として、輝度勾配強度に基づく方法について説明する。

各撮影画像データから算出される輝度勾配強度は、物体の立体形状に由来する輪郭の部分で大きな値を取る傾向となる。そこで、輝度勾配強度に基づいて、符号の有効または無効を画素毎に設定する。具体的には、符号生成部１０４は、二値のマスク情報ｍ（ｘ，ｙ）を生成するようにし、座標（ｘ，ｙ）の符号が有効ならばマスク情報ｍ（ｘ，ｙ）＝１、無効ならばマスク情報ｍ（ｘ，ｙ）＝０とする。各座標の符号の有効または無効は、例えば以下のように判定する。

１つの方法は、Ｎ枚の撮影画像データＩ_ｋ（ｋは１からＮ）の輝度勾配画像データＩ’_ｋを求め、座標（ｘ，ｙ）の画像データにおける勾配強度Ｉ’_ｋ（ｘ，ｙ）の最大値があるしきい値τ_ａよりも大きいようなｋが少なくとも１つ存在すれば、すなわち

が成り立てばマスク情報ｍ（ｘ，ｙ）＝１とし、そうでなければマスク情報ｍ（ｘ，ｙ）＝０とする。

別の方法では、座標（ｘ，ｙ）の画像データにおける勾配強度Ｉ’_ｋ（ｘ，ｙ）の最大値と最小値の差があるしきい値τ_ｂよりも大きいようなｋが少なくとも１つ存在すれば、すなわち

が成り立てばマスク情報ｍ（ｘ，ｙ）＝１とし、そうでなければマスク情報ｍ（ｘ，ｙ）＝０とする。

なお、上記のように輝度勾配強度の値またはその差をしきい値で判定する方法の他に、画素数全体に占める有効画素の数がある一定の割合になるよう、勾配強度の値またはその差の大きさが上位の画素から選択するようにしてもよい。

次いで、マスク情報を生成する別の方法として、各画素の安定度に基づく方法について以下説明する。

図１６は、物体認識装置１００が図４のようなシーンで認識対象物を撮影した時の撮影画像の模式図である。ここで、背景２０１は、認識対象物の直方体２０２が持つ奥行きに対して十分に平坦であり、平面とみなすこととする。図１６において、点（ｘ_１，ｙ_１）は認識対象物の直方体２０２と背景２０１の境界に位置する点とし、点（ｘ_２，ｙ_２）は背景２０１に位置する点とする。また、物体認識装置１００に対し、図３に示すように隣接の位置関係にある光源に対して１から８まで順番に光源ＩＤを割り当ててあるものとする（図３においては、Ｎ＝８）。

さて、カメラ１０１から見て、認識対象物の直方体２０２の左下側から光を照射したとき、直方体２０２の右上側に影が生じるため、このときの撮影画像データの点（ｘ_１，ｙ_１）の勾配強度は大きくなる。直方体２０２の下側から光を照射したときは上側に影が生じ、右下側から光を照射したときは左上側に影が生じることから、同様に点（ｘ_１，ｙ_１）の輝度勾配強度は大きくなる。すなわち、各光源ＩＤに対応する勾配強度は、図１７の上段に示すように、隣接しているもの同士で互いに大きい値、または互いに小さい値を取る傾向になる。ここで、光源ＩＤが１である光源１０２−１と光源ＩＤが８である光源１０２−８は隣接しているとみなす。一方、光源１０２−１〜１０２−８を選択的に切り替えても、点（ｘ_２，ｙ_２）の近傍では影の発生又は消滅が生じないため、図１７の下段に示すように点（ｘ_２，ｙ_２）の勾配強度はランダムな値、例えば単にノイズによる勾配の大小変化が生じるのみとなる。このように、隣接する光源同士で勾配強度の大きさが近いかどうかを安定度の指標として用いる。

また、安定度は、例えば以下のような演算で定義する。点（ｘ_１，ｙ_１）の輝度勾配強度が図１８の上段に示すように得られているとする。

はじめに、勾配強度の順位を２段階に分類した二値符号であるＮビットの２進数ｂを生成する。次に、２進数ｂを１ビット左にローテートした２進数ｂ’を生成する。ここで、２進数の左ローテートとは、ビットシフトによりあふれた最上位ビットを最下位ビットに移す演算である。この後、２進数ｂとｂ’の間で値が一致するビットの個数、すなわち２進数ｂとｂ’のハミング距離を光源数Ｎから引いた数を求め、これを安定度として用いる。なお、２つの２進数ｂ，ｂ’のハミング距離は、実施の形態３で述べた方法により高速に求めることができる。

こうして得られた安定度があらかじめ設定されたしきい値よりも大きければ、マスク情報ｍ（ｘ，ｙ）＝１、そうでなければマスク情報ｍ（ｘ，ｙ）＝０とする。あるいは、画素数全体に占める有効画素の数がある一定の割合になるように安定度が上位の画素から選択するようにしてもよい。

次いで、本実施の形態における各構成要素の説明に戻る。

テンプレート記憶部１０５では、符号生成部１０４で生成した符号と、前述の手順により求めたマスク情報ｍ（ｘ，ｙ）とを記憶する。符号照合部１０６では、相違度の評価にマスク情報ｍ（ｘ，ｙ）を導入する。例えば、本発明の実施の形態１に係る符号照合部１０６の相違度の評価式に対し、以下のようにマスク情報を組み込む。すなわち次式を最小にするような座標（ｘ，ｙ）を、物体の位置として出力する。

本発明の実施の形態２から７に係る符号照合部１０６における相違度の評価式についても同様に、画素毎の相違度の評価式にマスク情報ｍ（ｘ，ｙ）を組み込むことができる。

以上のように構成された実施の形態８によれば、符号生成部１０４では輝度勾配強度が大きい画素、または安定度が高い画素のみを有効にするようなマスク情報を生成し、符号照合部１０６ではマスク情報ｍ（ｘ，ｙ）に基づいて有効な画素のみを用いて符号の相違度を評価する。輝度勾配強度または安定度は物体の立体形状に由来する輪郭の部分で大きくなることから、このような画素のみを有効化して符号の照合に用いることにより、認識精度の向上とマッチング処理の高速化の両立を実現することができる。

実施の形態９．
本発明の実施の形態１から８に係る物体認識装置１００に備えられる光源１０２は、実施の形態９において、２つ以上の複数の同心多重円を含む同心多重円状に配置してもよい。さらには、物体認識装置１００が備える複数の光源のうち、符号の生成および照合の目的に最適な光源を事前に選択する最適化機能を持たせてもよい。

図１９は、二重の同心円状に光源を８個ずつ配置した例である。内側（カメラ１０１に近い側）の光源として光源１０２−１１から１０２−１８を、外側の光源として光源１０２−２１から１０２−２８を配置している。

まず、光源１０２−１１〜１０２−２８を多重円状に配置することによる効果を以下に説明する。図２０Ａ、図２０Ｂ及び図２０Ｃは、カメラ１０１と光源（１０２−１〜１０２−８のうちの１つである１０２）の位置関係が影２０３の現れ方に与える影響を示した図である。図２０Ａに示すように、認識対象物の直方体２０２が背景２０１に接触していてかつカメラ１０１と光源１０２の距離が近い場合、光の照射によってできる影２０３の大きさが小さくなる。影２０３が小さすぎると、画像中の直方体２０２と影２０３の境界部分で大きな輝度勾配強度が得られない可能性がある。そこで、図２０Ｂに示すようにカメラ１０１から離れた光源１０２を用いれば、光の照射によってできる影２０３の大きさも大きくなるため、直方体２０２と影２０３の境界部分で明瞭な輝度勾配が得られる。

しかしながら、図２０Ｃに示すように認識対象物の直方体２０２が背景２０１から物理的に離れている場合、カメラ１０１と光源１０２と認識対象物の直方体２０２との間の位置関係によっては、認識対象物の直方体２０２から離れた位置に影２０３が現れることがある。このような場合の撮影画像は、認識対象物の直方体２０２と背景２０１との間に明瞭な輝度勾配が現れず、反対に認識対象ではない背景２０１に生じる影２０３の付近に大きな輝度勾配が生じる。したがって、図２０Ｃの配置条件では、カメラ１０１と光源１０２の距離を近づけた方がよいということになる。

すなわち、カメラ１０１と光源１０２の間の最適な距離は、認識対象物の形状やカメラ１０１の位置といった条件に応じて適切に設定することが望ましい。物体の認識に最適な光源１０２を選択するためには、各光源１０２−１〜１０２−８を点灯させて撮影した画像を目視で確認する方法の他、各光源１０２−１〜１０２−８を順次独立して選択的に明滅させた時に発生する影２０３の大きさや位置、輝度勾配強度を画像から解析する方法が考えられる。

次に、最適な光の照射方向について述べる。認識対象物の形状によっては、ある特定の光源方向では明瞭な輝度勾配が生じないことがある。これは、例えば光源１０２−１〜１０２−８の照射方向の形状変化が丸みをもっていて、奥行きが緩やかに変化するような場合などに起こりうる。

そこで、複数Ｍ個の光源（Ｍ＞Ｎ）１０２−１〜１０２−Ｍを持った物体認識装置を利用する。基準物体を用いてテンプレートを作成する段階では、Ｍ個の光源１０２−１〜１０２−Ｍの明滅を順次選択的に切り替えて撮影したＭ枚の画像データ間で、例えば輝度勾配強度を比較し、Ｎ枚の画像データを選択する。輝度勾配強度の評価尺度としては、例えばある撮影画像Ｉ_ｋの輝度勾配強度の最大値と最小値の差や、輝度勾配強度の分散などを用いることができる。このようにして選択された最適なＮ枚に対応するＮ個の光源１０２−１〜１０２−Ｎに対して、光源ＩＤを１からＮまで割り当てる。この後の処理は全て、選択されたＮ個の光源１０２−１〜１０２−Ｎに対応するＮ枚の撮影画像データを利用すればよい。

符号生成部１０４では、Ｎ枚の画像データからテンプレート符号を作成し、テンプレート記憶部１０５に格納する。物体認識時には、符号照合部１０６は、Ｎ枚の画像データを用いて符号生成部１０４で生成された参照画像データの符号と、テンプレート記憶部１０５に格納されているテンプレート画像データの符号とを照合する。符号の照合については、本発明の実施の形態１から７に係る符号照合部１０６の手順を用いることができる。

以上のように構成された実施の形態９によれば、複数の光源１０２−１１〜１０２−２８を同心多重円状に配置することによって、一つの方向から対象物に光線を照射する場合にカメラ光軸と各光源光軸のなす角度を調整することができるため、対象物の起伏によって生じる影の大きさを適切に設定することができ、物体の認識に用いる符号を精度良く生成することができる。

さらに、事前に配置した照射角度が異なる多数の光源をもとに、方向による明暗差が大きくなる配置の組み合わせを求めて、その配置にある光源１０２のみを点滅制御することによって、明暗差に敏感な認識を実現し、マッチングの信頼性を向上させることができる。

実施の形態１０．
本発明の実施の形態１から９に係る物体認識装置１００に備えられる光源１０２は、実施の形態１０において、発光輝度を能動的に制御することが可能とし、物体認識装置１００は、カメラ１０１で撮影した画像の明るさに応じて光源１０２の発光輝度を調整して再撮影するようにしてもよい。あるいは、カメラ１０１がシャッタースピードとゲインの少なくともいずれか一方の能動的な制御が可能とし、物体認識装置１００は、カメラ１０１で撮影した画像の明るさに応じてカメラ１０１のシャッタースピードおよびゲインを調整して再撮影するようにしてもよい。

本発明の実施形態に係る物体認識装置１００は、各光源１０２−１〜１０２−Ｎを順次選択的に点灯させたときの撮影画像の輝度勾配強度や方向に基づいて符号を生成し、この符号を用いて物体認識を行う。つまり、高精度な物体認識を行うためには符号が正確に生成されること、すなわち十分大きな輝度勾配が得られることが重要である。このためには、光源１０２の発光輝度、またはカメラ１０１のシャッタースピードとゲインといったパラメータを適切に設定し、画素値の飽和を抑制しながら高いコントラストを得る必要がある。

光源１０２−１〜１０２−Ｎの発光輝度、またはカメラ１０１のシャッタースピード・ゲインの調整は次のように行う。基準物体を用いてテンプレートを作成する段階で、適当なパラメータを設定し、一度撮影してみる。撮影した画像データに対し、輝度値の分布を調べる。輝度値が飽和している場合は画像が明るすぎるため、光源１０２−１〜１０２−Ｎの発光輝度を下げるか、カメラ１０１のシャッタースピードを早くするか、もしくはカメラ１０１のゲインを下げた上で再撮影する。反対に、輝度値が小さい方に偏っている場合は画像が暗すぎるため、光源１０２−１〜１０２−Ｎの発光輝度を上げるか、カメラ１０１のシャッタースピードを遅くするか、もしくはカメラ１０１のゲインを上げた上で再撮影する。再撮影した画像に対して前述の手順を繰り返し、輝度値の分布が適切と判断されるまで繰り返す。このようにして、適切なパラメータ設定を求める。

以上のように構成された実施の形態１０によれば、物体認識装置１００は光源１０２−１〜１０２−Ｎの輝度やカメラ１０１のシャッタースピード、ゲインといったパラメータを能動的に制御し、適切な輝度分布を持った画像を得ることができるため、認識処理の信頼性が向上する。

実施の形態のまとめ．
以上のように説明した各実施の形態の態様及びその効果は以下の通りである。

第１の態様に係る物体認識装置は、
認識対象物を撮影するカメラと、
前記カメラの周辺に複数個配置され各々が独立して選択的に明滅する光源と、
前記各光源の明滅を制御して当該各光源の明滅に同期してあるいは非同期でカメラに撮像トリガ信号を送出し符号生成部に光源ＩＤ情報を送出する制御部と、
前記各光源の点灯または消灯時にカメラで撮影された各画像の輝度値から符号を生成する符号生成部と、
所定の基準物体の情報を格納したテンプレート記憶部と、
前記認識対象物を撮影した画像群から生成した符号を前記テンプレート記憶部に格納した情報から生成した符号と照合し照合結果を出力する符号照合部とを備えたことを特徴とする。

この構成により、認識対象物が奥行きを有していてカメラの視点の変化による画像中の見えの変化が大きい場合でも高精度にテンプレートマッチングを実行することができる。

第２の態様に係る物体認識装置は、第１の態様に係る物体認識装置において、前記符号生成部によって生成される符号は、前記光源の明滅を選択的に切り替えて撮影した画像の輝度値から算出される勾配の強度を表現したものであることを特徴とする。

この構成により、認識対象物の深度情報（カメラから見て奥行き方向の形状情報）を用いたテンプレートマッチングが実現できるため、認識精度が向上する。

第３の態様に係る物体認識装置は、第１または第２の態様に係る物体認識装置において、前記符号生成部によって生成される符号は、前記光源の明滅を選択的に切り替えて撮影した画像の輝度値から算出される輝度勾配の強度の順位を表現したものであることを特徴とする。

この構成により、勾配強度の変動に対して頑健にテンプレートマッチングを実行できる。

第４の態様に係る物体認識装置は、第１〜第３の態様のいずれか１つに係る物体認識装置において、前記符号生成部は、ビット数が光源の数に一致しかつ各ビットが光源に対応するような二値符号を画素毎に生成し、前記光源の明滅を選択的に切り替えて撮影した画像の各々に対して輝度勾配を算出して、当該輝度勾配の強度が上位に分類された光源に対応するビットと下位に分類された光源に対応するビットにそれぞれ異なるビット値を割り当てることを特徴とする。

この構成により、テンプレートマッチングをビット演算として高速に実行することができる。さらに、勾配強度を二値化することにより、勾配強度の順位変動に対する頑健性が向上する。

第５の態様に係る物体認識装置は、第１〜第４の態様のいずれか１つに係る物体認識装置において、前記符号照合部は、前記符号生成部によって入力画像群から生成された二値符号と、あらかじめテンプレートとして登録した二値符号との間のハミング距離によって相違度を算出することを特徴とする。

この構成により、テーブルの参照によって画素毎の相違度を求めることができるため、符号照合処理を高速に実行することができる。

第６の態様に係る物体認識装置は、第１〜第５の態様のいずれか１つに係る物体認識装置において、前記符号生成部は、桁数が光源の数に一致する三値符号を画素毎に生成し、当該三値符号は、前記光源の明滅を選択的に切り替えて撮影した画像各々に対して輝度勾配を算出して当該輝度勾配の強度を上位、中位及び下位の３段階に分類した結果を表現したものとすることを特徴とする。

この構成と第７の態様に係る物体認識装置との組み合わせにより、勾配強度の順位が入れ替わっても相違度に影響を与えずに済むため、認識のロバスト性が向上する。

第７の態様に係る物体認識装置は、第６の態様に係る物体認識装置において、前記符号照合部は、前記符号生成部によって入力画像群から生成された三値符号とテンプレートの三値符号の照合により相違度を算出するものであり、前記輝度勾配の強度の上位同士または下位同士の符号がそれぞれ一致した場合に相違度の評価値を下げ、中位の符号については相違度の算出に寄与させないことを特徴とする。

この構成により、テンプレートと参照画像との間で勾配強度順位の入れ替わりが発生した場合でも、上位と下位の入れ替わりが生じない限り相違度に影響を及ぼさないため、ロバストなマッチングが実現できる。

第８の態様に係る物体認識装置は、第１〜第７の態様のいずれか１つに係る物体認識装置において、前記符号生成部は、前記符号を画素毎に生成し、前記光源の明滅を選択的に切り替えて撮影した画像各々から算出した輝度勾配の強度のうち最も大きい方向をその画素の方向として符号化することを特徴とする。

この構成により、１画素あたりの符号のサイズがｌｏｇ_２Ｎビットのコンパクトな符号とすることができる。

第９の態様に係る物体認識装置は、第１〜第７の態様のいずれか１つに係る物体認識装置において、前記符号生成部は、次元数が前記光源の数に一致する符号を画素毎に生成し、前記光源の明滅を選択的に切り替えて撮影した画像各々から算出した輝度勾配の方向を前記符号の各次元に割り当てる特徴量とすることを特徴とする。

この構成により、光の照射方向を変えても輝度勾配の方向が変化しないことを利用した、環境や認識対象物のばらつきに強い符号を生成できる。

第１０の態様に係る物体認識装置は、第８又は第９の態様に係る物体認識装置において、前記符号照合部は前記輝度勾配の方向の差が小さいほど一致度が高くなるような評価基準によって符号の照合を行うことを特徴とする。

この構成により、環境や認識対象物のばらつきにより輝度勾配強度やその順位は変動しやすいが、勾配の方向は変わりにくいという性質を利用することにより、認識精度を向上させることができる。

第１１の態様に係る物体認識装置は、第１〜第９の態様のいずれか１つに係る物体認識装置において、前記符号生成部は、前記各光源の明滅を選択的に切り替えて撮影した画像の輝度値に基づいて、画素毎に符号の有効または無効を判定し、有効または無効に関する情報を生成することを特徴とする。

この構成により、照合に有効な画素のみを選択することにより、マッチングの高精度化と高速化を両立することができる。

第１２の態様に係る物体認識装置は、第１０の態様に係る物体認識装置において、前記符号生成部は、前記各光源の明滅を選択的に切り替えて撮影した画像の輝度勾配の強度の大きさに基づいて、画素毎に符号の有効または無効を判定し、有効または無効に関する情報を生成することを特徴とする。

この構成により、物理形状に由来する輪郭の部分では勾配強度が大きくなることから、勾配強度の大きい画素のみを選択して符号の照合に利用することにより、マッチングの高精度化と高速化を両立することができる。

第１３の態様に係る物体認識装置は、第１０の態様に係る物体認識装置において、前記符号生成部は、同一対象物を撮影した複数の画像をもとに計算した各画素の安定度に基づいて、画素毎に符号の有効または無効を判定し、有効または無効に関する情報を生成することを特徴とする。

この構成により、同一対象物を撮影した複数のテンプレート画像から各画素の安定度合いを推定し、安定度が高い画素を有効、低い画素を無効と判定して有効な画素のみを選択して符号の照合に利用することにより、マッチングの高精度化と高速化を両立することができる。

第１４の態様に係る物体認識装置は、第１〜第１２の態様のいずれか１つに係る物体認識装置において、前記符号照合部は、前記符号生成部が有効と設定した画素のみについて入力画像の符号とテンプレート符号とを照合することを特徴とする。

この構成により、光の照射方向を変えても輝度勾配が変化しない、安定した画素のみをマッチングに用いる。すなわち強度変化が不安定な画素をマスクすることにより、マッチング精度の向上と処理の高速化を同時に実現する。

第１５の態様に係る物体認識装置は、第１〜第１４の態様のいずれか１つに係る物体認識装置において、前記複数個配置された光源を、複数の同心多重円状に配置することを特徴とする。

この構成により、複数の光源を同心多重円状に配置することによって、一つの方向から対象物に光線を照射する場合にカメラ光軸と各光源光軸のなす角度を調整することができ、対象物の起伏によって生じる影の大きさを適切に設定することができる。

第１６の態様に係る物体認識装置は、第１〜第１５の態様のいずれか１つに係る物体認識装置において、前記符号生成部が行う符号の生成、および前記符号照合部が行う符号の照合において、使用する光源の数と方向を事前に最適化する機能を有することを特徴とする。

この構成により、事前に配置した照射角度が異なる多数の光源をもとに、方向による明暗差が大きくなる配置の組み合わせを求めて、その配置にある光源のみを点滅制御することによって、明暗差に敏感な認識を実現し、マッチングの信頼性が向上する。

第１７の態様に係る物体認識装置は、第１〜第１６の態様のいずれか１つに係る物体認識装置において、発光輝度を能動的に制御することが可能な光源を複数備え、事前に撮影された画像中の各画素の明るさを調べ、明るさに応じて前記各光源の発光輝度を制御して再撮影することを特徴とする。

この構成により、計測前に一度撮影してみて、明るすぎる場合には光源の強さを弱め、暗すぎる場合には強めるように制御することによって、適切な明るさ範囲を持つ画像を得ることができ、計測の信頼性が向上する。

第１８の態様に係る物体認識装置は、第１〜第１７の態様のいずれか１つに係る物体認識装置において、前記カメラはシャッタースピードとゲインの少なくともいずれか一方の能動的な制御が可能なカメラであって、事前に撮影された画像中の各画素の明るさを調べ、明るさに応じて前記カメラのシャッタースピードおよびゲインを制御して再撮影することを特徴とする。

この構成により、計測前に一度撮影してみて、明るすぎる場合にはカメラのシャッタースピードを早くするかゲインを下げ、暗すぎる場合にはシャッタースピードを遅くするかゲインを上げるように制御することによって、適切な明るさ範囲を持つ画像を得ることができ、計測の信頼性が向上する。

本発明は、認識させたい物体（認識対象物）をあらかじめ登録しておき、その存在箇所をカメラ撮影画像の中から認識する物体認識装置を提供することができる。これにより、従来技術に比較して、対象物の見えの変化に対する頑健性を高めた高精度な物体認識装置を提供する。

１００ 物体認識装置、１０１ カメラ、１０２，１０２−１〜１０２−２８，１０２−Ｎ 光源、１０３ 制御部、１０４ 符号生成部、１０５ テンプレート記憶部、１０６ 符号照合部、２０１ 背景、２０２ 直方体、２０３ 影。

Claims (17)

1. 認識対象物を撮影するカメラと、
   前記カメラの周辺に複数個配置され各々が独立して選択的に明滅する光源と、
   前記各光源の明滅を制御して当該各光源の明滅に同期してあるいは非同期でカメラに撮像トリガ信号を送出し符号生成部に光源ＩＤ情報を送出する制御部と、
   前記各光源の点灯または消灯時にカメラで撮影された各画像の輝度値から符号を生成する符号生成部と、
   所定の基準物体の情報を格納したテンプレート記憶部と、
   前記認識対象物を撮影した画像群から生成した符号を前記テンプレート記憶部に格納した情報から生成した符号と照合し照合結果を出力する符号照合部とを備え、
   前記符号生成部によって生成される符号は、前記光源の明滅を選択的に切り替えて撮影した画像の輝度値から算出される勾配の強度を表現したものであることを特徴とする物体認識装置。
2. 認識対象物を撮影するカメラと、
   前記カメラの周辺に複数個配置され各々が独立して選択的に明滅する光源と、
   前記各光源の明滅を制御して当該各光源の明滅に同期してあるいは非同期でカメラに撮像トリガ信号を送出し符号生成部に光源ＩＤ情報を送出する制御部と、
   前記各光源の点灯または消灯時にカメラで撮影された各画像の輝度値から符号を生成する符号生成部と、
   所定の基準物体の情報を格納したテンプレート記憶部と、
   前記認識対象物を撮影した画像群から生成した符号を前記テンプレート記憶部に格納した情報から生成した符号と照合し照合結果を出力する符号照合部とを備え、
   前記符号生成部によって生成される符号は、前記光源の明滅を選択的に切り替えて撮影した画像の輝度値から算出される輝度勾配の強度の順位を表現したものであることを特徴とする物体認識装置。
3. 認識対象物を撮影するカメラと、
   前記カメラの周辺に複数個配置され各々が独立して選択的に明滅する光源と、
   前記各光源の明滅を制御して当該各光源の明滅に同期してあるいは非同期でカメラに撮像トリガ信号を送出し符号生成部に光源ＩＤ情報を送出する制御部と、
   前記各光源の点灯または消灯時にカメラで撮影された各画像の輝度値から符号を生成する符号生成部と、
   所定の基準物体の情報を格納したテンプレート記憶部と、
   前記認識対象物を撮影した画像群から生成した符号を前記テンプレート記憶部に格納した情報から生成した符号と照合し照合結果を出力する符号照合部とを備え、
   前記符号生成部は、ビット数が光源の数に一致しかつ各ビットが光源に対応するような二値符号を画素毎に生成し、前記光源の明滅を選択的に切り替えて撮影した画像の各々に対して輝度勾配を算出して、当該輝度勾配の強度が上位に分類された光源に対応するビットと下位に分類された光源に対応するビットにそれぞれ異なるビット値を割り当てることを特徴とする物体認識装置。
4. 認識対象物を撮影するカメラと、
   前記カメラの周辺に複数個配置され各々が独立して選択的に明滅する光源と、
   前記各光源の明滅を制御して当該各光源の明滅に同期してあるいは非同期でカメラに撮像トリガ信号を送出し符号生成部に光源ＩＤ情報を送出する制御部と、
   前記各光源の点灯または消灯時にカメラで撮影された各画像の輝度値から符号を生成する符号生成部と、
   所定の基準物体の情報を格納したテンプレート記憶部と、
   前記認識対象物を撮影した画像群から生成した符号を前記テンプレート記憶部に格納した情報から生成した符号と照合し照合結果を出力する符号照合部とを備え、
   前記符号照合部は、前記符号生成部によって入力画像群から生成された二値符号と、あらかじめテンプレートとして登録した二値符号との間のハミング距離によって相違度を算出することを特徴とする物体認識装置。
5. 認識対象物を撮影するカメラと、
   前記カメラの周辺に複数個配置され各々が独立して選択的に明滅する光源と、
   前記各光源の明滅を制御して当該各光源の明滅に同期してあるいは非同期でカメラに撮像トリガ信号を送出し符号生成部に光源ＩＤ情報を送出する制御部と、
   前記各光源の点灯または消灯時にカメラで撮影された各画像の輝度値から符号を生成する符号生成部と、
   所定の基準物体の情報を格納したテンプレート記憶部と、
   前記認識対象物を撮影した画像群から生成した符号を前記テンプレート記憶部に格納した情報から生成した符号と照合し照合結果を出力する符号照合部とを備え、
   前記符号生成部は、桁数が光源の数に一致する三値符号を画素毎に生成し、当該三値符号は、前記光源の明滅を選択的に切り替えて撮影した画像各々に対して輝度勾配を算出して当該輝度勾配の強度を上位、中位及び下位の３段階に分類した結果を表現したものとすることを特徴とする物体認識装置。
6. 前記符号照合部は、前記符号生成部によって入力画像群から生成された三値符号とテンプレートの三値符号の照合により相違度を算出するものであり、前記輝度勾配の強度の上位同士または下位同士の符号がそれぞれ一致した場合に相違度の評価値を下げ、中位の符号については相違度の算出に寄与させないことを特徴とする、請求項５に記載の物体認識装置。
7. 認識対象物を撮影するカメラと、
   前記カメラの周辺に複数個配置され各々が独立して選択的に明滅する光源と、
   前記各光源の明滅を制御して当該各光源の明滅に同期してあるいは非同期でカメラに撮像トリガ信号を送出し符号生成部に光源ＩＤ情報を送出する制御部と、
   前記各光源の点灯または消灯時にカメラで撮影された各画像の輝度値から符号を生成する符号生成部と、
   所定の基準物体の情報を格納したテンプレート記憶部と、
   前記認識対象物を撮影した画像群から生成した符号を前記テンプレート記憶部に格納した情報から生成した符号と照合し照合結果を出力する符号照合部とを備え、
   前記符号生成部は、前記符号を画素毎に生成し、前記光源の明滅を選択的に切り替えて撮影した画像各々から算出した輝度勾配の強度のうち最も大きい方向をその画素の方向として符号化することを特徴とする物体認識装置。
8. 認識対象物を撮影するカメラと、
   前記カメラの周辺に複数個配置され各々が独立して選択的に明滅する光源と、
   前記各光源の明滅を制御して当該各光源の明滅に同期してあるいは非同期でカメラに撮像トリガ信号を送出し符号生成部に光源ＩＤ情報を送出する制御部と、
   前記各光源の点灯または消灯時にカメラで撮影された各画像の輝度値から符号を生成する符号生成部と、
   所定の基準物体の情報を格納したテンプレート記憶部と、
   前記認識対象物を撮影した画像群から生成した符号を前記テンプレート記憶部に格納した情報から生成した符号と照合し照合結果を出力する符号照合部とを備え、
   前記符号生成部は、次元数が前記光源の数に一致する符号を画素毎に生成し、前記光源の明滅を選択的に切り替えて撮影した画像各々から算出した輝度勾配の方向を前記符号の各次元に割り当てる特徴量とすることを特徴とする物体認識装置。
9. 前記符号照合部は前記輝度勾配の方向の差が小さいほど一致度が高くなるような評価基準によって符号の照合を行うことを特徴とする、請求項７または８に記載の物体認識装置。
10. 認識対象物を撮影するカメラと、
    前記カメラの周辺に複数個配置され各々が独立して選択的に明滅する光源と、
    前記各光源の明滅を制御して当該各光源の明滅に同期してあるいは非同期でカメラに撮像トリガ信号を送出し符号生成部に光源ＩＤ情報を送出する制御部と、
    前記各光源の点灯または消灯時にカメラで撮影された各画像の輝度値から符号を生成する符号生成部と、
    所定の基準物体の情報を格納したテンプレート記憶部と、
    前記認識対象物を撮影した画像群から生成した符号を前記テンプレート記憶部に格納した情報から生成した符号と照合し照合結果を出力する符号照合部とを備え、
    前記符号生成部は、前記各光源の明滅を選択的に切り替えて撮影した画像の輝度値に基づいて、画素毎に符号の有効または無効を判定し、有効または無効に関する情報を生成することを特徴とする物体認識装置。
11. 前記符号生成部は、前記各光源の明滅を選択的に切り替えて撮影した画像の輝度勾配の強度の大きさに基づいて、画素毎に符号の有効または無効を判定し、有効または無効に関する情報を生成することを特徴とする、請求項９に記載の物体認識装置。
12. 前記符号生成部は、同一対象物を撮影した複数の画像をもとに計算した各画素の安定度に基づいて、画素毎に符号の有効または無効を判定し、有効または無効に関する情報を生成することを特徴とする、請求項９に記載の物体認識装置。
13. 認識対象物を撮影するカメラと、
    前記カメラの周辺に複数個配置され各々が独立して選択的に明滅する光源と、
    前記各光源の明滅を制御して当該各光源の明滅に同期してあるいは非同期でカメラに撮像トリガ信号を送出し符号生成部に光源ＩＤ情報を送出する制御部と、
    前記各光源の点灯または消灯時にカメラで撮影された各画像の輝度値から符号を生成する符号生成部と、
    所定の基準物体の情報を格納したテンプレート記憶部と、
    前記認識対象物を撮影した画像群から生成した符号を前記テンプレート記憶部に格納した情報から生成した符号と照合し照合結果を出力する符号照合部とを備え、
    前記符号照合部は、前記符号生成部が有効と設定した画素のみについて入力画像の符号とテンプレート符号とを照合することを特徴とする物体認識装置。
14. 前記複数個配置された光源を、複数の同心多重円状に配置することを特徴とする、請求項１から１３のいずれか１項に記載の物体認識装置。
15. 前記符号生成部が行う符号の生成、および前記符号照合部が行う符号の照合において、使用する光源の数と方向を事前に最適化する機能を有することを特徴とする、請求項１から１４のいずれか１項に記載の物体認識装置。
16. 発光輝度を能動的に制御することが可能な光源を複数備え、事前に撮影された画像中の各画素の明るさを調べ、明るさに応じて前記各光源の発光輝度を制御して再撮影することを特徴とする、請求項１から１５のいずれか１項に記載の物体認識装置。
17. 前記カメラはシャッタースピードとゲインの少なくともいずれか一方の能動的な制御が可能なカメラであって、事前に撮影された画像中の各画素の明るさを調べ、明るさに応じて前記カメラのシャッタースピードおよびゲインを制御して再撮影することを特徴とする、請求項１から１６のいずれか１項に記載の物体認識装置。

Images