JP4946535B2 - 画像認識装置 - Google Patents

Description

本発明は、対象物の撮像画像を用いて対象物を認識する画像認識装置に関するものである。

従来の画像認識装置としては、例えば非特許文献１に記載されているように、物体の表面形状を点の集合として三次元空間上に復元し、その三次元空間の各ボクセルに点が存在するかどうかを検出するものが知られている。
FANG,S. AND CHEN,H.2000.Hardware AcceleratedVoxelization.Computers&Graphics 24,3(June),433-442.

しかしながら、上記従来技術においては、以下の問題点が存在する。即ち、画像認識装置を例えばロボットに適用し、画像認識装置の認識結果に応じてロボットの移動経路を求める場合、ノイズ等の影響により誤って点が１つでも復元されると、本来ならば存在しないはずの場所に障害物が存在すると判断されてしまう。この場合には、ロボットの正しい移動経路が得られなくなる。

本発明の目的は、対象物の有無を精度良く認識することができる画像認識装置を提供することである。

本発明は、撮像部により取得した対象物の撮像画像を用いて対象物を認識する画像認識装置において、対象物の撮像画像に基づいて、対象物の表面に対応する複数の点を三次元空間上に復元する三次元復元手段と、復元された複数の点を含む三次元空間を複数のボクセルに分割する空間分割手段と、復元された各点と撮像部とを結ぶ複数の仮想線上に、撮像部側に近づくにつれて存在確率が低くなるような存在確率分布をそれぞれ定義する存在確率定義手段と、複数の仮想線が通過するボクセルに対し、複数の仮想線上に定義された存在確率を全て対応付けする存在確率対応付け手段と、ボクセルに対して対応付けされた全ての存在確率の統計データに基づいて、ボクセルに相当する位置に対象物が存在するかどうかを判断する判断手段とを備えることを特徴とするものである。

このような画像認識装置においては、復元された点（復元点）よりも撮像部側に他の復元点が存在する確率は低いという条件を利用して、各復元点と撮像部とを結ぶ複数の仮想線上に、任意の復元点よりも撮像部側の位置の存在確率が当該復元点の位置の存在確率に比べて低くなるような存在確率分布をそれぞれ定義する。そして、複数の復元点を含む三次元空間を分割して得られた複数のボクセルのうち上記の各仮想線が通過するボクセルに対し、当該各仮想線上に定義された存在確率をそれぞれ対応付けする。ここで、実際の対象物の表面に対応する真の復元点は、ノイズ等の影響により誤って復元された点と異なり、集中する傾向にある。このため、実際に対象物が存在する位置に相当するボクセルには、比較的高い存在確率が数多く対応付けされるようになる。そこで、そのような存在確率の統計データに基づいて、各ボクセルに相当する位置に対象物が存在するかどうかを判断する。これにより、ノイズ等の影響を除外して、対象物の有無を精度良く認識することができる。

好ましくは、判断手段は、統計データとして、ボクセルに対して対応付けされた全ての存在確率の平均値を求め、存在確率の平均値が閾値よりも高いかどうかに基づいてボクセルに相当する位置に対象物が存在するかどうかを判断する。

ボクセルに対して比較的高い存在確率が数多く対応付けされると、そのボクセルにおける存在確率の平均値が高くなる。一方、ボクセルに対して比較的低い存在確率が数多く対応付けされると、ノイズ等の影響によって高い存在確率が１つだけあったとしても、そのボクセルにおける存在確率の平均値は高くはならない。従って、ボクセルに対して対応付けされた存在確率の平均値に基づいてボクセルに相当する位置に対象物が存在するかどうかを判断することにより、対象物の有無をより精度良く認識することができる。

本発明によれば、対象物の有無を精度良く認識することができる。これにより、例えば画像認識装置の認識結果を用いてロボットを任意の位置に移動させる場合に、ロボットの正しい移動経路を求めることが可能となる。

以下、本発明に係わる画像認識装置の好適な実施形態について、図面を参照して詳細に説明する。

図１は、本発明に係わる画像認識装置の一実施形態を示す概略構成図である。同図において、本実施形態の画像認識装置１は、例えば産業用ロボット（図示せず）等に搭載されるものである。

同図において、画像認識装置１は、ロボット前方を撮像するカメラ２，３と、これらのカメラ２，３と接続された演算処理ユニット４とを備えている。カメラ２，３は、例えばＣＣＤカメラであり、異なる２つの視点から対象物Ａを撮像するようにロボットの両眼部（図示せず）に設けられている。カメラ２，３により対象物Ａが撮像されると、その対象物Ａの画像がカメラ２，３の撮像面２ａ，３ａにそれぞれ投影される。

演算処理ユニット４は、カメラ２，３により取得した対象物Ａの撮像画像を入力し、所定の画像処理を行い、ロボット前方に障害物や把持物体等が実際に存在しているかどうかを判定する。演算処理ユニット４による演算処理手順の詳細を図２に示す。

同図において、まず例えば三角測量の原理を利用したステレオ視を用いて、図３（ａ）に示すように、カメラ２，３により撮像された対象物Ａの表面形状（凹凸）を多数の点Ｐの集合として三次元空間上に復元する（手順Ｓ５１）。カメラ２，３の画像面２ａ，３ａにおいて同一の点Ｐの対応付けを行うことで、三角測量の原理により奥行きを知ることができる。

続いて、図３（ｂ）に示すように、手順Ｓ５１で得られた全ての点（復元点）Ｐを含む三次元空間を小空間（ボクセル）Ｑに分割する（手順Ｓ５２）。これにより、全ての復元点Ｐは、何れかのボクセルＱに含まれることとなる。

続いて、図３（ｂ）に示すように、カメラ２，３の中心と復元点Ｐとを結ぶ光線（仮想線）上に、復元点の存在確率を表す分布（存在確率分布）を定義する（手順Ｓ５３）。この存在確率分布の定義処理は、全ての復元点Ｐについて以下のようにして行う。

復元点Ｐは、カメラ２，３で見える範囲を撮像して得られるものである。このため、上記の手順Ｓ５１で得られた復元点Ｐを通る光線上において、復元点Ｐの手前側（カメラ２，３側）に他の復元点Ｐが存在している確率は極めて低い。そこで、任意の復元点Ｐを通る光線上の存在確率分布としては、復元点Ｐの位置の存在確率が最も高く、復元点Ｐよりも手前側及び奥側（カメラ２，３の反対側）に向けて存在確率が低くなる正規分布に類似する山形状の分布となるように定義する。

例えば、図３（ｂ）に示すように多数の復元点Ｐを含む三次元空間において、３つの復元点（Ａ点、Ｂ点、Ｃ点）を通る光線上の存在確率分布は、図４に示すように定義される。図４において、存在確率分布Ｗａは、Ａ点を通る光線上の存在確率の分布を示し、Ａ点の位置で存在確率が最大値となっている。存在確率分布Ｗｂは、Ｂ点を通る光線上の存在確率の分布を示し、Ｂ点の位置で存在確率が最大値となっている。存在確率分布Ｗｃは、Ｃ点を通る光線上の存在確率の分布を示し、Ｃ点の位置で存在確率が最大値となっている。また、Ａ点、Ｂ点、Ｃ点のうち、Ｃ点の位置が最もカメラ２，３に近く、Ｂ点の位置が最もカメラ２，３に遠く離れている。このため、存在確率分布Ｗａ，Ｗｂ，Ｗｃにおける各存在確率の最大値を比較すると、存在確率分布Ｗｃにおける存在確率の最大値が一番大きく、存在確率分布Ｗｂにおける存在確率の最大値が一番小さくなっている。

続いて、各光線が通過する複数のボクセルＱに対し、手順Ｓ５３で当該各光線上に定義された存在確率をそれぞれ対応付けし、これらの対応付けされた存在確率を各ボクセルＱ毎にメモリ（図示せず）に格納する（手順Ｓ５４）。

ここで、図４に示すものを例にとると、Ａ点、Ｂ点、Ｃ点を通る光線が便宜上すべて同じ複数のボクセルＱを通過するとした場合、Ａ点、Ｂ点、Ｃ点を通る光線が通過する複数のボクセルＱに対しては、存在確率分布Ｗａ，Ｗｂ，Ｗｃにおける対応する存在確率がそれぞれ対応付けされることとなる。

続いて、各ボクセルＱについて対応付けされた存在確率の平均値をそれぞれ計算する（手順Ｓ５５）。

ここで、図４に示すものを例にとると、Ａ点、Ｂ点、Ｃ点を通る光線が通過する複数のボクセルＱに対して対応付けされた存在確率の平均値は、図４に示す太線Ｘのように表される。この場合には、Ａ点とＣ点とのほぼ中間の位置に相当するボクセルＱにおいて存在確率が最大となっている。

なお、Ａ点、Ｂ点、Ｃ点を通る光線が全て同じ複数のボクセルＱを通過する場合には、図４に示すように、Ａ点、Ｂ点、Ｃ点を通る光線上に定義された存在確率分布Ｗａ，Ｗｂ，Ｗｃを重ね合わせることによっても、太線Ｘのように表される存在確率の平均値を得ることができる。

続いて、各ボクセルＱについて対応付けされた存在確率の平均値に基づいて、各ボクセルＱに相当する位置に対象物Ａが存在するか、つまり各ボクセルＱに対象物Ａの表面の一部に対応する正しい復元点Ｐが存在するかどうかを判断する（手順Ｓ５６）。その判断は、具体的には以下のようにして行う。

即ち、実際に対象物Ａの画像が三次元空間上に復元されたときには、狭い範囲内に多くの復元点Ｐが集中するようになるため、対象物Ａが存在する位置に相当するボクセルＱに含まれる復元点Ｐの数が多くなる。このため、そのボクセルＱに対しては、比較的高い存在確率が数多く対応付けされることになるため、当該ボクセルＱにおける存在確率の平均値が高くなる。

しかし、対象物Ａの画像の三次元復元時にカメラ２，３間で同一の点の対応がうまくとれていないと、本来ならば対象物Ａが存在しない位置に相当するボクセルＱに復元点Ｐがノイズ等として出てくることがある。ただし、このノイズ等による復元点Ｐは集中することは殆ど無い。このため、そのボクセルＱに対しては比較的低い存在確率が数多く対応付けされることになるため、当該ボクセルＱにおける存在確率の平均値があまり高くなることは無い。特に、復元点Ｐの数が多くなるほど、そのような傾向が顕著に表れるようになる。

そこで、例えばボクセルＱにおける存在確率の平均値が予め設定された閾値よりも高いときは、そのボクセルＱに含まれる復元点Ｐは正しいものであり、当該ボクセルＱに対応する位置には対象物Ａが存在するものと判断する。一方、ボクセルＱにおける存在確率の平均値が予め設定された閾値よりも低いときは、そのボクセルＱに含まれる復元点Ｐはノイズ等の影響により誤って生成されたものであり、当該ボクセルＱに対応する位置には対象物Ａが存在しないものと判断する。

ここで、図４に示すものを例にとると、Ａ点とＣ点との中間付近の位置に対応するボクセルＱにおいて存在確率の平均値（平均存在確率）が最大となっているため、そのボクセルＱには真の復元点Ｐが存在しているとみなされる。一方、Ｂ点の位置に対応するボクセルＱにおいても存在確率の平均値が少し高くなっているが、平均存在確率の最大値に比べると十分低いため、そのボクセルＱに含まれる復元点Ｐはノイズ等の影響により誤って生成されたものとみなされる。

以上において、手順Ｓ５１は、対象物の撮像画像に基づいて、対象物の表面に対応する複数の点を三次元空間上に復元する三次元復元手段を構成する。手順Ｓ５２は、復元された複数の点を含む三次元空間を複数のボクセルに分割する空間分割手段を構成する。手順Ｓ５３は、復元された各点と撮像部とを結ぶ複数の仮想線上に、復元された点よりも撮像部側の位置の存在確率が当該点の位置の存在確率に比べて低くなるような存在確率分布をそれぞれ定義する存在確率定義手段を構成する。手順Ｓ５４は、各仮想線が通過するボクセルに対し、各仮想線上に定義された存在確率をそれぞれ対応付けする存在確率対応付け手段を構成する。手順Ｓ５５，Ｓ５６は、各ボクセルに対して対応付けされた存在確率の統計データに基づいて、各ボクセルに相当する位置に対象物が存在するかどうかを判断する判断手段を構成する。

以上のように本実施形態にあっては、カメラ２，３と各復元点Ｐとを結ぶ光線上に、各復元点Ｐの存在確率が最も高くなるような存在確率分布をそれぞれ定義し、各光線が通過するボクセルＱに対し、当該光線上に定義された存在確率を対応付けし、各ボクセルＱにおける存在確率の平均値をそれぞれ求め、その平均値が所定値よりも高いボクセルＱに相当する位置に対象物Ａが存在すると判断する。従って、ノイズ等の影響により誤って生成された復元点Ｐを除外して、対象物Ａの存在を判断することができる。このため、対象物Ａが１つの物体であることや、対象物Ａが例えば床、壁、机等から成っていることを認識することもできる。これにより、対象物Ａを精度良く認識することができる。

従って、例えばロボットが移動するときに、ロボットの進路に実際には障害物が無いにも拘わらず、誤って障害物があると認識して、その位置をよけるような移動経路をとるという不具合を防止することができる。また、ロボットが何らかの物体を把持するときに、実際には把持物体が無いにも拘わらず、誤って把持物体があると認識して、それを掴むように動作するという不具合を防止することも可能となる。

なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態では、カメラ２，３と各復元点Ｐとを結ぶ光線上に正規分布に類似の存在確率分布を定義するようにしたが、存在確率分布としては特にこれに限られず、任意の復元点Ｐよりもカメラ２，３側の位置の存在確率が当該復元点Ｐの位置の存在確率に比べて低くなるような分布を用いれば良い。

また、上記実施形態では、ボクセルＱに対して対応付けされた存在確率の平均値に基づいて、ボクセルＱに真の復元点Ｐが存在するかどうかを判断したが、存在確率の平均値の代わりに、存在確率の中央値（最大値と最小値との中間の値）等の統計データを用いて判断しても良い。

また、上記実施形態では、演算処理ユニット４がロボットに搭載されているものとしたが、演算処理ユニット４をロボット以外の箇所に設置しても良い。この場合には、カメラ２，３による撮像画像を無線通信によりロボットから演算処理ユニットに送り、更に演算処理ユニットによる処理結果を同様に無線通信によりロボットに送るようにすれば良い。

さらに、本発明の画像認識装置は、ロボット以外、例えば車両等にも適用可能であることは言うまでもない。

本発明に係わる画像認識装置の一実施形態を示す概略構成図である。 図１に示した演算処理ユニットによる演算処理手順の詳細を示すフローチャートである。 図２に示した三次元復元処理及び空間分割処理を概念的に示す図である。 図２に示した手順により存在確率分布を定義し、更にボクセルに対して対応付けされた存在確率の平均値を求める方法を簡略化して示す図である。

符号の説明

１…画像認識装置、２，３…カメラ（撮像部）、４…演算処理ユニット（三次元復元手段、空間分割手段、存在確率定義手段、存在確率対応付け手段、判断手段）、Ａ…対象物、Ｐ…復元点、Ｑ…ボクセル。

Claims (2)

1. 撮像部により取得した対象物の撮像画像を用いて前記対象物を認識する画像認識装置において、
   前記対象物の撮像画像に基づいて、前記対象物の表面に対応する複数の点を三次元空間上に復元する三次元復元手段と、
   前記復元された複数の点を含む三次元空間を複数のボクセルに分割する空間分割手段と、
   前記復元された各点と前記撮像部とを結ぶ複数の仮想線上に、前記撮像部側に近づくにつれて存在確率が低くなるような存在確率分布をそれぞれ定義する存在確率定義手段と、
   複数の前記仮想線が通過する前記ボクセルに対し、複数の前記仮想線上に定義された存在確率を全て対応付けする存在確率対応付け手段と、
   前記ボクセルに対して対応付けされた全ての存在確率の統計データに基づいて、前記ボクセルに相当する位置に前記対象物が存在するかどうかを判断する判断手段とを備えることを特徴とする画像認識装置。
2. 前記判断手段は、前記統計データとして、前記ボクセルに対して対応付けされた全ての存在確率の平均値を求め、前記存在確率の平均値が閾値よりも高いかどうかに基づいて前記ボクセルに相当する位置に前記対象物が存在するかどうかを判断することを特徴とする請求項１記載の画像認識装置。

Images