JP7007324B2 - 画像処理装置、画像処理方法、及びロボットシステム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びロボットシステムに関する。

対象物をカメラで認識し、認識した対象物をロボットでハンドリングするように構成されたロボットシステムが知られている。例えば、特許文献１は、目標対象物を選択する目標対象物選択部と、他の対象物が目標対象物に近接して配置されているか否かを判定する近接状態判定部と、対象物との干渉が起きないように、回避ベクトルを決定する回避ベクトル決定部と、回避ベクトルに基づいて取出経路を補正した補正経路を作成する取出経路補正部とを備えるロボットシステムを記載する。特許文献２に記載のシステムは、対象物体の２次元情報若しくは３次元情報を取得する第１のセンサと、対象物体の２次元情報若しくは３次元情報を取得する第２のセンサとを用いて、該対象物体の３次元位置姿勢計測を行う。

特開２０１６－１８５５７３号公報 特開２０１３－１８６０８８号公報

対象物の認識に２次元画像を取得する２次元カメラを用いる場合、２次元画像から対象物の輪郭を抽出し対象物の分離に用いるが、対象物の表面の模様（例えば、対象物としての段ボール箱の表面に張られたガムテープ）に影響されて対象物の輪郭が適切に抽出されず対象物の誤認識を生ずる場合がある。他方、対象物の認識に対象物までの距離を表す距離画像を取得可能な３次元カメラを用いることで、対象物表面の模様に影響されずに対象物の輪郭を抽出する手法がある。しかしながら、複数の対象物が密集して配置されているような場合、低解像度の距離画像では対象物同士の狭い隙間を分離して認識できない場合がある。

本開示の一態様は、同一の撮像対象を異なる露光条件で撮像した複数の２次元画像データを記憶する２次元画像記憶部と、前記撮像対象の空間位置に依存する距離情報を表す距離画像データであって、前記２次元画像データの画素配列に対し既知の関係の画素配列を有する距離画像データを記憶する距離画像記憶部と、前記複数の２次元画像データの各々における複数の画素のうち、同一画素同士の輝度の差が所定値よりも小さい第１画素を抽出する画素抽出部と、前記画素配列において前記第１画素に対応する位置にある前記距離画像データの第２画素を特定し、前記第２画素を前記距離画像データにおける非画像化画素とする距離画像調整部と、を備える画像処理装置である。

本開示の別の態様は、ロボットと、前記ロボットを制御するロボット制御装置と、上述の画像処理装置と、を備え、前記ロボット制御装置は、前記距離画像調整部が前記第２画素を前記非画像化画素とした結果の前記距離画像データに基づいて、前記ロボットに前記撮像対象をハンドリングさせる、ロボットシステムである。

本開示のさらに別の態様は、画像処理装置のＣＰＵにより実行される画像処理方法であって、同一の撮像対象を異なる露光条件で撮像した複数の２次元画像データを２次元画像記憶部に記憶し、前記撮像対象の空間位置に依存する距離情報を表す距離画像データであって、前記２次元画像データの画素配列に対し既知の関係の画素配列を有する距離画像データを距離画像記憶部に記憶し、前記複数の２次元画像データの各々における複数の画素のうち、同一画素同士の輝度の差が所定値よりも小さい第１画素を抽出し、前記画素配列において前記第１画素に対応する位置にある前記距離画像データの第２画素を特定し、前記第２画素を前記距離画像データにおける非画像化画素とする、画像処理方法である。

上述の構成によれば、距離画像から高い精度で対象物を認識することが可能となる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

一実施形態に係る画像処理装置を備えたロボットシステムの全体構成を表す図である。 画像処理装置及びロボット制御装置の機能ブロック図である。 画像処理装置により実行される画像処理を表すフローチャートである。 画像処理により撮像された２つの段ボール箱の２次元画像を示している。 距離画像を説明するための図である。 ２次元画像を用いた対象物の画像認識について説明するための図である。 高解像度の３次元カメラを用いて２つの段ボール箱を撮像した場合の距離画像を示す。 低解像度の３次元カメラを用いて２つの段ボール箱を撮像した場合の距離画像を示す。 同一の撮像対象を異なる露光条件で撮像した３つの２次元画像の例を示す。 図３の画像処理により生成される距離画像について説明するための図である。 ロボットシステムにおいて実行される対象物取出処理を表すフローチャートである。 位置マークとしての孔が形成されたワークを撮像して得られた距離画像に対して図３の画像処理を施した後の距離画像を示す。 細いスリットが形成されたワークを撮像して得られた距離画像に対して図３の画像処理を施した後の距離画像を表している。

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

図１は一実施形態に係る画像処理装置３０を備えたロボットシステム１００の全体構成を表す図である。図２は、画像処理装置３０及びロボット制御装置２０の機能ブロック図である。図１に示すように、ロボットシステム１００は、ロボット１０と、ロボット１０を制御するロボット制御装置２０と、画像処理装置３０とを備える。図２に示すように、画像処理装置３０は、同一の撮像対象Ｗを異なる露光条件で撮像した複数の２次元画像データを記憶する２次元画像記憶部３１と、撮像対象Ｗの空間位置に依存する距離情報を表す距離画像データであって、２次元画像データの画素配列に対し既知の関係の画素配列を有する距離画像データを記憶する距離画像記憶部３２と、複数の２次元画像データの各々における複数の画素のうち、同一画素同士の輝度の差が所定値よりも小さい画素（以下、第１画素とも記載する）を抽出する画素抽出部３３と、上記画素配列において第１画素に対応する位置にある距離画像データの画素（以下、第２画素とも記載する）を特定し、第２画素を距離画像データにおける非画像化画素とする距離画像調整部３４と、を備える。

ロボットシステム１００は、さらに、画像処理装置３０に接続された画像取得装置５０を備える。画像取得装置５０は、撮像対象Ｗの空間位置に依存する距離情報を表す距離画像を取得する３次元カメラとしての機能と、距離画像の画素配列と同じ画素配列で撮像対象Ｗの２次元画像を取得する２次元カメラとしての機能とを有する。一例として、画像取得装置５０は、光源と、パターン光を投影するプロジェクタと、プロジェクタを挟んでプロジェクタの両側に配置された２つのカメラとを有し、パターン光が投影された対象物を、異なる位置に配置された２つのカメラから撮像してステレオ法により対象物の３次元位置情報を取得する構成であっても良い。この場合、画像処理装置５０は、同一の画素配列を有する距離画像及び２次元画像、又は、画素配列の対応関係が既知の距離画像及び２次元画像を取得することができる。対象物の３次元位置情報を取得するための方式として他の種類の方式が用いられても良い。画像取得装置５０は、ロボット１０が配置される作業空間内の既知の位置に配置され、撮像対象Ｗを上方から撮像する。なお、画像取得装置５０は、ロボット１０のアーム先端の手首部に取り付けても良い。

本実施形態では、画像取得装置５０として、距離画像と２次元画像との双方を１台のカメラが取得する構成を採用している。しかしこれに限定されず、画像取得装置５０として、対象物の距離画像を取得する３次元カメラと、２次元画像を取得する２次元カメラとを別々にロボットシステム１００内に配置しても良い。この場合、距離画像の画素配列と、２次元画像の画素配列との対応関係を、予めキャリブレーションを行って既知の状態にしておく。

ロボット制御装置２０は、画像処理装置３０によって調整された距離画像データに基づいてロボット１０に撮像対象Ｗをハンドリングさせる。一例として、図２に示すように、ロボット制御装置２０は、画像処理装置３０により調整された距離画像データを用いてパターンマッチングにより対象物の画像認識を行う対象物認識部２１と、対象物の取り出し動作を実行する取出動作実行部２２とを有する構成であっても良い。ロボット１０のアーム先端の手首部には把持装置１５が装着されている。この構成において、取出動作実行部２２は、対象物認識部２１により距離画像を用いて認識された対象物を、ロボット１０を移動させて把持装置１５で把持し取り出す。

図１においてロボット１０は垂直多関節ロボットであるものとして示されているが、ロボット１０としては他のタイプのロボットが用いられても良い。ロボット制御装置２０及び画像処理装置３０の各々は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、操作部、表示部、ネットワークインタフェース、外部機器インタフェース等を有する一般的なコンピュータとしての構成を有していても良い。

ここで、２次元画像又は距離画像を用いて対象物を認識する場合に生じる可能性のある誤認識の問題について説明する。例示として、図１に示したように、撮像対象Ｗが隙間を空けて並置される複数の物体（２つの段ボール箱Ｗ１、Ｗ２）の面を含む場合について考える。図４は、２つの段ボール箱Ｗ１、Ｗ２を図１に示した画像取得装置５０により撮像した２次元画像２０１を示している。なお、本実施形態において２次元画像はグレイスケール画像として取得されるものとする。図４の２次元画像２０１には、２つの段ボール箱Ｗ１、Ｗ２が写っている。段ボール箱Ｗ１の中央部には、段ボール箱Ｗ１の本体よりもやや暗い濃淡度で縦方向に延びるガムテープ６１が写っており、段ボール箱Ｗ２の中央部にも、段ボール箱Ｗ２の本体よりもやや暗い濃淡度で縦方向に延びるガムテープ６２が写っている。２つの段ボール箱Ｗ１、Ｗ２の間の狭い隙間Ｇ１は、２次元画像２０１中で暗く映る。

図５は、距離画像を説明するための図である。図５に示すように設置フロアＦに対して傾斜して配置された物体Ｔの距離画像を画像取得装置５０で取得することを考える。画像取得装置５０からみて、物体Ｔの第２部分Ｔ２側が第１部分Ｔ１側よりも遠い。距離画像の生成では、カメラから対象物までの距離に応じて色や濃淡を変化させることで距離情報を画像化する。図５の距離画像３００は、画像取得装置５０に近い位置にあるほど明るく表現し、画像取得装置５０から遠い位置にあるほど暗く表現した場合の例である。そのため、距離画像３００では、物体Ｔのうち第２部分Ｔ２側が暗く表現され、第１部分Ｔ１側が明るく表現されている。

ここで、図４のように取得された２次元画像２０１を用いてパターンマッチングにより段ボール箱Ｗ１、Ｗ２を個々に認識する場合について考える。図６（ａ）は、２つの段ボール箱Ｗ１、Ｗ２が、破線の太枠２５１、２５２で示したように正しく認識された場合を示している。しかしながら、２次元画像で対象物の認識を行った場合、図６（ｂ）に破線の太枠２５３で示したように、ガムテープ６１の輪郭線６１ａとガムテープ６２の輪郭線６２ａを認識対象の段ボール箱の輪郭線と誤認識し、認識対象の段ボール箱が太枠２５３の位置にあると誤認識する場合が生じ得る。また、図６（ｃ）に破線の太枠２５４で示すように、２つの段ボール箱Ｗ１、Ｗ２全体を囲む輪郭線を一つの段ボール箱として誤認識する場合も生じ得る。図６（ｃ）のように誤認識するのは、対象物の認識処理において、対象物の高さ（カメラから対象物までの距離）に応じて２次元画像上で対象物の大きさが変化することに対応して、テンプレートの大きさを拡大又は縮小する場合があるためである。図６（ｃ）は、認識対象の段ボール箱が図６（ａ）の場合よりも画像取得装置５０に近い位置にあると誤認識された場合に相当する。以上のように、２次元画像による対象物の認識では、対象物の位置を誤認識する場合がある。

図７は、高解像度の３次元カメラを用いて図１に示した段ボール箱Ｗ１、Ｗ２を画像取得装置５０の位置から撮像した場合の距離画像３０１を示す。図７に示される通り、距離画像３０１では、２つの段ボール箱Ｗ１、Ｗ２の間の隙間Ｇ１が正確に描写されている。距離画像では、対象物上の模様は画像化されない。よって、距離画像３０１では、段ボール箱Ｗ１、Ｗ２上にガムテープ６１、６２は現れないため、上述の図６（ｂ）に図示したようなガムテープの輪郭線に起因する誤認識の問題は生じない。他方、図８は、低解像度の３次元カメラを用いて図１に示した段ボール箱Ｗ１、Ｗ２を画像取得装置５０の位置から撮像した場合の距離画像３０２を示す。図８に示すように、距離画像３０２の場合、隙間Ｇ１の画像がぼやけてつぶれてしまっている。距離画像３０２で画像認識を行った場合、２つの段ボール箱Ｗ１、Ｗ２を分離して認識することができない。このように、距離画像は、対象物の模様に影響を受けない反面、細部を再現するためには高価な高解像度の３次元カメラを用いる必要が生じる。

本実施形態に係る画像処理装置３０は、距離画像を用いて対象物の画像認識を行う場合に生じ得る上述のような問題を解決するように構成されている。図３を参照して画像処理装置３０により実現される画像処理方法ついて説明する。図３は、画像処理装置３０のＣＰＵによる制御の下で実行される画像処理を表すフローチャートである。画像処理装置３０は、画像取得装置５０により取得される距離画像データ及び２次元画像データを用いて以下のように画像処理を実行する。はじめに、画像処理装置３０は、同一の撮像対象Ｗを異なる露光条件で撮像した複数の２次元画像データを２次元画像記憶部３１に記憶する（ステップＳ１）。次に、画像処理装置３０は、撮像対象Ｗの空間位置に依存する距離情報を表す距離画像データであって、２次元画像データの画素配列に対し既知の関係の画素配列を有する距離画像データを距離画像記憶部３２に記憶する（ステップＳ２）。

図９は、同一の撮像対象Ｗを異なる露光条件で撮像した３つの２次元画像２１１－２１３の例を示している。露光条件の変更は、照明光の光源の輝度、露光時間、絞り、撮像素子の感度の調節等、各種手法により行うことができる。ここでは、一例として露光時間を調節したものとする。図９に示した２次元画像２１１－２１３では、２次元画像２１１の露光時間が１番長く、２次元画像２１２の露光時間が２番目に長く、２次元画像２１３の露光時間が一番短い。通常、画像全体の明るさは露光時間に比例する。そのため、段ボール箱Ｗ１、Ｗ２の表面は、露光時間の長さに応じて濃淡が変化している。具体的には、２次元画像２１１中の段ボール箱Ｗ１、Ｗ２の表面が一番明るく、２次元画像２１２中の段ボール箱Ｗ１、Ｗ２の表面が２番目に明るく、２次元画像２１３中の段ボール箱Ｗ１、Ｗ２の表面が一番暗い。露光時間の変化による段ボール箱Ｗ１、Ｗ２の表面の明るさの変化とは対照的に、段ボール箱Ｗ１と段ボール箱Ｗ２の間の隙間Ｇ１の部分の画像の明るさはほとんど変化せず暗いままとなっている。これは、隙間Ｇ１のような空所からは光が画像取得装置５０まで返ってき難いため、このような空所は露光時間によらず常に暗く映るためである。画像処理装置３０（画素抽出部３３）は、このように隙間、スリット、穴等の空所の部分の画像は他の部分の画像よりも露光条件の変化に対する明るさの変化の度合いが小さいことに基づき、空所部分の画像（画素）を抽出する。

ステップＳ３では、複数の２次元画像データの各々における複数の画素のうち、同一画素同士の輝度の差が所定値よりも小さい第１画素を抽出する。一例として、第１画素の抽出は以下のように行うことができる。
（１）２次元画像２１１と２次元画像２１２間で、露光時間の変化に対する輝度の変化の度合いを全画素について求める。
（２）２次元画像２１２と２次元画像２１３間で、露光時間の変化に対する輝度の変化の度合いを全画素について求める。
（３）上記（１）及び（２）の平均値を各画素について求める。
（４）上記（３）で求めた「単位露光時間の変化に対する輝度の変化の度合い」が所定値よりも小さい画素を抽出する。
上記（１）から（４）の処理により隙間Ｇ１部分の画像を構成する第１画素を抽出することができる。ここで「所定値」は、実験値や経験値等の固定的な値を設定するやり方、上記（３）で得られた各画素についての「露光時間の変化に対する輝度の変化」に基づいて「所定値」を設定するやり方等様々なやり方が有り得る。後者の場合には、「露光時間の変化に対する輝度の変化」の全画素における最大値からある値を差し引いた値、或いは、「露光時間の変化に対する輝度の変化」の全画素の平均値からある値を差し引いた値を上記「所定値」とするやり方が有り得る。なお、第１画素の抽出は、同一の撮像対象Ｗを異なる露光条件で撮像した２つの２次元画像があれば行うことができる。

ステップＳ４では、画像処理装置３０は、距離画像３０２中の画素配列において、ステップＳ３で２次元画像中で抽出された第１画素に対応する位置にある距離画像データの第２画素を特定し、第２画素を距離画像データにおける非画像化画素とする。ここで、非画像化画素とするとは、距離情報を表す画素とはしないことを意味する。一例として、第２画素の画素値をゼロやその他の距離情報を表さない無効な値に設定しても良い。これにより、距離画像３０２において隙間Ｇ１部分で対象物を分離し、正確な対象物の認識を行うことが可能になる。ステップＳ４での処理について図１０を参照して説明する。図１０に示すように、２次元画像２０１中の隙間Ｇ１の部分に含まれる第１画素を上述の手法にて抽出し、距離画像３０２中の隙間Ｇ１の部分に対応する第２画素を非画像化画素とする。それにより、図１０中右側に示した距離画像３１０が得られる。距離画像３１０では、隙間Ｇ１の部分の第２画素が非画像化画素とされ、段ボール箱Ｗ１と、段ボール箱Ｗ２が隙間Ｇ１の部分で分離されている。これにより段ボール箱Ｗ１と段ボール箱Ｗ２を個々に正しく認識することが可能になる。

次に、図１１を参照して、ロボットシステム１００において段ボール箱Ｗ１、Ｗ２を取り出す動作を実行する場合の処理（以下、対象物取出処理と記す）について説明する。対象物取出処理は、画像処理装置３０とロボット制御装置２０の協働した動作により実行される。はじめに、画像処理装置３０は、画像取得装置５０に撮像対象Ｗの距離画像を撮像させ、撮像された距離画像を記憶する（ステップＳ１０１）。次に、画像処理装置３０は、画像取得装置５０に露光条件を変えながら所定の回数、撮像対象Ｗの２次元画像を撮像させ、撮像された２次元画像を記憶する（ステップＳ１０２、Ｓ１０３、Ｓ１０４）。これにより、図９に例示したような、露光条件の異なる撮像対象Ｗの複数の２次元画像が取得される。

次に、画像処理装置３０は、２次元画像内で、露光時間の変化に対する輝度の変化の度合いが所定値よりも小さい画素を探索する（ステップＳ１０５）。画像処理装置３０は、探索された画素を、段ボール箱Ｗ１、Ｗ２間の隙間Ｇ１に対応する部分の画素（第１画素）と認識する（ステップＳ１０６）。次に画像処理装置３０は、ステップＳ１０１で取得した距離画像における、隙間Ｇ１に対応する箇所の画素（第２画素）を非画像化画素とする（ステップＳ１０７）。

次に、ロボット制御装置２０の対象物認識部２１は、段ボール箱Ｗ１、Ｗ２のモデルデータを用いて、距離画像内で、段ボール箱Ｗ１又はＷ２を認識する（ステップＳ１０８）。対象物認識のためのモデルデータは、ロボット制御装置２０の記憶装置（不図示）に格納されている。次に、ロボット制御装置２０の取出動作実行部２２は、距離画像内で認識された段ボール箱Ｗ１又はＷ２の位置と、画像取得装置５０のロボット座標系内での位置とに基づいて、ロボット座標系における段ボール箱Ｗ１又はＷ２の位置を算出する。そして、取出動作実行部２２は、算出された段ボール箱Ｗ１又はＷ２のロボット座標系での位置に基づいて、ロボット１０を移動させて把持装置１５で段ボール箱Ｗ１又はＷ２を個別に把持して取り出す動作を実行する（ステップＳ１０９）。

同一の撮像対象を異なる露光条件で撮像した複数の２次元画像データの各々における複数の画素のうち、同一画素同士の輝度の差が所定値よりも小さい第１画素を抽出することによる上述の手法は、物体間の隙間の抽出以外にも、物体に形成された穴やスリット等、照明光の反射光がカメラに返ってき難い空所の撮像情報を保持する画素の抽出に用いることができる。図１２は、位置マークとしての孔Ｃ１が形成された平板状のワークＷ３を撮像して得られた距離画像に対して、図３の画像処理を施した後の距離画像４１０を表している。このような孔Ｃ１の部分についても、２次元画像上では露光条件の変化によらず常に暗い状態に写る。このような孔Ｃ１が比較的小さく低解像度の３次元カメラで取得した距離画像では再現されない場合でも、図３の画像処理を行うことで、図１２に示すように距離画像４１０上で位置マークとしての孔Ｃ１をワークＷ３の画像から分離して認識することが可能である。その結果、距離画像４１０を用いて、ワークＷ３の向きを正しく認識することが可能となる。

図１３は、細いスリットＬ１が形成されたワークＷ４の距離画像に対して図３の画像処理を施した後の距離画像４２０を表している。このようなスリットＬ１の部分についても照明光の反射光がカメラに返ってき難いため、２次元画像におけるスリットＬ１の部分は露光条件の変化によらず常に暗い状態に写る。このようなスリットＬ１が細く低解像度の距離画像では再現されない場合でも、図３の画像処理を行うことで、図１３に示すように距離画像４２０上でスリットＬ１をワークＷ４の画像から分離して認識することが可能である。その結果、距離画像４２０を用いて、ワークＷ４の形状を正しく認識することが可能となる。

以上説明したように、本実施形態によれば、距離画像から高い精度で対象物を認識することが可能となる。

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

図１で示したロボットシステムの構成、図２で示した機能ブロック図の構成は一例であり、本発明が図１－２に示した構成に限定されるものではない。例えば、図１に示した画像処理装置３０としての各種機能がロボット制御装置２０内に実現されていても良い。図２における画像処理装置３０の機能の一部がロボット制御装置２０側に配置されていても良い。或いは、ロボット制御装置２０の機能の一部が画像処理装置３０に配置されていても良い。

上述の実施形態における、同一の撮像対象を異なる露光条件で撮像した複数の２次元画像データを用いて、２次元画像データの各々における複数の画素のうち、同一画素同士の輝度の差が所定値よりも小さい第１画素を抽出し、第１画素に対応する位置にある距離画像データの第２画素を非画像化画素とするという手法は、２次元画像データ上で同一画素同士の輝度の差が所定値よりも小さい画素の情報を用いて、距離画像の情報を補う手法であると表現することもできる。

図３の画像処理におけるステップＳ３（同一画素同士の輝度の差が所定値よりも小さい第１画素を抽出）を実行する場合に、同一画素同士の輝度の差が所定値よりも小さい画素がある程度の塊で存在する場合にのみこのような画素を抽出するようにしても良い。これにより、距離画像上で再現される必要のないキズ等の部分の画素が抽出されることを回避することができる。

１０ ロボット
１５ 把持装置
２０ ロボット制御装置
２１ 対象物認識部
２２ 取出動作実行部
３０ 画像処理装置
３１ ２次元画像記憶部
３２ 距離画像記憶部
３３ 画素抽出部
３４ 距離画像調整部
５０ 画像取得装置
１００ ロボットシステム

Claims (6)

1. 同一の撮像対象を異なる露光条件で撮像した複数の２次元画像データを記憶する２次元画像記憶部と、
   前記撮像対象の空間位置に依存する距離情報を表す距離画像データであって、前記２次元画像データの画素配列に対し既知の関係の画素配列を有する距離画像データを記憶する距離画像記憶部と、
   前記複数の２次元画像データの各々における複数の画素のうち、同一画素同士の輝度の差が所定値よりも小さい第１画素を抽出する画素抽出部と、
   前記画素配列において前記第１画素に対応する位置にある前記距離画像データの第２画素を特定し、前記第２画素を前記距離画像データにおける非画像化画素とする距離画像調整部と、を備える画像処理装置。
2. 前記第１画素は、前記撮像対象における空所の撮像情報を保持する画素である、請求項１に記載の画像処理装置。
3. ロボットと、
   前記ロボットを制御するロボット制御装置と、
   請求項１又は２に記載の画像処理装置と、を備え、
   前記ロボット制御装置は、
   前記距離画像調整部が前記第２画素を前記非画像化画素とした結果の前記距離画像データに基づいて、前記ロボットに前記撮像対象をハンドリングさせる、
   ロボットシステム。
4. 前記複数の２次元画像データ及び前記距離画像データを取得する画像取得装置をさらに備える、請求項３に記載のロボットシステム。
5. 前記撮像対象が、隙間を空けて並置される複数の物体の面を含み、前記第１画素が、前記隙間の撮像情報を保持し、前記ロボットは、前記複数の物体の各々を個別に把持する、請求項３又は４に記載のロボットシステム。
6. 画像処理装置のＣＰＵにより実行される画像処理方法であって、
   同一の撮像対象を異なる露光条件で撮像した複数の２次元画像データを２次元画像記憶部に記憶し、
   前記撮像対象の空間位置に依存する距離情報を表す距離画像データであって、前記２次元画像データの画素配列に対し既知の関係の画素配列を有する距離画像データを距離画像記憶部に記憶し、
   前記複数の２次元画像データの各々における複数の画素のうち、同一画素同士の輝度の差が所定値よりも小さい第１画素を抽出し、
   前記画素配列において前記第１画素に対応する位置にある前記距離画像データの第２画素を特定し、前記第２画素を前記距離画像データにおける非画像化画素とする、画像処理方法。

Images