JP5342413B2

JP5342413B2 - 画像処理方法

Info

Publication number: JP5342413B2
Application number: JP2009260671A
Authority: JP
Inventors: 繁男村上; 俊文井上; 浩之大西
Original assignee: Screen Holdings Co Ltd; Dainippon Screen Manufacturing Co Ltd
Current assignee: Screen Holdings Co Ltd; Dainippon Screen Manufacturing Co Ltd
Priority date: 2009-11-16
Filing date: 2009-11-16
Publication date: 2013-11-13
Anticipated expiration: 2029-11-16
Also published as: JP2011106899A

Description

本発明は、対象物の２次元画像から垂直成分、例えば高さがある物体の側面部分を判定する画像処理方法に関する。そして本発明は、物品検査、ロボットの視覚、個人認証、監視カメラ、衛星画像解析、医療画像解析、顕微鏡画像解析などに利用できる。

３次元物体の対象物に対して、非接触でその３次元距離データを計測する場合、例えば特開平２−２９８７８号公報（特許文献１）に示されているように、光軸及び座標系（撮像面）が平行な２台のカメラを使用することが提案されている。これは、その２台のカメラで同一対象物を撮像し、各撮像画像の同一領域を構成する画素についてそれぞれ対応付けを行い、その結果から視差を抽出することにより対象物までの距離を演算するようにしたものである。

一方、対象物の３次元形状データを生成する方法として、ステレオ相関法がしばしば用いられる。ステレオ相関法では、複数台のカメラを備えた撮像装置によって対象物を撮影し、視点の異なる複数の２次元画像を得る。それら複数の２次元画像について、相関法または勾配法などを用いて対応点を探索する。探索結果を合成し、３次元再構成を行って３次元形状データを生成する。

更に詳しく、ステレオ相関法は、輝度画像から物体の形状を計測する簡便な３次元計測手法である。基本的な原理は、２台のカメラから対象物体上の同一点を探し、画像中の２次元座標から各カメラからの方向ベクトルを得て三角測量の原理で３次元座標を計算する。計算に用いるカメラの位置と画像中の２次元位置から方向ベクトルに変換する変換式および式のパラメータは、あらかじめキャリブレーションを行って計測しておく。

ステレオ相関法においては、第一のカメラ画像の各画素内に一点を選び、その周囲の近傍に微小領域（以下近傍領域という）のウィンドウを設ける。多くの場合、近傍領域は注目点を中心とする矩形である。次に、第二のカメラにおいても同様に対応点の候補となる点の周辺に同じ形状のウィンドウを設ける。これらのウィンドウ間で輝度分布の類似度を計算する。類似度の評価方法にはさまざまな方法がある。一例として、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）と呼ばれる方法では相対的位置が等しい画素同士の輝度の差の絶対値のウィンドウ全体における総和を計算する。この場合、計算結果が小さいものほど類似度は高くなる。対応点が決定すれば，２台のカメラからそれぞれの画像上の点への方向ベクトルが決まり，対象物体上の点の３次元座標値が計算できる。

ここで対象物の側面画像は、異なるカメラで撮像された異なる２次元画像中の対象物体上の同一点に観測されることは稀で、一般に異なる位置に現れたり、片方の画像にしか存在しなかったりする。この結果，誤って対応付けられた点から計算された３次元座標値は、正しい値をもたない。

そのため、対応点の探索が困難であり、生成された３次元形状データが不正確となる。よって、対応点はカメラに向いた対象物の正面の平面領域内から選ぶのが好ましい。従って，対象物に対して、ステレオ相関法を正しく行うためには、カメラに向かって対象物画像に現れる側面領域を検出し、さらに可能であれば正面の平面領域を判定する必要がある。そして、既存の対象物の正面の領域を判定する方法は、対象物のエッジを検出する方法（特許文献２）などがある。

この従来の方法は、積層されている箱の斜め上方から照明して、最上位あるいは局所的最上位に位置しない箱に積極的に影ができるようにして箱体を撮像し、画像処理手段により撮像された画像の中から箱体の上面のエッジを陰影に基づいて抽出している。

特開平２−２９８７８号公報特開平７−２９９７８２号公報

しかし、上に述べた従来の方法によっても側面領域の判定をより精度良く行うことは出来ない。対象物が不特定形状で乱雑に配置されているような場合や、乱雑に積層されているような場合は、エッジ検出だけではカメラに向かって正面の平面領域は特定出来ない。例えば、カメラからの視野に積層された上部の対象物の平面に連続して下部の対象物の側面が見えることもあれば、右側の対象物の側面に連続して左側の対象物の平面が見えることもある。そのため、やはり対応点の探索が正確に行われない部分が生じ、正確な３次元形状データを生成することが困難である。

本発明は、ステレオ相関法を用いて物体の３次元形状を計測する際に問題となる画像中に観測される垂直成分の判定を行う。

本発明は上記課題を解決するために、光を照射する第一照射手段で対象物を照明し、少なくとも１つの撮像手段によって撮像した第一２次元画像データを得る第一撮像工程と、第一撮像工程と同一の撮像手段によって同一の対象物を、前記対象物の側面への照明条件が第一照射手段と異なる第二照射手段で照明して撮像した第二２次元画像データを得る第二撮像工程と、第一２次元画像データと第二２次元画像データとから反射光量による輝度値の変動領域から対象物の垂直成分領域を判定する判定工程と、を具備し、前記判定工程は、第一２次元画像データと第二２次元画像データとから反射光量による輝度値の差分データを生成し、前記差分データの平均値から標準偏差の値を離して設定した閾値以上の輝度を示す画像データを対象物の画像データの垂直成分領域と判定するようにしたものである。

また本発明の請求項１記載の画像処理方法において、前記第二撮像工程は、第二照射手段による照明条件が第一照射手段と対象物からの距離と角度が異なるようにしたものである。

本発明の請求項１に係る画像処理方法によれば、２次元画像データ中の垂直成分が簡単に判定される。その結果、２次元画像データの垂直成分領域以外の領域を特定することができる。また、２次元画像データ中の垂直成分領域を高い精度で特定することができる効果を奏する。

また本発明の請求項２に係る画像処理方法によれば、第一撮像工程と第二撮像工程にて得られた２次元画像データによる垂直成分領域の輝度が大きく異なることとなるので、より高い精度で２次元画像データ中の垂直成分領域を特定することができる効果を奏する。

本発明の第１の実施形態の３次元形状生成装置１の機能的な構成を示すブロック図撮像装置および照明装置の配置の例を示す図３次元形状生成装置１の処理フローを示す図垂直成分領域の判定手段を説明する説明図第１の実施形態の３次元形状生成装置１を産業用ロボットのアーム部に配置した示す図

以下、本発明の実施例を図１乃至図３に基づいて説明する。

図１は本発明に係る第１の実施形態の３次元形状生成装置１の機能的な構成を示すブロック図、図２は撮像装置および照明装置の配置の例を示す図である。

本発明では、２台のカメラで同時に例えば床面に置かれた立体形状の対象物Ｑを撮像し、１対のステレオ視対を用意し、そのステレオ視対で距離を計算する。まず個々のステレオ視の画像について垂直成分の領域が存在している領域を抽出し、ついでステレオ視対において３次元形状画像データを生成する。

これらの図において、３次元形状生成装置１は、撮像装置Ｍ１、照明装置Ｆ１、Ｆ２、補助照明Ｆ２１、Ｆ２２および処理装置１０からなる。撮像装置Ｍ１は、２台のカメラＣ１、Ｃ２を一体的に備える。これらのカメラＣ１、Ｃ２は、光学系を介して結像する対象物Ｑの２次元画像を撮像（撮影）するＣＣＤやＣＭＯＳなどを有する公知のデジタルカメラである。２つのカメラＣ１、Ｃ２は、床面に置かれた対象物Ｑに対して互いに視点が異なるように配置され、互いに視差のある２次元画像データＦＤを取得する。

カメラＣ１、Ｃ２により取得された視差を有する２つの２次元画像データＦＤ１、ＦＤ２に基づいて、処理装置１０において、ステレオ相関法によって３次元形状画像データＤＴが生成される。なお、３つ以上のカメラＣを用い、それらから得られる２つの２次元画像データＦＤに基づいて３次元形状画像データＤＴを生成し、他の１つの２次元画像データＦＤを各点の信頼性データの取得に用いることも可能である。このようにすると、データの欠落部分の評価が容易である。

照明装置Ｆ１、Ｆ２は、対象物Ｑに照明光を照射するもので、本発明の第一照射手段に相当する。本実施例において、対象物Ｑの撮像が室内で行なわれるため、撮像における適正露出が得られる撮像環境を得るために撮像装置Ｍ１による撮像時に光を照射するものである。なお、この照射装置Ｆ１、Ｆ２による光量は撮像環境によって変わるもので、対象物Ｑの撮像が室外で行なわれるときには、天候によって変わるが自然光による光量が多い環境では適正露出を得るのに照射装置Ｆ１、Ｆ２による光量は少なくとも良い。

次に、各照明装置Ｆ１、Ｆ２は、対象物Ｑに対して互いに異なる角度で照明光を照射する。照明装置Ｆ１、Ｆ２は撮像装置Ｍ１を挟んで左右に配置され、撮像装置Ｍ１に対向配置された対象物Ｑに向かうように互いに逆向きに傾斜される。これら照明装置Ｆ１、Ｆ２は、撮像装置Ｍ１による撮影に際して、１回目は照明装置Ｆ１により、２回目は照明装置Ｆ２により、それぞれ照明が行なわれる動作と、両方を同時に点灯する動作が可能である。撮像装置Ｍ１で得られる２次元画像データにおいて、垂直成分領域があった場合でも、いずれの照明装置Ｆ１、Ｆ２がオンしているかによって照明光が照射される垂直成分領域の位置が異なる。これら、撮像装置Ｍ１および照明装置Ｆ１、Ｆ２の動作は、処理装置１０によって制御される。

補助照明Ｆ２１、Ｆ２２は、照明装置Ｆ１、Ｆ２とは異なる条件で対象物Ｑに照明光を照射するもので、本発明の第二照射手段に相当する。本実施例において、撮像装置Ｍ１による対象物Ｑの垂直成分領域の判定を行うための撮像時に光を照射するものである。なお、この補助照明Ｆ２１、Ｆ２２による光量は照明装置Ｆ１、Ｆ２と同じ光量に設定されるが、照明装置Ｆ１、Ｆ２と同様に適正露出が得られるように設定してもよい。

次に、各補助照明Ｆ２１、Ｆ２２は、対象物Ｑに対して互いに異なる角度で照明光を照射する。補助照明Ｆ２１、Ｆ２２は撮像装置Ｍ１を挟んで照明装置Ｆ１、Ｆ２の外側で左右に配置され、撮像装置Ｍ１に対向配置された対象物Ｑに向かうように互いに逆向きに傾斜される。更に、補助照明Ｆ２１、Ｆ２２は対象物Ｑからの距離が照明装置Ｆ１、Ｆ２と対象物Ｑとの距離より短くなる高さに配置される。そして、対象物Ｑが配置される床面に対して照明装置Ｆ１、Ｆ２より傾斜する角度が鋭角になる向きに設置される。

これら補助照明Ｆ２１、Ｆ２２は、撮像装置Ｍ１による撮影に際して、１回目は補助照明Ｆ２１により、２回目は補助照明Ｆ２２により、それぞれ照明が行なわれる動作と、両方を同時に点灯する動作が可能である。撮像装置Ｍ１で得られる２次元画像データにおいて、垂直成分領域があった場合でも、いずれの補助照明Ｆ２１、Ｆ２２がオンしているかによって光が照射される垂直成分領域の位置が異なる。また、補助照明Ｆ２１、Ｆ２２の配置は、照明装置Ｆ１、Ｆ２よりも対象物Ｑの垂直成分領域である側面領域において輝度が高くなるように、即ち、明るく照射する条件に高さと傾斜角度が設定されている。これら、補助照明Ｆ２１、Ｆ２２の動作は、処理装置１０によって制御される。

処理装置１０は、制御部１１、記憶部１２、垂直成分領域判定部１３、および３次元形状画像生成部１５などを有する。制御部１１には、撮像制御部２１および照明制御部２２が設けられる。撮像制御部２１は、撮像装置Ｍ１を制御する。例えば、撮像装置Ｍ１のシャッタを制御し、露出タイミング、露出時間などを制御する。照明制御部２２は、各照明装置Ｆ１、Ｆ２と補助照明Ｆ２１、Ｆ２２を制御する。例えば、撮像装置Ｍ１による撮影に際して、露光時間や照明光量や照明装置Ｆ１、Ｆ２と補助照明Ｆ２１、Ｆ２２を順次オンするように切り換える。

その他、制御部１１は処理装置１０の全体を制御する。記憶部１２は、撮像装置Ｍ１から出力される複数組みの２次元画像データ、その他のデータおよびプログラムを記憶する。また、制御部１１からの指令によって、記憶した２次元画像データを垂直成分領域判定部１３に出力する。

垂直成分領域判定部１３は、カメラＣ１からの２次元画像データＦＤ１と、カメラＣ２からの２次元画像データＦＤ２の中から垂直成分領域を検出する。その方法として次の方法がある。画像データ中の１画素ごとの輝度値を基準に所定の閾値との比較でもって画素または領域を垂直成分領域として抽出する。具体的には、撮像装置Ｍ１の一方のカメラＣ１で撮像される対象物Ｑに含まれる垂直面とカメラＣ２により撮像される垂直面は異なる。また、それぞれのカメラＣ１、Ｃ２による撮像領域において照明装置Ｆ１、Ｆ２と補助照明Ｆ２１、Ｆ２２による光照射領域も異なる。この場合、撮像装置Ｍ１に対向する対象物Ｑの正面の平面領域はほぼ均等に照明されることとなるが、略垂直面の側面である垂直成分領域は、カメラＣ１に撮像される側面は照明装置Ｆ１に照明されるが照明装置Ｆ２によっては照明されない位置関係となる。一方、カメラＣ２に撮像される側面は照明装置Ｆ２に照明されるが照明装置Ｆ１によっては照明されない位置関係となる。

補助照明Ｆ２１、Ｆ２２は、撮像装置Ｍ１に対して同じ側に配置されるものは照明装置Ｆ１、Ｆ２と光照射領域はほぼ同じになるが、配置の条件として側面領域に多くの光が照射される。そのため、対象物Ｑにおいて照射面の輝度が大きく異なることとなる。即ち、この場合、撮像装置Ｍ１に対向する対象物Ｑの側面である垂直成分領域は、照明装置Ｆ１、Ｆ２による照明の場合と、補助照明Ｆ２１、Ｆ２による照明の場合と側面における明るさが大きく変動するように補助照明Ｆ２１、Ｆ２２の配置が設定される。即ち、一方のカメラＣ１で撮像する際に照明装置Ｆ１のみを用いた画像と補助照明Ｆ２２のみを用いた画像では垂直面で大きくその明るさが変動する。これはカメラＣ２でも同様である。また、カメラＣ１において照明装置Ｆ２と補助照明Ｆ２１の組合せ、照明装置Ｆ１と補助照明Ｆ２２の組合せにおいても同様に垂直面での明るさが変動する。そこでこの変動の大きな領域を抽出することで対象物Ｑの垂直成分領域と判定する。

この垂直面で明るさが変動するのは、主に、補助照明Ｆ２１、Ｆ２２の対象物Ｑに対する傾斜角度に起因するが、傾斜角度が同じであっても対象物Ｑとの距離によっても明るさは変動する。ここでより明るさの変動を大きくするように傾斜角度と距離の両方を調整することが好ましい。言い換えると、対象物Ｑの側面から光源を見た時の位置が大きく異なるように設定されることとなる。

更に具体的に、一方のカメラＣ１で照明装置Ｆ１を使用した場合と補助照明Ｆ２１を使用した場合の２つの画像を撮像する。通常のカメラにおいては撮像素子に入射する光量を積算し、その値をＡ／Ｄ変換によって整数値に変換し画像フォーマットの形式で保持するが、Ａ／Ｄ変換あるいは画像フォーマットの制限により、この際に画素で表現可能な輝度の最大値が存在する。たとえば輝度を８ｂｉｔで表現する画像フォーマットであれば、最大値は２５５となり最小値は０となる。したがって、そのようなカメラの使用においては、２つの画像における輝度値の差分画像を得ることで、その差分値が大きい値ほど２つの画像で明るさが異なる点、即ち垂直成分領域と判定できる。詳細は後述するが本実施例では、差分画像において、全輝度値の平均値から全輝度値の標準偏差値を減算および加算して離して設定した値を閾値として、垂直成分領域の有無を設定する。他方のカメラＣ２で照明装置Ｆ２を使用した場合と補助照明Ｆ２２を使用した場合も同様である。

このように垂直成分領域判定部１３によって、カメラＣ１、Ｃ２による２次元画像データの中の垂直成分領域を自動的に検出することが可能である。なお、カメラＣ１、Ｃ２による２次元画像データにおける垂直成分領域の位置は異なる。これは、照明装置Ｆ１、Ｆ２とカメラＣ１、Ｃ２の位置が異なるためである。

３次元形状画像生成部１５は、２次元画像データＦＤ１、ＦＤ２に基づいて、３次元形状画像データＤＴを生成する。また、複数の３次元形状画像データＤＴを統合して１つの３次元形状画像データＤＴとする。３次元形状画像生成部１５のこのような機能は、従来から公知である。この３次元形状画像データＤＴを生成する基となる２次元画像データＦＤ１、ＦＤ２の対応点は垂直成分領域判定部１３にて検出された情報を元に垂直成分領域以外の画像から探索される。

このような処理装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、磁気ディスク装置、光磁気ディスク装置、媒体ドライブ装置、入力装置、ディスプレイ装置、および適当なインタフェースなどを用い、ＣＰＵがプログラムを実行することによって実現することができる。パーソナルコンピュータなどを用いて構成することも可能である。そのようなプログラムは、適当な記録媒体によって供給することが可能であり、また、ネットワークを介して他のサーバからダウンロードすることも可能である。

次に、３次元形状生成装置１の動作の流れを、タイムチャートを参照して説明する。図３は３次元形状生成装置１の処理フローを示すタイムチャートである。３次元形状生成装置１で対象物Ｑの３次元形状画像データＤＴを作成したい場合、操作者は３次元形状生成装置１の図示しない動作スイッチをオンする。そのオンに続いて、３次元形状生成装置１は制御部１１によって自動的に以下の動作を行なう。

図３において、照明装置Ｆ１、Ｆ２と補助照明Ｆ２１、Ｆ２２の両方を消灯して撮像装置Ｍ１による１回目の撮像を行う。この時、照明による照明光量が無いので、対象物Ｑを室内において外来光のみで撮像される。

カメラＣ１、Ｃ２を介して得られた２つの２次元画像データＦＤ１１、ＦＤ２１を、記憶部１２の所定のメモリ領域に記憶し、後述する垂直成分領域検出工程において用いられる２次元画像データにおいて外来光の影響を無くす処理が実行される時に利用される（工程Ｓ１）。即ち、以後の工程で得られる２次元画像データの画素値から２次元画像データＦＤ１１、ＦＤ２１の画素値を減算することで外来光に起因する影響がデータ上でなくなる。なお、外来光が無い環境化で３次元形状生成装置１が設置されているのならこの処理は特に必要は無いので操作者が任意に実行設定できるようにしていればよい。通常は、室内光が照明装置Ｆ１、Ｆ２の照度より暗いので、その場合は、後述の初期露光時間Ｔ１と同じ撮像時間で撮像すればよい。

次に、照明装置Ｆ１をＯＮ、照明装置Ｆ２をＯＦＦにしてカメラＣ１による２回目の撮像を行う。この時、照明装置Ｆ１による初期露光時間Ｔ１と初期照明光量は、対象物Ｑを室内において撮像装置Ｍ１で撮影する際の通常の撮像条件が設定される。即ち、一般的にカメラは対象物を撮影するのに適正露出となるよう公知の自動露出機能を有している。本発明では、撮影装置Ｍ１に自動露出により適正露出が設定されることで、初期露光時間Ｔ１と初期照射光量が設定される。続いて、照明装置Ｆ１をＯＦＦ、補助照明Ｆ２１をＯＮにしてカメラＣ１による３回目の撮像を行う。カメラＣ１を介して得られた２つの２次元画像データＦＤ１２、ＦＤ１３を、記憶部１２の所定のメモリ領域に記憶される（工程Ｓ２）。

次に、照明装置Ｆ１をＯＦＦ、照明装置Ｆ２をＯＮにしてカメラＣ２による４回目の撮像を行う。この時、照明装置Ｆ１による初期露光時間Ｔ１と初期照明光量は、工程Ｓ２と同じく対象物Ｑを室内において撮像装置Ｍ１で撮影する際の通常の撮像条件が設定される。続いて、照明装置Ｆ２をＯＦＦ、補助照明Ｆ２２をＯＮにしてカメラＣ２による５回目の撮像を行う。カメラＣ２を介して得られた２つの２次元画像データＦＤ２２、ＦＤ２３を、記憶部１２の所定のメモリ領域に記憶される（工程Ｓ３）。

カメラＣ１、Ｃ２を介して得られた４つの２次元画像データＦＤ１２、ＦＤ１３、ＦＤ２２、ＦＤ２３を用いて、それぞれの画像に対して垂直成分判定部１３によって分析される。次に、垂直成分判定に関して説明する。判定処理は、４つの２次元画像データから同一のカメラによって撮像された２つの画像データを用いて行われる。ここではカメラＣ１によって撮像された２次元画像データＦＤ１２とＦＤ１３を用いて判定処理の説明を行う。なお、カメラＣ２によって撮像された２次元画像データＦＤ２２とＦＤ２３を用いてた判定処理も同じ処理が行われる。

２次元画像データＦＤ１２とＦＤ１３の全画素における輝度値を２５６階調で表する。「２５５」値を明るい側、「０」値を暗い側として設定する。この２次元画像データＦＤ１２とＦＤ１３から同様に２５６階調で表した工程Ｓ１で得た２次元画像データＦＤ１１を引き算する。なお、この工程は室内の環境によっては無くてもよい。そして、２次元画像データＦＤ１２とＦＤ１３の全画素における２５６階調で表した輝度値の差分データを求める。１画素ごとの階調値の差分を計算することで、２次元画像データＦＤ１２とＦＤ１３との間で照射光の照射される状態が大きく異なる領域ほど差分値が「０（ゼロ）」から離れる。即ち、カメラＣ１での撮影領域において対象物Ｑの特定の側面は照明装置Ｆ１で照射された２次元画像データＦＤ１２では暗くなるので、その輝度値が「０」に近くなる。一方、同じ側面は補助照明Ｆ２１で照射された２次元画像データＦＤ１３では明るくなるので、その輝度値が「２５５」に近くなる。そのため、差分値は「０」よりも負側のマイナスの値を示す。即ち、２次元画像データＦＤ１２とＦＤ１３との間で照射光の照射条件が大きく異ならない平面領域ほど、画素の輝度値が等しくなるので差分値が「０（ゼロ）」に近づく。

ここで、この差分データから所定の閾値をもって垂直成分領域を判定する。差分データ中においてその値が「０」に近いほど２次元画像データＦＤ１２とＦＤ１３において対象物Ｑにおける照明装置Ｆ１と補助照明Ｆ２１による照明状態に変動がなかったと言える。言い換えるとカメラＣ１に対向する正面である平面領域が相当する。そのため、逆にマイナスの値が大きいほど、照射状態の変更によって照射光量が変動する略垂直面と考えられる。よって、所定の閾値を略垂直面が示す照射光量の変動に相当する境界値とすることで良好に垂直成分領域を判定することができる。なお、マイナスの数値を扱うのが不都合な場合は、バイアス値を付加して正値として処理を行ってもよい。

詳細に説明すると、所定の閾値は、まず差分データの全画像データの平均値と標準偏差を求める。そして、平均値から標準偏差の値を減算および加算すること平均値から離して設定し閾値とする。差分データの全データの標準偏差を求めることで、２次元画像データＦＤ１２とＦＤ１３における照射光量の変動のバラツキが求められるので、その値を超える照射光量の変動を示すことは、２次元画像データＦＤ１２とＦＤ１３において光照射が変動しているものと言える。対象物Ｑの略垂直面は照明装置Ｆ１と補助照明Ｆ２１による光照射の状態が異なり大きく輝度値が変動する。よって、差分データにおける値も差分データの平均値から標準偏差の値を超えた値である場合、垂直成分領域と判断する。

次に、２次元画像データＦＤ２２とＦＤ２３を用いて同様に垂直成分領域の判定が繰り返される（工程Ｓ３）。そして、それぞれの画像に対して垂直成分判定部１３によって分析された結果が制御部１１に与えられる。制御部１１では、カメラＣ１，Ｃ２による２次元画像領域に垂直成分領域であることを示すフラグを個別に記憶するようにして、両方の画像データにおいて対応点の探索時に利用して３次元形状画像データＤＴを生成する基とすればよい。

次に、照明装置Ｆ１、Ｆ２をＯＮ、補助照明Ｆ２１、Ｆ２２をＯＦＦにしてカメラＣ１、Ｃ２による撮像を行う。この時、照明装置Ｆ１，Ｆ２による初期露光時間Ｔ１と初期照明光量は、工程Ｓ２と工程Ｓ３と同じく対象物Ｑを室内において撮像装置Ｍ１で撮影する際の通常の撮像条件が設定される。そして、カメラＣ１、Ｃ２を介して得られた２つの２次元画像データＦＤ１４、ＦＤ２４を、記憶部１２の所定のメモリ領域に記憶される（工程Ｓ４）。

３次元形状画像生成部１５は、２次元画像データＦＤ１４、ＦＤ２４に基づいて、３次元形状画像データＤＴを生成する。また、複数の３次元形状画像データＤＴを統合して１つの３次元形状画像データＤＴとする。３次元形状画像生成部１５のこのような機能は、従来から公知である。この３次元形状画像データＤＴを生成する基となる２次元画像データＦＤ１４、ＦＤ２４の対応点は垂直成分領域判定部１３にて検出された情報を元に垂直成分領域以外の画像から探索される。カメラＣ１、Ｃ２による撮影領域は変更されないので、工程３で求められた垂直成分領域は、２次元画像データＦＤ１４、ＦＤ２４においても変わらないが、２次元画像データＦＤ１４、ＦＤ２４では垂直成分領域が識別しがたいので、前もって垂直成分領域の判定工程でもってその領域を抽出することで、対応点の探索領域から除外する。それによって、正確な３次元形状データを生成することが可能となる。

上記実施形態では、垂直成分領域の抽出を２つの２次元画像データの差分データの中から、輝度値が所定の閾値以上になっている画素または領域を垂直成分領域として抽出しているが、その方法として他に次の方法がある。

差分データの画素値である０から２５５の値が垂直成分領域である可能性を示す値と関係付けを行う。具体的には、差分データが２００から２５５までを８０％の可能性、１５０から２００までを７０％の可能性、１００から１５０までを５０％の可能性、残りの０から１００までを０％の可能性と設定する。この関係テーブルでもって図４に示すように差分データを画素ごとに可能性を示す数値に置き換えたデータを垂直成分領域判定部１３に生成する。こうすることで、この可能性の閾値を変更することでより垂直成分領域に近い状態の領域を以後の処理で省くようにフラグを立てたい時は、５０％を値として設定する。そして、５０％以上の値を示す画素を全て垂直成分領域と判定するようにすればよい。また、この可能性の閾値は任意に設定できるようにしてもよく、対象物Ｑの高さを低い形状の場合は、閾値を８０％に設定してもよい。なお、関係テーブルは正値のみを示したが、差分データが負値も示す場合は、同様の関係で負値側も関係テーブルを設定すればよい。

また、上記実施形態では、垂直成分領域の抽出のための２つの２次元画像データをカメラＣ１に対して照明装置Ｆ１と補助照明Ｆ２１との組合せとしたが、照明装置Ｆ１に変えて照明装置Ｆ２を用いても良い。また、同様に、カメラＣ２に対して照明装置Ｆ２と補助照明Ｆ２２との組合せとしたが、照明装置Ｆ２に変えて照明装置Ｆ１を用いても良い。

また、上記実施形態では、差分データを照明装置Ｆ１の次に照明装置Ｆ２１を点灯する順番に合わせて２次元画像データＦＤ１２から２次元画像データＦＤ１３を減算したが、逆に照明装置Ｆ２１の次に照明装置Ｆ１を点灯する順番の場合、側面はプラスの値が大きいと考えられる。２次元画像データＦＤ１３から２次元画像データＦＤ１２を減算して差分データを得るようにしてもよい。

また、差分データを得る時に、ここで、２次元画像データＦＤ１２とＦＤ１３との間で平均輝度値が等しくなるようにレベル補正を行ってもよい。こうすることで、差分データを得る際に、より変動部分の抽出が判りやすくなる。

次に、本発明に係る第２の実施形態を図５に基づいて説明する。図５は、第１の実施形態の３次元形状生成装置１を産業用ロボットのアーム部に配置した示す図である。産業用ロボット２００は、回転自在のロボット本体２０１と、ロボット本体２０１に装着されたアーム２０２より構成される。

アーム２０２は、伸縮自在の多間接アームより構成され、その先端に装着された対象物Ｑを挟むことが可能な挟持動作をするハンド２０３より構成され、このハンド２０３に３次元形状生成装置１の照明装置Ｆ１、Ｆ２と補助照明Ｆ２１、Ｆ２２と撮像装置Ｍ１がユニットとして装着される。

この産業用ロボット２００によれば、対象物Ｑをハンド２０３で掴む動作の開始にあたって、３次元形状生成装置１が第１の実施形態と同様の垂直成分領域の判定を行なった上で、２次元画像データを生成する。その２次元画像データに基づいて，３次元形状画像データが形成され、対象物Ｑ上の対応点の３次元座標値が計算できる。その結果、アーム２０２の対象物Ｑまでの動作距離が計算されることで正確にハンド２０３が対象物Ｑを掴むことが可能となる。

工業製品をロボット等の自動機械で取り扱おうとする場合、工業製品の計測や認識を自動的に行う必要がある。従来の２次元あるいは３次元の画像による物体の３次元計測および認識技術では、画像中に垂直成分領域があると、カメラによる撮像結果が著しく異なるので対応点の探索が困難になる。そのため、生産ラインの自動化は限られていた。

本発明により立体的な対象物の位置姿勢を計測できるようになれば、生産ラインにおいて対象を選ばない自動化が可能になる。これは、生産コストの削減と同時に、従来法では自動化が難しかったため労働条件が悪くても人間による作業が必要だった分野においても作業を機械化できることで、労働者を悪条件から解放する効果がある。

上に述べた実施形態において、照明装置Ｆとして、キセノン管、その他の発光素子を用いたフラッシュ装置、ランプを用いた照明装置、マスクシャッタを備えた照明装置など、公知の種々のものを用いることができる。１つの撮影装置Ｍ１を用いたが、複数セットの撮影装置Ｍ１を用いてもよい。

上に述べた実施形態において、撮影装置Ｍ１としてデジタルカメラを用いたが、銀塩式カメラを用いて撮影し、得られた２次元画像データをスキャナーなどを用いてデジタル化してもよい。その他、３次元形状生成装置１の全体または各部の構成、個数、処理内容または処理順序などは、本発明の趣旨に沿って適宜変更することができる。

１３次元形状生成装置
Ｍ１撮像装置
Ｆ１、Ｆ２、Ｆ２１、Ｆ２２照明装置
１０処理装置
Ｃ１、Ｃ２カメラ
Ｑ対象物
１１制御部
１２記憶部
１３垂直成分領域判定部
１５３次元形状画像生成部
２１撮像制御部
２２照明制御部
ＦＤ１、ＦＤ２、ＦＤ１１、ＦＤ１２、ＦＤ１３、ＦＤ１４、ＦＤ２１、ＦＤ２２、ＦＤ２３、ＦＤ２４２次元画像データ
ＤＴ３次元形状データ

Claims

光を照射する第一照射手段で対象物を照明し、少なくとも１つの撮像手段によって撮像した第一２次元画像データを得る第一撮像工程と、
第一撮像工程と同一の撮像手段によって同一の対象物を、前記対象物の側面への照明条件が第一照射手段と異なる第二照射手段で照明して撮像した第二２次元画像データを得る第二撮像工程と、
第一２次元画像データと第二２次元画像データとから反射光量による輝度値の変動領域から対象物の垂直成分領域を判定する判定工程と、
を具備し、
前記判定工程は、第一２次元画像データと第二２次元画像データとから反射光量による輝度値の差分データを生成し、
前記差分データの平均値から標準偏差の値を離して設定した閾値以上の輝度を示す画像データを対象物の画像データの垂直成分領域と判定するようにしたことを特徴とする画像処理方法。
請求項１記載の画像処理方法において、前記第二撮像工程は、前記第二照射手段による照明条件が前記第一照射手段と対象物からの距離と角度が異なることを特徴とする画像処理方法。