JP3614935B2

JP3614935B2 - 三次元画像計測装置

Info

Publication number: JP3614935B2
Application number: JP15336195A
Authority: JP
Inventors: 弘松崎
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1995-06-20
Filing date: 1995-06-20
Publication date: 2005-01-26
Anticipated expiration: 2020-01-26
Also published as: JPH095050A

Description

【０００１】
【産業上の利用分野】
本発明は、三次元画像計測装置に関し、特に、能動的な手段及び受動的な手段の複数の手段によって取得した画像を処理することにより、三次元の情報を得るための三次元画像計測装置に関するものである。
【０００２】
【従来の技術】
従来、三次元画像を計測する方法として、能動的に光線を測定対象に照射して、その反射光を測定することにより三次元形状を測定する方法と、受動的に画像を取り込み、その画像より三次元形状を復元する方法とがある。
【０００３】
能動的方法として、レーザーレンジファインダと呼ばれるものがある。これは、強度変調されたレーザ光線を出射して、対象物体からの反射光と変調信号との位相差から距離を求める方式の距離測定装置において、測定光線を２次元的に走査し、各点で距離を測定して三次元の形状を測定するものである。これは、ＳＰＩＥ（Ｖｏｌ．８５２，１９８７，ｐ．３４）等に示されており、図５に示すようなものである。すなわち、レーザダイオードから発射された強度変調レーザ光をポリゴンミラーと揺動ミラーで２次元的に走査し、対象物体から反射して戻る光を同じ揺動ミラーとポリゴンミラーを介してＡＰＤ受光器で検出し、反射光と変調信号との位相差から対象物体の各走査点までの距離を測定して三次元の形状を測定するものである。
【０００４】
また、スリット光を投影し、測定対象物体にできるスリット像を観察し、その歪みの量から三次元形状を測定する方法がある。これは、電子通信学会論文誌（Ｖｏｌ．Ｊ６８−Ｄ，１９８５，ｐ．１１４１）等に示されている。
【０００５】
受動的な方法としては、ＣＣＤカメラ等の撮像装置を複数用いて、視点の異なる位置から撮影された複数の多眼画像から三次元の形状を測定するステレオ画像計測法がある。これは、例えば、三次元画像計測（昭晃堂、ｐ．１４）、ＳＰＩＥ（Ｖｏｌ．８４８，１９８７，ｐ．４１１）等に示されるように、左右のカメラにより撮像された画像の強度値Ｉ_Ｌ（ｘ，ｙ），Ｉ_Ｒ（ｘ，ｙ）から、全ての（ｘ，ｙ）についてそれぞれ、

が最小になるような視差量（δｘ，δｙ）を求める。通常の測定では、左右水平にカメラを配置するため、ｙ軸方向の視差は無視するとすれば、δｙ＝０であり、視差量はδｘとなるので、その値から、
ｄ（ｘ，ｙ）＝（ｆ・Ｌ）／（δｘ・μ）（２）
により、点（ｘ，ｙ）の位置の距離ｄ（ｘ，ｙ）を求める。ただし、（２）式において、ｆは結像レンズの焦点距離、Ｌは基線長、すなわち、２つの結像レンズの光軸間の距離、μはＣＣＤ等の受像素子（撮像素子）の画素間距離である。
【０００６】
また、異種の視覚センサによる測定値を融合させて処理を行うことにより、信頼性を高めようと試みる例もあり、これは、日本ロボット学会誌（Ｖｏｌ．１２，１９９４，ｐ．７００）に示されている。これは、多眼画像とカラー画像とを用い、多眼画像において対応点検索を行う際の中間結果を利用して、カラー画像の領域分割を行い、全体的な処理時間の短縮を行ったものである。
【０００７】
さらに、３ＤＩｍａｇｅＣｏｎｆｅｒｅｎｃｅ’９３，ｐ．１７３には、スリット光投影法による距離画像とステレオ画像との融合処理による三次元計測を行った例もある。
【０００８】
【発明の解決しようとする課題】
しかし、上記のように、能動的に測定光線を出射して測定を行う方法では、距離が遠くなるに従って反射光強度が弱くなり、距離が遠い位置での測定が行えないという不都合がある。さらに、対象物体の表面状態によっても測定特性が変化し、反射率の悪い表面では反射光量が弱く、測定が行えないという不都合がある。
【０００９】
また、受動的な測定であるステレオ画像計測法では、左右の対応点検索が困難で時間もかかるという課題を持っている。さらに、距離が近い程視差量が大きくなるため、対応点検索の難易度は増してくる。
【００１０】
本発明は従来技術の上記のような問題点に鑑みてなされたものであり、その目的は、能動的に測定光線を出射して測定する方法と、受動的な多眼画像からの測定方法とを組み合わせて三次元画像計測を行うことにより、高精度、高分解能な測定と、広い距離範囲の測定を行うことを可能とし、処理時間も短縮するようにすることである。
【００１１】
【課題を解決するための手段】
上記目的を達成する本発明の三次元画像計測装置は、測定対象物体に対して能動的に光線を出射して前記光線の反射光線を受光する能動的距離画像計測装置によって得られた前記測定対象物体の距離画像及び反射強度画像と、撮像装置で受動的に得られた前記測定対象物体の画像とを用いて、前記測定対象物体の三次元画像を取得計測する三次元画像計測装置であって、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像とを各画像中の各画素毎に対応付ける対応付け手段と、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像に基いて求められた距離とを相補的に融合処理を行い三次元画像を得る融合処理手段とを備え、
前記融合処理手段は、前記能動的距離画像計測装置で測定された距離値とこの値に対応する前記撮像装置で受動的に得られた画像に基いて求められた距離値との差が所定の閾値以下ならば、これら２つの距離値を平均して距離値として決定することを特徴とするものである。
本発明の別の三次元画像計測装置は、測定対象物体に対して能動的に光線を出射して前記光線の反射光線を受光する能動的距離画像計測装置によって得られた前記測定対象物体の距離画像及び反射強度画像と、撮像装置で受動的に得られた前記測定対象物体の画像とを用いて、前記測定対象物体の三次元画像を取得計測する三次元画像計測装置であって、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像とを各画像中の各画素毎に対応付ける対応付け手段と、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像に基いて求められた距離とを相補的に融合処理を行い三次元画像を得る融合処理手段とを備え、
前記融合処理手段は、前記能動的距離画像計測装置で得られた距離値とこの値に対応する前記撮像装置で受動的に得られた画像に基いて求められた距離値との差が所定の閾値以上ならば、近傍画素の距離の連続性から上記２つの距離の一方をより確かな測定値と判断し、確定値とすることを特徴とするものである。
【００１２】
本発明のもう１つの三次元画像計測装置は、測定対象物体に対して能動的に光線を出射して前記光線の反射光線を受光する能動的距離画像計測装置によって得られた前記測定対象物体の距離画像及び反射強度画像と、撮像装置で受動的に得られた前記測定対象物体の画像とを用いて、前記測定対象物体の三次元画像を取得計測する三次元画像計測装置であって、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像とを各画像中の各画素毎に対応付ける対応付け手段と、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像に基いて求められた距離とを相補的に融合処理を行い三次元画像を得る融合処理手段とを備え、
前記融合処理手段は、前記反射強度画像の強度が所定の閾値以上の画素位置においては、前記撮像装置で受動的に得られた画像から距離を求めるのに、前記能動的距離画像計測装置で得られた距離測定値を、対応点探索を行う際の視差量の初期値として用いることを特徴とするものである。
【００１３】
本発明のさらにもう１つの三次元画像計測装置は、測定対象物体に対して能動的に光線を出射して前記光線の反射光線を受光する能動的距離画像計測装置によって得られた前記測定対象物体の距離画像及び反射強度画像と、撮像装置で受動的に得られた前記測定対象物体の画像とを用いて、前記測定対象物体の三次元画像を取得計測する三次元画像計測装置であって、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像とを各画像中の各画素毎に対応付ける対応付け手段と、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像に基いて求められた距離とを相補的に融合処理を行い三次元画像を得る融合処理手段とを備え、
前記融合処理手段は、前記反射強度画像の強度が所定の閾値以下の画素位置においては、前記撮像装置で受動的に求められた画像に基いて得られた距離を三次元画像の値として選択すると共に、前記反射強度画像の強度が所定の閾値以上の画素位置においては、前記撮像装置で受動的に得られた画像から距離を求めるのに、前記能動的距離画像計測装置で得られた距離測定値を、対応点探索を行う際の視差量の初期値として用いることを特徴とするものである。
【００１４】
以上において、対応付け手段は、能動的距離画像計測手段によって得られた距離画像と、撮像装置によって受動的に得られた画像との対応付けに際して、能動的距離画像計測装置で得られた反射強度画像を用いることが望ましい。
【００１５】
【作用】
以下、本発明において、上記構成をとった理由と作用を説明する。
能動的に光線を出射して距離を測定する方法では、測定値は、一般に、図４中に符号２４で示すように、ｄ（φ，θ）（ｄは距離、φ，θは測定方向角度で、φは水平方向角度、θは垂直方向角度）と表される。
【００１６】
また、受動的な方向による画像は、図４中に符号２６、２７に示すように、Ｉ_Ｌ（ｘ，ｙ）、Ｉ_Ｒ（ｘ，ｙ）（Ｉ_Ｌ，Ｉ_Ｒは受光強度、ｘ，ｙはｘ＝Ｄ（（ｘ^２＋ｙ^２）^１／２）・ｔａｎφ，ｙ＝Ｄ（（ｘ^２＋ｙ^２）^１／２）・ｔａｎθの関係式を満たす。Ｄ（ｒ）は結像レンズの歪曲収差関数である。）と表され、能動的な方式と、受動的な方式とでは、一般的に座標系が異なるので、両者を融合的に処理する際には、座標系を一致させる必要がある。
【００１７】
そのために、まず、視野の中心の方向一致させる方法としては、１つの方法として、予め能動的測定手段と受動的測定手段との視野を機械的に一致させておく方法がある。また、座標変換を行うためには、受動的手段による測定における結像光学系の収差特性を予め測定、又は、シュミレーションしておき、その結果を用いて（φ，θ）を（ｘ，ｙ）に変換することができる。
【００１８】
他の方法として、得られた画像データを用いて、能動的、受動的に得られた各画像の相関を取ることにより、（φ，θ）を（ｘ，ｙ）に変換することもできる。その際、能動的手段で測定された画像としては、多眼画像の明るさ画像と相関を取るため、図４中の符号２５で示す反射強度画像Ｉ（φ，θ）を用いることにする。相関の取り方としては、画像の強度データを利用する方法と、特徴、例えばエッジ等を利用する方法とがある。
【００１９】
具体的に、Ｉ（φ，θ）とＩ_Ｒ（ｘ，ｙ）とのデータを対応させ、全ての（ｘ，ｙ）について、Ｉ_Ｒ（ｘ，ｙ）をＩ（φ，θ）に対応するように（ｘ，ｙ）を（φ，θ）に対応付ける。なお、予め視野を機械的に一致させておく場合は、簡単に（ｘ，ｙ）を（φ，θ）に置き換えられる。そして、

を計算し、Ｅ（φ，θ）が最小となるように、δφ_０、δθ_０を求め、
ｘ＝φ−δφ_０，ｙ＝θ−δθ_０
と座標変換する。これを全てのφ，θについて行う。以上のような方法で、視野の一致した座標系を（ｘ，ｙ）に統一することができる。このようにして、視野の中心の方向の一致と同時に座標変換を行う。ここで、座標変換された距離画像はｄ’（ｘ，ｙ）、反射強度画像はＩ’（ｘ，ｙ）となり、多眼画像は、Ｉ_Ｌ（ｘ，ｙ），Ｉ_Ｒ（ｘ，ｙ）である。
【００２０】
能動的手段で測定されたデータｄ’（ｘ，ｙ）は、すでに直接距離が測定できているので、ｄ’（ｘ，ｙ）は測定精度内で確からしい値を持つ。この値に基づいて、多眼画像の対応点検索を行う。
【００２１】
さらに、反射強度の値Ｉ’（ｘ，ｙ）がある適当に設定した値Ｉ_ｔｈに対して、
Ｉ（ｘ，ｙ）＜Ｉ_ｔｈ
である場合には、能動的手段で測定された距離の測定値に信頼性がなくなるため、多眼画像による計測のみのデータを用いる。このような条件式となるのは、測定対象物体の距離が遠い場合である可能性が高く、そのような場合には、視差も小さくなるので、多眼画像の対応点検索が容易な位置となるため、能動的測定手段のデータが利用できないとしても、特に支障はない。
【００２２】
能動的手段で測定を行うことのできる領域、すなわち、
Ｉ（ｘ，ｙ）≧Ｉ_ｔｈ
においては、レーザーレンジファインダにより測定された距離画像ｄ’（ｘ，ｙ）と多眼画像より得られた距離画像ｄ”（ｘ，ｙ）との２つの値が得られるが、理想的にはこれらの値は一致するものである。しかしながら、通常は、誤差等のため異なる値となる可能性が高い。そのような場合には、これらの値、ｄ’（ｘ，ｙ），ｄ”（ｘ，ｙ）から、差ε（ｘ，ｙ）、
ε（ｘ，ｙ）＝ｄ”（ｘ，ｙ）−ｄ’（ｘ，ｙ）
を判断し、測定値としてより確からしい距離を決定する。
【００２３】
すなわち、ある閾値ε_ｔｈを設定し、
ε≦ε_ｔｈ
である場合には、ｄ’（ｘ，ｙ），ｄ”（ｘ，ｙ）は共に確からしいと見なし、この際は、ｄ’（ｘ，ｙ）とｄ”（ｘ，ｙ）との平均値を取る等すれば、より正確な値となる。また、
ε＞ε_ｔｈ
となった場合は、どちらかが不確かであることが予想されるので、それぞれ近傍の画素の値と比較して、連続性等の条件（近傍の値との差が所定の閾値以下にある場合を連続性があるとして、より確かな測定値と判断する、等）から、より適切な方の値を確定値とする。
【００２４】
以上のように、能動的手段により測定されたデータと多眼画像とを併用して三次元情報を測定することにより、より高精度、高分解能の三次元画像情報が得られる。
【００２５】
【実施例】
以下に、本発明の三次元画像計測装置を実施例に基づいて説明する。
（実施例１）
図１に本発明の実施例１の装置の配置図を示す。図中、１は能動的な測定を行うレーザレンズファインダ、２、３はステレオ画像計測を行うための撮像装置、４はデータ処理装置、５は測定対象物体である。
【００２６】
ここに示したレーザレンジファインダ１は、水平方向約８０°を２５６分割、鉛直方向約４０°を６４分割で測定できるものである。強度変調されたレーザー光を出射して、対象物体５から反射した光の位相ずれを検出して距離に変換する方法をとっている。また、位相データと共に、その中の受光素子に入射する光強度データも同時に測定する機構も備えている。
【００２７】
撮像装置２、３を用いた受動的な測定においては、縦５１２画素、横５１２画素の画像データを測定している。
レーザーレンジファインダー１で測定された距離画像データをｄ（φ，θ）、反射強度データをＩ（φ，θ）とする。
また、多眼で測定された左右の画像の受光強度データをＩ_Ｌ（ｘ，ｙ），Ｉ_Ｒ（ｘ，ｙ）とする。
【００２８】
このような２種類の装置を用いて行った測定データから最適な距離画像を求めるためのフローチャートを図３に示す。この図において、ステップ１は、レーザレンジファインダ画像ｄ（φ，θ），Ｉ（φ，θ）、多眼画像Ｉ_Ｌ（ｘ，ｙ），Ｉ_Ｒ（ｘ，ｙ）をデータ処理装置４に入力するステップであり、ステップ２は、視野を合わせるための処理ステップであり、前記の２つの方法の何れかをとる。ステップ３は、レーザレンジファインダ１の測定値における各画素を多眼画像の内の１つの画像と位置を合わせる座標変換処理であり、前記の（３）式と同様にして行う。ステップ４は、レーザレンジファインダ１による距離の測定値が使えるか否かを判断する処理ステップであり、反射強度画像Ｉ（φ，θ）が閾値Ｉ_ｔｈ以上であるか否かを判断する。ステップ５は、Ｉ（φ，θ）≧Ｉ_ｔｈの時に多眼画像の対応点検索を行う処理であり、レーザレンジファインダ１での測定データｄ’（ｘ，ｙ）を初期値として前記の（１）〜（２）式に基づいて多眼画像の対応点検索を行うため、データの処理量が大幅に減少する。ステップ６は、能動的手段と受動的手段で測定した距離測定値ｄ’（ｘ，ｙ）とｄ”（ｘ，ｙ）とを比較し、ステップ７で、適切な値を求める。ステップ８は、能動的手段での測定において受光量が小さい場合、すなわち、Ｉ（φ，θ）＜Ｉ_ｔｈの時に通常の方法で前記の（１）〜（２）式に基づいて多眼画像の対応点検索を行う処理であり、ステップ９で、ステップ８で得られた距離を最適値とする。以上の各ステップを経て、ステップ１０で、全ての（ｘ，ｙ）について最終的な距離画像を決定する。
【００２９】
（実施例２）
図２に他の実施例の装置の配置図を示す。この実施例においては、受動的な撮像装置における結像レンズ１６、１７と撮像素子１８、１９の間にハーフミラー２０を配置し、多眼画像の内の１つの画像がレーザレンジファインダ２１と同一視野を持つように構成したものである。２２はデータ処理装置、２３は測定対象物体である。このような構成にすることにより、視野の中心を画像処理的に合わせる必要がなくなるので、その分処理時間が短縮される。
【００３０】
以上、本発明の三次元画像計測装置をその原理と実施例に基づいて説明してきたが、本発明はこれらに限定されず種々の変形が可能である。
【００３１】
【発明の効果】
以上の説明から明らかなように、本発明の三次元画像計測装置によると、能動的に測定光線を出射して測定する方法と、受動的な多眼画像に基づく測定方法ととを組み合わせて三次元画像計測を行うことにより、高精度、高分解能な測定、広い距離範囲の測定を行うことが可能となり、さらに、処理時間を短縮することもできる。
【図面の簡単な説明】
【図１】本発明の実施例１の三次元画像計測装置の配置図である。
【図２】本発明の実施例２の三次元画像計測装置の配置図である。
【図３】実施例１における測定値の処理手順を示すフローチャートである。
【図４】各センサによる測定画像内の画素間の関係を示す図である。
【図５】レーザーレンジファインダの従来例の構成を示す図である。
【符号の説明】
１…レーザレンズファインダ
２、３…ステレオ画像計測を行うための撮像装置
４…４はデータ処理装置
５…測定対象物
１６、１７…結像レンズ
１８、１９…撮像素子
２０…ハーフミラー
２１…レーザレンジファインダ
２２…データ処理装置
２３…測定対象物体
２４…能動的に求めた距離画像
２５…能動的に求めた反射強度画像
２６…受動的に得られた左眼画像
２７…受動的に得られた右眼画像

Claims

測定対象物体に対して能動的に光線を出射して前記光線の反射光線を受光する能動的距離画像計測装置によって得られた前記測定対象物体の距離画像及び反射強度画像と、撮像装置で受動的に得られた前記測定対象物体の画像とを用いて、前記測定対象物体の三次元画像を取得計測する三次元画像計測装置であって、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像とを各画像中の各画素毎に対応付ける対応付け手段と、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像に基いて求められた距離とを相補的に融合処理を行い三次元画像を得る融合処理手段とを備え、
前記融合処理手段は、前記能動的距離画像計測装置で測定された距離値とこの値に対応する前記撮像装置で受動的に得られた画像に基いて求められた距離値との差が所定の閾値以下ならば、これら２つの距離値を平均して距離値として決定することを特徴とする三次元画像計測装置。
測定対象物体に対して能動的に光線を出射して前記光線の反射光線を受光する能動的距離画像計測装置によって得られた前記測定対象物体の距離画像及び反射強度画像と、撮像装置で受動的に得られた前記測定対象物体の画像とを用いて、前記測定対象物体の三次元画像を取得計測する三次元画像計測装置であって、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像とを各画像中の各画素毎に対応付ける対応付け手段と、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像に基いて求められた距離とを相補的に融合処理を行い三次元画像を得る融合処理手段とを備え、
前記融合処理手段は、前記能動的距離画像計測装置で得られた距離値とこの値に対応する前記撮像装置で受動的に得られた画像に基いて求められた距離値との差が所定の閾値以上ならば、近傍画素の距離の連続性から上記２つの距離の一方をより確かな測定値と判断し、確定値とすることを特徴とする三次元画像計測装置。
測定対象物体に対して能動的に光線を出射して前記光線の反射光線を受光する能動的距離画像計測装置によって得られた前記測定対象物体の距離画像及び反射強度画像と、撮像装置で受動的に得られた前記測定対象物体の画像とを用いて、前記測定対象物体の三次元画像を取得計測する三次元画像計測装置であって、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像とを各画像中の各画素毎に対応付ける対応付け手段と、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像に基いて求められた距離とを相補的に融合処理を行い三次元画像を得る融合処理手段とを備え、
前記融合処理手段は、前記反射強度画像の強度が所定の閾値以上の画素位置においては、前記撮像装置で受動的に得られた画像から距離を求めるのに、前記能動的距離画像計測装置で得られた距離測定値を、対応点探索を行う際の視差量の初期値として用いることを特徴とする三次元画像計測装置。
測定対象物体に対して能動的に光線を出射して前記光線の反射光線を受光する能動的距離画像計測装置によって得られた前記測定対象物体の距離画像及び反射強度画像と、撮像装置で受動的に得られた前記測定対象物体の画像とを用いて、前記測定対象物体の三次元画像を取得計測する三次元画像計測装置であって、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像とを各画像中の各画素毎に対応付ける対応付け手段と、
前記能動的距離画像計測装置で得られた距離画像と、前記撮像装置で受動的に得られた画像に基いて求められた距離とを相補的に融合処理を行い三次元画像を得る融合処理手段とを備え、
前記融合処理手段は、前記反射強度画像の強度が所定の閾値以下の画素位置においては、前記撮像装置で受動的に求められた画像に基いて得られた距離を三次元画像の値として選択すると共に、前記反射強度画像の強度が所定の閾値以上の画素位置においては、前記撮像装置で受動的に得られた画像から距離を求めるのに、前記能動的距離画像計測装置で得られた距離測定値を、対応点探索を行う際の視差量の初期値として用いることを特徴とする三次元画像計測装置。
前記対応付け手段は、前記の能動的距離画像計測手段によって得られた距離画像と、前記撮像装置によって受動的に得られた画像との対応付けに際して、前記能動的距離画像計測装置で得られた反射強度画像を用いること特徴とする請求項１から４の何れか１項記載の三次元画像計測装置。