JP5229541B2 - 距離測定装置、距離測定方法、及び、プログラム - Google Patents

Description

本発明は、距離測定装置、距離測定方法、及び、プログラムに関し、精度の高い計測を、迅速かつ簡易に行うことができるようにした距離測定装置、距離測定方法、及び、プログラムに関する。

従来より、３次元計測方法として、３角測量を用いたステレオカメラや、レーザスリット光を用いた光切断法などの計測方法が広く知られている。

ステレオカメラ計測に関する技術としては、例えば、特許文献１が知られている。特許文献１には、計測対象となる物体のステレオ画像から、その物体の任意の点の３次元位置を計測する方法が記載されている。

また、画像のボケ（ピントのずれ）に関する情報から形状などを計測する方法である画像フォーカス法を計測に応用した技術として、SFF（Shape From Focus）又はDFF（Depth From Focus）といったものがある。SFFに関する技術としては、例えば、特許文献２が知られている。
特開平９−１２６７３８号公報 特開平９−２６３１２号公報

しかしながら、特許文献１に開示されているステレオカメラ法においては、２台のカメラの正確な位置合わせや、画像からの対応点の検索の難しさ、さらには、いわゆるオクルージョンと称される、片方のカメラから隠れて見えないところが出てくるといった問題がある。また、光切断法では、精度のよい計測はできるものの、コストがかかる上、動くものの計測は困難であるという問題がある。

また、特許文献２などのSFFを採用した場合、焦点位置をＺ方向に少しずつずらしながら、最もピントの合ったＺ位置の画像を見つける必要があるため、レンズや被検物を機構的にステップ移動させるので、やはり計測に時間がかかるという問題がある。

本発明はこのような状況に鑑みてなされたものであり、精度の高い計測を、迅速かつ簡易に行うことができるようにするものである。

本発明の距離測定装置は、被検物を結像する結像レンズと、結像レンズの瞳面又は瞳共役面に配置され、２次元状に配列された複数のレンズからなる光学素子と、光学素子の背後に配置され、結像レンズによる被検物像を撮像する２次元の撮像素子と、複数のレンズの各々によって結像された像を、撮像素子によって撮像することで得られるそれぞれが異なる視点となる複数の画像において、それぞれの画像内の注目している特徴点ごとに視差を演算し、それらの視差から被検物の各点における奥行きに関する情報を求める演算手段とを備えることを特徴とする。
本発明の距離測定方法又はプログラムは、上述の本発明の距離測定装置に対応する距離測定方法又はプログラムである。

本発明によれば、精度の高い計測を、迅速かつ簡易に行うことができる。

以下、図面を参照しながら本発明の実施の形態について説明する。

ところで、先述した画像フォーカス法の中の１つの技術として、MLA（Micro Lens Array：マイクロレンズアレイ）と呼ばれる多数のレンズの集合体と、CCD（Charge Coupled Device）などの高解像撮像素子とを用いた撮像を行った後、それにより得られた画像信号を処理し、ピントを合わせ直すという技術がある。これは、MLAによって光の強度と方向の情報を画素ごとに記録し、デジタル信号処理により画像信号を再構成して、フォーカス位置（奥行き）を合わせ直すという意味で、リフォーカス（Refocus）とも言われており、従来のアナログ処理では得られない機能として注目されている。

このリフォーカス技術を採用する場合、３次元計測手法では、先ずフォーカス面の違う多数の画像を用意する必要が出てくる。撮像面での光信号は、様々な方向からの光線の信号が並んでおり、これをデジタル処理で加算処理や並び替えなどを行って再構成することで、はじめてフォーカスの違う画像を得ることができる。すなわち、撮像素子の生信号のままでは、計測を行うことはできない。

これに対して、複数台の撮像系（カメラ）を用いて、視差から距離を計測するステレオカメラの方式では、撮像した生画像から対応点を検出して注目点での視差を求めればよく、計測に要する時間を短縮できる。

そこで、本発明では、この原理を利用して、多数の焦点ボケの画像からではなく、視差から距離を求める。このため、本実施の形態においては、MLAの位置を像面ではなく、レンズの瞳面に置き、さらに、物体（被検物）と共役の結像面に撮像素子を置く構成をとる。これによって、物体の各点からの光線に対して、像面で結像する信号を直接得るとともに、光線の方向別の画像を得ることができる。

以下、かかる原理の詳細について、図１ないし図１１を参照して説明する。

図１は、本発明を適用した光学系の概要を説明する図である。

光学系は、図１に示すように、レンズ１１、MLA１２、及び撮像素子１３を含むようにして構成される。

図１に示すように、レンズ１１の瞳面には、MLA１２が設けられ、さらに、MLA１２の後側には、被検物としての物体面Ｐと共役な位置関係となるように、撮像素子１３が配置される。

MLA１２は、図２の上面図で示すように、例えば７×７個などの、複数のＭＬ（Micro Lens：マイクロレンズ）を２次元状に並べてなる光学素子である。ここで、MLA（Micro Lens Array：マイクロレンズアレイ）とは、レンズレットとも呼ばれる、微小レンズ（上記のＭＬに相当する）を２次元的に配列したものである。図１には、複数のＭＬからなるMLA１２の一部としての、ＭＬ_a，ＭＬ_b，ＭＬ_cの３つのＭＬが図示されている。

なお、図２においては、円形のレンズを図示しているが、勿論、他の形状であってもよく、例えば、レンズの形は四角形とすることができる。また、図２では、ＭＬの縦方向と横方向の数は、それぞれ７個となっているが、これらの数は、撮像素子１３により撮像される画像データに必要な分解能に応じて適宜設定される。

図１に戻り、撮像素子１３は、例えば、CCD（Charge Coupled Device）センサやCMOS（Complementary Metal Oxide Semiconductor）センサなどであり、MLA１２の各ＭＬを通過した光を受光する所定の画素配列を、ＭＬに対応した配置パターンで配置してなる。ここで、画素配列は、光電変換素子受光部の開口がそのまま、画素を形成する場合は勿論、各光電変換素子上に集光用のマイクロレンズを設け、このマイクロレンズの開口が画素を形成する場合がある。なお、画素配列の縦方向と横方向の画素数は、例えば７×７個などの、個々のＭＬを個別に透過した部分光束を個別に受けられるように、適宜設定される。

図１において、物体面上のＰ１からからの光線には、光軸と平行方向の光（実線）として、レンズ１１を通過後、ＭＬ_bによって撮像面上のＰ１_bに結像される光線群（実線）や、ＭＬ_cによって撮像面上のＰ１_cに結像される光線群（点線）などがある。このようにして、レンズ１１の瞳面に配置されたMLA１２の各ＭＬが、撮像面にそれぞれ独立に物体の像を結ぶ。すなわち、撮像面上のＰ１_bの信号と、Ｐ１_cの信号とは、物体面Ｐの同じＰ１からの、異なる角度で出てきた光線の信号強度である。

同様に、物体面上のＰ２からの光線には、一点差線で示される方向にＭＬ_aによって撮像面上のＰ２_aに結像される光線、実線の平行方向にＭＬ_bによって撮像面上のＰ２_bに結像される光線、及び点線の方向にＭＬ_cによって撮像面上のＰ２_cに結像される光線が示されている。また、Ｐ３からの光線には、Ｐ２からの光線と同様に、一点差線で示される方向にＭＬ_aによって撮像面上のＰ３_aに結像される光線、実線の平行方向にＭＬ_bによって撮像面上のＰ３_bに結像される光線、及び点線の方向にＭＬ_cによって撮像面上のＰ３_cに結像される光線が示されている。

ここで、図１において、仮に、レンズ１１だけの通常の結像系であったとすると、例えば、Ｐ２の位置ならば、上記のＰ２_a，Ｐ２_b，Ｐ２_cなどのあらゆる角度からの光線強度が加算された画素信号が得られる。逆に言えば、図１の光学系では、これらの光線を方向別に選別して捉えることができる構成となっている。

図３は、各ＭＬにより結像された像の例を示す図である。

図３に示すように、図中左側の被検物は、MLA１２の各ＭＬにより結像されることで、図中右側に示す像のようになる。つまり、図２のMLA１２は、７×７個のＭＬからなるので、それらのＭＬのそれぞれにより結像して得られた像が、図３の右側の７×７個の像である。ここで、それらの像であるが、ある１つのＭＬから見た像が、同じ方向からの光線で構成された、方向別に見た像となる。例えば、図３の例の場合、７×７個のＭＬにより、それぞれ異なる角度からの像が結像され、それらの像が撮像素子１３によって撮像される。

すなわち、ＭＬごとに異なる角度からの画像となるので、ＭＬの数だけ異なる角度からの画像を取得できる。例えば、図１に示すように、物体面Ｐ（Ｐ１，Ｐ２，Ｐ３）からの実線や点線で描かれたような特定の角度で出てきた光線は、ＭＬ_a，ＭＬ_b，ＭＬ_cなどの、それぞれMLA１２の中の特定のＭＬで結像されることになる。

かかる光線の様子を詳しく描くと、図４のようになる。すなわち、図４に示すように、実線で示す方向の光線がMLA１２の上から２番目のＭＬで結像され、点線で示す方向の光線が上から５番目のＭＬで結像されるとすると、それらのＭＬにより結像される像は、レンズ１１に入射する光線の入射角からも明らかなように、異なる角度からの方向別に見たものとなる。

より具体的な例を示すと、図５のようになる。すなわち、図５ｂに示すように、レンズ１１に対して垂直に入ってくる中央部のＭＬの光線は、被検物を正面から捕らえたものとなる。それに対して、図５ａ，図５ｃは、レンズ１１の端のほうに位置するＭＬによる像で、被検物を斜め端から見た画像となる。

ここで、レンズ１１の瞳面は、各ＭＬの口径の大きさに分割され、それぞれのＭＬが同じ物体像を結ぶ。また、端の方のＭＬでの像は、周辺でけられ（物体の見えない所）が発生し、端の方の視野の一部は遮られるが、基本的には、各ＭＬによる像は、物体面Ｐと共役な位置で異なる角度から見た像となる。

なお、Ｎ個の各MLA像のＮＡ（開き角）は、各ＭＬの口径で決まる開口で1/Ｎに縮小される。つまり、各ＭＬの像は、結像側からの見込み角度が小さく、光量は少なくなるが、被写界深度（焦点深度）は非常に深くなる。したがって、物体側の奥行きに関係なく、ほとんど焦点の合った像となる。

また、物体（被検物）の像は、物体面Ｐと共役な撮像素子１３上において、ＭＬの小領域ごとに結像される。例えば、上述した、図１においては、レンズ１１を通過した後の各ＭＬに入る光束で、主光線の傾きが異なる光束が、物体面Ｐで異なる位置からの光線となっている。そして、Ｐ面上の各点、Ｐ１，Ｐ２，Ｐ３は、それぞれ、ＭＬ_a，ＭＬ_b，ＭＬ_cによって、それぞれの領域で撮像面上に結像される。

ちなみに、通常のレンズ結像された像は、これらの各ＭＬ像内の画素から、物体面Ｐの同じ点からの光線に対応させて画素信号を集め、デジタル加算することで得られる。言い換えれば、違う方向から見たＭＬ画像の中で、同じ物点からの画素の信号を、それぞれ足し合わせて再構成すれば、通常の画像となる。

そして、像面にある撮像素子１３は、物体からの光線をMLA１２のＭＬの数だけ異なる角度別に画素単位で検出する。具体的には、MLA１２の後面で、撮像素子１３の受光面上に結像された、ＭＬの数だけ存在する異なる方向から見た画像群を得る。そして、後述する後段の回路によって、取得した画像群の画像信号をそのまま用いて、計測処理が行われる。すなわち、本実施の形態においては、レンズ１１で結像されたピント面（被検物と共役）にMLA１２を置くことで、物体からの光線をさらに細かく分割して撮像し、その各分割領域内で、光線の方向別に画像信号を検出する。

ここで、撮像素子１３が十分な画素数を有していれば、これらの画像から得られる光線情報は、物体からのすべての光線について、結像位置での強度だけでなく、光線１本ずつ、その方向を検出できる。すなわち、通常の光学系からの画像では、物体からの軸上近傍の光と軸外光とがすべて集光された強度信号が得られるだけであるが、図１に示すような、MLA１２を用いた光学系では、光軸上でレンズ１１の中心を通る軸上の光線と、光軸に対して斜めに入射される軸外光線とを独立に検出できる。

一般に、軸外光線は、軸上よりもその収差が大きくなるため、両方の光線をすべて点に集めて結像させる通常の光学系では、収差補正光学系を追加しなければ、光学視野の周辺（軸外）のボケ量は増加する。しかし、本実施の形態のように、それぞれの方向の光線を独立に検出すれば、ボケがなく、レンズ１１の光軸に対して異なる角度で入射される多数（ＭＬの数）のピントの合った画像を同時に取得できる。これらの画像は、被検物を別々の異なる方向から撮像した画像となる。したがって、異なる位置のカメラ画像間でのステレオ処理と同様に、異なる画像で、それぞれの画像内の注目している特徴点（注目画素）ごとに、視差を求めれば、３画測量の原理を用いて、各位置での奥行きに関する情報が得られ、３次元の計測ができる。この場合、基本的には、２つの画像から距離を算出するステレオ処理と違って、多数の方向の画像から視差が得られるので、精度が向上されると共に、いわゆる、オクルージョン（見えない箇所）の影響も回避できる。

次に、具体的な３次元計測として、被検物の奥行きに関する情報を画像から得る具体的な手法について述べる。

ここで、ステレオカメラ計測とは、２台のカメラを基線長で定義される距離Ｂだけ離して撮像した画像の中で、対応する被検物の特徴点を抽出し、同じ特徴点の視差を求めて、３画測量の原理を用いて奥行きＺを求める手法である。図６に示すように、カメラ１，２の対によって、実空間上の座標（Ｘ，Ｙ，Ｚ）にある同一の点Ｐを撮像している場合について考えると、Ｐはカメラ１の受光素子上の座標p1（x1，y1）に射影され、同様にＰは、カメラ２の受光素子上の座標p2（x2，y2）に射影されるものとする。すると、幾何的点Ｐの座標（Ｘ，Ｙ，Ｚ）と、カメラ１，２の受光素子上の点Ｐの射影の座標p1（x1，y1），p2（x2，y2）は、下記の式で表わされる。

Ｘ＝x1×Ｂ／ｄ ・・・（１）
Ｙ＝y1×Ｂ／ｄ ・・・（２）
Ｚ＝f×Ｂ／ｄ ・・・（３）

ただし、式（１）ないし式（３）においては、ｄ＝x1−x2である。

このように、カメラ１とカメラ２で得られた２枚の画像上で同一の物体のｘ座標のずれを用いれば、物体までのＺ座標を求めることができる。したがって、このようなずれ、すなわち、視差を求めれば、物体までのＺ座標を算出することができる。本実施の形態においては、ＭＬの数に応じたＮ枚の異なる視点の画像が撮られているので、それらの画像を用いて、はるかに多くの組み合わせから視差情報が得られる。

視差を求めるための画像の組み合わせであるが、例えば、図５ａに示すMLA１２の端の方に位置するＭＬによる像と、図５ｂに示すMLA１２の中央部のＭＬによる像とを比較したり、図５ａと図５ｃの両端からの画像で比較を行ってもよい。なお、例えばMLA１２の両端のＭＬを用いるなど、互いに離れた位置にあるＭＬにより結像された像の画像を使うことで、より高い精度でＺ方向を求めることが可能となる。

また、ステレオカメラ計測においては、オクルージョンと称される死角（片方のカメラからは見えない隠れ点が存在する）の問題を生じることがあるが、本実施の形態においては、あらゆる方向から検出を行うことになるので、かかる問題をほぼ解決することができる。

図７は、図３の右側の７×７個の像に対応する複数の画像の中から、典型的な、中央と、左右、上下の５枚の画像を選択したときの例を示している。この場合において、仮に、左右の像からでは、隠れて見えない特徴点が存在していたとしても、それ以外の上下の画像においてその点が見えれば、その点は、上下の画像によりステレオ計測される。

そして、この例の場合には、図７の５枚の画像の中で、注目している特徴点（注目画素）の検出が行われる。例えば、ここでは、人間の形をした記号と、三角と四角からなる物体のカメラまでの距離が異なると仮定して、画像上でのそれらの距離（位置の差）を、左右方向はｄ₀，ｄ₁，ｄ₂で表わし、上下方向はｓ₀，ｓ₁，ｓ₂で表わす。このように定義することで、視差は、ｄ₁−ｄ₀，ｄ₂−ｄ₀，ｓ₁−ｓ₀，ｓ₂−ｓ₀で求まり、これらは、いずれも同じ物体間の視差であるため、原理的に一致するはずである。しかし実際には、計測誤差などでばらつく可能性が高いため、本実施の形態においては、これらの平均値を取ることで、そのばらつきを低減して計測精度を向上させることもできる。

なお、本実施の形態においては、中央と、左右、上下の５枚の画像を使った例について説明したが、距離を計測するための視差を求める画像は、上述した原理からして最低２枚あればよく、また、MLA１２全体の数で行ってその平均値を用いてもよい。

また、かかる手法により、特徴点の位置（座標）を求める場合、元の画像が、レンズの歪み（ディストーション）などの光学収差によって歪んでいる場合も考えられるが、以下のようにして、その影響を回避して計測することができる。

一般に、レンズ１１は、多群構成の設計で収差補正がなされた光学系を使って実際の収差量を低減することは困難でないが、MLA１２については、ＭＬとして非球面レンズにするとしても、多群構成のレンズ１１のように、あらゆる幾何収差補正を施すことは容易ではない。したがって、レンズ１１及びMLA１２の両方を合わせた収差の補正が必要となる。

そこで、次に、かかる収差の補正について説明する。

レンズ収差として、球面収差や色収差は、像のボケ量に寄与するので、結像位置の計測精度には影響するが、像高（レンズ面内の位置）に対しては不変であるので、位置ずれに直接は影響しない。位置のずれに直接影響するのは、歪みと倍率色収差である。コマ収差、非点収差、像面湾曲は、像高によってボケ量が変わる（像の端に行くほどボケが大きくなる）が、先述した通り、これは通常の光学系では、多くの角度からの光線を足し合わせた信号強度となって画素が構成されているためで、本実施の形態の光学系では、MLA１２によって瞳面を細かく分割し、それぞれのＭＬでは限られた像高（角度）からの光線となるので、像高によるボケ量の差は小さくなり、位置ずれだけとなって寄与する。

ただし、非点収差と像面湾曲は、像高とＸＹ平面内によって、最良焦点の位置がずれるので、撮像するときの焦点の平面では、ボケの要因となる。

図８は、収差の補正について説明する図である。

図８において、ａは、カリブレーション用のチャートを示しており、ｂは、格子状のａのチャートを本実施の形態のシステムで撮像したときのイメージ図を表わしている。ここでは、格子状のパターンを示しているが、縦横に配列した点（スポット）の配列であってもよい。

本実施の形態では、このチャートを各ＭＬで撮像した画像が取得され、元のチャートからのずれ量が計測される。そして、各ＭＬすべてについて、座標位置とその（Ｘ，Ｙ）のずれ量を表わす補正テーブルが作成される。図８のｃは、この像から実際に歪みを計測した結果のイメージ図であって、図中右上と左下の矢印が、ある位置での収差によるずれ量を表わしている。これにより、レンズ１１とMLA１２を合わせたそのシステムの光学系の収差を知ることができる。

そして、実際の３次元計測においては、図７を参照して説明した方法で、MLA１２からの画像で視差を計算するときに、そのＭＬの補正テーブルを使って、特徴点の座標位置を補正する。これによって、収差に影響されない正確な計測が可能となる。

次に、図９ないし図１１を参照して、被検物の各点の奥行き（距離）Ｚを求める具体的な手法について説明する。

本実施の形態では、図７を参照して説明したように、ある特徴点を異なるＭＬから見た像は、奥行きＺに応じた視差を持つので、被検物の特徴点を検出し、複数のＭＬの画像信号からその特徴点の視差、すなわち、位置ずれを求める。

図９において、MLA１２は、レンズ１１の焦点距離ｆの位置に配置されており、物体側で距離ｆの物点からの光線は、ＭＬ上で平行光線となる。また、軸上の物点からの光は、ＭＬ上で垂直な光線となる。

なお、図９に示すように、撮像素子１３は、ＭＬの焦点位置に配置され、いわゆる像側テレセントリックな構成としているため、かかる構成を採用することで、仮に、像側の焦点がずれても、結像点検出の座標位置が変わらないというメリットがあるが、必ずしもこの構成である必要はない。

図１０は、CCDなどからなる撮像素子１３から得られる画像信号の波形例を示しており、図９のＭＬ_a，ＭＬ_b，ＭＬ_cの３つのＭＬ領域のそれぞれで下側から上側に向かって１次元の方向で見たときの信号を表わしている。なお、図１０において、各画像信号の波形は、図中上にいくほど、信号強度が高くなることを意味する。

図９の各種の線で示す光線をたどれば分かるように、物体側の面Ｚ₀上にある特徴点Ａ₀，Ｂ₀の光は、それぞれ、ＭＬ_a上では、Ｍａ0，Ｍａ1、ＭＬ_b上では、Ｍｂ0，Ｍｂ1、ＭＬ_c上では、Ｍｃ0，Ｍｃ1の位置で結像される。図１０の画像信号は、離散的にサンプリングされたデジタル信号であるが、特徴点からの信号強度のピーク位置は、デジタル信号処理によって、各ＭＬ領域で正確に検出することができる。なお、ここでは、特徴点の位置は、信号のピーク点であることを仮定している。

具体的な演算方法としては、例えば、平滑化デジタル微分（差分処理）を行って、信号が０になるＸ軸との交点（ゼロクロス位置）を補間処理によって求めることで、ピーク位置を小数点以下までの実数で算出する。また、特徴点は、ピーク信号ではなく、エッジ信号（傾斜波形）から求めてもよく、その場合は、その最大傾斜点、すなわち、微分信号値のピーク位置（２階微分した信号のゼロクロス点）を捉えることで同様に求められる。

このようにして、Ｚ₀面上の物点Ａ₀，Ｂ₀の位置に対応する各ＭＬでのＭａ0，Ｍａ1、Ｍｂ0，Ｍｂ1、Ｍｃ0，Ｍｃ1の座標位置が求まる。すなわち、図１０のＭＬ_a，ＭＬ_b，ＭＬ_cのそれぞれの上側に示す画像信号の波形から求められるピーク位置が特徴点の位置となる。また、図９に示すように、ここでは、Ｚ₀面が焦点距離ｆの位置に設定されているので、特徴点Ａ₀，Ｂ₀からの光線は、像側撮像面に垂直に入射し、撮像素子１３のそれぞれのＭＬ領域内での中心位置となる。

次に、この２つの物点が、特徴点Ａ₁，Ｂ₁として、異なる位置Ｚ₁面上にあるとすると、像面では、それぞれ、ＭＬ_a上では、Ｍａ2，Ｍａ3、ＭＬ_b上では、Ｍｂ0，Ｍｂ1、ＭＬ_c上では、Ｍｃ2，Ｍｃ3の位置で、特徴点Ａ₁，Ｂ₁からの光線が結像される。このとき、撮像素子１３からの画像信号は、図１０のＭＬ_a，ＭＬ_b，ＭＬ_cのそれぞれの下側に示す画像信号の波形のようになり、上記の場合と同様の処理により、ピーク位置を算出し、それぞれの正確な座標が求められる。

そして、図１０のＭＬ_a，ＭＬ_b，ＭＬ_cのそれぞれの上側の波形と下側の波形から特徴点の座標位置が求まり、同じ特徴点に対応するピークの座標位置の差が、距離Ｚに対する視差となる。

ここで分かる通り、光軸上となるＭＬ_bでは、奥行きに対して不変であるため、視差は得られない。一方、光軸から遠いＭＬ（端に近い）ほど、大きな視差が得られる。本実施の形態では、視差の大きさからＺを求めるので、大きいほど計測精度の点で有利となる。ここでは、図１０に示すように、上下で対称なＭＬ_aとＭＬ_cとから、物点Ａの視差として、ｄＡ₁及びｄＡ₂が得られる。同様に、物点Ｂの視差として、ｄＢ₁及びｄＢ₂が得られる。ここで、ＭＬ_aとＭＬ_cとは、光軸から同じ距離の位置にあり、同じ物点の視差なので、理論的には、ｄＡ₁＝ｄＡ₂，ｄＢ₁＝ｄＢ₂となる。

実際には、それぞれの計測平均値、（ｄＡ₁＋ｄＡ₂）／２，（ｄＢ₁＋ｄＢ₂）／２を視差として用いれば、精度が向上する。

また、ここでは図示していないが、MLA１２は、２次元に配列されており、紙面と垂直方向のＭＬからも、同様の視差データが得られる。MLA１２の配列が正方配列の場合、光軸から等距離となる４つのＭＬでの視差データが得られる。したがって、それらの４つのデータを平均化することによって、計測精度は更に向上する。

図１１は、幾何光学の原理により、この視差ｄから奥行きＺ₁を求めるための関係を示したものである。なお、図１１において、物体側の面Ｚ₀は、焦点距離ｆの位置となる。

ここで、視差ｄ、奥行き距離Ｚ₁と、光学系のパラメータとの関係は、次のようになる。

１／Ｚ₁＝１／ｆ−１／ａ ・・・（４）

Ｎｐ／（ａ−ｆ）＝ｄ／Ｌ ・・・（５）

また、ａは、図１１に示すように、レンズ１１の主面から像側結像点までの距離、ＮｐはＭＬの中心線の光軸からの距離、ＬはMLA１２と撮像素子１３までの距離を表わしている。そして、これらの関係により、距離Ｚは、下記の式（６）で求められる。

Ｚ＝Ｚ₁−ｆ＝ｄｆ²／ＮｐＬ ・・・（６）

そして、被検物のすべての特徴点において、同様の処理を行うことにより、３次元計測が達成されることになる。

以上のような原理で、被検物の各点の奥行きＺを求めることができる。

次に、かかる原理を用いて、被検物の各点の奥行きＺを求める、３次元計測装置の構成について、図１２を参照して説明する。なお、本実施の形態において、図１２の３次元計測装置は、被検物表面までの距離情報として、被検物の各点の奥行きＺを演算するものであって、距離測定装置の一例であると言える。

図１２に示すように、３次元計測装置は、レンズ１１、MLA１２、撮像素子１３、制御回路３１、ユーザインターフェース３２、演算処理回路３４、及び、メモリ３５を含むようにして構成される。なお、図１２において、レンズ１１ないし撮像素子１３は、図１等のレンズ１１ないし撮像素子１３に対応しており、説明が繰り返しになる箇所については、その説明を省略する。

制御回路３１は、ユーザインターフェース３２を介してユーザから入力された指示にしたがって、駆動回路３３、演算処理回路３４、及びメモリ３５の制御を行う。

駆動回路３３は、撮像素子１３を駆動する。また、駆動回路３３は、撮像素子１３からの画像信号を、演算処理回路３４に出力する。

演算処理回路３４は、駆動回路３３からの画像信号に基づいて、所定の演算処理を行う。そして、演算処理回路３４は、演算結果をメモリ３５に格納する。

ここで、演算処理回路３４によって行われる演算処理であるが、MLA１２のＭＬの各々により結像された像を、撮像素子１３により撮像することで得られるそれぞれが異なる視点となる複数の画像において、それぞれの画像内の注目している特徴点ごとに視差を演算し、それらの視差から被検物の各点における奥行きに関する情報を求める処理となる。ただし、かかる処理の詳細については、ここでは省略し、後述する図１３の演算処理回路３４の動作の説明の際に併せて説明することにする。

以上のようにして、３次元計測装置は構成される。

次に、図１３のフローチャートを参照して、図１２の演算処理回路３４により行われる奥行きＺの演算処理について説明する。

演算処理回路３４は、ステップＳ１１において、駆動回路３３を介して撮像素子１３から供給される画像信号を取得し、ステップＳ１２において、その画像信号に対応する画像の特定の特徴点の位置（座標）を求める。例えば、演算処理回路３４によって、撮像素子１３からの画像信号に対応する複数の画像のうち、図７に示すような、中央と左右、上下の５枚の画像における、人間の形をした記号、三角、四角からなる物体に対応する画素の位置が特徴点として求められる。

ステップＳ１３において、演算処理回路３４は、図８で説明した補正テーブルを用いて、特徴点の位置を補正する。これにより、光学系の収差に影響されない正確な計測が可能となる。

ステップＳ１４において、演算処理回路３４は、例えば、図７における、ｄ₁−ｄ₀，ｄ₂−ｄ₀，ｓ₁−ｓ₀，ｓ₂−ｓ₀などで求められる視差を演算する。なお、かかる視差の求め方の具体的な方法は、上述した図９ないし図１１を参照して説明した通りである。

ステップＳ１５において、演算処理回路３４は、例えば、あらかじめ求められている光学パラメータと、ステップＳ１４の処理で求めた視差ｄを用いて、上記の式（６）を演算することで、奥行き距離Ｚを求め、奥行き演算処理は終了する。

その後、被検物のすべての特徴点で、同様の処理を繰り返すことで、３次元の計測が行われる。

以上のように、本発明によれば、レンズの瞳面に置いたMLAとその後面の撮像系により、各ＭＬ領域で多数の視点から画像を得て、それらから被検物の特徴点の視差を検出することで、広い範囲での精度の高い計測を、迅速かつ簡易に行うことができる。

その結果、広い範囲で、高い精度で、簡易に３次元の形状や変位をリアルタイムで計測できるシステムを実現することが可能となる。すなわち、例えば、１台の撮像装置で、１回の撮像で簡便に被検物の３次元の画像情報を得て、被検物の３次元形状や物体までの距離や奥行き、又は、その変位量を３次元情報として検出する方法、装置、センサ、画像入力機器、あるいは、デジタル機器を提案することが可能となる。

ところで、従来のリフォーカス技術においては、多数のフォーカス面の画像を取得し、複雑なデジタル画像処理により奥行きの計測を行うため、高速な、あるいはリアルタイムでの計測は困難であった。また、一般的に、画像フォーカス法では焦点ボケを利用するので、精度を出すためには焦点深度を深くする必要があるが、そうすると計測できる範囲が狭まるというジレンマを抱えており、本質的に広い範囲で精度の高い計測を行うのは困難であった。そこで、これらの問題を解決するために、本実施の形態に示す構成を採用することで、広い範囲での精度の高い計測を、迅速かつ簡易に行うことが可能となる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。

この記録媒体は、コンピュータとは別に、利用者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等により構成されるだけでなく、コンピュータに予め組み込まれた状態で利用者に提供される、プログラムが記録されているハードディスクドライブやROM（Read Only Memory）等で構成される。

また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。

なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した光学系の概要を説明する図である。 MLAの上面図である。 各ＭＬにより結像された像を示す図である。 物体面からの光線の様子を示す図である。 物体面からの光線の様子を示す図である。 ステレオカメラ計測の例を示す図である。 視差の求め方を説明するための図である。 収差の補正について説明するための図である。 被検物の各点の奥行きを求める手法を説明するための図である。 映像信号波形の例を示す図である。 幾何光学の原理を用いて、視差から奥行きを求める例を示す図である。 本発明を適用した３次元計測装置の一実施の形態の構成を示す図である。 奥行き演算処理について説明するフローチャートである。

符号の説明

１１ レンズ， １２ MLA， １３ 撮像素子， ３１ 制御回路， ３２ ユーザインターフェース， ３３ 駆動回路， ３４ 演算処理回路， ３５ メモリ

Claims (7)

1. 被検物を結像する結像レンズと、
   前記結像レンズの瞳面又は瞳共役面に配置され、２次元状に配列された複数のレンズからなる光学素子と、
   前記光学素子の背後に配置され、前記結像レンズによる被検物像を撮像する２次元の撮像素子と、
   前記複数のレンズの各々によって結像された像を、前記撮像素子によって撮像することで得られるそれぞれが異なる視点となる複数の画像において、それぞれの画像内の注目している特徴点ごとに視差を演算し、それらの視差から前記被検物の各点における奥行きに関する情報を求める演算手段と
   を備えることを特徴とする距離測定装置。
2. 前記演算手段は、前記複数のレンズのうち、光軸からより離れた位置にある複数のレンズによって結像された像から得られる複数の画像を用いて、前記視差を演算する
   ことを特徴とする請求項１に記載の距離測定装置。
3. 前記複数の画像は、少なくとも２枚以上であればよく、
   前記演算手段は、前記複数の画像の数に応じた分だけ求められる視差の平均値を、前記視差として演算する
   ことを特徴とする請求項１に記載の距離測定装置。
4. 前記演算手段は、あらかじめ求められた前記結像レンズ及び前記複数のレンズの収差を補正するための情報を用いて、前記特徴点の位置を補正する
   ことを特徴とする請求項１に記載の距離測定装置。
5. 請求項１から４の何れか一項に記載の距離測定装置は、３次元計測装置である
   ことを特徴とする距離測定装置。
6. 被検物を結像する結像レンズと、
   前記結像レンズの瞳面又は瞳共役面に配置され、２次元状に配列された複数のレンズからなる光学素子と、
   前記光学素子の背後に配置され、前記結像レンズによる被検物像を撮像する２次元の撮像素子と
   を備える距離測定装置の距離測定方法において、
   前記複数のレンズの各々によって結像された像を、前記撮像素子によって撮像することで得られるそれぞれが異なる視点となる複数の画像において、それぞれの画像内の注目している特徴点ごとに視差を演算し、それらの視差から前記被検物の各点における奥行きに関する情報を求める
   ステップを含むことを特徴とする距離測定方法。
7. 被検物を結像する結像レンズと、
   前記結像レンズの瞳面又は瞳共役面に配置され、２次元状に配列された複数のレンズからなる光学素子と、
   前記光学素子の背後に配置され、前記結像レンズによる被検物像を撮像する２次元の撮像素子と
   を備える機器を制御するコンピュータに実行させるプログラムであって、
   前記複数のレンズの各々によって結像された像を、前記撮像素子によって撮像することで得られるそれぞれが異なる視点となる複数の画像において、それぞれの画像内の注目している特徴点ごとに視差を演算し、それらの視差から前記被検物の各点における奥行きに関する情報を求める
   ステップを含むことを特徴とするプログラム。

Images