JP4843544B2

JP4843544B2 - ３次元画像補正方法及びその装置

Info

Publication number: JP4843544B2
Application number: JP2007089759A
Authority: JP
Inventors: 真宏河北; 田人會田; 豊冨田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2007-03-29
Filing date: 2007-03-29
Publication date: 2011-12-21
Anticipated expiration: 2027-03-29
Also published as: JP2008249431A

Description

本発明は、３次元画像補正方法及びその装置に関し、３次元カメラで被写体の輝度画像と距離画像を補正して被写体の３次元座標を演算する３次元画像補正方法及びその装置に関する。

２次元画像センサを用いた高速な３次元情報検出装置は、多くの産業分野で応用が期待されている。例えば、放送や映画、デジタルシネマにおいては、得られた３次元情報を用いた映像表現や３次元コンピュータグラフィックス、ゲーム制作など、新たな映像コンテンツ制作への応用が可能である。

また、センシング用途としては、カメラから被写体までの距離や形状、障害物の有無を画像として検知できるため、セキュリティや交通監視、ナビゲーション、ロポットビジョン、災害時の救助探索などへの利用が考えられる。

更に、３次元情報の精度向上により、医療の診断や治療、ＣＡＤ、部品検査、３次元モデリング、人体計測など、応用分野は広く、社会に大きく貢献できると期待される。

従来の３次元情報検出方法を大別すると、複数の撮影画像より距離を求める受動型方式と、空問的もしくは時間的に変調された光を被写体に照射して距雌を検出する能動型方式がある。

受動型方式にはマルチカメラステレオ法やレンズ焦点法があるこの方法は、光照射が不用で、屋外でも使用できるメリットがある一方、３次元情報を求めるには煩雑で時間を要する画像処理が必要である。

近年の高速演算プロセッサやソフトウェアの進歩や、安価で高性能なカメラの普及により、距離検出速度と精度が向上し、画素数２５６（Ｈ）×２４０（Ｖ）、フレームレート３０Ｈｚ、７ビット精度の距離画像検出が報告されている（例えば非特許文献１参照。）。

一方、能動型方式のものでは、光照射が必要であるため外乱光や被写体表面の反射特性の影響を受けやすいものの、光飛行時間計測法など、シンプルな構成で高精度な距離検出ができる。

しかしながら、被写体の３次元情報を得るには、レーザービームを２次元スキャンする必要がある。そのため、リアルタイム検出は難しく、動く被写体の３次元形状を検出するのは困難である。

また、近年、実時間で距離画像を検出できるカメラが開発されている（例えば特許文献１参照）。
特許第３８４０３４１号公報Ｓ．Ｋｉｍｕｒａ，Ｈ．Ｋａｎｏ，Ｔ．Ｋａｎａｄｅ，Ａ．Ｙｏｓｈｉｄａ，Ｅ．Ｋａｗａｍｕｒａ，ａｎｄＫ．Ｏｄａ，"ＣＭＵｖｉｄｅｏ−ｒａｔｅｓｔｅｒｅｏｍａｃｈｉｎｅ，"ｉｎＰｒｏｃｅｅｄｉｎｇｓｏｆ１９９５ＭｏｖｉｌｅＭａｐｐｉｎｇＳｙｍｐｏｓｉｕｍ（ＡｍｅｒｉｃａｎＳｏｃｉｅｔｙｆｏｒＰｈｏｔｏｇｒａｍｍｅｔｒｙａｎｄＲｅｍｏｔｅＳｅｎｓｉｎｇ，Ｃｏｌｕｍｂｕｓ，Ｏｈｉｏ，１９９５）ｐｐ．９−１８．

しかし、それらより、被写体の正確な３次元情報を求めるには、カメラレンズのフォーカスデータやズ一ムデータを基に幾何学歪みを補正しなければならない。特にズームレンズの場合、ズーム量やフォーカス量を変化すると、それに応じて歪み特性が大きく変化し、主光線の入射角などが変化し、幾何学歪みを補正するのは困難であるという問題があった。

本発明は、上記の点に鑑みなされたもので、幾何学歪みを補正して高精度な３次元情報を検出する３次元画像補正方法及びその装置を提供することを目的とする。

本発明の一実施態様による３次元画像補正方法は、３次元カメラで被写体の輝度画像と距離画像を撮影し、
前記輝度画像から結像面における２次元座標を計算し、
前記３次元カメラのレンズデータに応じた歪曲係数を用いて前記結像面における２次元座標と前記距離画像の距離を補正し、
補正された前記結像面における２次元座標と前記距離、及び前記３次元カメラのレンズデータに応じた主光線入射角とを用い、補正された前記距離から、前記３次元カメラの結像面から前側主点までの距離を減算して得られる前側主点からカメラ座標までの距離と前記主光線入射角から、前記前側主点から前記カメラ座標までの光軸上の距離を演算し、前記前側主点から前記カメラ座標までの光軸上の距離に前記結像面から前記前側主点までの距離を加算して前記カメラ座標における距離を演算すると共に、前記前側主点から前記カメラ座標までの光軸上の距離に補正された前記結像面における２次元座標と焦点距離との比を乗算して前記カメラ座標における２次元座標を演算し、被写体の３次元のカメラ座標を得ることにより、幾何学歪みを補正して高精度な３次元情報を検出することができる。

また、本発明の他の実施態様による３次元画像補正方法は、３次元カメラで被写体の輝度画像と距離画像を撮影し、
前記輝度画像から結像面における２次元座標を計算し、
前記３次元カメラのカメラレンズの物体距離と焦点距離に応じて予め計測された歪曲係数と主光線入射角と前側主点距離を格納したテーブルから撮影時の物体距離と焦点距離に応じて歪曲係数と主光線入射角と前側主点距離を検索し、
前記歪曲係数を用いて前記結像面における２次元座標と前記距離画像の距離を補正し、
補正された前記結像面における２次元座標と前記距離、及び前記テーブルから検索した主光線入射角と前側主点距離を用い、補正された前記距離から、前記３次元カメラの結像面から前側主点までの距離を減算して得られる前側主点からカメラ座標までの距離と前記主光線入射角から、前記前側主点から前記カメラ座標までの光軸上の距離を演算し、前記前側主点から前記カメラ座標までの光軸上の距離に前記結像面から前記前側主点までの距離を加算して前記カメラ座標における距離を演算すると共に、前記前側主点から前記カメラ座標までの光軸上の距離に補正された前記結像面における２次元座標と前記焦点距離との比を乗算して前記カメラ座標における２次元座標を演算し、被写体の３次元のカメラ座標を得ることにより、幾何学歪みを補正して高精度な３次元情報を検出することができる。

本発明の一実施態様による３次元画像補正装置は、被写体の輝度画像と距離画像を撮影する３次元カメラと、
前記３次元カメラのカメラレンズの物体距離と焦点距離を測定するカメラレンズ測定手段と、
前記輝度画像から結像面における２次元座標を計算する手段と、
前記３次元カメラのカメラレンズの物体距離と焦点距離に応じて予め計測された歪曲係数と主光線入射角と前側主点距離を格納したテーブルと、
前記カメラレンズ測定手段で測定された撮影時の物体距離と焦点距離に応じて前記テーブルから歪曲係数と主光線入射角と前側主点距離を得るテーブル検索手段と、
前記歪曲係数を用いて前記結像面における２次元座標と前記距離画像の距離を補正する補正手段と、
前記補正手段で補正された前記結像面における２次元座標と前記距離、及び前記テーブル検索手段で得た主光線入射角と前側主点距離を用い、補正された前記距離から、前記３次元カメラの結像面から前側主点までの距離を減算して得られる前側主点からカメラ座標までの距離と前記主光線入射角から、前記前側主点から前記カメラ座標までの光軸上の距離を演算し、前記前側主点から前記カメラ座標までの光軸上の距離に前記結像面から前記前側主点までの距離を加算して前記カメラ座標における距離を演算すると共に、前記前側主点から前記カメラ座標までの光軸上の距離に補正された前記結像面における２次元座標と前記焦点距離との比を乗算して前記カメラ座標における２次元座標を演算し、被写体の３次元のカメラ座標を得る３次元座標演算手段とを有することにより、幾何学歪みを補正して高精度な３次元情報を検出することができる。

前記３次元画像補正装置において、
前記３次元カメラは、被写体の輝度画像と距離画像を同じ画角で撮影する構成とすることができる。

前記３次元画像補正装置において、
前記テーブルは、３次元カメラのカメラレンズの物体距離と焦点距離に応じて予め計測された複数の像高についての歪曲係数と主光線入射角を格納しており、
前記テーブル検索手段は、前記カメラレンズ測定手段で測定された物体距離と焦点距離に応じて前記テーブルから複数の像高についての歪曲係数と主光線入射角を得、
前記補正手段は、前記複数の歪曲係数のうち被写体の像高に対応する歪曲係数で前記結像面における２次元座標と前記距離画像の距離を補正し、
前記３次元座標演算手段は、前記複数の主光線入射角のうち被写体の像高に対応する主光線入射角を用いて前記カメラ座標における距離を演算することができる。

本発明によれば、幾何学歪みを補正して高精度な３次元情報を検出することができる。

以下、図面を参照して本発明の実施形態について説明する。

図１は、本発明方法を適用した装置の概要を説明するためのブロック図を示す。同図中、３次元カメラ１２は被写体の輝度画像と距離画像を取得する。ここでいう輝度画像は、通常のビデオ映像であるカラー画像や、単に画像の輝度だけを表現した濃淡画像（モノクロ画像）を示しており、輝度画像の撮影フレームレートは、一般的なビデオと同等の３０Ｈｚ〜６０Ｈｚ程度である。

一方、距離画像とは、カメラの撮像面から被写体までの距離の値を画像の濃淡や、カラー表示などで表現したものである。距離画像の取得には多くの手法があるが、ここで示す３次元カメラ１２のように、１つのカメラレンズ１３で輝度画像と距離画像の両方を取得するには、光飛行時間計測法を使用した方法が望ましい。

また、様々な大きさや距離にある被写体を撮影して３次元情報を検出する場合は、カメラレンズ１３としてズームレンズを用いる。特に、広画角で空間解像度の高い距離情報を実現するには、ハイビジョンテレビ用ズームレンズが適している。このズームレンズとしては、予め焦点距離つまりフォーカスデータと、物体距離（光軸上での対物レンズと物体との距離）つまりズームデータ等のレンズデータをパラメータとし、画像の歪量Ｄの値を予め測定しておく。

Ｄ＝（ｈｏ−ｈ’）／ｈｏ …（１）
ただし、ｈｏは像高、ｈ’は歪み後の像高である。

カメラレンズ１３には、エンコーダ１５が取り付けられており、エンコーダ１５は、ズームリング及びフォーカスリングの回転に応じて、常時、焦点距離と物体距離の値が出力する。これにより、レンズデータ（焦点距離と物体距離）を常に３次元情報演算部１６での演算に反映させることが可能となる。

３次元カメラ１２は、上記カメラレンズ１３が使用でき、輝度画像と距離画像において同じサイズの画像を得ることができる。特にカメラレンズ１３のフォーカスやズームを可変した場合においても、同じサイズの輝度画像と距離画像が得られる。

３次元カメラ１２のセンサ部の画素数としては、横方向の分解能を得るには高精細な必要があり、例えばＶＧＡからハイビジョン映像クラス以上の画素数が望ましい。３次元カメラ１２の性能としては、輝度画像と距離画像をビデオフレームレート（１／３０秒もしくは１／６０秒以上）で出カする。実時間処理の場合は、専用のＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）もしくはＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）を用いてリアルタイムに３次元情報を算出する。

もしくは、撮影した画像を一度メモリやハードディスクに蓄積し、撮影後のオフライン処理によりメモリやハードディスクから画像を読み出して、ソフトウェア演算処理で時間をかけて処理してもよい。

撮影中にズームやフォーカスを変化させる場合、画像データと共にレンズデータを随時保存し、３次元情報演算部１６の演算に利用する。動く被写体を計測する場合は、少なくとも１／３０秒以下の間隔で、輝度画像と距離画像とレンズデータを取得する。

＜中心射影モデル＞
図２に、中心投影モデルを示す。同図中、結像面２０が３次元カメラ１２の撮像素子面に相当する。この結像面２０上の画像座標Ｐ（ｘ，ｙ）に対し、焦点距離ｆｌのカメラレンズ２３を透過した反対側に仮想画像平面２４を想定する。この仮想画像平面２４は、カメラレンズ２３の前側主点２５から焦点距離ｆｌの位置に想定する。

画像座標Ｐ｛ｘ，ｙ）２１と前側主点２５を通る直線が仮想画像平面２４と交わる点が仮想画像座標Ｐ（ｘ，ｙ）である。なお、この直線が光軸となす角度（主光線入射角）がθである。更に、距離画像で得られる奥行き距離（結像面からカメラ座標までの距離）を考慮することで、３次元物体のカメラ座標Ｐ（Ｘ，Ｙ，Ｚ）が求められる。

＜ズームレンズを用いた結像モデル＞
図３に、ズームレンズ３２を用いた結像モデルを示す。同図中、結像面３０が３次元カメラ１２の撮像素子面に相当する。画像座標Ｐ（ｘ，ｙ）３１は撮像素子面３０上の点であり、ズームレンズ３２の場合、結像面３０と後側主点３３間の距離が焦点距離ｆｍである。また、ズームレンズ３２の前玉頂点３５から前側主点３６までの距離（前側主点距離）がＰｆであり、カメラ座標Ｐ（Ｘ，Ｙ，Ｚ）と前側主点３６を結ぶ直線と光軸のなす角度（主光線入射角）がθである。

ズームレンズ３２の場合に輝度画像と距離画像を補正するのに必要なテーブルは、図４に示す歪み後の像高ｈ’の離散的な値をパラメータとしてそれぞれ設けられ焦点距離ｆｍと物体距離Ｚｍをパラメータとして主光線入射角ｔａｎθを得る主光線入射角テーブルと、図５に示す焦点距離ｆｍと物体距離Ｚｍをパラメータとして前側主点距離Ｐｆを得る前側主点距離テープルと、図６に示す物体距離Ｚｍの離散的な値をパラメータとしてそれぞれ設けられ焦点距離ｆｍと歪み後の像高ｈ’をパラメータとして歪曲係数Ｄを得る歪曲係数テープルである。

図７に、本発明方法を適用した装置の一実施形態のブロック図を示す。同図中、３次元カメラ７０は、撮影用のズームレンズ７１と、輝度画像データを取得する輝度画像撮影部７３と、距離画像データを撮影する距離画像撮影部７５から構成されている。

ここで、距離画像の取得方法の一例について説明する。距離ｄに置かれた被写体に、図８（Ａ）に示すように、時間と共に係数ｓで光強度が増加する強度変調光Ａ１を照射し、被写体からの反射光Ａ２を時刻ｔｓにパルス状撮像ゲインＡ３で短時間撮像した場合、カメラで検出される信号量Ｅ＋（ｄ，ｔｓ）は、（２）式で表される。

ここで、Ｔ_Ｌはカメラレンズなどのレンズ光学系の透過率、ρは被写体の表面の反射特性係数、Ｆ_０は光の最大照射強度、Δｔは撮像時間幅であり、光変調周期に対して十分小さい値である。また、ｃは光速、２ｄ／ｃはカメラから被写体までの距離ｄを光が往復する時間、ｌはカメラレンズから被写体までの距離であり、式の分母は光の拡散による減衰を考慮した項である。

次に、図８（Ｂ）に示すように、時間と共に係数ｓで光強度が減少する強度変調光Ａ４を照射し、被写体からの反射光Ａ５を時刻ｔｓにパルス状撮像ゲインＡ３で短時間撮像した場合、カメラで検出される信号量Ｅ−（ｄ，ｔｓ）は、（３）式で表される。

ここで、Ｔ_Ａは光強度の変調周期である。なお、１回の撮像では感度が不十分である場合は、１フィールド内に、撮像ゲインの変調周波数と同等の繰り返しパルス光を照射し、蓄積型の撮像素子で蓄積し十分な感度を確保する。なお、図８（Ｂ）の強度変調光は図８（Ａ）の強度変調光と連続して送出しても良い。

（２）式と（３）式より、光強度の異なる２枚の画像間での強度比Ｒ＝Ｅ＋／Ｅ−をとり、距離ｄを求めると、（４）式となる。

（４）式で示されるように、光強度増加時と光強度減少時に撮像した２つの画像間の比Ｒを計算するだけで、被写体の反射率や光の拡散による光の減衰効果等の影響をキャンセルし、高速に距離を求めることができる。

輝度画像データ及び距離画像データは、放迭規格の映像信号か、もしくは、ＣａｍｅｒａＬｉｎｋやＬＶＤＳ（ＬｏｗＶｏｌｔａｇｅＤｉｆｆｅｒｅｎｔｉａｌＳｉｇｎａｌｉｎｇ）など、高精細画像の高速転送が可能なデジタル信号規格を使用して３次元情報演算部７７に供給される。

３次元カメラ７０から出力されたこれらの信号は、ＤＳＰやＦＰＧＡを用いた専用のハードウエアで構成された３次元情報演算部７７で実時間処理される。もしくは、パソコンのメモリやハードディスクに入力して蓄積され、オフラインで読出されて画像処理される。

ズームレンズ７１にはエンコーダ７６が取り付けられており、エンコーダ７６は、ズーム値としての物体距離データＺｍと、フォーカス値としての焦点距離データｆｍとのレンズデータを測定して、電気信号として３次元情報演算部７７に供給する。このレンズデータは、電圧計でモニタし演算に反映させるか、もしくはＡ／Ｄ変換器などのインタフェースを介してデータを取込み、３次元情報演算部７７の演算に反映させることができる。このエンコーダ７６の出力誤差は、形状算出の誤差となるため、高精度なデータ検出を行う。

ズームレンズ７１に関しては、予めレンズ特性や歪み特性が実測されている。その測定値から主光線入射角テーブル７９と前側主点距離テーブル８０、歪曲係数テーブル８１が作成されている。これらのテーブル７９，８０，８１から物体距離データＺｍと焦点距離データｆｍに基づいて読み出した歪み後の像高ｈ’をパラメータとする複数の主光線入射角ｔａｎθ，前側主点距離Ｐｆ，歪み後の像高ｈ’をパラメータとする複数の歪曲係数Ｄの各データを、物体距離データＺｍと焦点距離データｆｍに応じて補間部８３，８４，８５にて補間を行い、複数の主光線入射角ｔａｎθ、前側主点距離Ｐｆ、複数の歪曲係数Ｄを求める。

＜中心射影モデルでの補正＞
輝度画像撮影部７３の出力する輝度画像データは、まず、図２に示す中心射影モデルを用いて、画像座標計算部８６で画像座標計算を行う。その後、２次元歪み補正部８７において、補間部８５の出力する歪曲係数Ｄを用いて２次元画像の歪み補正を行い、仮想画像平面（空間）上の被写体の２次元座標（ｘ，ｙ）を求める。

距離画像撮影部７５の出力する距離画像データについては、非線形歪み補正部８９にて距離検出時に生じる被写体距離と検出値間の非線形歪みを補正する。ここで、横軸に被写体距離、縦軸に距離画像の検出値を取ったグラフは、直線ではなく曲線となる。この曲線は、距離画像を撮影するカメラの特性や撮影時の駆動条件で異なる。非線形歪み補正部８９では、この曲線を直線に変換する補正を行っている。

更に、２次元歪み補正部９０において、補間部８５の出力する歪曲係数Ｄを用いて２次元歪み補正を行って撮像素子上の結像面から被写体までの距離Ｒを求める。

以上の処理から得られた２次元座標（ｘ，ｙ）、距離Ｒ、主光線入射角ｔａｎθ、前側主点距離Ｐｆを３次元座標演算部９２に供給してカメラ座標Ｐ（Ｘ，Ｙ，Ｚ）を算出する。

＜ズームレンズを用いた結像モデルでの補正＞
次に、ズームレンズの歪曲収差を補正する方法を説明する。はじめに、撮像素子から出力される画像座標ｘ’＝ｋ_ｘｕ，ｙ’＝ｋ_ｙｖを計算する。ここで、ｕは撮像画像上のｘ座標（単位は画素ピッチ）、ｖは撮像画像上のｙ座標（単位は画素ピッチ）である。次に、（５）式から歪み後の像高ｈ’を計算する。

ｈ’＝（ｘ’^２＋ｙ’^２）^１／２ …（５）
焦点距離ｆｍ，物体距離Ｚｍ，歪み後の像高ｈ’を用いてテーブル８１から歪曲係数Ｄを求める。これより、（６），（７）式で補正した画像座標ｘ，ｙを計算する。

ｈ＝ｈ’／（１＋Ｄ） …（６）
ｘ＝ｘ’／（１＋Ｄ） …（７）
ｙ＝ｙ’／（１＋Ｄ） …（８）
｜ΔＤ｜＝｜Δｈ（１＋Ｄ）^２／ｈ’｜ …（９）
なお、Δｈは像高の変化分であり、ΔＤは歪曲係数の変化分であるが、Δｈを像高の精度、ΔＤを歪曲係数の精度と見ることができる。つまり、どの程度の精度でΔＤの値が検出できれば、何画素程度の精度で補正できるかの目安を得ている。例えば、１画面の画素数を横１９３６×縦１０８６とすると、Ｄの精度ΔＤが小数点以下３桁程度まで有効であれば、歪曲収差の補正精度Δｘ，Δｙ，Δｈをおおよそ１画素以内に収められることが（８）式から見積もることができる。

次に、ズームレンズで取得した距離画像Ｚ（ｘ，ｙ）から被写体の３次元情報（Ｘ，Ｙ，Ｚ）を計算する方法を説明する。ここで、ｘ，ｙは結像面の画像座標、Ｘ，Ｙ，Ｚはカメラ座標系における３次元座標である。

はじめに、画像座標ｘ’＝ｋ_ｘｕ，ｙ’＝ｋ_ｙｖを計算し、次に、（５）式で歪み後の像高ｈ’を求める。

図５に示した前側主点距離テーブル８０から前側焦点位置Ｐｆを求め、図６に示した歪曲係数テーブル８１から歪曲係数Ｄを求め、図４に示した主光線入射角テーブル７９から主光線入射角ｔａｎθを求める。次にｘ’，ｙ’，Ｄより歪曲収差を補正したｘ，ｙを（７），（８）式で計算する。

３次元座標演算部９２では、２次元座標（ｘ，ｙ）、距離Ｒ、主光線入射角ｔａｎθ、前側主点距離Ｐｆから中心射影モデルによりＸ，Ｙ，Ｚを計算する。

形状検出の基本原理は光学系の近軸近似と射影モデルに基づいている。一般に肉厚レンズの光学結像系は、レンズの前側主点３６と後側主点３３を用いて図３のような近軸結像モデルを適用することができる。ズームレンズ３２により、前後の主点位置３３，３６、及び焦点距離ｆｍが変化する。また、座標Ｚは、結像面３０を原点としているが、分かりやすくするために前側主点３６を原点とした座標Ｚ’を加えている。

形状検出で用いる座標系は、結像面３０を原点とする２次元の画像座標系（ｘ，ｙ）と３次元のカメラ座標系（Ｘ，Ｙ，Ｚ）である。物体上の点Ｐ（Ｘ，Ｙ，Ｚ）はズームレンズ３２により画像平面上のｐ（ｘ，ｙ）に結像される。従って、３次元画像センサが取得する輝度画像と距離画像におけるＰ（Ｘ，Ｙ，Ｚ）の情報は、結像面３０の画像座標（ｘ，ｙ）と原点つまり結像面３０からＰ（Ｘ，Ｙ，Ｚ）までの距離Ｒである。３次元座標演算部９２は、２次元座標（ｘ，ｙ）、距離Ｒ、主光線入射角ｔａｎθ、前側主点距離Ｐｆ、焦点距離ｆｍから図２に示す中心射影モデルを用いて（１０），（１１），（１２）式により３次元座標（Ｘ，Ｙ，Ｚ）を求める。

ところで、３次元情報を求める際に三角測量法を使用すると、画像のマッチング処理が必要であるため、計算量が多くなると共にテクスチャのない画像などではマッチングが不可能なことがある。これに対し、本発明方法では、直接検出した距離画像Ｚを用いて、射影モデルから直ちにＸ，Ｙを計算しているため、計算が簡単で高速であるメリットがある。

本発明方法によれば、同時に撮影されるカラー映像と距離映像を、ズームレンズのデータを基に補正して高速かつ高精度に３次元情報を求めることが可能となり、これまで、不可能であった動く被写体の３次元情報も可能となることで、人物等の形状計測や高速な部品検査、大型測定物の高速測定等の幅広い産業分野に活用することができる。

なお、上記実施形態では、カメラレンズ測定手段の一例としてエンコーダ１５を用い、テーブル及びテーブル検索手段の一例として主光線入射角テーブル７９，前側主点距離テーブル８０，歪曲係数テーブル８１を用い、補正手段の一例として２次元歪み補正部８７，９０を用い、３次元座標演算手段の一例として３次元座標演算部９２を用いている。

本発明方法を適用した装置の概要を説明するためのブロック図である。中心投影モデルを示す図である。ズームレンズを用いた結像モデルを示である。主光線入射角テーブルを示す図である。前側主点距離テープルを示す図である。歪曲係数テープルを示す図である。本発明方法を適用した装置の一実施形態のブロック図である。距離画像の取得方法の一例について説明するための図である。

符号の説明

１２，７０３次元カメラ
１３カメラレンズ
１５エンコーダ
１６３次元情報演算部
７１，７７ズームレンズ
７３輝度画像撮影部
７５距離画像撮影部
７６エンコーダ
７７３次元情報演算部
７９主光線入射角テーブル
８０前側主点距離テーブル
８１歪曲係数テーブル
８３，８４，８５補間部
８６画像座標計算部
８７，９０２次元歪み補正部
８９非線形歪み補正部
９２３次元座標演算部

Claims

３次元カメラで被写体の輝度画像と距離画像を撮影し、
前記輝度画像から結像面における２次元座標を計算し、
前記３次元カメラのレンズデータに応じた歪曲係数を用いて前記結像面における２次元座標と前記距離画像の距離を補正し、
補正された前記結像面における２次元座標と前記距離、及び前記３次元カメラのレンズデータに応じた主光線入射角とを用い、補正された前記距離から、前記３次元カメラの結像面から前側主点までの距離を減算して得られる前側主点からカメラ座標までの距離と前記主光線入射角から、前記前側主点から前記カメラ座標までの光軸上の距離を演算し、前記前側主点から前記カメラ座標までの光軸上の距離に前記結像面から前記前側主点までの距離を加算して前記カメラ座標における距離を演算すると共に、前記前側主点から前記カメラ座標までの光軸上の距離に補正された前記結像面における２次元座標と焦点距離との比を乗算して前記カメラ座標における２次元座標を演算し、被写体の３次元のカメラ座標を得ることを特徴とする３次元画像補正方法。
３次元カメラで被写体の輝度画像と距離画像を撮影し、
前記輝度画像から結像面における２次元座標を計算し、
前記３次元カメラのカメラレンズの物体距離と焦点距離に応じて予め計測された歪曲係数と主光線入射角と前側主点距離を格納したテーブルから撮影時の物体距離と焦点距離に応じて歪曲係数と主光線入射角と前側主点距離を検索し、
前記歪曲係数を用いて前記結像面における２次元座標と前記距離画像の距離を補正し、
補正された前記結像面における２次元座標と前記距離、及び前記テーブルから検索した主光線入射角と前側主点距離を用い、補正された前記距離から、前記３次元カメラの結像面から前側主点までの距離を減算して得られる前側主点からカメラ座標までの距離と前記主光線入射角から、前記前側主点から前記カメラ座標までの光軸上の距離を演算すると共に、前記前側主点から前記カメラ座標までの光軸上の距離に前記結像面から前記前側主点までの距離を加算して前記カメラ座標における距離を演算し、前記前側主点から前記カメラ座標までの光軸上の距離に補正された前記結像面における２次元座標と前記焦点距離との比を乗算して前記カメラ座標における２次元座標を演算し、被写体の３次元のカメラ座標を得ることを特徴とする３次元画像補正方法。
被写体の輝度画像と距離画像を撮影する３次元カメラと、
前記３次元カメラのカメラレンズの物体距離と焦点距離を測定するカメラレンズ測定手段と、
前記輝度画像から結像面における２次元座標を計算する手段と、
前記３次元カメラのカメラレンズの物体距離と焦点距離に応じて予め計測された歪曲係数と主光線入射角と前側主点距離を格納したテーブルと、
前記カメラレンズ測定手段で測定された撮影時の物体距離と焦点距離に応じて前記テーブルから歪曲係数と主光線入射角と前側主点距離を得るテーブル検索手段と、
前記歪曲係数を用いて前記結像面における２次元座標と前記距離画像の距離を補正する補正手段と、
前記補正手段で補正された前記結像面における２次元座標と前記距離、及び前記テーブル検索手段で得た主光線入射角と前側主点距離を用い、補正された前記距離から、前記３次元カメラの結像面から前側主点までの距離を減算して得られる前側主点からカメラ座標までの距離と前記主光線入射角から、前記前側主点から前記カメラ座標までの光軸上の距離を演算し、前記前側主点から前記カメラ座標までの光軸上の距離に前記結像面から前記前側主点までの距離を加算して前記カメラ座標における距離を演算すると共に、前記前側主点から前記カメラ座標までの光軸上の距離に補正された前記結像面における２次元座標と前記焦点距離との比を乗算して前記カメラ座標における２次元座標を演算し、被写体の３次元のカメラ座標を得る３次元座標演算手段と
を有することを特徴とする３次元画像補正装置。
請求項３記載の３次元画像補正装置において、
前記３次元カメラは、被写体の輝度画像と距離画像を同じ画角で撮影することを特徴とする３次元画像補正装置。
請求項３又は４記載の３次元画像補正装置において、
前記テーブルは、３次元カメラのカメラレンズの物体距離と焦点距離に応じて予め計測された複数の像高についての歪曲係数と主光線入射角を格納しており、
前記テーブル検索手段は、前記カメラレンズ測定手段で測定された物体距離と焦点距離に応じて前記テーブルから複数の像高についての歪曲係数と主光線入射角を得、
前記補正手段は、前記複数の歪曲係数のうち被写体の像高に対応する歪曲係数で前記結像面における２次元座標と前記距離画像の距離を補正し、
前記３次元座標演算手段は、前記複数の主光線入射角のうち被写体の像高に対応する主光線入射角を用いて前記カメラ座標における距離を演算することを特徴とする３次元画像補正装置。