JP5179784B2 - 三次元座標測定装置及び三次元座標測定装置において実行されるプログラム - Google Patents

Description

本発明は、三次元座標測定装置及び三次元座標測定装置において実行されるプログラムに関する。

従来から、物体の三次元座標を測定する種々の技術が存在する。このような技術のうち、カメラで撮影して得られた画像から撮影対象物の三次元座標を測定する技術としては、視差を利用するものが挙げられる。例えば、複数のカメラを用いて複数の視点から同一物を撮影する、いわゆるステレオカメラを用いる方法では、得られた複数の視点からの画像に基づいて視差を求め、その視差から三角測量等によって三次元座標を算出する。また、例えば、ビデオ等の動画像を用いる方法では、カメラを移動させながら対象物を撮影し、動画像から動体視差を求めて三次元座標を算出する。
また、画像を用いない三次元座標測定方法としては、例えば、対象物にレーザーを照射し、反射したレーザーを検出することによって対象物の三次元座標を求める方法を挙げることができる。

一方、メインレンズと複眼レンズとを備えるカメラによって撮像して得られた画像データをコンピュータで処理することにより、画像中の任意の対象物にピントを合わせることができる技術が存在する（例えば、非特許文献１参照）。この技術は、デジタル・リフォーカシング技術と呼ばれ、撮影後にピントを自在に調整することができる技術として注目されている。

レン・イング（Ｒｅｎ Ｎｇ）、「フーリエ・スライス・フォトグラフィー（Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ）」、エーシーエム・トランザクションズ・オン・グラフィクス（ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ Ｏｎ Ｇｒａｐｈｉｃｓ）、（米国）、ＡＣＭ、２００５年７月、第２４巻、第３号、ｐ．７３５−７４４

しかしながら、カメラで撮影して得られた画像から撮影対象物の三次元座標を測定する場合、上述したような、ステレオカメラを用いる方法では、各カメラによって得られる画像から、他のカメラによって得られる画像中の対象物と対応する点を検出しなければならないが、視点によって明るさが変化したり、各カメラの特性が微妙に異なったりすることにより、対応点が検出できないことがあるという問題があった。また、各カメラの位置や角度のズレによって、正しい視差が得られないことがあるという問題があった。
また、動画像から動体視差を利用して三次元座標を求める方法では、静止している対象物の三次元座標を求めるためには、カメラを移動させて撮影しなければならないという問題があった。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、撮像された対象物の三次元座標を安定して求めることが可能な三次元座標測定装置及び三次元座標測定装置において実行されるプログラムを提供することにある。

以上のような目的を達成するために、本発明は、以下のようなものを提供する。
（１） メインレンズと、上記メインレンズの後方に設置された、複数の単位レンズから構成される複眼レンズとを備える外部の撮像装置によって撮像されて得られた、各上記単位レンズに対応する単位画像データから構成される特殊画像データを入力する入力手段と、
上記メインレンズによる像の全部又は一部を結像させ得る仮想結像面と上記撮像装置の主点との間の距離である仮想結像距離を変化させることにより、上記仮想結像距離ごとに、上記特殊画像データから画像を生成する生成手段と、
上記生成手段により生成された各画像から、ピントが合っている領域を検出する検出手段と、
上記検出手段により検出された各領域に映る対象物と、上記撮像装置の主点との間の距離を、各上記仮想結像距離に基づいて算出する算出手段と、
上記算出手段により算出された距離に基づいて、各上記対象物の三次元座標を決定する決定手段と
を備えたことを特徴とする三次元座標測定装置。

（１）の発明によれば、メインレンズと複眼レンズとを備える撮像装置によって撮像されて得られた特殊画像データ（例えば、非特許文献１に記載の技術により得られた画像データ）から、様々な仮想結像距離に基づいてピントを合わせた画像を生成する。ピントの合っている対象物と撮像装置との間の距離は、仮想結像距離に基づいて算出することができるため、三次元座標を求めたい対象物にピントを合わせるだけで、その画像に対応する仮想結像距離から、当該対象物の三次元座標を求めることができる。
また、撮像に用いる撮像装置は１台でよいため、複数の撮像装置を用いる場合のように、撮像装置ごとの特性の違いや設置位置のズレ等に起因する三次元座標算出の不正確さを解消することができる。従って、対象物の三次元座標を安定して求めることができる。

さらに、本発明は、以下のようなものを提供する。
（２） 上記（１）の三次元座標測定装置であって、
互いに異なる仮想結像距離に基づく複数の画像のうち、上記検出手段により検出された領域が同一である画像が存在するか否かを判断する判断手段と、
互いに異なる仮想結像距離に基づく複数の画像のうち、上記検出手段により検出された領域が同一である画像が存在すると上記判断手段により判断された場合に、統計的処理によって最も確からしい仮想結像距離を算出する推定算出手段と、
上記特殊画像データに基づく画像が示す領域のうち、いずれの上記仮想結像距離に基づく画像からも、上記検出手段によりピントが合っている領域が検出されなかった領域に映る対象物の三次元座標を補間する補間手段と
を備えることを特徴とする。

（２）の発明によれば、同一の領域にピントが合う仮想結像距離が複数存在する場合には、統計的処理（例えば、ベイズ推定）によって最も確からしい仮想結像距離を求める。従って、対象物と撮像装置との間の距離を正確に算出できない場合でも、最も確からしい距離を推定することができる。
また、いずれの仮想結像距離においてもピントが合わない領域に映る対象物の三次元座標を、例えば線形補間によって補間する。従って、ピントを合わせることができない対象物についても、ピントを合わせることができる対象物の三次元座標に基づいて、三次元座標を算出することができる。

さらに、本発明は、以下のようなものを提供する。
（３） 以下（ａ）〜（ｅ）の処理を実行するようにプログラムされたコントローラを備えることを特徴とする三次元座標測定装置。
（ａ）メインレンズと、上記メインレンズの後方に設置された、複数の単位レンズから構成される複眼レンズとを備える外部の撮像装置によって撮像されて得られた、各上記単位レンズに対応する単位画像データから構成される特殊画像データを入力する処理、
（ｂ）上記メインレンズによる像の全部又は一部を結像させ得る仮想結像面と上記撮像装置の主点との間の距離である仮想結像距離を変化させることにより、上記仮想結像距離ごとに、上記特殊画像データから画像を生成する処理、
（ｃ）上記処理（ｂ）において生成された各画像から、ピントが合っている領域を検出する処理、
（ｄ）上記処理（ｃ）において検出された各領域に映る対象物と、上記撮像装置の主点との間の距離を、各上記仮想結像距離に基づいて算出する処理、及び、
（ｅ）上記処理（ｄ）において算出された距離に基づいて、各上記対象物の三次元座標を決定する処理。

（３）の発明によれば、メインレンズと複眼レンズとを備える撮像装置によって撮像されて得られた特殊画像データから、様々な仮想結像距離に基づいてピントを合わせた画像を生成する。ピントの合っている対象物と撮像装置との間の距離は、仮想結像距離に基づいて算出することができるため、三次元座標を求めたい対象物にピントを合わせるだけで、その画像に対応する仮想結像距離から、当該対象物の三次元座標を求めることができる。
また、撮像に用いる撮像装置は１台でよいため、複数の撮像装置を用いる場合のように、撮像装置ごとの特性の違いや設置位置のズレ等に起因する三次元座標算出の不正確さを解消することができる。従って、対象物の三次元座標を安定して求めることができる。

さらに、本発明は、以下のようなものを提供する。
（４） メインレンズと、上記メインレンズの後方に設置された、複数の単位レンズから構成される複眼レンズとを備える外部の撮像装置によって撮像される対象物の三次元座標を決定する三次元座標測定装置において実行されるプログラムであって、
上記外部の撮像装置によって撮像されて得られた、各上記単位レンズに対応する単位画像データから構成される特殊画像データを入力する入力ステップと、
上記メインレンズによる像の全部又は一部を結像させ得る仮想結像面と上記撮像装置の主点との間の距離である仮想結像距離を変化させることにより、上記仮想結像距離ごとに、上記特殊画像データから画像を生成する生成ステップと、
上記生成ステップにおいて生成された各画像から、ピントが合っている領域を検出する検出ステップと、
上記検出ステップにおいて検出された各領域に映る対象物と、上記撮像装置の主点との間の距離を、各上記仮想結像距離に基づいて算出する算出ステップと、
上記算出ステップにおいて算出された距離に基づいて、各上記対象物の三次元座標を決定する決定ステップと
を備えたことを特徴とするプログラム。

（４）の発明によれば、メインレンズと複眼レンズとを備える撮像装置によって撮像されて得られた特殊画像データから、様々な仮想結像距離に基づいてピントを合わせた画像を生成する。ピントの合っている対象物と撮像装置との間の距離は、仮想結像距離に基づいて算出することができるため、三次元座標を求めたい対象物にピントを合わせるだけで、その画像に対応する仮想結像距離から、当該対象物の三次元座標を求めることができる。
また、撮像に用いる撮像装置は１台でよいため、複数の撮像装置を用いる場合のように、撮像装置ごとの特性の違いや設置位置のズレ等に起因する三次元座標算出の不正確さを解消することができる。従って、対象物の三次元座標を安定して求めることができる。

本発明によれば、撮像された対象物の三次元座標を安定して求めることができる。

本発明の実施形態について、図面に基づいて説明する。
図１は、三次元座標を測定する際に用いる装置の一例を示す図である。

図１に示すように、本実施形態では、物体の三次元座標を測定するために、コンピュータ１０と、カメラ２０とを用いる。
カメラ２０は、メインレンズ２１（図２参照）の後方に複眼レンズ２２（図２参照）を備える特殊なデジタルカメラであり、コンピュータ１０と接続することにより、データの送受信が可能となる。カメラ２０は、本発明における外部の撮像装置に相当する。
コンピュータ１０は、カメラ２０により撮像されて得られた特殊画像データを受信すると、この特殊画像データに対して、三次元座標測定に係る各種演算や、データ処理を実行し、撮像されている対象物の三次元データを取得する。コンピュータ１０は、本発明における三次元座標測定装置に相当する。

図２は、カメラが備えるレンズの位置関係と、レンズに入射する光線の進路を示す図である。
メインレンズ２１は、点３０を中心とする薄い凸レンズであり、光軸（図２における左右方向）に沿って平行移動することができる。点３０は、本発明における撮像装置の主点に相当する。
メインレンズ２１の後方（図２においてメインレンズ２１の右側）には、複眼レンズ２２が設けられている。複眼レンズ２２については、後で図３を用いて詳述する。なお、メインレンズ２１と複眼レンズ２２との間の距離を、Ｆとする。
また、複眼レンズ２２の後方には、センサ２３が設けられている。センサ２３は、複眼レンズ２２を通過した光を検知するためのものである。センサ２３は、複眼レンズ２２の焦点深度（像がボケない距離）の範囲に設けられている。
図２に示すように、対象物４０からの光線４１は、メインレンズ２１を通過し、複眼レンズ２２上で収束する。そして、複眼レンズ２２に入射した方向に基づいて分散し、センサ２３に到達する。
なお、本実施形態では、メインレンズ２１が１つである場合について説明するが、本発明においては、メインレンズは光軸方向に複数設けられていてもよい。

図３は、複眼レンズの構成を模式的に示す図である。
図３に示すように、複数の正方形の単位レンズ２４が隙間なく縦横に並び、複眼レンズ２２を形成している。図３では、図を簡略化するために単位レンズ２４の数を２５個としているが、実際には、複眼レンズ２２は約９万個の単位レンズ２４から構成されている。

図４は、図１に示したカメラの内部構成を示すブロック図である。
カメラ２０が備えるＣＰＵ２０１には、ＲＯＭ２０２、ＲＡＭ２０３、撮像部２０４、接続端子２０７、カードスロット２０８、バッテリー２０９、入力信号回路２１０、及び、表示制御回路２１２が接続されている。

撮像部２０４は、主に、レンズ部２０５と撮像回路２０６とから構成されている。レンズ部２０５は、上述したメインレンズ２１と複眼レンズ２２とから構成されており、撮像対象物から入射する光線を収束させ、像を結像させる。撮像回路２０６は、センサ２３を核として構成され、画像データを生成したり、複眼レンズ２２を通過する光線の方向や光量に関するデータを得たりする。

ＲＯＭ２０２には、カメラ２０の制御上必要な処理を行うための各種プログラムや、データテーブル等が格納されている。ＲＡＭ２０３は、ＣＰＵ２０１で演算された各種データを一時的に記憶しておくメモリである。

接続端子２０７は、カメラ２０とコンピュータ１０とを接続するためのものである。また、カードスロット２０８にはメモリカード２５０を挿入することが可能である。

入力信号回路２１０は、操作部２１１からの入力に基づく入力信号を、ＣＰＵ２０１に対して送信する。また、表示制御回路２１２は、ＣＰＵ２０１からの指示に基づいて、表示部２１３に画像等を表示する制御を行う。

図５は、図１に示したコンピュータの内部構成を示すブロック図である。
図５に示すように、コンピュータ１０は、ＣＰＵ１０１を備えており、ＣＰＵ１０１には、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ（ハードディスクドライブ）１０４、画像処理回路１０６、入力信号回路１０８、及び、通信インターフェイス１１１が接続されている。

ＲＯＭ１０２には、コンピュータ１０の制御上必要な処理を行うための各種プログラムや、データテーブル等が格納されている。また、ＲＯＭ１０２には、リフォーカシング処理や座標算出処理を行う際に必要なプログラムが記憶されている。リフォーカシング処理及び座標算出処理については、後で図６〜９を用いて詳述する。ＲＡＭ４２は、ＣＰＵ１０１で演算された各種データを一時的に記憶しておくメモリであり、ＨＤＤ１０４は、リフォーカシング処理を施した画像データや、算出した三次元座標に関するデータを保存しておくための補助記憶装置である。

画像処理回路１０６には、ディスプレイ１０７が接続されており、カメラ２０から入力された画像データに基づく画像等を表示する。また、入力信号回路１０８には、キーボード１０９及びマウス１１０が接続されている。キーボード１０９又はマウス１１０を操作することにより、各種指示を入力することができる。

通信インターフェイス１１１は、コンピュータ１０とカメラ２０とを接続するためのものである。

次に、デジタルリフォーカシング技術を用いて撮像対象物の三次元座標を算出する方法について説明する。
デジタルリフォーカシング技術は、専用のカメラによって撮像されて得られた画像データをコンピュータで処理することにより、自在にピントを調整することができる技術である。本発明においては、デジタルリフォーカシング技術によってピントが合った対象物までの距離を求め、三次元座標を算出する。

図６は、デジタルリフォーカシング技術の原理を説明するための図である。
カメラ２０によって撮像されて得られる特殊画像データは、複眼レンズ２２を構成する複数の単位レンズ２４の夫々に対応する単位画像データから構成されている。コンピュータ１０のＲＯＭ１０２に記憶されているプログラムに従って特殊画像データに処理を施すことにより、ピントの合っている領域が異なる画像を得ることができる。
図６が示すのは、コンピュータ１０のプログラムを実行することによって得られる仮想的な状態である。すなわち、図６に示す対象物の位置や当該対象物の像が結像する位置等は、上記のプログラム上で設定される仮想的なものである。

図６に示すように、メインレンズ２１による像の全部又は一部を結像させることができる仮想的な結像面である仮想結像面６０を設定する。そして、仮想的に仮想結像面６０の位置にフィルムを設置した場合に得られる画像を、プログラムによって生成する。図６に示した例では、カメラ２０により撮像されて得られた特殊画像に含まれる対象物４５からの光線４６は、メインレンズ２１を通過して仮想結像面６０上で収束する。従って、仮想結像面６０上における仮想的な画像を生成すれば、対象物４５にピントが合った画像を得ることができる。
メインレンズ２１から対象物４５までの距離（Ｌ）によって結像することが可能な位置が異なるため、仮想結像面６０の位置を様々に変化させて画像を生成すれば、各仮想結像面６０の位置に対応する位置にある対象物４５にピントが合った画像を得ることができる。

ここで、メインレンズ２１からピントが合った対象物までの距離Ｌを算出する方法について説明する。
メインレンズ２１から仮想結像面６０までの距離（以下、仮想結像距離ともいう）をＦ′、メインレンズ２１の焦点距離をｆとすると、距離Ｌは、次式（１）によって求めることができる。
１／Ｌ＋１／Ｆ′＝１／ｆ ・・・（１）
例えば、ｆ＝５ｃｍ、Ｆ′＝６ｃｍである場合には、式（１）より、Ｌ＝３０ｃｍと求まる。
なお、メインレンズ２１からの距離は、メインレンズ２１の中心３０（カメラ２０の主点）からの距離である。
このように、仮想結像距離Ｆ′を設定すれば、その仮想結像距離でピントが合っている対象物とメインレンズ２１との間の距離Ｌを、式（１）に基づいて算出することができる。

次に、対象物とメインレンズ２１との間の距離Ｌから当該対象物の三次元座標を算出する方法について説明する。
図７は、対象物の三次元座標を算出する方法を説明するための図である。

図７が示しているのは、Ｘ軸、Ｙ軸及びＺ軸によって定まる三次元空間である。
原点Ｏから距離Ｌだけ離れた位置にある点Ｐの三次元座標（Ｘ、Ｙ、Ｚ）を算出する。
点ＰからＸＹ平面に下ろした垂線の足と原点Ｏとを通る直線をＮ、直線Ｎと直線ＯＰとがなす角をα、直線ＮとＹ軸とがなす角をβとすると、三角比を用いて、Ｘ＝Ｌｃｏｓαｓｉｎβ、Ｙ＝Ｌｃｏｓαｃｏｓβ、Ｚ＝Ｌｓｉｎαと求まる。
本実施形態では、メインレンズ２１の中心３０（カメラ２０の主点）を原点Ｏとし、カメラ２０の上下方向及び左右方向の視野角と、上下方向及び左右方向の画素数とから、座標を求めたい点について、α及びβの値を算出する。そして、Ｌ、α及びβの値から、上述した方法に基づいて三次元座標を算出する。

次に、コンピュータ１０によって実行される処理について説明する。
図８は、コンピュータにおいて実行される三次元座標測定処理のサブルーチンを示すフローチャートである。

まず、ステップＳ１０１において、コンピュータ１０が備えるＣＰＵ１０１は、カメラ２０を検出したか否かを判断する。カメラ２０を検出していないと判断した場合、本サブルーチンを終了する。

一方、カメラ２０を検出したと判断した場合、ステップＳ１０２において、ＣＰＵ１０１は、カメラ２０によって撮像されて得られた特殊画像データを、通信インターフェイス１１１を介してカメラ２０から取り込む。ステップＳ１０２の処理を実行するとき、ＣＰＵ１０１は、本発明における入力手段として機能する。

次に、ステップＳ１０３において、ＣＰＵ１０１は、ステップＳ１０２において取り込んだ特殊画像データに基づく画像、すなわち、ピント調整等を行っていない画像を、コンピュータ１０が備えるディスプレイ１０７に表示する。

次に、ステップＳ１０４において、ＣＰＵ１０１は、変化させる仮想結像距離Ｆ′の値の範囲を指定する入力が行われたことを示す入力信号を、入力信号回路１０８から受信したか否かを判断する。入力信号を受信していないと判断した場合、処理をステップＳ１０４に戻す。

一方、入力信号を受信したと判断した場合、ＣＰＵ１０１は、ステップＳ１０５においてリフォーカシング及び座標算出処理を実行する。リフォーカシング及び座標算出処理は、デジタルリフォーカシング技術によってピントが合った対象物までの距離を求め、当該対象物の三次元座標を算出する処理である。リフォーカシング及び座標算出処理については、後で図９を用いて詳述する。

次に、ステップＳ１０６において、ＣＰＵ１０１は、三次元座標の推定及び補間を行う。具体的には、まず、ＣＰＵ１０１は、ステップＳ１０５において得られたデータに基づいて、互いに異なる複数の仮想結像距離Ｆ′に基づく画像のうち、ピントが合っている領域が同一である画像が存在するか否かを判断し、ピントが合っている領域が同一である画像が存在すると判断した場合に、ピントが合っている領域が同一である全ての画像の仮想結像距離Ｆ′から標準偏差を求め、特定の信頼度における仮想結像距離Ｆ′を算出する。この処理を実行するとき、ＣＰＵ１０１は、本発明における判断手段及び推定算出手段として機能する。
なお、三次元座標の推定に行う統計的処理としては、上記の標準偏差を求める処理に限定されず、例えば、ベイズ推定を用いる処理であってもよい。
また、ＣＰＵ１０１は、ステップＳ１０５においていずれの仮想結像距離Ｆ′においてもピントの合っている領域が検出されなかった領域について、当該領域の近傍の３点の三次元座標に基づいて、線形補間によって当該領域の三次元座標を算出する。この処理を実行するとき、ＣＰＵ１０１は、本発明における補間手段として機能する。

次に、ステップＳ１０７において、ＣＰＵ１０１は、ステップＳ１０５及びステップＳ１０６において算出した三次元座標を示すデータに基づいて、ディスプレイ１０７に三次元座標の分布を示す画像を表示する。
ステップＳ１０７の処理を実行した後、本サブルーチンを終了する。

図９は、図８のステップＳ１０５において実行されるリフォーカシング及び座標算出処理のサブルーチンを示すフローチャートである。

まず、ステップＳ２０１において、ＣＰＵ１０１は、指定された範囲内の１の仮想結像距離Ｆ′に基づく画像を生成する。すなわち、１のＦ′に対応する仮想結像面６０上で得られる画像を生成する。ステップＳ２０１の処理を実行するとき、ＣＰＵ１０１は、本発明における生成手段として機能する。

次に、ステップＳ２０２において、ＣＰＵ１０１は、ステップＳ２０１において生成された画像から、ピントが合っている領域を検出する。具体的には、エッジ抽出を行い、画像の濃淡の境界が予め定められた線幅以下である領域を、ピントが合っている領域として検出する。ステップＳ２０２の処理を実行するとき、ＣＰＵ１０１は、本発明における検出手段として機能する。

次に、ステップＳ２０３において、ＣＰＵ１０１は、ステップＳ２０２において検出された領域の対象物までの距離や方向を、図６及び図７を用いて説明した方法に基づいて算出する。ステップＳ２０３の処理を実行するとき、ＣＰＵ１０１は、本発明における算出手段として機能する。

次に、ステップＳ２０４において、ＣＰＵ１０１は、ステップＳ２０３において算出した距離や方向から、図７を用いて説明した方法に基づいて、対象物の三次元座標を決定する。ステップＳ２０４の処理を実行するとき、ＣＰＵ１０１は、本発明における決定手段として機能する。

次に、ステップＳ２０５において、ＣＰＵ１０１は、算出した三次元座標を示す三次元座標データをＨＤＤ１０４に保存する。

次に、ステップＳ２０６において、ＣＰＵ１０１は、指定された範囲内の全ての仮想結像距離Ｆ′についてリフォーカシング処理と三次元座標の算出とが終了したか否かを判断する。指定された範囲内の全ての仮想結像距離Ｆ′についてリフォーカシング処理と三次元座標の算出とが終了していないと判断した場合には処理をステップＳ２０１に戻す一方、指定された範囲内の全ての仮想結像距離Ｆ′についてリフォーカシング処理と三次元座標の算出とが終了したと判断した場合には、本サブルーチンを終了する。

以上、本実施形態に係るコンピュータ１０（三次元座標測定装置）は、メインレンズ２１と、上記メインレンズ２１の後方に設置された、複数の単位レンズ２４から構成される複眼レンズ２２とを備えるカメラ２０によって撮像されて得られた、各上記単位レンズ２４に対応する単位画像データから構成される特殊画像データを入力し、上記メインレンズ２１による像の全部又は一部を結像させ得る仮想結像面６０と上記カメラ２０の主点との間の距離である仮想結像距離Ｆ′を変化させることにより、上記仮想結像距離Ｆ′ごとに、上記特殊画像データから画像を生成し、生成された各画像から、ピントが合っている領域を検出し、検出された各領域に映る対象物と、上記カメラ２０の主点との間の距離を、各上記仮想結像距離Ｆ′に基づいて算出し、算出された距離に基づいて、各上記対象物の三次元座標を決定する。

コンピュータ１０（三次元座標測定装置）によれば、メインレンズ２１と複眼レンズ２２とを備えるカメラ２０によって撮像されて得られた特殊画像データから、様々な仮想結像距離Ｆ′に基づいてピントを合わせた画像を生成する。ピントの合っている対象物とカメラ２０との間の距離は、仮想結像距離Ｆ′に基づいて算出することができるため、三次元座標を求めたい対象物にピントを合わせるだけで、その画像に対応する仮想結像距離Ｆ′から、当該対象物の三次元座標を求めることができる。
また、撮像に用いるカメラ２０は１台でよいため、複数のカメラを用いる場合のように、カメラごとの特性の違いや設置位置のズレ等に起因する三次元座標算出の不正確さを解消することができる。従って、対象物の三次元座標を安定して求めることができる。

なお、本実施形態で示したデジタルリフォーカシング技術については、非特許文献１の他、レン・イング（Ｒｅｎ Ｎｇ）、外５名、「ライト・フィールド・フォトグラフィー・ウィズ・ア・ハンドヘルド・プレノプティック・カメラ（Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ Ｗｉｔｈ Ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ）」、スタンフォード・テクニカル・レポート・シーティーエスアール（Ｓｔａｎｆｏｒｄ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＴＳＲ）、（米国）、スタンフォード大学、２００５年４月に開示されている。

以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、各手段等の具体的構成は、適宜設計変更可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

三次元座標を測定する際に用いる装置の一例を示す図である。 カメラが備えるレンズの位置関係と、レンズに入射する光線の進路を示す図である。 複眼レンズの構成を模式的に示す図である。 図１に示したカメラの内部構成を示すブロック図である。 図１に示したコンピュータの内部構成を示すブロック図である。 デジタルリフォーカシング技術の原理を説明するための図である。 対象物の三次元座標を算出する方法を説明するための図である。 コンピュータにおいて実行される三次元座標測定処理のサブルーチンを示すフローチャートである。 リフォーカシング及び座標算出処理のサブルーチンを示すフローチャートである。

符号の説明

１０ コンピュータ
２０ カメラ
２１ メインレンズ
２２ 複眼レンズ２２
２３ センサ
２４ 単位レンズ
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＨＤＤ
１０７ ディスプレイ

Claims (3)

1. メインレンズと、前記メインレンズの後方に設置された、複数の単位レンズから構成される複眼レンズとを備える外部の撮像装置によって撮像されて得られた、各前記単位レンズに対応する単位画像データから構成される特殊画像データを入力する入力手段と、
   前記メインレンズによる像の全部又は一部を結像させ得る仮想結像面と前記撮像装置の主点との間の距離である仮想結像距離を変化させることにより、前記仮想結像距離ごとに、前記特殊画像データから画像を生成する生成手段と、
   前記生成手段により生成された各画像から、ピントが合っている領域を検出する検出手段と、
   前記検出手段により検出された各領域に映る対象物と、前記撮像装置の主点との間の距離を、各前記仮想結像距離に基づいて算出する算出手段と、
   前記算出手段により算出された距離に基づいて、各前記対象物の三次元座標を決定する決定手段と、
   互いに異なる前記仮想結像距離に基づく複数の画像のうち、前記検出手段により検出された領域が同一である画像が存在するか否かを判断する判断手段と、
   前記互いに異なる仮想結像距離に基づく複数の画像のうち、前記検出手段により検出された領域が同一である画像が存在すると前記判断手段により判断された場合に、統計的処理によって最も確からしい前記仮想結像距離を算出する推定算出手段と、
   前記特殊画像データに基づく画像が示す領域のうち、いずれの前記仮想結像距離に基づく画像からも、前記検出手段によりピントが合っている領域が検出されなかった領域に映る前記対象物の三次元座標を補間する補間手段と、
   を備えたことを特徴とする三次元座標測定装置。
2. 以下（ａ）〜（ｈ）の処理を実行するようにプログラムされたコントローラを備えることを特徴とする三次元座標測定装置。
   （ａ）メインレンズと、前記メインレンズの後方に設置された、複数の単位レンズから構成される複眼レンズとを備える外部の撮像装置によって撮像されて得られた、各前記単位レンズに対応する単位画像データから構成される特殊画像データを入力する処理、
   （ｂ）前記メインレンズによる像の全部又は一部を結像させ得る仮想結像面と前記撮像装置の主点との間の距離である仮想結像距離を変化させることにより、前記仮想結像距離ごとに、前記特殊画像データから画像を生成する処理、
   （ｃ）前記処理（ｂ）において生成された各画像から、ピントが合っている領域を検出する処理、
   （ｄ）前記処理（ｃ）において検出された各領域に映る対象物と、前記撮像装置の主点との間の距離を、各前記仮想結像距離に基づいて算出する処理、及び、
   （ｅ）前記処理（ｄ）において算出された距離に基づいて、各前記対象物の三次元座標を決定する処理、
   （ｆ）互いに異なる前記仮想結像距離に基づく複数の画像のうち、前記処理（ｃ）により検出された領域が同一である画像が存在するか否かを判断する処理、
   （ｇ）前記互いに異なる仮想結像距離に基づく複数の画像のうち、前記処理（ｃ）により検出された領域が同一である画像が存在すると前記処理（ｆ）により判断された場合に、統計的処理によって最も確からしい前記仮想結像距離を算出する処理、
   （ｈ）前記特殊画像データに基づく画像が示す領域のうち、いずれの前記仮想結像距離に基づく画像からも、前記処理（ｃ）によりピントが合っている領域が検出されなかった領域に映る前記対象物の三次元座標を補間する処理。
3. メインレンズと、前記メインレンズの後方に設置された、複数の単位レンズから構成される複眼レンズとを備える外部の撮像装置によって撮像される対象物の三次元座標を決定する三次元座標測定装置において実行されるプログラムであって、
   前記撮像装置によって撮像されて得られた、各前記単位レンズに対応する単位画像データから構成される特殊画像データを入力する入力ステップと、
   前記メインレンズによる像の全部又は一部を結像させ得る仮想結像面と前記撮像装置の主点との間の距離である仮想結像距離を変化させることにより、前記仮想結像距離ごとに、前記特殊画像データから画像を生成する生成ステップと、
   前記生成ステップにおいて生成された各画像から、ピントが合っている領域を検出する検出ステップと、
   前記検出ステップにおいて検出された各領域に映る対象物と、前記撮像装置の主点との間の距離を、各前記仮想結像距離に基づいて算出する算出ステップと、
   前記算出ステップにおいて算出された距離に基づいて、各前記対象物の三次元座標を決定する決定ステップと、
   互いに異なる前記仮想結像距離に基づく複数の画像のうち、前記検出ステップにより検出された領域が同一である画像が存在するか否かを判断する判断ステップと、
   前記互いに異なる仮想結像距離に基づく複数の画像のうち、前記検出ステップにより検出された領域が同一である画像が存在すると前記判断ステップにより判断された場合に、統計的処理によって最も確からしい前記仮想結像距離を算出する推定算出ステップと、
   前記特殊画像データに基づく画像が示す領域のうち、いずれの前記仮想結像距離に基づく画像からも、前記検出ステップによりピントが合っている領域が検出されなかった領域に映る前記対象物の三次元座標を補間する補間ステップと
   を前記三次元座標測定装置に実行させるためのプログラム。

Images