JP5365419B2

JP5365419B2 - ３次元形状センサ

Info

Publication number: JP5365419B2
Application number: JP2009198351A
Authority: JP
Inventors: 宗年及川
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2009-08-28
Filing date: 2009-08-28
Publication date: 2013-12-11
Anticipated expiration: 2029-08-28
Also published as: JP2011047883A

Description

本発明は、奥行き標本化による３次元形状センサに関する。

３次元形状センサにおいて、立体画像を形成するための３次元形状情報を取得する方法としては、例えば、ステレオ方式、TOF（Time Of Flight）方式、奥行き標本化方式などがある。奥行き標本化方式は、画像の先鋭度などを測定することで、焦点距離から被写体の位置を測定する方法である。奥行き標本化方式は、焦点距離が可変なレンズ系、あるいはレンズ系そのものが被写体との間で移動が容易な顕微鏡などが用いられている。

このような光学系を備えたイメージセンサにおいてレンズの焦点距離がある値のとき、あるいは、顕微鏡においてある基準面からレンズの位置のズレがわかっているとき、３次元形状センサは、イメージセンサにより得られた画像を処理して、その先鋭度などを計算し、元の画像の2次元座標上に重み情報をマッピングする。マッピングの粗さは様々であるが、多くの場合、視野を有限のブロックに分割してそのブロック毎に重みを付加する。

３次元形状センサは、マッピングされた重み情報が大きい部分を、そのときの焦点距離ないしレンズ移動距離に対応する位置にある物体と判断する。この重み付けを同じ被写体、同じ視野において、様々な焦点距離ないしレンズ移動距離で繰り返し行うことで、被写体の３次元形状を把握する。

焦点距離が可変なレンズとして液体レンズを備えた３次元形状センサがある。この液体レンズは、入力される電圧に対してリニア（線形）に焦点距離を変化させて、高速に応答する。

図１０は液体レンズを搭載した従来の３次元形状センサを示す図である。図１０において、３次元形状センサ２００は、液体レンズ２０１、ＣＣＤ（Charge Coupled Device;電荷結合素子）２０２、主制御部２０７、レンズ制御部２０６、ＣＣＤ制御部２０５、信号処理部２０３、距離抽出部２０４を有している。

次に、図１０に示す３次元形状センサ２００の動作を説明する。まず、３次元形状センサ２００に対して３次元形状を測定するように指示が与えられると、主制御部２０７は、レンズ制御部２０６に対して液体レンズ２０１の焦点距離を所定の方法により変化させるように指示を与える。

レンズ制御部２０６は、主制御部２０７からの指示を受けて、図１１（ｂ）に示すように時間に対して所定の傾きを有するランプ波形からなるレンズ入力電圧を生成し、この電圧を液体レンズ２０１に出力する。

一方、主制御部２０７は、ＣＣＤ制御部２０５に対して、液体レンズ２０１の焦点距離が変化している間に所定回数の撮影を行うよう指示を与える。例えばn回の撮影が行なわれる場合、ＣＣＤ制御部２０５は、図１１（ａ）に示すように撮影を実施するための駆動信号をＣＣＤ２０２に出力する。このとき、駆動信号の立ち上がりタイミングで撮影が行われるが、撮影のタイミングで焦点距離が図１１（ｃ）に示すように、Ｆ１，Ｆ２，Ｆ３と設定される。信号処理部２０３は、ＣＣＤ２０２から画像を読み出す。

３次元形状センサ２００は、コントラスト法により測定対象１００の形状を測定する。信号処理部２０３は、得られた画像を有限のブロック数に分割する。次に、各々のブロック内でコントラスト値を決定する。計算した結果は距離抽出部２０４に出力される。

距離抽出部２０４は以下の処理を行う。図１２は距離抽出部によるｔ番目のブロックに関して行われる処理を示す図である。

まず、距離抽出部２０４には主制御部２０７からn回の撮影画像毎の焦点距離情報が送られてくる。また、距離抽出部２０４には信号処理部２０３から各ブロック毎のコントラスト値が撮影画像毎に送られてくる。

距離抽出部２０４には、図１２に示すように、例えば、ｔ番目のブロックにおいて、１番目の焦点距離Ｆ１とコントラスト値Ｃ１の対２３０、２番目の焦点距離Ｆ２とコントラスト値Ｃ２の対２３１、ｋ番目の焦点距離Ｆｋとコントラスト値Ｃｋの対２３２、ｎ番目の焦点距離Ｆｎとコントラスト値Ｃｎの対２３３が順次作成される。

距離抽出部２０４は、各ブロック毎にこれらの対２３０〜２３３の中からコントラスト値が最大になる対を選び、その焦点距離を撮影地点から測定対象までの距離として採用する。

図１２に示すように、例えばｔ番目のブロックではｋ番目のコントラストＣｋが最も大きくなると、そのときの焦点距離Ｆｋがそのブロックに関する距離情報として採用される。

このようにして得られた各ブロックのコントラストが最大になる焦点距離に基づき測定対象１００とＣＣＤ２０２との距離が求められ、求められた距離に基づき測定対象１００の形状も確定する。

ところで、イメージセンサの読み出し時間が高速であるほど、距離測定完了に要する時間をより短縮できる。また、搭載されるイメージセンサの画素数が多いほど、多くのブロックを持つことができ、分解能が高くなる。

従来、イメージセンサとしてＣＣＤを用いていたが、ＣＣＤは、電荷を転送して読み出すため、画素数の増加に比例して読み出しに要する時間が増加する。一般的なＣＭＯＳイメージセンサは、ＣＣＤの電荷順次転送と異なり、画素を直接アドレスして出力するため、ＣＣＤよりも高速に読出しが可能である。従って、３次元形状をより精密に且つより高速に測定するためには、ＣＭＯＳイメージセンサを用いるのがよい。

なお、従来の技術として、特許文献１には、奥行き標本化におけるサンプリングの間隔を立体視特性に合わせて可変とし、標本化数を減ずる奥行き標本化式立体画像形成装置が記載されている。特許文献２には、焦点距離が可変なレンズが記載されている。

特開平１０−２０２４５号公報米国特許６３６９９５４号明細書

しかしながら、３次元形状センサにＣＭＯＳイメージセンサを用いると以下の問題が発生する。即ち、一般的なＣＭＯＳイメージセンサはＣＣＤと異なるシャッタ方式を用いているからである。具体的にはＣＣＤはグローバルシャッタと呼ばれる全画素で露光のタイミングが揃っているシャッタ方式である。

一方、一般的なＣＭＯＳイメージセンサはローリングシャッタと呼ばれるシャッタ方式で、これは画素ライン毎に露光のタイミングがずれているシャッタ方式である。このため、以下の問題が発生する。

図１１に示すように、液体レンズ２０１にランプ波形が入力され、液体レンズ２０１の焦点距離が連続的に変化され、所定のタイミングでイメージセンサにパルスの駆動信号を送り撮影を行う場合、ＣＣＤ２０２を用いた従来例では、撮影を行うように指示したタイミングで全画素のタイミングが揃っていた。従って、ある撮影タイミングで撮影した画像は、画面全体である単一の焦点距離の画像であった。

しかしながら、ＣＭＯＳイメージセンサを用いた場合、ライン毎に画像が順次読み出されるため、ライン毎に露光のタイミングがずれる。そして、画像の読出しが行われる間にも、連続したランプ波形が液体レンズ２０１に入力されるため、液体レンズ２０１の焦点距離がずれてしまい、画面のライン毎に異なった焦点距離の映像が得られてしまう。この結果、従来の３次元形状センサでは、正確な距離を測定できず、測定対象の正確な３次元形状が得られない。

本発明の目的は、ＣＭＯＳイメージセンサを用いて高速に高精細な３次元形状情報を得ることができる３次元形状センサを提供することにある。

第１の発明は、焦点距離が可変されるレンズと、前記レンズを通して測定対象を撮影する、ローリングシャッタ方式を用いたＣＭＯＳイメージセンサと、前記ＣＭＯＳイメージセンサで撮影された画像を１フレーム毎に読み出して読み出した画像を所定数のブロックに分割し各ブロックのコントラスト値を決定する信号処理部と、前記レンズの焦点距離をリニアに変化させるレンズ制御部と、前記レンズ制御部により変化された前記レンズの焦点距離と時間との対応関係を示すテーブルを記憶する記憶部と、前記ＣＭＯＳイメージセンサの１フレーム毎の焦点距離情報に、前記記憶部に記憶されたテーブルに基づいた各ブロック毎の補正値を加えた補正焦点距離情報と前記信号処理部からの各ブロックのコントラスト値とに基づいて撮影地点から前記測定対象までの距離を求める距離算出部とを備えることを特徴とする。

第１の発明によれば、距離算出部は、ＣＭＯＳイメージセンサの１フレーム毎の焦点距離情報に記憶部に記憶されたテーブルに基づいた各ブロック毎の補正値を加えた補正焦点距離情報と信号処理部からの各ブロックのコントラスト値とに基づいて撮影地点から測定対象までの距離を求めるので、ＣＭＯＳイメージセンサを用いて高速に高精細な３次元形状情報を得ることができる。

液体レンズを搭載した実施例１の３次元形状センサを示す図である。実施例１の３次元形状センサの時間に対するレンズ入力電圧と液体レンズの焦点距離とを示す図である。得られた画像のブロック分割例を示す図である。３次元形状センサの信号処理部の信号処理手順を示す図である。焦点距離及びコントラスト値の最大値を選び出すアルゴリズムを示す図である。液体レンズを搭載した実施例２の３次元形状センサを示す図である。実施例２の焦点距離と時間との対応関係を示すテーブルである。実施例２の３次元形状センサの時間に対するレンズ入力電圧と液体レンズの焦点距離とを示す図である。実施例２の距離抽出部によるｔ番目のブロックに関して行われる処理を示す図である。液体レンズを搭載した従来の３次元形状センサを示す図である。従来の３次元形状センサの時間に対するレンズ入力電圧と液体レンズの焦点距離とを示す図である。距離抽出部によるｔ番目のブロックに関して行われる処理を示す図である。

以下、本発明の３次元形状センサの実施の形態を図面を参照しながら詳細に説明する。

実施例１の３次元形状センサは、液体レンズの駆動方法を工夫し、ローリングシャッタ型のＣＭＯＳイメージセンサを用いても画面全体で焦点距離を所定値にしたことを特徴とする。

図１において、３次元形状センサ１０は、焦点距離が可変される液体レンズ１、ＣＭＯＳイメージセンサ２、ＣＭＯＳイメージセンサ２の画像を１フレーム毎に読み出して所定の処理を行う信号処理部３、１フレーム毎に液体レンズ１の焦点距離をステップ状に変化させるとともに１フレーム期間中では焦点距離を所定値に保持するレンズ制御部６、信号処理部６で処理された画像とＣＭＯＳイメージセンサ２の焦点距離情報とに基づいて撮影地点から測定対象までの距離を求める距離抽出部（距離算出部という場合がある）４、主制御部７、及びＣＭＯＳイメージセンサ制御部５を有している。

即ち、実施例１の３次元形状センサ１０は、図１０に示す従来の３次元形状センサ２００内のＣＣＤ２０２、ＣＣＤ制御部２０５、レンズ制御部２０６に代えて、ＣＭＯＳイメージセンサ２、ＣＭＯＳイメージセンサ制御部５、レンズ制御部６を設けた点が異なる。

実施例１の液体レンズ１、主制御部７、信号処理部３、距離抽出部４は、図１０に示す従来の液体レンズ２０１、主制御部２０７、信号処理部２０３、距離抽出部２０４と同一構成である。

図２を用いて、実施例１のレンズ制御部６の機能を説明する。ここでは、ｔ番目のブロックの距離を測定すると仮定し、ｔ番目のブロックはＣＭＯＳイメージセンサ２のＬ行目にあるとする。図２において、Ｔは１フレーム（１画面）分の読出し時間であり、時刻ｔ０は駆動信号の立ち上がりタイミングであり、時刻ｔ１、ｔ２、ｔ３、ｔ４は１フレーム画像のＬ行目の読出しタイミングである。時刻ｔ１〜ｔ２、時刻ｔ２〜ｔ３、時刻ｔ３〜ｔ４は、１フレーム分の読出し時間Ｔである。
従来のレンズ制御部２０６は、時間的に変化するランプ波形を生成していたため、液体レンズ２０１の焦点距離は、時間的に連続に変化し、Ｌ行目の読み出しタイミングでは1行目と異なった焦点距離になっていた。

これに対して、実施例１では、まず、３次元形状センサ１０に対して３次元形状を測定するように指示が与えられると、主制御部７は、レンズ制御部６に対して液体レンズ１の焦点距離を所定の方法により変化させるように指示を与える。

一方、主制御部７は、ＣＭＯＳイメージセンサ制御部５に対して、液体レンズ１の焦点距離が変化している間に所定回数の撮影を行うよう指示を与える。例えばn回の撮影が行なわれる場合、ＣＭＯＳイメージセンサ制御部５は、主制御部７からの撮影指示を受けて、ＣＭＯＳイメージセンサ２に図２（ａ）に示す撮影を実施するための駆動信号を与える。

レンズ制御部６は、主制御部７からの指示を受けて、図２（ａ）に示す駆動信号に同期して、１フレーム分の読出し時間Ｔ毎にステップ状（階段状）に電圧が上昇するレンズ入力電圧を生成し、ステップ状の電圧を液体レンズ１に出力する。

液体レンズ１は、レンズ制御部６からのステップ状のレンズ入力電圧により、図２（ｃ）に示すように、１フレーム分の読出し時間Ｔ毎にステップ状に焦点距離がＦ１、Ｆ２、Ｆ３と上昇する。信号処理部３は、ＣＭＯＳイメージセンサ２から画像を１フレーム毎に読み出す。

ＣＭＯＳイメージセンサ２の１フレーム分の全画素の読出しが終わる間、即ち、１フレームの期間中は、焦点距離が所定値に保持される。このため、Ｌ行目を含む全画素の読出しが終わる間、焦点距離は変化しないので、従来のＣＣＤで撮影した場合と同等の映像を取得できる。

３次元形状センサ１０は、コントラスト法により測定対象１００の形状を測定する。信号処理部３は、図４の信号処理手順に示すように、得られた画像を有限のブロック数に分割する（Ｓ１０１）。例えば、得られた画像のブロック分割例２１０を図３に示す。図３では、得られた画像を１ｘ８画素の単位で区切ってブロックに分割している。

次に、各々のブロック内でコントラスト値を決定する（Ｓ１０２）。このコントラスト値Cの計算方法は、例えば、
C＝（ｌmax−ｌmin）／（ｌmax＋ｌmin）
とする。ここで、ｌmaxはブロック内の輝度の最大値、ｌminはブロック内の輝度の最小値である。計算した結果は距離抽出部４に出力される（Ｓ１０３）。

距離抽出部４には主制御部７からn回の撮影画像毎の焦点距離情報が送られてくる。また、距離抽出部４には信号処理部３から各ブロック毎のコントラスト値が撮影画像毎に送られてくる。

距離抽出部４には、図１２に示すように、例えば、ｔ番目のブロックにおいて、１番目の焦点距離Ｆ１とコントラスト値Ｃ１の対２３０、２番目の焦点距離Ｆ２とコントラスト値Ｃ２の対２３１、ｋ番目の焦点距離Ｆｋとコントラスト値Ｃｋの対２３２、ｎ番目の焦点距離Ｆｎとコントラスト値Ｃｎの対２３３が順次作成される。

距離抽出部４は、各ブロック毎にこれらの対２３０〜２３３の中からコントラスト値が最大になる対を選び、その焦点距離を撮影地点から測定対象までの距離として採用する。

コントラスト値の最大値を選び出すアルゴリズムを図５に示す。図５において、Ｃｐはコントラスト値を示し、Ｆｐは焦点距離を示す。まず、Ｃｐ＝０、Ｆｐ＝０に設定する（Ｓ２０１）。なお、ｐは整数である。次に、ＣｐがＣｐ＋１よりも大きいかどうかを判定し（Ｓ２０２）、ＣｐがＣｐ＋１よりも大きい場合、Ｃｐ＝Ｃｐ＋１、Ｆｐ＝Ｆｐ＋１とする（Ｓ２０３）。即ち、比較した２つのコントラスト値のうち、大きい方のコントラスト値及びこれに対応する焦点距離を残す。次に、ｐ＋１がｎになったかどうかを判定し（Ｓ２０４）、ｐ＋１がｎになっていない場合には、ｐを１だけインクリメントして（Ｓ２０５）、Ｓ２０２の処理に戻り、同様な処理を繰り返す。ｐ＋１がｎになった場合には、処理を終了する（Ｓ２０６）。

このようにして得られた各ブロックのコントラストが最大になる焦点距離に基づき測定対象１００とＣＭＯＳイメージセンサ２との距離が求められ、求められた距離に基づき測定対象１００の形状も確定する。

このように実施例１の３次元形状センサによれば、ＣＭＯＳイメージセンサ２の１フレーム分の全画素の読出しが終わる間、即ち、１フレームの期間中は、焦点距離が所定値に保持される。このため、Ｌ行目を含む全画素の読出しが終わる間、焦点距離は変化しないので、従来のＣＣＤで撮影した場合と同等の映像を取得できる。従って、画素間に同時性のないローリングシャッタ方式のＣＭＯＳイメージセンサ２を用いて高速に高精細な３次元形状情報を得ることができる。

実施例２では、画像信号のライン毎に焦点距離の情報、もしくは焦点距離を推定できる情報（たとえば露光タイミングの情報）を付加することにより、画像内で露光タイミングが揃っていなくても焦点距離を補正する。即ち、実施例２では、画像の焦点距離にライン毎の補正値を加え、信号処理を行う。

図６は液体レンズを搭載した実施例２の３次元形状センサを示す図である。図６に示す実施例２の３次元形状センサ１０ａは、図１に示す実施例１の３次元形状センサ１０に対して、レンズ制御部６ａ、主制御部７ａ、距離抽出部４ａの構成が異なる。

レンズ制御部６ａは、液体レンズ１の焦点距離をリニアに変化させる。具体的には、レンズ制御部６ａは、主制御部７からの指示を受けて、図８（ｂ）に示すように時間に対して所定の傾きを有するランプ波形からなるレンズ入力電圧を生成し、レンズ入力電圧を液体レンズ１に出力する。

主制御部７ａは、ＣＭＯＳイメージセンサ制御部５に対して、液体レンズ１の焦点距離が変化している間に所定回数の撮影を行うよう指示を与える。例えばn回の撮影が行なわれる場合、ＣＭＯＳイメージセンサ制御部５は、図８（ａ）に示すように撮影を実施するための駆動信号をＣＭＯＳイメージセンサ２に出力する。

また、主制御部７ａは、図７に示す焦点距離と時間との対応関係を示すテーブルが格納されたメモリ７１を有している。図７に示す時間Δｔ１，Δｔ２‥Δｔｎは、図８に示す１フレームの読出し開始時刻ｔ０からｔ番目のブロックに対応するＬ行目までの時間であり、時間Δｔ１，Δｔ２‥Δｔｎに対応する焦点距離は、ΔＦ１，ΔＦ２‥ΔＦｎである。

主制御部７ａは、メモリ７１に格納されたテーブルを用いて、焦点距離情報をライン毎（ブロック毎に）に距離抽出部４ａに出力する。即ち、主制御部７ａは、ＣＭＯＳイメージセンサ２の１フレーム毎の焦点距離情報（図８（ｃ）に示すＦ１，Ｆ２，Ｆ３‥）に、メモリ７１に格納されたテーブルを参照して各ブロック毎の補正値ΔＦ１，ΔＦ２‥ΔＦｎ（図８（ｃ）に示すΔＦ）を加えた補正焦点距離情報を距離抽出部４ａに出力する。

例えばｔ番目のブロックがＬ行目に存在している場合、液体レンズ１の焦点距離は、図８（ｃ）に示すように、１行目（時刻ｔ０）のときにＦ１であるが、Ｌ行目（時刻ｔ１）ではランプ波形からなるレンズ入力電圧が１行目のときよりも大きくなり、Ｆ１よりΔＦだけずれて（Ｆ１＋ΔＦ）となる。

距離抽出部４ａは、主制御部７ａからの補正焦点距離情報をｔ番目のブロックの距離情報に用いる。具体的には、距離抽出部４ａは、主制御部７ａからの補正焦点距離情報と信号処理部３からのコントラスト値との対を作成するとき、図９に示すように、例えば、ｔ番目のブロックにおいて、１番目の補正焦点距離Ｆ１＋ΔＦとコントラスト値Ｃ１の対３０、２番目の補正焦点距離Ｆ２＋ΔＦとコントラスト値Ｃ２の対３１、ｋ番目の補正焦点距離Ｆｋ＋ΔＦとコントラスト値Ｃｋの対３２、ｎ番目の補正焦点距離Ｆｎ＋ΔＦとコントラスト値Ｃｎの対３３を順次作成する。

距離抽出部４ａは、各ブロック毎にこれらの対３０〜３３の中からコントラスト値が最大になる対を選び、その焦点距離を撮影地点から測定対象までの距離として採用する。

このように実施例２の３次元形状センサによれば、焦点距離情報に各ブロック毎の補正値を加えた補正焦点距離情報を用いることにより、高速に高精細な３次元形状情報を得ることができる。

なお、本発明は上述した実施例１，２の３次元形状センサに限定されるものではない。実施例２では、焦点距離情報として、各ブロック毎の補正値をテーブルに格納したが、テーブルを用いることなく、各ブロック毎に補正値を計算によって求めることにより用いても良い。

本発明は、３次元形状センサを用いた立体画像形成装置に適用可能である。

１，２０１液体レンズ
２ＣＭＯＳイメージセンサ
３，２０３信号処理部
４，４ａ，２０４距離抽出部
５ＣＭＯＳイメージセンサ制御部
６，６ａ，２０６レンズ制御部
７，７ａ，２０７主制御部
１０，１０ａ，２００３次元形状センサ
７１メモリ
１００測定対象
２０２ＣＣＤ
２０５ＣＣＤ制御部

Claims

焦点距離が可変されるレンズと、
前記レンズを通して測定対象を撮影する、ローリングシャッタ方式を用いたＣＭＯＳイメージセンサと、
前記ＣＭＯＳイメージセンサで撮影された画像を１フレーム毎に読み出して読み出した画像を所定数のブロックに分割し各ブロックのコントラスト値を決定する信号処理部と、
前記レンズの焦点距離をリニアに変化させるレンズ制御部と、
前記レンズ制御部により変化された前記レンズの焦点距離と時間との対応関係を示すテーブルを記憶する記憶部と、
前記ＣＭＯＳイメージセンサの１フレーム毎の焦点距離情報に、前記記憶部に記憶されたテーブルに基づいた各ブロック毎の補正値を加えた補正焦点距離情報と前記信号処理部からの各ブロックのコントラスト値とに基づいて撮影地点から前記測定対象までの距離を求める距離算出部と、
を備えることを特徴とする３次元形状センサ。
前記レンズは、液体レンズからなる請求項１記載の３次元形状センサ。