JP7213686B2

JP7213686B2 - 形状計測装置、制御方法及びプログラム

Info

Publication number: JP7213686B2
Application number: JP2018248365A
Authority: JP
Inventors: 拓也石橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-12-28
Filing date: 2018-12-28
Publication date: 2023-01-27
Anticipated expiration: 2038-12-28
Also published as: US11295464B2; JP2020106502A; US20200211212A1

Description

本発明は、形状計測装置、制御方法及びプログラムに関し、特に撮像範囲に含まれる被写体の３次元形状を構成する技術に関する。

撮像によって取得した情報に基づいて、被写体の３次元形状を計測する方法がある。非特許文献１には、取得した法線情報に基づく表面情報を、深度情報を用いて補正することで、被写体の３次元形状を構成する方法が開示されている。

Achuta Kadambi, Vage Taamazyan, Boxin Shi and Ramesh Raskar, "Polarized 3D: Depth Sensing with Polarization Cues", 2015 IEEE International Conference on Computer Vision (ICCV)、pp.3370-3378, 2015年

ところで、特許文献１に記載の構成方法では、撮像画像の全画素について得られた法線情報を一括して積分処理することで形状情報を構成し、さらに深度情報を用いてこれを補正することで、精度の高い３次元形状の構成を実現している。一方で、該手法は、例えば撮像画像の画素数が１０００画素×１０００画素である場合には、１００００００×１００００００の行列が必要となる等、十分な性能の演算チップや、対応する演算領域を有したメモリが必要となり、実装コストが増大し得る。

本発明は、上述の問題点に鑑みてなされたものであり、演算コストを低減させつつ、精度の高い３次元形状を構成する形状計測装置、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の形状計測装置は、撮像範囲に含まれる被写体について得られた法線情報と距離情報とに基づいて、該被写体の３次元形状を示す形状情報を構成する形状計測装置であって、法線情報と距離情報とは、撮像範囲を撮像した２次元画像と対応する２次元情報であり、形状計測装置は、法線情報及び距離情報を取得する取得手段と、被写体の形状情報を構成するにあたり、処理対象とする分割領域を２次元画像について設定する設定手段と、設定手段により設定された分割領域ごとに、法線情報に基づく第１の形状情報を構成する第１の構成手段と、分割領域ごとに、距離情報に基づいて第１の形状情報を変更した第２の形状情報を構成する第２の構成手段と、第２の形状情報を結合することで、被写体の３次元形状を示す結合形状情報を構成する結合手段と、を有することを特徴とする。

このような構成により本発明によれば、演算コストを低減させつつ、精度の高い３次元形状を構成することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図本発明の実施形態に係る撮像光学系を説明するための図本発明の実施形態に係る撮像部１０４の構成を説明するための図本発明の実施形態に係る距離情報の生成を説明するための図本発明の実施形態に係る距離情報の生成を説明するための別の図本発明の実施形態１に係る法線情報の生成を説明するための図本発明の実施形態１に係るデジタルカメラ１００で実行される形状構成処理を例示したフローチャート本発明の実施形態に係る法線情報の構成を説明するための図本発明の実施形態に係る法線情報のみに基づいて構成された形状情報を説明するための図本発明の実施形態１に係る形状情報の構成に係るスケーリング処理を説明するための図本発明の実施形態１に係る形状情報の構成に係るスケーリング処理を説明するための別の図本発明の変形例に係る形状情報の構成に係るスケーリング処理を説明するための図本発明の実施形態２に係る分割領域の設定態様を説明するための図本発明の実施形態２に係る分割領域の設定態様を説明するための別の図本発明の実施形態２に係る分割領域の設定態様を説明するためのさらに別の図

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、形状計測装置の一例としての、撮像範囲の被写体について法線を導出する機能及び被写体距離を計測する機能を備えたデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像により得られた被写体の法線及び被写体距離の情報に基づいて、被写体の３次元形状を構成することが可能な任意の機器に適用可能である。

《デジタルカメラの構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばマイクロコンピュータであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、例えば記録媒体１０２に記憶されている各ブロックの動作プログラムを読み出し、メモリ１０３に展開して実行することにより各ブロックの動作を制御する。

記録媒体１０２は、例えば不揮発性メモリであり、各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を格納している。一方、メモリ１０３は、作業領域や一時的な情報格納に用いられる揮発性メモリ等の記録装置である。メモリ１０３は、動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された、あるいは各ブロックの動作の最中に保持が必要な、各種データの格納領域としても用いられる。またメモリ１０３には、撮像時のデジタルカメラ１００の各種設定の情報（撮像条件情報）や適用する処理に係るパラメータ等も格納されているものとする。

撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０４は、撮像光学系１１１を介して撮像素子の撮像面に形成された光学像を光電変換し、アナログ画像信号を出力する。出力されたアナログ画像信号は、不図示のＡ／Ｄ変換部によってＡ／Ｄ変換され、デジタル画像信号（以降、単に撮像画像（２次元画像））として出力される。本実施形態では撮像部１０４は、３次元形状の計測対象である、撮像範囲に存在する被写体の情報を取得する手段として機能する。ここで、撮像光学系１１１と撮像部１０４とは、図２に示されるような関係で配置されているものとする。図２において、任意の被写体の物面１２１から発せられた光は、撮像光学系１１１のレンズ１２０によって予定結像面１２２で結像した後、撮像部１０４の受光面であるセンサ面１２３にて受光される。また、撮像時には、ストロボ等であってよい発光部１０５が発光することで、撮像環境に光源を加えることが可能に構成されているものとする。

また被写体の３次元形状の計測に用いるべく、本実施形態の撮像部１０４は、デジタルカメラ１００との被写体との距離を導出するために必要な情報も出力する。該情報の出力は、例えば撮像部１０４が、図３（ａ）に示されるように、撮像素子に二次元に配列される各画素に、複数の光電変換部が備えられることにより実現されるものであってもよい。より詳しくは、図３（ｂ）に撮像素子の１つの画素３０１の構造を拡大表示するように、１つの画素にはマイクロレンズ３０２と、一対の光電変換部３０３ａ及びｂとで構成される。このような構成により、各画素に入射する光束は、マイクロレンズ３０２によって光電変換部３０３ａ及びｂのそれぞれで受光されることで瞳分割が実現され、１回の撮像で２種類の方向からの入射光束に係る撮像画像群（Ａ像及びＢ像）を得ることが可能となる。ここで、Ａ像は、撮像部１０４に含まれる光電変換部３０３ａ群によって入射光束が光電変換されることで得られる画像を指し、Ｂ像は、光電変換部３０３ｂ群によって入射光束が光電変換されることで得られる画像を指すものとする。従って、１回の撮像で得られた一対のＡ像とＢ像とは、同一の撮像条件における、異なる方向から被写体を撮像した画像群の関係となっており、後述の通り、画像間の差分からデジタルカメラ１００と被写体との距離を導出することが可能となる。なお、上述した撮像画像は、これら一対のＡ像とＢ像（瞳分割画像：視差を有する画像群）を合成することで得られる画像（ＡＢ像：瞳分割がなされていない状態を再現した画像）に対応する。

また、本実施形態ではデジタルカメラ１００と被写体との距離を導出するために必要な情報を撮像部１０４が出力すべく、撮像部１０４が図３に示したような構造の撮像素子が採用されるものとして説明するが、本発明の実施はこれに限られるものではない。デジタルカメラ１００と被写体との距離を導出するために用いられる手法は、レーザレンジファインダ等により計測する手法、両眼の撮像装置を用いて三角測量により行う手法等、他の手法に代替可能であることは言うまでもない。

故に、本実施形態の撮像部１０４は、被写体の３次元形状を計測するために、撮像画像と視差を有する画像群とを出力する。なお、詳細は後述するが、被写体の法線を導出するために、撮影環境の条件を異ならせて撮像した複数枚の撮像画像群を用いる態様では、対応する数の撮像画像や視差を有する画像群が出力されるものとする。

画像処理部１０６は、撮像部１０４により出力された撮像画像を取得し、メモリ１０３への格納する。この他、画像処理部１０６は、輝度が像への変換等、撮像画像に対する種々の画像処理を実行する。

距離情報処理部１０７は、取得した視差を有する画像群に基づき、被写体距離及び被写体距離の導出に必要となる情報を含む、撮像画像と対応する画素構造を有した距離情報を生成する。本実施形態のように視差を有する画像群（Ａ像及びＢ像）に基づいて行う場合、例えば以下で導出した値を含むものであってよい。

距離情報に含まれる情報は、Ａ像とＢ像における各画素の像ずれ量であってよい。像ずれ量の導出は、例えば図４（ａ）に示されるようにＡ像４０１とＢ像４０２を、破線で示される微小ブロック４０３に分割して行う処理を含む。微小ブロック４０３は、例えば対象であるＡ像４０１の各画素を着目画素４０４とした場合に、該画素を中心とする予め定められたサイズの領域に対して設定されるものであってよい。なお、図４（ａ）に示す例では、微小ブロック４０３は、着目画素４０４を中心とする３×３画素の正方領域に対して設定されているが、微小ブロック４０３の形状やサイズはいずれであってもよい。また微小ブロック４０３は着目画素４０４ごとに設定されるものであり、異なる着目画素４０４間で微小ブロック４０３の重複が生じてもよい。

例えばＡ像及びＢ像の各画素について微小ブロック４０３が設定されると、両画像間で画素（着目画素４０４）ごとに相関演算処理を行い、該画素に対応する微小ブロック４０３に含まれる像のずれ量（像ずれ量）を導出する。Ａ像及びＢ像とで同一位置の着目画素４０４について定められた（一対の）微小ブロック４０３のデータ数（画素数）がｍである場合、該一対の微小ブロック４０３の画素データをそれぞれＥ（１）～Ｅ（ｍ）、Ｆ（１）～Ｆ（ｍ）として表現する。この場合、相関演算は、（データの）ずらし量をｋ（整数）[pixel]とすると、相関量Ｃ（ｋ）は
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）－Ｆ（ｎ＋ｋ）｜
で導出できる。ここで、Σ演算はｎについて行われ、ｎ及びｎ＋ｋは１～ｍの範囲に限定されるものとする。また、ずらし量ｋは、一対の画像データの検出ピッチを単位とした相対的シフト量である。このように、１つの着目画素４０４に係る一対の瞳分割画像（一対の微小ブロック４０３）について相関量を導出すると、ずらし量ｋと相関量Ｃ（ｋ）は、例えば図４（ｂ）のグラフに離散的に示されるような関係となる。このとき、相関が最も高い像ずれ量において相関量Ｃ（ｋ）が最小になるため、下記の３点内挿の手法を用いて、連続的な相関量に対する最小値Ｃ（ｘ）を与える像ずれ量ｘを導出する。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ
Ｃ（ｘ）＝Ｃ（ｋｊ）－｜Ｄ｜
Ｄ＝{Ｃ（ｋｊ－１）－Ｃ（ｋｊ＋１）}／２
ＳＬＯＰ＝ＭＡＸ{Ｃ（ｋｊ＋１）－Ｃ（ｋｊ），Ｃ（ｋｊ－１）－Ｃ（ｋｊ）}
ここで、ｋｊは離散的な相関量Ｃ（ｋ）が最小となるずらし量ｋである。このようにして求めたｘが、１つの着目画素４０４における像ずれ量として、距離情報に含められる。なお、像ずれ量ｘの単位も[pixel]であるものとする。

また、距離情報に含まれる情報は、図５に示されるように、物面１２１からの拘束がレンズ１２０を介して結ばれる予定結像面１２２とセンサ面１２３との差を示すデフォーカス量であってよい。各着目画素４０４におけるデフォーカス量ＤＥＦは、像ずれ量ｘを用いて、
ＤＥＦ＝ＫＸ・ＰＹ・ｘ
で導出することができる。ここで、ＰＸは、撮像素子の画素ピッチ（撮像素子を構成する画素間距離。単位[mm/pixel]）であり、ＫＸは、一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。なお、一対の測距瞳を通過する光束の重心の開き角の大きさは、レンズの絞り開口の大きさ（Ｆ値）に応じて変化するため、撮像時の設定の情報に応じて決定されるものとする。図５に示されるように、同一のデフォーカス量であったとしても、センサ面１２３における像ずれ量ｘは、Ｆ値が大きい（絞り状態）ほど大きくなり、Ｆ値が小さい（開放状態）ほど小さくなる。このため、デフォーカス量の導出時には、Ｆ値に応じたＫＸを用いる必要がある。

このように着目画素位置を１画素ずつずらしながら繰り返し計算することで、撮像画像の各画素における被写体のデフォーカス量を算出することができる。

また各着目画素４０４に示される被写体までの、センサ面１２３からの実際の距離を示す被写体距離ｌｅｎｇｔｈは、このように導出されたデフォーカス量ＤＡＦを用いて以下の式で導出することができる。
ｄｉｓｔ＝１／（１／（ｄｉｓｔ＿ｄ＋ＤＥＦ）－１／ｆ）
ｚ＝ｌｅｎｇｔｈ－ｄｉｓｔ
ここで、ｄｉｓｔは、撮像光学系１１１のレンズ１２０の物主点から被写体までの距離であり、ｄｉｓｔ＿ｄは、レンズ１２０の像主点からセンサ面１２３までの距離であり、ｆは、一対の瞳分割画像群の撮像時に設定されていた焦点距離である。

距離情報処理部１０７は、このように種々の演算を行って距離情報を生成すると、メモリ１０３に格納する。

法線情報処理部１０８は、撮像部１０４から出力された複数枚の撮像画像またはこれらを変換した輝度画像に基づいて、各画素に示される被写体の法線ベクトルを格納する、撮像画像と対応する画素構造を有した法線情報を生成する。本実施形態では法線情報処理部１０８は、計測精度を考慮し、公知の照度差ステレオ法を用いて法線情報（または面法線情報）を導出するものとして説明する。

照度差ステレオ法は、被写体の面法線と被写体から光源への方向（光源方向）に基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線情報を算出する方法である。所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合、反射特性はランバートの余弦則に従うランバート反射モデルで近似すればよい。鏡面反射成分は、図６に示されるように、光源ベクトルｓと視線方向ベクトルｖの２等分線と、面法線ベクトルｎのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。

以下、ランバート反射モデルで反射特性を仮定した場合について説明する。物体のランバート拡散反射率をρ_d、入射光の強さをＥ、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をｓ、物体の単位面法線ベクトルをｎとすると、反射光の輝度ｉはランバートの余弦則から数１の式で表すことができる。

また、異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ₁、ｓ₂、・・・、ｓ_M、光源ベクトルの成分ごとの輝度値をｉ₁、ｉ₂、・・・ｉ_Mとすると、数１の式は数２の式に変換できる。

変換後の式において、左辺はＭ行１列の輝度ベクトルであり、右辺の[ｓ₁ ^T、ｓ₂ ^T、・・・、ｓ_M ^T］は光源方向を示すＭ行３列の入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。故に、Ｍ＝３の場合であれば、入射光行列Ｓの逆行列Ｓ^-1を用いて、Ｅρ_d・ｎは、数３の式とすることができる。

数３の式の左辺のベクトルのノルムは、入射光の強さＥとランバート拡散反射率ρ^dの積となっているため、正規化したベクトルが物体の面法線ベクトルとして算出される。即ち、入射光の強さＥとランバート拡散反射率ρ_dは積の形でのみ条件式に現れるので、Ｅρ_dを１つの変数とみなすと、数３の式は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。従って、少なくとも３つの光源を用いて輝度情報を取得すれば、各変数を決定することができる。なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ₁～ｓ₃を選択する必要がある。即ち、成分ｓ₃を成分ｓ₁、ｓ₂に対して線形独立に選択することが望ましい。

また、Ｍ＞３の場合は求める未知変数より多い条件式が得られるので、任意に選択した３つの条件式からＭ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合は、入射光行列Ｓが正則行列ではなくなるため、例えば、Moore-Penrose疑似逆行列を使って近似解を算出してもよい。また、フィッティング手法や最適化手法によって単位面法線ベクトルｎを算出してもよい。

被写体の反射特性をランバート反射モデルとは異なるモデルで仮定した場合は、条件式が単位面法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。その場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。

また、Ｍ＞３の場合には３以上Ｍ－１以下の複数の条件式が得られるため、単位面法線ベクトルｎの複数の解の候補を求めることができる。この場合、さらに別の条件を用いて複数の解の候補から解を選択すればよい。例えば、単位面法線ベクトルｎの連続性を条件として用いることができる。単位面法線ベクトルｎを撮像装置の１画素ごとに算出する場合、画素（ｘ，ｙ）での面法線ベクトルをｎ（ｘ，ｙ）として、ｎ（ｘ－１，ｙ）が既知であれば、以下の数４の式で示される評価関数が最小となる解を選択すればよい。

また、ｎ（ｘ＋１，ｙ）やｎ（ｘ，ｙ±１）も既知であれば、以下の数５の式が最小となる解を選択すればよい。

既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、数５の式の全画素での総和が最小となるよう、以下の数６の式の解を選択してもよい。

なお、最近傍以外の画素での面法線を用いてもよいし、注目する画素位置からの距離に応じて重みづけした評価関数を用いてもよい。

また、別の条件として、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、単位面法線ベクトルと光源方向ベクトルが近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値のうち最も輝度値が大きくなる光源方向ベクトルに近い解を選択することで、単位面法線ベクトルを決定することができる。

また、鏡面反射モデルでは、光源ベクトルをｓ、物体からカメラへの方向の単位ベクトル（カメラの視線ベクトル）をｖとすると、以下の数７の式が成り立つ。

数７の式に示されるように、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば単位面法線ベクトルｎを算出することができる。表面に粗さがある場合、鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解の候補うち最も平滑面に対する解に近い候補を選択すればよい。また、複数の解の候補の平均によって真の解を決定してもよい。

このように、本実施形態の法線情報処理部１０８は、照度条件を異ならせて撮像された複数の画像に基づいて、対象の撮像画像に対応する各画素位置に示される被写体について単位面法線ベクトルを格納した法線情報を構成することができる。法線情報において、１つの画素位置に対応付けられて格納される単位面法線ベクトルは、長さが１のベクトルであり、ｘ方向、ｙ方向及びｚ方向は、それぞれ－１～＋１の値で構成される。なお、本実施形態では照度差ステレオ法を用いて法線情報を生成するものとして説明するが、法線情報の生成はこれに限られるものではない。例えば、偏光情報を用いて導出する方法や、縞状の画像を投影して撮像された画像を解析して導出する方法等、代替の手法が用いられるものであってもよいことは言うまでもない。

分割制御部１０９は、本実施形態のデジタルカメラ１００において被写体の３次元形状を構成する処理のうち、処理単位とする領域に撮像画像、距離情報及び法線情報等を分割する処理を制御する。上述したように、非特許文献１のように全画素を対象として処理を行うことで３次元形状を構成する手法は、精度が高いものの、演算コストの増大や演算を行うために必要となる回路規模の増大が懸念される。特に、近年の画素数の多い撮像素子を備えるデジタルカメラにおいて、３次元形状を考慮したライティング補正機能を実現する態様では、このような演算は現実的ではない。従って、本実施形態では分割制御部１０９は、２次元的に記録した撮像範囲を所定の大きさの領域に分割して、演算規模の低減を実現する。

形状構成部１１０は、本実施形態のデジタルカメラ１００において行われる、被写体の３次元形状の構成に係る種々の処理を行う。詳細は後述するが、形状構成部１１０は、分割制御部１０９によって設定された領域分割の情報に基づき、被写体の３次元形状を示す形状情報を構成する。ここで、形状情報は、計測対象となった撮像範囲について被写体の３次元形状を示すべく、各画素にセンサ面１２３からの距離（被写体距離）、即ち深度方向の値（深度値）が格納された２次元情報である。

本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

《形状構成処理》
このような構成をもつ本実施形態のデジタルカメラ１００の形状構成処理について、図７のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば記録媒体１０２に記憶されている対応する処理プログラムを読み出し、メモリ１０３に展開して実行することにより実現することができる。本形状構成処理は、例えば被写体の３次元形状を考慮した補正を撮像画像の適用する設定がなされている状態で、撮像（必要な情報の取得）が行われた際に開始されるものとして説明する。

Ｓ７０１で、制御部１０１は、３次元形状の計測の対象である被写体について、計測情報（法線情報及び距離情報）を取得する。より詳しくは、制御部１０１は、発光部１０５を制御しつつ撮像部１０４に必要な撮像を行わせ、所定の数の撮像画像（ＲＧＢカラー画像。一対の瞳分割画像を含む）を出力させる。画像処理部１０６は、撮像部１０４から出力された撮像画像を変換して輝度画像を生成し、法線情報処理部１０８は、これに基づいて法線情報を生成する。また距離情報処理部１０７は、撮像部１０４から出力された一対の瞳分割画像に基づいて、像ずれ量、デフォーカス量、被写体距離を導出し、距離情報を生成する。

Ｓ７０２で、分割制御部１０９は制御部１０１の制御の下、３次元形状構成の処理単位とする分割領域を、計測情報に対して設定する。計測情報である法線情報及び距離情報は、上述したように撮像画像が有する画素に対応した２次元の情報として構成されているため、分割制御部１０９はこれらに対して、処理単位とする分割領域を設定する。本実施形態では、計測情報に対して設定される分割態様は均等分割であり、分割制御部１０９は、処理単位の分割領域のサイズが全て等しくなるよう設定する。なお、均等分割に係る分割サイズは、予め定められた固定のサイズであってもよいし、撮像設定や被写体分類等に応じて変更可能に構成されるものであってもよい。

Ｓ７０３で、形状構成部１１０は、設定された分割領域を処理単位として、本発明に係る第１の形状としての、法線情報のみに基づく被写体の３次元形状を示す形状情報を構成する。より詳しくは、法線情報のみに基づく被写体の３次元形状は、分割領域に係る法線情報を積分することによって構成するものとする。上述したように、本実施形態では法線情報の各画素には３次元の単位面法線ベクトルが格納されており、その深度方向の成分は－１～＋１の範囲の値を有しているため、積分することにより分割領域内の画素について、連続性のある３次元形状を構成できる。

以下、簡単のため、図８に示されるように、ある画素に撮像された被写体の単位面法線ベクトルを、ｘ－ｚ平面に射影した射影ベクトルｎがｘ軸となす角θ_xの正弦（ｓｉｎ）値が、法線情報の該画素に格納される値であるものとして説明する。即ち、説明を簡単にするため、各単位面法線ベクトルはｙ軸方向の成分を有さず、射影ベクトルｎが単位ベクトルであるものとして説明する。ここで、ｘ軸とは、撮像光学系１１１の光軸と直交する、センサ面１２３の横軸方向と対応する撮影環境中の方向を指す軸であり、ｙ軸とは、同光軸と直交する、センサ面１２３の縦軸方向と対応する撮影環境中の方向を指す軸であるものとする。またｚ軸とは、撮像光学系１１１の光軸と同一の方向を指す軸であるものとする。しかしながら、単位面法線ベクトルは、ｙ軸方向の成分を有するものであってもよいことは容易に理解されよう。

法線情報の各画素の値をｓｉｎθ_xとした場合に、法線情報が図９（ａ）のようであったとすると（横軸が対象の分割領域のｘ軸の画素位置、縦軸が画素値）、これが積分されることで構成される形状情報は図９（ｂ）のようになる。図９（ｂ）の例では、１番の画素から順に画素値が積算されていくため、形状情報における深度値の範囲は－１～＋１の範囲を超えている。

続いてＳ７０４で、形状構成部１１０は、法線情報のみに基づく被写体の３次元形状を、本発明に係る第２の形状としての実寸の３次元形状にすべく、さらに対応する分割領域の被写体距離の情報を用いて形状情報を更新する。Ｓ７０３において構成された形状情報は、法線情報にのみ基づくものであり、これにより示される３次元形状は実際の被写体の形状とは異なる。このため、本ステップにおいて被写体距離の情報を用いてこれをスケーリングすることで、実寸の３次元形状と対応する値になるよう形状構成部１１０は処理を行う。なお、本ステップにおける処理も分割制御部１０９により設定された分割領域単位で行うものとする。

形状構成部１１０はスケーリングにあたり、処理対象である分割領域に係る距離情報に含まれる被写体距離の最小値をＤ_min、最大値をＤ_max、同分割領域に係る形状情報に含まれる深度値の最小値をＲ１_min、最大値をＲ１_maxを用いる。より詳しくは、処理対象の分割領域に係る形状情報の任意の画素値（深度値）Ｒ１は、同領域に係る被写体距離の情報に基づいて、以下の数８によって導出された深度値Ｒ２に更新される。

このようにすることで、処理対象の分割領域の形状情報は、分割領域の被写体について導出された被写体距離の分布に応じて、実寸の３次元形状相当の３次元形状を示すよう更新される。即ち、本実施形態では、狭小な分割領域ごとに被写体距離の分布を得ることができるため、該分割領域に適したスケーリングを、法線情報のみに基づく被写体の３次元形状に適用することができる。

なお、本実施形態では一対の瞳分割画像から導出されたデフォーカス量に基づいて被写体距離を導出しているため、これを用いることで、分割領域ごとに、より実寸の３次元形状に近づけた形状情報を構成することができる。一方、数８においてＲ１に乗じたスケーリングの係数（倍率）αは、本実施形態のように画素単位で被写体距離を導出する機能を有していない態様であっても、撮像時の条件及び撮像部１０４の構成に基づく以下の式から簡易的に導出した値を用いてもよい。
α＝ｇ×ｐ／ｆ
ここで、ｇは撮像部１０４における画素ピッチを、ｐはセンサ面１２３から撮像時にピントがあった被写体（ピント面）までの距離、ｆは撮像時の撮像光学系１１１の焦点距離を示している。ｐは、撮像時の撮像光学系１１１の状態から１つ特定されるものであるため、全ての分割領域に対して同一の倍率αが一律で適用される。このように簡易的に導出した倍率αを用いる態様は、本実施形態の数８で分割領域ごとに導出される倍率αよりも精度の高い３次元形状を構成することはできないが、演算コストの観点では領域ごとの倍率αの導出処理が不要になる点で効率化が見込める。

ところで、このように分割領域ごとにスケーリングを行うと、撮影範囲における被写体分布によっては、隣接する分割領域間で被写体距離に存在する差によって、好適な形状情報とならない場合がある。即ち、分割領域ごとに処理するが故に、特には分割領域内に前景と背景のような距離に差がある被写体が含まれる場合において、隣接した分割領域に対応する形状情報であるにもかかわらず、連結部で深度方向に生じる段差で、連続性が担保されない可能性がある。従って、本実施形態の形状構成処理は、被写体距離の情報を用いて形状情報を更新する際に適用する倍率αを変更することで、このような不自然な３次元形状が構成されることを回避する処理を含んでいてもよい。

換言すれば、形状構成部１１０は、数８に示した倍率αは分割領域における被写体距離の分布に応じて決定されるものであるため、分割領域ごとに異なる値となる。このような倍率αを形状情報の更新において、分割領域のそれぞれで独立に適用したとしても、隣接する分割領域間において３次元形状の連続性が担保されない部位が現れる可能性がある。従って、倍率αは、分割領域ごとに隣接する他の分割領域との境界部における被写体距離を考慮して、次の倍率γに補正してスケーリングに用いるものとしてもよい。

例えば、図１０（ａ）に示されるように、隣接する分割領域ＡとＢの境界部において、数８に基づいて更新された形状情報のＲ２に連続的でない段差が生じたとする。即ち、分割領域Ａの境界部の画素のＲ２_Aedgeと分割領域Ｂの同境界部の画素のＲ２_Bedgeとの間に生じた差１００１が、該分割領域間で３次元形状が連続していないと判断されるものである場合、倍率αを用いたスケーリングは好適でないと言える。故に、このような段差１００１を低減させるために、スケーリング時に考慮すべき差ｅを次の数９を用いて導出する

このような差ｅを考慮して、処理対象の分割領域Ａに係る形状情報の更新時に用いられる適当な倍率β_Aは、
β_A＝ｇ×（ｐ－ｅ）／ｆ
として導出できる。

そして、全ての分割領域について導出した倍率β_N（Ｎは１～分割領域数）を集め、このうちから代表値γを選択して、倍率αに代えてスケーリングに用いることで、段差の低減が実現可能となる。代表値γは、例えば図１１（ａ）に示されるように、全ての分割領域について導出された倍率β_Nのヒストグラムを参照し、度数が閾値１１０１を超えた範囲における、最も頻度が高いβ_maxとして選択されるものであってよい。

あるいは、例えば図１１（ｂ）に示されるように、閾値１１０１を超える度数の倍率β_Nが複数存在する場合、代表値γを複数設け、分割領域ごとに導出された倍率β_Nに応じて、いずれの代表値γを使用するかを決定するものであってもよい。図１１（ｂ）の例では、度数が閾値１１０１を越えた範囲それぞれで、もっとも頻度が高いβ_max1とβ_max2が、それぞれ代表値γ₁とγ₂となる。分割領域についていずれの代表値を適用するかは、例えばγ₁とγ₂の中間値を閾値として倍率β_Nについて範囲１１０２及び１１０３を設定し、各分割領域について導出されたβ_Nがいずれの範囲に属するかに応じて決定されればよい。即ち、範囲１１０２に含まれる倍率β_Nが導出された分割領域については、代表値の倍率γ₁がスケーリングに用いられ、範囲１１０３に含まれるβ_Nが導出された分割領域については、代表値の倍率γ₂がスケーリングに用いられる。

なお、ヒストグラムを用いて代表値とする倍率γを決定する方法は、演算負荷を増大し得るため、全ての分割領域について導出された倍率β_Nの平均値を単純に用いる方法を採用してもよい。あるいは、撮影条件によっては、撮像画像における被写体の合焦状態の分布が異なり、分割領域によっては導出された法線情報及び距離情報の精度が低いこともあり得る。このため、例えば合焦範囲に含まれる被写体像が含まれる分割領域について導出された倍率β_Nのみを用いて代表値とする倍率γを決定する方法を採用してもよい。

同様に、撮像画像、距離情報及び法線情報について、例えば以下のように信頼度を設定することで、閾値を越える信頼度が設定された分割領域について導出された倍率β_Nのみを用いて代表値とする倍率γを決定する方法を採用してもよい。即ち、信頼度が閾値を越えない分割領域について導出された倍率β_Nは、代表値である倍率γの決定候補から除外されるものであってよい。

（１）撮像画像の信頼度
撮像画像の信頼度Ｌは、該画像の輝度情報に基づいて導出されるものであってよい。例えば、撮像画像の輝度値Ｌｐが０～ＬＭの値範囲で表現される場合、輝度値の中間値Ｌｍ（＝ＬＭ／２）を中心として、該中間値よりも高い範囲では、輝度値が高くなる（明るくなる）ほど低くなるよう、信頼度Ｌは設定されるものであってよい。また反対に、中間値よりも低い範囲では、輝度値が低くなる（暗くなる）ほど低くなるよう、信頼度Ｌは設定されるものであってよい。このようにすることで、輝度が飽和している画素や黒潰れしている画素が含まれる分割領域については、信頼度Ｌが低くなるようして該分割領域に係る倍率β_Nが選択される確率を低くすることができる。なお、分割領域に係る撮像画像の信頼度Ｌは、
Ｌ＝－｜Ｌｍ－Ｌｐ｜
を分割領域に含まれる各画素について導出し、例えばその平均値あるいは総和を、該分割領域の最終的な信頼度とすればよい。

（２）距離情報の信頼度
距離情報の信頼度Ｄは、焦点状態を示すデフォーカス量ＤＥＦに基づいて導出されるものであってよい。上述したようにデフォーカス量ＤＥＦに基づいて被写体距離を導出することができるが、デフォーカス量ＤＥＦの絶対値が大きくなるほど対応する画素の被写体像のボケが大きくなるため、測距制度は低下する。このため、分割領域に係る距離情報の信頼度Ｄは、
Ｄ＝｜ＤＥＦ｜
を分割領域に含まれる各画素について導出し、例えばその平均値あるいは総和を、該分割領域の最終的な信頼度とすればよい。

（３）法線情報の信頼度
法線情報の信頼度Ｎは、法線導出時に撮像された撮像画像の数Ｐｍと、実際に法線情報の導出に用いられた撮像画像の数Ｐの比に基づいて導出されるものであってよい。上述した照度差ステレオ法を用いる態様では、光源の位置を変化させながら撮像した複数枚の撮像画像を参照し、各画素の輝度変化に基づいて、該画素の面法線ベクトルが導出される。しかしながら、光源と被写体の位置関係によっては被写体の影で輝度が低減する領域（オクルージョン領域）が発生するため、該領域内の画素を参照した場合に好適な法線情報が得られない可能性がある。このため、本実施形態の法線情報処理部１０８は、被写体の影が発生した画素を法線情報の導出時に参照しないよう制御することで、法線情報が現実と乖離することを回避している。一方で、法線情報の導出に参照される画像の数が低下することは、導出制度を低下させることにもなるため、本実施形態では法線情報の信頼度Ｎを、
Ｎ＝Ｐ／Ｐｍ
として導出する。なお、分割領域に係る法線情報の信頼度Ｎは、例えば該分割領域に含まれる各画素について導出された信頼度の平均値や総和を採用すればよい。また、法線情報の導出に用いられた撮像画像のうち、該当の画素の輝度が飽和している撮像画像の数が閾値を越える場合に、さらに信頼度Ｎを低くするよう制御してもよい。

このようにして、分割領域について導出された撮像画像、距離情報及び法線情報の信頼度を合算することで該分割領域の信頼度Ｍを導出し、代表値の倍率γの決定に用いることができる。なお、信頼度Ｍの導出にあたっては、信頼度ごとに予め定められた係数を乗じる重み付け加算を用いてもよいし、各信頼度を正規化した上で合算するものとしてもよい。また、これらのうちの少なくとも１つの信頼度のみを用いるものとしてもよいし、これら以外の基準で導出された信頼度をさらに加えて用いるものであってもよい。

このように導出した倍率γを用いる場合、形状情報の更新は、
Ｒ２＝γ×Ｒ１＋Ｄｍｉｎ－ｅ
として行われればよい。より詳しくは、形状構成部１１０は、任意の分割領域について法線情報のみに基づいて構成した形状情報を、該領域に係る被写体距離の分布と、隣接する分割領域の被写体距離に基づいて、段差を低減させた好適な３次元形状となるよう更新することができる。即ち、数８で導出された倍率αを用いて形状情報の更新を行った場合には、図１０（ａ）で示した形状情報で生じていた不連続的な段差１００１が、代表値γを倍率として図１０（ｂ）に示されるように吸収された状態となる。

Ｓ７０５で、形状構成部１１０は、各分割領域について独立して構成された形状情報を結合し、処理対象の撮像画像の全体に対応した３次元形状を示す結合形状情報を構成する。形状構成部１１０は、結合形状情報を構成すると、撮像画像に関連付けて記録媒体１０２またはメモリ１０３に格納する。このようにして得られた結合形状情報は、撮像画像に対応する撮像範囲に含まれる被写体の３次元形状を示しているため、例えば仮想的に照明条件を変更する効果を撮像画像に適用する場合等において、好適な結果を出力させることができる。

なお、本実施形態では被写体距離を反映して３次元形状を構成する際に、分割領域における被写体距離の分布によっては、スケーリングの倍率を変更することで、構成される３次元形状に、深度方向に生じる不自然な段差を低減する態様を説明した。しかしながら、このような倍率の変更は必ずしも行われるものである必要はない。例えば、被写体距離の分布を動的に判断して倍率の変更が必要であると判断された場合にのみ行われるものであってもよい。あるいは、例えば撮像条件や撮像モードに応じて、演算に要する時間を低減する設定がなされている場合には、行わないよう制御されるものであってもよい。

以上説明したように、本実施形態の形状計測装置によれば、演算コストを低減させつつ、精度の高い３次元形状を構成することができる。より詳しくは、３次元形状の計測対象の被写体が撮像された撮像画像に対して均等分割した分割領域を定義して、該分割領域ごとに法線情報及び距離情報に基づいて処理を行うため、演算量を低減しつつ、所定の回路規模で３次元形状を構成することができる。また隣接する分割領域間で被写体距離の分布が所定の規模で乖離している場合等、分割領域の境界部にて３次元形状の連続性が担保されない場合には、被写体距離に応じてスケーリング係数を異ならせることでこれを低減することができる。

［変形例］
上述した実施形態では、均等分割を行って形状情報を構成する際に、分割領域間の境界部にて生じ得る深度方向の不連続性を低減するために、スケーリング係数を変更する態様について説明した。しかしながら、このような分割領域間の境界部における不連続性を低減する方法はこれに限られるものではない。例えば、該境界部を含む分割領域を別に設定し、該別の分割領域について法線情報と被写体距離とに基づいて同様に形状情報を構成して、これに基づいて隣接する複数の分割領域の境界部に係る形状情報を補正するものとしてもよい。

例えば、隣接する分割領域ＡとＢについて、被写体距離の情報を用いて更新された形状情報の深度値Ｒ２が、図１２（ａ）に示されるようであり、該分割領域間の境界部で３次元形状の連続性が担保されない段差１２０１が生じている場合を例に考える。このとき、分割制御部１０９は、例えば図１２（ｂ）に示されるように該境界部を跨ぐ分割領域Ｃを定義し、形状構成部１１０は、該分割領域Ｃについて同様に法線情報のみに基づく部分的な形状情報の構成及び被写体距離に基づくスケーリングを行えばよい。結果、分割領域Ｃついて図１２（ｂ）に示されるような深度値の分布を示す部分的な形状情報が得られるため、分割領域Ａと分割領域Ｃが重複する領域の画素については、
Ｒ２_final＝Ｇ１×Ｒ２_A＋Ｇ２×Ｒ２_C
と加重加算により深度値Ｒ２_finalが導出されればよい。ここで、重み係数Ｇ１及びＧ２には
Ｇ１＋Ｇ２＝１
が成立しているものとする。また分割領域Ｂと分割領域Ｃとが重複する領域の画素については、同様に
Ｒ２_final＝Ｇ３×Ｒ２_B＋Ｇ４×Ｒ２_C
と加重加算により深度値Ｒ２_finalが導出されればよい。ここで、重み係数Ｇ３及びＧ４には
Ｇ３＋Ｇ４＝１
が成立しているものとする。このように境界領域について別に導出された部分的な形状情報を用いて加重加算することで、図１２（ｃ）に示されるように、分割領域Ａと分割領域Ｂとの間に生じていた段差１２０１を低減させた、好適な３次元形状を示す形状情報を構成することができる。

［実施形態２］
ところで、上述した実施形態１及び変形例では、撮像画像と対応する法線情報及び距離情報について、均等分割によって設定した分割領域を処理単位として形状情報を構成する態様について説明した。しかしながら、上述したように、分割領域内における被写体距離の分布やスケーリングで適用される倍率αによっては、分割領域の境界部において連続性が担保されない３次元形状が構成される可能性があり、これを回避するために異なる演算を行う必要があった。本実施形態では、演算コストを抑えつつ、連続性が担保され易い３次元形状を容易に構成できるよう、分割制御部１０９による分割領域の設定に異なる手法を用いる態様について説明する。

本実施形態の分割制御部１０９は、上述した実施形態１及び変形例とは異なり、非均等の分割により分割領域の設定を行う。本実施形態では分割領域の設定は、距離情報（被写体距離）のみに基づく手法と、距離情報及び法線情報に基づく手法と、撮像画像における輝度の分散情報に基づく手法の３種類のいずれかを用いて行うものとして説明する。しかしながら、本発明の実施はこれらの分割手法に限られるものではなく、領域分割して構成された形状情報を結合した場合に、同一の被写体について連続性が担保された３次元形状が示されるように分割する手法であれば、いずれが用いられてもよい。また、これらの３つの手法やその他の手法は、１つのみが採用されるものである必要はなく、２以上の手法を組み合わせることで、複合的な条件で分割領域の設定が行われるものであってもよいことは言うまでもない。

（１）距離情報のみに基づく手法
以下、距離情報のみに基づいて分割制御部１０９が分割領域を設定する手法について、図１３を参照して説明する。図１３（ａ）は、撮像画像の特定のｙ座標を有してｘ軸方向に並ぶ画素に対応する、距離情報の画素値（被写体距離）を示した図（横軸がｘ軸の画素位置、縦軸が被写体距離）である。この手法において分割制御部１０９は、距離情報のうち、隣接する画素間で被写体距離が距離閾値Ｔ_L1以上の差を有しているか否かに基づいて、該画素間で領域を分割するか否かを決定する。

ここで、距離閾値Ｔ_L1は、例えば前景と背景とを分離するために設定される値であってよく、例えば撮像範囲の全画素について導出された被写体距離についてヒストグラムにて、前景と背景の被写体のピーク値の中央値を設定するものであってもよい。なお、被写体の凹凸形状は撮像の時点では不明であるため、複数種類の距離閾値に基づいて分割領域を設定して被写体距離を反映した形状情報を構成し、深度方向に好適でない段差が生じるかに基づいて、最適な距離閾値を導出する構成としてもよい。

図１３（ａ）の例では、画素１と２、画素３と４、画素５と６、画素８と９、画素１０と１１の間において被写体距離の変化が確認されるが、このうち画素５と６の間及び画素８と９の間の被写体距離の差が距離閾値Ｔ_L1を上回るものとする。この場合、分割制御部１０９は、該画素間で分割する分割領域を設定するため、図１３（ｂ）に示されるように、分割領域１３０１、１３０２及び１３０３が設定される。

（２）距離情報及び法線情報に基づく手法
次に、距離情報と法線情報とに基づいて分割制御部１０９が分割領域を設定する手法について、図１４を参照して説明する。図１４（ａ）は、撮像画像の特定のｙ座標を有してｘ軸方向に並ぶ画素に対応する、距離情報の画素値（被写体距離）及び法線情報の画素値（法線値：ｓｉｎθ_x）を示した図（横軸が対象のｘ軸の画素位置、縦軸がそれぞれの画素値）である。この手法において分割制御部１０９は、距離情報のみに基づく手法と同様に隣接する画素間での被写体距離の差と距離閾値Ｔ_L2との比較に基づいて分割する位置を決定するが、距離閾値Ｔ_L2は対応する画素の法線情報の状態に応じて変更する。

距離閾値Ｔ_L2は、まず法線値の絶対値が法線閾値Ｔ_N以上であるか否かに応じて変更されるものであり、法線値の絶対値が法線閾値Ｔ_Nを下回る場合には小さい値Ｔ_L2Lに設定される。一方、法線値の絶対値が距離閾値Ｔ_N以上である場合には、連続する画素（周辺画素）において法線値が連続的に変化している画素範囲では、距離閾値Ｔ_L2は大きい値（Ｔ_L2H）に設定される。反対に、連続する画素において法線値が連続的に変化していない範囲では、例えば距離閾値Ｔ_L2は、法線値の絶対値が法線閾値Ｔ_Nを下回る場合と同様の値Ｔ_L2Lに設定されるものであってよい。

図１４（ａ）の例では、法線値の絶対値が法線閾値Ｔ_N以上となる画素は画素６及び９である。このとき、法線値は画素６の前後の画素において連続的に変化していないため、被写体距離の差に係る距離閾値はＴ_L2Lに設定される。一方、法線値は画素９の前後の画素において連続的に変化しているため、被写体距離の差に係る距離閾値はＴ_L2Hに設定される。よって、距離情報については、画素１～８、１０～１２に対して距離閾値Ｔ_L2Lが設定され、画素９に対して距離閾値Ｔ_L2Hが設定される。このように設定された閾値を踏まえると、距離情報において、画素３と４、画素５と６の間で距離閾値Ｔ_L2Lを上回る被写体距離の差が確認されるが、画素８と９の間の被写体距離の差は、画素９に対して設定された距離閾値Ｔ_L2Hを上回らない。従って、分割制御部１０９は、画素３と４、画素５と６との間で分割する分割領域を設定するため、図１４（ｂ）に示されるように、分割領域１４０１、１４０２及び１４０３が設定される。

このようにすることで、法線情報では検出できないような、被写体距離の急峻な変化にも対応することが可能である。また、法線情報が連続に変化している範囲は、例えば球面のような同一被写体の曲面であることが想定されるため、これを別の分割領域に分断することなく形状情報の構成を行うことが可能になる。なお、上述したように本実施形態では法線情報の法線値として、対応する単位面法線ベクトルのｘ－ｚ平面への射影ベクトルがｘ軸となす角度θ_xを用いるものとして説明しているため、図１４の例ではｘ軸方向の分割位置の判定についてのみ説明した。しかしながら、同単位面法線ベクトルのｙ－ｚ平面への射影ベクトルがｙ軸となす角度θ_yを用いれば、同様にｙ軸方向の分割位置の判定も可能であることは言うまでもない。

（３）輝度の分散情報に基づく手法
次に、撮像画像における輝度の分散情報に基づいて分割制御部１０９が分割領域を設定する手法について、図１５を参照して説明する。図１５（ａ）は、撮像画像の特定のｙ座標を有してｘ軸方向に並ぶ画素に対応する、輝度値の分散情報（分散値）を示した図（横軸がｘ軸の画素位置、縦軸が分散値）である。この手法において分割制御部１０９は、分散情報のうち、分散値が閾値Ｔ_D以上の差を有しているか否かに基づいて、該画素間で領域を分割するか否かを決定する。

例えば被写体が前景と背景を含み、これらの間で輝度差が存在する場合、輝度値の分散を導出することで、前景と背景のエッジ（分散が高くなる画素）を特定することができる。ここで、閾値Ｔ_Dは、例えば輝度画像中の対象画素を中心とする領域内にエッジが存在するか否かを判定する抽出のために設定される分散値であってよい。また閾値Ｔ_Dは、例えば撮像画像（輝度画像）における輝度の分散の分布（ヒストグラム）を参照し、分割領域のサイズがどの程度になるかに応じて設定されるものであってもよい。

図１５（ａ）の例では、画素４、７及び１２において閾値Ｔ_Dを上回る分散値が確認されている。この場合、分割制御部１０９は、これらの画素とその１つ後の画素位置に存在する画素との間で分割するよう分割領域を設定するため、図１５（ｂ）に示されるように、分割領域１５０１、１５０２及び１５０３が設定される。

なお、これらの分割する手法においては、参照する２次元情報を基準として分割領域を設定するものとして説明したが、各分割領域の処理を効率化すべく、分割領域のサイズには最小画素数を設けていてもよい。例えば、分割領域の最小サイズがｘ軸方向に４画素として定められている場合、例えば図１５（ｂ）の例において、分割領域１５０２は隣接するいずれかの分割領域にまとめるよう、分割制御部１０９は制御してよい。このとき、まとめる対象となる分割領域は、例えば１分割領域に対する演算量の増大を低減させるべく、隣接している分割領域のうちの小さい方、即ち分割領域１５０１を選択するものとしてもよい。

また、実施形態１と同様、分割領域の設定に際して、参照する２次元情報に信頼度の概念を導入し、上記の分割条件は満たしていても信頼度が所定値を下回る場合には分割をしないよう、分割制御部１０９は制御を行ってもよい。例えば法線情報に基づいて分割領域の設定を行う態様では、対象の画素の法線導出時に撮像された撮像画像の数Ｐｍと、実際に法線情報の導出に用いられた撮像画像の数Ｐの比に基づいて導出される信頼度Ｎを用いてもよい。また、輝度の分散情報についても、例えば対象画素の輝度が飽和している場合には信頼度を低下させる、輝度画像のＳ／Ｎ比が高い場合には信頼度を低下させる等の制御を行うものであってもよい。

このようにすることで、取得した各種情報に示される被写体の状態に応じて分割領域を動的に設定する際に、領域ごとに構成した３次元形状を結合（連結）した場合に連続性が担保され難いような像が、複数の分割領域に分離されないようすることができる。故に、実施形態１のようにスケーリングの倍率を変更して形状情報を更新する処理を行わずとも、分割領域ごとに構成された形状情報を結合した際に、撮像範囲に存在していた被写体の３次元形状を好適な状態で得ることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ、１０１：制御部、１０２：記録媒体、１０３：メモリ、１０４：撮像部、１０５：発光部、１０６：画像処理部、１０７：距離情報処理部、１０８：法線情報処理部、１０９：分割制御部、１１０：形状構成部、１１１：撮像光学系

Claims

撮像範囲に含まれる被写体について得られた法線情報と距離情報とに基づいて、該被写体の３次元形状を示す形状情報を構成する形状計測装置であって、
前記法線情報と前記距離情報とは、前記撮像範囲を撮像した２次元画像と対応する２次元情報であって、該２次元画像と対応する画素構造を有し、
前記形状計測装置は、
前記法線情報と前記距離情報とを取得する取得手段と、
前記被写体の形状情報を構成するにあたり、処理対象とする分割領域を前記２次元画像について設定する設定手段と、
前記分割領域ごとに、前記法線情報に基づく第１の形状情報を構成する第１の構成手段と、
前記分割領域ごとに、前記距離情報に基づいて前記第１の形状情報を変更した第２の形状情報を構成する第２の構成手段と、
複数の前記分割領域についての前記第２の形状情報を結合することで、前記被写体の３次元形状を示す結合形状情報を構成する結合手段と、
を有することを特徴とする形状計測装置。
前記第１の構成手段は、前記分割領域ごとに、対応する前記法線情報を積分することにより、前記第１の形状情報を構成することを特徴とする請求項１に記載の形状計測装置。
前記距離情報は、被写体距離の情報を含み、
前記第２の構成手段は、前記分割領域ごとに含まれる被写体までの被写体距離の分布に基づいて、前記第１の形状情報で表現される３次元形状の深度方向の大きさを変更する
ことを特徴とする請求項１または２に記載の形状計測装置。
前記第２の構成手段は、前記分割領域ごとに含まれる被写体の被写体距離の分布に基づいて、前記深度方向の大きさを変更する倍率を決定することを特徴とする請求項３に記載の形状計測装置。
前記設定手段は、前記２次元画像が均等分割されるよう、前記分割領域を設定することを特徴とする請求項４に記載の形状計測装置。
前記第２の構成手段は、隣接する前記分割領域に係る前記第２の形状情報が前記結合手段により結合されると、該結合の連結部における３次元形状の連続性が担保されない場合に、隣接する前記分割領域との間で生じる深度方向の大きさの差分を低減するよう前記分割領域ごとに導出された倍率のうちから選択された倍率を用いて、前記第１の形状情報を変更するよう、構成に係る処理を異ならせることを特徴とする請求項５に記載の形状計測装置。
前記第２の構成手段は、前記分割領域のそれぞれについて、前記深度方向の大きさの差分を低減するよう導出された倍率のうち、該導出に参照された前記分割領域の情報の信頼度が所定の基準を満たさない倍率については、前記第１の形状情報の変更に用いる倍率から除外することを特徴とする請求項６に記載の形状計測装置。
前記分割領域の情報の信頼度は、前記撮像範囲を撮像した２次元画像の該分割領域における輝度、焦点状態、及び該分割領域の前記法線情報を導出するために参照された２次元画像の数の少なくともいずれかを含むことを特徴とする請求項７に記載の形状計測装置。
前記設定手段は、前記２次元画像、前記法線情報及び前記距離情報の少なくともいずれかに基づいて、動的に前記分割領域を設定することを特徴とする請求項１乃至４のいずれか１項に記載の形状計測装置。
前記設定手段は、前記距離情報の隣接する画素において被写体距離の差が距離閾値を上回る場合に、該画素位置を基準に領域を分割するよう、前記分割領域を設定することを特徴とする請求項９に記載の形状計測装置。
前記設定手段は、前記法線情報の画素で示される法線の深度方向の成分の大きさに応じて、該画素に係る前記距離閾値を異ならせることを特徴とする請求項１０に記載の形状計測装置。
前記設定手段は、前記法線情報の画素で示される法線の深度方向の成分の大きさが、法線について定められた法線閾値を上回る画素には、該法線閾値を下回る画素に比べて高い第１の距離閾値を設定することを特徴とする請求項１１に記載の形状計測装置。
前記設定手段は、前記法線情報の画素で示される法線の深度方向の成分の大きさが前記法線閾値を上回る画素であっても、前記法線情報の該画素を含む周辺画素において法線の深度方向の成分の大きさが連続的に変化しているのであれば、前記第１の距離閾値よりも高い第２の距離閾値を該画素に設定することを特徴とする請求項１２に記載の形状計測装置。
前記法線情報は、光源位置を異ならせて前記撮像範囲を撮像した複数の２次元画像を解析することにより導出されることを特徴とする請求項１乃至１３のいずれか１項に記載の形状計測装置。
前記撮像範囲の２次元画像を撮像する撮像装置は、一対の瞳分割画像を一時に撮像する撮像手段を有し、
前記距離情報は、前記一対の瞳分割画像から得られる各画素の被写体像のデフォーカス量に基づいて導出された被写体距離の情報を含む
ことを特徴とする請求項１乃至１４のいずれか１項に記載の形状計測装置。
撮像範囲に含まれる被写体について得られた法線情報と距離情報とに基づいて、該被写体の３次元形状を示す形状情報を構成する形状計測装置の制御方法であって、
前記法線情報と前記距離情報とは、前記撮像範囲を撮像した２次元画像と対応する２次元情報であって、該２次元画像と対応する画素構造を有し、
前記制御方法は、
前記法線情報と前記距離情報とを取得する取得工程と、
前記被写体の形状情報を構成するにあたり、処理対象とする分割領域を前記２次元画像について設定する設定工程と、
前記分割領域ごとに、前記法線情報に基づく第１の形状情報を構成する第１の構成工程と、
前記分割領域ごとに、前記距離情報に基づいて前記第１の形状情報を変更した第２の形状情報を構成する第２の構成工程と、
複数の前記分割領域についての前記第２の形状情報を結合することで、前記被写体の３次元形状を示す結合形状情報を構成する結合工程と、
を有することを特徴とする制御方法。
コンピュータを、請求項１乃至１５のいずれか１項に記載の形状計測装置の各手段として機能させるためのプログラム。