JP7233261B2 - ３次元測量装置、撮像装置、制御方法及びプログラム - Google Patents

Description

本発明は、３次元測量装置、撮像装置、制御方法及びプログラムに関し、特に撮像範囲に含まれる被写体の形状を考慮した表面長さを測量する技術に関する。

同一の被写体を撮像した、視差を有する関係のある一対の撮像画像に基づいて、被写体の深度情報を導出することで、指定された２点間の３次元空間における距離を計測する撮像装置がある（特許文献１）。

特開２０１１－２３２３３０号公報

ところで、特許文献１に記載の撮像装置は、主として被写体の外寸のような、３次元空間における２点を結んだ直線的な空間距離といった計測することは可能であるが、例えば被写体の表面形状に沿った経路長を計測するといった用途には利用できなかった。

本発明は、上述の問題点に鑑みてなされたものであり、被写体の形状を考慮した表面長さを測定する３次元測量装置、撮像装置、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の３次元測量装置は、操作入力を受け付ける操作入力手段と、撮像画像について、距離の計測を行う２次元の測距経路を操作入力手段により受け付けられた操作入力の軌跡に基づいて決定する決定手段と、撮像画像について、該撮像画像の各画素の被写体までの被写体距離の情報を含む距離情報を取得する取得手段と、決定手段により決定された測距経路に含まれる撮像画像の各画素の被写体距離と、撮像画像の撮像条件の情報とに基づいて、測距経路に存在する被写体の表面形状に沿った該測距経路の経路長を導出する導出手段と、を有することを特徴とする。

このような構成により本発明によれば、被写体の形状を考慮した表面長さを測定することが可能となる。

本発明の実施形態及び変形例に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態及び変形例に係る撮像光学系を説明するための図 本発明の実施形態及び変形例に係る撮像部１０４の構成を説明するための図 本発明の実施形態及び変形例に係る距離情報の生成を説明するための図 本発明の実施形態及び変形例に係る距離情報の生成を説明するための別の図 本発明の実施形態及び変形例に係るデジタルカメラ１００で実行される計測処理を例示したフローチャート 本発明の実施形態及び変形例に係る測距経路の決定を説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行される測距処理を例示したフローチャート 本発明の実施形態及び変形例に係る、画素間の被写体の表面形状に沿った距離の導出を説明するための図 本発明の実施形態に係る、画素間の被写体の表面形状に沿った距離の導出を説明するための別の図 本発明の変形例１に係る、画素間の被写体の表面形状に沿った距離の導出を説明するための図 本発明の変形例２に係る、画素間の被写体の表面形状に沿った距離の導出を説明するための図

［実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、３次元測量装置の一例としての、撮像範囲の被写体について被写体距離を計測する機能を備えたデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像画像に含まれる被写体について被写体距離の情報を取得可能に構成された任意の機器に適用可能である。

《デジタルカメラの構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばマイクロコンピュータであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、例えば記録媒体１０２に記憶されている各ブロックの動作プログラムを読み出し、メモリ１０３に展開して実行することにより各ブロックの動作を制御する。

記録媒体１０２は、例えば不揮発性メモリであり、各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を格納している。一方、メモリ１０３は、作業領域や一時的な情報格納に用いられる揮発性メモリ等の記録装置である。メモリ１０３は、動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された、あるいは各ブロックの動作の最中に保持が必要な、各種データの格納領域としても用いられる。またメモリ１０３には、撮像時のデジタルカメラ１００の各種設定の情報（撮像条件情報）や適用する処理に係るパラメータ等も格納されているものとする。

撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０４は、撮像光学系１２０を介して撮像素子の撮像面に形成された光学像を光電変換し、アナログ画像信号を出力する。出力されたアナログ画像信号は、不図示のＡ／Ｄ変換部によってＡ／Ｄ変換され、デジタル画像信号（以降、単に撮像画像（２次元画像））として出力される。本実施形態では撮像部１０４は、３次元形状の計測対象である、撮像範囲に存在する被写体の情報を取得する手段として機能する。ここで、撮像光学系１２０と撮像部１０４とは、図２に示されるような関係で配置されているものとする。図２において、任意の被写体の物面１２２から発せられた光は、撮像光学系１２０のレンズ１２１によって予定結像面１２３で結像した後、撮像部１０４の受光面であるセンサ面１２４にて受光される。

また被写体の３次元形状の計測に用いるべく、本実施形態の撮像部１０４は、デジタルカメラ１００との被写体との距離を導出するために必要な情報も出力する。該情報の出力は、例えば撮像部１０４が、図３（ａ）に示されるように、撮像素子に二次元に配列される各画素に、複数の光電変換部が備えられることにより実現されるものであってもよい。より詳しくは、図３（ｂ）に撮像素子の１つの画素３０１の構造を拡大表示するように、１つの画素にはマイクロレンズ３０２と、一対の光電変換部３０３ａ及びｂとで構成される。このような構成により、各画素に入射する光束は、マイクロレンズ３０２によって光電変換部３０３ａ及びｂのそれぞれで受光されることで瞳分割が実現され、１回の撮像で２種類の方向からの入射光束に係る撮像画像群（Ａ像及びＢ像）を得ることが可能となる。ここで、Ａ像は、撮像部１０４に含まれる光電変換部３０３ａ群によって入射光束が光電変換されることで得られる画像を指し、Ｂ像は、光電変換部３０３ｂ群によって入射光束が光電変換されることで得られる画像を指すものとする。従って、１回の撮像で得られた一対のＡ像とＢ像とは、同一の撮像条件における、異なる方向から被写体を撮像した画像群の関係となっており、後述の通り、画像間の差分からデジタルカメラ１００と被写体との距離を導出することが可能となる。なお、上述した撮像画像は、これら一対のＡ像とＢ像（瞳分割画像：視差を有する画像群）を合成することで得られる画像（ＡＢ像：瞳分割がなされていない状態を再現した画像）に対応する。

また、本実施形態ではデジタルカメラ１００と被写体との距離を導出するために必要な情報を撮像部１０４が出力すべく、撮像部１０４が図３に示したような構造の撮像素子が採用されるものとして説明するが、本発明の実施はこれに限られるものではない。デジタルカメラ１００と被写体との距離を導出するために用いられる手法は、レーザレンジファインダ等により計測する手法、両眼の撮像装置を用いて三角測量により行う手法等、他の手法に代替可能であることは言うまでもない。

故に、本実施形態の撮像部１０４は、撮像範囲に含まれる被写体の奥行き方向の距離情報を取得るために、撮像画像と視差を有する画像群とを出力する。なお、詳細は後述するが、被写体の法線を導出するために、撮影環境の条件を異ならせて撮像した複数枚の撮像画像群を用いる態様では、対応する数の撮像画像や視差を有する画像群が出力されるものとする。

画像処理部１０６は、撮像部１０４により出力された撮像画像を取得し、メモリ１０３に格納する。この他、画像処理部１０６は、輝度画像への変換等、撮像画像に対する種々の画像処理を実行する。

距離情報処理部１０７は、取得した視差を有する画像群に基づき、被写体距離及び被写体距離の導出に必要となる情報を含む、撮像画像と対応する画素構造を有した距離情報を生成する。本実施形態のように視差を有する画像群（Ａ像及びＢ像）に基づいて行う場合、例えば以下で導出した値を含むものであってよい。

距離情報に含まれる情報は、Ａ像とＢ像における各画素の像ずれ量であってよい。像ずれ量の導出は、例えば図４（ａ）に示されるようにＡ像４０１とＢ像４０２を、破線で示される微小ブロック４０３に分割して行う処理を含む。微小ブロック４０３は、例えば対象であるＡ像４０１の各画素を着目画素４０４とした場合に、該画素を中心とする予め定められたサイズの領域に対して設定されるものであってよい。なお、図４（ａ）に示す例では、微小ブロック４０３は、着目画素４０４を中心とする３×３画素の正方領域に対して設定されているが、微小ブロック４０３の形状やサイズはいずれであってもよい。また微小ブロック４０３は着目画素４０４ごとに設定されるものであり、異なる着目画素４０４間で微小ブロック４０３の重複が生じてもよい。

例えばＡ像及びＢ像の各画素について微小ブロック４０３が設定されると、両画像間で画素（着目画素４０４）ごとに相関演算処理を行い、該画素に対応する微小ブロック４０３に含まれる像のずれ量（像ずれ量）を導出する。Ａ像及びＢ像とで同一位置の着目画素４０４について定められた（一対の）微小ブロック４０３のデータ数（画素数）がｍである場合、該一対の微小ブロック４０３の画素データをそれぞれＥ（１）～Ｅ（ｍ）、Ｆ（１）～Ｆ（ｍ）として表現する。この場合、相関演算は、（データの）ずらし量をｋ（整数）[pixel]とすると、相関量Ｃ（ｋ）は
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）－Ｆ（ｎ＋ｋ）｜
で導出できる。ここで、Σ演算はｎについて行われ、ｎ及びｎ＋ｋは１～ｍの範囲に限定されるものとする。また、ずらし量ｋは、一対の画像データの検出ピッチを単位とした相対的シフト量である。このように、１つの着目画素４０４に係る一対の瞳分割画像（一対の微小ブロック４０３）について相関量を導出すると、ずらし量ｋと相関量Ｃ（ｋ）は、例えば図４（ｂ）のグラフに離散的に示されるような関係となる。このとき、相関が最も高い像ずれ量において相関量Ｃ（ｋ）が最小になるため、下記の３点内挿の手法を用いて、連続的な相関量に対する最小値Ｃ（ｘ）を与える像ずれ量ｘを導出する。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ
Ｃ（ｘ）＝Ｃ（ｋｊ）－｜Ｄ｜
Ｄ＝{Ｃ（ｋｊ－１）－Ｃ（ｋｊ＋１）}／２
ＳＬＯＰ＝ＭＡＸ{Ｃ（ｋｊ＋１）－Ｃ（ｋｊ），Ｃ（ｋｊ－１）－Ｃ（ｋｊ）}
ここで、ｋｊは離散的な相関量Ｃ（ｋ）が最小となるずらし量ｋである。このようにして求めたｘが、１つの着目画素４０４における像ずれ量として、距離情報に含められる。なお、像ずれ量ｘの単位も[pixel]であるものとする。

また、距離情報に含まれる情報は、図５に示されるように、物面１２２からの光束がレンズ１２１を介して結ばれる予定結像面１２３とセンサ面１２４との差を示すデフォーカス量であってよい。各着目画素４０４におけるデフォーカス量ＤＥＦは、像ずれ量ｘを用いて、
ＤＥＦ＝ＫＸ・ＰＸ・ｘ
で導出することができる。ここで、ＰＸは、撮像素子の画素ピッチ（撮像素子を構成する画素間距離。単位[mm/pixel]）であり、ＫＸは、一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。なお、一対の測距瞳を通過する光束の重心の開き角の大きさは、レンズの絞り開口の大きさ（Ｆ値）に応じて変化するため、撮像時の設定の情報に応じて決定されるものとする。図５に示されるように、同一のデフォーカス量であったとしても、センサ面１２４における像ずれ量ｘは、Ｆ値が大きい（絞り状態）ほど大きくなり、Ｆ値が小さい（開放状態）ほど小さくなる。このため、デフォーカス量の導出時には、Ｆ値に応じたＫＸを用いる必要がある。

このように着目画素位置を１画素ずつずらしながら繰り返し計算することで、撮像画像の各画素における被写体のデフォーカス量を算出することができる。

また各着目画素４０４に示される被写体までの、センサ面１２４からの実際の距離を示す被写体距離ｌｅｎｇｔｈは、このように導出されたデフォーカス量ＤＡＦを用いて以下の式で導出することができる。
ｄｉｓｔ＝１／（１／（ｄｉｓｔ＿ｄ＋ＤＥＦ）－１／ｆ）
ｚ＝ｌｅｎｇｔｈ－ｄｉｓｔ
ここで、ｄｉｓｔは、撮像光学系１１１のレンズ１２１の物主点から被写体までの距離であり、ｄｉｓｔ＿ｄは、レンズ１２１の像主点からセンサ面１２４までの距離であり、ｆは、一対の瞳分割画像群の撮像時に設定されていた焦点距離である。

距離情報処理部１０７は、このように種々の演算を行って距離情報を生成すると、メモリ１０３に格納する。

なお、本実施形態では撮像部１０４が、図３に示したような光電変換部３０３を採用して構造となっているため、被写体距離の導出をこのように行うものとして説明するが、被写体距離の算出はこれに限られるものではない。

例えば、撮像部１０４が瞳分割することで視差を有する画像群を出力するものではなく、瞳分割しないで被写体を撮像する撮像素子を複数設け、それぞれから出力された撮像画像に基づいて被写体距離の導出をおこなうものであってもよい。この場合、複数の撮像素子は、複数の撮像光学系を備えた１つのカメラ筐体に設けられるものであってもよいし、異なる複数のカメラ筐体に設けられるものであってもよい。あるいは、１つの撮像素子を備えるカメラ筐体を、移動して撮像することで得られた複数の撮像画像を用いて、被写体距離の算出は行われるものであってもよい。

あるいは、例えば、焦点から被写体までの距離Ｄは、このような２枚の撮像画像を用いることなく、撮像時の焦点距離ｆと、横倍率の比Ｄ１：Ｄ２に基づいて、
Ｄ＝（Ｄ１／Ｄ２）×ｆ
で得られる。横倍率の比は撮影時のフォーカスレンズの位置等の光学の幾何関係から対応した値をテーブルとして持ち、撮影時のフォーカスレンズの位置に対応した横倍率の比を用いることで焦点から被写体までの距離Ｄを算出することが可能である。従って、センサ面１２４から被写体までの距離ｌｅｎｇｔｈは、
ｌｅｎｇｔｈ＝Ｄ＋ｆで導出することができる。

また、この他、上述したような、レーザレンジファインダやその他の外部の計測装置を用いて、撮像範囲内に含まれる被写体の各々について、撮像画像の画素ごとに対応する深度方向の情報を取得可能に構成されていれば、本発明は実現可能である。

測距部１０８は、撮像画像と距離情報とに基づいて、撮像範囲に含まれる被写体についての距離計測を実現するブロックである。後述するように、本実施形態のデジタルカメラ１００では、撮像画像に対して計測の対象として選択した任意の２点について、該２点間をつなぐ、被写体の表面形状に沿った３次元の経路の長さを、少なくとも導出可能に構成されている。測距部１０８が計測する経路長は、２点間を撮像画像において直線的に接続した際に、被写体の表面形状に沿って決定される経路に限られるものではない。例えば、単純に特許文献１のような２点間の空間距離（ユークリッド距離）であってもよいし、指定された経路の始点から終点までに含まれる被写体の表面形状に沿った経路長であってもよい。

表示部１０９は、例えばＬＣＤ等であってよい、デジタルカメラ１００が備える表示装置である。本実施形態では利便性を考慮し、表示部１０９はデジタルカメラ１００に内蔵され、一体となっているものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、例えばデジタルカメラ１００の外部に、有線無線を問わず着脱可能に接続された表示装置であってもよい。表示部１０９は、撮像部１０４により間欠的に出力される撮像画像を順次表示（スルー表示）することで、所謂電子ビューファインダとして機能するものとする。

操作入力部１１０は、例えばボタン等のデジタルカメラ１００が有するユーザインタフェースである。操作入力部１１０は、ユーザによりなされた操作入力を検出すると、該操作入力に対応する制御信号を制御部１０１に出力する。本実施形態では、表示部１０９は、タッチ操作が可能に構成されたタッチパネルであり、操作入力部１１０は、表示部１０９に設けられたタッチパネルセンサを介してタッチ操作の検出も行う。

本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

《計測処理》
このような構成をもつ本実施形態のデジタルカメラ１００で実行される計測処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば記録媒体１０２に記憶されている対応する処理プログラムを読み出し、メモリ１０３に展開して実行することにより実現することができる。本計測処理は、例えば表示部１０９に表示されている撮像画像について距離計測の指示入力を受け付けるモードが選択された際に開始されるものとして説明する。

なお、本実施形態では簡単のため、ユーザが表示部１０９に対するタッチ操作を行うことで、距離計測を行う対象となる２点（始点及び終点）を指定するものとして説明するが、本発明の実施はこれに限られるものではない。距離計測を行う始点と終点は、被写体を認識することによって、例えば特徴量の大きさが上位の２点等、ユーザの操作入力なしに決定されるものであってもよいし、予め定められた画素位置に固定されているものであってもよい。従って、本発明の実施において、距離計測の対象となる２点の選択には、ユーザの操作入力は必須のものではない。

Ｓ６０１で、制御部１０１は、３次元形状の計測の対象である被写体について、撮像画像と、これと対応する距離情報と、を取得する。より詳しくは、制御部１０１は、撮像部１０４に必要な撮像を行わせ、所定の数の撮像画像（ＲＧＢカラー画像。一対の瞳分割画像を含む）を出力させる。距離情報処理部１０７は、撮像部１０４から出力された一対の瞳分割画像に基づいて、像ずれ量、デフォーカス量、被写体距離を導出し、距離情報を生成する。

Ｓ６０２で、制御部１０１は、距離計測を行う対象となる２点（始点及び終点）及びその経路（測距経路）を決定する操作入力を受け付ける。上述したように、本実施形態のデジタルカメラ１００では、距離計測の対象となる２点の決定は、撮像画像に対するユーザの操作入力（タッチ操作）に基づいて行われるものとして説明する。例えば、図７に示されるように、距離計測を行う対象となる２点及び経路の決定はなされるものであってよい。

図７（ａ）に示されるように、ユーザは表示部１０９に表示されている撮像画像に対して距離計測を行う経路の始点７０１と終点７０２とを、タップするタッチ操作で選択する。このとき、距離計測が行われる経路は、経路７０３となるが、これは実空間における該点と対応する位置の直線的な３次元的距離を計測するものではない。説明を簡単にするため、被写体が直方体７１０であるものとし、撮像方向とは異なる視点からみて、図７（ｂ）に示されるように始点７０１と終点７０２が選択されたとする。このとき、経路７０３は、これらを３次元空間において直線的に結ぶ線分７１１ではなく、該線分７１１をデジタルカメラ１００の方向（撮像方向と正対する方向）に射影した際に、直方体７１０が有する面に現れる線分７１２となる。

本実施形態では、このような２点を指示する操作入力によって、被写体の凹凸形状を反映した距離計測を行う対象の経路を決定するものとして説明するが、本発明の実施はこれに限られるものではない。例えば、図７（ｃ）に示されるように、計測したい経路をスワイプするタッチ操作で指示することにより、該スワイプによる軌跡７２１を経路とし、その端点を始点７２２と終点７２３として決定するものであってもよい。この態様では、被写体の表面形状に沿った計測を所望する経路を、ユーザは直接的に選択することができる。

なお、図７に示した例では、被写体の表面形状に沿った、即ち被写体の凹凸形状を加味した、被写体上の任意の２点間の経路長を計測する方法を説明したが、これに加えて、特許文献１と同様に、単純に２点を結ぶ最短の空間距離を計測可能としてもよい。例えば、いずれの距離を計測するかは、シングルタップで２点が指定された場合には、最短の空間距離を計測し、ダブルタップで２点が指定、またはスワイプにより経路が指定された場合には、被写体の表面形状に沿った経路長を計測するよう構成されていてよい。

制御部１０１は、操作入力を受け付けると、距離計測の対象となる２点の撮像画像上における２次元座標と、該２点の決定に用いられた操作入力方式に応じて定まる、距離計測を行う経路（測距経路）の情報をメモリ１０３に格納すると、処理をＳ６０３に移す。ここで、測距経路は、撮像画像上において、始点と終点の２点を結んで決定される２次元の経路である。

Ｓ６０３で、制御部１０１は、Ｓ６０２において決定した測距経路が、被写体の表面形状を考慮して計測を行う経路であるか否かを判断する。本ステップの判断は、測距経路の決定と同様に、測距経路に係る始点と終の指定に係る操作入力方式がいずれであったかに基づいて行われるものであってよい。制御部１０１は、測距経路が被写体の表面形状を考慮して計測を行う経路であると判断した場合は処理をＳ６０４に移し、被写体の表面形状を考慮しない、即ち単純に２点間を最短でつなぐ経路であると判断した場合は処理をＳ６０５に移す。

Ｓ６０４で、測距部１０８は制御部１０１の制御の下、Ｓ６０２において決定された経路（測距経路）について、被写体の表面形状を考慮した経路長を導出する測距処理を実行する。

〈測距処理〉
ここで、本ステップで実行される測距処理について、図８のフローチャートを参照して詳細を説明する。

Ｓ８０１で、測距部１０８は、撮像画像中の測距経路に含まれる画素を特定する。以下の説明では簡単のため、測距経路は、撮像画像中の垂直または水平方向の１軸に展開されているものとして説明する。即ち、測距経路は、撮像画像中で同一の垂直座標を有する画素群か、同一の水平座標を有する画素群で構成されるものとする。測距部１０８は、測距経路に含まれる全ての画素を特定すると、該画素の情報を例えばメモリ１０３に格納する。

Ｓ８０２で、測距部１０８は、測距経路に含まれる画素のうちの、未選択の１つの画素を対象画素として選択する。ここで、測距部１０８は、測距経路の始点の画素から順に１ずつ対象画素に選択していくものとする。また本実施形態の測距処理では、処理の都合上、対象画素として選択される画素は、測距経路に含まれるお画素のうち、終点の位置に存在する画素以外の画素であるものとする。

Ｓ８０３で、測距部１０８は、対象画素と測距経路において該対象画素の次に存在する画素（次の画素）の２画素について、撮像画像に対応する距離情報の同画素の被写体距離の情報を使用可能であるか否かを判断する。本実施形態のデジタルカメラ１００では、撮像画像に対応して得られる距離情報には、各画素について格納されている被写体距離について、信頼度が含められており、測距部１０８は該信頼度を基準に本ステップの判断を行う。

ここで、被写体距離の信頼度とは、距離情報に格納されている被写体距離の確からしさを評価値を用いて示したパラメータであり、被写体距離の導出過程に基づいて決定されるものとする。本実施形態では、信頼度に係る評価値は、被写体距離の導出に用いられた視差を有する画像群の該当画素の輝度、コントラスト、デフォーカス量に基づいて導出されるものとして以下に例示する。

視差を有する画像群の該当する画素が含まれる領域において、画像信号が明るすぎる、あるいは暗すぎる場合、一致する被写体像を特定するための特徴が現れにくく、像ずれ量の算出精度が低下し得る。故に、輝度に基づく評価値Ｅ_Lは、撮像画像における輝度の中央値をＬ_m、対象画素の輝度値をＬ_pとして、
Ｅ_L＝－｜Ｌ_m－Ｌ_p｜
で導出するものであってよい。このようにすることで、輝度の中央値から乖離した輝度を有する画素について導出された被写体距離ほど、信頼度が低いものとして取り扱うことができる。

また同様に、視差を有する画像群の該当する画素が含まれる領域において、画像信号のコントラストが低いほど、特徴が失われ得るため、相関量Ｃ（ｋ）から最小値を導出する際の精度が低下し得る。故に、撮像画像における対象画素とその周辺画素の輝度の分散を、コントラストに基づく評価値Ｅ_Bとするものであってよい。

さらに、撮像時の合焦度合いが低い領域においては、撮像画像において被写体の像がボケており、デフォーカス量が大きくなり、結果、被写体距離の精度が低下する。このため、デフォーカス量にもとづく評価値Ｅ_Dは、対象画素について導出されたデフォーカス量ＤＥＦを用いて
Ｅ_D＝｜ＤＥＦ｜
で導出するものであってよい。

従って、本実施形態では画素についての信頼度Ｅ_Mを、これら評価値の総和
Ｅ_M＝Ｅ_L＋Ｅ_B＋Ｅ_D
で導出するものとする。しかしながら、信頼度の導出は、輝度、コントラスト及びデフォーカス量の評価値に基づいて定められるものである必要はなく、これらのうちの少なくともいずれかであってもよいし、その他の要素の評価値をさらに加味して定められるものであってもよい。

測距部１０８は、対象画素と次の画素のそれぞれについての信頼度に係る評価値が予め定められた閾値を上回るか否かに基づき、信頼度が高いか低いかを評価し、被写体距離の情報の使用可否を判断する。換言すれば、測距部１０８は、信頼度に係る評価値が閾値を上回る場合には信頼度が高いものとして、画素に対応付けられた被写体距離の情報をそのまま使用可能であると判断する。また測距部１０８は、信頼度に係る評価値が閾値を下回る場合には信頼度が低いものとして、画素に対応付けられた被写体距離の情報をそのままでは使用不可能であると判断する。

従って、測距部１０８は、対象画素と次の画素の双方に対応付けられた被写体距離の情報が使用可能であると判断した場合は処理をＳ８０４に移し、少なくともいずれかの被写体距離の情報が使用不可能であると判断した場合は処理をＳ８０５に移す。

なお、本実施形態では被写体距離の情報の信頼度を、上述したように輝度、コントラスト、デフォーカス量に基づいて導出するものとして説明するが、本発明の実施はこれに限られるものではない。例えば、レーザレンジファインダ等の光学的測距手段を用いて被写体距離の測定を行う態様においては、検出された被写体からの反射波の振幅の減衰率が規定値より高い場合、その距離情報の信頼度の評価値を下げるよう制御するものであってよい。このように、距離情報の取得方法によって、被写体距離の信頼度の評価基準は異なって定められていてよい。

Ｓ８０４で、測距部１０８は、対象画素の被写体距離と次の画素の被写体距離とに基づいて、該画素間における、被写体の表面形状に沿った距離を導出する。例えば、測距経路の各画素の被写体距離が、図９（ａ）に示されるように分布している場合について検討する。図９（ａ）のグラフは、横軸に測距経路に含まれる画素が始点から順に並び、縦軸には、各画素について距離情報から取得した被写体距離を示している。ここで、例えば対象画素が「１」の画素で、次の画素が「２」の画素である場合、図９（ｂ）に示されるように、該２画素間の被写体の表面形状に沿った距離は、グラフ上のこれらと対応する点９０１及び９０２を結ぶ直線９１１の長さとして導出できる。ここで、１つの画素のセンサ面上の座標（ｈ，ｖ）は、該画素の撮像画像上の座標（ｈｂ，ｈｖ）と画素ピッチＰＸを用いて
(ｈ,ｖ)＝（ｈｂ，ｈｖ）・ＰＸ
となり、センサ面上の座標（ｈ，ｖ）がデフォーカスするときのｘｙ平面における座標（Ｈ，Ｖ）は、デフォーカス量ＤＥＦと瞳距離Ｌを用いて、
（Ｈ，Ｖ）＝（ｈ，ｖ）×（１－ＤＥＦ／Ｌ）
で表すことができるため、各画素の３次元空間上のｘｙ成分（ｘ，ｙ）は
（ｘ，ｙ）＝（Ｈ，Ｖ）×｜ｄｉｓｔ／（ｄｉｓｔ＿ｄ＋ＤＥＦ）｜
として導出できる。故に、これに奥行き方向の情報として被写体距離ｚを加味すると、対象画素と次の画素との間の、被写体の表面形状に沿った距離ｄは

として導出することができる。

一方、Ｓ８０３において、少なくともいずれかの被写体距離の情報が使用不可能であると判断した場合、測距部１０８はＳ８０５で、信頼度が低い被写体距離の情報を周辺画素の被写体距離に基づいて補正する。本実施形態では簡単のため、被写体距離の情報の信頼度の低い画素の周辺画素には、被写体距離の情報の信頼度が高い画素が存在しているものとし、測距部１０８は、後者の被写体距離の情報を用いて補正を行うことが可能であるものとする。

ここで、測距経路の各画素の被写体距離が図１０（ａ）に示されるように分布しているが、このうち「３」の画素のみ被写体距離の信頼度が低いとする。対象画素が「２」の画素で、次の画素が「３」の画素である場合、測距部１０８は、さらに次の「４」の画素（さらに次の画素）の被写体距離の情報の信頼度を参照する。このとき、さらに次の画素の被写体距離の情報の信頼度は閾値より高いため、測距部１０８は、対象画素の被写体距離の値とさらに次の画素の被写体距離の値とを用いて、次の画素の被写体距離の値を導出し、これを被写体距離として用いるよう補正する。より詳しくは、制御部１０１は、次の画素に隣接する２画素（対象画素及びさらに次の画素）の被写体距離の平均値を導出し、次の画素の被写体距離の値として設定する。即ち、測距部１０８は、被写体距離の情報の信頼度が低い画素が存在する場合に、直前直後に存在する信頼度が高い画素の被写体距離を用いて、図１０（ｂ）に点１００１で示されるように、被写体距離を補間生成する。このようにすることで、信頼度の低い被写体距離の情報の使用を回避して、被写体の表面形状に沿った距離をより精度高く導出することができる。

Ｓ８０６で、測距部１０８は、Ｓ８０５において補正された対象画素の被写体距離と次の画素の被写体距離とに基づいて、該画素間における、被写体の表面形状に沿った距離を導出する。本ステップで行われる演算は、Ｓ８０４と同様であってよい。

Ｓ８０７で、測距部１０８は、測距経路に含まれる画素のうち、終点の画素以外の全ての画素を対象画素として選択したか否かを判断する。測距部１０８は、終点の画素以外の全ての画素を対象画素として選択したと判断した場合は処理をＳ８０８に移し、選択していないと判断した場合は処理をＳ８０２に戻す。

Ｓ８０８で、測距部１０８は、対象画素として選択した全ての画素について導出した、被写体の表面形状に沿った距離を加算することで、測距経路の全体に係る被写体の表面形状に沿った経路長（計測結果）を導出し、本測距処理を完了する。

一方、計測処理のＳ６０３において、測距経路が被写体の表面形状を考慮しない経路であると判断した場合、測距部１０８はＳ６０５で、制御部１０１の制御の下、測距経路について被写体の表面形状を考慮しない距離（最短距離）を計測結果として導出する。本ステップで行われる演算は、測距処理のＳ８０３で行う処理を、測距経路の始点の画素と終点の画素を対象として行えばよい。

Ｓ６０６で、制御部１０１は、Ｓ６０４の測距処理またはＳ６０５の演算によって導出された計測結果の情報を表示部１０９に表示させ、本計測処理を完了する。

このようにすることで、本実施形態のデジタルカメラ１００によれば、被写体の形状を考慮した表面長さを測定することができる。より詳しくは、デジタルカメラ１００は、ユーザにより設定された測距経路について、被写体の表面形状を考慮した経路長、または表面形状を考慮しない最短の距離を導出することができる。

［変形例１］
上述した実施形態の測距処理では、被写体距離の情報の信頼度の低い画素の周辺画素には、被写体距離の情報の信頼度が高い画素が存在しているものとし、測距部１０８が、後者の被写体距離の情報を用いて補正を行うことが可能であるものとして説明した。一方で、撮像画像における輝度の高い領域やコントラストの低い領域は広範に生じ得るものであるため、信頼度の高い被写体距離が導出されている画素が必ずしも周辺に存在するとは限らない。

従って、少なくともいずれかの被写体距離の情報が使用不可能であると判断した場合、測距部１０８は、信頼度が低い被写体距離の情報を周辺画素の被写体距離に基づいて補正可能か否かを判断するものとしてもよい。補正可能か否かは、例えば該当画素の前後に隣接する２画素に信頼度の高い被写体距離が得られている等、信頼度が低い画素を中心とする所定の画素数の範囲に、信頼度の高い被写体距離が得られている画素が規定数存在するか否かで行われるものあってよい。換言すれば、測距経路において、被写体距離の信頼度が低い画素が所定の画素数続く区間については、補正不可能として判断してもよい。

ここで、図１０に示した態様とは異なり、測距経路の各画素の被写体距離が図１１（ａ）に示されるように分布しているが、このうち「２」、「３」、「４」の画素の被写体距離の信頼度が低い例について説明する。このとき、対象画素が「１」の画素で、次の画素が「２」の画素である場合等、被写体距離の情報の信頼度が低い画素の周囲に、信頼度の高い画素が存在しない場合、好適な補正が不可能となり得る。

このような場合、測距部１０８は、図１１（ｂ）に示されるように、信頼度が低い被写体距離を補正するのではなく、測距経路において、信頼度が高い被写体距離の情報が得られている次の画素を特定し、経路長の導出に用いればよい。即ち、測距経路において、被写体距離の情報の信頼度が低い画素の区間については被写体の表面形状の要素を除外し（平坦であるものとし）、信頼度が高い被写体距離が得られている画素のみで、測距経路の経路帳を導出するものとしてよい。図の例では、「２」の画素から「４」の画素の区間については被写体距離の補正は不可能であるものとし、測距部１０８は、「１」の画素の被写体距離と「５」の画素の被写体距離とに基づいて、「１」の画素から「５」の画素の区間の経路長を導出してもよい。このようにすることで、不確かな被写体の表面形状は部分的に除外することで、被写体の表面形状に沿った経路長が誤差を含んで導出されることを低減することができる。

［変形例２］
上述した実施形態及び変形例１では、測距経路の被写体の表面形状に沿った経路長を、測距経路に含まれる画素に限定して被写体距離を参照して導出するものとして説明したが、本発明の実施はこれに限られるものではない。例えば図１２（ａ）に示されるように、測距経路に近接させて、始点及び終点を所定画素数ずらした座標を始点及び終点とする１以上の予備経路を設け、測距経路を含むこれら経路について導出された経路長の平均値を、計測結果としてもよい。

より詳しくは、図１２（ｂ）に示されるように、撮像画像に測距経路１２０１が始点１２０２及び終点１２０３を基準に設定される場合、予備経路１２０４及び１２０７は、始点及び終点１をｙ軸の正と負の方向に１画素ずつずらして規定されるものでよい。即ち、予備経路１２０４は、始点１２０２からｙ軸の負の方向に１画素ずれた位置にある始点１２０５と、終点１２０３からｙ軸の負の方向に１画素ずれた位置にある終点１２０６によって規定されるものであってよい。また、予備経路１２０７は、始点１２０２からｙ軸の正の方向に１画素ずれた位置にある始点１２０８と、終点１２０３からｙ軸の正の方向に１画素ずれた位置にある終点１２０９によって規定されるものであってよい。

あるいは、図１２（ｃ）に示されるように、始点及び終点１をｘ軸の正と負の方向に１画素ずつずらして規定される、予備経路１２１１及び１２１４を用いるものとしてもよい。即ち、予備経路１２１１は、始点１２０２からｘ軸の負の方向に１画素ずれた位置にある始点１２１２と、終点１２０３からｘ軸の負の方向に１画素ずれた位置にある終点１２０３によって規定されるものであってよい。また、予備経路１２１４は、始点１２０２からｘ軸の正の方向に１画素ずれた位置にある始点１２１５と、終点１２０３からｘ軸の正の方向に１画素ずれた位置にある終点１２１６によって規定されるものであってよい。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ、１０１：制御部、１０２：記録媒体、１０３：メモリ、１０４：撮像部、１０６：画像処理部、１０７：距離情報処理部、１０８：測距部、１０９：表示部、１１０：操作入力部、１２０：撮像光学系

Claims (13)

1. 操作入力を受け付ける操作入力手段と、
   撮像画像について、距離の計測を行う２次元の測距経路を前記操作入力手段により受け付けられた操作入力の軌跡に基づいて決定する決定手段と、
   前記撮像画像について、該撮像画像の各画素の被写体までの被写体距離の情報を含む距離情報を取得する取得手段と、
   前記決定手段により決定された前記測距経路に含まれる前記撮像画像の各画素の被写体距離と、前記撮像画像の撮像条件の情報とに基づいて、前記測距経路に対応する、被写体の表面形状に沿った３次元の経路長を導出する導出手段と、
   を有することを特徴とする３次元測量装置。
2. 操作入力を受け付ける操作入力手段と、
   撮像画像について、距離の計測を行う２次元の測距経路を、前記操作入力手段により受け付けられた当該測距経路の始点及び終点を指示する操作入力に基づいて決定する決定手段と、
   前記撮像画像について、該撮像画像の各画素の被写体までの被写体距離の情報を含む距離情報を取得する取得手段と、
   前記決定手段により決定された前記測距経路に含まれる前記撮像画像の各画素の被写体距離と、前記撮像画像の撮像条件の情報とに基づいて、前記測距経路に対応する、被写体の表面形状に沿った３次元の経路長を導出する導出手段と、
   を有し、
   前記導出手段は、前記始点及び終点を指示するための操作入力がなされた操作入力方式に応じて、前記測距経路の前記経路長を導出するか、該始点及び終点の３次元空間におけるユークリッド距離を導出するかを切り替える
   ことを特徴とする３次元測量装置。
3. 前記導出手段は、前記測距経路の始点から終点の間に含まれる画素を前記始点から順に対象画素として選択し、該対象画素と該対象画素に隣接する前記測距経路における次の画素との被写体距離の差に基づいて該２画素間の被写体の表面形状に沿った距離を導出したものを、前記測距経路について総和することで前記経路長を導出する
   ことを特徴とする請求項１または２に記載の３次元測量装置。
4. 前記距離情報は、前記撮像画像に含まれる被写体の状態に基づく被写体距離の信頼度の情報を含み、
   前記導出手段は、基準の信頼度を満たさない被写体距離の画素が前記測距経路に含まれる場合に、該画素の周辺に存在する前記基準の信頼度を満たす画素の被写体距離に基づいて該画素の被写体距離を補正して、前記経路長を導出する
   ことを特徴とする請求項３に記載の３次元測量装置。
5. 前記導出手段は、前記測距経路において前記基準の信頼度を満たさない画素が所定の画素数続く区間については、該区間の被写体の表面形状は平坦であるものとして前記経路長を導出することを特徴とする請求項４に記載の３次元測量装置。
6. 前記撮像画像の各画素の被写体距離は、同一の被写体を異なる視点で撮像して得られた、一対の視差を有する画像群に基づいて導出されるものであり、
   各画素の被写体距離の信頼度は、前記一対の視差を有する画像群における該画素と対応する画素の輝度、コントラスト及びデフォーカス量の少なくともいずれかに基づいて決定される
   ことを特徴とする請求項４または５に記載の３次元測量装置。
7. 前記撮像画像の各画素の被写体距離は、光学的測距手段により測定されるものであり、
   各画素の被写体距離の信頼度は、前記光学的測距手段による測定の際に検出される反射波の振幅の減衰率に基づいて決定される
   ことを特徴とする請求項４または５に記載の３次元測量装置。
8. 前記決定手段は、前記測距経路に加え、１以上の予備経路を決定し、
   前記導出手段は、前記測距経路と前記１以上の予備経路の各々について導出した前記経路長の平均値を、前記測距経路の経路長として導出する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の３次元測量装置。
9. 操作入力を受け付ける操作入力手段と、
   撮像画像と一対の瞳分割画像とを一時に撮像する撮像手段と、
   前記一対の瞳分割画像に基づいて、前記撮像画像の各画素の被写体までの被写体距離の情報を含む距離情報を生成する生成手段と、
   前記撮像画像について、距離の計測を行う２次元の測距経路を前記操作入力手段により受け付けられた操作入力の軌跡に基づいて決定する決定手段と、
   前記決定手段により決定された前記測距経路に含まれる前記撮像画像の各画素の被写体距離と、前記撮像画像の撮像条件の情報とに基づいて、前記測距経路に対応する被写体の表面形状に沿った３次元の経路長を導出する導出手段と、
   を有することを特徴とする撮像装置。
10. 操作入力を受け付ける操作入力手段と、
    撮像画像と一対の瞳分割画像とを一時に撮像する撮像手段と、
    前記一対の瞳分割画像に基づいて、前記撮像画像の各画素の被写体までの被写体距離の情報を含む距離情報を生成する生成手段と、
    前記撮像画像について、距離の計測を行う２次元の測距経路を、前記操作入力手段により受け付けられた当該測距経路の始点及び終点を指示する操作入力に基づいて決定する決定手段と、
    前記決定手段により決定された前記測距経路に含まれる前記撮像画像の各画素の被写体距離と、前記撮像画像の撮像条件の情報とに基づいて、前記測距経路に対応する被写体の表面形状に沿った３次元の経路長を導出する導出手段と、
    を有し、
    前記導出手段は、前記始点及び終点を指示するための操作入力がなされた操作入力方式に応じて、前記測距経路の前記経路長を導出するか、該始点及び終点の３次元空間におけるユークリッド距離を導出するかを切り替えることを特徴とする撮像装置。
11. 操作入力を受け付ける操作入力工程と、
    撮像画像について、距離の計測を行う２次元の測距経路を前記操作入力工程において受け付けられた操作入力の軌跡に基づいて決定する決定工程と、
    前記撮像画像について、該撮像画像の各画素の被写体までの被写体距離の情報を含む距離情報を取得する取得工程と、
    前記決定工程において決定された前記測距経路に含まれる前記撮像画像の各画素の被写体距離と、前記撮像画像の撮像条件の情報とに基づいて、前記測距経路に対応する被写体の表面形状に沿った３次元の経路長を導出する導出工程と、
    を有することを特徴とする３次元測量装置の制御方法。
12. 操作入力を受け付ける操作入力工程と、
    撮像画像について、距離の計測を行う２次元の測距経路を、前記操作入力工程において受け付けられた当該測距経路の始点及び終点を指示する操作入力に基づいて決定する決定工程と、
    前記撮像画像について、該撮像画像の各画素の被写体までの被写体距離の情報を含む距離情報を取得する取得工程と、
    前記決定工程において決定された前記測距経路に含まれる前記撮像画像の各画素の被写体距離と、前記撮像画像の撮像条件の情報とに基づいて、前記測距経路に対応する被写体の表面形状に沿った３次元の経路長を導出する導出工程と、
    を有し、
    前記導出工程において、前記始点及び終点を指示するための操作入力がなされた操作入力方式に応じて、前記測距経路の前記経路長を導出するか、該始点及び終点の３次元空間におけるユークリッド距離を導出するかが切り替えられることを特徴とする３次元測量装置の制御方法。
13. コンピュータを、請求項１乃至８のいずれか１項に記載の３次元測量装置の各手段として機能させるためのプログラム。

Images