JP7451120B2 - 画像処理装置および画像処理方法、撮像装置、プログラム - Google Patents

Description

本発明は、画像内に指定された複数の計測点間の距離計測および特定領域の強調表示を行う技術に関する。

ユーザの指定した画像中の計測点間の寸法を計測する技術がある。例えば画像中の被写体領域の寸法を計測する技術では、被写体領域上に寸法計測点が複数指定されると、寸法計測点間の寸法を計測する処理が行われて計測結果が表示される。

特許文献１には、画像による空間パラメータ特定方法、装置および端末機器が開示されている。画像に対してエッジ検出を実行し、指定された寸法計測位置が被写体の両端に対応するエッジであるかを特定することにより、計測位置を調整するか否かを報知する方法が提案されている。

特許第６３９２９９１号公報

特許文献１に記載されている技術では、撮像装置から被写体の両端までの奥行方向の距離が異なっている場合について考慮がなされていない。通常の撮像装置で画像を取得した場合には中心投影となり、画像の奥行方向の距離に依存して撮影倍率が異なる。そのため、撮影された画像中の被写体の大きさは手前側（撮像装置側）の位置と奥側の位置とで異なる。このような撮影条件下で被写体の両端のエッジ間の寸法が計測される場合、被写体の正しい寸法が得られないという課題がある。
本発明は、画像内の被写体領域に指定される複数の計測点に対応する距離を、計測精度に基づいて計測可能な画像処理装置を提供することを目的とする。

本発明の一実施形態の画像処理装置は、撮像素子による撮像画像および前記撮像画像に対応する奥行方向の距離分布に関連する情報を取得する取得手段と、前記撮像画像を表示する制御を行う制御手段と、表示された前記撮像画像にて複数の計測点を指定する指定手段と、前記指定手段により指定された前記複数の計測点および前記距離分布に関連する情報を用いて、前記複数の計測点に対応する距離を決定する決定手段と、を備え、前記制御手段は、撮像時における合焦位置の被写体の距離として設定される奥行方向の基準距離から、前記決定手段の決定する前記距離が基準以上の計測精度で計測できる距離範囲にある被写体に対応する前記撮像画像内の第１の被写体領域と、前記距離範囲にない被写体に対応する前記撮像画像内の第２の被写体領域とを区別して表示する制御を行うことを特徴とする。

本発明の画像処理装置によれば、画像内の被写体領域に指定される複数の計測点に対応する距離を、計測精度に基づいて計測可能な画像処理装置を提供することができる。

実施形態および変形例に係る撮像装置の機能構成を示すブロック図である。 実施形態および変形例に係る撮像素子を説明する図である。 撮像面位相差方式の測距原理を説明する図である。 第１実施形態にて実行される処理を説明するフローチャートである。 寸法導出処理を実行する際の動作を説明する図である。 被写体領域の強調表示方法を説明する図である。 第２実施形態にて実行される処理を説明するフローチャートである。 第２実施形態に係る寸法導出処理を実行する際の動作を説明する図である。 変形例にて実行される処理を説明するフローチャートである。 第３実施形態における被写体領域の強調表示方法を説明する図である。

以下、添付図面を参照して、本発明の実施形態について詳しく説明する。実施形態では、画像処理装置として、被写体の距離分布に関連する深度情報を取得可能なデジタルカメラへの適用例を示す。本発明は、撮像画像および該撮像画像に対応する深度情報に基づいて被写体の寸法を算出することが可能な任意の機器に適用可能である。深度情報は撮像画像の奥行方向の情報であり、深度画像または深度マップは深度情報の分布を表す情報である。深度情報としては、視点の異なる複数の視点画像から算出される像ずれ量マップや、像ずれ量に所定の変換係数を乗算して算出されるデフォーカス量マップ、デフォーカス量を被写体の距離情報に換算した距離マップ等を用いることができる。

［第１実施形態］
図１を参照して、デジタルカメラ１００の構成について説明する。図１は、デジタルカメラ１００の機能構成を示すブロック図である。撮像光学系１０は、デジタルカメラ１００が有するレンズユニット、またはカメラ本体部に装着可能なレンズ装置により構成され、被写体の光学像を撮像素子１１上に形成する。撮像光学系１０は、光軸１０２上に並んだ不図示の複数のレンズで構成され、撮像素子１１から所定距離で離れた位置に射出瞳１０１を有する。なお、本明細書において、光軸１０２と平行な方向をｚ方向（深度方向）と定義する。つまり、深度方向はデジタルカメラ１００の位置を基準として被写体の存在する方向である。また、光軸１０２と直交し、かつ撮像素子１１の水平方向に対して平行な方向をｘ方向と定義し、光軸１０２と直交し、かつ撮像素子１１の垂直方向に対して平行な方向をｙ方向と定義する。

撮像素子１１は、例えばＣＣＤ（電荷結合素子）型イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサである。撮像素子１１は、撮像光学系１０を介して撮像面に形成された被写体像に対する光電変換を行い、被写体像に係る画像信号を出力する。本実施形態の撮像素子１１は、後述するように撮像面位相差方式の測距機能を有しており、撮像画像に加えて、撮像装置から被写体までの距離（被写体距離）を示す距離情報を生成して出力することが可能である。

制御部１２は、ＣＰＵ（中央演算処理装置）やマイクロプロセッサ等を備え、デジタルカメラ１００が備える各構成要素の動作を制御する。例えば、制御部１２は撮像時のオートフォーカス（ＡＦ：自動焦点調節）、フォーカス（合焦）位置の変更、Ｆ値（絞り値）の変更、画像の取り込み等を行う。また制御部１２は画像処理部１３、記憶部１４、入力部１５、表示部１６、通信部１７の制御を行う。

画像処理部１３は、デジタルカメラ１００における各種の画像処理を実行する。画像処理部１３は、画像生成部１３０、深度生成部１３１、表示制御部１３２、位置指定部１３３、寸法決定部１３４を有する。幾何変換部１３６については後述の実施形態で説明する。画像処理部１３は、画像処理の作業領域として用いられるメモリ１３５を有する。画像処理部１３については、論理回路を用いる構成の他、ＣＰＵおよび演算処理プログラムを格納するメモリから構成することができる。

画像生成部１３０は、撮像素子１１から出力された画像信号のノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正等の各種信号処理を行う。画像生成部１３０から出力される撮像画像データはいったんメモリ１３５に記憶される。表示制御部１３２はメモリ１３５から撮像画像データから読み出して表示用データを生成し、表示部１６の画面上に画像が表示される。

深度生成部１３１は、撮像素子１１が有する測距用画素によって得られた信号に基づいて、深度情報の分布を表す深度画像を生成する。深度画像の情報は、各画素の示す値が当該画素に対応する撮像画像の領域に存在する被写体の距離情報を表す、２次元の情報である。

表示制御部１３２は、所定の寸法計測精度を満たす撮像画像中の被写体領域を、被写体の距離情報に基づいて識別可能に表示するための制御を行う。距離情報は、少なくとも深度画像に基づく、図１におけるｚ方向の距離情報または距離範囲の情報である。更にはｘ方向およびｙ方向における距離情報を加えた３次元的な距離情報を使用してもよい。

位置指定部１３３は、被写体の寸法計測を行う際に、使用者が位置指定を行うための処理を行う。使用者が画像における所望の計測位置を少なくとも２点指定した場合の座標情報を取得することができる。

寸法決定部１３４は、使用者が位置指定部１３３で指定した、少なくとも２点間の寸法を計測する。寸法については、画像上での画素単位の寸法、画素サイズから換算された像面での寸法、撮影倍率により換算された物体側での寸法のいずれでもよい。

記憶部１４、入力部１５、表示部１６、通信部１７はいずれもバスに接続されている。記憶部１４は不揮発性の記憶媒体を備える。例えば、撮像画像データ、各構成部の処理過程で生成された中間データ、画像処理部１３やデジタルカメラ１００の動作において参照されるパラメータ等が記憶部１４に記憶される。記憶部１４は、処理の実現にあたり許容される処理性能が担保されるものであればよい。高速な読み書きが可能であって、かつ、大容量の記憶媒体が好ましく、例えば、フラッシュメモリ等が使用される。

入力部１５は操作者の操作入力を検出するデバイスを備えるユーザインタフェース部である。例えば、ダイヤル、ボタン、スイッチ、タッチパネル等により、デジタルカメラ１００に対する情報の入力や設定変更の操作等が検出され、入力部１５は操作入力に対応する信号を制御部１２に対して出力する。

表示部１６は、例えば、液晶ディスプレイや有機ＥＬ（ｅｌｅｃｔｒｏ－ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示デバイスを備える。表示部１６は、撮像画像のスルー表示による撮影時の構図の確認や、各種の設定画面の表示、メッセージ情報の報知等に用いられる。また、タッチパネルを利用する実施形態の場合には、表示機能と入力機能を併せ持つことができる。使用者は表示画面を参照しながら、寸法計測において計測位置の指定操作を行うことができる。

通信部１７は、デジタルカメラ１００と外部装置との間で情報の送受信を行う通信インタフェース部である。通信部１７は、取得された撮像画像データ、深度情報、寸法、座標情報、寸法計測精度等を、外部装置に送信可能である。

次に図２を参照して、撮像素子１１の構成について説明する。図２（Ａ）は画素群の配置を示す模式図であり、図２（Ａ）の紙面に垂直な方向をｚ方向とし、紙面内にて互いに直交する２方向をｘ方向およびｙ方向とする。図２（Ｂ）は画素構成を説明する模式図であり、紙面に垂直な方向をｙ方向とし、図２（Ｂ）の紙面内にて互いに直交する２方向をｘ方向およびｚ方向とする。

図２（Ａ）に示されるように撮像素子１１は、多数の画素部１１０が配列された画素群により構成される。１つの画素部１１０は、異なるカラーフィルタが適用された２行２列の構成を有する。拡大図に示されるように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配置されており、画素部１１０を構成する光電変換素子から、Ｒ、Ｇ、Ｂのいずれかの色情報に対応する画像信号が出力される。なお、図２（Ａ）では左上のＲ、右下のＢ、左下および右上のＧの各カラーフィルタが配置された例を示すが、カラーフィルタの配置はこれに限られない。

撮像素子１１は、撮像面位相差方式の測距機能を有する。図２（Ａ）のＩ－Ｉ^＊線における単位画素の断面図を図２（Ｂ）に示す。単位画素は、マイクロレンズ１１１およびカラーフィルタ１１２を含む導光層１１３と、第１の光電変換部１１５および第２の光電変換部１１６を含む受光層１１４とで構成されている。導光層１１３において、マイクロレンズ１１１は、入射光を第１の光電変換部１１５および第２の光電変換部１１６に効率よく導く。カラーフィルタ１１２は、所定の波長帯域の光を通過させる。カラーフィルタ１１２はＲ、Ｇ、Ｂのいずれかに対応する波長帯域の光のみを通過させて、後段の第１の光電変換部１１５および第２の光電変換部１１６に導く。

受光層１１４には第１の光電変換部１１５と第２の光電変換部１１６が設けられており、受光した光を光電変換してアナログ画像信号をそれぞれ出力する。これら２つの光電変換部から出力された２種類の信号は測距に用いられる。即ち、撮像素子１１にて所定方向（水平方向）に並んだ２つの光電変換部のうち、第１の光電変換部１１５から出力された信号で構成される画像信号をＡ像信号とし、第２の光電変換部１１６から出力された信号で構成される画像信号をＢ像信号とする。Ａ像信号とＢ像信号との位相差から深度情報または距離情報を取得することができる。つまり、第１の光電変換部１１５と第２の光電変換部１１６は、マイクロレンズ１１１を介して入光する光束を、それぞれ部分的に受光する。故に、Ａ像信号およびＢ像信号は、撮像光学系１０の射出瞳１０１の異なる瞳部分領域を通過した光束に係る瞳分割画像の信号である。各画素部において第１の光電変換部１１５と第２の光電変換部１１６がそれぞれ光電変換した画像信号（いわゆる加算画像信号）は撮像画像として用いられる。つまりＡ像信号とＢ像信号を合成した信号は、単位画素が１つの光電変換部のみ有する構成にて当該光電変換部から出力される鑑賞用画像信号と等価である。

本実施形態の撮像素子１１は、鑑賞用画像信号と測距用のＡ像信号およびＢ像信号（瞳分割画像）を出力可能である。撮像素子１１を構成する全ての画素部は複数の光電変換部を備えており、高密度な深度情報を取得可能である。なお、１つの画素に２つの光電変換部が配列された構成を例示したが、これに限られるものではなく、１つの画素に３以上の光電変換部を設けた構成でもよい。

図３を参照して、撮像面位相差方式の測距原理について説明する。第１の光電変換部１１５および第２の光電変換部１１６（瞳分割画像群）の各出力に基づいて、被写体距離を導出することが可能である。図３（Ａ）は、撮像光学系１０の射出瞳１０１と、第１の光電変換部１１５が受光する光束を示す概略図である。図３（Ｂ）は撮像光学系１０の射出瞳１０１と、第２の光電変換部１１６が受光する光束を示す概略図である。図３（Ａ）および（Ｂ）にて、紙面に垂直な方向をｙ方向とし、紙面内にて互いに直交する２方向をｘ方向およびｚ方向とする。

図３（Ａ）および（Ｂ）に示したマイクロレンズ１１１は、射出瞳１０１と受光層１１４とが光学的に共役関係になるように配置されている。撮像光学系１０の射出瞳１０１を通過した光束は、マイクロレンズ１１１により集光されて第１の光電変換部１１５または第２の光電変換部１１６に導かれる。この際、第１の光電変換部１１５と第２の光電変換部１１６はそれぞれ図３（Ａ）および（Ｂ）に示される通り、異なる瞳部分領域３１０，３２０をそれぞれ通過した光を主に受光する。第１の光電変換部１１５は第１の瞳部分領域３１０を通過した光を受光し、第２の光電変換部１１６は第２の瞳部分領域３２０を通過した光を受光する。

撮像素子１１が備える複数の第１の光電変換部１１５は、Ａ像信号に対応する第１の画像信号を出力する。また、撮像素子１１が備える複数の第２の光電変換部１１６は、Ｂ像信号に対応する第２の画像信号を出力する。第１の画像信号からは、第１の瞳部分領域３１０を通過した光が撮像素子１１上に形成する像の強度分布を取得することができる。また、第２の画像信号からは、第２の瞳部分領域３２０を通過した光が撮像素子１１上に形成する像の強度分布を取得することができる。第１の画像信号と第２の画像信号との間の相対的な位置ズレ量（所謂、視差量）は、デフォーカス量に応じた値となる。図３（Ｃ）、（Ｄ）、（Ｅ）を参照して、視差量とデフォーカス量との関係について説明する。

図３（Ｃ）、（Ｄ）、（Ｅ）は、第１の瞳部分領域３１０を通過する第１の光束３１１と、第２の瞳部分領域３２０を通過する第２の光束３２１を示す。図３（Ｃ）は合焦時の状態を示しており、第１の光束３１１と第２の光束３２１が撮像素子１１の受光面上で収束している。このとき、第１の画像信号と第２の画像信号との視差量はゼロである。

図３（Ｄ）は像側でｚ軸（光軸）の負方向（左方向）に焦点を結んだデフォーカス状態を示している。第１の画像信号と第２の画像信号との視差量は負の値である。図３（Ｅ）は、像側でｚ軸の正方向に焦点を結んだデフォーカス状態を示している。第１の画像信号と第２の画像信号との視差量は正の値である。図３（Ｄ）と図３（Ｅ）との比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、撮像光学系の結像関係（幾何光学的関係）に従って位置ズレが生じることが分かる。第１の画像信号と第２の画像信号との位置ズレに相当する視差量は、領域ベースのマッチング法により検出することができる。

図４を参照して、撮像された被写体の寸法を導出する寸法導出処理について説明する。図４（Ａ）は、具体的な処理例を示すフローチャートである。以下に示す処理は、制御部１２が、例えば記憶部１４に記憶されている対応する処理プログラムを読み出し、不図示の揮発性メモリに展開して実行することにより実現できる。寸法導出処理は、例えば撮像装置が寸法測定モードに設定されており、撮像が行われた際に開始される。

Ｓ４０１で制御部１２は、設定された焦点位置、絞り、露光時間等の撮像設定にしたがって撮像処理を実行する。より詳しくは、制御部１２は、撮像素子１１により撮像動作を実施し、取得した撮像画像信号を画像処理部１３に伝送する制御を行う。画像処理されたデータはメモリ１３５に格納される。ここで、撮像画像信号は、撮像素子１１が有する第１の光電変換部１１５のみから出力された信号で構成された画像信号Ｓ１と、第２の光電変換部１１６のみから出力された信号で構成された画像信号Ｓ２とする。

Ｓ４０２で画像処理部１３は、取得された画像信号から鑑賞用画像を生成する。より詳しくは、画像処理部１３にて画像生成部１３０は、まず画像信号Ｓ１と画像信号Ｓ２の各画素の画素値を加算することで、１つのベイヤー配列画像を生成する。画像生成部１３０は、生成したベイヤー配列画像についてＲ、Ｇ、Ｂ各色の画像のデモザイキング処理を行い、鑑賞用画像を生成する。デモザイキング処理は、撮像素子上に配置されたカラーフィルタに応じて行われる処理であり、デモザイキング方法については各種方式が用いられる。この他に画像生成部１３０は、ノイズ除去または低減、輝度信号変換、収差補正、ホワイトバランス調整、色補正等の処理を行う。生成された鑑賞用画像のデータはメモリ１３５に格納される。

Ｓ４０３で画像処理部１３は、取得された画像信号から深度画像を生成する。深度画像については、深度生成部１３１が生成に係る処理を行う。深度画像の生成処理に関して、図４（Ｂ）のフローチャートを用いて後述する。次のＳ４０４で表示制御部１３２は、寸法計測における計測精度を満たす被写体の表示処理を行う。計測対象に係る被写体の表示処理については、図４（Ｃ）のフローチャートを用いて後述する。

Ｓ４０５で位置指定部１３３により、計測点の指定処理が実行される。表示部１６は、寸法計測精度を満たす距離範囲内にある被写体が識別可能なように、鑑賞用画像を表示するので、使用者は所望の計測点を指定することができる。位置指定部１３３は、操作指示によって指定された画素位置の座標値を算出し、座標値を寸法決定部１３４へ送る。

Ｓ４０６で寸法決定部１３４は、Ｓ４０５で指定された計測点間の画像上での距離、すなわち画素単位の距離を算出する。画素単位の距離は、例えば画像上でのユークリッド距離であり、整数値でなくともよい。続いて寸法決定部１３４は、合焦位置の被写体までの距離（被写体距離）と、撮影時の撮像光学系１０の焦点距離から撮影倍率を算出する。撮像素子１１の画素サイズと撮影倍率から、物体側の合焦距離での一画素の占める空間の大きさを算出することができる。寸法決定部１３４は、計測点間の画素単位の距離と一画素の物体側での大きさから、計測点間の物体側での距離、つまり３次元空間内の距離を算出する。算出された距離のデータはメモリ１３５に記憶される。

Ｓ４０７で表示制御部１３２は、Ｓ４０６で算出された距離のデータをメモリ１３５から読み出し、表示部１６の画面に寸法を表示させる制御を行う。Ｓ４０８で寸法決定部１３４は、使用者が計測点の変更を行うかどうかを判断する。計測点の変更については使用者の操作指示に基づいて判断される。計測点の変更を行うことが判断された場合、Ｓ４０５に戻って、Ｓ４０５からＳ４０７の処理を続行する。また、計測点の変更が行われないと判断された場合、Ｓ４０９へ処理を進める。

Ｓ４０９で寸法決定部１３４は、指定された計測点の情報（画像上の座標）と、算出した寸法情報を追加情報として鑑賞用画像データに付加して、記憶部１４に格納する。更に、計測精度の情報を付加することもできる。

図４（Ｂ）を参照して、深度画像生成処理について説明する。Ｓ４０３１で深度生成部１３１は、画像信号Ｓ１および画像信号Ｓ２に対して光量補正処理を行う。撮像光学系１０の周辺画角ではヴィネッティングにより、第１の瞳部分領域３１０と第２の瞳部分領域３２０の形状が異なることに起因して、画像信号Ｓ１と画像信号Ｓ２との間で光量バランスが崩れている。従って、本ステップにおいて、深度生成部１３１は、例えばメモリ１３５に予め格納されている光量補正値を用いて、画像信号Ｓ１と画像信号Ｓ２の光量補正を行う。

Ｓ４０３２で深度生成部１３１は、撮像素子１１における変換時に生じたノイズを低減する処理を行う。具体的には深度生成部１３１は、画像信号Ｓ１と画像信号Ｓ２に対してフィルタ処理を行ってノイズ低減を実現する。一般に、空間周波数が高い周波数領域ほどＳ／Ｎ（信号対ノイズ）比が低くなり、相対的にノイズ成分が多くなる。従って、深度生成部１３１は、空間周波数が高いほど通過率が低減するローパスフィルタを用いて処理を行う。なお、Ｓ４０３１に示す光量補正は、撮像光学系１０の製造誤差等によっては好適な結果とはならない。そのため、深度生成部１３１は、直流成分を遮断し、かつ、高周波数成分の通過率が低いバンドパスフィルタを適用する。

Ｓ４０３３で深度生成部１３１は、画像信号Ｓ１と画像信号Ｓ２に基づいて、Ａ像およびＢ像間の視差量を導出する。具体的には、深度生成部１３１は、画像信号Ｓ１に対応するＡ像にて、代表画素情報に対応した注目点と、該注目点を中心とする照合領域とを設定する。照合領域は、例えば、注目点を中心とした一辺が所定の長さを有する正方領域等の矩形領域である。次に深度生成部１３１は、画像信号Ｓ２に対応するＢ像にて参照点を設定し、該参照点を中心とする参照領域を設定する。参照領域は、上述した照合領域と同一の大きさおよび形状を有する。深度生成部１３１は、参照点を順次移動させながら、画像信号Ｓ１に係る照合領域内に含まれる画像と、画像信号Ｓ２に係る参照領域内に含まれる画像との相関度を算出する。最も相関度が高い参照点が、画像信号Ｓ２における、注目点に対応する対応点として特定される。特定された対応点と注目点との相対的な位置ズレ量が、注目点における視差量に相当する。

深度生成部１３１は、このように注目点を代表画素情報に従って順次変更しながら視差量を算出することで、該代表画素情報によって定められた複数の画素位置における視差量を導出する。本実施形態では簡単のため、鑑賞用画像と同一の解像度で深度情報を得るべく、視差量を計算する画素位置（代表画素情報に含まれる画素群）は、鑑賞用画像と同数になるよう設定されているものとする。なお、相関度の導出方法として、ＮＣＣ、ＳＳＤ、ＳＡＤ等の方法が用いられる。ＮＣＣは“Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ”の略号である。ＳＳＤは“Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ”の略号であり、ＳＡＤは“Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ”の略号である。

算出された視差量（ｄと記す）は、所定の変換係数を用いることで、デフォーカス量に変換される。デフォーカス量は、撮像素子１１から撮像光学系１０の焦点までの距離に相当する。ここで、所定の変換係数をＫと表記し、デフォーカス量をΔＬと表記する。視差量ｄは、下記式（１）によって、デフォーカス量ΔＬに変換される。
ΔＬ＝Ｋ×ｄ 式（１）

さらに、下記式（２）に示す幾何光学におけるレンズの公式を用いて、デフォーカス量ΔＬを、被写体距離に変換することができる。
１／Ａ＋１／Ｂ＝１／Ｆ 式（２）
式（２）中、Ａは物面から撮像光学系１０の主点までの距離（被写体距離）、Ｂは撮像光学系１０の主点から像面までの距離、Ｆは撮像光学系１０の焦点距離を表す。式（２）において、Ｂの値をデフォーカス量ΔＬから導出することができるので、撮像時の焦点距離Ｆの設定に基づいて距離Ａを導出できる。深度生成部１３１は、導出した被写体距離を画素値とする２次元情報を生成し、２次元情報に基づく深度画像のデータをメモリ１３５に記憶する。

図４（Ｃ）を参照して、Ｓ４０４で表示制御部１３２が行う処理、つまり寸法計測における計測精度を満たす被写体の表示に係る処理について説明する。まず、寸法計測精度に関して説明する。中心投影の光学系で撮影された画像中に存在する領域に対応する被写体は、撮像装置からの距離（ｚ方向の距離）に依存して撮影倍率が異なる。結果として、撮像装置から遠くに位置する被写体は、撮像装置の近くに位置する被写体に比べて、画像中では小さい領域として撮影される。この撮影倍率の違いは、同じ被写体であっても被写体中での距離の違いにより発生し、寸法計測の精度に影響を及ぼす。

以上のことから、寸法計測を行う計測点のｚ方向の距離が異なる場合には、撮影倍率が異なり、寸法計測精度が低下することが分かる。従って、撮影倍率による寸法計測精度の低下を抑制し、所望の寸法計測誤差以内で計測を行うためには、計測点を所定のｚ方向の距離範囲に収める必要がある。

ここで、寸法計測対象物の真の寸法をｈと表記し、撮影倍率の変化による誤差をΔｈ［％］と表記する。また被写体の位置、すなわち撮像装置から被写体までの距離をＺと表記し、距離の誤差をΔＺと表記する。このとき、誤差Δｈは下記式（３）で表される。
Δｈ［％］＝（－ΔＺ×１００）／（Ｚ＋ΔＺ） 式（３）

寸法計測精度を、±Δｈ［％］以内に収めるためには、下記式（４）のように寸法計測の基準となる被写体距離Ｚからの誤差ΔＺが、
ΔＺ＝Δｈ×Ｚ／（１００＋Δｈ） 式（４）
以内であることが必要である。

指定された寸法計測精度±Δｈを満たすための距離範囲は、Ｚ＋ΔＺ～Ｚ－ΔＺの範囲となる。それらの値を下記式（５）および（６）に示す。
Ｚ＋ΔＺ＝（１００＋２×Δｈ）Ｚ／（１００＋Δｈ） 式（５）
Ｚ－ΔＺ＝（１００－２×Δｈ）Ｚ／（１００－Δｈ） 式（６）
計測精度Δｈは、予め記憶部１４に記憶された値を読み出すことにより取得される。あるいは使用者が入力部１５を用いて所望の計測精度を入力してもよい。

図４（Ｃ）のＳ４０４１では距離範囲の算出処理が実行される。撮像装置から被写体までの距離Ｚを、撮影時に合焦した被写体までの距離とする。所望の寸法計測精度が与えられると、式（５）および式（６）により所望の寸法計測精度を満たす距離範囲を特定する処理が行われる。距離範囲内にある画像中の被写体領域は、深度画像を用いることで特定される。

続いてＳ４０４２では鑑賞用画像の強調処理が実行される。Ｓ４０２で生成されてメモリ１３５に格納された鑑賞用画像のデータが読み出される。読み出された鑑賞用画像データに対し、Ｓ４０４１で特定された所望の寸法計測精度を満たす距離範囲内の被写体領域を識別可能とする画像処理が行われる。識別可能な表示方法として、寸法計測精度を満たす距離範囲内の被写体領域に関し、例えば特定の一色に置き換えて表示する方法と、特定の色味を帯びるように表示する方法がある。

Ｓ４０４３では表示処理が実行される。表示部１６は、Ｓ４０４２で画像処理された鑑賞用画像を画面上に表示する。使用者は、所望の寸法計測精度を満たす距離範囲内の被写体領域を識別可能となる。図５は、表示部１６の画面上に画像を再生表示させる動作の説明図である。

図５（Ａ）に示す鑑賞用画像５０１では、所望の寸法計測精度を満たす距離範囲内の被写体領域が識別可能に表示される。被写体領域５０４および５０５のうち、被写体領域５０４は色を変更することで識別可能に表示された領域を表している。

図４（Ａ）のＳ４０５で使用者は、表示部１６に表示された鑑賞用画像５０２において計測点を指定する。例えば図５（Ｂ）に示すように、使用者が表示部１６に設けられたタッチパネル上で、寸法計測を行いたい被写体上の始点位置を指定する。点５０６は使用者が指定した始点を示している。続いて図５（Ｃ）に示すように、使用者は鑑賞用画像５０３上で計測の終点５０７を指定する。位置指定部１３３は、使用者の指定した画素位置の座標値を算出し、座標値を寸法決定部１３４へ送る。

計測位置の指定については、画像上の２点を使用者の手指で触れることで選択することもできるが、画像上をなぞることで指定することもできる。画像上をなぞることで指定する方法の場合、使用者がなぞった軌跡を取得し、軌跡に沿った曲線の寸法を計測することができる。

図５（Ｃ）に示すように指定された寸法計測の始点と終点とを結ぶ直線、または使用者がなぞった曲線が鑑賞用画像に重畳表示されて、使用者に提示される。特に、使用者が計測位置をなぞって指定する場合には、始点からの軌跡をリアルタイムで表示する処理が行われる。図５（Ｃ）の矢印５０８は、指定された寸法計測の始点５０６と終点５０７とを直線で結んで表示する例を示す。

奥行方向の基準距離から所望の寸法計測精度を満たす距離範囲内にある被写体領域を識別可能にする表示制御によって、保証される計測精度の領域を使用者が視認可能となる。所望の寸法計測精度を満たす距離範囲とは、寸法決定部１３４が基準以上の計測精度で距離を計測できる距離範囲である。さらに計測点の指定において、位置指定部１３３は識別可能に表示された寸法計測精度を満たす距離範囲内にある被写体領域上の画素のみを選択可能とすることで計測精度を担保することもできる。この時、選択された画素の位置が寸法計測精度を満たす距離範囲外の領域であった場合、表示制御部１３２は、表示部１６に選択不可であることを報知させる表示の制御を行う。

図４（Ａ）のＳ４０６で寸法決定部１３４は、Ｓ４０５で指定された計測点間の画像上での距離、すなわち画素単位の距離を算出する。算出された距離情報はメモリ１３５にいったん格納され、Ｓ４０７で表示制御部１３２は、距離情報をメモリ１３５から読み出して物体側の距離（３次元空間内の距離）に換算し、図５（Ｃ）の数値表現５０９で表示部１６の画面上に表示される。物体側の距離への換算は寸法決定部１３４が行うこともできる。

これまでの説明では、寸法計測精度を満たす距離範囲内の被写体領域を識別可能にする表示方法として、特定の一色に置き換える方法、および特定の色味を帯びるように表示する方法を示した。表示方法としてはこの例に限定されるものではない。図６に別の表示方法を示す。

図６は、表示方法が異なる鑑賞用画像６０１～６０４の例を示している。被写体領域６０５は寸法計測精度を満たす距離範囲内の被写体領域である。被写体領域６０６は寸法計測精度を満たす距離範囲内の被写体以外の被写体領域である。

図６（Ａ）は、被写体領域６０５に対して、色ではなく輝度を変更して表示する方法を適用した例を示す。また、図６（Ｂ）は、被写体領域６０５以外の画像領域の色または輝度を変更して表示する方法を適用した例を示す。

寸法計測では、一般に被写体領域の端から端までの寸法を計測するためにエッジ間の計測が行われる。必ずしも所望の寸法計測精度を満たす距離範囲内に存在する被写体全域に亘って識別可能に表示する必要はない。画像中のエッジ検出を行い、寸法計測精度を満たす距離範囲内の被写体領域に存在するエッジのみを識別可能に表示することができる。図６（Ｃ）は、被写体領域６０５内のエッジを識別可能に強調表示する方法を適用した例を示す。

この他、特定のシンボルを重畳して表示することもできる。図６（Ｄ）は、被写体領域６０５内のエッジにドットを重畳して表示する方法を適用した例を示す。表示方法については、指定された寸法計測精度を満たす距離範囲内の被写体領域を使用者に報知可能であればよく、ここに挙げた以外の方法を用いることが可能である。

本実施形態によれば、設定された寸法計測精度で計測可能な距離範囲にある被写体に対応する画像領域を強調表示することができる。より詳しくは、合焦した距離を基準として、設定された寸法計測精度に基づいて深度画像を利用することで特定の距離範囲に存在する被写体領域が抽出されて、識別可能に表示される。結果として、寸法計測にて使用者が計測点を選択する際に補助を行うことができる。

本実施形態では、撮像素子１１が撮像面位相差方式の光電変換部を有し、鑑賞用画像および深度画像を取得する例を説明した。本発明を実施する上で、深度情報の取得方法はこれに限られるものではない。例えば深度情報は、複数の撮像光学系または撮像装置から得られた複数枚の撮像画像に基づいて取得することができる。あるいは、光照射部と撮像装置を用いたステレオ測距方式や、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式と撮像装置の組み合わせによる方式等を用いて深度情報を取得することができる。

［第２実施形態］
次に本発明の第２実施形態を説明する。第１実施形態では、合焦した距離を基準として、所定の寸法計測精度を満たす距離範囲を算出し、距離範囲内の被写体を識別可能に表示することで計測点の指定の補助を行う態様について説明した。基準となる距離は、合焦位置に基づく距離でなくてもよい。そこで本実施形態では、使用者が指定した計測点に対応する距離を基準距離とする。例えば、使用者は表示部１６に表示された画像上で計測点を指定する。深度画像から、指定された点に対応する距離を取得する処理が行われ、取得された距離が基準距離として設定される。以下、第１実施形態との相違点を説明し、第１実施形態と同様の事項については既に使用済みの符号や記号を用いることで、それらの詳細な説明を省略する。このような説明の省略方法は、後述の実施形態でも同じである。

図７のフローチャートを参照して、本実施形態に係る寸法導出処理に関して説明する。図４（Ａ）との相違点であるＳ７０１からＳ７０４の処理を説明する。Ｓ４０１からＳ４０３の後、Ｓ７０１の処理に進む。

Ｓ７０１で表示制御部１３２は、Ｓ４０２で生成された鑑賞用画像のデータをメモリ１３５から読み出し、表示部１６の画面上に表示させる制御を行う。図８（Ａ）は表示された鑑賞用画像８０１の例を示す。被写体領域８０３および８０４は、デジタルカメラ１００からの距離がそれぞれ異なる被写体に対応する。

Ｓ７０２で位置指定部１３３は、第１の計測点の指定に関する処理を行う。使用者に対し、寸法計測を実行したい基準となる第１の計測点の指定を促す処理が実行される。図８（Ａ）に示すように、使用者は表示部１６に表示された鑑賞用画像８０１において、所望の計測点である第１の計測点８０５を指定する。指定された鑑賞用画像上の計測点８０５の座標に対応する深度画像上の距離を取得する処理が行われる。取得された距離は基準距離としてＳ７０３の処理へ受け渡される。

Ｓ７０３では、第１実施形態における距離範囲の決定方法に加えて、画像平面上（ｘｙ平面）の距離による範囲の限定が行われる。撮像された画像には、撮像光学系１０の歪曲収差によって歪みが生じ得る。歪曲は画角に依存するので、画像平面上の像高によって異なる。歪曲率のデータは、予め像高に依存する関数として記憶部１４に保持されている。このデータを利用して、歪曲によって生じる計測誤差Δｈｘｙ［％］に対応する像高範囲（ｘｙ平面での距離範囲）を決定する処理が実行される。撮影倍率に起因する誤差をΔｈｚと表記すると、最終的に計測誤差がΔｈ［％］以内に収まる領域は、下記式（７）を満たす。
Δｈ≦Δｈｚ＋Δｈｘｙ 式（７）

図４（Ａ）のＳ４０４にて説明した表示方法と同様の方法により、式（７）によって規定される寸法計測精度を満たす被写体領域を識別可能に表示する処理が行われる。例えば図８（Ｂ）に示すように画像８０２が表示部１６の画面上に表示される。使用者が指定した第１の計測点８０５の距離を基準として、設定された寸法計測精度を満たす被写体領域（図８（Ｂ）では右側の花の領域）が色分け等によって識別可能に表示される。被写体領域８０４において、撮影倍率と歪曲の影響が考慮される結果、茎領域８０６は、指定された寸法計測精度を満たしていないことを示している。

Ｓ７０４で位置指定部１３３は、第２の計測点の指定に関する処理を行う。終点となる第２の計測点の指定を使用者に促す処理が実行される。使用者が第２の計測点を指定すると、指定された第２の計測点の座標情報を取得する処理が行われて、Ｓ４０６の処理に移行し、Ｓ４０６、Ｓ４０７、Ｓ４０９の処理が実行される。

本実施形態では、計測の基準となる第１の計測点を使用者が指定した場合、指定された計測点における被写体距離（撮像装置から被写体までの距離）に基づいて寸法計測精度を満たす距離範囲が算出される。したがって、より自由度の高い寸法計測が可能である。また、寸法計測精度を満たす距離範囲の算出において、撮影倍率による影響だけでなく歪曲により生じる誤差をも考慮することで、各方向（ｘ，ｙ，ｚ方向）における距離範囲が規定される。寸法計測精度を満たす距離範囲を複数の方向に拡張することで、寸法計測精度を満たす距離範囲をより高精度に限定することが可能となる。

［第２実施形態の変形例］
図９のフローチャートを参照して、第２実施形態の変形例について説明する。図９ではＳ７０１とＳ７０３との間にＳ９０１の処理が行われ、その後にＳ７０３、Ｓ７０２、Ｓ７０４の処理が行われる。第２実施形態では、指定された第１の計測点の位置を基準位置として、寸法計測精度を満たす距離範囲内の被写体領域が決定されたが、本変形例では基準点の指定処理Ｓ９０１が追加されている。

Ｓ７０１の次にＳ９０１では、使用者により基準点が指定される。指定された基準点の位置に基づいて、Ｓ７０３では、寸法計測精度を満たす距離範囲内の被写体領域が識別可能に表示される。続いて、Ｓ７０２およびＳ７０４で第１の計測点と第２の計測点の指定処理がそれぞれ実行される。その後、寸法計測が実行される（Ｓ４０６）。

［第３実施形態］
図１０を参照して、本発明の第３実施形態を説明する。前記実施形態および変形例では、特定の寸法計測精度を満たす距離範囲の被写体領域のみを識別可能に表示する場合に関して説明した。識別可能に表示される被写体領域を、単一の被写体領域に限定する必要はない。例えば、寸法計測誤差として以下の複数の重複しない範囲に対応する被写体領域を想定する。
・寸法計測誤差が１％未満である、第１の被写体領域。
・寸法計測誤差が１％以上、３％未満である第２の被写体領域。
・寸法計測誤差が３％以上、５％未満である第３の被写体領域。

本実施形態の表示制御部１３２は、同程度の寸法計測精度を満たす複数の被写体領域ごとに識別可能に表示する制御を行う。この場合、それぞれの領域を使用者が個別に識別できるように、例えば異なる色や輝度等で各被写体領域が画面上に表示される。

図１０は、鑑賞用画像１００１にて複数の被写体に対応する被写体領域１００２および１００３が存在する例を示す。被写体領域１００２にて、花弁の端点を計測基準点１００４とする。この場合、計測基準点１００４から被写体領域１００２内の花の領域での寸法計測誤差が１％未満であり、第１の被写体領域に該当する。第１の被写体領域は、例えば輝度を変更して第１の輝度で識別可能に表示される。また、茎領域１００２ａは、計測基準点１００４からの距離が異なり、寸法計測誤差が１％以上である。この領域を、例えば第２の被写体領域とすると、被写体領域１００２（花の領域）とは異なる第２の輝度で識別可能に表示される。

図１０に示す被写体領域１００３は、被写体領域１００２とは異なる花の領域と、その茎領域１００３ａを有する。これらの領域は計測基準点１００４からの距離の違いが大きいので、異なる輝度を用いて区別して表示される。図１０の例で表示制御部１３２は、寸法計測誤差が大きくなるほど、より輝度が低い表示とする制御を行う。

寸法計測誤差が異なる領域に対し、異なる輝度、色、またはシンボル等を用いて表示が行われるので、使用者は各領域を容易に識別することができる。表示制御部１３２は複数の寸法計測誤差に対応した被写体領域の表示制御を行う。その際に使用者は、単一の寸法計測精度に対応する領域の表示を行うか、または複数の寸法計測精度に対応する領域の表示を行うかを随時に切り替え可能である。また、いくつの寸法計測精度の範囲に分離（区分）して表示するかについての設定や、その分離数および値域の入力設定を、使用者が入力部１５を用いて行うことができる。複数の寸法計測精度に対応する各被写体領域の表示については、合焦した距離を基準としてもよいし、前記変形例のように使用者が指定した計測点の位置を基準としてもよい。

本実施形態では、複数の寸法計測精度にそれぞれ対応する複数の被写体領域を区別して表示可能であり、使用者は、より詳細に被写体領域を識別できる。寸法計測精度の範囲を満たす被写体領域を区別する場合、特に計測対象の深度分布の幅が大きい場合等に有効である。

［第４実施形態］
次に本発明の第４実施形態を説明する。前記実施形態において距離情報を取得した場合、測距時の距離分解能は距離によって異なる。撮像装置からの被写体までの距離が遠くなるほど、距離分解能は低下する。測距において距離分解能分の不確定性が生じるので、撮影倍率の不確定性が生じ、算出された距離における寸法計測精度を求めることができる。また、測距誤差を考慮すると距離分解能の不確定性に加え、測距誤差分の不確定性が生じる。これらを考慮したうえで、算出された距離ごとの寸法計測精度を算出することができる。

各距離において算出された寸法計測精度を用いることで、使用者が指定した寸法計測精度を満たす距離分解能を有する距離範囲を特定できる。また、距離分解能に応じて複数の異なる寸法計測精度の距離範囲を特定することもできる。

本実施形態では、深度生成部１３１が深度画像における距離分解能から算出した寸法計測精度を用いて、所定の被写体領域を識別可能に表示可能である。所定の被写体領域とは、寸法計測精度を満たす距離範囲、または寸法計測精度に対応して複数に分割された距離範囲に対応する被写体領域である。

表示制御部１３２は、測距における距離分解能および測距誤差から算出された寸法計測精度を取得し、所定の寸法計測精度を満たす被写体領域を算出して強調表示の制御を行う。本実施形態は、測距方式による寸法計測精度を考慮して寸法計測を行う場合に有効である。

［第５実施形態］
次に本発明の第５実施形態を説明する。本実施形態では、位置指定部１３３で指定された第１の計測点を含む領域に対応する被写体が、略平面形状の被写体である場合に有効な処理に関して説明する。

略平面形状の被写体がカメラと正対して撮影された場合、被写体はその全面がカメラから略等距離となる。前記実施形態の場合、被写体全面の領域が所定の寸法計測精度を満たす被写体領域として表示される。

一方、略平面形状の被写体がカメラと非正対で撮影された場合、指定された第１の計測点における距離に対して、寸法計測精度を満たす距離範囲内の被写体領域のみが識別可能に表示される。すなわち、被写体の一部のみに対し、所定の精度を満たす寸法計測が可能となり、同一被写体における他の被写体領域については寸法計測精度が低下してしまう。

被写体がカメラに対して非正対で撮影された平面であり、当該平面に対する深度画像が取得できる場合には、幾何変換が可能である。つまり、幾何変換により傾いた平面を正対した平面に変換することができる。幾何変換により、カメラからの距離によって大きさが異なって写った平面の被写体に関し、同じ距離の同じ大きさの画像に変換される。例えば、正方形の被写体を非正対で撮影した場合、画像上では正方形ではない（台形など）が、距離情報に基づいて傾きを計算することで正方形に変換することができる。

本実施形態の画像処理装置は幾何変換部１３６（図１参照）を備え、指定された第１の計測点を含む領域に対応する被写体が略平面形状であるかどうかを判定する。被写体が略平面形状であることが判定された場合、幾何変換部１３６は幾何変換により傾きを補正した際に寸法計測精度を満たす領域を算出する。表示制御部１３２は算出された領域を識別可能に表示する制御を行う。この場合、平面被写体の全面に対応する領域が寸法計測精度を満たす領域となり、平面被写体の全面に亘って同等に識別可能な表示が行われる。

被写体が平面形状であることを検出する場合に画像処理装置は、直線検出および消失点検出を実行する。検出された平面と深度画像による平面の双方を利用することで、平面の補正が行われて、最終的な平面（被写体領域）が取得される。

本実施形態では、被写体が略平面形状であって、かつカメラに対して非正対で撮影された画像に対して幾何変換を行うことで、正対した被写体の画像に変換可能である。幾何変換を行うことで、傾きによる倍率変動が補正され、撮像画像における略平面形状の被写体領域が全て寸法計測精度を満たすようになる。その被写体領域が識別可能に表示される。

前記実施形態によれば、画像内の被写体の寸法を計測する際に寸法計測精度に対応する被写体を使用者に報知することができ、寸法計測精度が既知である計測が可能となる。更には、寸法計測精度に対応した被写体領域を識別可能に表示することで、より安定かつ高精度な寸法計測を実現可能であり、使用者の利便性を高めることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ 撮像光学系
１１ 撮像素子
１２ 制御部
１３ 画像処理装置
１３０ 画像生成部
１３１ 深度生成部
１３２ 表示制御部
１３３ 位置指定部
１３４ 寸法決定部
１３６ 幾何変換部

Claims (21)

1. 撮像素子による撮像画像および前記撮像画像に対応する奥行方向の距離分布に関連する情報を取得する取得手段と、
   前記撮像画像を表示する制御を行う制御手段と、
   表示された前記撮像画像にて複数の計測点を指定する指定手段と、
   前記指定手段により指定された前記複数の計測点および前記距離分布に関連する情報を用いて、前記複数の計測点に対応する距離を決定する決定手段と、を備え、
   前記制御手段は、撮像時における合焦位置の被写体の距離として設定される奥行方向の基準距離から、前記決定手段の決定する前記距離が基準以上の計測精度で計測できる距離範囲にある被写体に対応する前記撮像画像内の第１の被写体領域と、前記距離範囲にない被写体に対応する前記撮像画像内の第２の被写体領域とを区別して表示する制御を行う
   ことを特徴とする画像処理装置。
2. 撮像素子による撮像画像および前記撮像画像に対応する奥行方向の距離分布に関連する情報を取得する取得手段と、
   前記撮像画像を表示する制御を行う制御手段と、
   表示された前記撮像画像にて複数の計測点を指定する指定手段と、
   前記指定手段により指定された前記複数の計測点および前記距離分布に関連する情報を用いて、前記複数の計測点に対応する距離を決定する決定手段と、を備え、
   前記制御手段は、前記指定手段により指定された点に対応する、前記距離分布に関連する情報における距離として設定される奥行方向の基準距離から、前記決定手段の決定する前記距離が基準以上の計測精度で計測できる距離範囲にある被写体に対応する前記撮像画像内の第１の被写体領域と、前記距離範囲にない被写体に対応する前記撮像画像内の第２の被写体領域とを区別して表示する制御を行う
   ことを特徴とする画像処理装置。
3. 前記制御手段は、前記計測点に係る計測精度または前記複数の計測点に対応する距離に係る計測精度により前記距離範囲を決定する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記計測精度は、撮影倍率の違いに起因する計測精度、または撮像光学系の歪曲収差に起因する計測精度、または操作手段により指定された計測精度である
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段の決定する前記距離は、前記複数の計測点に対応する３次元空間内の距離である
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、前記第１の被写体領域における前記複数の計測点の間の距離を表示する制御を行う
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記距離範囲は、単一の距離範囲または複数の重複しない距離範囲である
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記制御手段は、前記第１の被写体領域または前記第２の被写体領域に対して色、輝度、およびシンボルのうちの１つ以上を変更する制御を行う
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記制御手段は、複数の前記距離範囲にそれぞれ対応する複数の被写体領域に対して色、輝度、およびシンボルのうち１つの以上を変更する制御を行う
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記制御手段は、前記撮像画像のエッジ検出を行い、前記第１の被写体領域のエッジに対して色、輝度、およびシンボルのうちの１つ以上を変更する制御を行う
    ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
11. 前記制御手段は、前記指定手段によって指定された複数の計測点を結ぶ直線または曲線を前記撮像画像に重畳して表示する制御を行う
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記指定手段により、前記第１の被写体領域における前記計測点の指定が可能である
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記制御手段は、測距における距離分解能および測距誤差から算出された前記計測精度を取得して前記第１の被写体領域を識別可能に表示する制御を行う
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 幾何変換により画像の補正を行う幾何変換手段を備え、
    前記指定手段により指定された前記計測点を含む領域に対応する被写体が平面形状であることが判定された場合、前記幾何変換手段は前記計測精度を満たす領域を算出し、前記制御手段は算出された前記領域を識別可能に表示する制御を行う
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 請求項１乃至１４のいずれか１項に記載の画像処理装置と、
    前記撮像素子と、を備える
    ことを特徴とする撮像装置。
16. 前記撮像素子は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有し、前記複数の光電変換部が出力する視点の異なる複数の画像信号から前記距離分布に関連する情報が取得される
    ことを特徴とする請求項１５に記載の撮像装置。
17. 前記決定手段は、前記撮像画像にて前記指定手段により指定された前記複数の計測点の間の距離を算出し、撮像装置から被写体までの距離および撮像光学系の焦点距離から撮影倍率を算出し、前記撮像素子の画素サイズと前記撮影倍率を用いて前記複数の計測点の間の距離を物体側における距離に変換する
    ことを特徴とする請求項１５または請求項１６に記載の撮像装置。
18. 前記撮像画像にて指定された前記複数の計測点の間の距離を表示する表示手段を備える
    ことを特徴とする請求項１７に記載の撮像装置。
19. 撮像素子による撮像画像および前記撮像画像に対応する奥行方向の距離分布に関連する情報を取得して処理する画像処理装置にて実行される画像処理方法であって、
    表示された前記撮像画像にて複数の計測点を指定する指定工程と、
    指定された前記複数の計測点および前記距離分布に関連する情報を用いて、前記複数の計測点に対応する距離を決定する決定工程と、
    撮像時における合焦位置の被写体の距離として設定される奥行方向の基準距離から、前記決定工程で決定される前記距離が基準以上の計測精度で計測できる距離範囲にある被写体に対応する前記撮像画像内の第１の被写体領域と、前記距離範囲にない被写体に対応する前記撮像画像内の第２の被写体領域とを区別して表示する制御を行う制御工程と、を有する
    ことを特徴とする画像処理方法。
20. 撮像素子による撮像画像および前記撮像画像に対応する奥行方向の距離分布に関連する情報を取得して処理する画像処理装置にて実行される画像処理方法であって、
    表示された前記撮像画像にて複数の計測点を指定する指定工程と、
    指定された前記複数の計測点および前記距離分布に関連する情報を用いて、前記複数の計測点に対応する距離を決定する決定工程と、
    前記指定工程で指定された点に対応する、前記距離分布に関連する情報における距離として設定される奥行方向の基準距離から、前記決定工程で決定される前記距離が基準以上の計測精度で計測できる距離範囲にある被写体に対応する前記撮像画像内の第１の被写体領域と、前記距離範囲にない被写体に対応する前記撮像画像内の第２の被写体領域とを区別して表示する制御を行う制御工程と、を有する
    ことを特徴とする画像処理方法。
21. 請求項１９または請求項２０に記載の画像処理方法の各工程をコンピュータに実行させる
    ことを特徴とするプログラム。
    

Images