JP7080688B2 - 画像処理装置、撮像装置、画像処理方法、プログラム - Google Patents

Description

本発明は、被写体の画像データおよび被写体の距離分布情報を処理する技術に関する。

距離マップは被写体の距離分布を表す情報であり、距離マップデータを用いて画像を加工して表示することで、ユーザは被写体までの距離感を直感的に把握できる。特許文献１では、合焦状態の被写体の画像領域を強調して表示する、いわゆるピーキングと称される方法が開示されている。撮像信号をモノクロ信号に変換した上で、合焦状態の被写体の画像領域を、被写体までの距離に応じた色で着色する処理が行われる。

特開２００８－１３５８１２号公報

特許文献１に開示された従来技術では、撮像信号がモノクロ信号に変換された時点で元の被写体色を把握することができなくなる。また、カラー撮像信号をそのまま利用する場合、被写体によってはピーキング色と被写体色とが被ることがあり、被写体の距離感を把握することが困難となる。
本発明の目的は、被写体の色の表示に影響を与えずに、被写体の距離感を把握することが可能な画像処理装置を提供することである。

本発明の一実施形態の画像処理装置は、被写体の画像データを取得する第１の取得手段と、前記被写体の距離分布に関連する情報をマップデータとして取得する第２の取得手段と、前記画像データの低周波数成分を抑圧したテクスチャ画像のデータを生成する第１の生成手段と、前記マップデータおよび前記テクスチャ画像のデータから前記被写体の距離分布および輝度を表す第１のデータを生成する第２の生成手段と、を備える。

本発明の画像処理装置によれば、被写体の色の表示に影響を与えずに、被写体の距離感を把握することが可能な画像処理装置を提供することができる。

本発明の実施形態に係る撮像装置の機能構成を示すブロック図である。 本発明の実施形態に係る画像処理部の機能構成を示すブロック図である。 本発明の実施形態に係る低域抑圧フィルタ部の機能構成を示すブロック図である。 第１実施形態に係る画像処理部の動作の説明図である。 第２実施形態に係る撮像部の構成の説明図である。 第２実施形態に係る画面の分割例を示す模式図である。 第２実施形態に係る低域抑圧フィルタ部のローパスフィルタ特性の説明図である。 第２実施形態に係る画像処理部の動作の説明図である。 第３実施形態に係る画像処理部の機能構成を示すブロック図である。

以下に、本発明の好適な実施形態について、図面を参照して詳細に説明する。本発明に係る画像処理装置の一例として、デジタルカメラへの適用例を示す。

［第１実施形態］
図１は、本実施形態の撮像装置１００の機能構成を示すブロック図である。制御部１０１はＣＰＵ（中央演算処理装置）を備え、撮像装置全体を制御する。制御部１０１は、撮像装置１００が備える各構成部の動作プログラムをＲＯＭ（リード・オンリ・メモリ）１０２から読み出し、ＲＡＭ（ランダム・アクセス・メモリ）１０３に展開して実行する。ＲＯＭ１０２は書き換え可能な不揮発性メモリであり、ＣＰＵが実行する動作プログラムに加え、撮像装置１００が備える各構成部の動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は書き換え可能な揮発性メモリであり、撮像装置１００が備える各構成部の動作において出力されたデータの一時的な記憶領域として用いられる。

撮像光学系１０４はレンズや絞り等を備え、被写体からの光を撮像部１０５に結像させる。撮像部１０５はＣＣＤ（電荷結合素子）イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサ等の撮像素子を備える。撮像素子は、撮像光学系１０４により結像された光学像に対して光電変換を行い、アナログ画像信号をＡ／Ｄ（アナログ／デジタル）変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を行い、デジタル画像データをＲＡＭ１０３に出力して記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリング等の様々な画像処理を適用する。記録媒体１０８は、撮像装置１００に着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像データを記録する。画像処理部１０７で処理された画像データや、Ａ／Ｄ変換部１０６によるＡ／Ｄ変換後の画像データ等が、記録画像データとして記録媒体１０８に記録される。表示部１０９は、ＬＣＤ（液晶表示装置）等の表示デバイスを備え、撮像部１０５により取得された撮像画像のスルー表示等を行い、また各種の情報を画面に表示する。

距離マップ取得部１１０は、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式等で被写体の距離分布に関連する情報を距離マップとして取得する。距離マップまたは撮像画像に関連する像ずれ量やデフォーカス量のデータは、被写体の奥行方向における深度情報を有する。以下では、深度情報の分布を表すデータを距離マップデータという。取得された距離マップデータはデジタルデータとしてＲＡＭ１０３に記憶される。距離マップデータの生成方法については任意である。

図２は、画像処理部１０７の構成を説明するための図である。現像部２０１は、Ａ／Ｄ変換部１０６により変換された画像データ２０４を取得し、ホワイトバランス調整、色補間等の処理を施して輝度信号と色差信号に変換する。現像部２０１は、被写体の画像データ２０４の輝度成分（Ｙ）と色成分（Ｃ）を分離するＹＣ分離処理を行い、輝度信号および色差信号を出力する。

低域抑圧フィルタ部２０２は、現像部２０１から輝度信号を取得して後述のフィルタ処理を行い、低周波数成分を抑圧したテクスチャ画像の信号を生成する。低域抑圧フィルタ部２０２は、低周波数成分を抑圧したテクスチャ画像の信号を加算部２０３に出力する。加算部２０３は低域抑圧フィルタ部２０２の出力信号と距離マップ取得部１１０の出力信号２０５を加算し、加算結果を輝度信号２０６として出力する。輝度信号２０６と、現像部２０１の出力する色差出力信号２０７にしたがって、図１の表示部１０９は画面にライブビュー画像をリアルタイムに表示する。

図３は、低域抑圧フィルタ部２０２の構成例を示す図である。水平ローパスフィルタ部（ＨＬＰＦと記す）３０１は、現像部２０１からの輝度信号３０４が入力され、画面の水平方向におけるローパスフィルタリングを行う。垂直ローパスフィルタ部（ＶＬＰＦと記す）３０２は、ＨＬＰＦ３０１の出力信号を取得し、画面の垂直方向におけるローパスフィルタリングを行う。減算部３０３は、輝度信号３０４とＶＬＰＦ３０２の出力信号を取得し、輝度信号３０４からＶＬＰＦ３０２の出力信号を減算する。減算後の信号は、低域抑圧フィルタ部２０２の出力信号３０５となる。

本実施形態において、ＨＬＰＦ３０１およびＶＬＰＦ３０２のフィルタ係数は［１２１］とする。低周波数成分の抑圧方法については、ローパスフィルタを用いる方法に限定されるものではなく、例えばバンドパスフィルタを用いてもよい。

図４は、画像処理部１０７が行う処理について説明する模式図である。画像４０１は、図２の現像部２０１の輝度信号に対応する画像例を示す。画像４０１内に示す被写体４０７から４０９のうち、被写体４０７および４０８は人物であり、被写体４０９は建物である。画像４０１は中央の被写体４０８に焦点が合った状態で撮像された画像であり、被写体４０７は被写体４０８よりも手前側（撮像部側）に位置し、被写体４０９は被写体４０８よりも奥側に位置している。

画像４０２は、図２の低域抑圧フィルタ部２０２によるテクスチャ成分の出力信号に対応する画像である。画像４０３は距離マップデータを表す距離マップ画像である。距離マップ画像は各画素位置に対応する距離情報をもち、距離分布を画像と関連付けて表現した画像である。本実施形態では画像４０３がモノクロ画像であって、手前側（撮像部側）ほど白く、奥側ほど黒いこと表わしている。つまり、撮像装置から被写体までの距離（被写体距離）が小さいほど白くなることを意味する。

画像４０４は、図２の加算部２０３によるテクスチャ距離マップの出力信号に対応する合成画像である。距離マップを表す画像４０３は、例えばＴＯＦ方式でデータが取得される。この場合、被写体表面の質感や凹凸が表現できるほどの分解能は無いため、距離マップ画像は概ね平坦であって、信号が低周波数帯域に集中している。一方、テクスチャ成分を表す画像４０２は低周波数成分が抑圧されているので、テクスチャ距離マップを表す画像４０４の輝度信号の空き帯域を効率的に利用できる。この画像４０４を用いることにより、ユーザは被写体の距離感を直感的に把握しつつ、ライブビュー画像を確認できる。加えて、色差出力信号２０７はライブビュー画像の色差信号として表示画像上に表現されるので、ユーザは被写体画像の色を同時に確認できる。しかし、被写体画像の色が必要無い場合は、色差出力信号２０７を必要とせず、無彩色でライブビュー画像を構成してもよい。

本実施形態によれば、被写体の色と被写体までの距離感とを同時に把握することが可能な画像処理装置を提供できる。尚、表示部１０９の画面にライブビュー画像をリアルタイムに表示する構成例を説明したが、本発明はこれに限定されるものではない。記録媒体１０８に記録されている距離マップ付きの静止画像または動画像のデータを取得して、表示部１０９の画面に画像を表示させる構成にしてもよい。

［第２実施形態］
次に本発明の第２実施形態を説明する。第１実施形態との相違点を説明し、第１実施形態と同様の事項については既に使用した符号または記号を用いることで、それらの詳細な説明を省略する。このような説明の省略の仕方は後述の実施形態でも同じである。

本実施形態においては、瞳分割型撮像素子を用いた撮像面位相差検出方式により、視点の異なる複数の視点画像データを取得して像ずれ量やデフォーカス量を算出する処理を説明する。撮像部１０５は瞳分割型撮像素子を有し、距離マップ取得部１１０は複数の視点画像データを用いて位相差検出の演算を行う。位相差検出の演算結果に基づいて距離マップデータの取得および撮像光学系の焦点調節制御が行われる。

図５は、撮像部１０５が備える撮像素子の画素部の構成を示す模式図である。画素部５０２は、マイクロレンズ５０１と、マイクロレンズ５０１に対応する一対の光電変換部５０３、５０４を備える。図５では多数の画素部５０２が二次元アレイ状に規則的に配列されていることを示している。一対の光電変換部５０３、５０４からそれぞれ、一対の画像としてＡ像、Ｂ像が出力されるものとする。第１の光電変換部５０３は、撮像光学系１０４における第１の瞳部分領域を通過する光束に対する光電変換を行い、第２の光電変換部５０４は、撮像光学系１０４における第２の瞳部分領域を通過する光束に対する光電変換を行う。図５に示す構成により、撮像光学系１０４の異なる瞳部分領域を通過する一対の光束から、一対のＡ像信号およびＢ像信号が取得される。距離マップ取得部１１０は、Ａ像信号とＢ像信号との位相差を検出して距離マップデータを取得する。複数の画像間で対応する着目領域に対して相関演算を行うことにより距離マップデータを取得可能である。本実施形態では、各画素部が２分割された光電変換部を有する例を示すが、分割数が３以上である光電変換部によって、より多くの視点画像データを取得可能である。

着目している微小ブロックにおけるＡ像のデータ系列をＥ（１）～Ｅ（ｍ）と表記し、Ｂ像のデータ系列をＦ（１）～Ｆ（ｍ）と表記する。ｍは着目ブロックのサイズに対応するデータ数を表す。この場合、データ系列Ｅ（１）～Ｅ（ｍ）に対して、データ系列Ｆ（１）～Ｆ（ｍ）を相対的にずらしながら、下記式（１）により、２つのデータ系列間のずらし量ｋにおける相関量Ｃ（ｋ）の演算が行われる。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）－Ｆ（ｎ＋ｋ）｜ ・・・（１）
式（１）において、Σの記号で示す総和の演算はｎについて計算される。このΣ演算においてｎ、ｎ＋ｋの取る範囲は、１～ｍの範囲に限定される。また、ずらし量ｋは整数であり、一対のデータの検出ピッチを単位とした相対的シフト量を表す。

式（１）の演算結果については、一対のデータ系列の相関が高いシフト量において相関量Ｃ（ｋ）が最小になる。Ｃ（ｋ）が最小となるｋを、ｋｊと表記する。下記式（２）から式（４）で示す３点内挿法を用い、連続的な相関量に対する最小値Ｃ（ｘ）を与えるシフト量ｘを算出することができる。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ ・・・（２）
Ｄ＝｛Ｃ（ｋｊ－１）－Ｃ（ｋｊ＋１）｝／２ ・・・（３）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）－Ｃ（ｋｊ），Ｃ（ｋｊ－１）－Ｃ（ｋｊ）｝・・・（４）

式（２）で求めたシフト量ｘから、デフォーカス量（ＤＥＦと記す）を下記式（５）により算出することができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ ・・・（５）
式（５）において、ＰＹは検出ピッチを表し、ＫＸは一対の瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。図６は画面６００の分割例を示す模式図である。画面６００をｍ×ｍ画素のサイズをもつ微小ブロック６０１に分割し、微小ブロックごとにデフォーカス量を算出する処理が実行される。微小ブロックの１辺のサイズを表すｍの値は、例えば４である。本実施形態では、式（５）に示すデフォーカス量ＤＥＦの絶対値｜ＤＥＦ｜が距離マップとして利用される。

画像処理部１０７の構成は、第１実施形態と同様である。低域抑圧フィルタ部２０２の構成は図３に示す通りであるが、本実施形態においては、ＨＬＰＦ３０１およびＶＬＰＦ３０２のカットオフ周波数がナイキスト周波数の１／ｍになるようにフィルタ係数が決定される。本実施形態ではローパスフィルタのカットオフ周波数として、ナイキスト周波数を、着目ブロックのサイズに対応するｍで除算した周波数が決定される。図７を参照して具体的に説明する。

図７は、図３のＨＬＰＦ３０１およびＶＬＰＦ３０２の周波数特性を説明するための図である。横軸はサンプリング周波数で正規化された空間周波数を表し、０．５がナイキスト周波数である。縦軸は周波数がゼロのときの振幅で正規化された信号振幅を表す。ＨＬＰＦ３０１およびＶＬＰＦ３０２のフィルタ係数を［１２２２２２１］とする。この場合、図７に示す周波数特性となり、目標のカットオフ周波数０．５／ｍ＝０．５／４＝０．１２５以上の周波数の信号振幅を十分に減衰させることができる。

本実施形態におけるデフォーカス量の算出単位は、図６に示すように、ｍ×ｍブロックごとになるので、距離マップの占有帯域は低周波数の帯域に集中する。低域抑圧フィルタ部２０２の目標のカットオフ周波数をナイキスト周波数の１／ｍ、つまりナイキスト周波数をｍで除算した周波数とすることで、距離マップとテクスチャ画像との占有帯域の重複を回避できる。

図８は、図１の画像処理部１０７の動作を説明するための図である。符号４０１、４０２、４０７～４０９については、第１実施形態で説明した図４における符号と同じである。距離マップを表す画像８０３は、デフォーカス量がゼロのときに白く、デフォーカス量が大きいほど黒く表現される。例えば、撮像画像において焦点の合っている合焦領域に対応するマップ値を第１の値とし、焦点の合っていない非合焦領域に対応するマップ値を第２の値とする。このとき、第１の値の方が第２の値よりも大きい。マップ値は、撮像画像内で所定の被写体（主被写体）に焦点が合っている合焦領域に対応する距離を基準として、主被写体よりも手前側（撮像部側）または奥側に離れるにつれて単調減少する。つまり、距離マップデータは深度情報に応じたデプス階調のデータであって、焦点の合った被写体位置を基準として当該位置でのマップ値が最大であり、撮像部に近いほど小さく、また撮像部から遠いほど小さい。本実施形態のテクスチャ距離マップを表す合成画像８０４は、デフォーカス量がゼロである領域が白くなって輝度強調されて表示される。よって、焦点合わせ時のピントの視認性を向上させることができる。また、記録媒体１０８に記録済みである距離マップ付きの静止画像や動画像のデータを読み出して表示部１０９の画面に表示させた場合、ユーザは記録画像のピントを確認したうえで再撮影するのに都合が良い。

本実施形態によれば、撮像面位相差検出が可能な撮像素子を用いて、距離マップ取得部１１０により位相差検出の演算を行い、デフォーカスマップを取得して距離分布を表現した画像を表示することができ、ユーザは焦点検出状態を容易に把握できる。

［第２実施形態の変形例］
本発明は、複数の視点画像データに基づく位相差検出により距離マップデータを取得する例に限定されるものではない。本変形例ではＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式による距離マップデータの取得例を説明する。

ＤＦＤ方式で撮像部から被写体までの被写体距離に関連する情報を取得するために、ブラケット撮影が行われる。例えばフォーカスブラケット撮影では、所定の画角で撮像光学系のフォーカス位置を変更しながら連続撮影が行われる。この場合、距離マップ取得部１１０は、フォーカス位置の異なる状態で撮像された複数枚の画像間の相関演算を行い、演算結果に基づいて距離マップデータを取得する。またアパーチャブラケット撮影では、撮像光学系の絞り値を変更しながら連続撮影が行われる。この場合、距離マップ取得部１１０は、絞り値が異なる複数枚の画像間の相関演算を行い、演算結果に基づいて距離マップデータを取得する。各撮影方法は公知であるため、それらの詳細な説明を省略する。

［第３実施形態］
次に本発明の第３実施形態を説明する。図９は、本実施形態の画像処理部１０７の構成を示す図である。本実施形態では図２に示す構成に対し、ルックアップテーブル部９０１、無彩色判定部９０２、第１の選択部９０３および第２の選択部９０４が追加されている。

ルックアップテーブル部９０１は、予めメモリに記憶されているデータを参照し、距離マップデータが表す距離値を色値に変換することにより、着色された距離マップのデータを生成する。ルックアップテーブル部９０１は距離マップ取得部１１０の出力信号２０５を取得し、距離マップデータの距離値に対応した色差信号を第２の選択部９０４に出力する。

無彩色判定部９０２は、現像部２０１から色差信号を取得し、下記式（６）および（７）を用いて、画面ごとに無彩色のシーンであるか否かを判定する。
ＳＡＴ＝√｛（Ｕ／１２８）＾２＋（Ｖ／１２８）＾２｝ ・・・（６）
ＳＵＭ＝ΣＳＡＴ ・・・（７）
式（６）のＵおよびＶは色差信号を表し、符号付き８ビット（－１２８～１２７）とする。式（７）のΣ積算は画面全体にわたってＳＡＴの値が積算されることを表す。無彩色判定部９０２は、ＳＵＭの値が所定の閾値より小さい場合、無彩色のシーンと判定し、論理値Ｔｒｕｅの信号を出力する。また無彩色判定部９０２は、ＳＵＭの値が所定の閾値以上である場合、有彩色のシーンと判定し、論理値Ｆａｌｓｅの信号を出力する。無彩色判定部９０２の判定信号は第１の選択部９０３および第２の選択部９０４にそれぞれ入力される。

第１の選択部９０３には現像部２０１の出力する輝度信号と加算部２０３の出力信号が入力される。第１の選択部９０３は無彩色判定部９０２の判定信号に基づき、論理値Ｔｒｕｅの場合に現像部２０１が出力する輝度信号を選択する。また第１の選択部９０３は無彩色判定部９０２の判定信号に基づき、論理値Ｆａｌｓｅの場合に加算部２０３の出力を選択し、テクスチャ距離マップのデータを出力する。

第２の選択部９０４は無彩色判定部９０２の判定信号に基づき、論理値Ｔｒｕｅの場合にルックアップテーブル部９０１の出力を選択し、色変換によって着色された距離マップに対応する色差信号を出力する。また第２の選択部９０４は無彩色判定部９０２の判定信号に基づき、論理値Ｆａｌｓｅの場合に現像部２０１の出力する色差信号を選択する。

第１の選択部９０３が出力する輝度信号９０５と、第２の選択部９０４が出力する色差信号９０６は、図１の表示部１０９に送られて、ライブビュー画像がリアルタイムに表示される。

無彩色判定部９０２の出力が論理値Ｆａｌｓｅの信号であって有彩色のシーンの場合（第１の表示モード）、第１実施形態と同様のテクスチャ距離マップに対応する信号が出力される。無彩色判定部９０２の出力が論理値Ｔｒｕｅの信号であって無彩色のシーンの場合（第２の表示モード）、特許文献１と同様のピーキング付加画像の信号が出力される。こうすることで、被写体の色を表現する必要が無い場合に距離情報の表現に色情報が使えるようになるので、ユーザは被写体の距離感をより直感的に把握することができる。

本実施形態では、画面ごとに無彩色の判定を行う構成としたが、本発明はこれに限定されるものではない。例えば上記式（６）のＳＵＭの値が所定の閾値を下回った状態の画面が所定の回数で連続した場合に無彩色判定部９０２が論理値Ｔｒｕｅの信号を出力してもよい。こうすることで、頻繁に表示モードが切り替わることによる視認性の低下を抑制できる。また、現時点でどちらの表示モードで表示が行われているのかを、ユーザが分かりやすいように、無彩色判定部９０２の判定結果に対応する指標情報を表示部１０９の画面上に表示させることが望ましい。

本実施形態によれば、無彩色または有彩色のシーン判定を行い、判定結果に応じた表示モードで表示される画像をユーザに提示することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、距離分布をグレースケールで表示する実施形態も本発明の技術的範囲に含まれる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：制御部
１０４：撮像光学系
１０５：撮像部
１０７：画像処理部
１０９：表示部
１１０：距離マップ取得部

Claims (14)

1. 被写体の画像データを取得する第１の取得手段と、
   前記被写体の距離分布に関連する情報をマップデータとして取得する第２の取得手段と、
   前記画像データの低周波数成分を抑圧したテクスチャ画像のデータを生成する第１の生成手段と、
   前記マップデータおよび前記テクスチャ画像のデータから前記被写体の距離分布および輝度を表す第１のデータを生成する第２の生成手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記被写体の画像データに対して輝度成分と色成分との分離を行う分離手段を備え、
   前記第１の生成手段は、前記分離手段により分離された輝度成分から前記テクスチャ画像のデータを生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の生成手段は、前記マップデータと前記テクスチャ画像のデータを加算して前記第１のデータを生成し、前記被写体の画像データから当該被写体の色を表す第２のデータを生成する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１のデータと、前記分離手段により分離された色成分に基づく前記第２のデータにしたがって画像を表示する表示手段を備える
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記被写体を撮像する撮像手段を備え、
   前記表示手段は、前記撮像手段により取得される撮像画像から前記第２の生成手段により生成される前記第１および第２のデータを取得して画像をリアルタイムに表示する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の取得手段は、複数の画像間で対応する着目領域に対して相関演算を行うことにより前記マップデータを取得し、
   前記第１の生成手段は前記低周波数成分を抑圧する処理に用いられるフィルタを備え、前記着目領域のサイズに対応する前記フィルタのカットオフ周波数を決定する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第１の生成手段は、ナイキスト周波数を、前記着目領域のサイズに対応する値で除算することにより前記カットオフ周波数を決定する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記第１の取得手段により取得される画像データが無彩色のデータである場合、前記被写体の画像の輝度成分を有するデータを選択し、前記第１の取得手段により取得される画像データが有彩色のデータである場合、前記第２の生成手段により生成された前記第１のデータを選択する第１の選択手段を備える
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記第２の取得手段によって取得された前記マップデータを着色された画像データに変換する変換手段と、
   前記第１の取得手段により取得される画像データが無彩色のデータである場合、前記着色された画像データを選択し、前記第１の取得手段により取得される画像データが有彩色のデータである場合、前記被写体の画像の色成分を有するデータを選択する第２の選択手段を備える
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記マップデータの画像の輝度は、撮像画像にて焦点の合っている領域に対応する値の方が、前記撮像画像にて焦点の合っていない領域に対応する値よりも大きい
    ことを特徴とする請求項５に記載の画像処理装置。
11. 前記第１の取得手段は、視点が異なる複数の画像データ、または、撮像光学系のフォーカス位置もしくは絞り値が異なる状態で撮像された複数の画像データを取得する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 請求項１乃至１１のいずれか１項に記載の画像処理装置と、
    複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備える撮像素子を備え、
    前記第１の取得手段は、前記撮像素子により複数の画像データを取得する
    ことを特徴とする撮像装置。
13. 被写体の画像データを処理する画像処理装置にて実行される画像処理方法であって、
    前記画像データを取得する第１の取得工程と、
    前記被写体の距離分布に関連する情報をマップデータとして取得する第２の取得工程と、
    前記画像データの低周波数成分を抑圧したテクスチャ画像のデータを生成する第１の生成工程と、
    前記マップデータおよび前記テクスチャ画像のデータから前記被写体の距離分布および輝度を表すデータを生成する第２の生成工程と、を有する
    ことを特徴とする画像処理方法。
14. 請求項１３に記載した画像処理方法の各工程を画像処理装置のコンピュータに実行させる
    ことを特徴とするプログラム。
    
    
    

Images