JP6949494B2 - 画像処理装置および画像処理方法、撮像装置、プログラム - Google Patents

Description

本発明は、視点の異なる視点画像に基づく奥行感の強調処理技術に関するものである。

画像データの距離情報分布に基づく画像処理には、画像データの奥行感を強調する処理がある。奥行感の強調とは、通常の撮影画像に対して人の知覚特性にうったえる処理を施すことで、ユーザが奥行をより強く感じられるようにすることである。奥行感の強調処理には様々な方法があり、特に距離情報分布を利用した画像処理によって奥行感を強調する方法は下記の特許文献に開示されている。

特許文献１では、距離分布情報の閾値の範囲を距離分布のヒストグラムから決定することで、距離分布情報に基づいた適切な画像処理パラメータを設定可能である。決定された画像処理パラメータと画像データの距離分布情報に基づいて画像処理が行われる。具体的には、画像データの距離情報がより手前であるほどより鮮鋭化処理のパラメータを強くする画像処理を行うことで奥行感の強調処理が実行される。また、特許文献２ではＳＶＭ（サポートベクターマシン）を用いて画像データのシーン検出を行う。シーン検出結果と距離分布情報に基づいて画像データの奥行感の強調処理が実行される。

特開２０１３−１３２０１８号公報 特開２０１３−２３２０６４号公報

特許文献１と特許文献２に開示された方法は、距離分布情報やシーン検出情報によって奥行感の強調処理方法が変更される。そのため、撮影シーンによってはユーザの意図に反した奥行感の強調処理が行われてしまう可能性がある。例えば、特許文献１の方法では、距離分布にのみ着目しているため、そもそも奥行感が無いシーンに対しても奥行感が強調される。また、特許文献２の方法ではシーン検出結果によって奥行感の強調処理を行う際、ＳＶＭのような識別機を用いてシーン検出を行うことから識別機の精度によってはシーン検出結果を誤る可能性がある。また、撮影時にユーザが指定したピント位置等の情報が参照されないため、ユーザが意図的に強調したい奥行を的確に推定することはできない。
本発明の目的は、画像内の被写体の深さ方向（奥行方向）の特徴量を算出して奥行感強調処理を行う画像処理装置および画像処理方法を提供することである。

本発明の一実施形態の装置は、画像に関連する主被写体情報および距離情報を取得する取得手段と、前記距離情報から得られる画像内の前記距離情報の度数を表すヒストグラムに基づいて、前記距離情報を複数のグループに分類する分類手段と、前記分類手段により分類された前記複数のグループそれぞれの前記ヒストグラムにおける度数と、前記主被写体情報および被写界深度情報との関係に対応して、奥行き感の強調処理を前記画像に施す強調処理手段とを備える。

本発明によれば、画像内の被写体の奥行方向の特徴量を算出して奥行感強調処理を行う画像処理装置および画像処理方法を提供することができる。

本発明の実施形態の画像処理装置の構成を示すブロック図である。 本発明の実施形態の処理を説明するフローチャートである。 撮像装置および撮像部の構成を説明する図である。 距離分布生成処理を説明するフローチャートである。 像ずれ量の取得処理を説明する図である。 距離分布のヒストグラムを説明する図である。 奥行特徴の推定処理を説明するフローチャートである。 ヒストグラムを例示する図である。 奥行特徴の推定処理の例を説明する図である。 奥行特徴の推定処理の別例を説明する図である。 奥行感の強調処理を説明するフローチャートである。 画像処理の強度を説明する図である。 複数の奥行感強調方法を選択する処理を説明する図である。 複数の奥行感強調方法を選択する処理例を説明するフローチャートである。 複数の奥行感強調方法に対する重み付け処理のフローチャートである。 第２実施形態におけるヒストグラムおよび重みを例示する図である。 ヒストグラムの相対度数の割合と重みとの関係を説明する図である。 ピント範囲割合と重みとの関係を説明する図である。 第３実施形態における処理を説明する図である。 第３実施形態の処理を説明するフローチャートである。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。図１は、本実施形態の画像処理装置１００の基本構成を示す。画像処理装置１００は、入力画像データおよび被写界深度情報を取得し、画像処理後の出力画像データを生成する。例えば、撮像装置では、撮像素子から入力画像データが取得され、撮像光学系の制御部から被写界深度情報が取得される。本実施形態では、画像処理装置の一例としてのデジタルカメラに本発明を適用した例を説明する。

信頼度情報分布生成部（以下、信頼度生成部という）１０１は、画像処理装置１００の入力画像データから信頼度情報分布を生成し、距離生成部１０２へ供給する。距離情報分布生成部（以下、距離生成部という）１０２は、画像処理装置１００の入力画像データと、信頼度情報分布に基づいて距離情報分布を生成し、ヒストグラム算出部１０３へ供給する。

ヒストグラム算出部１０３は、距離情報分布からヒストグラムを算出し、特徴推定部１０４へ供給する。特徴推定部１０４は、ヒストグラム算出部１０３により算出された距離情報分布のヒストグラムと、画像処理装置１００へ入力された被写界深度情報に基づいて奥行特徴を推定する。奥行特徴の情報は、撮像画像内の複数の被写体の距離関係を統計処理して算出される特徴量を含む情報である。特徴量とは撮像画像内の被写体の深さ方向（奥行方向）の特徴量であり、その詳細については具体例を用いて後述する。奥行特徴推定部（以下、特徴推定部という）１０４は、奥行特徴の推定結果に基づく奥行感強調処理の指示を奥行感強調処理部１０５へ供給する。奥行感強調処理部（以下、強調処理部という）１０５は、特徴推定部１０４からの奥行感強調処理の指示にしたがって奥行感強調処理を実行する。奥行感強調処理は、画像処理装置１００の入力画像データに対して、距離生成部１０２により生成された距離情報に基づいて行われる。強調処理部１０５が奥行感強調処理を施した出力画像は、画像処理装置１００によって画像処理された出力画像となる。

以上のように構成された画像処理装置１００が行う処理について、図２および図３を参照して詳細に説明する。図２は、処理の流れを示すフローチャートである。図３は、深度情報と入力画像データの取得方法を説明する図である。

図２のＳ２０１において、画像処理を行うために必要な情報が取得される。つまり、入力画像データと深度情報が画像処理装置１００へ供給される。図３（Ａ）のブロック図を参照して、デジタルカメラ３００の機能構成を説明する。

システム制御部３０１は、例えばＣＰＵ（中央演算処理装置）を備える。ＣＰＵはデジタルカメラ３００が備える各構成部を制御する動作プログラムをＲＯＭ（リード・オンリ・メモリ）３０２より読み出し、ＲＡＭ（ランダム・アクセス・メモリ）３０３に展開して実行する。これにより、デジタルカメラ３００が備える各部の動作制御が行われる。ＲＯＭ３０２は、書き換え可能な不揮発性メモリであり、動作プログラムに加え、各構成部の動作に必要なパラメータ等を記憶する。例えば、焦点検出等で必要なレンズ情報として、射出瞳距離の情報がＲＯＭ３０２に記憶されている。ＲＡＭ３０３は、書き換え可能な揮発性メモリであり、デジタルカメラ３００が備える各構成部の動作制御において出力されたデータを記憶するための、一時的な記憶領域として用いられる。

光学系３０４は、被写体像を撮像部３０５に結像する撮像光学系である。光学系３０４はレンズと絞りを備える。絞りは光学系３０４の開口径を調節することで撮影時の光量調節を行う。撮像部３０５は、例えばＣＣＤ（電荷結合素子）型イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等の撮像素子を備える。光学系３０４により撮像素子に結像された光学像は光電変換により電気信号に変換される。得られたアナログ画像信号はＡ（アナログ）／Ｄ（デジタル）変換部３０６がＡ／Ｄ変換処理を行い、デジタル画像データがＲＡＭ３０３に記憶される。

画像処理部３０７は、ＲＡＭ３０３に記憶されている画像データを読み出し、ホワイトバランス調整、色補間、縮小／拡大、フィルタリング処理等を行う。画像処理部３０７はさらに距離情報分布、信頼度情報分布の生成等の、様々な画像処理を行う。記録媒体３０８は着脱可能なメモリカード等である。画像処理部３０７で処理された、ＲＡＭ３０３に記憶されている画像データや、Ａ／Ｄ変換部３０６によりＡ／Ｄ変換された画像データ等が記録媒体３０８に記録される。バス３０９は、デジタルカメラ３００の各ブロックの間で信号を送受するために用いられる。

図３（Ｂ）は、撮像部３０５の画素部３１２の配列構成を示す模式図である。図３の紙面に直交する方向をｚ方向とし、ｚ方向に直交する左右方向をｘ方向とし、ｚ方向に直交する上下方向をｙ方向と定義する。図３（Ｃ）は画素部３１２の拡大図である。１つのマイクロレンズに対応する複数の光電変換部により各画素部が構成される。図３では２分割の例を示し、マイクロレンズ３１１と、一対の光電変換部３１３Ａ、３１３Ｂ（以下、瞳分割画素３１３Ａ、３１３Ｂと呼ぶ。）から構成される例である。図３（Ｂ）に示すように撮像部３０５は、多数の画素部３１２が二次元的に規則的に配列されている。本実施形態においては、瞳分割画素３１３Ａで撮像される画像をＡ像とし、瞳分割画素３１３Ｂで撮像される画像をＢ像と定義する。また、Ａ像とＢ像を合成した画像をＡＢ像と定義する。ＡＢ像は撮影時に取得される撮像画像に相当する。

図２のＳ２０１では、画像処理を行うために必要な情報として、Ａ像、Ｂ像の各データが入力画像データとして取得される。そして、距離情報分布および信頼度情報分布の算出処理が実行される。次に、Ｓ２０２で距離のヒストグラムの算出処理が実行され、Ｓ２０３で奥行特徴の推定処理が実行される。Ｓ２０４では奥行感強調処理が実行され、Ｓ２０５で出力画像データが生成される。各処理について、具体例を挙げて以下に説明する。

図４のフローチャートを参照して、Ｓ２０１における距離情報分布の生成処理を説明する。Ｓ３２１にて距離生成部１０２は、入力画像として、一対の画像データ（視点画像データ）を読み込む。ここでは、瞳分割画素３１３Ａで撮像されたＡ像と、瞳分割画素３１３Ｂで撮像されたＢ像を読み込むものとする。Ａ像およびＢ像は、視点の異なる視点画像である。

Ｓ３２２で距離生成部１０２は、Ｓ３２１で読み込んだＡ像とＢ像を微小ブロックに分割する。図５（Ａ）に具体例を示す。左側にＡ像３３１を示し、右側にＢ像３３２を示す。Ａ像３３１とＢ像３３２については、複数の微小ブロックに分割される。微小ブロック３３３、微小ブロック３３４、微小ブロック３３５で示すように、複数の微小ブロックに分割する処理が実行される。分割時の微小ブロックのサイズ、または形状には、制限は無いものとする。また、微小ブロック３３３、微小ブロック３３４に示すように、ある微小ブロックは、近接する他のブロックとの間で領域が重なってもよいものとする。なお、本実施形態では入力画像が有する画素ごとに、微小ブロックの中心の着目画素が設定されるものとする。図５（Ａ）の例で説明すると、着目画素３３６や着目画素３３７はそれぞれ、微小ブロック３３３、微小ブロック３３４の中心に位置する中心画素である。着目画素３３６や着目画素３３７に対して微小ブロック３３３、微小ブロック３３４にそれぞれ示す分割が行われる。また、微小ブロック３３５はＬ字形状のブロックであり、この場合の着目画素は、上下方向に延在する部分と左右方向に延在する部分とが直交する位置に設定される。

図４のＳ３２３では、分割された微小ブロックにおいて相関演算処理が行われ、像ずれ量が算出される。微小ブロックにおける一対の画素データに関し、ｍをデータ数としてＥ（１）〜Ｅ（ｍ）、およびＦ（１）〜Ｆ（ｍ）と一般化して表現する。この場合、相関演算では、第１のデータ系列Ｅ（１）〜Ｅ（ｍ）に対して第２のデータ系列Ｆ（１）〜Ｆ（ｍ）を相対的にずらしながら、下記式（１）により２つのデータ列間のずらし量ｋにおける相関量Ｃ（ｋ）が演算される。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）―Ｆ（ｎ＋ｋ）｜ ・・・（１）

式（１）において、Σ演算はｎについて計算される。Σ演算において、ｎとｎ＋ｋの取る範囲は１〜ｍの範囲に限定される。ずらし量ｋは整数値であり、一対の画像データの検出ピッチを単位とした相対的シフト量である。式（１）の演算結果の例として、図５（Ｂ）のグラフを示す。横軸は像ずれ量を表し、縦軸は相関量Ｃ（ｋ）を表す。一対のデータ系列の相関が高い像ずれ量において、相関量Ｃ（ｋ）の値が最小になる。そして、下記式（２）〜（５）による３点内挿法を用いて、連続的な相関量に対する最小値Ｃ（ｘ）を与える像ずれ量ｘが算出される。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ ・・・（２）
Ｃ（ｘ）＝ Ｃ（ｋｊ）−｜Ｄ｜ ・・・（３）
Ｄ＝{Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）}／２ ・・・（４）
ＳＬＯＰ＝ＭＡＸ{Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）}・・・（５）
ここで、ｋｊは離散的な相関量Ｃ（ｋ）が最小となるｋである。式（２）で求めたシフト量ｘを、一対の瞳分割画像における像ずれ量とする。なお、像ずれ量ｘの単位はｐｉｘｅｌとする。

式（２）で求めた像ずれ量ｘより、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを下記式（６）で求めることができる。
ＤＥＦ＝ ＫＸ ・ＰＹ ・ｘ ・・・（６）
式（６）において、ＰＹは撮像素子の画素ピッチ（撮像素子を構成する画素間距離）である。ＫＸは一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数であり、単位はｍｍ／ｐｉｘｅｌである。なお、一対の測距瞳を通過する光束の重心の開き角の大きさは、レンズの絞り開口の大きさ（Ｆ値）に応じて変化するので、レンズ情報に応じて決定される。この内容について、図５（Ｃ）を用いて説明する。

図５（Ｃ）は、予定結像面に対するデフォーカス量、Ｆ値、像ずれ量の関係を示す模式図である。図５（Ｃ）の左側から、撮像対象の物面３４１、レンズ３４２、撮像素子の予定結像面３４３、像面３４４を示す。予定結像面３４３からデフォーカス量３４５で変位した位置に像面３４４がある。像ずれ量３４６、３４７はＦ値に応じた像ずれ量を示しており、Ｆ値が小さい場合（開放側）の像ずれ量３４６と、Ｆ値が大きい場合（絞り側）の像ずれ量３４７を例示する。デフォーカス位置での像面３４４に対する像ずれ量は、開放側で大きくなり（像ずれ量３４６）、絞り側で小さくなる（像ずれ量３４７）ことがわかる。言い換えれば、同じデフォーカス量であったとしても、像ずれ量はＦ値によって異なるため、像ずれ量からデフォーカス量を算出する際には、Ｆ値に応じたゲイン係数、つまり変換係数ＫＸを乗算することが必要である。なお、本実施形態ではデフォーカス量ＤＥＦを、像面における距離情報とする。

図４のＳ３２４で距離生成部１０２は、分割した全ての微小ブロックについて像ずれ量を算出したか否かを判定する。像ずれ量が算出されていない場合には、Ｓ３２３の処理に戻り、像ずれ量の算出処理を継続する。全ての像ずれ量が算出された場合には処理を終了する。

このように着目画素位置を１画素ずつずらしながら繰り返し計算することで、被写体距離の分布を示す距離情報分布を生成することができる。被写体距離は撮像装置から被写体までの距離情報であり、本実施形態では距離分布に対応するデフォーカスマップ（撮像画像の２次元平面上の分布）が算出される。これに限らず、像ずれ量の分布を表す像ずれマップや、デフォーカス量を撮像光学系や撮像素子の条件に基づいて被写体距離に換算して得られる、被写体距離の分布を表す距離マップを取得することも可能である。
以上により、画像処理を行うために必要な情報として、距離情報分布を取得することができる。

次に深度情報を取得する方法について説明する。取得されたＡ像およびＢ像については式（６）で述べた方法により、デフォーカス量ＤＥＦが算出される。深度情報ＦδはＦ値に応じて異なるため、式（７）を用いて算出される。式（７）は、式（６）をＦ値（Ｆと記す）と撮像素子の画素ピッチＰＹで正規化した式である。
Ｆδ ＝ ＤＥＦ / （Ｆ・ＰＹ） ・・・（７）
式（７）において一般に±１Ｆδ（±１×Ｆδ）以内の範囲であればピントが合って見える範囲となるため、式（７）から深度情報を取得できる。

次に信頼度情報分布の生成方法の一例について説明する。信頼度情報分布は、式（６）を用いて算出された距離情報分布の信頼性を度数で示す分布である。信頼度生成部１０１は、分割された微小ブロックの分散を算出することで、信頼度情報分布を求める。例えば、図５（Ｂ）で説明したように、相関量Ｃが最小になる像ずれ量ｘを算出する場合、画素信号のコントラストが低いとＳＬＯＰが小さく算出される可能性がある。この場合、間違った像ずれ量ｘが算出される可能性が高くなる。本実施形態では分散値に基づいて生成した信頼度情報分布から算出した、像ずれ量ｘの信頼性を評価する。つまり、信頼性の低い像ずれ量を訂正し、その周囲の信頼度の高い距離情報で補完することで、より高精度な距離情報分布を生成することが可能である。

図２のＳ２０２においてヒストグラム算出部１０３は距離のヒストグラムを算出する。ヒストグラムを算出は距離情報分布に基づいて行われる。図４の処理で求めた距離情報分布について、画素ごとに算出した式（６）のデフォーカス量ＤＥＦの値を横軸に設定し、画像内に占める距離情報の相対度数を縦軸に設定して、距離のヒストグラムが生成される。図６に示す具体例を説明する。

図６はヒストグラムの生成方法に関する図である。図６（Ａ）は人物と風景を含んだ画像の例である。被写体４００ａは人物を示し、被写体４０１ａは背景を示している。撮像画像はＡＢ像から生成されるが、Ａ像とＢ像から画像の像ずれ量ｘを求め、式（６）よりデフォーカス量ＤＥＦが算出される。図６（Ｂ）は距離のヒストグラムの例を示す。横軸はデフォーカス量ＤＥＦの値を表し、左側ほど撮影時の撮像装置から近い距離であり、右側になるにつれて撮像装置から遠い距離であることを表わしている。縦軸は画像内に占める距離情報の相対度数を表す。ヒストグラムにおける第１のデータ群４００ｂは、図６（Ａ）における被写体４００ａに対応する距離情報分布を示す。また第２のデータ群４０１ｂは被写体４０１ａに対応する距離情報分布を示す。距離情報からヒストグラムを算出することができる。なお、図６（Ｂ）ではヒストグラムの横軸を離散化した例を示すが、連続量であるデフォーカス量ＤＥＦとして連続的な分布のヒストグラムを用いてもよい。

図２のＳ２０３において特徴推定部１０４は、ヒストグラム算出部１０３が算出したヒストグラムと、深度情報に基づき、奥行特徴の推定処理を行い、奥行感強調処理の指示について判断する。図７のフローチャートを参照して、処理例を説明する

Ｓ５０１にて特徴推定部１０４は、ヒストグラム算出部１０３が算出したヒストグラムを取得する。Ｓ５０２において、式（７）から算出した深度情報が取得される。Ｓ５０３からＳ５０７においては、ヒストグラムと深度情報との関係から奥行特徴の推定処理および奥行感強調処理の指示の決定処理が行われる。図８は、ヒストグラム算出部１０３が算出したヒストグラムの解析を説明する図である。横軸および縦軸については図６（Ｂ）と同じ設定である。奥行感強調処理の判断に使用される相対度数のピークとして、第１のピークである「中ピーク」と、第２のピークである「巨大ピーク」について説明する。

図８のヒストグラム５１０ｂにおいて、第１の閾値５１１ｂと第２の閾値５１２ｂが設定される。第１の閾値５１１ｂをαと表記し、第２の閾値５１２ｂをβと表記し、「α＞β」とする。第１のデータ群５１３ｂは、「中ピーク」を有するデータ群である。第２のデータ群５１４ｂは、「巨大ピーク」を有するデータ群である。

ヒストグラム５１０ｂにおいて、データ群５１４ｂには閾値α以上の相対度数値を有するデータがある。このデータのデフォーカス量に近い範囲では、デフォーカス量が閾値αを超えないデータが存在する。局所的に大きなピークがある場合、本実施形態では、このピークを「巨大ピーク」という。ヒストグラム５１０ｂにおいて、データ群５１４ｂは「巨大ピーク」のデータ群である。また、ヒストグラム５１０ｂにおいて、データ群５１３ｂには閾値α以下で閾値β以上の相対度数値を有するデータがある。つまり、閾値α以下で閾値β以上の相対度数値を有するデータのデフォーカス量に近い範囲では、デフォーカス量が閾値α以下で閾値β以上の相対度数を有するデータが、一定の範囲内に存在する。本実施形態では、中程度のピークを「中ピーク」という。ヒストグラム５１０ｂにおいて、データ群５１３ｂは「中ピーク」のデータ群である。ピント範囲５１５ｂは、取得された深度情報から焦点が合って見える範囲としてヒストグラム５１０ｂ中に併記したものである。本例では、中ピークのデータ群５１３ｂに対応する距離情報、すなわちデフォーカス量ＤＥＦの範囲の被写体に焦点が合っていることを示す。

このように、ヒストグラムの相対度数に閾値を設け、複数の異なる階級をもつグループに分類することが可能である。階級とは、例えば、中ピーク（５１３ｂ）や巨大ピーク（５１４ｂ）により区別される属性である。説明の便宜上、図８では２つの階級を説明したが、３以上の閾値を設定して、閾値により区分される範囲ごとに複数の階級に対応する複数のグループに分類することが可能である。

図７のＳ５０３において、中ピークがヒストグラム中に存在するか否かについて判定処理が実行される。中ピークがヒストグラム中に存在すると判定された場合、Ｓ５０４へ進み、中ピークがヒストグラム中に存在しないと判定された場合にはＳ５０７へ進む。Ｓ５０４は、取得された深度情報から以下の条件を判定する処理である。
（Ｉ）巨大ピークと中ピークがどちらも、所定の範囲に存在すること。
（ＩＩ）巨大ピークと中ピークがどちらも、所定の範囲に存在しないこと。
所定の範囲とは、被写体にピントが合って見える範囲、つまり、±１Ｆδ以内の範囲（閾値範囲）である。この範囲に巨大ピークと中ピークがどちらも存在するか、またはどちらも存在しない場合、Ｓ５０７へ進む。また、所定の範囲に巨大ピークと中ピークがどちらか一方だけ存在する場合、つまり判定条件（Ｉ）および（ＩＩ）を満たさない場合にはＳ５０５へ進む。

Ｓ５０５は、所定の範囲に中ピークが存在するか否かの判定処理である。ピントが合って見える所定の範囲に中ピークが存在すると判定された場合、Ｓ５０６へ進む。また、所定の範囲に中ピークが存在しないと判定された場合にはＳ５０７へ進む。

特徴推定部１０４は、Ｓ５０３からＳ５０５の処理を実行することにより、撮影シーンの奥行特徴を推定する。奥行特徴は、ヒストグラムと主被写体情報、被写界深度情報から推定される。Ｓ５０３からＳ５０５にて説明した中ピークと巨大ピークは、それぞれ主被写体の候補であることを示している。そのヒストグラムを解析することで、主被写体が、どのような距離情報分布を有するかという主被写体情報を得ることができる。また被写界深度情報は、算出された深度情報とヒストグラムから取得可能である。奥行特徴は、撮像画像内の主被写体がどのよう距離関係で存在し、どの程度に分布しているか、および、どのような深度関係になっているかを示す。統計処理された図８のヒストグラム５１０ｂの奥行特徴は、デフォーカス量ＤＥＦの小さい範囲に中ピークが存在し、デフォーカス量ＤＥＦの大きい範囲に巨大ピークが存在していることを示す。ピント範囲５１５ｂ内に中ピークのデータ群が位置することから、中ピークに対応する被写体が主被写体であると推定される。

特徴推定部１０４の推定結果に応じてＳ５０６またはＳ５０７に示す奥行感強調の指示が決定される。Ｓ５０６で特徴推定部１０４は、入力画像データに対して距離情報分布に応じて奥行感強調処理をすると判断し、強調処理部１０５に対して奥行感強調処理を行うように指示する。一方、Ｓ５０７で特徴推定部１０４は、入力画像データに対して奥行感強調処理をしないと判断し、強調処理部１０５に対して奥行感強調処理を行わないように指示する。

図９は、距離情報分布のヒストグラムと深度情報から、奥行感強調処理を行う処理について、具体例を示した図である。図９（Ａ）および（Ｂ）は、ヒストグラムにおいて巨大ピークと中ピークが存在しているときの例を示している。左側に画像例を示し、右側にヒストグラムを示す。

図９（Ａ）では、画像６００ａの画像データから、デフォーカス量ＤＥＦのヒストグラム６０１ａが算出される。ヒストグラム６０１ａにて、中ピークのデータ群６０２ａと、巨大ピークのデータ群６０３ａが存在している。式（７）から深度情報が算出され、ピントが合っている範囲６０４ａに基づいて、ヒストグラム６０１ａのデータと比較する処理が実行される。第１の閾値６０５ａは中ピークに対する閾値を示し、第２の閾値６０６ａは巨大ピークに対する閾値を示す。この場合、範囲６０４ａが中ピークのデータ群６０４ａの範囲と重なっていることが分かる。一方で、範囲６０４ａは巨大ピークのデータ群６０３ａの範囲とは重なっていない。このように、それぞれのピークに対して、ピントが合う範囲と合わない範囲があることによって、観察者は画像に対して奥行感を感じることができる。つまり、画像６００ａのデータは、中ピークの距離情報分布を有する被写体の範囲にピントが合い、それ以外の範囲にはピントが合わないようにユーザが意図的に撮影した画像データであることを意味している。このため、図９（Ａ）に示すヒストグラム６０１ａと深度情報（範囲６０４ａ）との関係の場合、特徴推定部１０４は奥行感強調を行うと判断し、奥行感強調処理の実行を強調処理部１０５に指示する（図７：Ｓ５０６）。

次に、図９（Ｂ）の例を説明する。図９（Ｂ）の画像６００ｂの画像データは、図９（Ａ）と同等の画角で撮影された画像のデータであり、図９（Ａ）と同等の距離情報分布が取得されているとする。画像６００ｂの画像データからデフォーカス量ＤＥＦのヒストグラム６０１ｂが算出される。ヒストグラム６０１ｂには中ピークのデータ群６０２ｂと巨大ピークのデータ群６０３ｂが存在している。式（７）から深度情報が算出され、ピントが合っている範囲６０４ｂに基づいて、ヒストグラム６０１ｂのデータと比較する処理が実行される。第１の閾値６０５ｂは中ピークに対する閾値を示し、第２の閾値６０６ｂは巨大ピークに対する閾値を示す。図９（Ｂ）の場合には図９（Ａ）と比較して、ピントの合う範囲が異なる。つまり、範囲６０４ｂは範囲６０４ａよりも広い。図９（Ａ）では中ピークの範囲にピントの合っている範囲が重なっているが、巨大ピークの範囲にはピントが合っている範囲は重なっていない。これに対し、図９（Ｂ）では中ピーク（データ群６０２ｂ）と巨大ピーク（データ群６０３ｂ）の両方の範囲にピントが合っている範囲６０４ｂが重なっている。ピントの合う範囲６０４ｂが広い場合、画像６００ｂのデータは、この範囲６０４ｂを利用した奥行感の強調がなされないようにユーザが意図的に撮影した画像データであることを意味している。図９（Ｂ）に示すヒストグラム６０１ｂと深度情報（範囲６０４ｂ）との関係の場合、特徴推定部１０４は奥行感強調をしないと判断し、強調処理部１０５に対して奥行感強調処理を行わないように指示する（図７：Ｓ５０７）。

次に図１０（Ａ）の例を説明する。図１０（Ａ）の左側の画像６００ｃは、図１０（Ａ）の右側に示すヒストグラム６０１ｃにおいて巨大ピークが存在せず、中ピークのみを含む画像例である。第１の閾値６０４ｃは中ピークに対する閾値を示し、第２の閾値６０５ｃは巨大ピークに対する閾値を示す。この場合、ピントが合っている範囲６０３ｃは中ピークのデータ群６０２ｃの範囲と重なっていることが分かる。巨大ピークが存在せず、中ピークのみが存在するヒストグラムにおいて、中ピークの範囲と範囲６０３ｃとが重なっている場合、画像６００ｃの画像データは奥行感を強調するようにユーザが意図的に撮影した画像データであることを意味している。図１０（Ａ）に示すヒストグラム６０１ｃと深度情報（範囲６０３ｃ）との関係の場合、特徴推定部１０４は奥行感強調をすると判断し、奥行感強調処理の実行を強調処理部１０５に指示する（図７：Ｓ５０６）。

図１０（Ｂ）の例を説明する。図１０（Ｂ）は左側の画像６００ｄは、図１０（Ｂ）の右側のヒストグラム６０１ｄにおいて中ピークが存在せず、巨大ピークのみを含む画像例である。第１の閾値６０３ｄは中ピークに対する閾値を示し、第２の閾値６０４ｄは巨大ピークに対する閾値を示す。ヒストグラム６０１ｄにおいて巨大ピークのデータ群のみが存在するシーンでは、距離情報分布に基づく奥行感強調処理を行ったとしても、距離差が小さいため、画像データに対して一様な強度の処理となり、奥行感を強調することはできない。そのため、図１０（Ｂ）に示すヒストグラム６０１ｄの場合、深度情報に関わらず、特徴推定部１０４は奥行感強調をしないと判断し、強調処理部１０５に対して奥行感強調処理を行わないように指示する（図７：Ｓ５０７）。

図２のＳ２０４に示す奥行感強調処理を説明する。本実施形態では、奥行感の強調方法の１つとして、アンシャープマスク処理をかける方法について述べる。図１１は奥行感強調処理を説明するフローチャートであり、強調処理部１０５が実行する処理である。

Ｓ７０１は、特徴推定部１０４（図２：Ｓ２０３参照）の指示に従って奥行感強調処理を行うかどうかの判断処理である。強調処理部１０５は奥行感強調処理を行う指示がある場合、Ｓ７０２へ処理を進め、奥行感強調処理を行わない指示がある場合、Ｓ７０３へ処理を進める。Ｓ７０２またはＳ７０３の後、Ｓ７０４に進む。

Ｓ７０２では、奥行感強調を行うための画像処理の強度（以下、強調強度という）のデータが作成される。強調強度は距離情報分布に基づいて作成される。図１２に具体例を示す。図１２（Ａ）は、奥行感強調処理の対象である画像のヒストグラム７１０ｂを示す。図１２（Ｂ）は、ヒストグラム７１０ｂに基づいて決定される、デフォーカス量ＤＥＦに応じた強調強度を示す。横軸はデフォーカス量ＤＥＦを表し、縦軸は強調強度を表す。強調強度は、デフォーカス量ＤＥＦがｍｉｎＤ（７１３ｂ参照）以下の場合に最大値となり、ｍａｘＤ（７１４ｂ参照）以上の場合に最小値となる設定である。ｍｉｎＤからｍａｘＤまでの区間の関係式は式（８）となる。
λ（ｘ,ｙ） = （−α）×｜ＤＥＦ（ｘ,ｙ)｜ ＋ γ ・・・（８）
式（８）において、ｘ,ｙは画像の２次平面上の座標を表わし、λ（ｘ,ｙ）は座標ｘ,ｙにおける強調強度を表す。ＤＥＦ（ｘ,ｙ)は、座標ｘ,ｙにおけるデフォーカス量を表す。ＤＥＦ（ｘ,ｙ)の絶対値に乗算される定数αは、ＤＥＦ（ｘ,ｙ)の強調加減を調整する正の定数である。γは強調強度の最大値であり。デフォーカス量ＤＥＦの絶対値が大きくなるにつれて、強調強度λ（ｘ,ｙ）は小さくなる。式（８）のλを用いることで奥行感強調処理後の画像データＩ^＊(ｘ，ｙ)は、式（９）から算出される。
Ｉ^＊(ｘ，ｙ)＝Ｉ(ｘ，ｙ)＋λ(ｘ，ｙ)×｛Ｉ(ｘ，ｙ)−Ｆ(ｘ，ｙ)｝ ・・・（９）
式（９）において、奥行感強調処理前の画像データをＩ(ｘ，ｙ)とし、画像データＩ(ｘ，ｙ)に対してローパスフィルタ処理を施した後の画像データをＦ(ｘ，ｙ)とする。

上記の方法により、距離情報分布に基づいて、アンシャープマスク処理による奥行感強調処理を行った画像を生成することが可能となる。式（９）を用いることにより、デフォーカス量ＤＥＦ（ｘ,ｙ）が小さい被写体ほど、エッジ（画像輪郭部）が明瞭となり、デフォーカス量ＤＥＦ（ｘ,ｙ）が大きくなるほど、エッジの明瞭さの度合いが減少する。ユーザはエッジの明瞭さの度合いによる奥行感を、より強く感じることになる。

次に、奥行感強調処理の別の方法を説明する。これは、距離情報分布に基づいて、画像データに明暗差をつける処理を施す方法である。画像データの明暗差をつけるための強調強度λ（ｘ,ｙ）は、式（８）を用いて算出される。強調強度λ（ｘ,ｙ）を用いて、明暗差をつける処理による奥行感強調を行った後の画像データＩ^＊(ｘ，ｙ)は式（１０）で表現される。
Ｉ^＊(ｘ，ｙ)＝Ｉ(ｘ，ｙ)＋λ(ｘ，ｙ) ・・・（１０）
この場合、奥行感強調処理後の画像データＩ^＊(ｘ，ｙ)は、奥行感強調処理前の画像Ｉデータ(ｘ，ｙ)と強調強度λ(ｘ，ｙ)との加算結果として算出される。式（１０）に従って奥行感強調を行うことにより、撮影時に、より手前（カメラ側）の被写体ほど明るく、奥側となるほど暗くなる画像が得られる。ユーザは明暗差による奥行感を、より強く感じることになる。

次に、距離情報分布に基づいて、画像データにぼかし処理を施すことにより、奥行感強調処理を行う方法について説明する。
画像データにぼかし処理を施すときの強調強度λ(ｘ，ｙ)は、式（１１）を用いて算出される。
λ(ｘ，ｙ) = α×|ＤＥＦ（ｘ,ｙ)| ・・・（１１）
ぼかし処理における強調強度λ(ｘ，ｙ)の値が大きくなるにつれて、よりぼかす効果が大きくなるように奥行感強調処理が行われる。デフォーカス量ＤＥＦ（ｘ,ｙ）の値がゼロである場合、画素位置（ｘ,ｙ）でのピントが合っていることを意味している。式（１１）は、デフォーカス量ＤＥＦ（ｘ,ｙ）の絶対値が大きくなるに従って、強調強度λ（ｘ,ｙ)が大きくなり、より画像がぼけることを表現している。

強調強度λ（ｘ,ｙ)を用いてぼかし処理を行った場合の、奥行感強調後の画像データＩ^＊(ｘ，ｙ)は式（１２）で表現される。

奥行感強調処理前の画像Ｉ(ｘ＋ｍ，ｙ＋ｎ)の座標値に加減算される変数ｍ、ｎの範囲はいずれも、−λ以上、かつ＋λ以下である。λの自乗による除算と、Σに示す変数ｍ、ｎでの総和を求める演算が行われる。強調強度λ(ｘ，ｙ)に応じてぼかし処理を行う際には、着目画素の周囲の画素の範囲を変更することにより、距離情報分布に応じたぼかし処理が可能である。式（１２）に従って奥行感強調を行うことにより、撮影時にピントが合っている範囲から離れた距離にある被写体の画像が、ぼけのより大きい画像となる。ユーザは、変更されたぼけ感による奥行感を、より強く感じることになる。

図１１のＳ７０３では、奥行感強調処理の強調強度が、距離情報分布に関わらず一定値に作成される。図１２（Ｃ）はＳ７０３における強調強度を例示する。横軸に示すデフォーカス量ＤＥＦに対して、強調強度は一定値である。奥行感強調処理を行わない場合には、強調強度λ（ｘ,ｙ）の値は、奥行感の各強調方法に応じて変更される。例えば、アンシャープマスク処理による奥行感強調処理を実現する式（９）では、λ(ｘ，ｙ)＝０に設定される。よって、画像データＩ^＊(ｘ，ｙ)は式（１３）で表現される。
Ｉ^＊(ｘ，ｙ)＝Ｉ(ｘ，ｙ) ・・・（１３）
すなわち、入力画像データＩ(ｘ，ｙ)と出力画像データＩ^＊(ｘ，ｙ)は同じになる。

図１１のＳ７０４では、Ｓ７０２またはＳ７０３で決定された強調強度に基づいて、奥行感強調処理が実行される。決定された強調強度にしたがって、Ｓ７０３の式（９）、（１０）、（１２）に示す関数から、奥行感強調方法に応じた奥行感強調処理が行われる。奥行感の強調方法として、アンシャープマスクをかける方法、明暗差をつける方法、ぼかし処理をかける方法を説明したが、いずれか１つの方法によって奥行感強調処理が行われる。すなわち、本実施形態では式（９）、（１０）、（１２）、または奥行感の強調処理をしない式（１３）のいずれか１つの方法が選択される。奥行感の強調方法をどれにするかについては、ユーザの操作指示にしたがって任意に選択および決定が可能である。
奥行感強調処理が施された画像データが出力画像データとして生成され（図２：Ｓ２０５）、一連の画像処理を終了する。

本実施形態では、撮像画像に関連する距離情報分布と、主被写体情報および被写界深度情報により推定された画像のシーンの奥行特徴に基づいて、ユーザの意図した奥行感強調処理を行うことが可能である。本実施形態によれば、例えば、ユーザが意図的に強調したい奥行を的確に推定し、撮影シーンに対して適応的に変更される強調強度を用いて奥行感強調処理を行うことができる。

［第２実施形態］
本発明の第２実施形態について説明する。本実施形態では撮影シーンに係る奥行特徴に基づいて、複数の奥行感強調方法を実行する形態を例示する。つまり本実施形態の画像処理装置は、撮影シーンの奥行特徴に基づいて、単一または複数の奥行感強調方法を自動的に選択する。本実施形態および後述の実施形態において第１実施形態と同様の構成部および処理、動作については説明を省略し、主に相違点を説明する。

図１３は複数の奥行感強調方法を自動的に選択する方法について説明する図である。図１３（Ａ）および（Ｂ）は、奥行強調処理方法の判断対象であるヒストグラムを例示する。図１４は、奥行特徴に基づいて複数の奥行強調処理を行う場合のフローチャートである。撮影された画像と対となる距離情報分布のヒストグラムが図１３（Ａ）および（Ｂ）のパターンであった場合に、図１４に示すフローチャートに従って複数の奥行強調処理が実行される。

Ｓ８０１で特徴推定部１０４は、巨大ピークと中ピークの両方がヒストグラム中に存在するかどうかを判定する。図１３（Ａ）は巨大ピークのデータ群１３０１ａと中ピークのデータ群１３０２ａの両方がヒストグラム１３００ａ中に存在する例を示す。図１３（Ｂ）は中ピークのデータ群１３０２ｂだけがヒストグラム１３００ｂ中に存在する例を示す。巨大ピークおよび中ピークがヒストグラム中に存在すると判定された場合、Ｓ８０２へ進む。巨大ピークおよび中ピークがヒストグラム中に存在しないと判定された場合にはＳ８０４へ進む。

Ｓ８０２で特徴推定部１０４は、撮影時のカメラと被写体との距離関係において、奥側のピークを持つ画素の平均輝度と、手前側のピークを持つ画素の平均輝度とを比較する。カメラの位置を基準として、相対的に遠い側が奥側であり、近い側が手前側である。画像を構成する画素の平均輝度は、距離情報分布と対となる画像データに対応する輝度を画素ごとに抽出し、その平均値を算出することで取得される。奥側のピークを持つ画素の平均輝度が、手前側のピークを持つ画素の平均輝度よりも小さい場合、Ｓ８０３へ進む。また、奥側のピークを持つ画素の平均輝度が、手前側のピークを持つ画素の平均輝度以上である場合にはＳ８０４へ進む。

Ｓ８０３で強調処理部１０５は、明暗差に基づく奥行感強調処理を行う。つまり、第１実施形態において、式（８）および（１０）を用いて説明した方法で処理が実行される。Ｓ８０４では、被写界深度内に領域に対応する画像データにアンシャープマスク処理が施される。つまり、焦点が合っている範囲の距離情報を有する領域の画素データに対し、アンシャープマスク処理が行われる。奥行感強調処理は、第１実施形態において式（８）および（９）を用いて説明した方法で行われる。

Ｓ８０５で強調処理部１０５は、被写界深度外の距離情報を有する領域の画素データに対し、ぼかし処理を行う。奥行感強調処理は、第１実施形態において式（１１）および（１２）を用いて説明した方法で行われる。

以上の方法により、強調処理部１０５は特徴推定部１０４の指示にしたがい、シーンの奥行特徴に基づいて複数の奥行感強調処理を実行する。本実施形態において、明暗差をつけて奥行感強調処理を行う方法については、図１４のＳ８０１およびＳ８０２に示す条件を満たす必要がある。例えば手前側にいる被写体が暗く、奥側の被写体が明るい場合を想定する。この場合に明暗差に基づく奥行感強調処理を行うと、手前側の被写体が明るくなり、奥側の被写体が暗くなるように処理されるため、被写体間の明暗差が小さくなる。コントラストの平坦な画像になってしまい、奥行感が強調されない可能性がある。そこで、本実施形態では、図１４のＳ８０１およびＳ８０２に示す条件を満たすことを判定した上で、明暗差に基づく奥行感強調処理が行われる。図１４のＳ８０１およびＳ８０２に示す条件を満たさない場合に、Ｓ８０４とＳ８０５の両方の処理が行われる例を説明したが、Ｓ８０４またはＳ８０５の一方の処理が行われてもよい。

次に、複数の奥行感強調処理が可能である場合に、それぞれの奥行感強調処理の重み付け（係数）を奥行特徴に基づいて決定する処理と、決定された重み付けに応じて奥行感強調処理を行う方法を説明する。

図１５は、複数の奥行感強調処理が可能である場合に、それぞれの奥行感強調処理の重み付けを特徴推定部１０４が奥行特徴に基づいて決定し、強調処理部１０５が奥行感強調を行う処理を示すフローチャートである。Ｓ８１１で特徴推定部１０４は、巨大ピークと中ピークの両方がヒストグラム中に存在するか否かを判定する。巨大ピークと中ピークの両方がヒストグラム中に存在すると判定された場合、Ｓ８１２へ進む。巨大ピークと中ピークの両方がヒストグラム中に存在しないと判定された場合にはＳ８１７へ進む。

Ｓ８１２で特徴推定部１０４は、中ピークと巨大ピークの距離関係を算出する。図１６の具体例を説明する。図１６は巨大ピークと中ピークの両方がヒストグラム中に存在する場合に、中ピークと巨大ピークとの距離関係を２例で示す。左側のヒストグラム１６００ａ中には、巨大ピークのデータ１６０１ａと中ピークのデータ群１６０２ａが存在する。右側のヒストグラム１６００ｂ中には、巨大ピークのデータ１６０１ｂと中ピークのデータ群１６０２ｂが存在する。中ピークの距離の起点は中ピークのデータ群を含む範囲の距離の中央値とする。巨大ピークの距離の起点は巨大ピークのデータの距離そのものである。
巨大ピークの起点をｄ１と表記し、中ピークの距離の起点をｄ２と表記する。中ピークと巨大ピークとの距離ｄは、式（１４）から算出される。
ｄ＝｜ｄ１―ｄ２｜・・・（１４）

図１６にて、左側のヒストグラム１６００ａに示す距離８０１ｅと、右側のヒストグラム１６００ｂに示す距離８０２ｅはいずれも、中ピークと巨大ピークとの距離ｄを示している。左右のヒストグラム１６００ａ、１６００ｂの各横軸のレンジが同じ場合、距離８０２ｅに対して距離８０１ｅの方が長いことがわかる。

図１５のＳ８１３で特徴推定部１０４は、Ｓ８１２で算出した中ピークと巨大ピークとの距離ｄに基づいて奥行強調処理ごとの重み（重み付け係数）を算出する。本実施形態の奥行強調処理は、明暗差による奥行感強調処理、アンシャープマスク処理による奥行感強調処理、ぼかし処理による奥行感強調処理とする。
中ピークと巨大ピークとの距離関係に基づく強調処理の重みを、各奥行感強調処理に対して以下のように表記する。
・明暗差による奥行感強調処理の重みＧｌａ
・アンシャープマスク処理による奥行感強調処理の重みＧｌｂ
・ぼかし処理による奥行感強調処理の重みＧｌｃ。
このとき、各重みは式（１５）の関係式が成り立つように設定される。
Ｇｌａ ＋ Ｇｌｂ ＋ Ｇｌｃ ＝ １ ・・・（１５）
さらに本実施形態では式（１６）の関係が成り立つように設定される。
Ｇｌｂ ＝ Ｇｌｃ ・・・（１６）
式（１６）に示す設定により、Ｇｌａを距離ｄに基づいて算出することで、式（１５）の関係式から各奥行感強調処理の重みを算出することが可能である。

図１６（Ｂ）は、距離ｄと重みＧｌａとの関係を例示する。横軸は距離ｄを表わし、縦軸は重みＧｌａを表わす。重みＧｌａの最小値Ｍｉｎと最大値Ｍａｘとの間にある区間では、距離ｄの値が大きくなるのに比例して、線部８０１ｆに示す重み値が大きくなるように設定される。重みＧｌａがとりうる値の範囲については閾値を設けることで、距離ｄが第１の閾値以下では重みＧｌａが最小値Ｍｉｎ（８０２ｆ参照）となり、距離ｄが第２の閾値以上では重みＧｌａが最大値Ｍａｘ（８０３ｆ参照）となる。図１６（Ｂ）から重みＧｌａを算出し、さらに重みＧｌｂ、重みＧｌｂを算出することで、中ピークと巨大ピークとの距離関係に基づいた各強調処理の重みを算出できる。

Ｓ８１４で特徴推定部１０４は、中ピークと巨大ピークの相対度数の割合を算出する。図１７（Ａ）を参照して具体例を説明する。図１７（Ａ）は、巨大ピークと中ピークの両方がヒストグラム中に存在する場合に、中ピークと巨大ピークの相対度数の割合を説明する図である。左側のヒストグラム１７００ａでは、中ピークのデータ群８０１ｇと巨大ピークのデータ群８０２ｇの相対度数の割合は、割合８０３ｇと表現される。この場合、中ピークのデータ群８０１ｇよりも巨大ピークのデータ群８０２ｇの方が、相対度数の割合が大きい。また右側のヒストグラム１７００ｂでは、中ピークのデータ群８０４ｇと巨大ピークのデータ群８０５ｇの相対度数の割合は、割合８０６ｇのように表現される。左右のヒストグラム１７００ａと１７００ｂを比較すると、巨大ピークの相対度数は同じであるが、中ピークの相対度数の割合は、中ピークのデータ群８０１ｇに対して中ピークのデータ群８０４ｇの方が大きいことが分かる。

中ピークのデータ群（ｎ個のデータ）に含まれる各相対度数をｍ１，ｍ２，ｍ３，・・・，ｍｎと表記し、その総和をｍと表記する。また、巨大ピークのデータ群（ｌ個のデータ）に含まれる各相対度数をｈ１，ｈ２，ｈ３，・・・，ｈｌと表記し、その総和をｈと表記する。中ピークおよび巨大ピークの相対度数に対して占める中ピークの相対度数の割合をＧｒと表記すると、式（１７）により算出できる。
Ｇｒ ＝ ｍ/（ｍ＋ｈ） ・・・（１７）

Ｓ８１５で特徴推定部１０４は、中ピークと巨大ピークの相対度数の割合に基づいた重みを算出する。中ピークと巨大ピークの相対度数の割合に基づいた重みを、各奥行感強調処理に対して以下にように表記する。
・明暗差による奥行感強調処理の重みＧｒａ
・アンシャープマスク処理による奥行感強調処理の重みＧｒｂ
・ぼかし処理による奥行感強調処理の重みＧｒｃ。
ただし、本実施形態では、中ピークと巨大ピークの相対度数の割合に基づいた重みについては明暗差による奥行感強調処理の重みに対して影響を与えないものとする。つまり、
Ｇｒａ ＝ ０ ・・・（１８）
とする。
また、
Ｇｒａ ＋ Ｇｒｂ ＋ Ｇｒｃ ＝ １ ・・・（１９）
の関係が成り立つとする。よって、式（１８）から、
Ｇｒｂ ＋ Ｇｒｃ ＝ １ ・・・（２０）
とすることができる。

図１７（Ｂ）は、Ｓ８１４で算出された中ピークの相対度数の割合Ｇｒとアンシャープマスク処理による奥行感強調処理の重みＧｒｂの関係を示す。横軸は割合Ｇｒを表わし、縦軸は重みＧｒｂを表わす。重みＧｒｂの最小値Ｍｉｎと最大値Ｍａｘとの間にある区間では、中ピークの相対度数の割合Ｇｒの値が大きくなるのに比例して、線部８０１ｈに示す重み値が大きくなるように設定される。重みＧｒｂがとりうる値の範囲については閾値を設けることで、割合Ｇｒが第１の閾値以下では重みＧｒｂが最小値Ｍｉｎ（８０２ｈ参照）となり、割合Ｇｒが第２の閾値以上では重みＧｒｂが最大値Ｍａｘ（８０３ｈ参照）となる。図１７（Ｂ）から重みＧｒｂを算出し、式（２０）より重みＧｒｃを算出することで、中ピークと巨大ピークの相対度数の割合に基づいた各強調処理の重みを算出することができる。

Ｓ８１６で特徴推定部１０４は、Ｓ８１２からＳ８１５で算出した中ピークと巨大ピークの距離関係に基づいた重みと、中ピークと巨大ピークの相対度数の割合に基づいた重みから各奥行感強調処理の最終的な重みを算出する。各奥行感強調処理の最終的な重みを、以下のように表記する。
・明暗差による奥行感強調処理の重みＧａ
・アンシャープマスク処理による奥行感強調処理の重みＧｂ
・ぼかし処理による奥行感強調処理の重みＧｃ。
それぞれの重みは、式（２１）〜（２３）を用いて算出される。
Ｇａ ＝ Ｇｌａ ・・・（２１）
Ｇｂ ＝ （Ｇｌｂ ＋ Ｇｌｃ） × Ｇｒｂ ・・・（２２）
Ｇｃ ＝ （Ｇｌｂ ＋ Ｇｌｃ） × Ｇｒｃ ・・・（２３）

Ｓ８１２からＳ８１６に説明した方法で算出され各奥行感強調処理の最終的な重みを適用することにより、以下のような効果が得られる。
例えば、中ピークと巨大ピークの距離が比較的に離れた関係にあり、中ピークの相対度数の割合Ｇｒが大きい場合を想定する。この場合、明暗差による奥行感強調処理の重みＧａがその他の奥行感強調処理の重みよりも大きくなり、アンシャープマスク処理による奥行感強調処理の重みＧｂはぼかし処理による奥行感強調処理の重みＧｃよりも大きくなる。各重みはＧａ＞Ｇｂ＞Ｇｃの関係となる。つまり手前の被写体と背景の被写体が離れた距離にあることは、そもそも撮影の段階で背景は光学的に大きくぼけているということである。このため、ぼかし処理による奥行感強調処理はあまり効果を発揮できない。ピントが合っている範囲も背景がぼけていることで相対的に際立つためアンシャープマスク処理の効果はあまり大きくないので、明暗差による奥行感強調処理の効果が相対的に際立つこととなる。中ピークの相対度数の割合Ｇｒが大きい場合には、ピントが合っている中ピークの距離情報を有する画像領域の割合が大きく、多くを占めているということである。アンシャープマスク処理を強く施す方が、ぼかし処理による奥行感強調処理を施すよりも、効果の得られる範囲が広い。このため、アンシャープマスク処理による奥行感強調処理の重みＧｂは、ぼかし処理による奥行感強調処理の重みＧｃよりも相対的に大きく設定される。

図１５のＳ８１１からＳ８１７へ移行した場合には、特徴推定部１０４は中ピークにおけるピント範囲の割合を算出する。図１８（Ａ）は、巨大ピークと中ピークの両方がヒストグラム中に存在しない場合（中ピークのみ存在）を例示し、中ピークにおけるピント範囲の割合を説明する図である。中ピークのデータ群８０１ｉ中には、ピントが合う範囲であるピント範囲８０２ｉと、ピントが合っていない範囲であるピント範囲外８０３ｉが存在する。ピント範囲８０２ｉに含まれるデータの相対度数の総和をｐと表記し、ピント範囲外８０３ｉに含まれるデータの相対度数の総和をｕと表記する。中ピークのデータ群８０１ｉ中に含まれるピント範囲８０２ｉの割合を、ピント範囲割合Ｇｐと表記すると、Ｇｐは式（２４）から算出される。
Ｇｐ ＝ ｐ / （ｐ ＋ ｕ） ・・・（２４）

Ｓ８１８で特徴推定部１０４は、ピント範囲の割合に基づいた強調処理の重みを算出する。各奥行感強調処理の重みを、以下のように表記する。
・明暗差による奥行感強調処理の重みＧｐａ
・アンシャープマスク処理による奥行感強調処理の重みＧｐｂ
・ぼかし処理による奥行感強調処理の重みＧｐｃ。
本実施形態ではＳ８１１からＳ８１７へ移行する場合、明暗差による奥行感強調処理の重みＧｐａは考慮しないものとする。つまり、
Ｇｐａ ＝ ０ ・・・（２５）
とする。このとき、
Ｇｐａ ＋ Ｇｐｂ ＋ Ｇｐｃ ＝ １ ・・・（２６）
となるように強調処理の重みを定義する。よって、式（２５）から
Ｇｐｂ ＋ Ｇｐｃ ＝ １ ・・・（２７）
となる。Ｇｐｂを一意に決定することにより、Ｇｐｃを算出することが可能である。

図１８（Ｂ）は、式（２４）で算出されたピント範囲割合Ｇｐとアンシャープマスク処理による奥行感強調処理の重みＧｐｂの関係を示す。横軸はピント範囲割合Ｇｐを表し、縦軸は重みＧｐｂを表す。重みＧｐｂの最小値Ｍｉｎと最大値Ｍａｘとの間にある区間では、ピント範囲割合Ｇｐの値が大きくなるのに比例して、線部８０１ｊに示す重み値が大きくなるように設定される。重みＧｐｂがとりうる値の範囲については閾値を設けることで、ピント範囲割合Ｇｐが第１の閾値以下では重みＧｐｂが最小値Ｍｉｎ（８０２ｊ参照）となり、ピント範囲割合Ｇｐが第２の閾値以上では重みＧｐｂが最大値Ｍａｘ（８０３ｊ参照）となる。図１８（Ｂ）から重みＧｐｂを算出し、重みＧｐｃを算出することでピント範囲の割合に基づいた各強調処理の重みを算出することができる。

各奥行感強調処理の最終的な重みである、明暗差による奥行感強調処理の重みＧａ、アンシャープマスク処理による奥行感強調処理の重みＧｂ、ぼかし処理による奥行感強調処理の重みＧｃは、式（２８）〜（３０）により算出される。
Ｇａ ＝ Ｇｐａ ・・・（２８）
Ｇｂ ＝ Ｇｐｂ ・・・（２９）
Ｇｃ ＝ Ｇｐｃ ・・・（３０）

Ｓ８１７、Ｓ８１８で説明した方法で算出された各奥行感強調処理の重みを利用することにより、以下のような効果が得られる。
例えば、中ピークにおけるピント範囲の割合Ｇｐが相対的に大きな割合を占めている場合、画像全体にピントが合っているシーンとなる。このようなシーンでは、ぼけている領域の割合は小さくなるため、ぼかし処理による奥行感強調処理の効果は相対的に小さくなる。このような場合にはアンシャープマスク処理による奥行感強調処理の効果を相対的に強くすることにより、奥行感強調処理の効果を高めることが可能である。

強調処理部１０５は、以上のように決定された各奥行感強調処理の重みに基づいて、明暗差による奥行感強調処理、アンシャープマスク処理による奥行感強調処理、ぼかし処理による奥行感強調処理のうち、１つ以上の奥行感強調処理を実行する。

次に、Ｓ８１６とＳ８１８の各処理で算出される奥行感強調処理の重みＧａ、Ｇｂ、Ｇｃから、各奥行感強調処理の強調強度を算出する方法を説明する。各奥行感強調処理の強調強度を以下のように表記する。
・明暗差による奥行感強調処理の強調強度λa
・アンシャープマスク処理による奥行感強調処理の強調強度λb
・ぼかし処理による奥行感強調処理の強調強度λc。
第１実施形態で式（８）より算出されたλ(ｘ，ｙ)から、各奥行感強調処理の強調強度は、式（３１）〜（３３）により算出することができる。
λa(ｘ，ｙ) ＝ Ｇａ × λ(ｘ，ｙ) ・・・（３１）
λb(ｘ，ｙ) ＝ Ｇｂ × λ(ｘ，ｙ) ・・・（３２）
λc(ｘ，ｙ) ＝ Ｇｃ × λ(ｘ，ｙ) ・・・（３３）
本実施形態によれば、撮影シーンに係る奥行特徴に基づいて重み付けを行い、複数の奥行感強調処理を実行することができる。

［第３実施形態］
次に、本発明の第３実施形態について説明する。第１実施形態では、シーンの奥行特徴から奥行感強調処理を制御したが、本実施形態ではヒストグラム中に巨大ピークと中ピークが存在し、かつ中ピークの割合が少ない場合の奥行感強調処理方法について説明する。

図１９を参照して、本実施形態の奥行感強調処理方法について説明する。図１９（Ａ）は、巨大ピークと中ピークがあり、中ピークの割合が少ない場合のヒストグラム１９００を例示する。巨大ピークのデータ１９０１と、中ピークのデータ群１９０２が存在する場合を示す。図１９（Ｂ）は広角撮影の画像例１９１０を示す。このようなシーンでは奥行感強調処理としてぼかし処理をすると、広角に撮影しているにもかかわらず、背景がぼけている不自然な画像となってしまう。そこで本実施形態では、以下の処理を実行する。

図２０は、巨大ピークと中ピークがあるときに、中ピークの割合が少ない場合の奥行感の強調処理方法を説明するフローチャートである。
Ｓ９０１では、第１実施形態にて説明した式（１１）および（１２）を用いて、ぼかし処理が行われる。次のＳ９０２で特徴推定部１０４は、ぼかし処理を行った画像データから算出されるヒストグラム中に巨大ピークと中ピークの両方が存在するか否かを判定する。巨大ピークと中ピークが存在すると判定された場合、Ｓ９０３へ進む。また巨大ピークと中ピークがいずれも存在しないと判定された場合には処理を終了する。

Ｓ９０３で特徴推定部１０４は、相対度数の総和に対する、中ピークの割合が巨大ピークの割合に対して少ないか否かを判定する。中ピークの割合が巨大ピークの割合に対して少ないと判定された場合、Ｓ９０４へ進む。中ピークの割合が巨大ピークの割合に対して少なくないと判定された場合には処理を終了する。

Ｓ９０４で強調処理部１０５は特徴推定部１０４の指示により、中ピークの距離情報を持つ被写体が画角内の一定以上の割合を占めるように、ぼかし処理後の画像のトリミング処理を実行する。図１９（Ｃ）にトリミング処理された画像例１９２０を示す。トリミング処理により、テレマクロで撮影したような画像を生成することができる。

本実施形態によれば、ヒストグラム中に巨大ピークと中ピークがあり、中ピークの割合が少ない場合に、奥行感強調処理としてぼかし処理を行うときでも、不自然な画像にならないように、奥行感強調処理を行える。

本発明の実施形態によれば、被写体の距離情報分布と被写体情報および被写界深度情報から画像の奥行特徴を算出して的確な奥行感強調処理を行うことができる。すなわち、距離情報分布と、主被写体情報および被写界深度情報から画像のシーンの奥行特徴を推定することにより、ユーザが意図した奥行感強調処理を行うことができる。前記実施形態では、撮影される複数の視点画像の視差量に基づく像ずれマップ、またはデフォーカス量に基づくデフォーカスマップ、またはデフォーカス量から変換される被写体距離の距離マップのデータを、距離情報として取得することができる。これらに限らず、撮像装置から被写体までの距離値を示す距離マップ、またはＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）法により取得された、被写体までの距離を示す距離情報を取得する構成等にも、本発明を適用可能である。ＴＯＦ法では、被写体への投光から反射光を受けるまでの遅延時間を測定して被写体までの距離計測を行うことで、撮像装置から被写体までの距離情報を直接的に取得することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１０３ ヒストグラム算出部
１０４ 奥行特徴推定部
１０５ 奥行感強調処理部

Claims (16)

1. 画像に関連する主被写体情報および距離情報を取得する取得手段と、
   前記距離情報から得られる画像内の前記距離情報の度数を表すヒストグラムに基づいて、前記距離情報を複数のグループに分類する分類手段と、
   前記分類手段により分類された前記複数のグループそれぞれの前記ヒストグラムにおける度数と、前記主被写体情報および被写界深度情報との関係に対応して、奥行き感の強調処理を前記画像に施す強調処理手段とを備える
   ことを特徴とする画像処理装置。
2. 前記分類手段は、前記ヒストグラムを取得して前記距離情報を複数のグループに分類し、
   前記強調処理手段は、分類された前記複数のグループの度数と前記主被写体情報および被写界深度情報の関係に対応する前記強調処理を画像データに施す
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記強調処理手段は、前記距離情報の度数に基づいて前記画像の奥行感の強度を調整する処理を行う
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記強調処理手段は、前記強度を取得して画像データにアンシャープマスク処理を施す
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記強調処理手段は、前記強度を取得して画像データに明暗差をつける処理を施す
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記強調処理手段は、前記強度を取得して画像データにぼかし処理を施す
   ことを特徴とする請求項３に記載の画像処理装置。
7. 画像データにアンシャープマスク処理を施す第１の強調処理に対する重みと、画像データに明暗差をつける処理を施す第２の強調処理に対する重みと、画像データにぼかし処理を施す第３の強調処理に対する重みを算出する算出手段を有し、
   前記強調処理手段は、前記算出手段から取得した前記重みにしたがって前記第１から第３の強調処理のうちの１つ以上を行う
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記強調処理手段は、前記ヒストグラム中に、度数が第１の閾値以上第２の閾値以下の第１のピークを有する第１のグループと、度数が前記第２の閾値以上で前記第１のピークよりも大きい第２のピークを有する第２のグループが存在するか否かに応じて前記強調処理を行う
   ことを特徴とする請求項２に記載の画像処理装置。
9. 前記強調処理手段は、前記ヒストグラム中にて焦点の合う範囲に前記第１のグループが存在する場合、前記強調処理を行い、前記ヒストグラム中に前記第１のピークが存在しない場合、前記強調処理を行わない
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記強調処理手段は、前記ヒストグラム中に前記第１および第２のピークが存在する場合、画像データに明暗差をつける処理を施す強調処理を行い、前記ヒストグラム中に前記第１および第２のピークが存在しない場合、画像データにアンシャープマスク処理を施す強調処理または画像データにぼかし処理を施す強調処理を行う
    ことを特徴とする請求項８に記載の画像処理装置。
11. 前記ヒストグラム中の前記第１のピークと前記第２のピークとの間の距離を算出し、画像データに明暗差をつける処理を施す強調処理に対する重みを、前記距離が小さい場合よりも前記距離が大きい場合に大きく算出する算出手段を有する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記ヒストグラム中に前記第１のピークが存在し、前記第２のピークが存在しない場合、前記ヒストグラム中で焦点の合う範囲に前記第１のグループが含まれる割合を算出し、画像データにアンシャープマスク処理を施す強調処理に対する重みを、前記割合が小さい場合よりも前記割合が大きい場合に大きく算出する算出手段を有する
    ことを特徴とする請求項８に記載の画像処理装置。
13. 前記強調処理手段は、画像データにぼかし処理を施す強調処理が行われる場合、前記ヒストグラム中に前記第１および第２のピークが存在するときに前記画像データのトリミング処理を行い、前記ヒストグラム中に前記第１または第２のピークが存在しないときには前記画像データのトリミング処理を行わない
    ことを特徴とする請求項８に記載の画像処理装置。
14. 請求項１乃至１３のいずれか１項に記載の画像処理装置と、
    被写体を撮像する撮像素子を備え、
    前記撮像素子は、複数のマイクロレンズと、複数の光電変換部を有し、各マイクロレンズがそれぞれ前記複数の光電変換部に対応しており、前記各マイクロレンズに対応する前記複数の光電変換部より出力される信号から前記主被写体情報および距離情報が取得される
    ことを特徴とする撮像装置。
15. 画像データを取得して画像の奥行感を強調する処理を行う画像処理装置にて実行される画像処理方法であって、
    画像に関連する主被写体情報および距離情報を取得する工程と、
    前記距離情報から得られる画像内の前記距離情報の度数を表すヒストグラムに基づいて、前記距離情報を複数のグループに分類する分類工程と、
    前記分類工程により分類された前記複数のグループそれぞれの前記ヒストグラムにおける度数と、前記主被写体情報および被写界深度情報との関係に対応して、奥行き感の強調処理を前記画像に施す強調処理工程と、を有する
    ことを特徴とする画像処理方法。
16. 請求項１５に記載の各工程を画像処理装置のコンピュータに実行させるプログラム。
    

Images