JP5854801B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮影された画像データの背景領域にぼけ効果を付与した画像データを生成する技術に関するものである。

背景がぼけた画像は、被写体を浮き立たせて印象付ける効果があるため、ポートレート写真等に広く利用されている。一般に、一眼レフカメラのように撮像素子が大きい撮像装置では、絞りを開いて焦点距離を長くすることで被写界深度が浅くなり、上記のように合焦している被写体以外の背景をぼかした画像データを撮影することが比較的容易である。一方、コンパクトデジタルカメラ等の撮像素子が小さい撮像装置では、上記の方法を用いたとしても、被写界深度が深くなる傾向にあるため、背景をぼかした画像データを撮影することが困難である。

これに対し、画像処理で疑似的に背景にぼかし効果を与える機能を持ったコンパクトデジタルカメラが数多く開発されている。例えば、その手法の一つとして、合焦位置を変化させて複数枚の画像データを撮影し、その差分情報により被写体領域と背景領域とを分離させ、背景領域の画像データにぼかし処理を行い、被写体領域の画像データと合成する方法が知られている。

また、被写体領域と背景領域とを分離させる方法として、２眼撮像装置の視差を利用した領域判別方法もある。しかし、この手法では撮像装置のレンズが二個必要となるため、撮像装置の大型化や生産コスト増加等の問題がある。また、上記ぼかし処理において、ぼかし効果を強調するための手法として、画像データに対して特殊な二次元フィルタを適用する方法がある。しかし、このフィルタリングを行う場合、撮影された画像データは実露光量が補正されるため、輝度レベルが下がったぼけ画像データになってしまう。

例えば、特許文献１には、背景領域の画像データに絞り形状のフィルタを適用して、一眼レフカメラのようなぼけ効果を得る手法が開示されている。即ち、特許文献１には、点光源及びその周辺のぼけを再現するために飽和画素の実露光量を推定し、推定した実露光量に応じたゲインをかける露光量補正処理を実施した上でフィルタリング処理を行うことにより、見栄えのよいぼけ効果を得る手法が開示されている。

特開２００９−２１８７０４号公報

しかしながら、露光量補正処理によってぼけ効果を与えた背景領域の画像データと、ぼけ効果を与えていない被写体領域の画像データとを合成した場合、被写体領域近傍の背景領域において、被写体領域上の飽和画素のぼけによるぼけ滲みがより顕著に発生する。以下、図７を参照しながら、この現象について具体的に説明する。

図７（ａ）は、被写体に合焦して撮影された画像データを示している。図７（ｂ）は、図７（ａ）に示す画像データに露光量補正処理を施してぼけ効果を与えた画像データを示している。図７（ａ）に示す画像データの被写体領域のみを切り出し、図７（ｂ）に示す画像データと合成した場合、図７（ｃ）に示すようにぼけ滲みが発生する。

そこで、本発明の目的は、被写体領域近傍の背景領域のぼけ滲みの発生を抑えた画像データを得ることにある。

本発明の画像処理装置は、撮像手段により撮像された画像データにおける被写体を含む領域を判定する判定手段と、前記画像データにおける対象部分と前記被写体を含む領域との距離に応じてゲイン値を決定する決定手段と、前記決定手段により決定されたゲイン値を用いて前記対象部分を補間した上で前記画像データに対してフィルタリング処理を施すフィルタリング手段と、前記フィルタリング手段によりフィルタリング処理が施された前記画像データと、前記撮像手段により撮像された前記画像データのうち、前記被写体を含む領域に該当する画像データとを合成する合成手段とを有することを特徴とする。

本発明によれば、被写体領域近傍の背景領域のぼけ滲みの発生を抑えた画像データを得ることができる。

本発明の実施形態に係る撮像装置の構成を示す図である。 背景ぼかし画像生成部の構成を示す図である。 背景ぼかし画像生成部による背景ぼかし処理を示すフローチャートである。 走査画素と被写体領域との距離と、ゲイン値との関係の例を説明するための図である。 走査画素と被写体領域との距離と、ゲイン値との関係の他の例を説明するための図である。 距離マップを説明するための図である。 被写体の高輝度領域周辺に発生するぼけ滲みを説明するための図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る撮像装置１００の構成を示す図である。なお、撮像装置１００は、画像処理装置の適用例となる構成である。図１において、撮像素子１０１はＣＣＤやＣＭＯＳ等から構成され、その表面は、例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能である。被写体像が撮像素子１０１上で結像されると、画像データ（画像信号）が生成され、メモリ１０２に記憶される。

制御部１１５は、画像データ全体が適正露出になるようなシャッタ速度及び絞り値を計算するとともに、合焦領域内にある被写体に合焦するようにフォーカスレンズの駆動量を計算する。そして、制御部１１５により計算された露出値（シャッタ速度、絞り値）及びフォーカスレンズの駆動量を示す情報が撮像制御回路１１４に出力され、各値に基づいて露出制御及び焦点調整が行われる。

色変換マトリックス回路１０３は、撮影された画像データが最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路１０４は、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するための回路である。ＣＳＵＰ（Chroma Supress）回路１０５は、ＬＰＦ回路１０４で帯域制限された画像データのうち、飽和部分の偽色信号を抑圧するための回路である。一方、撮影された画像データは、輝度信号生成回路１０６にも出力される。輝度信号生成回路１０６は、入力された画像データから輝度信号Ｙを生成する。エッジ強調回路１０７は、生成された輝度信号Ｙに対してエッジ強調処理を施す。

ＲＧＢ変換回路１０８は、ＣＳＵＰ回路１０５から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１０７から出力される輝度信号ＹとをＲＧＢ信号に変換する。ガンマ補正回路１０９は、変換されたＲＧＢ信号に対して階調補正を施す。その後、色輝度変換回路１１０は、階調補正されたＲＧＢ信号をＹＵＶ信号に変換する。

背景ぼかし画像生成部１１１は、変換された画像データに対してぼけ効果を与える画像処理を施す。背景ぼかし画像生成部１１１の詳細な構成については後述する。ＪＰＥＧ圧縮回路１１２は、背景ぼかし画像生成部１１１により画像処理が施された画像データに対してＪＰＥＧ方式等により圧縮して、圧縮後の画像データを外部又は内部の記録媒体１１３に記憶させる。

次に、背景ぼかし画像生成部１１１の構成について説明する。図２は、背景ぼかし画像生成部１１１の構成を示す図である。図２に示すように、背景ぼかし画像生成部１１１は、エッジ検出部２０１、エッジ減算部２０２、エッジ積分値算出部２０３、エッジ積分値評価部２０４、領域マップ生成部２０５、ぼかし処理部２０６及び画像合成部２０７を備える。

次に、図３のフローチャートを参照しながら、背景ぼかし画像生成部１１１による背景ぼかし処理について説明する。ステップＳ３０１において、撮像装置１００は被写体に合焦させて撮影を行う。次に撮像装置１００はフォーカスレンズを所定量ずらして背景に合焦させて撮影を行う。このように異なる合焦位置で複数の画像データが撮像された後、ステップＳ３０２において、エッジ検出部２０１は、被写体に合焦させて撮影された画像データのエッジを検出するとともに、背景に合焦させて撮影された画像データのエッジを検出する。エッジ検出方法の一例としては、撮影された画像データにバンドパスフィルタリングを行って絶対値をとることによって画像データのエッジを検出する方法が挙げられる。なお、エッジの検出方法はこれに限定されず、他の方法を用いてもよい。以下では、被写体に合焦させて撮影された画像データから検出されたエッジを、被写体合焦側のエッジ画像データと称し、背景に合焦させて撮影された画像データから検出されたエッジを、背景合焦側のエッジ画像データと称す。

ステップＳ３０３において、エッジ減算部２０２は、被写体合焦側のエッジ画像データから背景合焦側のエッジ画像データを画素毎に減算し、エッジの差分をとった画像データ（以下、エッジ差分画像データと称す）を生成する。ステップＳ３０４において、エッジ積分値算出部２０３は、ステップＳ３０３で生成されたエッジ差分画像データを複数の領域に分割し、各領域のエッジ量を積分する。

ステップＳ３０５において、エッジ積分値評価部２０４は、ステップＳ３０４で算出された各領域のエッジ量の積分値と所定の閾値とを比較する。エッジ量の積分値が所定の閾値以上である場合、エッジ積分値評価部２０４は、当該領域を被写体領域と判定する。一方、エッジ積分値評価部２０４は、エッジ量の積分値が所定の閾値未満である場合、当該領域を背景領域と判定する。なお、上記所定の閾値は予め決められた固定値でもよいし、画像データのエッジのヒストグラム分布から適応的に求めてもよい。

ステップＳ３０６において、領域マップ生成部２０５は、ステップＳ３０５における判定結果に基づいて、被写体領域と背景領域とを判別可能な切り出しマップを生成する。切り出しマップにおいては、例えば合成比率が画像データ自体の画素値で表されている。なお、切り出しマップに対して、境界の段差を目立たなくさせるために被写体領域と背景領域との境界にローパスフィルタをかけてもよい。

ステップＳ３０７において、ぼかし処理部２０６は、被写体に合焦して撮影された画像データに対して切り出しマップに基づくぼかし処理を行い、ぼけ画像データを生成する。ここで、ステップＳ３０７におけるぼかし処理の詳細について説明する。

ぼかし処理においては、指定されたフィルタ形状に基づき、被写体に合焦して撮影された画像データに対してフィルタリング処理が行われる。このフィルタリング処理では、所定の輝度値を持った画素に対して、図４（ａ）に示すテーブルから求められるゲイン値Ｋを乗算し、飽和画素の輝度値を補間して上でフィルタリング処理が行われる。以下、フィルタリング処理で走査中の画素（対象部分）を走査画素と称す。なお、図４（ａ）においてはテーブルの構成ではなく、走査画素と被写体領域との距離と、ゲイン値との関係を示しているが、実際には、走査画素と被写体領域との各距離に対応するゲイン値がテーブルにおいて設定されている。なお、被写体領域は上記切り出しマップから判別することができる。図４（ａ）に示すように、走査画素に対するゲイン値Ｋは０以上の値をとり、走査画素と被写体領域との距離ｒに応じて決定される値である。例えば、図４（ｂ）に示すように、被写体領域からの距離がｒ_a、ｒ_b（ｒ_a＜ｒ_b）の走査画素があるものとする。このとき、図４（ａ）に示すテーブルでは、被写体領域からの距離が短いｒ_aの走査画素に対してはゲイン値Ｋ_hが設定されており、被写体領域からの距離が長いｒ_bの走査画素に対しては、Ｋ_hより高いゲイン値Ｋが設定されている。なお、走査画素が被写体領域上である場合、ゲイン値はＫ_minに設定される。図４（ａ）に示すテーブルにおいて設定されるゲイン値は、フィルタのＴＡＰ数や波形に基づいて決定される。例えばフィルタのＴＡＰ数が大きい場合、ｒは被写体領域上の画素の影響を受けないようにするため、より大きな値のゲイン値に設定される。但し、本発明はこれに限らず、図５に示すように固定値のゲイン値Ｋ及びＫ_minとしてもよい。なお、ゲイン値Ｋは所定の第２のゲイン値の例であり、ゲイン値Ｋ_minは所定の第１のゲイン値の例である。

ここで、固定値のゲイン値Ｋ及びＫ_minを使用する場合の利点について説明する。例えば、被写体領域の切り出しが画素単位で正確に行われる場合、背景領域と判別された画素には常にゲイン値Ｋが設定され、被写体領域と判別された画素には常にゲイン値Ｋ_minが設定される。その結果、被写体領域の飽和画素のぼけを最小限に抑えられるため、より合成後の画像データのぼけ滲みを防ぐことが可能となる。なお、図５に示す通り、Ｋ＞Ｋ_minである。

次に、図４（ａ）に示すようなテーブルを用いてゲイン値を決定する場合の利点について説明する。例えば、実際の被写体領域の位置と切り出された被写体領域の位置とに誤差が生じている場合、誤差の分だけ合成後の画像データには、被写体領域の飽和画素のぼけによるぼけ滲みが発生する。この場合、被写体領域近傍の画素ほどゲイン値を低く設定することにより、合成後の画像データのぼけ滲みを防ぐことが可能となる。

なお、上述したフィルタリング特性やゲイン値は、撮影された画像データの深度情報を含む距離マップに基づいて適応的に変更してもよい。図６は、画像データの深度が複数段階に分解した距離マップの例を示す図である。図６に示すような距離マップを参照することにより、深度が浅い領域に対してはフィルタ形状を大きく、或いはゲイン値を高く設定したり、一方、深度が浅い領域に対してはフィルタ形状を小さく、或いはゲイン値を低く設定したりする。

図３の説明に戻る。ステップＳ３０８において、画像合成部２０７は、切り出しマップに基づいて被写体に合焦して撮影された画像データから被写体領域を切り出し、ステップＳ３０７で生成されたぼけ画像データと合成する。ここで、画像データの合成処理の一例について説明する。画像合成部２０７は、切り出しマップの画素値から求まるα［ｉ，ｊ］（０≦α≦１）に基づいて、被写体に合焦して撮影された画像データＩＭＧ１［ｉ，ｊ］の被写体領域とぼけ画像データＩＭＧ２［ｉ，ｊ］とを合成し、合成画像データＢ［ｉ，ｊ］を生成する。即ち、画像合成部２０７は、合成画像データＢ［ｉ，ｊ］を以下の式１を用いて算出する。なお、［ｉ，ｊ］は各画素を示している。

以上の処理により、被写体領域近傍の背景領域のぼけ滲みの発生を抑えつつ、飽和画素の輝度値を補間したぼけ画像データを取得することができる。また、本実施形態における走査画素と被写体領域との距離ｒは、走査画素を中心として最も近くに存在する被写体領域までの距離としたが、距離ｒは主被写体の重心座標を求めて、当該重心座標から走査画素までの距離としてもよい。

また、本実施形態における切り出しマップは、被写体に合焦して撮影された画像データと背景に合焦して撮影された画像データとの２枚の画像データから生成しているが、更に被写体よりも前側で合焦して撮影された画像データを含む３枚以上の画像データから生成してもよい。

以上のように、本実施形態によれば、飽和画素に対するゲイン値を被写体領域からの距離に応じて切り替えてフィルタリング処理を行った画像データと、鮮鋭な被写体に合焦させて撮影された画像データとを、切り出しマップに基づいて合成するようにした。これにより、被写体の高輝度領域周辺におけるぼけ滲みの発生を抑えつつ、背景の高輝度領域に実露光量を推定したぼけ効果を与えた画像データを生成することが可能となり、ユーザにとって好ましい画像データを提供することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：撮像装置、１０１：撮像素子、１０２：メモリ、１０３：色変換マトリックス回路、１０４：ＬＰＦ回路、１０５：ＣＳＵＰ回路。１０６：輝度信号生成回路、１０７：エッジ強調回路、１０８：ＲＧＢ変換回路、１０９：ガンマ補正回路、１１０：色輝度変換回路、１１１：背景ぼかし画像生成部、１１２：ＪＰＥＧ圧縮回路、１１３：記録媒体、１１４：撮像制御回路、１１５：制御部

Claims (10)

1. 撮像手段により撮像された画像データにおける被写体を含む領域を判定する判定手段と、
   前記画像データにおける対象部分と前記被写体を含む領域との距離に応じてゲイン値を決定する決定手段と、
   前記決定手段により決定されたゲイン値を用いて前記対象部分を補間した上で前記画像データに対してフィルタリング処理を施すフィルタリング手段と、
   前記フィルタリング手段によりフィルタリング処理が施された前記画像データと、前記撮像手段により撮像された前記画像データのうち、前記被写体を含む領域に該当する画像データとを合成する合成手段とを有することを特徴とする画像処理装置。
2. 前記決定手段は、前記対象部分と前記被写体を含む領域との距離が短い程、小さい値のゲイン値を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記対象部分が前記被写体を含む領域に含まれる場合、所定の第１のゲイン値を決定し、前記対象部分が前記被写体を含む領域以外の領域に含まれる場合、所定の第２のゲイン値を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記所定の第１のゲイン値は、前記所定の第２のゲイン値より小さい値であることを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、前記フィルタリング処理で使用されるフィルタの特性に応じて、決定するゲイン値を切り替えることを特徴とする請求項１に記載の画像処理装置。
6. 前記決定手段は、前記対象部分の深度に応じて、決定するゲイン値を切り替えることを特徴とする請求項１に記載の画像処理装置。
7. 前記フィルタリング手段は、前記対象部分の深度に応じてフィルタリング特性を切り替えることを特徴とする請求項１に記載の画像処理装置。
8. 前記判定手段は、複数枚の異なる合焦位置で撮像された画像データの情報に基づき、前記被写体を含む領域を判定することを特徴とする請求項１に記載の画像処理装置。
9. 画像処理装置によって実行される画像処理方法であって、
   撮像手段により撮像された画像データにおける被写体を含む領域を判定する判定ステップと、
   前記画像データにおける対象部分と前記被写体を含む領域との距離に応じてゲイン値を決定する決定ステップと、
   前記決定ステップにより決定されたゲイン値を用いて前記対象部分を補間した上で前記画像データに対してフィルタリング処理を施すフィルタリングステップと、
   前記フィルタリングステップによりフィルタリング処理が施された前記画像データと、前記撮像手段により撮像された前記画像データのうち、前記被写体を含む領域に該当する画像データとを合成する合成ステップとを有することを特徴とする画像処理方法。
10. 撮像手段により撮像された画像データにおける被写体を含む領域を判定する判定ステップと、
    前記画像データにおける対象部分と前記被写体を含む領域との距離に応じてゲイン値を決定する決定ステップと、
    前記決定ステップにより決定されたゲイン値を用いて前記対象部分を補間した上で前記画像データに対してフィルタリング処理を施すフィルタリングステップと、
    前記フィルタリングステップによりフィルタリング処理が施された前記画像データと、前記撮像手段により撮像された前記画像データのうち、前記被写体を含む領域に該当する画像データとを合成する合成ステップとをコンピュータに実行させるためのプログラム。

Images