JP6116436B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、特に、領域の一部をぼかした画像を生成するために用いて好適な画像処理装置および画像処理方法に関する。

近年、数多くのデジタルカメラやデジタルビデオカメラなどの撮像装置に、被写体以外の領域に対して画像処理を行う機能が搭載されている。例えば、その機能の一つとして、撮影された画像の背景領域に対して、疑似的にぼかし効果を与える機能がある。

背景がぼやけた画像は、被写体を浮き立たせて印象付ける効果があるため、ポートレート写真等に広く利用されている。一般的に、一眼レフカメラのように撮像素子が大きい撮像装置では、絞りを開いて焦点距離を長くすることにより被写界深度が浅くなり、上記のように合焦している被写体以外の背景をぼかした画像を容易に撮影することができる。一方、コンパクトデジタルカメラ等の撮像素子が小さい撮像装置では、被写界深度が比較的深くなる傾向にあるため、背景をぼかした画像を撮影することが困難である。

そこで、画像処理により疑似的に背景にぼかし効果を与える機能を備えたコンパクトデジタルカメラが数多く開発されている。例えば特許文献１には、主被写体領域と背景領域とを分離させ、背景領域の画像にぼかし処理を行い、主被写体領域の画像と合成する方法が開示されている。

特開２００８−１７９９３４号公報 特開２０１０−２１７５３号公報

しかしながら、特許文献１に記載の方法では、背景の深度が奥行き方向に徐々に深くなるようなシーンに対して背景にぼかし処理を行うと、背景の途中でぼかし領域に切り替わる境界が目立ち、違和感のある画像となってしまう問題がある。

本発明は前述の問題点に鑑み、背景の深度が奥行き方向に徐々に深くなるようなシーンで鮮鋭領域とぼかし領域との切り替わりに違和感の無い背景ぼかし画像を得ることができるようにすることを目的としている。

本発明に係る画像処理装置は、主被写体に焦点を合わせた第１の画像と、前記主被写体を含む画像であって前記主被写体の背景に焦点を合わせた第２の画像とを取得する取得手段と、前記第１の画像および第２の画像から、主被写体領域、背景領域、および前記主被写体領域と前記背景領域との間の中間領域を判定する領域判定手段と、前記第１の画像に対してフィルタリング処理を行って第１のぼかし画像を生成するとともに、前記第１の画像に対してフィルタリング処理を行って前記第１のぼかし画像よりもぼかし量が小さい第２のぼかし画像を生成する生成手段と、前記第１の画像から前記主被写体領域を切り出すとともに、前記第２のぼかし画像から前記中間領域を切り出し、前記第１のぼかし画像に前記切り出された主被写体領域および中間領域を合成して背景ぼかし画像を生成する合成手段と、を備えることを特徴とする。

本発明によれば、鮮鋭領域とぼかし領域との切り替わる境界が目立たない背景ぼかし画像を得ることができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の実施形態における背景ぼかし処理の手順の一例を示すフローチャートである。 領域判定処理の詳細な処理手順の一例を示すフローチャートである。 撮影画像および分割領域を説明するための図である。 切り出しマップの一例を示す図である。 本発明の実施形態において、画像にぼかしを付加する処理手順の一例を示すフローチャートである。 縮小処理および拡大処理の手順を説明するための図である。 縮小処理の詳細な手順を説明するための図である。 縮小処理および拡大処理の詳細な処理手順の一例を示すフローチャートである。 主被写体と第２被写体とが写っている画像の一例を示す図である。 縮小画像に対して３回の拡大処理を実施する場合の平滑化フィルタリング処理を実施する判定テーブルの一例を示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。
（第１の実施形態）
図１は、本実施形態の撮像装置１００の構成例を示すブロック図である。
図１において、撮像素子１４は、撮影レンズ１０を介して入力された光学像を電気信号に変換する。Ａ／Ｄ変換器１６は、撮像素子１４から出力されるアナログ信号をデジタル信号の画像データに変換する。
タイミング発生回路１８は、撮像素子１４及びＡ／Ｄ変換器１６にクロック信号や制御信号を供給する回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。また、絞り機能を備える機械式のシャッター１２以外に、撮像素子１４のリセットタイミングの制御によって、電子シャッターとして蓄積時間を制御することが可能であり、動画撮影などに使用することができる。

画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。画像処理回路２０によって画像の切り出し、変倍処理を行うことにより電子ズーム機能が実現される。また、画像処理回路２０は、撮像して得られた画像データを用いて所定の演算処理を行い、システム制御回路５０は、得られた演算結果に基づいて露光制御部４０及び測距制御部４２に対して制御を行う。これにより、ＴＴＬ方式のＡＦ処理、ＡＥ処理、及びＥＦ処理を行っている。さらに、画像処理回路２０は、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、及び圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理回路２０及びメモリ制御回路２２を介して、或いはメモリ制御回路２２を直接介して、メモリ３０に書き込まれる。

画像表示部２８は、ＴＦＴ、ＬＣＤ等からなる表示部であり、メモリ３０に書き込まれた表示用の画像データがメモリ制御回路２２を介して読み出されて画像表示部２８にその画像が表示される。画像表示部２８に撮影画像を逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦで切り替えることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。

メモリ３０は撮影により得られた静止画像データや動画像データを格納するためのメモリであり、所定枚数の静止画像データや所定時間の動画像データを格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量に画像データをメモリ３０に書き込むことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用される。

不揮発性メモリ３１は、ＦｌａｓｈＲＯＭ等で構成されるメモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ３１内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域が設けられ、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮・伸長回路３２は、メモリ３０に格納された画像データを読み出して圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は、絞り機能を備えるシャッター１２を制御し、フラッシュ４８と連動することによりフラッシュ調光機能も有する。測距制御部４２は、撮影レンズ１０のフォーカシングを制御する。ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。フラッシュ４８は、ＡＦ補助光の投光機能、およびフラッシュ調光機能を有する。また、露光制御部４０および測距制御部４２はＴＴＬ方式を用いて制御されており、撮像して得られた画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０により制御される。

システム制御回路５０は、撮像装置１００全体を制御する。また、撮像装置１００は、システム制御回路５０の各種の動作指示を入力するための操作部を備えており、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせにより構成される。ここで、これらの操作部の具体的な説明を行う。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、ＨＤＲ撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。シャッタースイッチ（ＳＷ１）６２は、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＥＢ（オートホワイトバランス）処理等の動作開始を指示する。

シャッタースイッチ（ＳＷ２）６４は、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合は、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。そして、この露光期間中に発光させて、露光期間終了によって露光制御部４０により遮光することにより、撮像素子１４への露光を終了させる。これにより、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む処理を行う。さらに、画像処理回路２０やメモリ制御回路２２による演算を用いた現像処理や、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行う。そして、記録媒体２００に画像データを書き込む記録処理を行う。このようにシャッタースイッチ（ＳＷ２）６４がＯＮにされると、以上のような一連の処理の動作開始を指示する。

表示切替スイッチ６６は、画像表示部２８の表示を切り替えることができるスイッチである。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ、ＬＣＤ等からなる画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

操作部７０は、各種ボタン、タッチパネルや回転式ダイアル等からなり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。また、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

ズームスイッチ７２は、ユーザーが撮像画像の倍率を変更する指示を行うためのスイッチである。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し、光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

電源部８６は、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。インタフェース９０は、メモリカードやハードディスク等の記録媒体２００と接続するためのインタフェースであり、コネクタ９２は、メモリカードやハードディスク等の記録媒体２００と接続するコネクタである。

光学ファインダー１０４は、画像表示部２８による電子ファインダー機能を使用せずに撮影を行う際に用いられる。通信部１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。コネクタ１１２は、通信部１１０により撮像装置１００を他の機器と接続するためのものであり、無線通信の場合はアンテナである。

記録媒体２００はメモリカードやハードディスク等であり、記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、および撮像装置１００と接続を行うコネクタ２０６を備えている。

次に、図２のフローチャートを参照しながら、画像処理回路２０による画像の背景ぼかし処理について説明する。図２は、本実施形態に係る撮像装置１００による背景ぼかし処理の手順の一例を示すフローチャートである。
まず、ステップＳ２０１において、システム制御回路５０は、測距制御部４２を制御しながら主被写体に焦点を合わせて撮影を行う。そして、測距制御部４２の制御により撮影レンズ１０を所定量ずらし、背景に合焦して撮影を行う。

続いてステップＳ２０２において、画像処理回路２０は、主被写体に合焦して撮影された画像、および背景に合焦して撮影された画像のエッジを検出する。エッジ検出方法の一例としては、撮影された画像にバンドパスフィルタリングを行って絶対値をとることによってエッジを検出する方法が挙げられる。なお、エッジの検出方法はこれに限定されず、他の方法を用いてもよい。以降、主被写体に合焦させた撮影により得られた画像データから検出されたエッジを、主被写体合焦側のエッジ画像と称し、背景に合焦させて撮影された画像から検出されたエッジを、背景合焦側のエッジ画像と称す。

次に、ステップＳ２０３において、画像処理回路２０は、主被写体合焦側のエッジ画像と背景合焦側のエッジ画像とのそれぞれについて、複数の領域に分割し、各領域のエッジの絶対値を積分する。そして、ステップＳ２０４において、画像処理回路２０は、各分割領域について、主被写体領域、背景領域、中間領域のいずれかを判定する。ここで、ステップＳ２０４における領域判定処理の詳細について、図３のフローチャートを用いて説明する。

図３は、図２のステップＳ２０４における領域判定処理の詳細な処理手順の一例を示すフローチャートである。なお、以下の説明では、ステップＳ２０３で算出された各分割領域［ｉ，ｊ］における被写体合焦側のエッジ積分値（鮮鋭度）をＥＧＩ１［ｉ，ｊ］とし、背景合焦側のエッジ積分値をＥＧＩ２［ｉ，ｊ］とする。
まず、ステップＳ３０１において、画像処理回路２０は、各分割領域［ｉ，ｊ］について、ステップＳ２０３において算出された積分値ＥＧＩ１［ｉ，ｊ］、ＥＧＩ２［ｉ，ｊ］を比較し、全ての分割領域について比較するまで処理を繰り返す。

ステップＳ３０２において、画像処理回路２０は、積分値ＥＧＩ１［ｉ，ｊ］、ＥＧＩ２［ｉ，ｊ］及び所定の閾値ＴＨの間で、以下の式（１）の関係を満たすかどうかを判定する。この判定の結果、式（１）の関係が満たされる場合（鮮鋭度の差分が所定の範囲内である場合）はステップＳ３０３へ進み、式（１）の関係が満たされない場合はステップＳ３０４へ進む。
｜ＥＧＩ１［ｉ，ｊ］−ＥＧＩ２［ｉ，ｊ］｜≦ＴＨ ・・・（１）

ステップＳ３０３においては、画像処理回路２０は、当該領域を中間領域として定義する。一方、ステップＳ３０４においては、画像処理回路２０は、積分値ＥＧＩ１［ｉ，ｊ］が積分値ＥＧＩ２［ｉ，ｊ］よりも大きいか否かを判定する。この判定の結果、積分値ＥＧＩ１［ｉ，ｊ］が積分値ＥＧＩ２［ｉ，ｊ］よりも大きい場合はステップＳ３０５へ進み、積分値ＥＧＩ１［ｉ，ｊ］が積分値ＥＧＩ２［ｉ，ｊ］よりも小さいもしくは同じである場合はステップＳ３０６へ進む。

ステップＳ３０５においては、画像処理回路２０は、当該領域を主被写体領域として定義する。一方、ステップＳ３０６においては、画像処理回路２０は、当該領域を背景領域として定義する。なお、本実施形態では、全分割領域で領域判定を行っているが、低コントラストでエッジが正しく検出できない領域での判定を除くために、エッジ積分値が所定値以上の領域に限定して判定してもよい。

次に、ステップＳ２０５において、画像処理回路２０は、ステップＳ２０４における領域判定結果に基づいて、主被写体領域と、背景領域と、中間領域とを判別可能な切り出しマップを生成する。切り出しマップにおいては、例えば合成比率αが画像データ自体の画素値で表される。

図４（ａ）は、本実施形態において撮影された撮影画像の一例を示す図である。図４（ａ）に示す背景４０２は、主被写体４０１から深度が奥行き方向に徐々に深くなるような構図となっている。図４（ｂ）は、図４（ａ）に示す画像を複数領域に分割した例を示す図であり、この分割されたそれぞれの領域４０３について、被写体合焦側のエッジ積分値と背景合焦側のエッジ積分値とを算出し、ステップＳ２０４で領域判定を行う。

図５（ａ）〜図５（ｃ）は、ステップＳ２０５において生成される切り出しマップの例を示す図である。図５（ａ）に示す黒領域５０１は、主被写体領域と判定された領域を示し、図５（ｂ）に示す黒領域５０２は、背景領域と判定された領域を示す。また、図５（ｃ）に示す黒領域５０３は、中間領域と判定された領域を示す。

次に、ステップＳ２０６において、画像処理回路２０は、主被写体に合焦して撮影された画像に対して第１のぼかし処理を実施して第１のぼかし画像を生成する。さらに、主被写体に合焦して撮影された画像に対し、第１のぼかし画像の半分程度のぼかし量となる第２のぼかし処理を実施して第２のぼかし画像を生成する。

ここで、ぼかし処理について説明する。ぼかし処理では、画像処理回路２０は、撮影された画像に対してリサイズ処理及びフィルタリング処理を行う。リサイズ処理における縮小処理および拡大処理は線形補間によって行う。以下、具体的な手順について説明する。

図６は、本実施形態において、画像にぼかしを付加する処理手順の一例を示すフローチャートである。
まず、ステップＳ６０１において、画像処理回路２０は、ぼかしを付加する対象となる画像を１／Ｎの画像サイズ（Ｎは任意のリサイズ係数）まで縮小する。その際、プレフィルタを用いて高周波信号の折り返りを防ぐようにする。なお、具体的な手順については後述する。

次に、ステップＳ６０２において、画像処理回路２０は、指定されたフィルタ形状に基づき、縮小された画像に対して空間フィルタリング処理を行う。空間フィルタリング処理は、任意のフィルタ係数で画像フィルタ処理を行う。そして、ステップＳ６０３において、画像処理回路２０は、ステップＳ６０２で空間フィルタリング処理が行われた画像を元の画像サイズまで拡大する。以上の処理により、画像処理回路２０は、第１のぼかし画像および第２のぼかし画像を生成する。

次に、ステップＳ６０１の縮小処理の詳細について説明する。縮小処理においては、高周波信号の折り返りを防ぐため、本実施形態では一般的な手段である平滑化フィルタリング処理を実施してから縮小処理を実施する。

図７（ａ）には、画像を２分の１倍に縮小する処理の例を示している。図７（ａ）に示すように、画像処理回路２０は、まず、縮小処理前の画像７０１に対して垂直方向と水平方向とに｛１，２，１｝／４で表されるフィルタ係数で平滑化フィルタリング処理を実施する。次に、画像処理回路２０は線形補間により画素サイズが２分の１倍になるように縮小を実施し、画像７０２を生成する。

また、ステップＳ６０３の拡大処理においても、拡大後の画像に発生するジャギーを防ぐため、平滑化フィルタリング処理を行ってから拡大処理を実施する。図７（ｂ）には、画像を２倍に拡大する処理の例を示している。図７（ｂ）に示すように、画像処理回路２０は、拡大処理前の画像７０３に対して垂直方向と水平方向とに｛１，２，１｝／４で表されるフィルタ係数で平滑化フィルタリング処理を実施する。次に、画像処理回路２０は線形補間により画素サイズが２倍になるように拡大を実施し、画像７０４を生成する。

なお、以上の縮小処理及び拡大処理は、必要に応じて縮小倍率及び拡大倍率を変更してもよく、更に、繰り返し行うことによって所望の画像サイズへの縮小処理及び拡大処理を行ってもよい。

一方、画像に平滑化フィルタリング処理を実施した場合、画像に存在していた高輝度画素が、周辺の非高輝度画素との補間により輝度レベルが減衰する場合がある。また、その影響は平滑化フィルタリング処理を実施する画像サイズが小さいほど大きいと考えられる。この場合、縮小処理及び拡大処理を実施せず空間フィルタリング処理だけを実施して生成したぼかし画像と比べ、縮小処理及び拡大処理を実施した画像は空間フィルタリング後の画像の輝度レベルが低くなる。そのため、空間フィルタリング処理の特徴を活かせなくなるという問題がある。これに対し、本実施形態では高輝度画素の輝度レベルをなるべく下げないように、縮小処理及び拡大処理において、平滑化フィルタリング処理を実施するか否かを切り替える。

次に、平滑化フィルタリング処理を実施するか否かを判定する処理について説明する。初めに、画像処理回路２０は、縮小処理における平滑化フィルタリング処理の実施箇所（実施タイミング）を判定する。ここで、画像処理回路２０は、入力される画像サイズにおいて、平滑化フィルタリング処理が入力画像の高輝度画素の輝度レベルを大きく下げるかどうかに基づいて判定を行う。

図８は、本実施形態における縮小処理を説明するための図である。
図８に示す画像８０１は、縮小処理前の画像であり、画像サイズは水平方向が４０００画素、垂直方向が３０００画素である。また、画像８０２は、第１の縮小処理によって画像８０１を２分の１倍に縮小したものであり、画像サイズは水平方向が２０００画素、垂直方向が１５００画素である。さらに、画像８０３は、画像８０２を第２の縮小処理によって２分の１倍に縮小したものであり、画像サイズは水平方向が１０００画素、垂直方向が７５０画素である。

このとき、画像処理回路２０は、縮小処理で入力される画像データの画像サイズが所定の画像サイズＳ１以上である場合には、平滑化フィルタリング処理を実施し、所定のサイズＳ１未満である場合には平滑化フィルタリング処理を実施しないようにする。例えば、図８において、画像８０１から画像８０２への第１の縮小処理では第１の平滑化フィルタリング処理を実施し、画像８０２から画像８０３への第２の縮小処理では第２の平滑化フィルタリング処理を実施しないようにする。

一方、拡大処理においても同様に、画像処理回路２０は拡大処理で入力される画像データの画像サイズが所定の画像サイズＳ２以上である場合には平滑化フィルタリング処理を実施する。そして、所定の画像サイズＳ２未満である場合には平滑化フィルタリング処理を実施しないようにする。以上のように画像処理回路２０は、平滑化フィルタリング処理の実施箇所を決定してぼかし処理を実施する。

次に、図９を参照しながら、本実施形態における画像処理回路２０によるぼかし処理の動作手順について説明する。図９（ａ）は、図６のステップＳ６０１における縮小処理の詳細な処理手順の一例を示すフローチャートであり、図９（ｂ）は、図６のステップＳ６０３における拡大処理の詳細な処理手順の一例を示すフローチャートである。

まず、縮小処理について説明する。まず、図９（ａ）のステップＳ９０１において、先に決定した平滑化フィルタリング処理決定情報に基づき、入力された画像に対して平滑化フィルタリング処理を実施するか否かを判定する。平滑化フィルタリング処理決定情報の一例としては、例えば図８で説明したような画像サイズなどが挙げられる。この判定の結果、平滑化フィルタリング処理を実施する場合はステップＳ９０２へ進み、平滑化フィルタリング処理を実施しない場合はステップＳ９０３へ進む。

ステップＳ９０２においては、画像処理回路２０は、入力された画像に対して平滑化フィルタリング処理を実施する。そして、ステップＳ９０３において、画像処理回路２０は、予め設定された縮小率で画像に対して縮小処理を実施する。次に、ステップＳ９０４において、予め設定されたサイズまで画像の縮小が完了しているか否かを判定する。この判定の結果、予め設定されたサイズまで画像データの縮小が完了している場合は縮小処理を終了し、縮小が完了していない場合はステップＳ９０１へ戻り、処理を繰り返す。

次に、拡大処理について説明する。まず、図９（ｂ）のステップＳ９０６において、先に決定した平滑化フィルタリング処理決定情報に基づき、空間フィルタリング処理が実施された画像に平滑化フィルタリング処理を実施するか否かを判定する。平滑化フィルタリング処理決定情報については前述したとおりである。この判定の結果、平滑化フィルタリング処理を実施する場合はステップＳ９０７へ進み、平滑化フィルタリング処理を実施しない場合はステップＳ９０８へ進む。

ステップＳ９０７においては、画像処理回路２０は、空間フィルタリング処理が実施された画像に対して平滑化フィルタリング処理を実施する。そして、ステップＳ９０８において、画像処理回路２０は、予め設定された拡大率で画像データに対して拡大処理を実施する。次に、ステップＳ９０９において、予め設定されたサイズまで画像の拡大が完了しているか否かを判定する。この判定の結果、予め設定されたサイズまで画像データの拡大が完了している場合は拡大処理を終了し、拡大が完了していない場合はステップＳ９０６へ戻り、処理を繰り返す。

本実施形態では、以上の処理によって第１のぼかし画像および第２のぼかし画像を生成する。なお、本実施形態では撮影画像の特徴の解析結果によって平滑化フィルタリング処理を実施するか否か判定しているが、撮影画像の解析を行わず、各平滑化フィルタリングを実施するか否かを予め決定してもよい。例えば、撮影画像の解析を実施せずに、全ての平滑化フィルタリング処理を実施しないようにしてもよい。また、縮小処理の場合は平滑化フィルタリング処理を実施し、拡大処理の場合は平滑化フィルタリング処理を実施しないように固定してもよい。

図２の説明に戻り、次にステップＳ２０７において、画像処理回路２０は、ステップＳ２０５において生成された切り出しマップに基づいて、主被写体に合焦して撮影された画像から主被写体領域を切り出す。そして、ステップＳ２０６において生成された第１のぼかし画像と切り出した主被写体領域とを合成して第１の合成画像を生成する。さらに、ステップＳ２０６において生成された第２のぼかし画像から中間領域を切り出し、前述の第１の合成画像と切り出した中間領域とを合成して第２の合成画像を生成する。

ここで、画像の合成処理の一例について説明する。画像処理回路２０は、切り出しマップの画素値から求まる値α［ｉ，ｊ］（０≦α≦１）に基づいて、主被写体に合焦して撮影された画像ＩＭＧ１［ｉ，ｊ］の被写体領域とぼかし画像ＩＭＧ２［ｉ，ｊ］とを合成する。そして、合成画像Ｂ［ｉ，ｊ］を生成する。すなわち、画像処理回路２０は、合成画像Ｂ［ｉ，ｊ］を、以下の式（２）を用いて算出する。なお、［ｉ，ｊ］は各画素を示している。
Ｂ［ｉ，ｊ］
＝ＩＭＧ１［ｉ，ｊ］＊α［ｉ，ｊ］＋ＩＭＧ２［ｉ，ｊ］＊（１−α）［ｉ，ｊ］
・・・（２）

上記の処理によって得られた第２の合成画像を、背景ぼかし画像として取得する。以上のよう、本実施形態によれば、鮮鋭領域とぼかし領域との切り替わる境界が目立たない背景ぼかし画像を得ることができる。また、画像サイズに応じて平滑化フィルタリング処理の有無を切り替えるようにしたので、縮小画像に空間フィルタ処理を行ってぼかし効果を得る場合でも、高輝度画素の輝度レベルをできるだけ残した状態で空間フィルタリング処理を行うことができる。さらには拡大処理後にジャギーの発生を抑えたぼかし画像を得ることができる。なお、処理時間を短縮するために、第２のぼかし画像を生成する際には、フィルタリング処理を行う領域を中間領域のみとするようにしてもよい。

（第２の実施形態）
第１の実施形態では、主被写体に合焦した画像と、背景に合焦した画像との２枚を撮影した。本実施形態では、主被写体に合焦した画像を含む３枚以上の画像を撮影した場合について、第１の実施形態と異なる点を中心に説明する。なお、本実施形態に係る撮像装置の構成は、図１と同様であるため、説明は省略する。

図１０は、２つの被写体を含む画像の一例を示す図である。図１０に示す画像には、主被写体１００１の後方に第２被写体１００２が写っており、背景１００３は、深度が奥行き方向に徐々に深くなるような構図となっている。

本実施形態における背景ぼかし処理の手順については、基本的には図２に示した手順と同様である。以下、第１の実施形態と異なる点をについて説明する。
まず、図２のステップＳ２０１においては、撮像装置１００は測距制御部４２の制御により主被写体に合焦して撮影を行う。次に、測距制御部４２の制御により撮影レンズ１０を所定量ずらし、主被写体後方の第２被写体に合焦して撮影を行う。さらに、測距制御部４２の制御により撮影レンズ１０を所定量ずらし、背景に合焦して撮影を行う。次に、画像処理回路２０は、第２被写体に合焦して撮影された画像と、背景に合焦して撮影された画像とを用いて、ステップＳ２０２〜Ｓ２０５までの処理を行う。

続いてステップＳ２０６において、画像処理回路２０は、主被写体に合焦して撮影された画像に第１のぼかし処理を実施して第１のぼかし画像を生成し、第２のぼかし処理を実施して第２のぼかし画像を生成する。さらに、主被写体に合焦して撮影された画像に対し、第１のぼかし画像と第２ぼかし画像との中間的なぼかし量となる第３のぼかし処理を実施して、第３のぼかし画像を生成する。

次に、ステップＳ２０７において、画像処理回路２０は、第１のぼかし画像からステップＳ２０５において生成された切り出しマップに基づいた領域を切り出し、第２のぼかし画像と合成して第１の合成画像を生成する。次に、画像処理回路２０は、第３のぼかし画像からステップＳ２０５において生成された切り出しマップに基づいた領域を切り出し、第１の合成画像と合成して第２の合成画像を生成する。

以上のように本実施形態によれば、第１のぼかし画像の領域と第２のぼかし画像の領域とが切り替わる境界が目立たない多段階のぼかし画像を得ることができる。さらに、多段階のぼかし画像に、主被写体に合焦して撮影された画像を合成することにより、各領域が切り替わる境界が目立たない多段階の背景ぼかし画像を得ることが可能となる。

なお、本実施形態における領域判別処理は、被写体側に合焦している画像と背景側に合焦している画像とを用いて行っているが、これに限定されるものではない。例えば、主被写体よりも前側に存在する被写体にぼかし処理を行う場合、前側の被写体に合焦した画像と主被写体に合焦した画像とを用いるようにしてもよい。

（第３の実施形態）
第１の実施形態では、画像サイズに応じて平滑化フィルタリング処理を実施するか否かを決定した。これに対して本実施形態では、入力画像の輝度分布や斜線検出情報などの情報によって平滑化フィルタリング処理を実施するか否かを決定する方法について説明する。なお、本実施形態に係る撮像装置の構成は、図１と同様であるため、説明は省略する。第１の実施形態と異なる点を中心に説明する。

本実施形態における背景ぼかし処理の手順については、図２のフローチャートにおいて、ステップＳ２０１からＳ２０５までの処理は、第１の実施形態と同様に実施する。次のステップＳ２０６におけるぼかし処理については第１の実施形態と異なるため、その詳細について以下に説明する。本実施形態では、前述したように、平滑化フィルタリング処理を実施するか否かの判定方法が第１の実施形態と異なっている。なお、画像にぼかしを付加する基本的な処理手順は図６と同様である。

初めに、画像処理回路２０は、画像全体における所定の輝度値Ｙ_th以上の画素が占める比率Ｒ₁と、所定の比率Ｒ_thとを比較し、Ｒ₁≧Ｒ_thを満たす場合に、平滑化フィルタリング処理を実施するか否かをさらに判定する。一方、前記関係を満たさない場合は、平滑化フィルタリング処理を実施するものと決定する。

前記関係を満たす場合は、初めに、画像処理回路２０は、縮小処理における平滑化フィルタリング処理を実施するか否かを判定する。このとき、画像処理回路２０は、所定のテーブルを参照し、所望の縮小倍率に対応して平滑化フィルタリング処理を実施するか否かを決定する。

次に、画像処理回路２０は、拡大処理における平滑化フィルタリング処理を実施するか否かを判定する。具体的には、まず、画像処理回路２０は、縮小画像に対して所定の斜線検出フィルタ係数を用いて斜線検出フィルタリング処理を実施して斜線検出を行う。次に、画像処理回路２０は、検出された斜線が前記縮小画像に占める比率Ｒ₂を算出し、所定の判定テーブルを参照して１回目の拡大処理からの平滑化フィルタリング処理の実施回数Ｎを決定する。

図１１は、縮小画像に対して３回の拡大処理を実施する場合の判定テーブルの一例を示す図である。図１１に示す例では、斜線の占める比率Ｒ₂が９０％以上の場合は、画像処理回路２０は拡大画像におけるジャギーの発生を抑えるため、平滑化フィルタリング処理を３回全て実施することを決定する。一方、斜線の占める比率Ｒ₂が３０％未満の場合は、画像処理回路２０は平滑化フィルタリング処理を実施しないことを決定する。

以上のように本実施形態においては、以上のような手順で平滑化フィルタリング処理を実施するか否かを決定し、その後、図６に示す手順により第１のぼかし画像および第２のぼかし画像を生成する。次のステップＳ２０７においては、第１の実施形態と同様の手順により背景ぼかし画像を取得する。

なお、本実施形態では、画像全体における所定の輝度値Ｙ_th以上の画素が占める比率によって平滑化フィルタリング処理を実施するか否かを判定しているが、それ以外の方法によって判定を行ってもよい。例えば、画像全体における輝度レベルのヒストグラムを作成し、輝度レベルの分布に応じて判定を行ってもよい。また、図１１に示す実施回数Ｎおよび比率Ｒ₂などの数値は、本実施形態における一例であり、これに限るものではない。

以上のように本実施形態によれば、縮小画像に空間フィルタ処理を行ってぼかし効果を得る場合でも、高輝度画素の輝度レベルをできるだけ残した状態で空間フィルタリング処理を行うことができる。また、さらには拡大処理後にジャギーの発生を抑えたぼかし画像を得ることができる。なお、本実施形態における領域判別処理は、被写体側に合焦している画像と背景側に合焦している画像を用いて行っているが、これに限定されるものではない。例えば、主被写体よりも前側に存在する被写体にぼかし処理を行う場合、前側の被写体に合焦した画像と主被写体に合焦した画像とを用いるようにしてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０ 画像処理回路
５０ システム制御部

Claims (12)

1. 主被写体に焦点を合わせた第１の画像と、前記主被写体を含む画像であって前記主被写体の背景に焦点を合わせた第２の画像とを取得する取得手段と、
   前記第１の画像および第２の画像から、主被写体領域、背景領域、および前記主被写体領域と前記背景領域との間の中間領域を判定する領域判定手段と、
   前記第１の画像に対してフィルタリング処理を行って第１のぼかし画像を生成するとともに、前記第１の画像に対してフィルタリング処理を行って前記第１のぼかし画像よりもぼかし量が小さい第２のぼかし画像を生成する生成手段と、
   前記第１の画像から前記主被写体領域を切り出すとともに、前記第２のぼかし画像から前記中間領域を切り出し、前記第１のぼかし画像に前記切り出された主被写体領域および中間領域を合成して背景ぼかし画像を生成する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 主被写体に焦点を合わせた第１の画像と、前記主被写体を含む画像であって前記主被写体の背景に焦点を合わせた第２の画像とを取得する取得手段と、
   前記第１の画像および第２の画像から、主被写体領域、背景領域、および前記主被写体領域と前記背景領域との間の中間領域を判定する領域判定手段と、
   前記第１の画像に対してフィルタリング処理を行って第１のぼかし画像を生成するとともに、前記第１の画像に対してフィルタリング処理を行って前記第１のぼかし画像よりもぼかし量が小さい第２のぼかし画像を生成する生成手段と、
   前記第１の画像から切り出された前記主被写体領域と、前記第２のぼかし画像から切り出された前記中間領域と、前記第１のぼかし画像から切り出された背景領域を合成することによって、背景ぼかし画像を生成する合成手段と、
   を備えることを特徴とする画像処理装置。
3. 前記領域判定手段は、前記取得手段によって取得された第１の画像および第２の画像から鮮鋭度を検出することによって前記主被写体領域、前記背景領域、および前記中間領域を判定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記領域判定手段は、前記第１の画像および第２の画像における前記鮮鋭度の差が所定の範囲内である領域を前記中間領域と判定することを特徴とする請求項３に記載の画像処理装置。
5. 前記領域判定手段は、前記鮮鋭度が所定値以上の領域において判定することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記生成手段は、前記第１の画像に対してフィルタリング処理を行って前記第１のぼかし画像よりもぼかし量が小さい多段階の複数のぼかし画像を生成し、
   前記合成手段は、前記多段階の複数のぼかし画像を用いて前記背景ぼかし画像を生成することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記生成手段は、
   前記第１の画像に対して縮小処理を行う縮小手段と、
   前記縮小手段によって縮小された縮小画像に対して空間フィルタリング処理を行うフィルタリング手段と、
   前記フィルタリング手段によって空間フィルタリング処理が行われた縮小画像に対して拡大処理を行って前記第１のぼかし画像又は前記第２のぼかし画像を生成する拡大手段と、
   を備えることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記縮小手段は、所定の縮小率になるまで縮小処理を繰り返し、
   前記拡大手段は、所定の拡大率になるまで拡大処理を繰り返すことを特徴とする請求項７に記載の画像処理装置。
9. 前記縮小手段は、画像サイズに応じて前記縮小処理を行う前に平滑化フィルタリング処理を行い、
   前記拡大手段は、画像サイズに応じて前記拡大処理を行う前に平滑化フィルタリング処理を行うことを特徴とする請求項８に記載の画像処理装置。
10. 前記縮小手段は、前記第１の画像の輝度分布に応じて前記縮小処理を行う前に平滑化フィルタリング処理を行い、
    前記拡大手段は、前記第１の画像の輝度分布および前記縮小画像における斜線の検出情報に応じて前記拡大処理を行う前に平滑化フィルタリング処理を行うことを特徴とする請求項８に記載の画像処理装置。
11. 主被写体に焦点を合わせた第１の画像と、前記主被写体を含む画像であって前記主被写体の背景に焦点を合わせた第２の画像とを取得する取得工程と、
    前記第１の画像および第２の画像から、主被写体領域、背景領域、および前記主被写体領域と前記背景領域との間の中間領域を判定する領域判定工程と、
    前記第１の画像に対してフィルタリング処理を行って第１のぼかし画像を生成するとともに、前記第１の画像に対してフィルタリング処理を行って前記第１のぼかし画像よりもぼかし量が小さい第２のぼかし画像を生成する生成工程と、
    前記第１の画像から前記主被写体領域を切り出すとともに、前記第２のぼかし画像から前記中間領域を切り出し、前記第１のぼかし画像に前記切り出された主被写体領域および中間領域を合成して背景ぼかし画像を生成する合成工程と、
    を備えることを特徴とする画像処理方法。
12. 主被写体に焦点を合わせた第１の画像と、前記主被写体を含む画像であって前記主被写体の背景に焦点を合わせた第２の画像とを取得する取得工程と、
    前記第１の画像および第２の画像から、主被写体領域、背景領域、および前記主被写体領域と前記背景領域との間の中間領域を判定する領域判定工程と、
    前記第１の画像に対してフィルタリング処理を行って第１のぼかし画像を生成するとともに、前記第１の画像に対してフィルタリング処理を行って前記第１のぼかし画像よりもぼかし量が小さい第２のぼかし画像を生成する生成工程と、
    前記第１の画像から切り出された前記主被写体領域と、前記第２のぼかし画像から切り出された前記中間領域と、前記第１のぼかし画像から切り出された背景領域を合成することによって、背景ぼかし画像を生成する合成工程と、
    を備えることを特徴とする画像処理方法。

Images