JP4586707B2 - 画像処理装置、電子カメラおよび画像処理プログラム - Google Patents

Description

本発明は、処理対象の画像に対して電気的にボケを付加する画像処理を施す画像処理装置、電子カメラおよび画像処理プログラムに関する。

従来より、デジタル的な画像処理の手法を用いて、ボケなどの質感を付加したポートレート撮影調の画像を生成する技術が考えられている。このように電気的にボケを付加する際に、付加されたボケの確認が必要とされる場合がある。例えば、特許文献１の発明では、操作部材を介したユーザ操作に基づいて画像を拡大表示して、付加されたボケの確認を行う技術が開示されている。
特開２００３−１２５２８１号公報

しかし、上述した特許文献１の発明では、ボケの付加を行った部分の画像を拡大して表示するため、焦点の合った主要被写体との対比などを行うことはできない。主要被写体との対比を行うためには、拡大前の画像を再び表示して主要被写体画像を確認するか、または、拡大時の拡大中心を操作部材を介して指定した後に拡大する必要があり、何れの場合も手間がかかるという問題がある。拡大画像をスクロール可能な装置の場合にも、表示されているボケの付加された拡大画像領域から、焦点の合った領域にスクロールし、この領域の画像を確認した後、再度ボケの付加された領域にスクロールしなおすといった面倒な作業が必要となる。

本発明の画像処理装置、電子カメラおよび画像処理プログラムは、処理対象の画像に対して電気的にボケを付加する際に、付加されたボケの確認を効率的に行うことを目的とする。

本発明の画像処理装置は、主要被写体像と、画面内で前記主要被写体像と離間した背景被写体像とを含む処理対象の画像を入力する入力部と、前記主要被写体像と前記背景被写体像との少なくとも一方を認識し、認識結果に基づいて電気的にボケを付加する付加領域を少なくとも１つ決定し、前記付加領域の画像ごとに前記ボケを付加する付加部と、前記付加部により前記ボケを付加した画像を表示する表示部と、前記表示部に表示した前記画像に対する拡大指示を受け付ける拡大指示受付部と、前記拡大指示受付部による前記拡大指示に応じて、前記主要被写体像の少なくとも一部と前記背景被写体像の少なくとも一部とを同時に含む連続した領域を自動決定するか、または、前記主要被写体像の少なくとも一部を含む領域と前記背景被写体像の少なくとも一部を含む領域とを独立に自動決定する拡大領域決定部と、前記付加部により付加した前記ボケの度合いを維持しつつ、前記拡大領域決定部により自動決定された領域の画像を、前記拡大指示にしたがって拡大して前記表示部に表示する表示制御部とを備える。

なお、好ましくは、前記拡大領域決定部は、前記付加部による認識結果と、前記処理対象の画像が撮像された際の焦点検出領域と、前記処理対象の画像が撮像された際に利用した構図補助枠と、前記処理対象の画像の中心位置との少なくとも１つに基づいて、前記領域を自動決定しても良い。
また、好ましくは、前記拡大領域決定部が、前記主要被写体像の少なくとも一部を含む領域と前記背景被写体像の少なくとも一部を含む領域とを独立に自動決定した場合、前記表示制御部は、前記主要被写体像の少なくとも一部を含む領域の画像と前記背景被写体像の少なくとも一部を含む領域の画像とを、前記表示部の画像表示領域を分割して表示しても良い。

また、好ましくは、前記拡大指示受付部による前記拡大指示に応じて前記表示制御部により拡大された画像を表示した後に、前記表示部に表示した前記画像に対する拡大変更指示と表示位置変更指示との少なくとも一方を受け付ける変更指示受付部をさらに備え、前記表示制御部は、前記拡大領域決定部により自動決定した領域の画像を前記拡大変更指示にしたがって拡大するか、または、前記拡大領域決定部により自動決定した領域の位置を前記表示位置変更指示にしたがって変更して前記表示部に表示しても良い。

また、好ましくは、前記拡大指示受付部による前記拡大指示に応じて前記表示制御部により拡大された画像を表示した後に、前記表示部に表示した前記画像に対するボケの度合いの変更指示を受け付けるボケ度合い変更指示受付部をさらに備え、前記付加部は、前記拡大領域決定部により自動決定した領域の画像に、前記ボケ度合いの変更指示にしたがってボケを付加し、前記表示制御部は、前記付加部により前記ボケを付加した画像を前記表示部に表示しても良い。

また、好ましくは、前記付加部は、前記主要被写体像と前記背景被写体像との少なくとも一方を認識する際に被写体認識を行い、前記拡大領域決定部は、前記被写体認識により認識された被写体の顔部分を全て含むように前記領域を自動決定しても良い。
本発明の電子カメラは、上述の画像処理装置を備えた電子カメラであって、被写体像を撮像し、画像を生成する撮像部と、前記撮像部による撮像の開始指示を受け付ける受付部とを備え、前記受付部により前記開始指示を受け付けると、前記入力部は、前記撮像部により生成された前記画像を、前記処理対象の画像として入力し、前記付加部は、前記処理対象の画像に前記ボケを付加し、前記表示部は、前記ボケを付加した画像を表示し、前記拡大指示受付部により前記拡大指示を受け付けると、前記拡大領域決定部は、前記領域を自動決定し、前記表示制御部は、前記拡大領域決定部により自動決定された領域の画像を前記拡大指示にしたがって拡大して前記表示部に表示する。

本発明の画像処理プログラムは、処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムであって、主要被写体像と、画面内で前記主要被写体像と離間した背景被写体像とを含む前記処理対象の画像を入力する入力手順と、前記主要被写体像と前記背景被写体像との少なくとも一方を認識し、認識結果に基づいて電気的にボケを付加する付加領域を少なくとも１つ決定し、前記付加領域の画像ごとに前記ボケを付加する付加手順と、前記付加手順により前記ボケを付加した画像を表示部に表示する表示手順と、前記表示部に表示した前記画像に対する拡大指示を受け付ける拡大指示受付手順と、前記拡大指示受付手順による前記拡大指示に応じて、前記主要被写体像の少なくとも一部と前記背景被写体像の少なくとも一部とを同時に含む連続した領域を自動決定するか、または、前記主要被写体像の少なくとも一部を含む領域と前記背景被写体像の少なくとも一部を含む領域とを独立に自動決定する拡大領域決定手順と、前記付加手順により付加した前記ボケの度合いを維持しつつ、前記拡大領域決定手順により自動決定された領域の画像を、前記拡大指示にしたがって拡大して前記表示部に表示する表示制御手順とを有する。

本発明の画像処理装置、電子カメラおよび画像処理プログラムによれば、処理対象の画像に対して電気的にボケを付加する際に、付加されたボケの確認を効率的に行うことができる。

以下、本発明の実施の形態について説明する。
本実施形態では、本発明の画像処理装置を備えた電子カメラを用いて説明を行う。
図１は、本実施形態の電子カメラ１の構成を示すブロックダイアグラムである。電子カメラ１は、撮像レンズ１１、撮像素子１２、操作部材１３、レンズ駆動回路１４、測光回路１５、ＣＰＵ１６、撮像素子駆動回路１７、信号処理回路１８、データ処理回路１９、液晶モニタ２０、圧縮伸長処理回路２１、表示出力回路２２、記録媒体２３の各部を備える。

不図示の被写体の像は、撮像レンズ１１によって、撮像素子１２の撮像面上に結像される。撮像レンズ１１は、複数枚のレンズで構成され、操作部材１３の操作等に基づいて、レンズ駆動回路１４を介して、フォーカス、ズーム等の調整が可能な構成とされている。
撮像素子１２は、静止画像の単写撮像とともに、静止画像の連続撮像、および動画像の撮像が可能な撮像素子であり、例えばＣＣＤ撮像素子、あるいはＣＭＯＳ型撮像素子などで構成される。撮像素子１２は、測光回路１５で得られた被写体の測光データに基づいて、ＣＰＵ１６の制御のもとで、撮像素子駆動回路１７によって駆動される。撮像素子１２より読み出された映像信号は、信号処理回路１８に入力される。信号処理回路１８は、撮像素子１２より読み出された映像信号に対して、直流再生処理、Ａ／Ｄ変換処理、ホワイトバランス調整、ガンマ変換処理等の信号処理を施し、画像データとしてデータ処理回路１９に出力する。

データ処理回路１９は、入力された画像データに対して、必要に応じて、液晶モニタ２０に表示を行うための解像度（画素数）変換処理を施して、圧縮伸長処理回路２１および表示出力回路２２に出力する。表示出力回路２２は、データ処理回路１９から入力された画像データに所定の信号処理を施して、液晶モニタ２０に出力する。なお、表示出力回路２２は、さらに、ＣＰＵ１６の制御に基づいて、必要に応じて、データ処理回路１９から出力された画像データに、撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これによって、液晶モニタ２０には、被写体画像にオーバーレイ画像が重畳されて表示される。

圧縮伸長処理回路２１は、入力された画像データに対して圧縮処理を施して、記録媒体２３に記録する。液晶モニタ２０は、記録媒体２３に圧縮して記録された画像データに対応する画像を表示する。
なお、液晶モニタ２０は、記録媒体２３に記録されている画像データに対応する画像を再生画像として表示することもできる。ＣＰＵ１６は、記録媒体２３に記録された画像データ読み出して、圧縮伸長処理回路２１で復号化処理を施し、データ処理回路１９および表示出力回路２２を介して、液晶モニタ２０に供給する。

ＣＰＵ１６は、操作部材１３の一部を構成するレリーズ釦の操作に基づいて、撮像画面上に設定された領域の画像データを抽出し、該領域のコントラスト値(もしくは、該領域の高空間周波数成分量)を算出し、算出結果をもとに、撮像素子１２の撮像面上における被写体像のフォーカス状態を調整する、いわゆるコントラストＡＦ動作を行う。
また、ＣＰＵ１６は、撮像レンズ１１を駆動し、順次得られる映像信号(または画像データ)を、画面内の各被写体ごとに解析し、領域内のコントラスト値が最大となった際のレンズ位置をもとに、各被写体ごとの(相対的な)撮影距離情報を取得する。

なお、コントラストＡＦに代えて、公知の瞳分割方式の位相差ＡＦを用いても良い。この場合にも、自動合焦動作によって、各領域の撮影距離情報を得ることができる。
また、ＣＰＵ１６は、操作部材１３の一部を構成するズーム操作部材の操作に基づいて、レンズ駆動回路１４を介して、撮像レンズ１１を駆動し、撮像素子１２の撮像面上に結像される被写体像を拡大または縮小する光学的なズーム動作を行う。さらに、ＣＰＵ１６は、操作部材１３の一部を構成するズーム操作部材の操作に基づいて、撮像素子１２による撮像画像データ、もしくは記録媒体２３に記録された記録画像データを、データ処理回路１９による解像度（画素数）変換処理によって拡大または縮小する電気的なズーム動作を制御する。

次に、電子カメラ１における、本撮影動作と、スルー画撮影動作について説明する。スルー画撮影動作とは、本撮影の前段階としての予備撮影動作である。
ＣＰＵ１６は、操作部材１３の一部を構成するレリーズ釦の半押し操作がなされている間継続して、前述の自動合焦動作とともに、撮像素子１２によるスルー画撮影動作を実行する。ＣＰＵ１６は、レリーズ釦の半押し操作を検出すると、撮像素子駆動回路１７に対して、スルー画撮像動作を実行する駆動信号を出力するように指示する。撮像素子１２は、スルー画撮像動作のための駆動信号を受けて、例えば、撮像素子１２上の近傍の同色画素の蓄積電荷を加算して、例えば、３０フレーム／秒の高フレームレートで映像信号（動画像信号）を連続的に出力する。なお、スルー画撮像時には、後述する高解像度の本撮影時に比較して低解像度の映像信号が、撮像素子１２より出力される。

このようにして撮像素子１２から出力された映像信号は、信号処理回路１８およびデータ処理回路１９で所定の処理が施された後、表示出力回路２２を介して、順次液晶モニタ２０に供給される。ユーザは、液晶モニタ２０に表示された画像を目視することにより、これから本撮影で撮影しようとする被写界の状態を観察することができる。
スルー画撮影動作に続いて、レリーズ釦が全押し操作されると、ＣＰＵ１６は、本撮影動作を開始する。レリーズ釦が全押し操作されると、ＣＰＵ１６は、撮像素子駆動回路１７に、本撮影動作のための駆動信号を出力するように制御する。本撮影において、撮像素子１２は、撮像素子駆動回路１７から出力される駆動信号に基づいて、前述の同色近傍画素どうしの蓄積電荷の加算処理を行うことなく画像信号を出力する。したがって、本撮影時には、前述したスルー画撮影時に比較して高解像度の映像信号が、撮像素子１２より出力される。

このようにして撮像素子１２から出力された映像信号は、信号処理回路１８およびデータ処理回路１９で所定の処理が施された後、表示出力回路２２を介して、液晶モニタ２０に供給されるとともに、圧縮伸長処理回路２１を介して、記録媒体２３に記録される。
次に、本発明の特徴である電気的なボケの付加および液晶モニタ２０への表示処理について、図２に示すフローチャートを用いて説明する。

ステップＳ１において、ＣＰＵ１６は、処理対象の画像の画像データを取得する。本実施形態において、処理対象の画像とは、撮像素子１２により生成される画像、あるいは記録媒体２３に記録された画像である。ボケの付加処理は、操作部材１３を介したユーザ操作に基づいて開始される構成としても良いし、撮像素子１２により画像が生成される際には常に実行する構成としても良い。

図３に、処理対象の画像の例を示す。図３Ａに示すように、手前に主要被写体である人物Ａが存在し、その後方に背景の被写体である木Ｂが存在し、さらに後方に別の被写体である車Ｃが存在する。なお、電子カメラ１から人物Ａまでの距離をＤＡ、電子カメラ１から木Ｂまでの距離をＤＢ、電子カメラ１から車Ｃまでの距離をＤＣとする。図３Ｂに、この状態で撮像された画像の例を示す。図３Ｂの画像は、人物Ａに焦点を合わせて撮像されたものとする。また、木Ｂおよび車Ｃは、人物Ａに比べて遠方に存在するため、高域空間周波数成分が劣化している。また、図３Ｂに示すように、木Ｂおよび車Ｃは、電子カメラ１側から見て、人物Ａと重複しない画面上で空間的に離間した位置に存在する。このような画像に対して、さらに画像の遠近感を強調するために、背景被写体である木Ｂおよび車Ｃの部分の画像に対して後段の処理においてボケを付加する。

ステップＳ２において、ＣＰＵ１６は、データ処理回路１９を介して、画像中の被写体（主要被写体像、あるいは背景被写体像）認識を行う。この被写体認識により、ＣＰＵ１６は、主要被写体である人物Ａと、背景被写体である木Ｂおよび車Ｃとを認識する。なお、被写体認識は、公知技術と同様に行う。さらに、認識した被写体のうち、主要被写体の領域を抽出する。例えば、顔認識によって顔領域を抽出し、これを主要被写体領域とする構成としても良いし、周波数解析によって主要被写体領域を認識する構成としても良いし、顔認証によって特定個人の顔領域を抽出し、これを主要被写体領域とする構成としても良いし、焦点検出領域と、これに連続する領域であって、所定の範囲内の色度差の領域を主要被写体領域としても良いし、構図設定用の補助枠の中を主要被写体領域とする構成としても良いし、画像の中心位置を含む所定領域を主要被写体領域とする構成としても良い。また、いくつかの方法を組み合わせて認識を行うようにしても良い。

ステップＳ３において、ＣＰＵ１６は、データ処理回路１９を介して、ボケを付加する領域を決定する。ボケを付加する領域は、例えば、ステップＳ２において抽出した主要被写体領域を除いた領域であっても良いし、液晶モニタ２０上にカーソルを表示し、操作部材１３を介したユーザ操作に基づいて指定される領域であっても良い。
ステップＳ４において、ＣＰＵ１６は、データ処理回路１９を介して、ボケを付加する処理を行う。

データ処理回路１９は、ボケを付加する領域に対して、ＬＰＦ処理、もしくは点拡がり関数による畳み込み演算処理を施すことによって、画像の高域空間周波数成分を劣化させてデフォーカス処理を行う。また、データ処理回路１９は、操作部材１３を介したユーザ操作に基づいて、ＬＰＦ特性や点拡がり関数の係数などを変更することによって、付加するボケの大きさを変更する。さらに、上述したＡＦ動作の際に取得した撮影距離情報に基づいて、付加するボケの大きさをＣＰＵ１６が自動的に設定する構成としても良い。なお、ボケを付加する方法はどのようなものであっても良い。

ステップＳ５において、ＣＰＵ１６は、ボケを付加する処理を施した画像を、表示出力回路２２を介して液晶モニタ２０に表示する。
図４に、この状態で液晶モニタ２０に表示される画像の例を示す。図４の画像は、木Ｂおよび車Ｃにボケが付加された画像である。車Ｃは、木Ｂよりも遠方に存在するため、木Ｂよりもボケの付加の度合いが大きい。図４では、ボケの度合いの大きさを線の太さで示している。

ステップＳ５で説明したボケを付加する処理を施した画像の表示を利用して、ユーザは、付加されたボケの確認を行うことができる。以下、ボケの確認時の動作を説明する。
ステップＳ６において、ＣＰＵ１６は、操作部材１３を介したユーザ操作により、拡大指示を受け付けたか否かを判定する。ユーザは、画像を拡大してボケの確認を行いたい場合、例えば、操作部材１３の一部を構成する拡大指示釦の１回の押圧操作を行う。なお、液晶モニタ２０に「拡大指示」のダイアログを表示し、このダイアログをユーザに選択させる構成でも良い。そして、ＣＰＵ１６は、拡大指示を受け付けると、ステップＳ７に進む。

ステップＳ７において、ＣＰＵ１６は、拡大する領域を自動決定する。ＣＰＵ１６は、ステップＳ２における被写体認識の結果と、処理対象の画像が撮像された際の焦点検出領域と、処理対象の画像が撮像された際に利用した構図補助枠と、処理対象の画像の中心位置との少なくとも１つに基づいて、拡大する領域を自動決定する。例えば、被写体認識の結果を利用して、主要被写体の面積が全体の３０％程度になるように拡大する領域を自動決定する。なお、ＣＰＵ１６は、背景被写体ごとに、主要被写体像の少なくとも一部と背景被写体像の少なくとも一部とを同時に含む領域を自動決定する。ここでは、図５Ａに示すように、木Ｂに関しては領域（Ｂ）を決定し、車Ｃに関しては、領域（Ｃ）を決定する場合を例に挙げて説明する。領域（Ｂ）は、主要被写体である人物Ａの像の一部と背景被写体である木Ｂの像とを同時に含む領域である。また、領域（Ｃ）は、主要被写体である人物Ａの像の一部と背景被写体である車Ｃの像とを同時に含む領域である。

ステップＳ８において、ＣＰＵ１６は、表示出力回路２２を介して、液晶モニタ２０に表示する画像の拡大処理を行う。ＣＰＵ１６は、ステップＳ７で決定した領域ごとに、画像の拡大処理を行う。拡大処理は、公知技術と同様に行われる。図５Ｂに領域（Ｂ）の拡大結果を示し、図５Ｃに領域（Ｃ）の拡大結果を示す。ＣＰＵ１６は、図５Ｂおよび図５Ｃに示した拡大画像を手動または自動で切り換えて液晶モニタ２０に表示する。なお、表示の順番は、各被写体ごとの撮影距離情報などに応じて決定すれば良い。

図５Ｂの拡大画像においては、主要被写体である人物Ａの像の一部と背景被写体である木Ｂの像とを同時に含む連続した１つの画像として液晶モニタ２０に表示する。したがって、ユーザは、この画像を目視することにより、木Ｂの像のボケの具合を、主要被写体である人物Ａの像の合焦度合いと対比して細部について容易に比較することができる。また、主要被写体である人物Ａと木Ｂとの間に存在する不図示の被写体におけるボケ度合いの連続性についても、細部について容易に確認することができる。

また、ステップＳ２における被写体認識において、顔認証を行った場合には、顔認証の正誤の確認もこの時点で行うことができる。なお、図５の例では、拡大する領域には、主要被写体である人物Ａの像の一部と背景被写体である木Ｂの像全体とを同時に含む例を示したが、主要被写体である人物Ａの像全体（顔部分のみでも良い）を含むようにしても良いし、 背景被写体である木Ｂの像の一部のみを含むようにしても良い。領域（Ｃ）についても、領域（Ｂ）と同様の効果が得られる。なお、図６Ａの領域（Ｄ）に示すように、主要被写体である人物Ａの像と背景被写体である木Ｂおよび車Ｃの像の一部とを１つの領域として自動決定した場合には、図６Ｂに示すように、主要被写体である人物Ａの像と背景被写体である木Ｂおよび車Ｃの像とを同時に含む連続した１つの画像として液晶モニタ２０に表示することができる。この場合、木Ｂおよび車Ｃの像のボケの具合を、主要被写体である人物Ａの像の合焦度合いと対比して細部について容易に比較することができるとともに、木Ｂおよび車Ｃの像のボケの具合を比較することができる。

ステップＳ９において、ＣＰＵ１６は、操作部材１３を介したユーザ操作により、拡大変更指示を受け付けたか否かを判定する。そして、ＣＰＵ１６は、拡大変更指示を受け付けると、ステップＳ１０に進み、所定時間を経過しても拡大変更指示を受け付けない場合は、後述するステップＳ１１に進む。
ステップＳ１０において、ＣＰＵ１６は、表示出力回路２２を介して、液晶モニタ２０に表示する画像の拡大処理を行う。なお、ＣＰＵ１６は、常に、主要被写体の像と背景被写体像とを同時に含むように拡大処理を行う。すなわち、ステップＳ７で自動決定した領域の中心を拡大中心とするのではなく、主要被写体の像と背景被写体像とを同時に含むことを前提として拡大中心を決定する。図７Ａは、ステップＳ８において拡大処理を施した画像を示し、図７Ｂは、ステップＳ１０において拡大処理を施した画像を示す。図７Ａは、点Ｐ１を拡大中心として拡大処理が施されているが、図７Ｂは、点Ｐ２を拡大中心として拡大処理が施されている。ＣＰＵ１６は、このように主要被写体の像と背景被写体像とを同時に含むことを前提として拡大中心を決定する。なお、拡大変更指示により拡大の限界を超えた指示、あるいは、ボケの確認に適さない指示が行われた場合には、液晶モニタ２０に対する表示などを利用してユーザに対する警告を行うと良い。また、ボケの確認に適さない指示が行われた場合には、ボケの確認に適した位置に表示位置を変更するようにしても良い。

なお、この拡大動作においては、付加されるボケの度合いは変化しない。したがって、ボケの度合いは、拡大前の状態を維持している。
そして、ＣＰＵ１６は、拡大処理を終了すると、ステップＳ９に戻り、ステップＳ９以降の処理を繰り返す。
ステップＳ１１において、ＣＰＵ１６は、操作部材１３を介したユーザ操作により、表示位置変更指示を受け付けたか否かを判定する。そして、ＣＰＵ１６は、表示位置変更指示を受け付けると、ステップＳ１２に進み、所定時間を経過しても表示位置変更指示を受け付けない場合は、後述するステップＳ１３に進む。

ステップＳ１２において、ＣＰＵ１６は、表示出力回路２２を介して表示位置を変更するスクロール処理を行う。表示位置を変更する処理は、公知技術と同様に行われる。なお、表示位置変更指示により位置変更の限界を超えた指示が行われた場合には、液晶モニタ２０に対する表示などを利用してユーザに対する警告を行うと良い。そして、表示位置を変更する処理を終了すると、ＣＰＵ１６は、ステップＳ９に戻り、ステップＳ９以降の処理を繰り返す。

ステップＳ１３において、ＣＰＵ１６は、操作部材１３を介したユーザ操作により、ボケ度合いの変更指示を受け付けたか否かを判定する。そして、ＣＰＵ１６は、ボケ度合いの変更指示を受け付けると、ステップＳ１４に進み、所定時間を経過してもボケ度合いの変更指示を受け付けない場合は、ステップＳ９に戻り、ステップＳ９以降の処理を繰り返す。

ステップＳ１４において、ＣＰＵ１６は、データ処理回路１９を介して、ボケ度合いを変更する処理を行う。なお、ボケ度合いを変更した場合には、ボケ度合いの変更後の画像のみを記録しても良いし、ボケ度合いの変更前後の画像を両方記録しても良い。
ＣＰＵ１６は、ステップＳ１３においてボケ度合いの変更指示を受け付けると、その時点で表示されている部分の画像のみでなく、画像全体に対してボケ度合いを変更する処理を行う。

以下、画面のボケ度合いを変更する例について説明する。図８において、横軸は撮像画面上の位置を示し、縦軸は付加するボケの度合いを示す。また、ここでは、説明を容易にするため、木Ｂの画面上の位置が、車Ｃと同じく、人物Ａの右側にあるものとして説明を行う。
図８Ａの点線Ｌ１は、画像全体の一方向(例えば、水平方向)の各被写体の位置と、ボケ度合いの変更前（デフォルト）における付加されたボケの度合いの関係を示したものである。主要被写体である人物Ａに対してはボケは付加されずに、背景被写体である木Ｂおよび車Ｃについて、主要被写体からの距離の差に比例した度合いのボケが付加されている。

例えば、図５Ｂに示した主要被写体である人物Ａの像の一部と背景被写体である木Ｂの像とを同時に含む連続した領域の画像が拡大表示された状態で、ボケ度合いの変更指示を受け付けた場合、車Ｃを含む領域に対しても、図８Ａの実線Ｌ２のように、ボケ度合いを変更する。なお、ボケ度合いの変更量は、変更前のボケ度合いとの相違に基づいて決定される。すなわち、各被写体ごとに、主要被写体である人物Ａとのデフォルトのボケ度合いの相違量を求め、この相違量を、主要被写体である人物Ａと各被写体とのボケ度合いの相違量で正規化して、この量に比例してボケ度合いの変更量を変化させるようにする。なお、主要被写体である人物Ａよりも近方（電子カメラ１側）に被写体が存在する場合にも同様に処理を行う。

なお、その時点で表示されている部分の画像のみに対してボケ度合いを変更する処理を行うようにしても良い。この場合、図８Ｂに示すように、ボケ度合いを変更する。図８Ｂの例では、人物Ａ、木Ｂを含んだ拡大画像表示状態で、木Ｂのボケ度合いの変更指示がなされた場合に、図８Ｂの実線Ｌ３のように木Ｂとその周辺領域のみ、ボケ度合いの変更がなされる。

図８Ａおよび図８Ｂを用いて説明した各処理は、表示形態やユーザ操作などに基づいてどちらか一方を行う構成としても良いし、両者を切り換えて行う構成としても良い。
そして、ボケ度合いを変更する処理を終了すると、ＣＰＵ１６は、表示出力回路２２を介して、液晶モニタ２０に、ボケ度合いを変更する処理後の画像を表示する。ＣＰＵ１６は、処理後の画像の表示を終了すると、ステップＳ９に戻り、ステップＳ９以降の処理を繰り返す。

なお、上述したステップＳ７以降の処理を以下のように変形しても良い。
すなわち、ステップＳ７において、拡大する領域を自動決定する際に、背景被写体ごとに、主要被写体像の少なくとも一部を含む領域と、背景被写体像の少なくとも一部を含む領域とを独立に自動決定する。例えば、図９Ａに示すように、木Ｂに関しては、主要被写体である人物Ａを含む領域（Ｂ１）と、木Ｂを含む領域（Ｂ２）とを決定し、車Ｃに関しては、主要被写体である人物Ａを含む領域（Ｃ１）と、車Ｃを含む領域（Ｃ２）とを決定する。なお、拡大する領域の自動決定は、上記と同様に、ステップＳ２における被写体認識の結果と、処理対象の画像が撮像された際の焦点検出領域と、処理対象の画像が撮像された際に利用した構図補助枠と、処理対象の画像の中心位置との少なくとも１つに基づいて行う。

ステップＳ８において、拡大処理を行う際に、背景被写体ごとに同一の拡大倍率で拡大処理を行う。図９Ａに示したように、木Ｂに関する領域（Ｂ１）および（Ｂ２）と、車Ｃに関する領域（Ｃ１）および（Ｃ２）とでは、領域の大きさが異なるので（同じ場合もある）、それぞれに拡大倍率を決定して拡大処理を行う。すなわち、領域（Ｂ１）および（Ｂ２）の拡大倍率は同じものとしているので、同じ尺度で拡大画像の比較を行うことができる。また、この拡大倍率は、領域（Ｃ１）および（Ｃ２）の拡大倍率と必ずしも同じになるとは限らない。

そして、表示出力回路２２を介して、液晶モニタ２０に、画像を表示する際には、主要被写体である人物Ａの拡大画像と背景被写体像の拡大画像とを並列して表示する。木Ｂに関しては、図９Ｂに示すように、主要被写体である人物Ａの拡大画像と木Ｂの拡大画像とを液晶モニタ２０の画像表示領域を分割し並列して表示し、車Ｃに関しては、図９Ｃに示すように、主要被写体である人物Ａの拡大画像と車Ｃの拡大画像とを液晶モニタ２０の画像表示領域を分割し並列して表示する。なお、木Ｂに関する画像と、車Ｃに関する画像とを、手動または自動で切り換えて液晶モニタ２０に表示すると良い。図９Ｂに木Ｂに関する拡大結果を示し、図９Ｃに車Ｃに関する拡大結果を示す。このような表示により、上記した図５Ｂおよび図５Ｃと同様の効果を得ることができる。

この画面表示領域を分割して表示する場合において、ステップＳ９からステップＳ１４の処理は、上記の主要被写体領域と背景被写体領域とを、分割されていない連続した領域内に同時に表示する場合と同様に行うが、ステップＳ９、ステップＳ１１、ステップＳ１３の各指示を受け付ける処理は、主要被写体と背景被写体とで同時に受け付けても良いし、独立して受け付けても良い。主要被写体と背景被写体とで同時に受け付ける場合には、ステップＳ１０、ステップＳ１２、ステップＳ１４の各処理も同様に行い、主要被写体と背景被写体とで独立に受け付ける場合には、ステップＳ１０、ステップＳ１２、ステップＳ１４の各処理も独立に行う。

なお、図９Ｂおよび図９Ｃの例では、２つの画像を横方向に並列表示する例を示したが、領域の形状に応じて縦方向に並列表示しても良い。また、図１０Ａに示すように、主要被写体である人物Ａの像と背景被写体である木Ｂおよび車Ｃの像の一部とを同時に、独立の領域（Ｅ１〜Ｅ３）として自動決定した場合には、図１０Ｂに示すように、主要被写体である人物Ａの像と背景被写体である木Ｂの像と車Ｃの像とを液晶モニタ２０に並列表示することができる。この場合、木Ｂおよび車Ｃの像のボケの具合を、主要被写体である人物Ａの像の合焦度合いと対比して細部について容易に比較することができるとともに、木Ｂおよび車Ｃの像のボケの具合を比較することができる。

なお、図９および図１０の各例において、各領域に含まれる被写体像は全体であっても一部であっても良い。また、並列表示する代わりに、手動または自動で切り換えて、液晶モニタ２０に時分割表示するようにしても良い。
最後に、図２のフローチャートで説明した処理を、スルー画撮影動作に続く本撮影動作において実行する際のタイミングについて、図１１のタイミングチャートを用いて説明する。

時刻ｔ１で、レリーズ釦の半押し動作が行われると、スルー画撮影動作およびＡＦ動作が開始される。時刻ｔ２で、ある被写体への合焦状態となったとすると、時刻ｔ３で、ボケ付加モードが設定される。時刻ｔ２〜ｔ３においては、液晶モニタ２０に表示される表示画像は、ボケの付加されていない画像である。したがって、ユーザは、時刻ｔ２〜ｔ３において合焦状態の良い画像を視覚的に確認することができる。

時刻ｔ３以降、レリーズ釦の全押し動作が行われる時刻ｔ４までの間、液晶モニタ２０には、ボケの付加された低解像度画像（スルー画像）を、例えば、３０フレーム／秒で表示する。そして、時刻ｔ４で、レリーズ釦の全押し動作が行われると、本撮影動作(高解像画像撮影動作)が行われる。時刻ｔ３において、ボケ付加モードが設定されているので、液晶モニタ２０には、時刻ｔ４の操作によって得られた画像（ボケを付加していない画像）を表示することなく、時刻ｔ４の操作によって得られた画像に対してボケを付加した画像を表示する。

時刻ｔ５において、ボケを付加した画像の拡大指示が行われると、上述の処理による拡大画像を、液晶モニタ２０に表示する。
この表示は、操作部材１３を介したユーザ操作にしたがって、拡大前の画像に戻すことができる構成とすると良い。なお、拡大に関するユーザ操作には、操作部材１３のうち、光学的なズーム動作に関する部材を使用し、表示位置の変更に関するユーザ操作には、操作部材１３のうち、メニュー操作に関するカーソルのような部材を使用すると良い。

以上説明したように、本実施形態によれば、主要被写体像と画面内で主要被写体像と離間した背景被写体像とを含む処理対象の画像を入力して、主要被写体像と背景被写体像との少なくとも一方を認識する。そして、認識結果に基づいて電気的にボケを付加する付加領域を少なくとも１つ決定して付加領域の画像ごとにボケを付加し、ボケを付加した画像を表示する。そして、表示した画像に対する拡大指示を受け付けると、拡大指示に応じて、主要被写体像の少なくとも一部と背景被写体像の少なくとも一部とを同時に含む連続した領域を自動決定するか、または、主要被写体像の少なくとも一部を含む領域と背景被写体像の少なくとも一部を含む領域とを独立に自動決定し、すでに付加したボケの度合いを維持しつつ、自動決定された領域の画像を、拡大指示にしたがって拡大して表示する。したがって、異なる撮影距離に存在する被写体に付加されたボケを対比して確認することにより、処理対象の画像に付加されたボケの確認を効率的に行うことができる。

また、本実施形態によれば、拡大する領域を自動決定する際に、ボケを付加するときに行う被写体認識の結果と、処理対象の画像が撮像された際の焦点検出領域と、処理対象の画像が撮像された際に利用した構図補助枠と、処理対象の画像の中心位置との少なくとも１つに基づいて、拡大する領域を自動決定する。したがって、被写界の状況に合わせて、ボケの確認に好適な領域を拡大する領域として自動決定することができる。

また、本実施形態によれば、拡大する領域を自動決定する際に、主要被写体像の少なくとも一部を含む領域と背景被写体像の少なくとも一部を含む領域とを独立に自動決定した場合、主要被写体像の少なくとも一部を含む領域の画像と背景被写体像の少なくとも一部を含む領域の画像とを表示部の画像表示領域を分割して表示する。したがって、主要被写体像の少なくとも一部を含む領域と背景被写体像の少なくとも一部を含む領域とが画面上で離れている場合でも、ボケの確認に十分な画像の拡大を実現することができる。

また、本実施形態によれば、拡大指示に応じて拡大された画像を表示した後に、拡大変更指示と表示位置変更指示とを受け付けると、拡大変更指示にしたがって画像をさらに拡大するか、または、表示位置変更指示にしたがって画像の表示位置を変更して表示する。したがって、ボケの確認のための拡大表示の際のユーザの要望に合わせて、表示を行うことができる。

また、本実施形態によれば、拡大指示に応じて拡大された画像を表示した後に、ボケの度合いの変更指示を受け付けると、ボケ度合いの変更指示にしたがってボケを付加して、画像を表示する。したがって、ボケの確認のための拡大表示の際に、ユーザの要望に合わせて、ボケ度合いを変更することができる。
また、本実施形態によれば、主要被写体像と背景被写体像との少なくとも一方を認識する際に被写体認識を行い、拡大する領域を自動決定する際に、被写体認識により認識された被写体の顔部分を全て含むように領域を自動決定する。したがって、ボケの確認のための拡大表示の際に、主要被写体の画像の詳細（ピント状態など）確認を同時に行うことができる。

また、本実施形態によれば、被写体像を撮像し、画像を生成する撮像部による撮像の開始指示を受け付けると、撮像部により生成した画像にボケを付加し、ボケを付加した画像を表示する。そして、拡大指示を受け付けると、画像を拡大する領域を自動決定し、その領域の画像を拡大指示にしたがって拡大して表示する。したがって、撮像後の表示に要する時間を短縮するとともに、ユーザに違和感を与えることを防ぐことができる。

なお、本実施形態では、図２のフローチャートのステップＳ７において、拡大する領域をＣＰＵ１６により自動決定する例を示したが、操作部材１３を介したユーザ操作に基づいて決定するようにしても良い。
また、本実施形態では、図３に示したように、主要被写体と背景被写体とが重複しない位置に存在する場合を例に挙げて説明を行ったが、主要被写体と背景被写体とが重複する場合にも、本発明を同様に適用することができる。主要被写体と背景被写体とが重複する場合には、例えば、図２のフローチャートのステップＳ７において、重複する境界部分を含むように拡大する領域を自動決定すれば良い。

また、本実施形態では、撮像素子１２により生成される画像、あるいは記録媒体２３に記録された画像を処理対象の画像とする場合を例に挙げて説明を行ったが、予備撮像によるスルー画像や動画像を処理対象の画像としても良い。この場合、液晶モニタ２０には、操作部材１３を介した操作に基づいた任意の時刻のフリーズ画像を表示する構成としても良いし、時間的に変化する動画像を表示する構成としても良い。

また、本実施形態では、背景被写体像を含む領域の画像にボケを付加する例を示したが、主要被写体の前景となる領域の画像にボケを付加する場合にも本発明を同様に適用することができる。
また、本実施形態では、主要被写体像の少なくとも一部と背景被写体像の少なくとも一部とを同時に拡大表示する例を示したが、ユーザの要望に応じて、主要被写体像のみの拡大表示、または、背景被写体像のみの拡大表示と切り換えることができるような構成としても良い。

また、本実施形態では、拡大について説明を行ったが、縮小（拡大率が１未満）の場合にも、本発明を同様に適用することができる。
また、本実施形態では、電子カメラを例に挙げて説明を行ったが、他の撮像装置などに本発明を適用しても良い。また、ボケ効果を付加する処理および画像を表示する処理をコンピュータなどの外部装置で行う構成としても良い。この場合、撮像装置から、画像データとともに各種付帯データをコンピュータなどの外部装置に転送する。外部装置には、図２で示したフローチャートと同様の処理を実現可能なプログラムを予めインストールしておけば良い。

電子カメラ１の構成を示すブロックダイアグラムである。 電子カメラ１の動作を示すフローチャートである。 処理対象の画像の例を示す図である。 ボケを付加する処理を施した画像の例を示す図である。 拡大処理を施した画像の例を示す図である。 拡大処理を施した画像の別の例を示す図である。 拡大処理を施した画像の別の例を示す図である。 ボケ度合いを変更する処理について説明する図である。 拡大処理を施した画像の別の例を示す図である。 拡大処理を施した画像の別の例を示す図である。 スルー画撮影動作に続く本撮影動作において、本発明の処理を実行する際のタイミングについて、図１１のタイミングチャートである。

符号の説明

１，電子カメラ １２，撮像素子 １６，ＣＰＵ １９，データ処理回路 ２０，液晶モニタ ２２，表示出力回路

Claims (8)

1. 主要被写体像と、画面内で前記主要被写体像と離間した背景被写体像とを含む処理対象の画像を入力する入力部と、
   前記主要被写体像と前記背景被写体像との少なくとも一方を認識し、認識結果に基づいて電気的にボケを付加する付加領域を少なくとも１つ決定し、前記付加領域の画像ごとに前記ボケを付加する付加部と、
   前記付加部により前記ボケを付加した画像を表示する表示部と、
   前記表示部に表示した前記画像に対する拡大指示を受け付ける拡大指示受付部と、
   前記拡大指示受付部による前記拡大指示に応じて、前記主要被写体像の少なくとも一部と前記背景被写体像の少なくとも一部とを同時に含む連続した領域を自動決定するか、または、前記主要被写体像の少なくとも一部を含む領域と前記背景被写体像の少なくとも一部を含む領域とを独立に自動決定する拡大領域決定部と、
   前記付加部により付加した前記ボケの度合いを維持しつつ、前記拡大領域決定部により自動決定された領域の画像を、前記拡大指示にしたがって拡大して前記表示部に表示する表示制御部と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記拡大領域決定部は、前記付加部による認識結果と、前記処理対象の画像が撮像された際の焦点検出領域と、前記処理対象の画像が撮像された際に利用した構図補助枠と、前記処理対象の画像の中心位置との少なくとも１つに基づいて、前記領域を自動決定する
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記拡大領域決定部が、前記主要被写体像の少なくとも一部を含む領域と前記背景被写体像の少なくとも一部を含む領域とを独立に自動決定した場合、前記表示制御部は、前記主要被写体像の少なくとも一部を含む領域の画像と前記背景被写体像の少なくとも一部を含む領域の画像とを、前記表示部の画像表示領域を分割して表示する
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記拡大指示受付部による前記拡大指示に応じて前記表示制御部により拡大された画像を表示した後に、前記表示部に表示した前記画像に対する拡大変更指示と表示位置変更指示との少なくとも一方を受け付ける変更指示受付部をさらに備え、
   前記表示制御部は、前記拡大領域決定部により自動決定した領域の画像を前記拡大変更指示にしたがって拡大するか、または、前記拡大領域決定部により自動決定した領域の位置を前記表示位置変更指示にしたがって変更して前記表示部に表示する
   ことを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記拡大指示受付部による前記拡大指示に応じて前記表示制御部により拡大された画像を表示した後に、前記表示部に表示した前記画像に対するボケの度合いの変更指示を受け付けるボケ度合い変更指示受付部をさらに備え、
   前記付加部は、前記拡大領域決定部により自動決定した領域の画像に、前記ボケ度合いの変更指示にしたがってボケを付加し、
   前記表示制御部は、前記付加部により前記ボケを付加した画像を前記表示部に表示する
   ことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記付加部は、前記主要被写体像と前記背景被写体像との少なくとも一方を認識する際に被写体認識を行い、
   前記拡大領域決定部は、前記被写体認識により認識された被写体の顔部分を全て含むように前記領域を自動決定する
   ことを特徴とする画像処理装置。
7. 請求項１から請求項６の何れか１項に記載の画像処理装置を備えた電子カメラであって、
   被写体像を撮像し、画像を生成する撮像部と、
   前記撮像部による撮像の開始指示を受け付ける受付部とを備え、
   前記受付部により前記開始指示を受け付けると、前記入力部は、前記撮像部により生成された前記画像を、前記処理対象の画像として入力し、前記付加部は、前記処理対象の画像に前記ボケを付加し、前記表示部は、前記ボケを付加した画像を表示し、
   前記拡大指示受付部により前記拡大指示を受け付けると、前記拡大領域決定部は、前記領域を自動決定し、前記表示制御部は、前記拡大領域決定部により自動決定された領域の画像を前記拡大指示にしたがって拡大して前記表示部に表示する
   ことを特徴とする電子カメラ。
8. 処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムであって、
   主要被写体像と、画面内で前記主要被写体像と離間した背景被写体像とを含む前記処理対象の画像を入力する入力手順と、
   前記主要被写体像と前記背景被写体像との少なくとも一方を認識し、認識結果に基づいて電気的にボケを付加する付加領域を少なくとも１つ決定し、前記付加領域の画像ごとに前記ボケを付加する付加手順と、
   前記付加手順により前記ボケを付加した画像を表示部に表示する表示手順と、
   前記表示部に表示した前記画像に対する拡大指示を受け付ける拡大指示受付手順と、
   前記拡大指示受付手順による前記拡大指示に応じて、前記主要被写体像の少なくとも一部と前記背景被写体像の少なくとも一部とを同時に含む連続した領域を自動決定するか、または、前記主要被写体像の少なくとも一部を含む領域と前記背景被写体像の少なくとも一部を含む領域とを独立に自動決定する拡大領域決定手順と、
   前記付加手順により付加した前記ボケの度合いを維持しつつ、前記拡大領域決定手順により自動決定された領域の画像を、前記拡大指示にしたがって拡大して前記表示部に表示する表示制御手順と
   を有することを特徴とする画像処理プログラム。
   

Images