JP4935302B2 - 電子カメラおよびプログラム - Google Patents

Description

本発明は、撮影画像を電子的にぼかすことのできる電子カメラおよびプログラムに関する。

カメラによるポートレート撮影や植物等のクローズアップ撮影では、被写界深度を浅くすることで意図的に前景または背景をぼかし、主要被写体を浮かび上がらせる写真表現が従来から好まれている。
ところで、一般的な電子カメラは、銀塩カメラよりも被写界深度が深くなる傾向があるので、上記のようなボケ味を生かした写真表現を苦手とすることが多い。かかる事情から、電子カメラによってポートレート撮影調の画像を生成するための技術が種々検討されている。一例として、特許文献１には、合焦状態の異なる複数の画像を合成することで、主要被写体から離れるほどボケ度合いが大きくなるポートレート調の画像を生成するカメラが開示されている。
特開２００５−３９６８０号公報

しかし、上記の特許文献１の技術において、画像のボケ度合いの変化の刻みは合焦状態を相違させて撮影した画像の数に比例する。したがって、特許文献１の技術では、画像のボケ度合いを連続的に細かく変化させて画像全体のボケ具合をより自然に近づけるには、多数の画像を撮影する必要がある点で改善の余地があった。
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、より少ないフレーム数の撮影画像から、比較的良好なポートレート調の画像を生成できる手段を提供することである。

第１の発明の電子カメラは、撮像部と、被写体抽出部と、画像処理部とを備える。撮像部は、撮影光学系の光束に基づき被写体像を撮影して撮影画像のデータを生成する。被写体抽出部は、撮影画像から主要被写体を抽出するとともに、撮影画像のうちで主要被写体を含まない背景領域の範囲を決定する。画像処理部は、撮影画像の背景領域に対して、撮影画像の下側から上側に向けてボケ度合いが大きくなるように画像をぼかすぼかし処理を実行する。

第２の発明の電子カメラは、撮像部と、被写体抽出部と、画像処理部とを備える。撮像部は、撮影光学系の光束に基づき被写体像を撮影して撮影画像のデータを生成する。被写体抽出部は、撮影画像から主要被写体を抽出するとともに、撮影画像のうちで主要被写体を含まない背景領域の範囲を決定する。画像処理部は、撮影画像の背景領域に対して、画像の一方向に向けてボケ度合いが大きくなるように画像をぼかすぼかし処理を実行する。そして、画像処理部は、撮影画像での上下方向の位置と被写体距離の推定値との対応関係に基づいて、ボケ度合いの大きさを決定する。
第３の発明は、第１または第２の発明において、撮影光学系から焦点距離の情報を取得する焦点距離取得部を電子カメラがさらに備える。そして、画像処理部は、焦点距離に応じてボケ度合いの変化を調整する。

第４の発明は、撮影画像のデータを読み込むデータ読込部と、制御部とを備えた画像処理装置のプログラムである。このプログラムは、以下の第１ステップと、第２ステップとを制御部に実行させる。第１ステップでは、撮影画像から主要被写体を抽出するとともに、撮影画像のうちで主要被写体を含まない背景領域の範囲を決定する。第２ステップでは、撮影画像の背景領域に対して、撮影画像の下側から上側に向けてボケ度合いが大きくなるように画像をぼかすぼかし処理を実行する。
第５の発明は、撮影画像のデータを読み込むデータ読込部と、制御部とを備えた画像処理装置のプログラムである。このプログラムは、以下の第１ステップと、第２ステップとを制御部に実行させる。第１ステップでは、撮影画像から主要被写体を抽出するとともに、撮影画像のうちで主要被写体を含まない背景領域の範囲を決定する。第２ステップでは、撮影画像の背景領域に対して、画像の特定方向に向けてボケ度合いが大きくなるように画像をぼかすぼかし処理を実行する。第２ステップでは、撮影画像での上下方向の位置と被写体距離の推定値との対応関係に基づいて、ボケ度合いの大きさが決定される。

なお、上記の第４または第５の発明に関する構成を画像処理装置、画像処理方法、プログラムを記録した記録媒体などに変換して表現したものも本発明の具体的態様として有効である。

本発明では、撮影画像の背景領域に対して画像の一方向に向けてボケ度合いが大きくなるように画像をぼかすぼかし処理を実行し、１フレームの撮影画像からでも良好なポートレート調の画像を生成できる。

図１は本実施形態の電子カメラの構成を示すブロック図である。本実施形態の電子カメラは、画像データに対して被写体抽出処理およびぼかし処理を実行することで、ポートレート調の画像を生成する機能を有している。
電子カメラは、ズームレンズ１１と、ズームエンコーダ１２と、フォーカシングレンズ１３と、レンズ駆動部１４と、撮像素子１５と、アナログ処理部１６と、バッファメモリ１７と、画像処理部１８と、圧縮伸長処理部１９と、記録Ｉ／Ｆ２０と、外部Ｉ／Ｆ２１と、発光部２２と、姿勢検出部２３と、レリーズ釦２４と、モニタ２５と、ＲＯＭ２６と、ＣＰＵ２７およびシステムバス２８とを有している。なお、バッファメモリ１７、画像処理部１８、圧縮伸長処理部１９、記録Ｉ／Ｆ２０、外部Ｉ／Ｆ２１、モニタ２５およびＣＰＵ２７は、システムバス２８を介して接続されている。

ズームレンズ１１は、焦点距離の調整によって光学的なズームを行うためのレンズであって、光軸方向に前後移動可能に構成されている。また、ズームレンズ１１には、レンズの光軸方向位置を検出するズームエンコーダ１２が取り付けられている。このズームエンコーダ１２の出力はＣＰＵ２７に接続されている。
フォーカシングレンズ１３は合焦位置を調節するためのレンズであって、光軸方向に前後移動可能に構成されている。レンズ駆動部１４は、ＣＰＵ２７の指示によりフォーカシングレンズ１３を光軸方向に移動させる。また、レンズ駆動部１４は、内蔵されたエンコーダ（不図示）によって、フォーカシングレンズ１３の光軸方向位置をＣＰＵ２７に出力する。

撮像素子１５は、ズームレンズ１１およびフォーカシングレンズ１３を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。ここで、電子カメラの撮影モードでは、撮像素子１５はレリーズ時に記録用画像（本画像）を撮影するとともに、撮影待機時にも所定間隔毎に間引き読み出しでスルー画像を出力する。上記のスルー画像のデータは、ＣＰＵ２７による各種の演算処理やモニタ２５での画像表示などに使用される。

アナログ処理部１６は、ＣＤＳ回路、ゲイン回路、Ａ／Ｄ変換回路などを有するアナログフロントエンド回路である。ＣＤＳ回路は、相関二重サンプリングによって撮像素子１５の出力のノイズ成分を低減する。ゲイン回路は入力信号の利得を増幅して出力する。このゲイン回路では、ＩＳＯ感度に相当する撮像感度の調整を行うことができる。Ａ／Ｄ変換回路は撮像素子１５の出力信号のＡ／Ｄ変換を行う。このＡ／Ｄ変換回路の出力はバッファメモリ１７に接続されている。なお、図１では、アナログ処理部１６における個々の回路の図示は省略する。

バッファメモリ１７は、画像処理部１８による画像処理の前工程や後工程で画像データを一時的に記録する。
画像処理部１８は、上記の撮影モードにおいてレリーズ時のデジタル画像信号に各種の画像処理を施して本画像を生成する。また、画像処理部１８は、上記の撮影モードにおいて、ＣＰＵ２７の指示によりスルー画像の画像信号から表示用画像（ビュー画像）を生成する。また、画像処理部１８は、本画像の画像データに対してぼかし処理を実行することができる。なお、ぼかし処理の具体的な内容については後述する。

圧縮伸長処理部１９は解析部および圧縮部を有するＡＳＩＣである（解析部および圧縮部の個別的な図示は省略する）。圧縮伸長処理部１９の解析部では、画像データに対して空間周波数の解析を行う。一方、圧縮伸長処理部１９の圧縮部は、ＪＰＥＧ（Joint Photographic Experts Group）形式による圧縮伸長処理を実行する。
ここで、電子カメラの被写体抽出処理では、解析部による空間周波数の解析処理を利用することができる。なお、解析部が被写体抽出のために空間周波数解析を行なう場合には、圧縮部による画像データの圧縮処理は必ずしも必要ではない。すなわち、被写体抽出処理に必要なのは空間周波数の解析結果であり、画像データの圧縮処理は不要である。したがって、被写体抽出処理の場合には圧縮伸長処理部１９の出力するデータは、後述の記録媒体２９などには記録されない。

記録Ｉ／Ｆ２０には記録媒体２９を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２０は、コネクタに接続された記録媒体２９に対してデータの書き込み／読み込みを実行する。上記の記録媒体２９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記録媒体２９の一例としてメモリカードを図示する。

外部Ｉ／Ｆ２１は、ＵＳＢ（Universal Serial Bus）などのシリアル通信規格の接続端子を有している。そして、外部Ｉ／Ｆ２１は、接続端子を介して接続された外部装置（コンピュータなど）とのデータ送受信を上記の通信規格に準拠して制御する。
発光部２２は、ＣＰＵ２７の指示に応じて被写体に対して撮影時に閃光を照射する。この発光部２２は、例えば、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光制御回路などから構成されている。

姿勢検出部２３は電子カメラの撮影姿勢を検出する。姿勢検出部２３の出力はＣＰＵ２７に接続されている。この姿勢検出部２３は、電子カメラを正位置（または正位置と上下逆の状態）に構えた横位置での撮影姿勢と、電子カメラの右手側または左手側を上にして構えた縦位置での撮影姿勢とを検出することができる。
レリーズ釦２４は、半押し操作による撮影前のＡＦ動作開始の指示入力と、全押し操作による撮影時の露光開始の指示入力とをユーザーから受け付ける。

モニタ２５は、ＣＰＵ２７の指示に応じて各種画像を表示する。本実施形態でのモニタ２５は液晶モニタで構成されている。このモニタ２５には、撮影モードでの撮影待機時にビュー画像が動画表示される。また、モニタ２５は、オンスクリーン機能によって、撮影に必要となる各種情報の表示（例えば、合焦時のＡＦエリアの位置表示、撮影構図を決めるための構図補助フレームの表示など）をビュー画像に重畳表示させることができる。なお、モニタ２５には、ＧＵＩ(Graphical User Interface)形式で各種の設定項目の入力が可能なメニュー画面や、本画像の再生画面なども表示することができる。

ＲＯＭ２６には、電子カメラのシーケンスプログラムや、ぼかし処理用のルックアップテーブル（ＬＵＴ）のデータなどが記録されている。なお、ＬＵＴには、ズームレンズ１１の各々の焦点距離ごとに、ぼかし処理の設定内容（画像上下方向におけるボケ度合いの変化の強弱の幅、画像上下方向の各位置でのボケ度合いの変化率）がそれぞれ対応付けされて記録されている。

ＣＰＵ２７は、電子カメラの各部の統括的な制御を行うプロセッサである。このＣＰＵ２７は、後述のぼかし処理機能を実現するシーケンスプログラムを実行するとともに、プログラムによって撮影条件決定部３０および被写体抽出部３１として機能する。
撮影条件決定部３０は、スルー画像のデータに基づいてコントラスト検出方式で公知のオートフォーカス（ＡＦ）を行う。また、撮影条件決定部３０は、スルー画像のデータに基づいて自動露出（ＡＥ）演算や、オートホワイトバランス（ＡＷＢ）演算を実行する。

被写体抽出部３１は、被写体抽出処理に必要となる各種の演算を実行する。なお、被写体抽出処理の具体的な内容については後述する。
また、被写体抽出部３１は、スルー画像のデータから被写体の顔領域を検出することもできる。例えば、被写体抽出部３１は、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。あるいは、被写体抽出部３１は、特開平８−６３５９７号公報のように、被写体の色情報に基いて肌色領域の輪郭を抽出し、さらに予め用意された顔部品のテンプレートとのマッチングを行って顔領域を検出してもよい。

以下、本実施形態の電子カメラによる撮影時の動作の一例を、図２の流れ図を参照しつつ説明する。なお、以下の動作説明では、電子カメラのぼかし処理機能（本画像に画像処理を施してポートレート撮影調に加工する機能）がオンに設定されていることを前提として説明を行う。
ステップ１０１：ＣＰＵ２７は、撮像素子１５を駆動させてスルー画像の取得を開始する。撮像素子１５は所定間隔毎に間引き読み出しでスルー画像の画像信号を取得する。画像処理部１８はスルー画像のデータに基づいてビュー画像を逐次生成する。そして、撮影待機時のモニタ２５にはビュー画像が動画表示される。したがって、ユーザーはモニタ２５のビュー画像によって、撮影構図を決定するためのフレーミングを行うことができる。

なお、電子カメラの顔認識機能がオンに設定されている場合には、ＣＰＵ２７の被写体抽出部３１がスルー画像のデータに基づいて撮影画面内の被写体の顔領域を検出する。そして、ＣＰＵ２７の撮影条件決定部３０は、検出した顔にピントを合わせる顔認識ＡＦを実行する。
ステップ１０２：ＣＰＵ２７は、ユーザーによってレリーズ釦２４が半押しされたか否かを判定する。レリーズ釦２４が半押しされた場合（ＹＥＳ側）にはＣＰＵ２７はＳ１０３に移行する。一方、レリーズ釦が半押しされていない場合（ＮＯ側）には、ＣＰＵ２７はユーザーによるレリーズ釦２４の半押し操作を待機する。

ステップ１０３：ＣＰＵ２７の撮影条件決定部３０は、スルー画像に基づいてＡＦを実行する。また、撮影条件決定部３０は、スルー画像のデータに基づいてＡＥ演算およびＡＷＢ演算を実行し、本画像の撮影条件（露光時間、絞り値、撮像感度）を決定する。なお、電子カメラの顔認識機能がオンに設定されている場合には、撮影条件決定部３０はレリーズ釦の半押しによってＡＦロックを行う。

ステップ１０４：ＣＰＵ２７は、ユーザーによってレリーズ釦２４が全押しされたか否かを判定する。レリーズ釦２４が全押しされた場合（ＹＥＳ側）にはＣＰＵ２７はＳ１０５に移行する。一方、レリーズ釦２４が全押しされていない場合（ＮＯ側）には、ＣＰＵ２７はユーザーによるレリーズ釦２４の全押し操作を待機する。
ステップ１０５：ＣＰＵ２７は、レリーズ釦２４の全押しに応じて被写体を撮影する。ＣＰＵ２７は撮像素子１５を駆動させて被写体像を撮影する。そして、画像処理部１８はレリーズ時の画像信号に基づいて本画像の画像データを生成する。この本画像の画像データはバッファメモリ１７に一時的に記録される。なお、本実施形態での本画像の一例を図３に示す。

ステップ１０６：ＣＰＵ２７は、ズームエンコーダ１２の出力に基づいて、本画像の撮影時におけるズームレンズ１１の焦点距離のデータを取得する。
ステップ１０７：ＣＰＵ２７は、姿勢検出部２３の出力に基づいて、本画像の撮影時における電子カメラの撮影姿勢を判別する。これにより、ＣＰＵ２７は、本画像の上下を特定することができる。

ステップ１０８：ＣＰＵ２７の被写体抽出部３１は、本画像の画像データ（Ｓ１０５）に対して被写体抽出処理を実行する。被写体抽出処理における被写体抽出部３１は、本画像から主要被写体を抽出するとともに、本画像のうちで主要被写体を含まない背景領域の範囲を決定する。
具体的には、被写体抽出部３１は、以下の（１）および（２）の要領で被写体抽出処理を行う。

（１）第１に、被写体抽出部３１は、本画像内の輪郭線によって本画像を複数の領域に分割する。
一例として、被写体抽出部３１は、画像処理部１８によるエッジ抽出処理で本画像を分割する。この場合、画像処理部１８は、本画像の画像データに対して微分フィルタ（ラプラシアンフィルタなど）によるエッジ抽出処理を施す。そして、被写体抽出部３１は、抽出された輪郭線に基づいて本画像を複数の領域に分割する。

あるいは、被写体抽出部３１は、圧縮伸長処理部１９の解析部の出力に基づいて本画像を複数の領域に分割することもできる。この場合には、被写体抽出部３１は本画像を８×８画素程度の画素ブロックに分割する。次に、圧縮伸長処理部１９は、上記の各々の画素ブロックに離散コサイン変換（ＤＣＴ）処理を施し、各々の画素ブロック毎のＤＣＴ係数を取得する。そして、被写体抽出部３１は、高域周波数成分に対応するＤＣＴ係数が０値ではない画素ブロックを被写体の輪郭とみなして抽出する。その後、被写体抽出部３１は、抽出された画素ブロックに基づいて本画像を複数の領域に分割する。なお、被写体抽出部３１は、本画像の色差および明度などの情報に基づいて、輪郭で仕切られた各々の領域をグループ化するようにしてもよい。

（２）第２に、被写体抽出部３１は、上記（１）で分割された本画像の領域から、主要被写体の位置する領域（主要被写体領域）と、主要被写体を含まない背景領域の範囲とを決定する。図４は、図３の本画像を主要被写体領域および背景領域に分割した状態を示す図である。なお、図４において、斜線が引かれた領域が背景領域である。
ここで、被写体抽出部３１は、以下の（ａ）〜（ｃ）のいずれかの方法（あるいはその組み合わせ）で主要被写体領域を決定する。

（ａ）被写体抽出部３１は、本画像の撮影時に選択されたＡＦエリアの位置に対応する領域を主要被写体領域に決定する。通常は、主要被写体にピントを合わせて本画像を撮影するからである。
（ｂ）撮影構図を決めるための構図補助フレームをビュー画像に重畳表示して本画像を撮影した場合には、被写体抽出部３１は、構図補助フレームの位置に基づいて主要被写体領域を決定する。この場合には、構図補助フレームに対応する位置に主要被写体が含まれる可能性が高いからである（なお、構図補助フレームの表示状態の図示は省略する）。

（ｃ）電子カメラの顔認識機能をオンにして本画像を撮影した場合には、被写体抽出部３１は検出した顔の位置に基づいて主要被写体領域を決定する。この場合には、顔認識機能で認識された人物が主要被写体となる可能性が高いからである。なお、本画像の撮影時に顔が複数検出された場合には、被写体抽出部３１は、最もサイズが大きく至近側にあると推定される顔領域または最も中央寄りに位置する顔領域の一方を基準として主要被写体領域を決定する。

ステップ１０９：ＣＰＵ２７は、画像処理部１８に対して、本画像の背景領域をぼかす画像処理（ぼかし処理）の実行を指示する。例えば、画像処理部１８は、本画像の背景領域に対して、点拡がり関数（PSF:Point Spread Function）のフィルタによる畳み込み演算を行って画像をぼかす。これにより、背景のぼかしによって主要被写体が浮かび上がるように表現された本画像を得ることができる。

このＳ１０９のぼかし処理では、画像処理部１８は画像の下側から上側の方向に向けてボケ度合いを大きくする。上記の点拡がり関数のフィルタの例であれば、画像処理部１８は、背景領域の下側では点の拡がりの小さな関数のフィルタを適用し、画像処理による背景領域のボケ度合いを小さくする。一方、画像処理部１８は、背景領域の上側にいくに従って点の拡がりの大きな関数のフィルタを適用し、画像処理による背景領域のボケ度合いを大きくする。なお、図５は、図３の本画像にぼかし処理を施した状態を示す図である。

以下、本実施形態のぼかし処理において、画像の下側から上側の方向に向けてボケ度合いを大きくする理由を説明する。図６は、図３のシーンにおける電子カメラの画角と被写体の位置関係を示す説明図である。なお、図６では、レンズの光軸が地面と略平行となるようにカメラを構えて撮影した場合を前提としている。
図３，図６に示すように、画像の背景領域では、一般的に画面の下端に地面上の至近側の被写体が写り込み、画面の上側にいくにつれて除々に遠くの被写体が写り込むようになる。そして、画面内の一定以上の高さでは、無限遠にある被写体が背景領域に写り込む可能性が高くなる。

すなわち、画面の下側にある被写体は比較的に主要被写体の近くにあると考えられるので、被写体距離の推定値は小さくなる。そのため、被写体の位置が被写界深度の範囲に近いと考えられる画面の下側では、画像処理部１８は被写体のボケ度合いを小さくする。一方、画面の上側にある被写体は比較的に主要被写体から離れていると考えられるので、被写体距離の推定値は大きくなる。そのため、被写体の位置が被写界深度の範囲から遠いと考えられる画面の上側では、画像処理部１８は被写体のボケ度合いを大きくする。なお、背景領域の上側に被写体距離の小さい被写体が写り込む場合もあり得るが、上記の被写体が大きくぼけたとしても支障が生じるおそれは少ないといえる。以上のように、本実施形態では、本画像の上下位置から推定される被写体距離に基づいて、画像処理部１８がぼかし処理のボケ度合いを調整している。

また、Ｓ１０９のぼかし処理では、画像処理部１８は、複数の点拡がり関数のフィルタを適用し、画像上下方向でのボケ度合いの変化の刻みをできるだけ細かくすることが好ましい。この場合には、本画像の背景領域では、画像上下方向でのボケ度合いが連続的かつ滑らかに変化する。そのため、背景領域内においてボケ度合いの変化する境界が目立ちにくい良好な画像を得ることができる。

さらに、Ｓ１０９のぼかし処理では、画像処理部１８は、ズームレンズ１１の焦点距離のデータ（Ｓ１０６）に基づいて、背景領域のボケ度合いの変化を調整することが好ましい。なお、このぼかし処理の調整は、ＲＯＭ２６のＬＵＴのデータに基づいて実行される。
具体的には、ズームレンズ１１の焦点距離が短いときには、画像処理部１８はボケ度合いの強弱が異なる多数のフィルタを適用し、背景領域内でのボケ度合いの強弱の変化の幅を大きくする。このとき、画像処理部１８は、画像上下方向のボケ度合いの変化率を大きくする。そして、特に画像の下側において僅かな位置の変化で画像のボケ度合いを大きく変化させる。

一方、ズームレンズ１１の焦点距離が長いときには、画像処理部１８は、上記の場合よりもボケ度合いの強弱の変化の幅を小さくし、ボケ度合いの弱いフィルタを適用しないように設定する。また、画像処理部１８は、上記の場合よりも画像上下方向のボケ度合いの変化率を緩やかにする。
以下、ズームレンズ１１の焦点距離に基づいて背景領域のボケ度合いの変化を調整する理由を説明する。一般的な撮影レンズでは被写界深度付近にある被写体を撮影すると、被写体距離のわずかな違いで画像でのボケ度合いが大きく変化する。一方、被写体距離が遠くなると被写体距離の差がボケ度合いに与える影響は少なくなる。

また、図７は、図３のシーンを望遠撮影した本画像を示す図である。図８は、図７のシーンにおける電子カメラの画角と被写体の位置関係を示す説明図である。図８についても、図６と同様にレンズの光軸が地面と略平行となるようにカメラを構えて撮影した場合を前提としている。
図８に示す望遠撮影の場合には図６の場合と比べてカメラの画角は狭くなる。そして、図７および図８から分かるように、望遠撮影において本画像の背景部分の下端に写り込む被写体は、広角撮影時と比べてより望遠側の被写体となる。すなわち、ズームレンズ１１の焦点距離が長くなると至近側の被写体がカメラの画角から外れるので、背景領域内に写り込む被写体の被写体距離の推定値の幅は広角撮影の場合よりも小さくなる。

図９は、背景領域の地面の位置（画像下端から離れる割合で示す）と、その位置に写り込む被写体の被写体距離との対応関係の一例を示す図である。この図９の例では、ズームレンズ１１の焦点距離の値は、望遠時には広角時の３倍に設定されるものとする。図９の曲線Ａに示すズームレンズ１１の広角時（焦点距離：短）には、画面下端に被写体距離３ｍの被写体が収まる。そして、画面下端を起点とする高さ３０％の範囲内には、被写体距離が３ｍから約８ｍの被写体が写り込むこととなる。一方、図９の曲線Ｂに示すズームレンズ１１の望遠時（焦点距離：長）には、画面下端に被写体距離約１０ｍの被写体が収まる。そして、画面下端を起点とする高さ３０％の範囲内には、被写体距離が１０ｍから約２７ｍの被写体が写り込むこととなる。

以上から、広角撮影時には、背景領域内に写り込む被写体の被写体距離の幅が広くなるので、ボケ度合いの強弱の変化の幅を大きくする方が好ましいことが分かる。また、広角撮影時には、画像上下方向の位置の違いが小さくともボケ度合いを変化させた方が好ましいことも分かる。一方、望遠撮影時には、背景領域内に写り込む被写体の被写体距離の幅が狭くなるのでボケ度合いの強弱の変化の幅を小さくしても影響が少ないことが分かる。また、望遠撮影時には、広角撮影時と比べて画像上下方向におけるボケ度合いの変化を緩やかにしても影響が少ないことも分かる。なお、図１０に、図７の本画像にぼかし処理を施した状態を示す。

ステップＳ１１０：ＣＰＵ２７は、本画像の画像データ（Ｓ１０５）と、ぼかし処理を施した画像データ（Ｓ１０９）とを記録媒体２９に記録する。以上で、図２の一連の動作説明を終了する。
以下、本実施形態の効果を説明する。本実施形態の電子カメラでは、本画像に対して主要被写体の抽出処理（Ｓ１０８）を行い、背景領域の被写体に対してぼかし処理を施す（Ｓ１０９）。このぼかし処理では、画面の下側から上側に向けてボケ度合いが大きくなるように被写体がぼかされる。したがって、本実施形態では、背景領域のボケ方が比較的に自然に見えるポートレート調の画像を簡単に得ることができる。

また、本実施形態では、１フレーム分の本画像からポートレート調の画像を生成することができ、ぼかし処理を行うためにボケ度合いの異なる複数の画像を必要とはしない。そのため、加工に必要となる画像の撮影時間を短縮できるとともに、撮影時に要求される画像の記録容量をより小さくできる。特に、本実施形態では、ボケ度合いの変化の刻みが細かい場合でも１フレーム分の本画像で足りるので、その効果が顕著である。

（実施形態の補足事項）
（１）本発明では、ぼかし処理において背景領域のボケ度合いを大きくする方向を上下方向以外にしてもよい。例えば、画面の左右方向に向けてボケ度合いが大きくなるようにぼかし処理を実行してもよい。
（２）上記実施形態では、電子カメラが撮影時に被写体抽出処理およびぼかし処理を実行する例を説明したが、本発明は上記の場合に限定されるものではない。例えば、上記実施形態の電子カメラにおいて、記録媒体２９に記録された本画像を読み出して、ＣＰＵ２７の実行するプログラムによって、上記の被写体抽出処理およびぼかし処理を実行するようにしてもよい。これにより、撮影後に本画像を加工してポートレート調の画像を得ることができる。なお、この場合には、例えばＥｘｉｆ規格のヘッダファイルのデータなどによって、電子カメラはレンズの焦点距離や撮影姿勢のデータを取得することができる。

また、本発明は、例えば、画像処理プログラムの実行により画像処理装置を構成するパーソナルコンピュータや、カメラ機能付きの携帯電話などによっても実現することができる。
（３）上記実施形態において、電子カメラは発光部２２の発光状態を相違させた画像を撮影し、これらの２画像間の明るさの解析によって主要被写体を抽出してもよい。例えば、ＣＰＵ２７は発光部２２を発光させた状態と発光させない状態とで略同一の被写体を撮影した本画像をそれぞれ取得する。説明の便宜上、発光部２２を発光させて撮影した本画像を第１画像と定義する。また、発光部２２を発光させずに撮影した本画像を第２画像と定義する。そして、ＣＰＵ２７は、第１画像および第２画像において、明るさの差分値を画素毎に演算する。そして、ＣＰＵ２７は明るさの差分値に基づいて、第１画像または第２画像から主要被写体を抽出する。

一般に発光撮影時の照度は光源からの距離の２乗に比例して小さくなる。すなわち、発光撮影時には主要被写体は明るく照射される一方で、主要被写体より遠くに位置する背景部分の明るさは低くなる。したがって、発光撮影時と非発光撮影時との明るさの差分値はカメラからの距離に応じて変化するので、かかる差分値を用いれば撮影画像から主要被写体を抽出できる。

あるいは、ＣＰＵ２７は、第１画像および第２画像において、第１画像の明るさと第２画像の明るさとの比率を演算する。そして、ＣＰＵ２７は明るさの比率に基づいて、第１画像または第２画像から主要被写体を抽出してもよい。
上記の差分値で被写体抽出を行うと、反射率の高い部分と低い部分とが隣接する被写体では抽出精度が低下することがある。例えば、黒髪の人物の顔を撮影する場合を考えると、黒髪の部分は反射率が低いので明るさの差分値が小さくなる一方で、顔の部分では相対的に反射率が高いことから明るさの差分値が大きくなる。従って、上記の場合には、人物が髪の部分と顔の部分とが同一の被写体として認識されない可能性がある。ここで、第１画像の明るさは、発光部２２による照明光と環境光との和に被写体の反射率を乗じた値（（照明光成分＋環境光成分）×反射率）となる。また、第２画像の明るさは環境光に被写体の反射率を乗じた値（環境光成分×反射率）となる。すなわち、したがって、明るさの比率に基づいて被写体を抽出する場合には被写体の反射率が相殺される。したがって、上記のように反射率の高い部分と低い部分とが隣接する被写体についても高い精度で抽出することが可能となる。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

本実施形態の電子カメラの構成を示すブロック図 本実施形態の電子カメラによる撮影時の動作の一例を示す流れ図 本実施形態での本画像の一例を示す模式図 図３の本画像を主要被写体領域および背景領域に分割した状態を示す図 図３の本画像にぼかし処理を施した状態を示す模式図 図３のシーンにおける電子カメラの画角と被写体の位置関係を示す説明図 図３のシーンを望遠撮影した本画像を示す模式図 図７のシーンにおける電子カメラの画角と被写体の位置関係を示す説明図 背景領域の地面の位置と被写体距離との対応関係の一例を示す図 図７の本画像にぼかし処理を施した状態を示す模式図

符号の説明

１１…ズームレンズ、１２…ズームエンコーダ、１５…撮像素子、１８…画像処理部、１９…圧縮伸長処理部、２０…記録Ｉ／Ｆ、２２…発光部、２３…姿勢検出部、２７…ＣＰＵ、２９…記録媒体、３０…撮影条件決定部、３１…被写体抽出部

Claims (5)

1. 撮影光学系の光束に基づき被写体像を撮影して撮影画像のデータを生成する撮像部と、
   前記撮影画像から主要被写体を抽出するとともに、前記撮影画像のうちで前記主要被写体を含まない背景領域の範囲を決定する被写体抽出部と、
   前記撮影画像の前記背景領域に対して、前記撮影画像の下側から上側に向けてボケ度合いが大きくなるように画像をぼかすぼかし処理を実行する画像処理部と、
   を備えることを特徴とする電子カメラ。
2. 撮影光学系の光束に基づき被写体像を撮影して撮影画像のデータを生成する撮像部と、
   前記撮影画像から主要被写体を抽出するとともに、前記撮影画像のうちで前記主要被写体を含まない背景領域の範囲を決定する被写体抽出部と、
   前記撮影画像の前記背景領域に対して、画像の特定方向に向けてボケ度合いが大きくなるように画像をぼかすぼかし処理を実行する画像処理部と、を備え、
   前記画像処理部は、前記撮影画像での上下方向の位置と被写体距離の推定値との対応関係に基づいて、前記ボケ度合いの大きさを決定することを特徴とする電子カメラ。
3. 請求項１または請求項２に記載の電子カメラにおいて、
   前記撮影光学系から焦点距離の情報を取得する焦点距離取得部をさらに備え、
   前記画像処理部は、前記焦点距離に応じて前記ボケ度合いの変化を調整することを特徴とする電子カメラ。
4. 撮影画像のデータを読み込むデータ読込部と、制御部とを備えた画像処理装置のプログラムであって、
   前記撮影画像から主要被写体を抽出するとともに、前記撮影画像のうちで前記主要被写体を含まない背景領域の範囲を決定する第１ステップと、
   前記撮影画像の前記背景領域に対して、前記撮影画像の下側から上側に向けてボケ度合いが大きくなるように画像をぼかすぼかし処理を実行する第２ステップと、
   を前記制御部に実行させることを特徴とするプログラム。
5. 撮影画像のデータを読み込むデータ読込部と、制御部とを備えた画像処理装置のプログラムであって、
   前記撮影画像から主要被写体を抽出するとともに、前記撮影画像のうちで前記主要被写体を含まない背景領域の範囲を決定する第１ステップと、
   前記撮影画像の前記背景領域に対して、画像の特定方向に向けてボケ度合いが大きくなるように画像をぼかすぼかし処理を実行する第２ステップと、
   を前記制御部に実行させ、
   前記第２ステップでは、前記撮影画像での上下方向の位置と被写体距離の推定値との対応関係に基づいて、前記ボケ度合いの大きさが決定されることを特徴とするプログラム。

Images