JP5117889B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関し、特に高画質なぼけ画像を得ることができる画像処理装置に関するものである。
また、本発明はデジタルカメラ、及びデジタルカメラの制御方法に応用可能である。

コンパクトデジタルカメラで用いられる撮像素子は、一眼レフカメラで用いられる撮像素子や銀塩フィルムよりも小さく、そのため同じ画角の画像を撮影するために必要な撮影光学系の焦点距離は短い。
焦点距離が短いと、撮影光学系のＦ数を同じにしても、被写界深度が深くなる。
焦点距離が短くなることに比例させてＦ数を小さくすることができれば被写界深度を浅くすることができるが、撮影光学系を大口径化する必要があり、サイズおよびコストが増大する。

このため、コンパクトデジタルカメラで撮影すると、相対的に広い距離範囲に対して焦点が合うことになる。
これは、同じ明るさの画像を撮影したときにぼけの少ない画像が得られるという点では長所となるが、ポートレートのように背景のぼけ具合が重要な画像を撮影するときは、背景までも鮮明になってしまって逆に短所になるという問題がある。

かかる問題を解決すべく、画像処理により背景をぼかすカメラが提案されている（例えば、特許文献１〜４参照。）。
上記特許文献１〜４に記載のカメラでは、被写体までの距離に応じてぼけ強度を変え、遠近感のあるぼけを再現している。
また、特許文献２では、ぼけ強度を利用者が調整可能にしている。しかし、特許文献２に記載のカメラは、多様な表現を可能にするという点で、ぼけ強度を任意の強さに調整できるために優れているものの、ぼけ強度をカメラのＬＣＤの様な小さな表示装置上で確認することは難しく、実用的ではない。
さらに特許文献３では、ぼけ強度を１３５フォーマットで撮影されたものと同等になるように換算している。
またさらに特許文献４では、ガウシアンフィルタ処理や平滑化処理によりぼかし処理を行うことが開示されているものの、そのどちらを用いるかについては何ら言及されていない。

以上の様に、従来のぼかし処理を行う画像処理装置や画像処理方法においては、ぼかし強度を可変に構成しているものの、ぼけの形状やぼけ形状の視認性についてはなんら考慮されていないという問題がある。

特開平９−３１８８７０号公報 特開平１１−２６６３８８号公報 特開２００３−３７７６７号公報 特開２００６−１４０５９４号公報

本発明は、上記の様な状況を鑑みてなされたもので、利用者に複雑な設定や操作を強いることなく、より高品質なぼけ画像を得ることができる画像処理装置及び画像処理方法を提供することを目的としている。

上記課題を解決するために本発明に係る画像処理装置及び画像処理方法は、具体的には下記（１）〜（１１）に記載の技術的特徴を有する。

（１）：入力された背景画像データに平滑フィルタを適用して前記背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、前記平滑フィルタのフィルタサイズを変更することで前記ぼかし処理のぼかし強度を調整するぼかし強度調整手段と、前記背景画像が撮影された際の撮影シーンを表す撮影モードを判定する撮影モード判定手段と、当該判定された撮影モードに基づいて、前記ぼかし強度調整手段の前記平滑フィルタのフィルタサイズの初期値及びリミット値を決定するぼかし強度初期値決定手段と、を備えることを特徴とする画像処理装置である。

上記（１）に記載の構成によれば、撮影シーンを表す撮影モードに基づいて、ぼかし強度の初期値を設定する様に構成されているので、初期状態で撮影シーンに応じた好適なぼけ具合を得られるという効果がある。

また、上記（１）に記載の構成によれば、撮影シーンを表す撮影モードに基づいて、ぼかし強度の調整範囲を設定する様に構成されているので、撮影画像に不自然なぼかし処理を行ってしまうことを防止することができるという効果がある。

（２）：入力された背景画像データに二次元平滑フィルタを適用して前記背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、前記背景画像が撮影された際の撮影シーンを表す撮影モードを判定する撮影モード判定手段と、当該判定された撮影モードに基づいて前記二次元平滑フィルタのフィルタ係数を変更することで、当該判定された撮影モードに基づいて前記ぼかし処理のぼけの輪郭の鮮明度を変更するぼけ形状決定手段と、を備えることを特徴とする画像処理装置である。

上記（２）に記載の構成によれば、撮影シーンを表す撮影モードに基づいて、ぼけ形状（ぼけの形や形の鮮明度）を決定する様に構成されているので、撮影シーンに応じた好適なぼけ画像を得られるという効果がある。

（３）：入力された背景画像データに二次元平滑フィルタを適用して前記背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、前記背景画像データの特性を判定する画像特性判定手段と、当該判定された画像特性に基づいて前記二次元平滑フィルタのフィルタ係数を変更することで、当該判定された画像特性に基づいて前記ぼかし処理のぼけの輪郭の鮮明度を変更するぼけ形状決定手段と、を備えることを特徴とする画像処理装置である。

上記（３）に記載の構成によれば、背景画像データの特性に基づいて、ぼけ形状（ぼけの形や形の鮮明度）を決定する様に構成されているので、背景画像の内容に応じた好適なぼけ画像を得られるという効果がある。

（４）：上記（３）に記載の画像処理装置において、前記画像特性判定手段は、画像データの最大値に基づいて画像特性を判定することを特徴とする画像処理装置である。

上記（４）に記載の構成によれば、背景画像データの最大値に基づいて、ぼけ形状（ぼけの形や形の鮮明度）を決定する様に構成されているので、背景画像の内容に応じた好適なぼけ画像を得られるという効果がある。

（５）：上記（３）に記載の画像処理装置において、前記画像特性判定手段は、画像データの平均値に基づいて画像特性を判定することを特徴とする画像処理装置である。

上記（５）に記載の構成によれば、背景画像データの平均値に基づいて、ぼけ形状（ぼけの形や形の鮮明度）を決定する様に構成されているので、背景画像の内容に応じた好適なぼけ画像を得られるという効果がある。

（６）：入力された背景画像データに平滑フィルタを適用して前記背景画像データのぼかし処理を行うぼかし処理工程を備え、ぼけた背景画像を出力する画像処理方法において、前記平滑フィルタのフィルタサイズを変更することで前記ぼかし処理のぼかし強度を調整するぼかし強度調整工程と、前記背景画像が撮影された際の撮影シーンを表す撮影モードを判定する撮影モード判定工程と、当該判定された撮影モードに基づいて、前記ぼかし強度調整工程の前記平滑フィルタのフィルタサイズの初期値及びリミット値を決定するぼかし強度初期値決定工程と、を備えることを特徴とする画像処理方法である。

上記（６）に記載の構成によれば、撮影シーンを表す撮影モードに基づいて、ぼかし強度の初期値を設定する様に構成されているので、初期状態で撮影シーンに応じた好適なぼけ具合を得られるという効果がある。

また、上記（６）に記載の構成によれば、撮影シーンを表す撮影モードに基づいて、ぼかし強度の調整範囲を設定する様に構成されているので、撮影画像に不自然なぼかし処理を行ってしまうことを防止することができるという効果がある。

（７）：入力された背景画像データに二次元平滑フィルタを適用して前記背景画像データのぼかし処理を行うぼかし処理工程を備え、ぼけた背景画像を出力する画像処理方法において、前記背景画像が撮影された際の撮影シーンを表す撮影モードを判定する撮影モード判定工程と、当該判定された撮影モードに基づいて前記二次元平滑フィルタのフィルタ係数を変更することで、当該判定された撮影モードに基づいて前記ぼかし処理のぼけの輪郭の鮮明度を変更するぼけ形状決定工程と、を備えることを特徴とする画像処理方法である。

上記（７）に記載の構成によれば、撮影シーンを表す撮影モードに基づいて、ぼけ形状（ぼけの形や形の鮮明度）を決定する様に構成されているので、撮影シーンに応じた好適なぼけ画像を得られるという効果がある。

（８）：入力された背景画像データに二次元平滑フィルタを適用して前記背景画像データのぼかし処理を行うぼかし処理工程を備え、ぼけた背景画像を出力する画像処理方法において、前記背景画像データの特性を判定する画像特性判定工程と、当該判定された画像特性に基づいて前記二次元平滑フィルタのフィルタ係数を変更することで、当該判定された画像特性に基づいて前記ぼかし処理のぼけの輪郭の鮮明度を変更するぼけ形状決定工程と、を備えることを特徴とする画像処理方法である。

上記（８）に記載の構成によれば、背景画像データの特性に基づいて、ぼけ形状（ぼけの形や形の鮮明度）を決定する様に構成されているので、背景画像の内容に応じた好適なぼけ画像を得られるという効果がある。

（９）：上記（８）に記載の画像処理方法において、前記画像特性判定工程は、画像データの最大値に基づいて画像特性を判定することを特徴とする画像処理方法である。

上記（９）に記載の構成によれば、背景画像データの最大値に基づいて、ぼけ形状（ぼけの形や形の鮮明度）を決定する様に構成されているので、背景画像の内容に応じた好適なぼけ画像を得られるという効果がある。

（１０）：上記（８）に記載の画像処理方法において、前記画像特性判定工程は、画像データの平均値に基づいて画像特性を判定することを特徴とする画像処理方法である。

上記（１０）に記載の構成によれば、背景画像データの平均値に基づいて、ぼけ形状（ぼけの形や形の鮮明度）を決定する様に構成されているので、背景画像の内容に応じた好適なぼけ画像を得られるという効果がある。

（１１）：デジタルカメラであることを特徴とする上記（１）乃至（５）のいずれか１項に記載の画像処理装置である。

上記（１１）に記載の構成によれば、上記（１）乃至（５）のいずれか１項に記載の構成をデジタルスチルカメラに適用する様に構成されているので、上記（１）乃至（５）の構成と同様の効果が得られる。

本発明によれば、利用者に複雑な設定や操作を強いることなく、より高品質なぼけ画像を得ることができる画像処理装置及び画像処理方法を提供することができる。

図面を用いて本発明の画像処理装置の基本的な構成について詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に限定する旨の記載がない限り、これらの態様に限られるものではない。

図１は本発明に係る画像処理装置の一実施の形態であるデジタルスチルカメラ及びその接続機器の構成を示す概略ブロック図である。
図１において、０１は、デジタルスチルカメラ装置、０２は、デジタルスチルカメラ装置０１全体の制御を行うために設けられた、ＣＰＵ、ＮＡＮＤフラッシュメモリ、ＳＤＲＡＭ、タイマー等からなる、システム制御部、０３は、撮像のために設けられた、光学系部品（レンズ及びレンズ駆動モータ）、ＣＣＤ、ＣＣＤ駆動回路、Ａ／Ｄ変換器等からなる、撮像部、０４は、撮像部で得られた画像信号に種々の画像処理を施すと共に、撮像部０３のＣＣＤ駆動タイミング、レンズ駆動モータを制御してズーミング、フォーカシング、露出調整等を行い、また、画像の圧縮伸長を行うために設けられた、画像処理用ＤＳＰ（デジタルシグナルプロセッサ）、ＲＡＭ等からなる、画像処理部、０５は、画像処理部で処理された画像信号をＬＣＤへ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成しＬＣＤへ表示するために設けられた、Ｄ／Ａ変換器、オンスクリーンディスプレイコントローラ等からなる、表示制御部、０６は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するために設けられたＬＣＤ、０７は、記録メディアとのインターフェイスのために設けられた、メモリカードコントローラ等からなる、記録メディアインターフェイス部、０８は、圧縮された画像信号や画像に纏わる種々の情報を記憶するために設けられた、フラッシュメモリ等からなる、デジタルスチルカメラ装置０１から着脱可能な、記録メディア、０９は、図示されていないキー、ダイヤル等のユーザーインターフェイスの状態検出を行い、またメインＣＰＵへの主電源制御を行うために設けられた、サブＣＰＵ等からなる、ハードキーインターフェイス部、１０は、ＵＳＢを接続してデータ通信を行うために設けられた、通信コントローラからなる、通信インターフェイス部、１１は、デジタルスチルカメラ装置０１をＵＳＢで接続し、デジタルスチルカメラ装置０１からの画像を転送して再生したり、デジタルスチルカメラ装置０１へ各種設定を行うためのＰＣを示している。

まず、起動動作について説明する。
利用者が図示されていない電源ボタンを押下すると、ハードキーインターフェイス部０９はメインＣＰＵへの電源供給をオンする。
システム制御部０２内のメインＣＰＵは、まずＮＡＮＤフラッシュメモリのブート部からアクセス（プログラム実行）を開始し、ブートプログラムによってプログラム・データをＳＤＲＡＭへ転送する。
ＳＤＲＡＭへの転送が完了すると、プログラムの実行ポインタ（プログラムカウンタ）を、転送したＳＤＲＡＭ上のプログラムに移し、以降はＳＤＲＡＭ上のプログラムにより起動処理を開始する。

起動処理には、ＯＳ（オペレーティングシステム）の初期化や鏡胴の繰りだし処理、記録メディアの初期化処理などが含まれる。
鏡胴の繰り出し処理は、画像処理部０４を介して撮像部０３のレンズ駆動モータに所定の間隔（２ｍＳ）毎にパルス信号を与える事で行う。
また、記録メディアの初期化処理は、記録メディアインターフェイス部０７を介して記録メディア０８への電源とクロックを供給した後、記録メディア０８へ初期化コマンドを発行する。実際の初期化処理は記録メディア０８内で行われ、システム制御部０２はその完了を検知するために記録メディア０８のステータスを１０ｍＳ間隔でポーリングする。

続いて撮影時の動作について説明する。
利用者は撮影に先立ち、図示されていない種々のキー、ダイヤルを操作し、撮影モード（マクロモード、ポートレートモード等）を決定する。

利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて表示制御部０５へガイダンスグラフィックを生成して、利用者に次操作を促す。
システム制御部０２は、撮影モードが決定されると、モードに応じた処理パラメタを画像処理部０４へ設定する。
あるいはまた、利用者は図示されていないズームレバーを操作し、画角（構図）を決定する。

利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて撮像部０３を制御しレンズを駆動する。
撮像部０３は画像処理部０４からの制御に従い、実際の撮影に先だって、モニタリング画像を表示するための撮像動作を開始する。
撮像されたデータは連続的に画像処理部０４へ送られ、画像処理部０４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データを表示制御部０５へ送る。
表示制御部０５では、画像データを信号処理してＬＣＤ０６へ表示し、利用者へ撮像状態を提示する。

図示されていないレリーズボタンが押されると、その操作はモード設定と同様にしてハードキーインターフェイス部０９を通じてシステム制御部０２で判別される。
撮像部０３は画像処理部０４からの制御に従い、フォーカス合わせを行った後、取り込んだ画像を画像処理部０４へ送り、画像処理部０４は、撮影モードに応じた画像処理、圧縮処理を行う。
システム制御部０２は、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部０７を通じて記録メディアへ０８書き込む。
以上で一連の撮影動作を完了する。

〔第１の実施の形態（背景ぼかし）〕
次に、本発明に係る画像処理装置における特徴である背景ぼかし処理を行う方法の第１の実施の形態について説明する。
図２（Ａ）は本発明に係るデジタルカメラにおける背景ぼかしの動作フローの第１の実施の形態を示すフロー図である。
本実施の形態における動作フローは、ぼかし処理機能がオン設定された状態で、前述したレリーズボタンが押された際の動作を示している。
ぼかし処理機能のオン、オフは、前述した撮影モードの設定と同様にして、利用者の操作によりあらかじめ設定されている。

レリーズボタンが押されると、システム制御部０２は画像処理部０４及び撮像部０３を制御し、ＣＣＤＡＦのスキャン動作を行う（ｓｔｅｐ０１−００１）。

ここで、ＣＣＤＡＦの概要について説明する。
一般に、デジタルカメラやビデオカメラのように二次元撮像素子を有する電子撮像装置では、撮像素子で光電変換された映像信号によって画面の鮮鋭度を検出し、この鮮鋭度が最大になるようにフォーカシングレンズの位置を制御して焦点調節を行う。通常、この鮮鋭度は、ピントがぼけている状態では小さく、ピントが合うにつれて大きくなり、ピントが完全に合った状態で最大値に達する。ＣＣＤＡＦは、無限端から近端までフォーカスレンズを徐々に動かすとともに、複数の位置で被写体を撮像し、撮像された複数の画像データのうち、もっとも鮮鋭度が高い画像が得られたフォーカスレンズの位置を合焦位置とする方法である。

撮像部０３、及び画像処理部０４は、前述した手順でフォーカス合わせ、画像取り込みを行う（ｓｔｅｐ０１−００２）。

続いてシステム制御部０２は、各画像の位置毎の距離の算定を行う（ｓｔｅｐ０１−００３）。

以下、図３を参照しながら説明する。
図３（Ａ）において、１００は取り込んだ画像の撮影領域、１０１は１つのＡＦ評価値エリアを示している。
図の様に、ＡＦ評価値エリアは、撮影領域内を均等に分割した小領域となっており、ＣＣＤＡＦのスキャンにより各領域毎のＡＦ評価値（領域内の画像のコントラストの積算値）が得られる。
システム制御部０２は、各領域毎に、ＣＣＤＡＦのスキャンにより得られたレンズ位置毎のＡＦ評価値を、所定のアルゴリズムに基づき解析し、ＡＦ評価値のピーク位置に相当するレンズの駆動位置を判定する。
さらにシステム制御部０２は、各領域毎に、現在のズーム位置（レンズの焦点距離）からレンズの駆動位置を距離情報に変換する。

ここで、ＡＦ評価値は、ＡＦ評価値エリア内の各画素に対し、水平方向のＨＰＦ（ハイパスフィルタ）の演算を行い、得られた高周波成分を加算したものである。
ＨＰＦの係数は、例えば、ｋｉ＝｛−１，−２， ６，−２，−１｝といった値が用いられる。
ｋ０は注目画素の水平方向−２の座標の画素に乗算される係数、ｋ１は注目画素の水平方向−１の座標の画素に乗算される係数、ｋ２は注目画素に乗算される係数、ｋ３は注目画素の水平方向＋１の座標の画素に乗算される係数、ｋ４は注目画素の水平方向＋２の座標の画素に乗算される係数である。

ＡＦ評価値から距離情報を取得するには、ガウスの結像方程式に基づき、下式で求められる。

１／ａ＋１／ｂ＝１／ｆ
ａ＝ｂ×ｆ／(ｂ−ｆ)
（但し、ａ：レンズから被写体までの距離、ｂ：レンズから撮像素子間の距離、ｆ：レンズの焦点距離である。）

ここで、レンズから被写体までの距離ａが求める距離情報である。また、レンズの焦点距離ｆは、撮影時のズーム位置により一意に求められ、レンズから撮像素子間の距離ｂは、ＡＦ評価値のピークの得られたフォーカスレンズの駆動位置から一意に求められる。
以上により、画角１００内の全領域のＡＦ評価値エリア１０１毎の距離情報を得ることができる。

図３（Ａ）において、１０２はＡＦでフォーカスを合わせたエリアを示している。
システム制御部０２は、画面中央部分のＡＦ評価値エリアのうち、最も近距離にあるエリアをＡＦエリアとして判定し、さらにＡＦエリアと等距離にあるブロックを主要被写体ブロックとして判定する。

図３（Ｂ）において、１０３は主要被写体ブロックを示している（主要被写体ブロック１０３はＡＦエリア１０２を含む）。
システム制御部０２は、得られた主要被写体ブロック１０３の情報と、撮像した画像を基に主要被写体領域を判定する（ｓｔｅｐ０１−００４）。この処理は、従来の画像処理（輪郭抽出）により、主要被写体ブロック１０３を含む任意形状の領域の判定を行う。

ここでシステム制御部０２は、現在の撮影モードから、後述するフィルタサイズｆｓを決定する（ｓｔｅｐ０１−００５；撮影モード判定手段、ぼかし強度決定手段）。
表１は、撮影モードに基づくｆｓの値の設定例を示す。

表１において、撮影モードは、撮影シーンを表している撮影モード、ｆｓの値は、その撮影モードが選択されている場合のｆｓの値である。

図３（Ｃ）において、１０４は主要被写体領域を示している。
画像処理部０４は、主要被写体領域１０４の情報を基に、主要被写体画像の抽出処理、背景画像のぼかし処理、合成処理を順次行う（ｓｔｅｐ０１−００６；ぼかし処理手段）。

図３（Ｄ）において、１０５は撮影画像、１０６は主要被写体、１０７は抽出した主要被写体画像、１０８は背景画像、１０９はぼかした背景画像、１１０は合成画像を示している。
主要被写体の抽出処理では、主要被写体領域１０４に沿って画像を分離することで、主要被写体の抽出を行う。結果として、撮影画像１０５は主要被写体画像１０７と背景画像１０８に分離される。

背景画像のぼかし処理では、背景画像１０８に空間フィルタを適用し、ぼかした背景画像１０９を生成する。

空間フィルタは、下記式１の様に入力画像（In（ｘ，ｙ））に平滑フィルタ（ｋ（ｉｘ，ｉｙ））を演算し、出力画像（Ｏｕｔ（ｘ，ｙ））を得る。

入力画像（Ｉｎ（ｘ，ｙ））におけるｘとｙは、注目画素の座標値（水平座標ｘ、垂直座標ｙ）を示す。また上記式１において、座標の演算結果（ｘ＋ｉｘ―ｆｓ／２、及びｙ＋ｉｙ−ｆｓ／２）は、整数に切り捨て、かつ、入力画像内を指し示す様にクリップされる。
フィルタ係数（ｋ（ｉｘ，ｉｙ））におけるｉｘとｉｙは、フィルタ係数の位置（水平方向ｉｘ、垂直方向ｉｙ）を示す。

上記式１により、注目画素の値は、その周辺画素（１辺がサイズｆｓの正方形）の平均値に置き換わる。
ｆｓが大きくなると、平均化する領域のサイズが大きくなり、強いぼかしの効果が得られる。
ｆｓ＝１の場合は、注目画素のみの平均値となるため値は変化せず、ぼかしの効果は無い。

合成処理では、ぼかした背景画像１０９に主要被写体画像１０７を重ね合わせて合成を行い、合成画像１１０を生成する。
生成した合成画像は、表示制御部０５を介してＬＣＤ０６へ表示される（ｓｔｅｐ０１−００７）。

システム制御部０２は、画像処理部０４を制御して合成後の画像を圧縮し、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部０７を通じて記録メディアへ０８書き込む（ｓｔｅｐ０１−００８）。

〔第２の実施の形態（背景ぼかし）〕
次に、本発明に係る画像処理装置における特徴である背景ぼかし処理を行う方法の第２の実施の形態について説明する。
図３（Ｂ）は本発明に係るデジタルカメラにおける背景ぼかしの動作フローの第２の実施の形態を示すフロー図である。
本実施の形態における動作フローは、第１の実施の形態と同じく、ぼかし処理機能がオン設定された状態で、前述したレリーズボタンが押された際の動作を示している。
ｓｔｅｐ０２−００１〜００４は、ｓｔｅｐ０１−００１〜００４と同じである。

ｓｔｅｐ０２−００５において、システム制御部０２は、現在の撮影モードから、フィルタサイズｆｓの初期値とリミット値を決定する（ｓｔｅｐ０２−００５；撮影モード判定手段、ぼかし強度調整手段、ぼかし強度初期値決定手段、ぼかし強度調整範囲決定手段）。

表２は、撮影モードに基づく、ｆｓの初期値（ぼかし強度調整手段の初期値）、リミット値（ぼかし強度調整手段の調整範囲）の設定例を示す。

表２において、撮影モードは、撮影シーンを表している撮影モード、ｆｓの初期値、リミット値は、その撮影モードが選択されている場合のｆｓのリミット値である。

ｓｔｅｐ０２−００６〜００７は、ｓｔｅｐ０１−００６〜００７と同じである。

ぼかし強度の変更の操作が行われると（ｓｔｅｐ０２−００８）、システム制御部０２は、操作に応じてｆｓの値を２ずつ減算、あるいは加算し（ｓｔｅｐ０２−０１０）再度画像処理を行うが、変更に先立って、変更後のｆｓの値が上記表２のリミット値以下か否かを判定し（ｓｔｅｐ０２−００９）、リミット値より大きくなる場合には、変更を行わない。ｆｓの変更が行われる場合には、ｓｔｅｐ０２−００６に戻る。
また、ｆｓの値が１未満となる場合にも、変更は行わない。

確定の操作が行われると（ｓｔｅｐ０２−０１１）、システム制御部０２は、画像処理部０４を制御して合成後の画像を圧縮し、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部０７を通じて記録メディアへ０８書き込む（ｓｔｅｐ０２−０１２）。なおこの際、ヘッダー情報には得られた距離情報を付与する。

上記第１および第２の実施の形態によれば、撮影シーンを表す撮影モードに基づいてぼかし強度を決定する様に構成されているので、撮影シーンに応じた好適なぼけ具合を得られる。特に、視認性が十分でない表示装置でぼかし処理を行う構成に好適である。

〔第３の実施の形態（背景ぼかし）〕
次に、本発明に係る画像処理装置における特徴である背景ぼかし処理を行う方法の第３の実施の形態について説明する。特に、本実施の形態では、撮影モードに基づきぼけ形状（鮮明度）を決定して、ぼかし処理を行う例である。
図４（Ａ）は本発明に係るデジタルカメラにおける背景ぼかしの動作フローの第３の実施の形態を示すフロー図である。
本実施の形態における動作フローは、ぼかし処理機能がオン設定された状態で、前述したレリーズボタンが押された際の動作を示している。
ぼかし処理機能のオン、オフは、前述した撮影モードの設定と同様にして、利用者の操作によりあらかじめ設定されている。
ｓｔｅｐ０３−００１〜００４は、ｓｔｅｐ０１−００１〜００４と同じである。

システム制御装置０２は、現在に撮影モードに基づき、後述する背景画像をぼかすためのフィルタ係数を決定する（ｓｔｅｐ０３−００５；撮影モード判定手段、ぼけ形状決定手段）。
この決定は例えば、下記表３に示す様なテーブルを参照することで行い、フィルタ係数（係数Ａ〜Ｃ）を決定する。

表３において、撮影モードは、現在の撮影モード、フィルタ係数は、撮影モードに対応したフィルタ係数を示している。
ｓｔｅｐ０３−００６で用いるフィルタ係数Ａ〜Ｃについて、一例を図５に示す。また、本実施の形態では、ｆｓ＝９である。

図５において波線で示した部分は、点像をぼかした場合のぼけの形状を示しており、光学的にぼかした場合に現れる絞りの形状に相当する。

係数Ｂは係数Ａに比べて、波線で示した部分の近傍の係数値が大きな値になっており、このことにより出力画像では、ぼけの輪郭がより鮮明に視認できる様になる。係数Ｃは係数Ｂに比べて、同様により大きな値になっており、ぼけの輪郭を更に鮮明に視認できる様になる。

そのため、夜景モードでは通常撮影モードに比べて、よりぼけの輪郭を強調することになり、夜景特有のハイライト部分が浮かび上がったぼけを実現することができる。
ポートレートモードは、通常撮影モードと夜景モードの中間に位置しており、ポートレート写真の背景によく見られる木漏れ日などを程良く強調することができる。

ｓｔｅｐ０３−００６〜００８は、ｓｔｅｐ０１−００６〜００８と同じである。

〔第４の実施の形態（背景ぼかし）〕
次に、本発明に係る画像処理装置における特徴である背景ぼかし処理を行う方法の第４の実施の形態について説明する。特に、本実施の形態では、撮影モードに基づきぼけ形状（鮮明度）を決定して、ぼかし処理を行う例である。
図４（Ｂ）は本発明に係るデジタルカメラにおける背景ぼかしの動作フローの第４の実施の形態を示すフロー図である。
本実施の形態における動作フローは、第１の実施の形態と同じく、ぼかし処理機能がオン設定された状態で、前述したレリーズボタンが押された際の動作を示している。
ｓｔｅｐ０４−００１〜００４は、ｓｔｅｐ０３−００１〜００４と同じである。

ｓｔｅｐ０４−００５において、システム制御部０２は、背景画像１０８の輝度の平均値、及び最大値を算出する（ｓｔｅｐ０４−００５）。
ここで、本実施の形態における画像特性とは、背景画像データの輝度であるが、本発明はこれに限られるものではない。本発明における画像特性とは、背景画像データの輝度や、背景画像データの輝度以外の特性であっても良く、さらには背景画像データの輝度と輝度以外の特性とを併せて用いても良い。

そして算出した平均値、最大値に基づき、背景画像をぼかすためのフィルタ係数を決定する。
この決定は例えば、下記表４に示す様なテーブルを参照することで行い、フィルタ係数（係数Ａ〜Ｃ）を決定する（ｓｔｅｐ０４−００６；画像特性判定手段、ぼけ形状決定手段）。

上記表４において、平均値は、算出した輝度の平均値（画像データの平均値）、最大値は、算出した輝度の最大値（画像データの最大値）、フィルタ係数は、平均値と最大値に対応したフィルタ係数を示している。
尚、フィルタ係数は第３の実施の形態で説明した図５と同じである。

輝度の最大値が大きい場合、すなわち画像に高輝度部分が含まれている場合には、ぼけの輪郭がはっきりとして強調されたぼけを実現することができる。更に、夜景の様な輝度の平均値が小さい場合には、係数Ｃが選定されより輪郭を強調することになり、夜景特有のハイライト部分が浮かび上がったぼけを実現することができる。
ｓｔｅｐ０４−００７〜００９は、ｓｔｅｐ０３−００６〜００８と同じである。

上記第３および第４の実施の形態においては、ぼけの形は同じままに、ぼけの輪郭の鮮明度を変化させる場合について説明したが、ぼけの形そのものを変化させたり、あるいは形と鮮明度を組み合わせて変化させたりするようにしても良い。その場合は、図５に示したフィルタ係数を所望の変化に相応の内容に変更することで、実現することができる。

上記第３および第４の実施の形態によれば、撮影シーンを表す撮影モード又は背景画像データの特性に基づいて、ぼけ形状（ぼけの形や形の鮮明度）を決定する様に構成されているので、撮影シーン又は背景画像の内容に応じた好適なぼけ画像を得られるという効果がある。また、上記構成によれば、特に複雑な設定を行うことなくぼかし処理を行うことができる。

本発明に係る画像処理装置の一実施の形態であるデジタルスチルカメラ及びその接続機器の構成を示す概略ブロック図である。 （Ａ）背景画像ぼかし処理の第１の実施の形態である。（Ｂ）背景画像ぼかし処理の第２の実施の形態である。 本発明に係る画像処理装置における撮像フローを示す模式図である。 （Ａ）背景画像ぼかし処理の第３の実施の形態である。（Ｂ）背景画像ぼかし処理の第４の実施の形態である。 背景ぼかし処理におけるフィルタ係数Ａ〜Ｃの一例を示す図である。

符号の説明

１ デジタルスチルカメラ装置
２ システム制御部
３ 撮像部
４ 画像処理部
５ 表示制御部
６ ＬＣＤ
７ 記録メディアインターフェイス部
８ 記録メディア
９ ハードキーインターフェイス部
１０ 通信インターフェイス部
１１ ＰＣ

Claims (11)

1. 入力された背景画像データに平滑フィルタを適用して前記背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、
   前記平滑フィルタのフィルタサイズを変更することで前記ぼかし処理のぼかし強度を調整するぼかし強度調整手段と、
   前記背景画像が撮影された際の撮影シーンを表す撮影モードを判定する撮影モード判定手段と、
   当該判定された撮影モードに基づいて、前記ぼかし強度調整手段の前記平滑フィルタのフィルタサイズの初期値及びリミット値を決定するぼかし強度初期値決定手段と、を備えることを特徴とする画像処理装置。
2. 入力された背景画像データに二次元平滑フィルタを適用して前記背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、
   前記背景画像が撮影された際の撮影シーンを表す撮影モードを判定する撮影モード判定手段と、
   当該判定された撮影モードに基づいて前記二次元平滑フィルタのフィルタ係数を変更することで、当該判定された撮影モードに基づいて前記ぼかし処理のぼけの輪郭の鮮明度を変更するぼけ形状決定手段と、を備えることを特徴とする画像処理装置。
3. 入力された背景画像データに二次元平滑フィルタを適用して前記背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、
   前記背景画像データの特性を判定する画像特性判定手段と、
   当該判定された画像特性に基づいて前記二次元平滑フィルタのフィルタ係数を変更することで、当該判定された画像特性に基づいて前記ぼかし処理のぼけの輪郭の鮮明度を変更するぼけ形状決定手段と、を備えることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記画像特性判定手段は、画像データの最大値に基づいて画像特性を判定することを特徴とする画像処理装置。
5. 請求項３に記載の画像処理装置において、
   前記画像特性判定手段は、画像データの平均値に基づいて画像特性を判定することを特徴とする画像処理装置。
6. 入力された背景画像データに平滑フィルタを適用して前記背景画像データのぼかし処理を行うぼかし処理工程を備え、ぼけた背景画像を出力する画像処理方法において、
   前記平滑フィルタのフィルタサイズを変更することで前記ぼかし処理のぼかし強度を調整するぼかし強度調整工程と、
   前記背景画像が撮影された際の撮影シーンを表す撮影モードを判定する撮影モード判定工程と、
   当該判定された撮影モードに基づいて、前記ぼかし強度調整工程の前記平滑フィルタのフィルタサイズの初期値及びリミット値を決定するぼかし強度初期値決定工程と、を備えることを特徴とする画像処理方法。
7. 入力された背景画像データに二次元平滑フィルタを適用して前記背景画像データのぼかし処理を行うぼかし処理工程を備え、ぼけた背景画像を出力する画像処理方法において、
   前記背景画像が撮影された際の撮影シーンを表す撮影モードを判定する撮影モード判定工程と、
   当該判定された撮影モードに基づいて前記二次元平滑フィルタのフィルタ係数を変更することで、当該判定された撮影モードに基づいて前記ぼかし処理のぼけの輪郭の鮮明度を変更するぼけ形状決定工程と、を備えることを特徴とする画像処理方法。
8. 入力された背景画像データに二次元平滑フィルタを適用して前記背景画像データのぼかし処理を行うぼかし処理工程を備え、ぼけた背景画像を出力する画像処理方法において、
   前記背景画像データの特性を判定する画像特性判定工程と、
   当該判定された画像特性に基づいて前記二次元平滑フィルタのフィルタ係数を変更することで、当該判定された画像特性に基づいて前記ぼかし処理のぼけの輪郭の鮮明度を変更するぼけ形状決定工程と、を備えることを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法において、
   前記画像特性判定工程は、画像データの最大値に基づいて画像特性を判定することを特徴とする画像処理方法。
10. 請求項８に記載の画像処理方法において、
    前記画像特性判定工程は、画像データの平均値に基づいて画像特性を判定することを特徴とする画像処理方法。
11. デジタルカメラであることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。