以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。
≪第1実施形態≫
<概要>
本実施形態に係る画像処理装置(100)は、さまざまな撮影モードにて画像を撮像できる撮像装置(10)に備えられており、撮像された画像に対し画像処理を施す。撮像装置(10)としては、デジタルカメラ等の電子カメラが挙げられる。
画像処理装置(100)は、撮影シーンの判別機能、及び撮影シーンに即した最適な画像をユーザに提供する画像処理機能を備える。
特に、本実施形態では、撮像装置(10)が植物のみまたは人物及び植物を被写体として含む自然を撮像する場合、画像処理装置(100)は、撮影シーンを自然シーンであると自動的に判別する。そして、画像処理装置(100)は、自然シーンの下で撮像される自然画像の色合いが、自然画像の内容に従ってユーザにとって違和感をさほど覚えることのないようなナチュラルな色合いとなるように、画像が撮像される際の露出制御及び色相補正を行う。
-撮像装置-
上記撮像装置(10)は、画像処理装置(100)に加えて、撮像部(11)及びモニタ(30)を備える。
撮像部(11)は、画像データを取得するものであって、ドライバ(18a,18b,18c)、フォーカスレンズ(12)、絞りユニット(14)及びイメージセンサ(20)を有する。
ドライバ(18a,18b,18c)は、フォーカスレンズ(12)、絞りユニット(14)及びイメージセンサ(20)それぞれに対応して接続され、接続された機能部を駆動する。フォーカスレンズ(12)は、被写体にピントを合わせるためのレンズであって、撮像装置(10)の筐体(図示せず)内にて可動可能に設けられている。絞りユニット(14)は、露光量を調節するためのものである。イメージセンサ(20)は、撮像素子であって、イメージセンサ(20)の受光面には、フォーカスレンズ(12)を経て被写体の光学像が入射される。イメージセンサ(20)は、この光学像に対し光電変換を施すことにより、光学像に対応する生画像信号を生成する。更に、イメージセンサ(20)では、読み出された各フレームの生画像信号に対してノイズ除去とレベル調整とが施される。
このような撮像部(11)を備える撮像装置(10)は、自動で主要被写体にピントを合わせるオートフォーカス機能、及び、自動で露出(換言すると絞りの開口量や露光期間)を制御する自動露出機能を有する。これらの各機能を実現させるべく、撮像部(11)の各ドライバ(18a~18c)は、後述する画像処理装置(100)のCPU(32)によって制御される。
モニタ(30)は、図示してはいないが、撮像装置(10)の筐体表面において、ユーザが視認できる位置に設けられている。モニタ(30)には、撮像装置(10)が撮像した画像や、撮像装置(10)の各種設定に用いるメニュー画面等が表示される。
<画像処理装置の構成>
本実施形態に係る画像処理装置(100)の構成について、撮影時の動作を交えて具体的に説明する。
図1に示すように、画像処理装置(100)は、信号処理回路(26)、メモリ制御回路(24)、SDRAM(38)、ビデオエンコーダ(28)、I/F回路(34)、メモリカード(36)、JPEGコーデック(27)、記憶部(42)、CPU(32)及びシャッタボタン(40)を備える。
このうち、信号処理回路(26)は、第1色属性調整部、第2色属性調整部、第1鮮鋭度調整部及び第2鮮鋭度調整部としての機能を有する。CPU(32)は、特徴量算出部、領域量算出部、決定部、露出制御部、シーン判定部及びオートフォーカス制御部としての機能を有する。
信号処理回路(26)は、図2に示す構成を有する。信号処理回路(26)は、イメージセンサ(20)から出力された各フレームの生画像信号(ディジタル信号)に対し、色分離処理、シャープネス調整処理、色調整処理、YUV変換処理等を施して画像データを生成する。
具体的に、生画像信号を生成する各画素は、Cy,Ye,Mg,Gのいずれか1つの色情報しか持たないため、先ず色分離回路(26a)によって各画素が不足する色情報が補完される。シャープネス調整回路(26b)では、色分離回路(26a)にて色情報が補完された後の画像データに対し、鮮鋭度を向上させるためのシャープネス調整処理が行われる。RGB変換回路(26c)では、シャープネス調整回路(26b)から出力された画像信号にRGB変換を施す。ホワイトバランス調整回路(26d)は、アンプ(図示せず)を有し、RGB変換回路(26c)から出力された画像信号を増幅する等してホワイトバランス調整を施す。ホワイトバランス調整が施された画像信号は、LCH調整回路(26e)及び積算回路(26g)に入力される。
LCH調整回路(26e)は、ホワイトバランス調整回路(26d)にて調整された後の画像信号に係るR成分、B成分及びG成分を、明度成分であるL成分、彩度成分であるC成分、色相成分であるH成分に変換すると、変換後の各成分について、必要に応じて明度、彩度及び色相の各補正を行う。YUV変換回路(26f)は、LCH調整回路(26e)から出力された後の画像信号を、YUV信号に変換する。生成されたYUV信号は、輝度データであるY成分、色差成分であるU成分及びV成分が含まれ、Y:U:Vの比率は“4:2:2”となっている。
ホワイトバランス調整回路(26d)から出力された画像信号は、積分回路(26g)にも入力される。YUV変換回路(26f)から出力されたYUV信号に係るY成分は、積算回路(26h)に入力される。図3に示すように、被写界(即ち画面)は、垂直方向及び水平方向のそれぞれに16分割され、画面には256個のブロックが形成されている。各ブロックには、垂直位置信号i(iは0~15の整数)及び水平位置信号j(jは0~15の整数)が割り当てられる。
積分回路(26g)は、入力された画像信号に係るR成分、G成分及びB成分それぞれをブロック毎に積分し、積分回路(26h)は、入力された画像信号に係るY成分をブロック毎に積分する。これによって、R成分に関する256個の積分値r(i,j)、G成分に関する256個の積分値g(i,j)、B成分に関する256個の積分値b(i,j)が、積分回路(26g)から1フレーム期間毎に出力され、Y信号に関する256個の積分値y(i,j)が積分回路(26h)から1フレーム期間毎に出力される。
上記積分値r(i,j),g(i,j),b(i,j)は、露出制御時のAE評価値として利用できる。積分値y(i,j)は、撮影シーンの判定に利用できる。
なお、積分回路(26g)では、更に、R成分、G成分及びB成分の高周波数成分の積分値が算出されてもよい。オートフォーカス制御時のAF評価値として利用できるためである。
図1に戻り、信号処理回路(26)から出力されたYUV信号は、メモリ制御回路(24)に入力される。入力されたYUV信号は、メモリ制御回路(24)によって、図4に係るSDRAM(38)の表示画像エリア(38a)に画像データとして書き込まれたり、表示画像エリア(38a)から読み出されたりする。
SDRAM(38)の表示画像エリア(38a)に格納された各フレームの画像データがメモリ制御回路(24)によって読み出されると、ビデオエンコーダ(28)は、この画像データをNTSCフォーマットのコンポジット画像信号にエンコードする。ビデオエンコーダ(28)は、このコンポジット画像信号をモニタ(30)に出力する。これにより、モニタ(30)には、被写体のリアルタイム動画像(スルー画像)が表示される。
図2に示す積分回路(26h)から出力された256個の積分値y(i,j)は、CPU(32)によって取り込まれ、レジスタ(rgst1)に設定される。積分値y(i,j)は、1フレーム期間毎に生成されるため、レジスタ(rgst1)の設定値は1フレーム期間毎に更新される。
シャッタボタン(40)が半押しされると、半押しされたことを示す状態信号がCPU(32)に与えられる。CPU(32)は、シャッタボタン(40)の半押し後に積分回路(26h)から出力された256個の積分値y(i,j)をレジスタ(rgst2)に設定する。この結果、連続する2フレームの積分値y(i,j)が、レジスタ(rgst1,rgst2)内に設定される。CPU(32)は、これらの積分値y(i,j)を用いた被写界のシーン判定を行い、シーンに応じたフォーカス調整を行う。
例えば、CPU(32)は、レジスタ(rgst1,rgst2)内に設定された積分値y(i,j)に基づいて、被写界がスポーツシーンか否かを判定する。スポーツシーンの可能性判断が完了すると、CPU(32)は、例えばAF評価値を用いてフォーカス調整を行う。この際、フォーカスレンズ(12)は、ドライバ(18a)によって光軸方向に移動し、合焦位置に設定される。フォーカス調整が完了すると、CPU(32)は、各積分値r(i,j),g(i,j),b(i,j),y(i,j)を、レジスタ(rgst3)に設定する。1フレーム分の積分値r(i,j),g(i,j),b(i,j),y(i,j)の取り込みが完了すると、CPU(32)は、ポートレートシーンの可能性、夕景シーンの可能性、夜景シーンの可能性、自然シーンの可能性を判別する。各シーンの判別については、後述の”全体の動作の流れ”“自然シーン判定動作”にて説明する。
各シーンの可能性が算出されると、最も可能性の高いシーンが被写界として確定する。カメラ設定つまり撮影モードは、確定したシーンに応じて変更される。モニタ(30)には、確定したシーンに対応するメッセージが表示され、シーンに応じた露出調整が実行される。
露出調整が完了した後に、撮影者がシャッタボタン(40)を全押しすると、撮影処理及び記録処理が実行される。先ず、CPU(32)は、イメージセンサ(20)に本露光を実行させ、本露光によって得られた1フレーム分の生画像信号をイメージセンサ(20)から読み出させる。この生画像信号は、メモリ制御回路(24)に与えられ、メモリ制御回路(24)によって、図4に係るSDRAM(38)の生画像エリア(38b)に書き込まれる。
生画像エリア(38b)への書き込みが完了した後、メモリ制御回路(24)は、当該生画像信号を読み出す。メモリ制御回路(24)によって読み出された生画像信号は、信号処理回路(26)に与えられる。信号処理回路(26)では、図2を用いて述べた色分離処理、シャープネス調整処理、RGB変換処理、ホワイトバランス調整処理、LCH調整処理、YUV変換処理等の、一連の処理が実行され、YUV信号(主要YUV信号)が生成される。
信号処理回路(26)から出力された主要YUV信号は、メモリ制御回路(24)に与えられ、メモリ制御回路(24)によって図4に係るSDRAM(38)の主画像エリア(38c)に書き込まれる。書き込みが完了すると、CPU(32)は、主要YUV信号に基づいて縮小YUV信号を生成する。具体的には、CPU(32)は、メモリ制御回路(24)を介してSDRAM(38)にアクセスし、ソフトウェア処理によって縮小YUV信号を生成する。生成された縮小YUV信号は、図4に係るSDRAM(38)の縮小画像エリア(38d)に書き込まれる。
メモリ制御回路(24)は、主要YUV信号及び縮小YUV信号をSDRAM(38)から読み出し、各々のYUV信号をJPEGコーデック(27)に与える。JPEGコーデック(27)は、与えられた主要YUV信号及び縮小YUV信号をJPEGフォーマットに従って圧縮し、圧縮主要YUV信号及び圧縮縮小YUV信号を生成する。生成された圧縮主要YUV信号及び圧縮縮小YUV信号は、メモリ制御回路(24)によって、図4に係るSDRAM(38)の圧縮主画像エリア(38e)及び圧縮縮小画像エリア(38f)それぞれに書き込まれる。
こうして撮影処理が完了すると、CPU(32)は、記録処理を実行する。具体的には、CPU(32)は、メモリ制御回路(24)を介してSDRAM(38)にアクセスし、圧縮主要YUV信号及び圧縮縮小YUV信号を、圧縮主画像エリア(38e)及び圧縮縮小画像エリア(38f)それぞれから読み出す。更に、CPU(32)は、読み出された圧縮主要YUV信号及び圧縮縮小YUV信号をファイル形式で、I/F回路(34)を介してメモリカード(36)に記録する。メモリカード(36)は、撮像装置(10)の筐体(図示せず)に対して着脱自在に設けられたものである。
また、CPU(32)には、フラッシュメモリ等で構成される記憶部(42)が、電気的に接続されている。記憶部(42)には、被写体の種類を認識する際に利用される辞書データ(DB)が格納されている。一例として、図5の辞書データ(DB)には、植物の葉の特徴量のデータ(G1)、花の特徴量のデータ(G2)、人物の特徴量のデータ(G3)が、登録されている。特徴量としては、輝度、明度、彩度、色相、色成分、エッジ成分、方位、またはこれらの組合せ等が挙げられる。特徴量の種類は特に限定されないが、本実施形態では、特徴量に、少なくともエッジ成分と色成分とが含まれる場合を例示する。
被写体が人物である場合、顔の器官(目,口など)の形状は概ね同一であり、顔の色は肌色のため、人物に係る上記データ(G3)には、エッジ成分の平均化した値及び肌色の平均化した値を登録することができる。一方、植物は、密集している程形状が複雑化し、垂直、水平、斜め右、斜め左を含む4方向全てのエッジ成分を有する。植物の色については、葉であれば緑色、花であれば緑色以外の多彩な色(赤色、黄色、紫色等)が挙げられる。それ故、植物の葉に係る上記データ(G1)には、同一の単位画像内に全方向のエッジ成分が存在するという情報、更には緑色の平均化した値が登録されることが好ましい。植物の花に係る上記データ(G2)には、様々な花単体のエッジ成分、または、これらのエッジ成分を平均化した値が登録されていてもよいし、同一の単位画像内に全方向のエッジ成分が存在するという情報に加えて、多彩な色成分もしくは色成分毎の平均化した値等が組み合わせて登録されていてもよい。
なお、本実施形態では、被写界が自然シーンであると判定した際に、被写界の内容に応じた露出調整と、色合い調整処理とが行われるが、これらについては後述の“自然シーンにおける露出制御動作ならびに色合い調整動作”にて説明する。
<動作>
次に、上記画像処理装置(100)が行う動作について詳述する。
-全体の動作の流れ-
図6は、画像処理装置(100)の起動後の主な動作の流れを表す図である。
先ず、撮像装置(10)の電源が投入されると、CPU(32)は、ドライバ(18a~18c)、信号処理回路(26)及びビデオエンコーダ(28)に対し、スルー画像処理に係る処理命令を与える。これにより、スルー画像処理が行われる(ステップS1)。
スルー画像処理は、“<画像処理装置の構成>”で説明した通りである。即ち、信号処理回路(26)は、イメージセンサ(20)から出力された生画像信号(デジタル信号)に基づいて画像データを生成し、メモリ制御回路(24)は、その画像データをSDRAM(38)の画像エリアに格納する。その後、メモリ制御回路(24)によってSDRAM(38)の画像エリアから各フレームの画像データが読み出され、ビデオエンコーダ(28)は、その画像データをコンポジット画像信号にエンコードしてモニタ(30)に表示させる。
その後、シャッタボタン(40)が半押しされると(ステップS2のYes)、CPU(32)は、被写界がスポーツシーンである可能性の算出(ステップS3)、ポートレートシーンである可能性の算出(ステップS4)、夕景シーンである可能性の算出(ステップS5)、夜景シーンである可能性の算出(ステップS6)を行う。なお、これらの具体的な算出方法は、従来技術の適用が可能であり、ここではその詳細な説明を省略する。
CPU(32)は、被写界が自然シーンである可能性を、本実施形態に係る手法にて算出する(ステップS7)。
次いで、CPU(32)は、ステップS3~S7で算出した可能性の中からパーセンテージが最も高い可能性を特定し、特定した可能性に対応する撮影シーンを被写界に対応する撮影シーンとして確定し、その確定した撮影シーンに対応する撮影モードの設定を行う(ステップS8)。この撮影モードの設定には、撮影シーンに応じた露出調整に係る設定、色合い調整に係る設定等の、各種設定が含まれる。
被写界がスポーツシーンであると確定した際、CPU(32)は、動きのある被写体が鮮明に撮影されるように、プログラム線図を補正する(スポーツモード設定)。被写界がポートレートシーンであると確定した際、CPU(32)は、背景がぼけるようにプログラム線図を補正し、且つ人物の肌色の変化が抑えられるようにホワイトバランス調整で使用されるゲインを補正する(ポートレートモード設定)。被写界が夕景シーンに確定した際、CPU(32)は、遠景が鮮明に撮影されるようにプログラム線図を補正し、夕焼けの色の変化が抑えられるようにホワイトバランス調整にて使用されるゲインを補正する(夕景モード設定)。被写界が夜景シーンであると確定した際、CPU(32)は、イルミネーションが際立つようにプログラム線図を補正する(夜景モード設定)。被写界が自然シーンであると確定した際、CPU(32)は、図10に示す露出制御動作を実現するためのプログラム線図の補正、及び、図10に示す色合い調整動作を実現するための、LCH調整処理にて使用される目標値の補正等を、AE評価値等を用いて行う。
その後、CPU(32)は、レジスタ(rgst2)に設定された積分値y(i,j)、上記の撮影モードの設定によって補正されたプログラム線図に基づいて、最適な絞り量及び最適な露光時間(シャッタ速度)を特定し、特定した絞り量及び露光時間をドライバ(18b)を介して絞りユニット(14)に設定する。
その後、シャッタボタン(40)が全押しされた後(ステップS9のYes)、CPU(32)はこれを検知する。シャッタボタン(40)が全押しされている間、撮影処理及び記録処理が行われる(ステップS10)。撮影処理では、CPU(32)は、絞りユニット(14)とイメージセンサ(20)との間に配置されたシャッタ機構(図示せず)が、本露光の開始から最適な露光時間が経過した時点で駆動する。このような撮影処理と記憶処理とにより、被写界像がメモリカード(36)に記憶される。
シャッタボタン(40)が全押しされなかった場合(ステップS9のNo)、及び、ステップS10に係る撮影処理及び記憶処理が完了した後は、ステップS2以降の動作が繰り返される。
-自然シーン判定動作-
以下、図7~9を用いて、図6のステップS7に係る自然シーンの可能性判断の動作の流れについて説明する。
先ず、CPU(32)は、画像データを複数の単位画像(br1,br2,・・・)に区分けする(ステップS71)。単位画像(br1,br2,・・・)のサイズは、特に限定はないが、例えば図3で示したブロックと同程度のサイズであってもよい。
CPU(32)は、図8及び図9に示すように、上記単位画像(br1,br2,・・・)と同サイズの検索枠(sf)を、画像データ上の最初の単位画像(br1)に重畳させると、隣接する単位画像(br2,・・・)へと検索枠(sf)を移動させていく(ステップS72)。この検索枠(sf)の移動処理と共に、CPU(32)は、検索枠(sf)が重畳している単位画像(br1,br2,・・・)について、特徴量の抽出を行う(ステップS73)。CPU(32)は、抽出した特徴量を記憶部(42)内の辞書データ(DB)と照合することにより(ステップS74)、その単位画像に写し出されている被写体の種類が何であるのかを認識する。
本実施形態では、説明の便宜上、撮像対象である主な被写体が、植物のみ(図8)、または、植物と人物との組合せ(図9)である場合を例に取る。例えば、単位画像に写し出された被写体が葉のみを含む植物の場合、CPU(32)は、その植物の色成分“緑色”とエッジ成分“全方向”とを特徴量として抽出し、これらを辞書データ(DB)と照合して、“植物の葉”の単位画像であると認識する。単位画像に写し出された被写体が植物の花である場合、CPU(32)は、その花の色成分及びエッジ成分の組合せ、ないしは花の色成分のみを特徴量として抽出し、これらを辞書データ(DB)と照合して、“花”の単位画像であると認識する。単位画像に写し出された被写体が人物の場合、CPU(32)は、その人物の色成分“肌色”とエッジ成分とを特徴量として抽出し、これらを辞書データ(DB)と照合して、“人物”の単位画像であると認識する。
上記ステップS74の照合処理が、画像データに含まれる全ての単位画像(br1,br2,・・・)について実行されるまで(ステップS75のNo)、ステップS72以降の処理が繰り返される。上記ステップS74の照合処理が、画像データに含まれる全ての単位画像(br1,br2,・・・)について実行された場合(ステップS75のYes)、CPU(32)は、全ての単位画像の認識結果に基づいて、当該認識結果が“植物”である単位画像の数に応じて、被写体が自然シーンである可能性を算出する(ステップS76)。
更に、CPU(32)は、全ての単位画像の認識結果に基づいて、画像データにおいて植物が写っている領域の大きさ(以下、植物領域サイズ)、または、画像データにおいて人物が写っている領域の大きさ(以下、人物領域サイズ)を、特定領域サイズとして算出する(ステップS77)。例えば、図8では、主な被写体は植物のみである。この場合、図8の太線で囲われた単位画像全てを含んだ範囲が、植物領域サイズ(rg1)に該当する。図9では、主な被写体は植物及び人物である。この場合、図9の人物の、太線で囲われた単位画像全てを含んだ範囲が、人物領域サイズ(rg2)であり、人物の左側及び右側それぞれに位置する植物の、太線で囲われた単位画像全てを含んだ範囲が、植物領域サイズ(rg1)である。
図7に係るステップS77の処理完了後、画像処理装置(100)の動作は、上層の動作フロー(図6)のステップS8に移行する。
-自然シーンにおける露出制御動作ならびに色合い調整動作-
以下、図10~13を用いて、図6のステップS8のうち、撮影シーンが自然シーンである場合の露出制御動作ならびに色合い調整動作の流れについて説明する。即ち、ここでは、図6のステップS3~S7において各シーンの可能性判断がなされた結果、ステップS8において、撮影シーンが自然シーンであると確定したことを、前提とする。
CPU(32)は、図7のステップS77で算出した特定領域サイズに応じて、画像データの露出量の調整処理を行うか否かを決定すると共に、露出量の調整処理を行うと決定した場合は、特定領域サイズに応じて画像データの露出量を調整する処理を行う。
具体的には図10に示すように、主な被写体が人物を含まず植物のみであって、画像データ中では植物領域が大部分を占める場合(ステップS101のYes)、CPU(32)は、特定領域サイズにおける植物領域サイズを第1所定サイズと比較する(ステップS102)。
植物領域サイズが第1所定サイズ以上の場合(ステップS102のYes)、CPU(32)は、画像データの露出量の調整処理を行うと決定し、且つ、画像データの露出量を低下させる処理を行う(ステップS103)。当該処理では、植物領域サイズの大小に応じて、露出量を低下させる度合が変化する。
図11は、横軸を植物領域サイズ、縦軸を露出量を低下させる度合(露出の低下量)とし、ステップS103に係る処理での、植物領域サイズと露出の低下量との関係をグラフにて表している。図11に示すように、本実施形態では、植物領域サイズが大きい程、露出を低下させる度合(露出の低下量)は高くなる。即ち、植物領域サイズが大きい程、画像データの露出量はより低くなる。算出した植物領域サイズを図11のグラフに当てはめることで、露出量をどの程度下げるかが決定される。
図11に示すように、植物領域サイズが大きくなる程、露出の低下量が直線状に増すように、植物領域サイズと露出の低下量との関係が定義されていることが好ましいが、図11に限定されずともよい。
ステップS103にて決定した露出量に従って、CPU(32)は、最適な絞り量及び最適な露光時間(シャッタ速度)をドライバ(18b)によって絞りユニット(14)に設定する。これにより、シャッタボタン(40)の全押し時、設定された露光時間及び絞り量による撮影処理が行われる。
また、ステップS102において植物領域サイズが第1所定サイズ以上であるため(ステップS102のYes)、信号処理回路(26)(具体的にはLCH調整回路(26e))は、自然画像における植物の緑色成分の彩度が上昇するように、自然画像の彩度を補正する処理を行う(ステップS104)。当該処理では、植物領域サイズの大小に応じて、植物の緑色成分の彩度を上昇させる度合が変化する。
図12は、横軸を植物領域サイズ、縦軸を彩度を上昇させる割合(彩度の上昇量)とし、ステップS104に係る処理での、植物領域サイズと彩度の上昇量との関係をグラフにて表している。図12に示すように、本実施形態では、植物領域サイズが大きい程、彩度を上昇させる度合(彩度の上昇量)は高くなる。即ち、植物領域サイズが大きい程、画像データの彩度はより上昇する。算出した植物領域サイズを図12のグラフに当てはめることで、彩度をどの程度上昇させるかが決定される。
図12に示すように、植物領域サイズが大きくなる程、彩度の上昇量が直線状に増すように、植物領域サイズと彩度の上昇量との関係が定義されていることが好ましいが、図12に限定されずともよい。
なお、図10では、露出量を調整するか否かの判断で閾値として用いる“第1所定サイズ”は、に彩度を上昇させるか否かの判断においても共通して利用される場合を例示している(ステップS102)。しかし。露出量を調整するか否かの判断で用いる閾値“第1所定サイズ”とは別に、彩度を上昇させるか否かの判断で用いる閾値“第2所定サイズ”が設定されていてもよい。
また、図10では図示していないが、図7の自然シーンの可能性判断において、画像データからは人物や花などの主要被写体が認識されず、緑色成分の植物のみが認識された場合、自然画像は風景画である可能性が高い。この場合、ステップS104において、信号処理回路(26)(具体的にはシャープネス調整回路(26b))は、更に自然画像における植物の緑色成分のシャープネスが上昇するように、シャープネス調整を更に施してもよい。
ステップS102において、植物領域サイズが第1所定サイズを下回る場合(ステップS102のNo)、CPU(32)は、画像データの露出量の調整処理を行わないと決定する(ステップS105)。この場合、シャッタボタン(40)の全押し時、初期設定された露光時間及び絞り量による撮影処理が行われる。
また、主な被写体が人物及び植物を含んでおり、画像データ中では植物領域と人物領域との双方が大部分を占める場合(ステップS101のNo,ステップS106のYes)、CPU(32)は、特定領域サイズにおける人物領域サイズを第3所定サイズと比較する(ステップS107)。
人物領域サイズが第3所定サイズ以上の場合(ステップS107のYes)、CPU(32)は、画像データの露出量の調整処理を行わないと決定する(ステップS108)。被写体のうち、植物よりも領域が大きい人物に対する色合いを重視するためである。この場合、シャッタボタン(40)の全押し時、初期設定された露光時間及び絞り量による撮影処理が行われる。
人物領域サイズが第3所定サイズを下回る場合(ステップS107のNo)、CPU(32)は、ステップS103と同様、画像データの露出量の調整処理を行うと決定し、且つ、画像データの露出量を低下させる処理を行う(ステップS109)。被写体のうち、人物よりも領域が大きい植物に対する色合いを重視するためである。当該処理では、人物領域サイズの大小に応じて、露出量を低下させる度合が変化する。
図13は、横軸を人物領域サイズ、縦軸を露出量を低下させる度合(露出の低下量)とし、ステップS109に係る処理での、人物領域サイズと露出の低下量との関係をグラフにて表している。図13に示すように、本実施形態では、人物領域サイズが小さい程、露出を低下させる度合(露出の低下量)は高くなる。即ち、人物領域サイズが小さい程、画像データの露出量はより低くなる。算出した人物領域サイズを図13のグラフに当てはめることで、露出量をどの程度下げるかが決定される。
図13に示すように、人物領域サイズが小さくなる程、露出の低下量が直線状に増すように、人物領域サイズと露出の低下量との関係が定義されていることが好ましいが、図13に限定されずともよい。
ステップS109にて決定した露出量に従って、CPU(32)は、最適な絞り量及び最適な露光時間(シャッタ速度)をドライバ(18b)によって絞りユニット(14)に設定する。これにより、シャッタボタン(40)の全押し時、設定された露光時間及び絞り量による撮影処理が行われる。
ステップS106において、画像データが、植物領域と人物領域とで大部分を占めるようなものでない場合(ステップS106のNo)、CPU(32)は、画像データの露出量の調整処理を行わないと決定する(ステップS110)。この場合、シャッタボタン(40)の全押し時、初期設定された露光時間及び絞り量による撮影処理が行われる。
自然画像における植物に花の部位が含まれる場合、即ち、図7において被写体が植物の中でも“花”だと認識された単位画像が存在する場合(ステップS111のYes)、信号処理回路(26)(具体的にはLCH調整回路(26e))は、当該花の色成分の彩度が上昇するように、自然画像の彩度を補正する処理を行う(ステップS112)。これにより、花の色成分が鮮やかな画像が得られる。
<効果>
本実施形態の画像処理装置(100)は、自然画像の画像データを複数の単位画像(br1,br2,・・・)に細分化し、各単位画像(br1,br2,・・・)についての特徴量を求める。画像処理装置(100)は、各単位画像(br1,br2,・・・)の特徴量から被写体が植物か人物かを判別し、植物領域または人物領域のサイズを算出する。このような処理により、画像処理装置(100)は、自然シーンであるか否かを比較的正確に認識することができる。そして、画像処理装置(100)は、植物領域サイズまたは人物領域サイズである特定領域サイズに応じて、画像データの露出量の調整処理を行うべきか否かと、露出量の調整処理を行う場合は露出量を制御する。即ち、本実施形態では、比較的正確に認識された自然画像毎に、全体的な明るさを上下させる処理が行われる。従って、緑色等の特定の色の鮮やかさが強調されるようなことはなく、ユーザが違和感を覚えにくい、実際の色合いが再現された画像が得られる。
多くの場合、植物は緑色である。ここでは、植物領域サイズが比較的多い場合、画像データの露出量を低下させることで、植物の緑色の色合いを残しつつも全体的な明るさを抑えた画像が得られる。これにより、植物の緑色が落ち着いている自然な色合いの画像が得られる。
上記露出量を低下させる度合は、植物領域サイズの大小に応じて変化する。具体的には、植物領域サイズが大きい程画像データの露出量が低くなるように、植物領域サイズの大小に応じて露出量を低下させる度合が変化する。これにより、実際の被写体に即した細やかな露出制御がなされるため、植物の緑色が落ち着いている自然な色合いの画像が得られる。
一方、植物領域サイズが第1所定サイズを下回る場合、画像データの露出量の調整処理は行われない。露出を行ってしまうと、全体的に暗い画像となってしまい、実際の植物の緑色の色合いが損なわれるためである。
また、本実施形態では、植物領域サイズが比較的大きい場合、露出制御のみならず、彩度を上げる補正が更に行われる。これにより、露出を低下させる制御によって全体的には明るさが抑えられつつも、彩度を上昇させる制御により緑色が暗くなりすぎないような、自然な色合いの画像が得られる。
植物の緑色成分の彩度を上昇させる度合は、植物領域サイズの大小に応じて変化する。これにより、画像に係る植物の緑色が強調されすぎることを抑制することができる。
また、本実施形態では、自然画像内に植物と人物とが含まれている状態において、人物領域サイズが比較的大きい場合、一画像内の植物よりも人物を重視して、露出量の調整処理は実行されない。仮に露出量を下げてしまうと、画像は全体的に暗くなり、かえって人物が見にくくなる等の影響が画像に及ぶ可能性があるためである。
一方、本実施形態では、人物領域サイズが比較的小さい場合、一画像内の人物よりも植物を重視して、露出量を下げる制御が行われる。これにより、植物の緑色の色合いを残しつつも全体的な明るさが抑えられ、植物の緑色が落ち着いた自然な色合いの画像が得られる。
上記露出量を低下させる度合は、人物領域サイズの大小に応じて変化する。特に、人物領域サイズが小さい程画像データの露出量が低くなるように、人物領域サイズの大小に応じて露出量を低下させる度合が変化する。つまり、ここでは、一画面内の人物よりも植物を重視して、実際の被写体における植物の領域サイズに即した細やかな露出制御がなされるため、植物の緑色が落ち着いている自然な色合いの画像が得られる。
また、植物には、緑色の葉の他に、色鮮やかな花が含まれることも多い。本実施形態では、植物の中に花が含まれる場合、花の色成分の彩度を上げる補正が行われる。これにより、画像に含まれる花の部分の色は鮮やかとなり、実際の色合いに即した画像が得られる。
≪第2実施形態≫
本実施形態では、上記第1実施形態で説明した「自然シーン判定動作(図7)」及び「自然シーンにおける露出制御動作ならびに色合い調整動作(図10)」において、更に図14示す動作が追加された場合について説明する。
なお、撮像装置(10)及び画像処理装置(100)の各構成、ならびに図6の動作の流れは、上記第1実施形態と同様である。
先ず、画像処理装置(100)は、特定領域の明度の評価値等に基づいて被写体の被写体輝度を求めると共に、AF結果である被写体の被写体距離を求める。これらの算出方法には、従来技術の適用が可能であって、算出は、CPU(32)及び信号処理回路(26)のどちらが行っても良い。例えば、被写体輝度の算出には、積算値r(i,j),g(i,j),b(i,j)y(i,j)等が利用され、被写体距離の算出には、図3に係る256個のブロック毎の、画像信号に係るR成分、G成分及びB成分の高周波数成分の積分値等が利用される。
CPU(32)は、上記図7に係る自然シーン判定動作を、ステップS71からステップS77まで行う。
次いで、図14に示すように、CPU(32)は、算出した被写体輝度を、予め設定されている所定輝度と比較し(ステップS201)、算出した被写体距離を、予め設定されている所定距離と比較する(ステップS202)。
被写体輝度が所定輝度以上であって(ステップS201のYes)、且つ、被写体距離が所定距離以上である場合(ステップS202のYes)、図10の一連の動作、即ち“自然シーンにおける露出制御動作ならびに色合い調整動作”が、ステップS101~S112まで行われる。
次いで、被写体輝度が所定輝度以上、且つ、被写体距離が所定距離以上であることから、CPU(32)は、画像データが自然シーンで撮像されたもの、特に風景シーンで撮像されたものと判定する。この場合、信号処理回路(26)(具体的には、シャープネス調整回路(26b))は、自然画像の鮮鋭度が上昇するように、画像データに対しシャープネス調整処理を施す(ステップS203)。
即ち、ここでは、風景シーンである場合、自然画像に含まれる被写体の輪郭がより明確になるようなシャープネス調整処理が行われる。これにより、自然画像の中に何が写し出されているのかが明確に把握し易い画像が得られる。
≪第3実施形態≫
本実施形態では、上記第1実施形態で説明した「自然シーンにおける露出制御動作ならびに色合い調整動作(図10)」に、図15に係る動作が追加された場合について説明する。
なお、撮像装置(10)及び画像処理装置(100)の各構成は、上記第1実施形態と同様である。図6及び図7の動作も、上記第1実施形態と同様である。
本実施形態では、主要被写体が、植物と空であることを前提とし、CPU(32)は、画像データにおいて空が写っている領域の大きさ(以下、空領領域サイズ)を更に算出するものとする。画像データから、空が写っている領域を検出する方法には、どのような方法が用いられても良い。例えば、単位画像(br1,br2,・・・)のエッジ成分が存在しないことと色成分が青色であるとの特徴量と、そのような特徴量を有する単位画像が自然画像における上部に位置することとに基づいて、当該単位画像(br1,br2・・・)が“空”であるとCPU(32)が認識する方法を採用することができる。
先ず、図10のステップS106においてNoであって、画像データ中では植物領域と空領域とが大部分を占める場合(ステップS301のYes)、CPU(32)は、算出した特定領域サイズにおける植物領域サイズと第1所定サイズとを比較する(ステップS302)。植物領域サイズが第1所定サイズ以上である場合(ステップS302のYes)、CPU(32)は、画像データの露出量の調整処理を行うと決定し、且つ、画像データの露出量を低下させる処理を行う(ステップS303)。当該露出量を低下させる処理の詳細については、図10のステップS103と同様である。
更に、空領域サイズが第4所定サイズ以上である場合(ステップS304のYes)、自然画像が、例えば山や森等を写した屋外の自然の風景シーンである可能性が高い。そこで、CPU(32)は、焦点を所定距離の固定焦点に設定すると共に絞り値を所定の絞り値に固定するパンフォーカス制御、ないしは、ドライバ(18a)によりフォーカスレンズ(12)を移動させて焦点を遠方に合わせる遠方優先のオートフォーカス制御を行う(ステップ305)。更に、信号処理回路(26)(具体的にはシャープネス調整回路(26b))は、自然画像の鮮鋭度が上昇するように、画像データに対しシャープネス調整処理を施す(ステップS306)。即ち、自然画像に含まれる被写体の輪郭がより明確になるようなシャープネス調整処理が行われる。
これにより、自然画像の中に何が写し出されているのかが明確に把握し易い画像が得られる。
なお、図15において、主な被写体が植物及び空の組合せでない場合(ステップS301のNo)、図10のステップS101以降の動作が行われる。
図15において、植物領域サイズが第1所定サイズを下回る場合(ステップS302のNo)、図10のステップS105以降の動作が行われる。
図15において、空領域サイズが第4所定サイズを下回る場合(ステップS304のNo)、及びステップ306の後、図10のステップS111以降の動作が行われる。
≪その他の実施形態≫
図7の自然シーンの可能性判断において、CPU(32)は、各単位画像(br1,br2,・・・)の特徴量から、緑色成分の中に多彩な色成分が分布していると判明した場合、分布している多彩な色が花であると認識することができる。この場合、信号処理回路(26)(具体的にはLCH調整回路(26e)等)は、花の色を鮮やかにするために、花の領域の部分については彩度を上げる補正を施しても良い。
上記第3実施形態では、フォーカス関連の制御(ステップS305)及びシャープネスを上昇させる補正(ステップS306)に加えて、更に信号処理回路(26)によって、彩度を上げる補正が自然画像に対し施されても良い。
被写体の種類を認識では、辞書データ(DB)を利用しない方法が採用あれてもよい。
図10のステップS103では、植物領域サイズの大小に応じて露出を低下させる度合が変化すると説明したが、これは必須ではない。同様に、図11では、植物領域サイズが大きい程直線的に露出量が低くなる場合を表しているが、これに限定されずとも良い。
図10のステップS104では、彩度を上昇させる補正が施されると説明したが、これは必須ではない。同様に、図12では、植物領域サイズに応じて植物の緑色成分の彩度が直線的に上昇する場合を表しているが、これに限定されずとも良い。
図10のステップS109では、人物領域サイズの大小に応じて露出を低下させる度合が変化すると説明したが、これは必須ではない。同様に、図13では、人物領域サイズが大きい程直線的に露出量が低くなる場合を表しているが、これに限定されずとも良い。
図10のステップS111及びS112では、花の部位の彩度を上昇させる補正を施すと説明したが、これは必須ではない。