以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、撮像装置の一種であり、撮影画像処理装置を備えたデジタルカメラ100を斜め前方から見た斜視図である。デジタルカメラ100は、筐体110と、筐体110の前面に配置されたレンズ鏡筒120および発光窓130と、筐体110の上面に配置された電源スイッチ142、レリーズボタン144、ズームレバー146を備える。
レンズ鏡筒120は、筐体110の内部に配置された撮像素子に被写体の像光を結像する撮影レンズ122を保持する。筐体110の内部に配置された図示していない発光部により発生した光は、発光窓130を介して被写体を照明する。電源スイッチ142、レリーズボタン144、ズームレバー146は、デジタルカメラ100の操作部140の一部をなす。
電源スイッチ142は、押される毎にデジタルカメラ100の電源を断続する。ズームレバー146は、レンズ鏡筒120に保持された撮影レンズの倍率を変化させる。レリーズボタン144がユーザによって半押しされた場合に、自動合焦部、測光センサ等が駆動されると共に、撮像素子によるスルー画像撮影動作が実行される。これにより、デジタルカメラ100はスルー画像撮影に続く、被写体像の本撮影に備える。
レリーズボタン144の全押し操作がなされると、シャッタが開いて被写体像の本撮影動作が実行される。撮影範囲の明るさが暗いなどの場合には、本撮影のタイミングに合わせて発光窓130から光が被写体に向かって投射される。
図2は、デジタルカメラ100を斜め後方から見た斜視図である。図1と共通の要素には同じ参照番号を付して重複する説明を省く。
筐体110の背面には、十字キー141および背面ボタン143を含む操作部140の一部と、背面表示部150とが配される。十字キー141および背面ボタン143は、デジタルカメラ100に各種設定を入力する場合、デジタルカメラ100の動作モードを切り替える場合、レンズ鏡筒の変倍等をリアルタイムで変更する場合等に、ユーザにより操作される。
背面表示部150は、液晶表示パネル等により形成され、筐体110背面の多くの領域を占める。デジタルカメラ100が撮影モードの場合、レンズ鏡筒120に入射する被写体像が撮像素子により連続的に光電変換され、スルー画として背面表示部150に表示される。ユーザは、背面表示部150に表示されたスルー画を観察することにより、有効な撮影範囲を知ることができる。
また、背面表示部150には、電池の残量、記憶媒体の残り容量等、デジタルカメラ100の状態が併せて表示される。更に、デジタルカメラ100が再生モードで動作する場合は、後述する二次記憶媒体332から画像データが読み出され、再生画像が背面表示部150に表示される。
図3は、デジタルカメラ100の内部回路200を模式的に示すブロック図である。図1および図2と共通の要素には同じ参照番号を付して重複する説明を省く。内部回路200は、制御部201、撮像部202および撮影画像処理部203を含む。
制御部201は、CPU210、表示駆動部220、プログラムメモリ230およびメインメモリ240で構成される。CPU210は、プログラムメモリ230からメインメモリ240に読み込んだファームウエアに従って、デジタルカメラ100の動作を包括的に制御する。CPU210には、入力画像の顕著度マップを生成する顕著度マップ生成部222も形成される。顕著度マップ生成部222に対する入力画像は、デジタルカメラ100の撮影画像の他、外部から供給された画像ファイルであってもよい。表示駆動部220は、CPU210からの指示に従って表示画像を生成し、生成した画像を背面表示部150に表示する。
撮像部202は、撮像素子駆動部310、撮像素子312、アナログ/デジタル変換部320、画像処理部330、自動合焦部340および測光センサ350を含む。撮像素子駆動部310は、撮像素子312を駆動して、撮影レンズ122により撮像素子312の撮像面に結像された被写体像を光電変換して画像信号にする。撮像素子312としては、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等を用いることができる。
撮像素子312が出力する画像信号は、アナログ/デジタル変換部320により離散化され、画像処理部330により撮影画像データに変換される。画像処理部330は、撮影画像データを生成する過程で、画像のホワイトバランス、シャープネス、ガンマ、階調補正等を調整すると共に、撮影画像データを後述する二次記憶媒体332に記憶する際の圧縮率等を設定する。
画像処理部330において生成された画像データは、二次記憶媒体332に格納して保存される。二次記憶媒体332としては、フラッシュメモリカード等の不揮発性記憶素子を備えた媒体が使用される。二次記憶媒体332の少なくとも一部は、デジタルカメラ100から着脱して交換できる。
自動合焦部340は、例えば、撮像素子312の撮像面に配設された位相差方式の焦点検出素子を用いて、周知の位相差方式による自動合焦動作を行う。測光センサ350は、被写体の明るさを計測して、デジタルカメラ100の撮影条件を決定する。変倍駆動部360は、CPU210の指示に従って撮影レンズ122の一部を移動させる。これにより、撮影レンズ122の倍率が変化して、撮影画像の画角が変化する。
入力受付部370は、操作部140からの入力を受け付け、CPU210に入力する。CPU210は、入力された信号に応じて各部への指令を発生する。また、CPU210は、指令を発生する場合に、入力受付部370に保持された設定値を参照して動作条件を決定する。
上記のような内部回路200を有するデジタルカメラ100は、さらにユーザがレリーズボタン144を押し下げる1回の撮影操作(全押し操作)に対して、撮像部202が複数の画像データを取得する撮影モードを有する。同撮影モードの設定がなされると、CPU210は、撮像素子駆動部310により、撮像素子312が連続撮影を行うよう制御する。これにより、時系列撮影画像(映像)データが取得される。
このようにして取得された時系列の撮影画像データは、画像処理部330内のFIFO(First In First Out)メモリに順次入力される。FIFOメモリは、所定の記憶容量を有しており、順次入力される入力データが当該所定の容量に達すると、入力された順に撮影画像データが出力される。
上記撮影モードでは、ユーザによるレリーズボタン144の全押し操作から所定時間が経過するまで、時系列の撮影画像データが、順次FIFOメモリに入力され、この間に、FIFOメモリから出力されたデータは削除される。レリーズボタン144の全押し操作がなされてから所定時間が経過すると、FIFOメモリへの撮影画像データの書き込みが禁止される。これにより、FIFOメモリ内には、レリーズボタン144の全押し操作の前後に取得された複数フレームの時系列撮影画像データが保持される。
即ち、一度の撮影操作(全押し操作)に対して撮像部202が時系列で撮像した複数の画像を取得することにより、それら複数の画像から、撮影条件(絞り開度、シャッタ速度、撮像素子感度等)、撮影タイミング等が適していた撮影画像を、当該撮影モードで取得された複数フレームの撮影画像の中から選択できる。これにより、撮影の成功率を向上させることができる。
近年、デジタルカメラ100の性能が向上し、ユーザの一度のレリーズボタン操作に対して数十フレームにも及ぶ画像データを取得することもできるようになってきている。そのような場合には特に、大量の撮影画像データから保存すべき画像データを選択することがユーザの負担になる場合がある。本実施形態によれば、このようなユーザの負担を後述のように軽減することができる。
図3に示される、デジタルカメラ100は、撮影画像処理部203を備える。撮影画像処理部203は、被写体抽出部250、主要被写体推定部260および画像選択部270を有し、複数の撮影画像から、画像としての価値がより高いと推定される撮影画像を選択する。
ここで、画像としての価値とは、画像データとしての品質の高さの他、撮影内容に対する評価も含む。画像データとしての品質の高さとは、画像の解像が高い、ダイナミックレンジが広い、白とび/黒つぶれ等が生じていない等、デジタルデータとして信号品質に依存する価値の高さを意味する。一方、撮影内容に対する評価とは、ユーザにとって関心が高い被写体が映像に含まれているか、当該被写体にピントがあっているか、当該被写体の露光状態が適切であるか等、ユーザの主観的価値に依存する評価を意味する。
図4及び図10は、デジタルカメラ100の撮影画像処理部203における処理手順を示す流れ図である。図4では、被写体抽出部250および主要被写体推定部260における処理までが示される。撮影画像処理部203は、FIFOメモリ、あるいは二次記憶媒体332から、複数フレームの撮影画像データを読み出すことにより、複数の撮影画像ファイルを取得する(ステップS101)。
図5は、撮影画像処理部203に取得された複数の撮影画像を概念的に示す図である。図示のように、取得された複数の撮影画像41−1〜41−nは、撮影画像群410として撮影画像処理部203において処理される。
ここで、撮影画像41−1〜41−nは、例えば、ブラケット撮影、連写等により時間的あるいは時系列的に連続して撮影された画像であってもよい。また、同じ場所、同じ日、同じ季節等、撮影条件の一部が共通する画像であってもよい。
ただし、複数の撮影画像41−1〜41−nは、互いに異なる内容を有するものとする。ここでいう異なる内容とは、撮影画像41−1〜41−nに含まれる被写体が相違することの他、同じ被写体が同じ構図で撮影されている場合であっても、合焦位置、露光条件等が相違するものも含む。
再び図4を参照すると、撮影画像処理部203は、取得した複数の撮影画像41−1〜41−nのうちの1フレームの撮影画像から、被写体抽出部250において、撮影画像に含まれる被写体を抽出させる(ステップS102)。撮影画像からの被写体抽出は、ソーベルフィルタ等による輪郭抽出の他、周知の顔認識技術、主成分分析を使った固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル等、さまざまな方法を用いることができる。
図6は、被写体抽出部250における処理を概念的に示す図である。図示のように、被写体抽出部250は、取得した複数の撮影画像41−1〜41−nの各々から、被写体11〜33を抽出する。抽出される被写体は、顔を含む人物を始め、樹木等の静物、自動車、動物等、人物以外の被写体を含んでもよい。
再び図4を参照すると、被写体抽出部250は、ある1フレームの撮影画像、例えば撮影画像41−1に含まれる被写体11〜33を全て抽出すると、取得した撮影画像群410に、まだ被写体抽出をしていない撮影画像があるか否かを調べる(ステップS103)。まだ被写体抽出をしていない撮影画像が残っている場合(ステップS103:NO)、被写体抽出部250は、当該撮影画像からの被写体抽出を順次実行する(ステップS102)。
ステップS103において、取得した撮影画像群410に含まれる撮影画像41−1〜41−nの全てに対して被写体抽出したことが判った場合(ステップS103:YES)、被写体抽出部250は処理を完了して、主要被写体推定部260に処理を渡す。
被写体抽出部250により抽出された被写体11〜33はメインメモリ240に記録され、後述する主要被写体推定部260による処理の単位となる。なお、一面の草原、空等のように主要被写体として抽出する対象がない画像では被写体を抽出できない。よって、取得した複数の画像に、このような主要被写体を検出できない画像が含まれていた場合、撮影画像処理部203は、そのような撮影画像を処理の対象から除く。
主要被写体推定部260は、撮影画像群410に含まれる撮影画像41−1〜41−nの各々において被写体抽出部250により抽出された複数の被写体11〜33を対象として、それらの中から撮影画像41−1〜41−nにおける1つの主要被写体を推定する(ステップS104)。即ち、主要被写体推定部260は、撮影画像41−1〜41−nに含まれる複数の被写体11〜33から、ユーザにとって最も重要と推定される被写体を主要被写体と推定する。
このようにして、一連の撮影画像における主要被写体が推定される。主要被写体推定部260は、ある1フレームの撮影画像、例えば撮影画像41−1に含まれる被写体11〜33からどの被写体が主要被写体かを推定すると、各撮影画像において、推定された主要被写体の領域を特定する(ステップS105)。
なお、主要被写体を推定する処理(S104)には、推定の対象となる被写体を含む領域を特定する処理が含まれる場合がある。このような場合は、主要被写体を推定した後に、推定された主要被写体の領域を改めて特定する処理(ステップS105)を省くことができる。
しかしながら、例えば顔のように、被写体の一部分を用いて主要被写体の抽出を実行した場合は、その顔を含む被写体全体の領域、例えば全身を改めて主要被写体として特定してもよい。逆に、ステップS104において、対象となる被写体全体を用いて主要被写体を抽出する場合は、主要被写体の領域を特定(ステップS105)する処理を省くことができる。
こうして、主要被写体推定部260は、取得した撮影画像群410に含まれる全ての撮影画像41−1〜41−nに対して主要被写体領域を特定する。全ての撮影画像41−1〜41−nに対して主要被写体領域の特定(ステップS105)が終了すると撮影画像処理部203は、主要被写体推定部260における処理は終了する。
図7及び図8は、図4のステップS104における、複数の被写体11〜33から主要被写体を推定する方法を模式的に示す図である。主要被写体推定部260は、例えば、図7に示すように、被写界421における各被写体の位置の履歴に基づいて主要被写体を推定する。なお、図7は、撮影画像の内容を示す図ではなく、主要被写体を推定する方法の概念を示す模式図である。
主要被写体推定部260は、デジタルカメラ100の複数の撮影画像41−1〜41−nについて被写体11〜33を個別に追尾して、各被写体の位置が、撮影画像41−1〜41−nの所定位置(例えば中心C)からどれぐらい離れた位置に写っているかを調べる。なお、図7では、説明を簡単にする為に、被写体26,27のみに注目して、被写体26,27の位置が、撮影画像41−1〜41−nの所定位置(例えば中心C)からどれぐらい離れた位置に写っているかを、5フレームの撮影画像について重畳して示している。
主要被写体推定部260は、複数の撮影画像41−1〜41−5において、被写体26が写っている位置を、複数の撮影画像41−1〜41−5の中心Cから被写体26のまでの距離d1、d2、d3、d4、d5の平均値を算出する。また、主要被写体推定部260は、他の被写体27についても、複数の撮影画像41−1〜41−5の中心Cから補被写体27のまでの距離D1、D2、D3、D4、D5の平均値も算出する。
主要被写体推定部260は、上記のようにして算出した平均値を比較することにより、被写体27の方が、被写体26よりも、撮影画像の中心Cの近くに写っていることが多いと判定する。これにより、主要被写体推定部260は、被写体27を主要被写体と推定する。なお、上記の例では、撮影画像中の所定位置を画像の中心Cとする例について説明したが、例えば、この所定位置を、構図上好ましいとされている、画面上を縦横3分割した3分割線、あるいは当該3分割線上の所定点とする構成としてもよい。
また、図8に示すように、主要被写体推定部260は、被写界422における位置を他の方法で評価してもよい。図8も、撮影画像の内容を示す図ではなく、主要被写体を推定する方法の概念を示す模式図である。
主要被写体推定部260は、図8に示すように、デジタルカメラ100の被写界422の中央付近に、中心領域Aを設定する。次いで、複数の撮影画像41−1〜41−5において、被写体26、27が、中心領域Aに入り込んだ回数を計数する。これにより、被写体27の方が、被写体26よりも、中心領域A内に写っている回数が多い場合に、被写体27を主要被写体と推定する。
このように、撮影画像処理部203は、複数の画像間における被写体の位置に基づいて、主要被写体を推定してもよい。ただし、被写体の位置を評価する方法が上記の例に限られないことはもちろんである。例えば、図7に示した方法において、中心Cとの距離D1、D2、D3、D4、D5を評価する場合に、単純平均ではなく、統計的な処理を加えて評価値を算出してもよい。また、中心Cとの距離の被写体27が、時間の経過と共に被写界422の中心に近づいていることを評価してもよい。
また、図9に示すように、主要被写体推定部260は、ユーザが撮影操作(レリーズボタン144の全押し操作)をしたタイミングに近いタイミングで撮影された撮影画像における被写体の評価に重みをつけて評価してもよい。即ち、デジタルカメラ100の撮像部202は、一度の撮影操作に対して時系列で撮像された複数の画像を撮影できる。こうして取得された複数の撮影画像41−1〜41−nのうち、レリーズボタン144が押し下げられたタイミングに時間的に近い撮影画像に写り込んでいる被写体26、27は、撮影者が撮影することを意図した被写体である蓋然性が高い。
よって、上記のように被写体26、27を評価する場合に、取得されたタイミングが、レリーズボタン144が押し下げられたタイミングに時間的に近い撮影画像に写り込んでいる被写体26、27に重みをつけて評価してもよい。また、レリーズタイミングにより近い画像において被写界421の中心Cにより近かった被写体27、あるいは、レリーズタイミングにより近い画像において被写界421の中心領域Aに入っていた被写体27に重み付けをしてもよい。これにより、主要被写体の推定精度をより向上させることができる。特に、動く被写体をカメラを移動させながら撮影行うなどの場合、撮影者は、写したい被写体が、撮影画面の所定位置(例えば撮影画面中央)になるように、カメラを移動させながら撮影を行うことが多い。上記構成によれば、主要被写体を適切に推定することができる。
このように、主要被写体推定部260は、人物である被写体の顔を識別して主要被写体を推定してもよい。ただし、主要被写体推定部260における主要被写体の推定方法が上記の例に限られないことはもちろんである。例えば、被写体が人物の場合、笑顔の度合いである笑顔度の最も高い被写体を主要被写体と推定する、あるいは検出された顔のサイズが最も大きい被写体を主要被写体と推定するなどの手法を用いるものであっても構わない。
さらには、予め優先順位を付けて登録されている固有の被写体について、複数フレームの撮影画像データの各々で認識処理を行って、主要被写体を推定する構成としてもよい。また、上記の方法のいくつかを組み合わせ、あるいは繰り返すことにより、主要被写体推定の精度向上を図ってもよい。
また、上記の例は、複数の撮影画像について同じ主要被写体を推定した。しかしながら、撮影画像相互で異なる主要被写体を推定してもよい。これにより、特定の被写体の撮影状態に関する評価ではなく、撮影内容を評価できる。
図10は、撮影画像処理部203において、図4に示した処理手順に続く処理手順を示す流れ図である。撮影画像処理部203においては、顕著度算出部280を含む画像選択部270が処理を実行する。画像選択部270は、主要被写体推定部260において主要な被写体27を検出された撮影画像41−1〜41−nのそれぞれに対して、顕著度算出部280において、少なくとも主要被写体27の領域についての画像の顕著度分布を示す顕著度マップを算出する(ステップS106)。
図11は、CPU210に形成された顕著度マップ生成部222の内部構造を模式的に示すブロック図である。顕著度マップ生成部222は、輝度情報抽出部610、色情報抽出部620、エッジ情報抽出部630および線形結合部640を有する。
輝度情報抽出部610、色情報抽出部620およびエッジ情報抽出部630は、顕著度マップ生成部222に対して入力された入力画像を並列的に受け入れる。入力画像を受け入れた輝度情報抽出部610、色情報抽出部620およびエッジ情報抽出部630の各々は、特定の特徴に関する特徴量を画像の領域毎に抽出し、抽出した特徴量の分布を示す情報マップを生成する。
即ち、輝度情報抽出部610は、入力画像の領域毎、例えば画素毎の輝度を抽出して、入力画像における輝度分布を示す輝度情報マップを生成する。色情報抽出部620は、入力画像における色分布を示す色情報マップを生成する。エッジ情報抽出部630は、入力画像における方向性エッジの分布を示す方向性エッジ情報を示す方向性エッジ情報マップを生成する。
線形結合部640は、輝度情報抽出部610が生成した輝度情報マップ、色情報抽出部620が生成した色情報マップおよびエッジ情報抽出部630が生成したエッジ情報マップを線形結合して顕著度マップを生成する。生成された顕著度マップは、入力画像における視覚刺激の強さの分布を示す。
図12は、顕著度マップ生成部222における処理の一例を概観する流れ図である。また、図13は、顕著度マップの生成過程を模式的に示す図であり、図12と併せて参照する。
処理の対象となる入力画像として、例えば撮影画像41−1が供給された場合、顕著度マップ生成部222は、まず、入力画像から抽出した輝度情報に基づいて輝度情報マップ46−1を生成する処理を輝度情報抽出部610に実行させる(ステップS201)。輝度情報抽出部610は、生成した輝度情報マップ46−1を線形結合部640に転送する。
また、顕著度マップ生成部222は、入力画像から抽出した色情報に基づいて色情報マップ47−1、47−2を生成する処理を色情報抽出部620に実行させる(ステップS202)。抽出する色情報としては、例えば、R(赤)−G(緑)の差分、B(青)−Y(黄)の差分が例示できる。色情報抽出部620は、生成した色情報マップを線形結合部640に転送する。
更に、顕著度マップ生成部222は、入力画像から抽出した方向性エッジ情報に基づいて方向性エッジ情報マップ48−1〜48−4を生成する処理を方向性エッジ情報抽出部630に実行させる(ステップS203)。抽出する方向性エッジ情報としては、0度、45度、90度、135度のそれぞれの方向性エッジを例示できる。方向性エッジ情報抽出部630は、生成した方向性エッジ情報マップ48−1〜48−4を線形結合部640に転送する。
なお、以降の説明において単に「情報マップ」と記載した場合は、輝度情報マップ46−1、色情報マップ47−1、47−2および方向性エッジ情報マップ48−1〜48−4のいずれかを特定することなく、線形結合部640に入力される情報全体を指すものとする。また、図12における、各情報マップを生成するステップS201からステップS203までの処理は、順序を入れ換えても差し支えない。また、処理装置の容量に余裕がある場合は並列処理してもよい。
次に、顕著度マップ生成部222は、上記ステップS201からステップS203までに生成した輝度情報マップ46−1、色情報マップ47−1、47−2および方向性エッジ情報マップ48−1〜48−4を線形結合して顕著度マップ49−1を生成する処理を線形結合部640に実行させる(ステップS204)。
ここで、線形結合部640は、情報マップ毎に予め定めた情報重みWbを用いて情報マップを線形結合してもよい。即ち、目的とする顕著度マップ上の画素の画素値は、各情報マップにおいて対応する画素の画素値に、情報マップ毎に予め定められた重みWbが乗算される。よって、情報重みWbが乗算された画素値の総和が、顕著度マップにおける画素の画素値となる。
更に、顕著度マップ49−1における各画素の画素値は、0から1までの間に分布するように正規化される。こうして、輝度情報マップ、色情報マップおよびエッジ情報マップの各領域の特徴量が、同じ位置にある領域ごとに重み付き加算された顕著度マップが生成される。
なお、上記の例では、輝度、色および方向性エッジの各々について情報マップを生成し、これらの情報マップを線形結合して顕著度マップ49−1を生成した。しかしながら、顕著度マップの生成に用いる情報マップの種類および数は上記のものに限られるわけではない。
例えば、静止画カメラの連写あるいはブラケット撮影等のように時系列的に取得された画像が入力された場合は、画像中の運動の方向性等に関する情報マップを生成して用いることも好ましい。更に、顔検出、個体検出等の他の画像処理により抽出された情報マップを用いてもよい。
図14は、顕著度マップ生成部222における輝度情報抽出部610のブロック図である。ここでも、図13を併せて参照する。輝度情報抽出部610は、輝度画像生成部612、ガウシアンピラミッド生成部614、差分画像生成部616および輝度情報マップ生成部618を有する。
輝度画像生成部612は、入力画像の各画素について、当該画素の輝度を画素値とする輝度画像42−1を生成する。ガウシアンピラミッド生成部614は、輝度画像生成部612から取得した輝度画像から、解像度が順次低下する複数の画像を生成して、輝度を特徴量とするガウシアンピラミッド43−1を生成する。
差分画像生成部616は、ガウシアンピラミッド生成部614から取得したガウシアンピラミッドに含まれる解像度の異なる画像から複数の輝度差分画像45−1を算出して輝度差分画像45−1を生成する。輝度情報マップ生成部618は、差分画像生成部616から取得した複数の輝度差分画像45−1から単一の輝度情報マップ46−1を生成する。
輝度情報マップは、入力画像における輝度差が大きいことによる視覚刺激の強さの分布を示す。輝度情報抽出部610が生成した輝度情報マップ46−1は、既に説明した通り、線形結合部640に提供される。
図15は、輝度情報抽出部610において実行される処理を示す流れ図である。図13を併せて参照する。
輝度情報抽出部610は、入力画像として撮影画像41−1を入力され、輝度画像生成部612により、入力画像の輝度画像42−1を生成する。輝度画像42−1は、入力画像の各画素の輝度値を画素値とする。
輝度画像生成部612は、例えば、入力画像を色差−輝度信号に変換してその輝度成分を抽出することにより輝度画像を生成する(ステップS301)。また、輝度画像生成部612は、画素毎のR(赤)、G(緑)およびB(青)の各成分の値の平均値を輝度画像の画素毎の画素値としてもよい。
次に、輝度情報抽出部610は、ガウシアンピラミッド生成部614により、輝度画像42−1に基づくガウシアンピラミッド43−1を生成させる(ステップS302)。ガウシアンピラミッド43−1は互いに解像度が異なる複数の画像を含む。
即ち、ガウシアンピラミッド生成部614において、輝度画像生成部612から供給された当初の輝度画像42−1は、最も解像度が高いレベルL1の画像とされる。次いで、ガウシアンピラミッド生成部614は、レベルL1の輝度画像42−1の各画素について、隣接する4つの画素の画素値の平均値をひとつの画素の画素値とする処理により、解像度がより低いレベルL2の画像を生成する。
以下、ガウシアンピラミッド生成部614は、同様の処理を繰り返すことにより、例えばレベルL8まで解像度が漸減する複数の画像を生成する。これにより、8種類の解像度で階層化されたガウシアンピラミッド43−1が生成される。
続いて、輝度情報抽出部610は、差分画像生成部616に、ガウシアンピラミッド43−1に基づいて輝度差分画像45−1を生成させる(ステップS303)。輝度差分画像45−1は、ガウシアンピラミッド43−1に含まれる複数の画像相互の差分として、複数生成される。
差分画像生成部616が、5つの輝度差分画像45−1を生成する場合を例にあげる。差分画像生成部616は、ガウシアンピラミッド43−1を形成するレベルL1からレベルL8までの8つの輝度画像のうち、例えば、[レベルL6−レベルL3]、[レベルL7−レベルL3]、[レベルL7−レベルL4]、[レベルL8−レベルL4]および[レベルL8−レベルL5]の組み合わせで対応画素の画素値の差分を算出する。
ただし、差分画像生成部616が取得したガウシアンピラミッド43−1において、複数の画像は互いに解像度が異なるので大きさ(画素数)も異なる。そこで、差分画像生成部616は、処理の対象となる画像のうち、解像度の低い(小さい)画像をアップコンバートして、解像度の高い(大きい)輝度画像に大きさを合わせる。
次いで、差分画像生成部616は、大きさ(画素数)の揃った画像44−1に対して、対応する画素毎に差分を算出して、輝度を特徴量とする輝度差分画像45−1を生成する。差分の算出は、予め定められた数の輝度差分画像45−1が生成されるまで複数の輝度画像に対して繰り返される。こうして、輝度の差分を画素値とする5つの輝度差分画像45−1が得られる。
更に、差分画像生成部616は、輝度差分画像45−1の各々に対して、各画素の画素値が例えば0から255までの間の値となるように、輝度差分画像45−1の各々における画素値を正規化する。このようにして、差分画像生成部616は、5つの輝度差分画像45−1を生成する。
次に、輝度情報抽出部610は、輝度情報マップ生成部618に、輝度差分画像45−1から輝度情報マップ46−1を生成させる(ステップS304)。即ち、輝度情報マップ生成部618は、複数の輝度差分画像45−1を加算して単一の輝度情報マップ46−1を生成する。
ここで、予め定めた輝度差分画像45−1ごとの重みである差分重みWaにより輝度差分画像45−1の各々に重みを付けて加算してもよい。これにより、輝度差分画像45−1の各々の同じ位置にある画素の画素値のそれぞれに差分重みWaが乗算された上で算出された総和が、輝度情報マップ46−1における当該画素の画素値となる。
輝度情報マップ46−1の各画素における画素値は、その画素と、その画素の周囲の平均的な輝度との差分の分布を示す。画像において周囲との輝度の差分が大きい領域は視覚を強く刺激するので、当該画素を含む領域の画像は注目されやすい。よって、主要被写体を含む領域の輝度の差分が大きい場合は、主要被写体に注目が集まりやすいと推測できる。
図16は、顕著度マップ生成部222における色情報抽出部620のブロック図である。色情報抽出部620は、R(赤)−G(緑)差分画像621、B(青)−Y(黄)差分画像622、ガウシアンピラミッド生成部623、差分画像生成部624および色情報マップ生成部625を有する。
R−G差分画像生成部621は、撮影画像41−1を入力画像として、入力画像の各画素について、当該画素の赤成分と緑成分との差分を画素値とする色差画像を生成する。B−Y差分画像生成部622は、入力画像の各画素について、当該画素の青成分と黄成分との差分を画素値とする色差画像を生成する。ガウシアンピラミッド生成部623は、R−G差分画像生成部621またはB−Y差分画像生成部622から取得した色差画像から、それぞれ、互いに解像度が異なる複数の画像を生成して、色差を特徴量とするガウシアンピラミッドをそれぞれ生成する。
差分画像生成部624は、ガウシアンピラミッド生成部623から取得したガウシアンピラミッドに含まれる解像度の異なる画像の差分を算出して、色差分画像を生成する。色情報マップ生成部625は、差分画像生成部624の各々から取得した複数の色差分画像に基づいて、それぞれ単一の色情報マップ47−1、47−2を生成する。よって、色情報抽出部620は、単一の入力画像から、R−G差分画像生成部621由来の色情報マップ47−1と、B−Y差分画像生成部622由来の色情報マップ47−2との2つを生成する。
色情報マップ47−1、47−2は、入力画像において色相の変化が大きいことによる視覚刺激の強さの分布を示す。色情報抽出部620が生成した色情報マップは、既に説明した通り、線形結合部640に提供される。
図17は、色情報抽出部620において実行される処理を示す流れ図である。色情報抽出部620は、まず、R−G差分画像生成部621に、入力画像の色情報画像として、R−G差分画像を生成させる(ステップS401)。
即ち、R−G差分画像生成部621は、入力画像の画素毎に、R(赤)成分とG(緑)成分との差分を算出し、算出された差分を当該画素の画素値とするR−G差分画像を生成する。生成されたR−G差分画像は、ガウシアンピラミッド生成部623に転送される。
同様に、色情報抽出部620は、B−Y差分画像生成部622に、入力画像のB−Y差分画像を生成させる(ステップS401)。即ち、B−Y差分画像生成部622は、入力画像の画素毎に、B(青)成分とY(黄)成分との差分を算出し、算出された差分を当該画素の画素値とするB−Y差分画像を生成する。生成されたB−Y差分画像は、ガウシアンピラミッド生成部623に転送される。
次に、色情報抽出部620は、ガウシアンピラミッド生成部623に、上記のR−G差分画像およびB−Y差分画像に基づくガウシアンピラミッドをそれぞれ生成させる(ステップS402)。ガウシアンピラミッドは、互いに解像度が異なる複数の画像を含む。なお、以降の説明において単に「色差分画像」と記載した場合、R−G差分画像およびB−Y差分画像を包括的に意味する。
ガウシアンピラミッド生成部623において、R−G差分画像生成部621またはB−Y差分画像生成部622から供給された当初の色差分画像は、最も解像度が高いレベルL1の画像とされる。次いで、ガウシアンピラミッド生成部623は、レベルL1の色差分画像の各画素について、隣接する4つの画素の画素値の平均値をひとつの画素の画素値とする処理により、解像度がより低いレベルL2の色差分画像を生成する。
以下、同様の処理を繰り返すことにより、例えばレベルL8まで解像度が漸減する複数の色差分画像を生成する。これにより、8種類の解像度で階層化された色差分画像のガウシアンピラミッドが生成される。
続いて、色情報抽出部620は、差分画像生成部624に、取得したガウシアンピラミッドに基づく色差分画像を生成させる(ステップS403)。色差分画像は、複数の色差分画像により形成される。複数の色差分画像は、ガウシアンピラミッドに含まれる複数の色差分画像相互の差分として生成される。
差分画像生成部624が、5つの色差分画像を生成して、色相を特徴量とする差分画像を形成する場合を例にあげて説明する。差分画像生成部624は、ガウシアンピラミッドを形成するレベルL1からレベルL8までの8つの色差分画像のうち、例えば、[レベルL6−レベルL3]、[レベルL7−レベルL3]、[レベルL7−レベルL4]、[レベルL8−レベルL4]および[レベルL8−レベルL5]の組み合わせで対応画素の画素値の差分を算出する。
ただし、差分画像生成部624が取得したガウシアンピラミッドにおいて、複数の色差分画像は互いに解像度が異なるので大きさも異なる。そこで、差分画像生成部624は、処理の対象となる色差分画像のうち、解像度の低い(小さい)画像をアップコンバートして、解像度の高い(大きい)色差分画像に大きさ(画素数)を合わせる。
次いで、差分画像生成部624は、大きさ(画素数)の揃った2つの色差分画像に対して、対応する画素毎に差分を算出して、色相を特徴量とする色差分画像を生成する。差分の算出は、予め定められた数の色差分画像が生成されるまで複数の色差分画像に対して繰り返される。こうして、色差の差分を画素値とする5つの色差分画像が得られる。
更に、差分画像生成部624は、色差分画像の各々に対して、各画素の画素値が例えば0から255までの間の値となるように、色差分画像の各々における画素値を正規化する。このようにして、差分画像生成部624は、5つの色差分画像を生成する。また、色差分画像は、R−G差分画像由来の色差分画像と、B−Y差分画像由来の色差分画像がそれぞれ個別に複数生成される。
次に、色情報抽出部620は、色情報マップ生成部625に、色差分画像から色情報マップ47−1、47−2を生成させる(ステップS404)。即ち、色情報マップ生成部625は、色差分画像を形成する複数の色差分画像を加算して、R−G差分画像由来の色情報マップ47−1と、B−Y差分画像由来の色情報マップ47−2とをそれぞれひとつずつする。
ここで、予め定めた色差分画像ごとの重みである差分重みWaにより色差分画像の各々に重みを付けて加算してもよい。これにより、各色差分画像の同じ位置にある画素の画素値のそれぞれに差分重みWaが乗算された上で算出された総和が、色情報マップにおける当該画素の画素値となる。
色情報マップ47−1、47−2において、各画素の画素値は、画素とその周囲の平均的な色相の差分の分布を示す。画像において、周囲との色相の変化が大きい領域は視覚を強く刺激するので、当該画素を含む領域の画像は注目されやすい。よって、主要被写体を含む領域の色の差分が大きい場合は、主要被写体に注目が集まりやすいと推測できる。
なお、上記の例では、入力画像から抽出される色情報画像として、R成分およびG成分の差分、並びに、B成分およびY成分の差分に基づく色差分画像を用いた。しかしながら、例えば、R成分と輝度成分との差分である色差成分Crと、B成分と輝度成分との差分である色差成分Cbとに基づいて色差分画像を生成してもよい。
図18は、顕著度マップ生成部222における方向性エッジ情報抽出部630のブロック図である。方向性エッジ情報抽出部630は、方向性エッジ画像生成部631、632、633、634、ガウシアンピラミッド生成部635、差分画像生成部636および方向性エッジ情報マップ生成部637を有する。
方向性エッジ画像生成部631、632、633、634は、入力画像の各画素について、当該画素における方向性エッジの強度を画素値とする方向性エッジ画像を生成する。入力画像におけるエッジ成分は、ガボアフィルタ、ソーベルフィルタ、ロバーツフィルタ等のエッジ抽出オペレータにより抽出できる。
方向性エッジ画像生成部631、632、633、634の各々は、入力画像から抽出されたエッジ成分のうち、予め指定された角度の成分に応じて評価したエッジ強度を方向性エッジ画像における画素の画素値として、入力画像に基づく方向性エッジ画像を生成する。図示の例では、方向性エッジ画像生成部631、632、633、634は、それぞれ、0°、45°、90°または135°の角度を方向性の評価基準として予め指定されている。よって、ひとつひとつの方向性エッジ画像生成部631、632、633、634が生成した方向性エッジ画像は、入力画像から抽出されたエッジが含む0°、45°、90°または135°の傾き成分の分布を示す。
ガウシアンピラミッド生成部635は、方向性エッジ画像生成部631、632、633、634から取得した方向性エッジ画像から、互いに解像度が異なる複数の方向性エッジ画像を生成する。これにより、4種類の指定角度に応じた方向性エッジを特徴量とするガウシアンピラミッドが生成される。
差分画像生成部636は、ガウシアンピラミッド生成部635から取得したガウシアンピラミッドに含まれる解像度の異なる方向性エッジ画像から、それぞれ複数の方向性エッジ差分画像を算出して方向性エッジ差分画像を生成する。方向性エッジ情報マップ生成部637は、差分画像生成部636から取得した方向性エッジ差分画像から、それぞれ単一の方向性エッジ情報マップ48−1〜48−4を生成する。よって、方向性エッジ情報抽出部630は、単一の入力画像から、0°、45°、90°および135°の4方向に対応した方向性エッジ画像に由来する4つの方向性エッジ情報マップ48−1〜48−4を生成する。
方向性エッジ情報マップは、入力画像において方向性エッジの変化が大きいことによる視覚刺激の強さの分布を示す。方向性エッジ情報抽出部630が生成した方向性エッジ情報マップは、既に説明した通り、線形結合部640に提供される。
図19は、方向性エッジ情報抽出部630において実行される処理を示す流れ図である。方向性エッジ情報抽出部630は、まず、方向性エッジ画像生成部631、632、633、634のそれぞれに、入力画像の方向性エッジ情報画像を生成させる(ステップS501)。
即ち、方向性エッジ画像生成部631、632、633、634の各々は、入力画像の画素毎にエッジ検出と方向性の評価を実行し、方向性エッジ画像を生成する。これにより、例えば、0°、45°、90°、135°の4種類の方向性に対応した方向性エッジ画像が生成される。生成された方向性エッジ画像は、それぞれガウシアンピラミッド生成部635に転送される。
次に、方向性エッジ情報抽出部630は、ガウシアンピラミッド生成部635に、上記方向性エッジ画像に基づくガウシアンピラミッドをそれぞれ生成させる(ステップS502)。ガウシアンピラミッドは、互いに解像度が異なる複数の画像を含む。なお、以降の説明において単に「エッジ差分画像」と記載した場合、方向性エッジの角度を問わず、0°、45°、90°および135°の方向性エッジ画像を包括的に意味する。
ガウシアンピラミッド生成部635において、方向性エッジ画像生成部631、632、633、634から供給された当初の方向性エッジ画像は、最も解像度が高いレベルL1の画像とされる。次いで、ガウシアンピラミッド生成部635は、レベルL1のエッジ差分画像の各画素について、隣接する4つの画素の画素値の平均値をひとつの画素の画素値とする処理により、解像度がより低いレベルL2のエッジ差分画像を生成する。
以下、同様の処理を繰り返すことにより、例えばレベルL8まで解像度が漸減する複数のエッジ差分画像を生成する。これにより、8種類の解像度で階層化されたエッジ差分画像のガウシアンピラミッドが生成される。
続いて、方向性エッジ情報抽出部630は、差分画像生成部636に、取得したガウシアンピラミッドに基づく方向性エッジ差分画像を生成させる(ステップS503)。方向性エッジ差分画像は、複数のエッジ差分画像により形成される。複数のエッジ差分画像は、ガウシアンピラミッドに含まれる複数のエッジ差分画像相互の差分として生成される。
差分画像生成部636が、5つのエッジ差分画像を生成して、方向性エッジを特徴量とする方向性エッジ差分画像を形成する場合を例にあげて説明する。差分画像生成部636は、ガウシアンピラミッドを形成するレベルL1からレベルL8までの8つのエッジ差分画像のうち、例えば、[レベルL6−レベルL3]、[レベルL7−レベルL3]、[レベルL7−レベルL4]、[レベルL8−レベルL4]および[レベルL8−レベルL5]の組み合わせで対応画素の画素値の差分を算出する。
ただし、差分画像生成部636が取得したガウシアンピラミッドにおいて、複数のエッジ差分画像は互いに解像度が異なるので大きさ(画素数)も異なる。そこで、差分画像生成部636は、処理の対象となるエッジ差分画像のうち、解像度の低い(小さい)画像をアップコンバートして、解像度の高い(大きい)エッジ差分画像に大きさ(画素数)を合わせる。
次いで、差分画像生成部636は、大きさ(画素数)の揃った2つのエッジ差分画像に対して、対応する画素毎に差分を算出して、方向性エッジを特徴量とするエッジ差分画像を生成する。差分の算出は、予め定められた数のエッジ差分画像が生成されるまで複数のエッジ差分画像に対して繰り返される。こうして、方向性エッジ画像の差分を画素値とする5つのエッジ差分画像が得られる。
更に、差分画像生成部636は、エッジ差分画像の各々に対して、各画素の画素値が例えば0から255までの間の値となるように、エッジ差分画像の各々における画素値を正規化する。このようにして、差分画像生成部636は、5つのエッジ差分画像により方向性エッジ差分画像を形成する。方向性エッジ差分画像は、0°、45°、90°および135°の各方向性エッジ画像に対応して個別に生成される。
次に、方向性エッジ情報抽出部630は、方向性エッジ情報マップ生成部637に、方向性エッジ差分画像から方向性エッジ情報マップを生成させる(ステップS504)。即ち、方向性エッジ情報マップ生成部637は、方向性エッジ差分画像を形成する複数のエッジ差分画像を加算して単一の方向性エッジ情報マップを生成する。また、方向性エッジ情報マップ48−1〜48−4は、0°、45°、90°および135°の各方向についてひとつずつ生成される。
ここで、予め定めたエッジ差分画像ごとの重みである差分重みWaによりエッジ差分画像の各々に重みを付けて加算してもよい。これにより、各エッジ差分画像の同じ位置にある画素の画素値のそれぞれに差分重みWaが乗算された上で算出された総和が、方向性エッジ情報マップ48−1〜48−4における当該画素の画素値となる。
こうして生成された方向性エッジ情報マップ48−1〜48−4において、各画素の画素値は、周辺の領域に対する方向性エッジの変化の大きさを示す。画像において、周囲と比べてエッジ強度が強い領域は、その画像を見る人の目を引く領域となる。よって、主要被写体を含む領域の輝度の差分が大きい場合は、主要被写体に注目が集まりやすいと推測できる。
再び図10を参照すると、次に、顕著度算出部280は、撮影画像41−1〜41−nの各々について、少なくとも主要な被写体27の領域について、顕著度を特定する(ステップS107)。ここでいう被写体27の顕著度は、撮影画像41−1〜41−nの各々において主要な被写体27が占める領域の顕著度を数値化して生成される。
図20は、上記のような顕著度の数値化を概念的に示す模式図である。画像選択部270は、撮影画像41−1〜41−3の各々において主要な被写体27が占める領域(図中に白枠で囲む)の顕著度の例えば平均値を算出する。これにより、各顕著度マップ49−1、49−2、49−3における被写体27の顕著度が数値化され、撮影画像41−1〜41−3の相対評価が容易になる。
なお、主要な被写体27の顕著度は、当該被写体27の領域における顕著度の算術平均に限られるわけではなく、統計的な処理を加えて、算出した被写体27の顕著度が、主要被写体に対するユーザの感覚に対してより忠実になるようにしてもよい。
また、画像選択部270は、主要な被写体27の領域に含まれる画素における顕著度の最大値をもって当該被写体27の顕著度を代表させてもよい。これにより、撮影画像41−1〜41−nの各々について被写体27の顕著度を特定する処理の負荷を低減できる。
再び図10を参照すると、顕著度算出部280は、撮影画像41−1〜41−nの各々において数値化した被写体27の顕著度に応じて、撮影画像群410に含まれる撮影画像41−1〜41−nを序列化する(ステップS108)。即ち、個々の撮影画像41−1〜41−nにおいて被写体27の顕著度を数値化する毎に、既に処理の終わった撮影画像の数値化された顕著度と比較して撮影画像41−1〜41−nを配列する。
また、顕著度算出部280は、顕著度を算出して序列化する毎に、まだ序列化されていない撮影画像が残っているか否かを調べ(ステップS109)、まだ主要な被写体27の顕著度を数値化されていない撮影画像41−1〜41−nが残っている場合(ステップS109:NO)は、顕著度の数値化と撮影画像41−1〜41−nの序列化を順次実行する(ステップS108)。取得した撮影画像群410に含まれる全ての撮影画像41−1〜41−nにおいて、主要な被写体27の顕著度数値化が完了している場合(ステップS109:YES)、顕著度算出部280は処理を画像選択部270に渡す。
なお、顕著度算出部280は、例えば、撮影画像41−1〜41−nの各々の画像フレーム中の顕著度の最大値が1となるように顕著度を正規化して顕著度マップを算出する。その上で、主要被写体領域の顕著度が最大の画像を選択する。ここで、顕著度算出部280は、撮影画像群410に含まれる撮影画像41−1〜41−nにおける顕著度の最大値が1となるように、顕著度を正規化して算出してもよい。
さらには、各撮影画像フレーム内において、フレーム内の最大の顕著度と、主要被写体領域の顕著度(主要被写体領域の顕著度の平均値でも、主要被写体領域の顕著度の最大値でもよい)との比率(主要被写体の顕著度/フレーム内の最大の顕著度)を算出し、この値に基づいて、この値が大きい撮影画像を選択する構成としてもよい。このような構成とすれば、主要被写体の目の引きやすさを撮影画像毎に評価できる。
また、一連の撮影画像の中の最大の顕著度を1として、各撮影画像フレームにおける主要被写体領域の顕著度を算出し、当該主要被写体領域が最大の顕著度を有する撮影画像フレームを選択する構成としてもよい。
また更に、特性マップの種類は上記の例に限られない。例えば、明度、彩度、色相、運動等の特徴量を用いて特性マップを作成してもよい。また、特性マップ作成処理として、マルチスケールのコントラスト、Center−Surroundの色ヒストグラム、色空間分布等を用いてもよい。
更に、上記ステップS108において、主要な被写体27の数値化された顕著度の差が少なく、撮影画像41−1〜41−nを序列化することが難しい場合は、顕著度マップ49−1の算出に用いた輝度情報マップ46−1、色情報マップ47−1および方向性エッジ情報マップ48−1のいずれかを用いて、主要な被写体27の領域の特徴量に基づいて撮影画像41−1〜41−nを序列化してもよい。これにより、新たな特徴量を算出する処理の負担なしに、撮影画像41−1〜41−nの序列化を補助できる。
また更に、撮影画像41−1〜41−nにおける主要な被写体の特徴量の差が小さく、撮影画像41−1〜41−nを序列化することが難しい場合、顕著度とは異なる尺度を導入して撮影画像41−1〜41−nを序列化してもよい。これにより、顕著度では序列化し難い場合にも撮影画像を序列化でき、撮影画像の選択精度を向上させることができる。図21から図25までのそれぞれは、画像選択部270が実行し得る撮影画像序列化の方法を例示する模式図である。
図21に示すように、画像選択部270は、主要な被写体27の撮影状態を評価の尺度として撮影画像を選択してもよい。即ち、図21に示す撮影画像41−4に写り込んでいる被写体11〜33は、撮影画像41−1に写り込んでいる被写体11〜33と共通であり、撮影画像41−4内の配置も等しい。
しかしながら、撮影画像41−4は、撮影画像41−1と異なる絞り値で撮影されており、撮影画像の被写界深度が変化している。このため、撮影画像41−1と比較した場合、主要な被写体27のコントラストに対して、他の被写体11〜14、21〜26、28〜33のコントラストが低い。
このように、撮影画像41−4における主要な被写体27のコントラストが他の被写体11〜14、21〜26、28〜33よりも高い場合(高い空間周波数成分が多い場合)に、画像選択部270は、撮影画像41−4において主要な被写体27がより強調されていると判断し、撮影画像群410において、撮影画像41−4に対して、撮影画像41−1よりも高い順位を与える。
なお、ステップS109で用いた顕著度マップ49−1は、輝度および色の分布も勘案して算出されているので撮影画像41−1のコントラストも反映されている。よって、撮影画像41−4と比較する場合にコントラストを評価の尺度することは、コントラストという尺度に重みをつけて評価していることに他ならない。
また、図22に示すように、画像選択部270は、被写体11〜33の配置を評価の尺度として撮影画像を選択してもよい。即ち、撮影画像41−2に写り込んでいる被写体は、撮影画像41−1に写り込んでいる被写体11〜33と共通している。しかしながら、撮影画像41−2においては、主要な被写体27と他の被写体11〜14、21〜26、28〜33との相対位置が撮影画像41−1と異なる。
このため、撮影画像41−2において被写体11〜14、21〜26、28〜33が占める面積は、撮影画像41−1に比較すると小さい。このように、撮影画像41−3において他の被写体11〜14、21〜26、28〜33が占める面積が小さい場合に、画像選択部270は、当該撮影画像41−2において主要な被写体27が相対的に強調されていると評価し、撮影画像41−2に対して、撮影画像群410において撮影画像41−1よりも高い順位を与える。
また、図23に示すように、画像選択部270は、撮影画像に写り込んでいる主要な被写体27の大きさを尺度として撮影画像を選択してもよい。即ち、撮影画像41−3に写り込んでいる被写体は、撮影画像41−1に写り込んでいる被写体11〜33と略共通している。しかしながら、撮影画像41−3においては、主要な被写体27が、他の被写体11〜26、28〜33に対して相対的に大きく写っている。
これにより、撮影画像41−3において主要な被写体27が占める面積は、撮影画像41−1に比較すると大きい。そこで、画像選択部270は、撮影画像41−3における主要な被写体27が大きく写っていることを評価して、撮影画像41−3に対して、撮影画像群410において撮影画像41−1よりも高い順位を与える。
なお、ステップS109における評価で用いた顕著度マップ433において、顕著度の値を算出する場合に、主要被写体の大きさ評価尺度が入っている場合には、撮影画像における主要な被写体27の大きさを改めて評価することは、被写体27の大きさという尺度に重みをつけて評価していることに他ならない。
また、図24に示すように、画像選択部270は、被写体27の撮影状態を評価の尺度として撮影画像を選択してもよい。即ち、撮影画像41−5に写り込んでいる被写体11〜33は、撮影画像41−1に写り込んでいる被写体と略共通している。しかしながら、撮影画像41−5においては、主要な被写体27に対して照明が強く当たっており、他の被写体11〜26、28〜33は相対的に暗く写っている。
そこで、画像選択部270は、撮影画像41−5における主要な被写体27が他の被写体11〜26、28〜33よりも明るく写っていること(主要な被写体27が適切な明るさで写っていること)を評価して、撮影画像41−5に対して、撮影画像群410において撮影画像41−1よりも高い順位を与える。
なお、ステップS109で用いた顕著度マップは、輝度の分布も反映して算出されている。よって、撮影画像における主要な被写体27の明るさを改めて評価することは、明るさという尺度に重みをつけて評価していることに他ならない。
また、図25に示すように、画像選択部270は、主要な被写体27が、撮影画像の画面上の所定の位置(例えば画面中央)に位置することを評価の尺度として撮影画像を選択してもよい。撮影画像41−6に写り込んでいる被写体11〜33は、撮影画像41−1と共通している。しかしながら、撮影画像41−6においては、主要な被写体27の位置が、被写界中央に接近している。
これにより、撮影画像41−6は、撮影画像41−1と比較した場合に、主要な被写体27が相対的に強調されていると評価できる。そこで、画像選択部270は、撮影画像41−6において被写体27が画面上の所定の位置(例えば画面中央)に近いことを評価して、撮影画像41−6に対して、撮影画像群410において撮影画像41−1よりも高い順位を与える。このような構成とすれば、より適切な構図の撮影画像を抽出することができる。
このように、画像選択部270は、撮影画像41−1〜41−nの各々における主要被写体27の撮影状態を評価して、ユーザにとってより重要な主要被写体27の撮影状態が、他の被写体11〜26、28〜33に対してより良好な撮影状態にあり、結果として主要被写体27が強調されている画像を選択して、複数の撮影画像41−1〜41−nに順位をつけて序列化できる。
なお、主要な被写体27の評価は、ここまでに例示した方法の全てまたは一部により実行できる。また、主要な被写体27の評価を複数の方法により実行する場合、実行の順序は上記した順序でなくてもよい。更に、更に、上記の評価方法は例の一部に過ぎず、更に他の評価項目あるいは評価方法を併用してもよい。
再び図10を参照する。全ての撮影画像41−1〜41−nに対して序列化が完了して(ステップS109:YES)、処理を渡された画像選択部270は、序列に従って撮影画像を選択する(ステップS110)。これにより、画像選択部270は、複数の撮影画像41−1〜41−nの間で主要な被写体27の顕著度を比較し、主要な被写体27の顕著度に基づいて撮影画像41−1〜41−nを選択できる。
即ち、画像選択部270は、序列化した撮影画像群410に対して、予め定めた選択率、閾値、フレーム数等に応じて、序列に基づく撮影画像の選択を実行する。即ち、選択率が予め指定されている場合は、撮影画像群410を形成する撮影画像41−1〜41−nのうちの一定の割合の撮影画像を、序列の上位から選択する。あるいは、画像選択部270は、序列の下位から選択してもよい。
また、予め閾値が定められている場合は、主要な被写体27の顕著度が、所与の値を超えた撮影画像を選択する。また、予めフレーム数が決められている場合は、上記の序列の上位または下位から所与のフレーム数の撮影画像を選択する。こうして、画像選択部270は、主要被写体の顕著度に基づいて形成された序列に従って撮影画像を選択するので、ユーザが手間をかけることなく、撮影意図を反映した撮影画像を選択できる。
以上のようにして画像選択部270が選択した撮影画像41−2〜41−6は、例えば、デジタルカメラ100が再生モードに設定された場合に、優先的にユーザに提示される。これにより、ユーザは、多数の撮影画像から撮影画像を選択する場合の選択作業時間を短縮できる。また、デジタルカメラ100は、特に評価が低かった撮影画像については、自動的に破棄するか、あるいは、ユーザから表示することを指示されるまでは非表示とするようにしてもよい。
上記のように、顕著度マップを用いることで、ユーザにとって関心が高い被写体が、各撮影画像において顕著であるか(目立っており人目を引きやすいか)否かというユーザの主観的価値を、定量的に表すことができる。そこで、画像選択部270は、撮影画像の各々において主要被写体がより顕著であるか否かを評価して画像を選択する。
これによって、ユーザは、多くの撮影画像から選択画像を抽出する手間を省くことができる。また、ユーザによる選択を全て省くのではなく、画像選択部270による選択範囲を広くして、ユーザの選択の手間を軽減するに留めてもよい。
図26は、上記撮影画像処理部203における処理と同等の撮影画像処理プログラムを実行し得るパーソナルコンピュータ500を模式的に示す図である。パーソナルコンピュータ500は、ディスプレイ520、本体部530およびキーボード540を有する。
本体部530は、デジタルカメラ100との通信により、デジタルカメラ100から撮影画像の画像データを取得できる。取得した画像データは、パーソナルコンピュータ500の記憶媒体に格納できる。また、パーソナルコンピュータ500は、実行すべきプログラムをロードする場合に用いる光学ドライブ532も備える。
上記のようなパーソナルコンピュータ500は、撮影画像処理プログラムを読み込ませることにより、図4および図10に示した手順を実行する撮影画像処理プログラムを実行する装置として動作する。また、パーソナルコンピュータ500は、ケーブル510を介して、デジタルカメラ100から撮影画像データを取得して処理の対象とすることができる。
即ち、撮影画像処理プログラムは、複数の画像に含まれる互いに異なる複数の被写体を抽出する被写体抽出段階と、複数の被写体のそれぞれが、複数の画像のそれぞれにおいていずれの位置にあるかに基づいて、複数の被写体のいずれが、複数の被写体における主要被写体であるかを推定する主要被写体推定段階と、複数の画像のそれぞれについて、視覚的刺激の強度に応じた顕著度の分布を算出する顕著度算出段階と、複数の画像の間で主要被写体の顕著度を比較し、主要被写体の顕著度に基づいて複数の画像のうちのいずれかの画像を選択する画像選択段階とを計算機に実行させる。
これにより、ユーザは、より大きなディスプレイ520およびキーボード540で、操作しやすい。パーソナルコンピュータ500を用いることにより、より大量の画像を高速に処理できる。また、被写体抽出手順、主要被写体推定手順および画像選択手順の各々における評価項目を増やすと共に、評価単位を細かくしてもよい。これにより、ユーザの意図をより詳細に反映しつつ画像選択を補助できる。
なお、デジタルカメラ100およびパーソナルコンピュータ500の間の撮影画像データの転送は、図示のようにケーブル510を経由してもよいし、無線通信であってもよい。また、画像データが格納された二次記憶媒体を受け渡すことにより、画像データを取得してもよい。また、撮影画像処理プログラムの実行は、パーソナルコンピュータ500に限られるものではなく、店頭あるいはオンラインのプリントサービス設備等で実行してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
また、特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示していない限り、あるいは、前の処理の出力を後の処理で用いない限り、任意の順序で実現し得ることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するとは限らない。