以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図1は、本実施形態の画像処理装置の一例であるディジタルカメラの概略構成を示す図である。先ず、図1のディジタルカメラの構成について説明する。
図1において、操作部101は、ディジタルカメラの電源スイッチや、操作者(以下、ユーザと表記する。)がディジタルカメラに対して各種の指示を入力する際に操作するスイッチやボタンなどにより構成されている。操作部101としては、例えばシャッタースイッチや再生ボタン、メニューボタンの他に、タッチセンサも含まれる。タッチセンサは、例えば表示部107により画像等が表示される表示デバイスの画面上に配され、ユーザがタッチすることによる操作指示入力を取得可能なものである。また、シャッタースイッチは、いわゆる半押し状態に対応した半押し信号と、いわゆる全押しに対応した全押し信号を出力可能なスイッチとなされている。制御部102は、ディジタルカメラの各部の動作を制御するものであり、例えば操作部101からの指示に応じて各部を制御する。
レンズ108aは、センサ部103の撮像面上に被写体等の光学像を結像させるためのレンズ光学系であり、フォーカスレンズやズームレンズをも含んでいる。メカ機構109aは、メカニカルシャッターや絞りを有して構成されている。センサ部103は、制御部102による制御の下、レンズ108a、メカ機構109aを介して撮像面上に形成された光像の光量に応じた電荷をアナログ画像信号として出力する。センサ部103の前面には例えばRGBの各色のフィルタがベイヤー配列されたカラーフィルタが設けられている。したがって、センサ部103からは、RGBの各色に対応したアナログ画像信号が出力される。A/D変換部104は、制御部102による制御の下、センサ部103から出力されたアナログ画像信号に対し、サンプリング、ゲイン調整、A/D変換等を行い、ディジタル画像信号として出力する。A/D変換部104から出力されたディジタル画像信号は、画像処理部105に送られる。
画像処理部105は、制御部102による制御の下、A/D変換部104から出力されたディジタル画像信号に対して各種の画像処理を行い、その画像処理済みのディジタル画像信号を出力する。例えば、画像処理部105は、A/D変換部104から供給されたRGBのディジタル画像信号を、YUVのディジタル画像信号に変換して出力する。画像処理部105での画像処理により得られたディジタル画像信号は、被写体検出部115、色分類部116、エンコーダ部112に送られる。また、画像処理部105から出力されたディジタル画像信号は、制御部102を介して、AF処理部108、AE処理部109、EF処理部110にも送られる。
AF処理部108は、制御部102を介して供給された画像信号を基に、レンズ108aを駆動させて被写体等にピントを合わせるオートフォーカス制御を行う。AE処理部109は、制御部102を介して供給された画像信号の輝度と、適正輝度との差分を算出し、その差分に基づいてメカ機構109aのシャッタースピードや絞り値を調整して露出を適正露出に合わせる自動露出補正制御を行う。EF処理部110は、制御部102から撮影の際にフラッシュ発光を行うように命令を受けている場合、制御部102を介して供給された画像信号の明るさに基づいて、被写体上の照度が適正となり得る光量でフラッシュ部111を発光させる。
被写体検出部115は、制御部102による制御の下、画像処理部105より供給された画像信号から、撮影された被写体に対応した画像領域(以下、被写体領域と表記する。)を検出し、その被写体領域の情報を出力する。被写体検出部115が検出する被写体領域は、撮影画像内の人物、空、雲、草原、花、車など様々な被写体にそれぞれ対応した画像領域であり、例えば人物の顔などの領域も被写体領域として検出される。被写体検出部115は、被写体領域の情報として、撮影画像内における被写体領域の位置情報を出力する。被写体検出部115から出力された被写体領域の位置情報は、色分類部116に送られる。
色分類部116は、制御部102による制御の下、画像処理部105から供給された画像信号を色相、彩度、輝度の各情報に変換する。そして、色分類部116は、被写体検出部115で検出された被写体領域の位置情報と、画像撮影の際に制御部102が取得した撮影情報とを考慮した上で、画像の色分類を行う。なお、この色分類の際に用いられる撮影情報としては、例えばオートフォーカス制御の際の合焦情報、自動露出補正制御の際の露出情報、ズームレンズのズーム倍率を示すズーム情報などが挙げられる。これら撮影情報と被写体領域の位置情報を用いることで、色分類部116は、画像内の被写体領域の色分類、画像の露出に応じた色分類、撮影の際のズーム倍率に応じた色分類が可能である。詳細については後述するが、色分類部116により求められた分類色の情報は、テロップ色選抜部118においてテロップ色を決める際に用いられる。色分類部116は、画像信号の色分類処理により得られた分類色情報を、エンコーダ部112に送る。
エンコーダ部112は、画像処理部105から供給されたディジタル画像信号のフォーマットを、JPEGなどのフォーマットに変換し、画像記録部113に出力するものである。以下、エンコーダ部112によりフォーマット変換された後のディジタル画像信号を画像データと表記する。また、エンコーダ部112は、前述した色分類部116からの分類色情報を、フォーマット変換後の画像データに対応付けて、画像記録部113に出力する。
画像記録部113は、制御部102による制御の下、エンコーダ部112によるフォーマット変換済みの画像データとそれに対応した分類色情報とを、不図示の記録媒体に記録する。不図示の記録媒体は、ディジタルカメラ内の内部メモリや、ディジタルカメラに挿入されている外部メモリ(メモリカード)等である。本実施形態においては、画像記録部113によりメモリカード等に記録された画像データが、ディジタルカメラにより撮影されて記録された静止画や動画の画像データとなる。以下の説明では、メモリカード等に記録されている静止画や動画を区別しない場合には、それらをまとめて「記録画像」と表記する。
画像選抜部117は、選抜手段の一例である。画像選抜部117は、後述するダイジェスト再生が行われる際に、制御部102による制御の下、記録画像の画像データから後述する画像評価値を求める。具体的には、画像選抜部117は、後述するダイジェスト再生が行われる際、ダイジェスト用の画像を選抜する際の対象画像群の範囲を示す情報を制御部102から受け、それら対象画像群の範囲内の各画像データを記録画像の中から取得する。画像選抜部117は、それら対象画像群の範囲内の各画像データからそれぞれ後述する各画像評価値を求め、それら各画像評価値に基づいてダイジェスト用の画像を選抜する。詳細については後述するが、画像選抜部117によりダイジェスト用として選抜される画像は、例えばタイトル、オープニング、本編、エンディングなどに使用される。本実施形態において、これら選抜画像のうち、後述するテロップ画像の合成がなされる画像や、後述するフィルタ処理等の加工処理がなされる画像が、第1画像の一例である。制御部102によるダイジェスト用の画像選抜の際の対象画像群の範囲設定処理と、画像選抜部117における画像評価値の詳細及び画像評価値に基づくダイジェスト用の画像の選抜処理の詳細は後述する。そして、画像選抜部117は、ダイジェスト用に選抜した画像データとそれに対応した分類色情報とを、画像記録部113のメモリカード等から取得して、テロップ色選抜部118に出力する。
テロップ色選抜部118は、第1算出手段、第2算出手段、及び決定手段の一例である。テロップ色選抜部118は、後述するダイジェスト再生が行われる際に、制御部102による制御の下、画像選抜部117から送られてきたダイジェスト用の各選抜画像の分類色情報を基に、各選抜画像に対してテロップとして合成される画像の色を決定する。以下の説明では、ダイジェスト用の選抜画像に対してテロップとして合成される画像を「テロップ画像」と表記する。テロップ画像の色は、例えば背景色や文字色であり、以下の説明において、テロップ画像の背景色や文字色を区別しない場合にはそれらをまとめて「テロップ色」と表記する。詳細については後述するが、テロップ色選抜部118によりテロップ色が決められたテロップ画像は、後述するダイジェスト再生の際に、例えばタイトル用、オープニング用、本編用、エンディング用の画像に対して必要に応じて合成される画像である。テロップ色選抜部118におけるテロップ色の決定処理等の詳細は後述する。テロップ色選抜部118は、画像選抜部117から送られてきたダイジェスト用の各選抜画像の画像データと、決定したテロップ色の情報とを、表示部107に出力する。
表示部107は、生成手段の一例である。表示部107は、後述するダイジェスト再生が行われる場合、制御部102による制御の下、ダイジェスト用の選抜画像に対し必要に応じてテロップ画像を合成し、そのテロップ画像が合成された選抜画像を、液晶等の表示デバイスの画面上に表示させる。本実施形態において、テロップ画像が合成された選抜画像は、第2画像の一例である。ダイジェスト再生の際に、画面上に表示される各画像等の詳細については後述する。なお、外部接続部114を介して外部モニタ等が接続された場合、表示部107は、表示デバイスへの表示信号を、外部接続部114を介して外部モニタ等に出力し、外部モニタの画面上に表示させることも可能となされている。
以下、図1に示した本実施形態のディジタルカメラにおいて、画像の撮影が行われて記録され、その後、記録画像のダイジェスト再生が行われる場合の動作について説明する。
先ず、本実施形態のディジタルカメラにおいて、画像撮影が行われ、その撮影画像のデータが記録されるまでの動作を説明する。
例えば、本実施形態のディジタルカメラのユーザが、操作部101の電源スイッチをオンにすると、制御部102は、これを検知し、ディジタルカメラを構成する各部に、不図示の電源からの電力を供給する。また、制御部102は、AE処理部109を介して、前述のメカ機構109aのメカニカルシャッターを開かせ、絞りを開放絞り値にさせる。これにより、センサ部103の撮像面には、レンズ108a、メカ機構109bを介して光が入射することになる。そして、制御部102による制御の下、センサ部103からは、入射光に応じて蓄積された電荷が読み出され、その読み出された電荷によるアナログ画像信号がA/D変換部104に送られる。このときのA/D変換部104は、前述したように、アナログ画像信号に対し、サンプリング、ゲイン調整、A/D変換等を行い、ディジタル画像信号として出力する。画像処理部105は、A/D変換部104からのディジタル画像信号に対して前述したように各種画像処理を行い、その画像処理済みのディジタル画像信号を出力する。また、制御部102は、画像処理部105からのディジタル画像信号をAE処理部109に送り、これによりAE処理部109では自動露出補正が行われる。そして、その自動露出補正がなされた後に、前述同様にセンサ部103〜画像処理部105を介した画像信号がAE処理部109にフィードバックされることで、適正露出への収束制御が実現される。
ここで、操作部101のシャッタースイッチから例えば半押し信号が出力されると、制御部102は、その時点でセンサ部103〜画像処理部105を介した画像信号を、AF処理部108とAE処理部109に送る。これにより、AF処理部108ではオートフォーカス制御が行われて被写体にピントが合わされ、また、AE処理部109では自動露出補正制御が行われて適正な露出による画像撮影が可能になる。なお、本実施形態のディジタルカメラにおいて、画像撮影の際にフラッシュ発光を行う設定になされている場合、制御部102は、画像処理部105からの画像信号をEF処理部110にも送る。この場合のEF処理部110は、画像信号から輝度値を検出し、その輝度値が所定の閾値よりも暗い場合には、画像撮影の際に被写体等の照度が適正となる光量にフラッシュ部111の発光光量を設定する。その後、シャッタースイッチから全押し信号が出力されると、制御部102は、その時点でのセンサ部103で撮像されてA/D変換部104から画像処理部105を介した画像信号を、エンコーダ部112と被写体検出部115に取り込ませる。このときの被写体検出部115は、前述したように、画像信号から被写体領域を検出し、その被写体領域の情報を色分類部116に送り、色分類部116は、前述したように、画像信号の色分類処理を行う。エンコーダ部112は、前述したように、フォーマット変換を行った後の画像データと分類色情報を画像記録部113に送り、画像記録部113はそれら画像データと分類色情報をメモリカード等に記録する。なお、シャッタースイッチの全押しで撮影される画像は、静止画だけでなく、動画であってもよく、この場合、例えばシャッタースイッチが全押しされている間、動画の撮影が行われる。また、動画の撮影は、シャッタースイッチとは別に設けられた、動画撮影用のボタンの押下操作に応じて行われてもよい。これにより、画像記録部113のメモリカード等には、静止画の画像データと分類色情報や動画の各フレーム画像データと分類色情報とが記録される。
次に、本実施形態のディジタルカメラにおいて、記録画像のダイジェスト再生が行われる場合の動作について説明する。
本実施形態のディジタルカメラは、メモリカード等の記録画像の中からダイジェスト用の画像を選抜してそれらを表示するダイジェスト再生機能を備えている。ダイジェスト再生機能は、例えば、ディジタルカメラのユーザにより操作部101のメニューボタンが操作されて、ダイジェスト再生メニューが選択された上で、ダイジェスト再生の実行指示が入力されたときに起動する。ダイジェスト再生機能が起動した場合、本実施形態のディジタルカメラは、メモリカード等の記録画像から、ユーザ又はカメラが設定した対象画像群の範囲内の各画像を取得し、それら対象画像群の各画像からそれぞれダイジェスト用の画像を選抜する。具体的には、ディジタルカメラは、それらダイジェスト用に選抜した画像を用いて、例えば図2に示すように、タイトル表示201、オープニング表示202、本編表示203、エンディング表示204のようなストーリー立てした順序による再生表示を行う。
具体的には、タイトル表示201では、対象画像群の範囲の各画像の中から、タイトル用として選抜された画像(タイトル画像211)が表示される。タイトル画像211は、対象画像群の範囲内の各画像の中から、後述する画像評価値に基づいて選抜された画像である。また、本実施形態において、タイトル画像211には、その画像の分類色情報に基づいて後述するようにテロップ色が決定されたテロップ画像が合成される。タイトル画像の選抜とテロップ色の決定等の詳細は後述する。
オープニング表示202では、対象画像群の範囲の各画像の中から、オープニング用として選抜された画像(オープニング画像221〜223)が表示される。オープニング画像221〜223は、対象画像群の範囲の各画像の中から、後述する画像評価値と顔認証に基づいて選抜された画像である。顔認証による画像の選抜の際には、認証されたそれぞれ異なる人物の画像が選抜され、更にそれら異なる人物の画像の中から人物一人につき一つの画像が選抜される。図2では、オープニング表示202の際に、異なる三人の人物の画像がオープニング画像221〜223として選抜された例を挙げている。また、オープニング画像221〜223には、例えば写っている人物の名前等を表す人物名(認証名)が記入されたテロップ画像が合成される。なお、人物名は、予め各人物に対して設定されて入力されているとする。オープニング画像に合成されるテロップ画像についても、後述するようにテロップ色が決定される。オープニング画像の選抜とテロップ色の決定等の詳細は後述する。
本編表示203では、対象画像群の範囲の複数の画像の中から、本編用として選抜された画像(本編画像231〜237)が表示される。本編画像は、後述する画像評価値や顔認証、画像の特徴等に基づいて選抜された画像である。本編画像としては、例えばオープニング画像221〜223の各人物が写った画像231,233,237や、タイトル画像に用いられた画像235、他の画像とは異なる特徴を持つ画像232,234,236等が選抜される。これら本編画像231〜237は、撮影日時や撮影期間に応じた時系列順に並べられて表示される。なお、図2の本編表示203の例では各本編画像231〜237にテロップ画像は合成されていないが、それぞれにテロップ画像が合成されていてもよい。また、本編画像に人物名のテロップ画像を合成する場合、例えば本編表示内で既に人物名のテロップ画像を表示した人物と同じ人物画像が、その後本編画像として表示されるときには、同じ人物名のテロップ画像を表示しないようにしてもよい。なお、本編画像に合成されるテロップ画像の配置位置は予め決められた初期配置となされるが、例えば本編画像に写っている人物等にテロップ画像が被ってしまう場合には、初期配置を変更して、人物等とテロップ画像が被らないようにする。本編画像に合成されるテロップ画像についても、後述するようにテロップ色が決定される。各本編画像の選抜とテロップ色の決定等の詳細は後述する。
エンディング表示204では、対象画像群の範囲の各画像の中から、エンディング用として選抜された画像(エンディング画像241)が表示される。エンディング画像241は、対象画像の範囲の各画像の中から、後述する画像評価値に基づいて選抜された画像である。また、本実施形態において、エンディング表示204では、エンディング画像241の表示がなされた後に、更に、予め決められたエンディング画像242を表示してもよい。エンディング画像242については、予め決められた背景色や文字色を用いてもよいし、例えば、エンディング画像241に対応した分類色情報に基づく背景色や文字色が用いられてもよい。
図3には、図1に示した本実施形態のディジタルカメラが、ダイジェスト再生の際に画像選抜及びテロップ色選抜を行ってタイトル画像、オープニング画像、本編画像を生成するまでの処理の流れを示すフローチャートである。図3のフローチャートの処理は、図1の制御部102、画像選抜部117、テロップ色選抜部118、色分類部116等にて行われる処理であるが、例えばCPU等において本実施形態に係る画像処理プログラムを実行することにより実現されてもよい。以下の説明では、図3の各処理のステップS201〜ステップS227を、S201〜S227と略記する。図3のフローチャートの処理は、例えばユーザにより操作部101のメニューボタンが操作されて、ダイジェスト再生メニューが選択された上で、ダイジェスト再生の実行指示が入力されたことでスタートする。
図3のフローチャートにおいて、S201では、制御部102は、画像記録部113のメモリカード等に記録されている記録画像の中で、ダイジェスト用の画像を選抜する際の対象となる画像群の範囲を設定する。本実施形態では、制御部102は、記録画像の撮影日時を基に、所定期間内の記録画像を、ダイジェスト用の画像選抜の際の対象画像群の範囲とする。なお、操作部101を介してユーザにより範囲設定された記録画像を対象画像群の範囲としてもよい。S201の後、制御部102は、S202に処理を進める。
S202では、制御部102は、目標時間の設定を行う。例えばS201で設定されたダイジェスト用の画像選抜の対象画像群が動画である場合、制御部102は、その動画の中から所定の再生枚数(一例として30枚)の画像を再生表示する際の再生時間を、目標時間に設定する。なお、所定の再生枚数は、例えば30枚のような固定である場合の他に、例えば操作部101を介してユーザが設定した可変の再生枚数であってもよい。S202の後、ディジタルカメラの処理は、画像選抜部117により行われるS203の処理に移行する。
S203では、画像選抜部117は、S201で対象画像群となされた各画像についてそれぞれ画像評価値を算出する。具体的には、画像選抜部117は、対象画像群に含まれる各画像について、例えば図4(a)〜図4(c)を用いて説明するような3種類の画像評価値の何れか一つ、若しくは2種類の画像評価値、或いはそれら3種類の全ての画像評価値を求める。
図4(a)は、前述した対象画像群の画像の横幅と、顔認証により検出された顔領域のサイズとの割合を算出し、その割合に基づいて画像評価値を求める例の説明図である。図4(a)の画像411は、その画像の横幅を100%とした場合に、顔認証で検出された顔領域421の横幅サイズが20%に相当する割合として算出された例を示している。一方、図4(a)の画像412は、その画像の横幅を100%とした場合に、顔認証で検出された顔領域422の横幅サイズが60%に相当する割合として算出された例を示している。また、図4(a)のサイズ評価値特性401は、画像と顔領域の横幅サイズの割合と、画像評価値との対応関係を表している。図4(a)のサイズ評価値特性401は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図4(a)のサイズ評価値特性401は、横幅サイズの割合が0%〜20%までは画像評価値として「3」が対応付けられ、横幅サイズの割合が60%以上では画像評価値として「10」が対応付けられた例を示している。さらに、図4(a)のサイズ評価値特性401は、横幅サイズの割合が20%〜60%では画像評価値として「3」から「10」まで線形に変化する値が対応付けられている。画像選抜部117は、画像411の横幅に対する顔領域421のサイズの割合を算出し、その割合に応じた画像評価値を、図4(a)のサイズ評価値特性401から求めて、画像411の画像評価値とする。同様に、画像選抜部117は、画像412の横幅に対する顔領域422のサイズの割合を算出し、その割合に応じた画像評価値を、図4(a)のサイズ評価値特性401から求めて、画像412の画像評価値とする。図4(a)の場合、画像411の画像評価値は、その画像411から算出した横幅サイズの割合である20%に応じた値「3」となされ、一方、画像412の画像評価値は、その画像412から算出した横幅サイズの割合である60%に応じた値「10」となされる。すなわち、この図4(a)の例の場合、画像選抜部117は、画像411の顔領域421よりも横幅サイズが大きい顔領域422が写っている画像412の方を、高画像評価値の画像とする。
図4(b)は、前述した対象画像群の画像の中心から、顔認証により検出された顔領域までの距離を算出し、その距離に基づいて画像評価値を求める例の説明図である。図4(b)の画像413は、その画像の対角線距離の1/2を100%とした場合に、画像中心から、顔認証で検出された顔領域423までの距離(例えば顔領域の中心までの距離)が5%に相当する割合として算出された例を示している。一方、図4(b)の画像414は、その画像の対角線距離の1/2を100%とした場合に、画像中心から、顔認証で検出された顔領域424までの距離が60%に相当する割合として算出された例を示している。また、図4(b)の距離評価値特性402は、画像の対角線距離と画像中心から顔領域までの距離との割合と、画像評価値との対応関係を表している。図4(b)の距離評価値特性402は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図4(b)の距離評価値特性402は、距離の割合が0%〜5%までは画像評価値として「10」が対応付けられ、距離の割合が60%以上では画像評価値として「3」が対応付けられた例を示している。さらに、図4(b)の距離評価値特性402は、距離の割合が5%〜60%では画像評価値として「10」から「3」まで線形に変化する値が対応付けられている。画像選抜部117は、画像413の対角線距離と、その画像413の画像中心から顔領域423までの距離との割合を算出し、その割合に応じた画像評価値を、図4(b)の距離評価値特性402から求めて、画像413の画像評価値とする。同様に、画像選抜部117は、画像414の対角線距離と、その画像414の画像中心から顔領域424までの距離との割合を算出し、その割合に応じた画像評価値を、図4(b)の距離評価値特性402から求めて、画像414の画像評価値とする。図4(b)の例の場合、画像413の画像評価値は、その画像413から算出した距離の割合である5%に応じた値「10」となされ、一方、画像414の画像評価値は、その画像414から算出した距離の割合である60%に応じた値「3」となされる。すなわち、この図4(b)の例の場合、画像選抜部117は、画像414よりも距離の割合が少ない(画像中心から顔領域までの距離が近い)画像413の方を、高画像評価値の画像とする。
図4(c)は、前述した対象画像群の画像から顔認証により検出した顔領域の笑顔度を算出し、その笑顔度に基づいて画像評価値を求める例の説明図である。なお、笑顔度の算出手法については公知の様々な手法を用いることができ、本実施形態ではそれら何れの手法を用いるかについて限定しない。図4(c)の画像415は、顔認証で検出された顔領域425の笑顔度が0(笑顔でない場合)として算出された例を示している。一方、図4(c)の画像416は、顔認証で検出された顔領域426の笑顔度が1000(笑顔である場合)として算出された例を示している。また、図4(c)の笑顔度評価値特性403は、顔領域の笑顔度と、画像評価値との対応関係を表している。図4(c)の笑顔度評価値特性403は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図4(c)の笑顔度評価値特性403は、笑顔度0には画像評価値として「0」が対応付けられ、笑顔度1000以上では画像評価値として「10」が対応付けられた例を示している。さらに、図4(c)の笑顔度評価値特性403は、笑顔度0〜1000では画像評価値として「0」から「10」まで線形に変化する値が対応付けられている。画像選抜部117は、画像415の顔領域425から笑顔度を算出し、その笑顔度に応じた画像評価値を、図4(c)の笑顔度評価値特性403から求めて、画像415の画像評価値とする。同様に、画像選抜部117は、画像416の顔領域426から笑顔度を算出し、その笑顔度に応じた画像評価値を、図4(c)の笑顔度評価値特性403から求めて、画像416の画像評価値とする。図4(c)の例の場合、画像415の画像評価値は、その画像415の顔領域425から算出した笑顔度0に応じた値「0」となされ、一方、画像416の画像評価値は、その画像416の顔領域426から算出した笑顔度1000に応じた値「10」となされる。すなわち、この図4(c)の例の場合、画像選抜部117は、画像415よりも笑顔度の値が高い顔領域426が写っている画像416の方を、高画像評価値の画像とする。
なお、画像選抜部117は、図4(a)〜図4(c)の例で挙げた3種類の画像評価値だけでなく、例えば、合焦情報や、YUV画像信号のYUVヒストグラム、ジャイロ変動量、ズーム情報などを含む撮影情報に基づく画像評価値を求めてもよい。そして、画像選抜部117は、それら各画像評価値の何れか一つ、若しくは、二つ以上の各画像評価値(全画像評価値の場合も含む)を求める。
ここで、画像評価値を求める際に用いられる合焦情報は、オートフォーカス制御により例えば人物等の被写体にピントが合ったか(合焦したか)否かを示す情報である。画像選抜部117は、前述した対象画像群の画像において人物等の被写体にピントが合った場合(合焦している場合)には、その画像の画像評価値を高く設定する。なお、合焦したか否かだけでなく、オートフォーカス制御の際のピントズレ量に応じて画像評価値を決定してもよく、この場合、画像選抜部117は、よりピントズレ量が少ない画像に対して、より高い画像評価値を設定する。また、合焦情報は、オートフォーカス制御の際に使用される複数の測距点の中の合焦位置、具体的には測距点位置を示す情報も含む。この合焦した測距点位置から、画像内で合焦した被写体の大凡の位置を決めることができ、その位置の情報から前述した図4(b)に示したような距離に応じた画像評価値を求めてもよい。
YUVヒストグラムを用いて画像評価値を決める場合には、初期設定として予め大別した色分類と画像評価値とを対応付けておく。そして、画像選抜部117は、前述した対象画像群の画像のYUVヒストグラムを基に、その画像の色情報を取得して色分類を行い、その色分類結果が初期設定された何れの色分類に対応しているかを識別し、その対応した色分類に応じた画像評価値を求める。一例として、初期設定として赤色に高い画像評価値が設定されているような場合、画像選抜部117は、YUVヒストグラムを基に、画像の色分類を行った結果、その画像が赤色に属すると分類されたときには、高い画像評価値を設定する。
画像評価値を求める際に用いられるジャイロ情報は、ディジタルカメラに内蔵された図示しないジャイロセンサ(角速度センサ)により検出される角速度情報から求められるジャイロ変動量を表す情報である。ジャイロセンサにて検出された角速度情報は、例えば制御部102に送られ、制御部102は、角速度情報から画像撮影がなされた際にディジタルカメラに加えられた角速度の変動量(ジャイロ変動量)を求める。このジャイロ変動量がジャイロ情報として画像選抜部117に送られる。ここで、ディジタルカメラによる撮影の際に、例えば手振れ等によりディジタルカメラが大きく振れた状態となっていた場合、ジャイロ変動量は大きな値となる。このようにディジタルカメラが大きく振れた状態で撮影された画像は、画質が低下しているため、ダイジェスト再生の際に表示する画像としては好ましくないと考えられる。このため、画像選抜部117は、ジャイロ変動量が例えば予め決めた閾値より大きい場合には、画像評価値を低くして、その画像を選抜対象の画像から除外する。なお、画像選抜部117は、ジャイロ変動量が少ない場合には、画像評価値を高く設定してもよい。
画像評価値を求める際に用いられるズーム情報は、レンズ108aのズームレンズが操作されてズーム倍率が変えられた場合のズーム変動情報である。制御部102は、例えばAF処理部108を介してレンズ108aのズームレンズのズーム倍率の情報についても取得しており、そのズーム倍率の情報からズーム変動回数の情報を求めている。ここで、例えば動画が撮影された場合に、ズーム変動回数が多い動画は非常に見辛く画質も低くなっている可能性があり、このようなズーム変動回数が多い動画の画像は、ダイジェスト再生の際に表示する画像としては好ましくないと考えられる。このため、画像選抜部117は、制御部102から取得したズーム変動回数が例えば予め決めた閾値回数より大きい場合には、画像評価値を低くする。なお、画像選抜部117は、ズーム変動回数が少ない場合には、その画像の画像評価値を高くしてもよい。
図3のフローチャートに説明を戻す。S203の後、画像選抜部117は、S204に処理を進める。S204では、画像選抜部117は、前述した対象画像群の各画像を、S203で求めた画像評価値の高い順にソートする。S204の後、画像選抜部117は、S205に処理を進める。
S205では、画像選抜部117は、S204でソートした画像評価値の上位からダイジェスト用の画像を選抜する。本実施形態の場合、画像選抜部117は、タイトル画像用とエンディング画像用、オープニング画像用として、画像評価値の高い順に画像を選抜する。また、画像選抜部117は、本編画像としては、それらタイトル画像、エンディング画像、オープニング画像に続く高画像評価値の各画像を順に選抜する。なお、本編画像は、それらタイトル画像、エンディング画像、オープニング画像を含めた画像評価値の高い順に選抜された画像であってもよい。S205の後、画像選抜部117は、S206に処理を進める。
S206では、画像選抜部117は、S205にてダイジェスト用の画像として画像評価値の上位の画像のうち、画像評価値が一位の(一番高い値)の画像をタイトル画像とし、また、画像評価値が2位(二番目に高い値)の画像をエンディング画像として選抜する。S206の後、ディジタルカメラの処理は、テロップ色選抜部118にて行われるS207の処理に移行する。
S207からS217までの処理は、前述した図2のタイトル表示201で示したようなテロップ画像が合成されたタイトル画像211を生成する処理である。S207では、テロップ色選抜部118は、S206にて選抜されたタイトル画像をブロック毎に分割する。S207の後、テロップ色選抜部118は、S208に処理を進める。
S208では、テロップ色選抜部118は、色分類部116による色分類処理にて求められて画像(この場合はタイトル画像)に対応付けられている分類色情報に基づいて、タイトル画像の各ブロックを、例えば図5に示すような各色に分類する。ここで、色分類部116では画素毎の輝度、色相、彩度が分類色情報として求められており、テロップ色選抜部118はタイトル画像の各ブロックの分類色を求める。なお、この例では、テロップ色選抜部118が画像のブロック毎に分類色を求めているが、色分類部116が、撮像画像をブロック毎に分割して、各ブロックの色分類を行っていてもよい。図5の例は、輝度と色相と彩度の値の各範囲に対して、それぞれ白(White)、灰(Geay)、ダーク(Dark)、紫(Purple)、赤(Red)、黄(Yellow)、緑色(Green)、青(Blue)の色分類を対応付けた対応表である。一例を挙げると、ブロックの輝度の値が200〜256の範囲、色相の値が0〜360の範囲、彩度の値が0〜10の範囲に入っている場合、テロップ色選抜部118は、そのブロックを白(White)として分類する。このように、テロップ色選抜部118は、予め設定された複数の分類色と、輝度と色相と彩度の値の各範囲とを対応付けた図5の対応表に基づいて、タイトル画像の各ブロックの色分類を行う。S208の後、テロップ色選抜部118は、S209に処理を進める。
S209では、テロップ色選抜部118は、S208でタイトル画像の各ブロックの色分類結果を基に、色毎のブロック数を集計し、それら色毎のブロック数から、タイトル画像内でそれぞれの色が占める面積を求める。さらに、テロップ色選抜部118は、タイトル画像内における各色の面積比率を、第1評価値として算出する。各色の面積比率が高いほど、第1評価値は高い値として求められる。各色の面積比率をどのように用いるかについては後に説明する。
そして、テロップ色選抜部118は、S209において、タイトル画像内の白(White)、灰(Geay)、ダーク(Dark)等の無彩色の面積比率が予め決めた面積比率以上であるか否かを判定する。具体的には、テロップ色選抜部118は、無彩色のブロック数が所定数TH1以上であるか否かを判定する。つまり、この場合、無彩色がタイトル画面内で予め決めた面積比率以上であるか否かを判定する。テロップ色選抜部118は、S209において、無彩色のブロック数が所定数TH1以上であると判定した場合にはS210に処理を進める。一方、テロップ色選抜部118は、S209において、無彩色のブロック数が所定数TH1未満、つまり無彩色の領域が予め決めた面積比率未満であると判定した場合にはS211に処理を進める。
S210では、テロップ色選抜部118は、無彩色の各ブロックのうち、最もブロック数が多い色を、テロップ画像の代表色とする。このように、テロップ色選抜部118は、テロップ画像内で無彩色が占める面積が大きい場合には、そのタイトル画像内で面積比率が最も大きい無彩色(つまり無彩色の第1評価値が最も高い色)を、テロップ画像の代表色とする。S210の後、テロップ色選抜部118は、S217に処理を進める。そして、S217では、テロップ色選抜部118は、S210で決めた代表色を、タイトル画像に合成されるテロップ画像の色、例えばテロップ色のうち背景色とする。テロップ画像内には、例えば、S201で設定された対象画像群の範囲内の画像に応じた日付(例えば撮影日時等)等の文字が記入される。文字色(フォント色)は、背景色(代表色)の例えば補色とする。
一方、S211に進んだ場合、テロップ色選抜部118は、無彩色ではない各ブロック、つまり有彩色のブロックの数が、所定数TH2以上であるか否かを判定する。つまり、この場合、テロップ色選抜部118は、有彩色がタイトル画面内で所定面積比率以上の大きな面積を占めているか否かを判定する。なお、本実施形態の場合、有彩色は、例えば紫(Purple)、赤(Red)、黄(Yellow)、緑色(Green)、青(Blue)に分類された色である。テロップ色選抜部118は、S211において、有彩色のブロック数が所定数TH2以上であると判定した場合にはS212に処理を進める。一方、テロップ色選抜部118は、有彩色のブロック数が所定数TH2未満、つまり有彩色の領域が所定面積比率未満であると判定した場合には、S213に処理を進める。S213以降の処理の説明は後述する。
S212に進むと、テロップ色選抜部118は、有彩色の各ブロックのうち、最もブロック数が多い色をテロップ画像の代表色とする。このように、テロップ色選抜部118は、テロップ画像内で有彩色が占める面積が大きい場合には、そのタイトル画像内で面積比率が最も大きい有彩色(つまり有彩色の第1評価値が最も高い色)を、テロップ画像の代表色とする。S212の後、テロップ色選抜部118は、S217に処理を進める。そして、S217では、テロップ色選抜部118は、S212で決めた代表色を、タイトル画像に合成されるテロップ画像の色(テロップ画像の背景色)とする。テロップ画像内には、前述同様に、例えば対象画像群の範囲内の画像に応じた撮影日付等の文字が記入され、その文字色は背景色(代表色)の例えば補色とする。
以下、図6(a)〜図6(f)を用い、S207のブロック分割からS211で有彩色の各ブロック数が所定数TH2以上と判定されてS212で代表色が決定され、S217でタイトル画像にテロップ画像が合成されるまでの具体的な画像例について説明する。
図6(a)は、タイトル画像として選抜された一例の画像601を示しており、この画像601は晴天の空621と海辺を撮影した画像であるとする。そして、この画像601をブロック分割して各ブロックの色分類を行うことで、図6(b)に示すような色分類結果602が得られたとする。また、図6(b)の例では、図6(a)の空621の画像領域622に対応した青(Blue)に色分類されたブロック数が所定数TH2以上であったとする。この場合、図6(c)に示すように、画像601に合成されるテロップ画像623のテロップ色(背景色)は青(Blue)に設定される。
図6(d)は、タイトル画像として選抜された他の例の画像611を示しており、この画像611は花や樹木等が生えた草原631を撮影した画像であるとする。そして、この画像611をブロック分割して各ブロックの色分類を行うことで、図6(e)に示すような色分類結果612が得られたとする。また、図6(e)の例では、図6(d)の草原631の画像領域632に対応した緑(Green)に色分類されたブロック数が所定数TH2以上であったとする。この場合、図6(f)に示すように、画像611に合成されるテロップ画像633のテロップ色(背景色)は緑(Green)に設定される。
ここで、タイトル画像に合成されるテロップ画像の代表色としては、前述したようにタイトル画像内で大勢を占める(大きな面積を占める)支配色ではないが、画像構成上で特に目立つ色に設定したい場合も考えられる。
このようなことから、本実施形態において、テロップ色選抜部118は、画像構成上で特に目立つ色をテロップ画像の代表色として設定することも可能となされている。詳細は後述するが、テロップ色選抜部118は、タイトル画像内における色の補色関係及び各色が画像内で占める面積比率等を考慮して、第1評価値に重み付けを行って第2評価値を求め、その第2評価値に基づいてテロップ画像の代表色を決定する。
図3のフローチャートのS213〜S216は、タイトル画像内で目立つ色をテロップ画像の代表色として選抜する際の処理を示している。
S213に進むと、テロップ色選抜部118は、タイトル画像内で支配的な色に対して特に際立っている色を決めるために、前述した第1評価値に対して後述するような重み付けを行った色評価値を求める。本実施形態では、S209で求めた面積比率が予め決めた所定値以上、つまり面積比率が所定比率以上の色を支配色として定義する。本実施形態では、所定比率の一例として18%を用いている。例えば、前述の図6(e)と同様の図7(a)に示す色分類結果612を例に挙げ、草原の画像領域632に対応した緑(Green)の面積率が図7(b)に示すように19%、空の画像領域634に対応した青(Blue)の面積率が25%であるとする。なお、図7(b)は、図7(a)に示す色分類結果612の例における、各色と、それら色毎の面積率(比率)、色相の中心の値、緑(Green)の補色を基準とした場合の各色との色相差(ΔHue)を示している。図7(a)及び図7(b)の例の場合、テロップ色選抜部118は、緑と青を支配色とする。
そして、テロップ色選抜部118は、それら緑と青の2色に対して、タイトル画像内で他に際立つ色があるか探す。本実施形態の場合、際立つ色を探す際には、支配色に対して色相において補色関係にあるものを、目立ち度合いが高い色とする。具体的には、テロップ色選抜部118は、支配色と、それに対して補色関係にある色との色相差(ΔHue)が大きいほど、その補色関係にある色の有彩色の第1評価値を高くするような係数により重み付けを行って第2評価値を求める。例えば、緑(Green)が支配色である場合、図7(b)に示すように、色相の中心の値は225となり、その補色の色相の値は45(図示せず)である。テロップ色選抜部118は、その補色の色相値をピークとする各色の色相差(ΔHue)に応じた係数(ΔHue重み)を、図8(a)及び図8(b)に示すように設定する。図8(a)及び図8(b)は、図7(b)の例で、緑(Green)を支配色とし、その支配色の補色の色相値をピークとする各色の色相差(ΔHue)と、それら各色の色相差(ΔHue)に応じた係数(ΔHue重み)の関係を示している。この図8(a)及び図8(b)に示した色相差(ΔHue)に応じた係数(ΔHue重み)による重み付けにより、各色の評価値は図9に示すような値となる。
また、前述したように、テロップ色選抜部118は、タイトル画像内で各色が占める面積比率に応じて第1評価値を設定している。ここで、本実施形態では、前述した図6(d)の画像611から得られる図7(a)の色分類結果612の例のように、草原の中の花の画像領域635のような画像内で占める面積比率は少ないが、特に目立つ色の評価値を高くすることを想定している。このため、テロップ色選抜部118は、図10(a)〜図10(c)に示すように、支配色(青や緑)を基準とし、その支配色の面積比率より若干小さい所定範囲内の面積比率の色である紫(Purple)の評価値をピークと設定する。なお、図10(a)は、図7(a)の色分類結果612の例において、例えば緑(Green)を基準の支配色とした場合の各色の面積比率と、基準の支配色に対する各色の面積比率を示している。また、図10(b)と図10(c)は、面積比率と面積重みの関係を示している。これら図10(b)、図10(c)のような面積比率に応じた重み付けにより、各色の評価値は図11のような値となる。
そして、テロップ色選抜部118は、図9で示した色相差(ΔHue)に応じた係数(ΔHue重み)により重み付けがなされた評価値と、図11で示した面積比率に応じて重み付けがなされた評価値とを色毎に掛け合わせて第2評価値を算出する。つまり、第2評価値は、タイトル画像内における色の補色関係及び各色が画像内で占める面積比率等を考慮して第1評価値に重み付けを行って得られた総合評価値である。緑(Green)を支配色とした場合の総合評価値は、図12(a)及び図12(b)に示すようになる。なお、図12(b)の図中の色相範囲1211は紫(Puple)、色相範囲1212は赤(Red)、色相範囲1213は黄(Yellow)、色相範囲1214は緑(Green)、色相範囲1215は青(Blue)に対応している。テロップ色選抜部118は、図3のフローチャートのS213において、各支配色に対して、前述のような有彩色の総合評価値を算出する。ここでは、色相差(ΔHue)に応じた係数(ΔHue重み)により重み付けされた各評価値と、面積比率に応じた係数(面積重み)により重み付けがなされた評価値とを色毎に掛け合わせたものを総合評価値としたが、それらの何れかを総合評価値としてもよい。S213の後、テロップ色選抜部118は、S214に処理を進める。
S214では、テロップ色選抜部118は、総合評価値が、予め決めた所定評価値以上となる有彩色があるか否か判定する。テロップ色選抜部118は、S214において、総合評価値が所定評価値以上となる有彩色があると判定した場合にはS215に処理を進め、一方、所定評価値以上となる有彩色がないと判定した場合にはS216に処理を進める。
S215では、テロップ色選抜部118は、総合評価値のうち最大評価値となる色を、タイトル画像の代表色とする。S215の後、テロップ色選抜部118は、S217に処理を進める。また、S216では、テロップ色選抜部118は、初期設定されているデフォルト色(例えば黒色)を、タイトル画像の代表色として設定する。S216の後、テロップ色選抜部118は、S217に処理を進める。
前述したS215又はS216からS217に進むと、テロップ色選抜部118は、S215又はS216で決めた代表色を、タイトル画像に合成されるテロップ画像の色(テロップ画像の背景色)とする。テロップ画像内には、前述同様に、ダイジェスト用の画像選抜を行う際の対象画像群の範囲に応じた日付等の文字が記入される。
以下、図13(a)〜図13(f)を用い、前述したS214で所定評価値以上の有彩色があると判定されてS215で代表色が決定され、さらにS217でタイトル画像にテロップ画像が合成されるまでの具体的な画像例について説明する。
図13(a)は、タイトル画像として選抜された一例の画像1301を示しており、この画像1301は前述の図6(d)の画像601と同じ画像であり、特に紫色の花1321が目立つような画像である。なお、この画像1301からは、前述の図6(e)と同様に示した図13(b)のような色分類結果1302が得られたとする。なお、図13(b)の例において、画像領域1322は、図13(a)で目立つ花1321の紫色の画像領域である。図13(b)の例の場合、前述した総合評価値に基づいて決定される代表色として、図13(a)で目立つ花1321の紫色が決定される。これにより、図13(c)に示すように、画像1301に合成されるテロップ画像1323のテロップ色(背景色)は紫に設定される。
図13(d)は、タイトル画像として選抜された他の例の画像1311を示しており、この画像1311は紫色の花1331等が生えた草原を撮影した画像であるとする。この画像1311について各ブロックの色分類が行われた場合には、例えば、図13(e)に示すような色分類結果1312が得られることになる。なお、図13(e)の例において、画像領域1332は、図13(a)で目立つ花1331の紫色の画像領域である。この図13(e)の色分類結果1312の場合、支配色は草原の緑(Green)になるが、特に目立つ色は、図13(d)の花1331に対応した紫色となる。図13(e)の例の場合、前述した総合評価値に基づいて決定される代表色として、図13(d)で目立つ花1331の紫色が決定される。これにより、図13(f)に示すように、画像1311に合成されるテロップ画像1333のテロップ色(背景色)は紫に設定される。
なお、前述した図6(a)〜図6(f)や図13(a)〜図13(f)では、タイトル画像にそのままテロップ画像を合成したが、例えば、代表色が集中した領域をタイトル画像の中心とした画像の切り出しを行って、その画像のテロップ画像を合成してもよい。
図3のフローチャートに説明を戻す。図3のS217の後、ディジタルカメラの処理は、画像選抜部117にて行われるS218の処理に移行する。
S218からS227までの処理は、前述した図2のオープニング表示202で表示されるオープニング画像221〜223を生成する処理である。ここで、本実施形態において、ダイジェスト再生機能では、ダイジェスト再生で人物が写っている画像を選抜する際、操作部101を介したユーザによる所望の人物画像の選択のための入力が可能となされている。ユーザが操作部101を介して人物の選択を行った場合、その選択人物の情報は、制御部102を介して画像選抜部117に送られる。画像選抜部117は、S218において、ユーザによる選択人物の数が4人未満であるか否かを判定する。画像選抜部117は、S218において選択人物の数が4人未満であると判定した場合にはS219に処理を進め、一方、4人以上であると判定した場合にはS223に処理を進める。なお、S218における人物画像の選択は、画像選抜部117が行ってもよい。画像選抜部217が人物画像の選択を行う場合には、例えば顔認証技術により顔画像が検出された画像を人物画像として選択する。
S219では、画像選抜部117は、例えば顔認証技術により認識される顔画像に基づいて、前述した対象画像群において画像評価値の高い画像の中から、選択人物の画像をそれぞれ一枚ずつ選抜する。具体的には、対象画像群の各画像の中から各選択人物の画像を一枚選抜する際、画像選抜部117は、例えば前述した画像評価値が最も高い一枚を選択する。S219の後、画像選抜部117は、S220に処理を進める。
S220では、画像選抜部117は、S219で選抜された画像から、顔情報に基づいて人物領域を切り出す。これら切り出された人物領域の画像は、オープニング画像に使用される。そして、画像選抜部117は、その認証された人物名が記入等されたテロップ画像を人物領域の画像に合成して、オープニング画像を生成する。このS220におけるテロップ画像のテロップ色は、前述したタイトル画像を生成した際のテロップ画像のテロップ色の場合と同様にして決めることができる。画像選抜部117は、前述したような人物画像の切り出しとテロップ画像の生成、及び、それら人物画像とテロップ画像の合成によるオープニング画像の生成とを、選択人物の人数分作成する。S220の後、画像選抜部117は、S221に処理を進める。
S221では、画像選抜部117は、S220で選択人物の人数分作成したオープニング画像を、オープニング画像セットとする。オープニング画像セットとは、例えば前述した図2のオープニング表示202に示したように表示される複数のオープニング画像221〜223からなるセットである。S221の後、画像選抜部117は、後述するS222に処理を進める。
一方、S223に進んだ場合、画像選抜部117は、例えば顔認証技術により認識した顔画像に基づき、各選択人物の中で、前述した対象画像群の各画像から最も多く認証されている人物を代表人物とし、その代表人物が写っている画像を一枚選抜する。そして、画像選抜部117は、その代表人物の選抜画像から、顔情報に基づいて人物領域を切り出す。S223の後、画像選抜部117は、S224に処理を進める。
S224では、画像選抜部117は、前述した対象画像群に含まれる各画像の撮影日時情報に基づき、それら各画像の最も古い撮影日時と最も新しい撮影日時とから撮影期間を求め、その撮影期間を表す文字等が入ったテロップ画像を生成する。そして、画像選抜部117は、S223で切り出した人物領域の画像に、S224で生成したテロップ画像を合成してオープニング画像を生成する。このS224におけるテロップ画像のテロップ色は、前述したタイトル画像を生成した際のテロップ画像のテロップ色の場合と同様にして決めることができる。S224の後、画像選抜部117は、後述するS225に処理を進める。
S2222、S225からS227までの処理は、前述の図2に示したような本編表示203の本編画像231〜237を表示するための処理である。
S222の処理に進んだ場合、画像選抜部117は、前述した対象画像群に含まれる各画像の撮影日時情報に基づき、それら各画像を、時系列順に並べて本編表示のための各本編画像とする。
また、S225の処理に進んだ場合、画像選抜部117は、S222と同様に、撮影日時情報に基づいて時系列順に並べた各画像を、本編表示のための各本編画像とする。S225の後、画像選抜部117は、S226に処理を進める。S226では、画像選抜部117は、S225で時系列順に並べられた本編画像の中で、S223で認証した各人物が写っている画像が最初に出てきたか否かを判定する。画像選抜部117は、S226において、S223で認証された人物が写っている画像が最初に出てきた場合にはS227に処理を進める。
S227では、画像選抜部117は、その人物名が記入されたテロップ画像を、その人物が写っている画像に合成して本編画像とする。このS227におけるテロップ画像のテロップ色は、前述したタイトル画像を生成した際のテロップ画像のテロップ色の場合と同様にして決めることができる。なお、前述したように、既にテロップ画像が合成された人物が写っている画像が再度本編中に登場した場合には、その人物名の入ったテロップ画像の合成は行わない。また、本編画像中の顔領域にテロップ画像が被るような場合は、そのテロップ画像の初期配置を変更して、被らない領域にテロップ画像を配置する。
S222とS227の後、及び、S226で各人物が写っている最初の画像でないと判定された場合、制御部102は、図3のフローチャートの処理を終了させる。その後、制御部102は、図3のフローチャートで生成したタイトル画像、オープニング画像、本編画像を、表示部107を介して表示デバイス等に表示させることにより、ダイジェスト再生表示を行わせる。
なお、前述の説明では、選抜された画像からテロップ画像の背景色(代表色)を決める例を挙げたが、例えば、代表色に基づいて画像の選抜を行うことも可能である。例えば、前述した対象画像群の各画像の中から、図14に示すように、高い総合評価値が得られている画像を優先的に選抜することも可能である。図14では、画像1400〜1407が総合評価値の高い順に並べられた例を示している。総合評価値の高い画像は、代表色が明確な画像であるため、総合評価値が高い上位の幾つかの画像1400〜1404を優先的に選抜することで、印象的な画像を中心に選抜することが可能となる。
また、本実施形態のディジタルカメラは、ダイジェスト再生表示の際に、表示される画像に対し、例えば、極彩色フィルタ処理や白黒フィルタ処理、シアンフィルタ処理など様々なフィルタ処理によるフィルタ効果を付与するような加工を行うことも可能である。極彩色フィルタ処理は、画像の各色の彩度を強調するようなフィルタ処理である。例えば、対象画像群の各画像の色の評価値を集計することで、それら対象画像群の各画像に様々な色が含まれる画像が多いか否か等を判断できる。このため、対象画像群の各画像に様々な色が含まれていると判断した場合には、極彩色フィルタ処理をそれら画像に施すことで、各色を際立たせたダイジェスト再生表示が可能となる。白黒のフィルタ処理は、画像の色情報を除去して、輝度情報のみを抽出するようなフィルタ処理である。対象画像群の各画像に対して白黒フィルタ処理を施すことで、白黒画像によるダイジェスト再生表示が可能となる。シアンフィルタ処理は、画像の全体的な色を青系の色味に変換するようなフィルタ処理である。例えば、対象画像群の各画像の色の評価値の集計結果から、対象画像群に青系の画像が多いことが判った場合には、シアンフィルタ処理を行うことで、青系の色を強調したようなダイジェスト再生表示が可能となる。逆に、対象画像群に例えば赤系の画像が多いような場合には、シアンフィルタ処理を行わないようにしてもよい。なお、フィルタ処理に関する知識を有さない一般ユーザの場合、最適なフィルタ効果が得られる最適なフィルタ処理を選択することは難しい。これに対し、本実施形態の場合、対象画像群の各画像の色の評価値を集計し、その集計した色の評価値に基づいて自動的に最適なフィルタ処理が選択されるため、最適なフィルタ効果によるダイジェスト再生表示が可能となる。
また、本実施形態のディジタルカメラは、ダイジェスト再生表示の際に、再生表示される1枚の画像の中で所望の画像領域を別の位置にスライドさせるスライド処理や、所望の画像領域を拡大ズームや縮小ズームするズーム処理等の加工を行うことも可能である。スライド処理では、一例として、一枚の画像の中で代表色が隣接して存在する領域を見つけ出し、その中心座標をスライド処理の終点座標とし、その終点座標まで所望の画像領域をスライド移動させるような処理を行う。なお、スライド処理における中心座標はスライド処理の始点座標として扱われてもよい。中心座標を始点座標と終点座標の何れにするかは、例えばダイジェスト再生の際のバリエーションの一つとして扱い、例えば同一バリエーションが重複し過ぎないように設計しておくようにする。このように、ダイジェスト再生表示の際に、代表色に基づいて、所望の画像領域をスライドさせることで、より印象の強いダイジェスト再生が可能となる。ズーム処理では、一例として、画像から代表色を求め、ズームの中心座標に、その代表色が集中した画像領域をおくようにする。このように、ダイジェスト再生表示の際に、ズーム処理により中心座標に代表色の集中した画像領域をおくことで、より印象の強いダイジェスト再生が可能となる。
前述した画像に対する加工は、それぞれ個別に行われてもよいし、それらが組み合わされて行われてもよい。本実施形態において、それら加工が施される前の画像は第1画像の一例であり、それら加工が施された画像は第2画像の一例である。
また、前述した実施形態では、代表色に基づいて、タイトル画像、オープニング画像、本編画像等に合成されるテロップ色を決める例を挙げたが、エンディング用画像の画面の色の選択にも適用可能である。その他にも、画像に適用する色変換フィルタを代表色に関連して選択する場合や、動画内に適用しているフォントの色の選択する場合などにも適用可能である。さらに、代表色は、例えばダイジェスト再生される各画像を一覧表示する際の各小画面表示の際に用いることも可能である。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。