以下、本発明を適用した実施形態を図に従って説明する。図1は、本発明の実施形態として例示するフォトスタンド1のハードウェア構成の概略を示すブロック図である。図1に示したフォトスタンド1は、デジタルカメラ等により撮影され画像データとして記録された画像を表示する装置である。また、フォトスタンド1は、本発明の画像表示装置としての機能を有する装置である。
フォトスタンド1は、CPU(Central Processing Unit)101によってシステムの全体を制御される構成である。CPU101には、ROM(Read Only Memory)102、RAM(Random Access memory)103、メディアコントローラ104、操作キー群201、ディスプレイ301が接続されている。
ROM102には、CPU101にシステム全体を制御させるための複数種のプログラムやデータが記憶されているメモリである。ROM102に記憶されているプログラムには、CPU101を本発明の画像情報取得手段と優先度設定手段と表示制御手段として機能させる表示制御プログラム102aが含まれる。なお、ROM102に記憶されているデータについては、後述する。
RAM103は、CPU101が必要に応じて種々のデータを一時的に記憶する作業用のメモリである。
メディアコントローラ104は、フォトスタンド1の本体に設けられているメモリカードスロットに着脱自在に装着された記録メディア40と、CPU101との間におけるデータの入出力を制御する入出力インターフェースである。
記録メディア40には、デジタルカメラ等により撮影された複数の撮影画像データが記録されている。記録メディア40に記憶されている撮影画像データには、静止画データや動画データが含まれる。静止画データは、JPEG(Joint Photographic Expert Group)方式により圧縮され、画像サイズ等の付加情報と共に静止画ファイルとして記憶されている画像データである。
動画データは、MPEG−1、MPEG−2、MPEG−4、H.264等のMPEG(Motion Picture Experts Group)方式により動画像ファイルとして記録された動画像データである。MPEG方式は、公知のように動画像を構成する一連のフレーム画像がIピクチャ(Intra-coded picture)、Pピクチャ(Predictive-coded picture)及びBピクチャ(Bi-directionally predictive coded picture)といった3タイプの画像に分類して符号化する動画像の圧縮符号化方式である。
なお、3タイプの画像のうちのIピクチャは、時間的に前後する他のフレーム画像を用いることなく復号可能な状態で記録される、撮影時に取得された画像データにより表される画像である。つまりIピクチャは画像としての品質がPピクチャ及びBピクチャに比べて高い画像である。
操作キー群201は、電源キー、及びユーザがフォトスタンド1の操作に使用する他の操作キーや操作ボタンから構成される。CPU101は、操作キー群201における操作キー等の操作状態を定常的にスキャンすることにより、所定のキー操作によるユーザからの種々の指示を検知する。
ディスプレイ301は、例えばバックライト付きのカラー液晶表示パネルと、CPU101から供給される画像データ等の表示データに応じてカラー液晶表示パネルを駆動する駆動回路とから構成される。
そして、先に述べたROM102に記憶されているデータには、図4(a)に示した表示用テンプレートTを表すテンプレートデータが含まれる。表示用テンプレートTは、フォトスタンド1が後述するフレーム表示モードにおいて、複数の画像(動画像を構成する複数のフレーム画像)をディスプレイ301の表示画面に同時に表示させる際に使用されるものである。
具体的に説明すると、表示用テンプレートTは表示画面を複数の表示領域に分割して使用する際における表示領域の分割パターンを示すものである。図4(a)に示したように表示用テンプレートTは、表示画面Gの中央に位置する表示領域G1と、表示画面Gの中央に位置する表示領域G1の周囲の領域を区分することにより確保された他の複数の表示領域G2〜G13とからなる分割パターンを示すものである。
各表示領域G1〜G13の大きさは、表示画面Gの中央に位置する表示領域G1が最大であり、表示画面Gの四隅に位置する表示領域G2,G5,G8,G11が2番目に大きいものとなっている。さらに、四隅の表示領域G2,G5,G8,G11を除いた表示画面Gの右辺及び左辺に沿ってそれぞれ上下に並ぶ表示領域G6,G7,G12,G13の大きさが、四隅の表示領域G2,G5,G8,G11よりも小さくなっている。そして、四隅の表示領域G2,G5,G8,G11を除いた表示画面Gの上辺及び下辺に沿ってそれぞれ左右に並ぶ表示領域G3,G4,G10,G19の大きさが最小である。
また、表示用テンプレートTの各表示領域G1〜G13には、予め決められた第1の表示レベル(Level−1)から第4の表示レベル(Level−4)の4段階の表示レベルのいずれかが割り当てられている。
図4(a)に示したように、各表示領域G1〜G13には、より大きな表示領域に、より高い表示レベルが割り当てられている。すなわち大きさが最大の表示領域G1に、第1の表示レベル(Level−1)が割り当てられ、大きさが2番目の表示領域G2,G5,G8,G11に、第1の表示レベル(Level−2)が割り当てられている。また、大きさが3番目の表示領域G6,G7,G12,G13に、第3の表示レベル(Level−3)が割り当てられ、大きさが最小の表示領域G3,G4,G10,G19に、第4の表示レベル(Level−4)が割り当てられている。
そして、ROM102に記憶されているテンプレートデータには、表示画面の分割パターンを示すパターン情報と、各表示領域G1〜G13に対応する表示レベルを示す表示レベル情報とが含まれている。
図2は、フォトスタンド1が有する機能の要部を示す機能ブロック図である。フォトスタンド1は制御部10と操作部20と表示部30とを有している。制御部10は、フレーム画像データ取得部11と、画像情報取得部12、優先度設定部13、画像選択部14、表示制御部15、記憶部16により構成されている。
操作部20は、フォトスタンド1に対するユーザからの各種の指示を検知する機能部分であり、図1に示した操作キー群201により実現される。
表示部30は、記録メディア40に記録されている静止画データにより表される静止画像や、動画データにより表される動画像、及び動画像を構成する複数のフレーム画像、さらにユーザがフォトスタンド1を操作する際に必要とする各種の操作画面を表示する。表示部30は、図1に示したディスプレイ301により実現される。
フレーム画像データ取得部11は、記録メディア40に記録されている任意の動画データを対象として復号処理を行い、各フレームのフレーム画像データを取得し、取得したフレーム画像データを画像情報取得部12に順に供給する。また、フレーム画像データ取得部11は、動画データから、特定のフレームのフレーム画像データを取得(復号)し、取得したフレーム画像データを記憶部16に記憶する。フレーム画像データ取得部11は図1に示したCPU101により実現される。
画像情報取得部12は、フレーム画像データ取得部11から供給されたフレーム画像データを対象として、フレーム画像データにより表されるフレーム画像の画像内容を示す次の特定情報を取得する。すなわち画像情報取得部12は、フレーム画像に存在する人物の顔の面積、画像に存在する人物の顔の笑顔の度合いを示す笑顔度、対象のフレーム画像がIピクチャ、Pピクチャ、Bピクチャのいずれのタイプで記録された画像であるかを示すフレーム種別を取得する。画像情報取得部12は図1に示したCPU101により実現される。
優先度設定部13は、画像情報取得部12が取得した、フレーム画像毎の画像内容を示す特定情報(顔の面積、笑顔度、フレーム種別)を用いた所定の基準に従って、動画像を構成する一連のフレーム画像の各々に優先度を個別に設定する。優先度設定部13は、図1に示したCPU101により実現される。
画像選択部14は、優先度設定部13が設定した優先度に従った順位が、表示用テンプレートTにおける表示画面の分割数に対応する順位となるまでの複数(本実施形態では「13」)のフレーム画像を表すフレーム画像データを表示対象として選択する。また、選択したフレーム画像データをフレーム画像データ取得部11に取得させ、かつ記憶部16に記憶させる。画像選択部14は、図1に示したCPU101により実現される。
表示制御部15は、画像選択部14が表示対象として選択した複数のフレーム画像データが表す複数のフレーム画像を、表示用テンプレートTにより示される複数の表示領域G1〜G13に配置した状態でディスプレイ301が有する表示画面に表示させる。表示制御部15は、図1に示したCPU101により実現される。
記憶部16は、フレーム画像データ取得部11が取得するフレーム画像データや、画像情報取得部12が取得する特定情報、優先度設定部13がフレーム画像毎に設定する優先度を記憶する。また、記憶部16は、表示制御部15が複数のフレーム画像をディスプレイ301が有する表示画面に表示させる際の表示用の画像データ(後述する合成画像データ)を記憶する。記憶部16は、図1に示したRAM103により実現される。
次に、以上の構成からなるフォトスタンド1の動作について説明する。フォトスタンド1には、記録メディア40に記録されている動画像を表示するための表示モードとして、フレーム表示モードが設けられている。フレーム表示モードは、動画像を構成する複数のフレーム画像を選択的に一覧表示する表示モードである。
フレーム表示モードの設定は、ユーザが、操作キー群201の所定の操作キーを操作することにより行われる。また、フレーム表示モードにおいてユーザは所定のキー操作によって複数のフレーム画像の表示対象の動画像を選択する。
図3は、フレーム表示モードにおいて、制御部10(CPU101)がROM102に記憶されている表示制御プログラム102aに従って実行するフレーム表示処理であって、表示対象の動画像が選択された後の処理を示したフローチャートである。以下、図3に従いフレーム表示処理の内容を具体的に説明する。
表示対象の動画像が選択された後には、フレーム画像データ取得部11(CPU)が、選択された動画像を表す動画データを記録メディア40から読み出し、動画像を構成する一連のフレーム画像を表すフレーム画像データの取得を開始する(ステップS1)。
フレーム画像データ取得部11がステップS1で開始する処理は、動画データを復号することにより、フレーム毎のフレーム画像データを順に取得する処理である。また、フレーム画像データ取得部11は、フレーム画像データを取得する毎に、取得したフレーム画像データを記憶部16(RAM103)に一時記憶する。なお、動画データを復号する処理については公知であるため説明を省略する。
一方、フレーム画像データ取得部11におけるステップS1の処理は、例えばフォトスタンド1に、記録メディア40に記録されている個別に撮影された複数の静止画像を画面上に一覧表示する動作を行わせる場合には、以下のような処理に変更することができる。例えばステップS1の処理は、記録メディア40に記録されている全ての静止画像を記録メディア40から予め決められている順に読み出す処理に変更することができる。ここで、個別に撮影された複数の静止画像とは、例えば全く異なる被写体が撮影された複数の静止画像や、全く異なる時間的に撮影された複数の静止画像である。
以後、制御部10においては、新たなフレーム画像データを取得する毎に(ステップS1:YES)、取得したフレーム画像データを処理対象としてステップS3〜ステップS10の処理を繰り返し行う。まず、画像情報取得部12(CPU101)が、記憶部16に記憶されたフレーム画像データに対して顔検出処理を行う(ステップS3)。
顔検出処理は、フレーム画像データにより表されるフレーム画像内において人物の顔が存在する領域である顔領域を検出する処理である。画像情報取得部12における顔領域の検出方法は、例えば検出対象の画像に二値化や輪郭抽出、パターンマッチング等の画像認識技術によって、一定範囲の位置関係にある目や鼻や口が存在する特定領域を顔領域として検出する公知の技術を適用した方法である。
その後、画像情報取得部12は、顔検出処理で顔領域が検出できたか否かに応じて、以下の処理を行う。まず、顔領域が検出できた場合の処理手順については説明する。顔領域が検出できた場合(ステップS4:YES)、画像情報取得部12は、顔領域スコアを取得する(ステップS5)。具体的に説明すると画像情報取得部12は、検出した顔領域の面積を演算し、演算結果を正規化した値を顔領域スコアとして記憶部16に記憶する。画像情報取得部12が計算する顔領域の画素数である。また、演算結果の正規化は、例えば演算結果の決められた桁以下の数値を四捨五入する処理である。
引き続き、画像情報取得部12は、笑顔度スコアを取得する(ステップS6)。具体的に説明すると画像情報取得部12は、検出した顔領域の顔の笑顔度を取得し、取得した笑顔度を正規化した値を笑顔度スコアとして記憶部16に記憶する。笑顔度は、検出した顔領域の顔が笑顔に近い度合を数値化したものであり、笑顔の度合いが高いほど値が大きく、笑顔の度合いが低くなるに従って値が小さくなるものである。笑顔度の正規化も、顔領域スコアと同様、例えば笑顔度の決められた桁以下の数値を四捨五入する処理である。
画像情報取得部12における笑顔度の取得方法は公知の技術によるものであり、ステップS6の処理は、例えば特開2009−033491号公報に開示された技術、すなわち眼と口元に特徴に基づき笑顔度を判断する技術などを適用した処理である。
一方、ステップS4の処理理で顔領域が検出できなかった場合(ステップS4:NO)、画像情報取得部12は、顔領域スコア、及び笑顔度スコアとして、それぞれの最小値であるゼロを記憶部16に記憶する(ステップS7)。
引き続き、画像情報取得部12は、品質スコアを取得する(ステップS8)。ステップS8の処理において、画像情報取得部12は、まず処理対象のフレーム画像データがIピクチャのフレーム画像を表すフレーム画像データであるか否かを確認する。
なお、処理対象のフレーム画像データがIピクチャ、Pピクチャ、Bピクチャのいずれのタイプのフレーム画像を表すフレーム画像データであるかの情報は、ステップS1で開始した動画データの復号化に伴い、各フレームのフレーム画像データを取得する時点でフレーム画像データ取得部11が取得している。画像情報取得部12は、フレーム画像データ取得部11が取得している情報によって、処理対象のフレーム画像データのタイプを判断する。
そして、画像情報取得部12は、処理対象のフレーム画像データがIピクチャのデータであれば、品質スコアとして予め決められている最大点(x)を記憶部16に記憶する。ここで、品質スコアとして予め決められている最大点(x)は、「50」よりも大きな値である。
また、画像情報取得部12は、処理対象のフレーム画像データがIピクチャのデータでなければ、品質スコアとして、「100」から予め決められている最大点を引いた値(100−x)を記憶部16に記憶する。
以上述べたステップS8の処理後には、優先度設定部13(CPU101)が、画像情報取得部12により記憶部16に記憶された顔領域スコアと笑顔度スコアと品質スコアからフレーム画像の優先度を取得し、計算結果を記憶部16に記憶する(ステップS9)。先に述べたように顔領域スコアと笑顔度スコアと品質スコアとは、各々が処理対象のフレーム画像データにより表されるフレーム画像の画像内容を示す特定情報である。
ステップS9の処理において優先度設定部13は、下記(式)を計算し優先度を取得する。
優先度 = α×(顔領域スコア)+β×(笑顔度スコア)+γ×(品質スコア)
・・・(式)
(但し、α,β,γは、重み付け係数)
なお、優先度の計算式は、先に述べたように、例えばフォトスタンド1に、個別に撮影された複数の静止画像を画面上に一覧表示する動作を行わせる場合には、以下のように変更する必要がある。すなわち優先度の計算式は、上記(式)の右辺から「+γ×(品質スコア)」部分を削除したものに変更する必要がある。
また、ステップS9の処理において優先度設定部13は、計算した優先度を、動画像におけるフレームの位置(時系列での位置)を示す、処理対象のフレーム画像データのフレーム番号に対応付けて記憶部16に記憶する。
その後、制御部10においては、動画像の最終フレームのフレーム画像データについて優先度が取得(記憶)できるまでの間(ステップS10:NO)、画像情報取得部12と優先度設定部13とがステップS2〜ステップS9の処理を繰り返す。なお、制御部10においてステップS2〜ステップS9の処理が繰り返される間には、記憶部16に記憶されているフレーム画像データは順次更新される。
やがて、動画像の最終フレームのフレーム画像データについてステップS3〜ステップS9の処理が完了すると(ステップS10:YES)、画像選択部14(CPU101)は、優先度に応じた順位が上位にある表示用テンプレートTの表示領域数に応じた複数のフレーム画像データを表示対象として選択する(ステップS11)。
先に図4(a)に示したように表示用テンプレートTにおける表示領域数は「13」である。つまりステップS11の処理おいて画像選択部14は、記憶部16に記憶されている優先度が最も高いものから優先度が13番目となるものまでのフレーム画像データを表示対象として選択する。また、ステップS11の処理において画像選択部14は、表示対象として選択した複数のフレーム画像データを、フレーム画像データ取得部11に取得させ、かつ記憶部16に記憶させる。
なお、以下の説明においては、優先度に応じた順位を単に優先順位と呼び、優先順位がn番目のフレーム画像データにより表されるフレーム画像を単に優先順位がn番目のフレーム画像と呼ぶものとする。
しかる後、表示制御部15(CPU101)が、記憶部16に記憶された複数のフレーム画像データによってそれぞれ表される複数のフレーム画像を、表示用テンプレートTに従って配置した状態で表示部30(ディスプレイ301)の表示画面に同時に表示させる(ステップS12)。
表示制御部15におけるステップS12の処理をより具体的に説明する。ステップS12の処理において表示制御部15は、記憶部16に記憶された複数のフレーム画像データを順に表示部30へ供給することにより、最終的に複数のフレーム画像を表示部30に同時に表示させる。複数のフレーム画像データの表示部30への供給は、例えば複数のフレーム画像データの優先順位やフレーム番号順に従い行う。
また、表示制御部15は、各フレーム画像データを表示部30へ供給する際には、表示用テンプレートTを表すテンプレートデータに含まれるパターン情報に従い、表示部30が有する表示画面を複数の表示領域に分割(区画)する。さらに、パターン情報、及びテンプレートデータに含まれるパターン情報に従い、フレーム画像の表示サイズと、表示すべき表示領域とを制御する。
以上の処理により表示制御部15は、優先順位が1番目から13番目のフレーム画像を、表示部30が有する表示画面に、図4(b)に示したサイズで、かつ図4(b)に示した位置に配置して表示させる。
図4(b)は、表示制御部15によるステップS12の処理に伴い、複数のフレーム画像を同時に表示したときの表示部30の表示画面Gの状態を便宜的に示した説明図である。図4(b)において「写真」はフレーム画像を示し、「写真」とともに表示した括弧内の数字が各々のフレーム画像の優先順位である。
すなわち、ステップS12の処理において表示制御部15は、優先順位が1番目のフレーム画像を、表示用テンプレートTにおいて第1の表示レベル(Level−1)が割り当てられている表示領域G1に配置する。また、表示制御部15は、優先順位が2番目〜5番目の4枚のフレーム画像を、表示用テンプレートTにおいて第2の表示レベル(Level−2)が割り当てられている表示領域G2,G5,G8,G11に配置する。
また、表示制御部15は、優先順位が6番目〜9番目の4枚のフレーム画像を、表示用テンプレートTにおいて第3の表示レベル(Level−3)が割り当てられている表示領域G6,G7,G12,G13に配置する。また、表示制御部15は、優先順位が10番目〜13番目の4枚のフレーム画像を、表示用テンプレートTにおいて第4の表示レベル(Level−3)が割り当てられている表示領域G3,G4,G10,G19に配置する。
つまり、表示制御部15は、複数のフレーム画像を、優先順位(優先度)が高くなるに従って配置箇所における表示領域の表示レベルが高くなるように配置した状態で表示画面G上に表示させる。
なお、表示制御部15は、同一の表示レベルが割り当てられている複数の表示領域の各々に配置するフレーム画像は、図4(b)に示した優先順位のフレーム画像とする。これにより、制御部10は、フレーム表示モードによるフレーム表示処理を完了する。
以上のようにフォトスタンド1は、フレーム表示モードで複数のフレーム画像を画面上に同時に表示する際、動画像を構成する全てのフレーム画像について特定情報(顔の面積、笑顔度、フレーム種別)を取得し、取得した特定情報からフレーム画像毎に優先度を計算する。次に、フォトスタンド1は、動画像を構成する全てのフレーム画像の優先度に従い表示すべき複数のフレーム画像を選択する。そして、フォトスタンド1は、選択した複数のフレーム画像を個々の優先度に応じた表示領域G1〜G13に配置した状態で、かつ位置に応じた表示サイズで画面上に同時に表示する。
このため、フォトスタンド1が複数のフレーム画像を表示画面G上に同時に表示するときには、同時に表示する複数のフレーム画像の各々から取得される特定情報、すなわち画像内容を示す特定情報が複数のフレーム画像の全ての表示形態に反映されることとなる。
よって、フォトスタンド1においては、連続的に撮影された複数のフレーム画像を画面上に同時に表示するに際し、フレーム画像毎に取得した画像内容を示す特定情報をより有効に利用することができる。
さらに、フレーム画像毎に取得する特定情報の種類、及び複数のフレーム画像を配置する表示画面G上における表示領域の分割パターンは、必要に応じて適宜決めることができる。したがって、フレーム画像毎に取得する特定情報の種類、及び複数のフレーム画像を配置する表示画面G上の表示領域の分割パターンを、複数のフレーム画像の表示目的に応じて決めることにより、複数のフレーム画像を表示目的に適した状態で表示画面G上に表示させることができる。
また、本実施形態では、複数のフレーム画像が表示される表示画面G上の各表示領域の面積を、より高い表示レベルが割り当てられている表示領域ほど、つまり優先度がより高いフレーム画像を表示する表示領域ほど大きくした。したがって、複数のフレーム画像のうちで優先度がより高いフレーム画像、すなわち表示目的に応じたより重要なフレーム画像をより見やすい状態で表示することができる。
また、本実施形態では、表示画面Gの各表示領域G1〜G13に、表示画面Gにおける位置が中央に近付くほど高くなる表示レベルを割り当てた。つまり複数のフレーム画像を、優先度が高くなるに従って表示画面Gの中央に近付くように配置した状態で表示させる。これによっても、複数のフレーム画像のうちで優先度がより高いフレーム画像、すなわち表示目的に応じたより重要なフレーム画像をより見やすい状態で表示することができる。
(変形等)
次に、以上説明した実施形態の変形等について述べる。
本実施形態では、動画像を構成する全てのフレーム画像について取得した特定情報を利用して複数のフレーム画像を表示画面上に同時に表示させる際、図4(a)に示した表示用テンプレートTを使用する構成について説明した。しかし、フォトスタンド1には、図4(a)に示したものとは異なる他の表示用テンプレートを使用する構成を採用してもよい。
図5(a)は、第1の他の表示用テンプレートT1を示した図である。図5(a)に示した第1の他の表示用テンプレートT1は、表示画面に確保すべき複数の表示領域として、表示画面を分割することなく得られる互いに面積が異なる表示領域G1〜G6を示すものである。また、各表示領域G1〜G6には、表示レベルとして、面積順に6段階の異なる表示レベルが予め割り当てられている。
フォトスタンド1に、図5(a)に示した第1の他の表示用テンプレートT1に従い複数のフレーム画像を表示画面上に同時に表示させる構成を採用した場合には、複数のフレーム画像を図5(b)に示した表示形態で表示される。なお、図5(b)においても「写真」はフレーム画像を示し、「写真」とともに表示した括弧内の数字が各々のフレーム画像の優先順位(優先度に応じた順位)である。
したがって、第1の他の表示用テンプレートT1に従い複数のフレーム画像を表示画面上に同時に表示させる構成であっても、同時に表示する複数のフレーム画像の各々から取得される特定情報、すなわち画像内容を示す特定情報が複数のフレーム画像の全ての表示形態に反映されることとなる。
よって、第1の他の表示用テンプレートT1を用いる構成においても、連続的に撮影された複数のフレーム画像を表示画面上に同時に表示するに際し、フレーム画像毎に取得した画像内容を示す特定情報をより有効に利用することができる。
また、第1の他の表示用テンプレートT1を用いる構成では、各々の表示領域G1〜G6の面積を、より高い表示レベルが割り当てられている、優先度がより高いフレーム画像を表示する表示領域ほど大きくなる。よって、複数のフレーム画像のうちで優先度がより高いフレーム画像、すなわち表示目的に応じたより重要なフレーム画像をより見やすい状態で表示することができる。
なお、図5に示した表示画面G内における各々の表示領域G1〜G6の配置パターンは一例に過ぎず、適宜変更することができる。
図6(a)は、第2の他の表示用テンプレートT2を示した図である。図6(a)に示した第2の他の表示用テンプレートT2は、表示画面に確保すべき複数の表示領域として、表示画面を縦横方向にそれぞれ5等分することにより得られる面積が同一の表示領域(符号は省略する)を示すものである。また、各表示領域には、表示レベルとして3段階の異なる表示レベル(Level−1〜Level−3)が予め割り当てられている。また、各表示領域に割り当てられている表示レベルは、表示画面Gの中心に近い表示領域ほど高く、表示画面Gの中央部に位置する表示領域に最大の表示レベルLevel−1が割り当てられている。
したがって、第2の他の表示用テンプレートT2に従い複数のフレーム画像を表示画面上に同時に表示させる構成であっても、同時に表示する複数のフレーム画像の各々から取得される特定情報、すなわち画像内容を示す特定情報が複数のフレーム画像の全ての表示形態に反映されることとなる。
よって、第2の他の表示用テンプレートT1を用いる構成においても、連続的に撮影された複数のフレーム画像を画面上に同時に表示するに際し、フレーム画像毎に取得した画像内容を示す特定情報をより有効に利用することができる。
また、第2の他の表示用テンプレートT1を用いる構成では、表示画面Gの中央に位置する表示領域に最も高い表示レベルを割り当てることにより、複数のフレーム画像のうちで優先度の最も高いフレーム画像が表示画面Gの中央に表示される。
よって、複数のフレーム画像のうちで優先度がより高いフレーム画像、すなわち表示目的に応じた重要なフレーム画像を見やすい状態で表示することができる。
さらに、第2の他の表示用テンプレートT1を用いる構成では、表示画面Gの中心に近い表示領域ほど、より高い表示レベルを割り当てることにより、複数のフレーム画像のうちで優先度のより高いフレーム画像ほど、表示画面Gの中心側に位置する表示領域に表示される。
よって、複数のフレーム画像のうちで優先度がより高いフレーム画像、すなわち表示目的に応じたより重要なフレーム画像をより見やすい状態で表示することができる。
また、本実施形態では、動画像を構成する全てのフレーム画像に設定する優先度を、顔の面積と笑顔度とフレーム種別との3種類の特定情報から取得する構成について説明した。しかし、フォトスタンド1には、各々のフレーム画像に設定する優先度を、3種類の特定情報のうちのいずれか1又は2種類の特定情報のみから取得する構成を採用してもよい。
また、フォトスタンド1には、各々のフレーム画像に設定する優先度を、顔の面積や笑顔度やフレーム種別とは異なる種類の特定情報から取得する構成を採用してもよい。すなわち特定情報には、例えばフレーム画像におけるピントが合っている度合いを示すピント度合いを使用することができる。
特定情報としてピント度合いを使用する場合には、例えば画像情報取得部12(CPU101)に以下の処理を行わせればよい。まず、画像情報取得部12に、フレーム画像を複数のブロック領域に分割し、ブロック領域毎にハイパスフィルタ処理を行って高周波数成分を抽出し、抽出した高周波成分の積算値をピント度合いとして求める処理を行わせる。そして、画像情報取得部12に、ピント度合いが閾値以上の各ブロック領域のピント度合いの平均値を計算し、計算結果を最終的なピント度合いとして取得する処理を行わせればよい。
また、本実施形態では、動画像を構成する全てのフレーム画像について取得した特定情報からフレーム画像毎に優先度を設定し、設定した優先度に従って表示すべき複数のフレーム画像を選択し、選択した複数のフレーム画像を画面上に同時に表示する構成について説明した。
しかし、フォトスタンド1には、予め画面上に同時に表示すべき表示対象の複数のフレーム画像を予め設定し、表示対象のフレーム画像のみについて特定情報を取得する構成を採用してもよい。なお、表示対象の複数のフレーム画像の設定方法については任意の方法を採用することができる。
また、本実施形態と同様に、動画像を構成する全てのフレーム画像について特定情報を取得し、取得した特定情報からフレーム画像毎に優先度を設定する構成においては、画面上に同時に表示すべき表示対象の複数のフレーム画像を以下の方法により設定してもよい。
例えばフォトスタンド1には、図7に示した方法によって、表示対象として複数のフレーム画像を選択する構成を採用することができる。図7に示した方法では、フォトスタンド1が、まず動画像の全フレームFを表示対象とすべき複数のフレーム画像の数に応じた複数のフレーム区間F1,F2,F3,・・・に分割(グループ分け)する。次に、フォトスタンド1は、各フレーム区間の複数のフレーム画像において優先順位が最も高い複数のフレーム画像Fg1,Fg2,Fg3,・・・を特定する。そして、フォトスタンド1は、特定したフレーム画像Fg1,Fg2,Fg3,・・・を、それぞれ表示対象として選択する。
なお、各フレーム区間におけるフレーム数は、例えば300フレームである。また、以下の説明においては、各フレーム区間の複数のフレーム画像のことを画像グループと呼ぶことにする。また、各フレーム区間の複数のフレーム画像において優先順位が最も高いフレーム画像のことを最高位の画像と呼ぶことにする。
フォトスタンド1に、複数のフレーム区間における最高位のフレーム画像を表示対象として選択する構成を採用する場合に、制御部10が実行するフレーム表示処理の一例を、図8に示したフローチャートに従い説明する。
制御部10は、まず、フレーム画像データ取得部11と、画像情報取得部12と優先度設定部13とにより、ユーザに選択された動画についてフレーム画像毎に優先度を取得し、記憶部16に記憶する(ステップSA1)。ステップSA1の処理は、図3のステップS1〜ステップS10の処理と同一である。
次に、画像選択部14は、動画像の全フレームFを、例えば図4(a)に示した表示用テンプレートTにより示される分割パターンにおける表示領域の数で分割したときの、複数のフレーム区間F1,F2,F3,・・・を特定する(ステップSA2)。複数のフレーム区間の特定とは、各フレーム区間の先頭及び末尾のフレーム番号を取得することである。
引き続き、画像選択部14は、各フレーム区間F1,F2,F3,・・・における複数のフレーム画像データの中で、優先順位が最高位のフレーム画像データを表示対象として選択する(ステップSA3)。
しかる後、表示制御部15が、画像選択部14が表示対象として選択したフレーム区間数分の複数のフレーム画像データによってそれぞれ表される複数のフレーム画像Fg1,Fg2,Fg3,・・・を、表示用テンプレートTに従って配置した状態で表示部30の表示画面に同時に表示させる(ステップSA4)。
上記の変形例(以下、第1の変形例という。)においては、既説した実施形態と比べると以下の利点を得ることができる。
すなわち、第1の変形例では、表示画面内の各表示領域に表示される各フレーム画像は、異なるシーン(フレーム区間)から選択されたフレーム画像となる。このため、第1の変形例では、例えば優先度の高いフレーム画像が全て同じフレーム区間内にのみ集中していた場合であっても、互いに異なるシーンの複数のフレーム画像が画面上に表示される。
よって、第1の変形例によれば、既説した実施形態と比べると、画面上に表示される複数のフレーム画像を変化に富んだ内容の画像とすることができる。
さらに、例えばフォトスタンド1には、図9に示した以下の方法によって、表示対象として複数のフレーム画像を選択し、かつ選択した複数のフレーム画像を表示する構成を採用してもよい。図9に示した方法では、フォトスタンド1が、まず動画像の全フレームFを表示対象とすべき複数のフレーム画像の数に応じた複数のフレーム区間F1,F2,F3,・・・に分割(グループ分け)する。次に、フォトスタンド1は、各フレーム区間の複数のフレーム画像(画像グループ)において優先順位が1番目から3番目の高位のフレーム画像Fgn・・・を特定する。なお、以下の説明においては、優先順位が1番目から3番目のフレーム画像を高位画像と呼ぶことにする。また、優先順位が1番目から3番目のフレーム画像をそれぞれ表すフレーム画像データを高位のフレーム画像データと呼ぶことにする。
しかる後、フォトスタンド1は、特定したフレーム区間毎の3枚1組のフレーム画像Fgn・・・から、一定の時間間隔で、フレーム区間毎に予め決められた方法で(例えばランダムに)、いずれかのフレーム画像を順に選択し、画面上に同時に表示させる。つまり、図9に示した方法では、フォトスタンド1が、各フレーム区間の3枚1組のフレーム画像Fgnのいずれか1枚をスライド表示させる。
フォトスタンド1に、図9に示した方法によって、表示対象として複数のフレーム画像を選択し、かつ選択した複数のフレーム画像を表示する構成を採用する場合に、制御部10が実行するフレーム表示処理の一例を、図10に示したフローチャートに従い説明する。
制御部10は、まず、フレーム画像データ取得部11と、画像情報取得部12と優先度設定部13とにより、ユーザに選択された動画についてフレーム画像毎に優先度を取得し、記憶部16に記憶する(ステップSB1)。ステップSB1の処理は、図3のステップS1〜ステップS10の処理と同一である。
次に、画像選択部14は、動画像の全フレームFを、例えば図4(a)に示した表示用テンプレートTにより示される分割パターンにおける表示領域の数で分割したときの、複数のフレーム区間F1,F2,F3,・・・を特定する(ステップSB2)。複数のフレーム区間の特定とは、各フレーム区間の先頭及び末尾のフレーム番号を取得することである。
引き続き、画像選択部14は、各フレーム区間F1,F2,F3,・・・毎に、優先順位が3番目までの高位のフレーム画像データを特定する(ステップSB3)。
その後、画像選択部14は、表示対象とすべき高位のフレーム画像データ(3枚のフレーム画像のいずれか)の、各フレーム区間での優先順位を示す変数値(N)をインクリメントする処理を行う(ステップSB4)。処理開始当初は、変数値(N)は「0」であるため、変数値(N)には「1」がセットされる。
次に、画像選択部14は、各フレーム区間における3フレーム分の高位のフレーム画像データの中で、優先順位がN番目となる高位のフレーム画像データを表示対象として選択する(ステップSB5)。
次に、表示制御部15が、画像選択部14が表示対象として選択したフレーム区間数分の複数のフレーム画像データによってそれぞれ表されるフレーム画像g,g,g,・・・を、表示用テンプレートTに従って配置した状態で表示部30の表示画面に同時に、一定時間(例えば0.5秒間)だけ表示させる(ステップSB6)。
以後、制御部10は、表示対象とすべき高位のフレーム画像データの、各フレーム区間での優先順位を示す変数値(N)が「3」になるまでの間(ステップSB7:NO)、ステップSB4〜ステップSB6の処理を繰り返し行う。
そして、制御部10は、各フレーム区間における3フレーム分の高位のフレーム画像データの中で、優先順位が3番目となる高位のフレーム画像データにより表される複数のフレーム画像の表示が終了した時点で(ステップSB7:YES)、処理を終了する。
上記の変形例(以下、第2の変形例という。)においては、第1の変形例と同様、既説した実施形態と比べると、以下の利点を得ることができる。
すなわち、第2の変形例においては、表示画面内の各表示領域に複数回表示(スライド表示)される各フレーム画像は、異なるシーン(フレーム区間)から選択されたフレーム画像となる。このため、第2の変形例では、例えば優先度の高いフレーム画像が全て同じフレーム区間内にのみ集中していた場合であっても、互いに異なるシーンの複数のフレーム画像が画面上に毎回表示される。
よって、第2の変形例においても、既説した実施形態と比べると、画面上に表示される複数のフレーム画像を変化に富んだ内容の画像とすることができる。
また、以上の説明においては、フォトスタンド1が、動画像を構成する複数のフレーム画像を選択的に一覧表示する構成について説明した。しかし、本発明は、例えばフォトスタンド1において、連写撮影機能を有するデジタルカメラ等により連続的に撮影された一連の静止画像を対象として、複数の静止画像を選択的に、又は一括して一覧表示する場合にも適用することができる。
さらに、本発明は、個別に撮影された複数の静止画像を画面上に一覧表示する場合にも適用することができる。
フォトスタンド1に、連続的に撮影された一連の静止画像や個別に撮影された複数の静止画像を対象とする構成を採用した場合であっても、既説した実施形態と同様の効果を得ることができる。表示対象が複数の静止画像の場合には、フォトスタンド1が複数の静止画像を画面上に同時に表示する際、複数の静止画像のうちで優先度がより高い静止画像、すなわち表示目的に応じたより重要な静止画像がより見やすい状態で表示される。
なお、フォトスタンド1が、連続的に撮影された一連の静止画像や個別に撮影された複数の静止画像を対象として、変形例1や変形例2で説明した動作を行う場合、フォトスタンド1には、複数の静止画像を以下のようにグループ分けする構成を採用すればよい。例えばフォトスタンド1には、複数の静止画像を、撮影日時(記録日時)を基準として複数のグループにグループ分けする構成を採用すればよい。
また、本実施形態では、画像データとして記録されている画像を表示するフォトスタンド1に本発明を適用した場合について説明した。しかし、本発明は、複数の画像を同時に表示するための表示手段を備えたものであれば、任意の装置に適用することができる。任意の装置にはデジタルカメラや、カメラ付き携帯電話端末等が含まれる。