JP5371174B2 - 画像表示装置及び画像表示方法 - Google Patents

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラ等によって撮影された静止画及び／または動画を表示する為の画像表示方法、及び画像表示装置に関する。

近年、デジタルスチルカメラ（以下、ＤＳＣとする）やデジタルビデオカメラ（以下、ＤＶＣとする）や、デジタルテレビ放送によるテレビ構成技術のデジタル化が普及してきている。このような技術の普及を背景に、テレビにおいてＤＳＣやＤＶＣで撮影した静止画や動画の画像を視聴するユーザが増えている。

テレビにおいてそれらの画像を見る場合、ユーザは画面に表示された複数の画像の一覧を見ながら画像を選択して、選択した画像を画面に大きく表示させるという手順を踏むのが一般的である。また画像信号処理回路や表示処理回路の能力向上により、複数の画像を一覧表示する際、複数の動画像を同時に再生表示することも可能となっている。

更にはＤＳＣ、ＤＶＣに使用される蓄積メディア、特にはメモリカードの大容量化を背景に、一枚のメモリカードを用いて撮影可能な画像の枚数が増加している。そして、このような大量の画像データの中から、ユーザが所望の画像を一覧表示から探し出すことは容易ではなくなってきている。

従って、より多くの画像データを効率良く一覧配置し、ユーザが所望の画像を容易に発見できる画像表示方法が望まれていた。

大量の画像データを一覧表示し、鑑賞できるようにする技術として、特許文献１には、映像コンテンツを、視覚的・意味的な特徴量に基づいて二次元或いは三次元的に分類配置する閲覧装置、方法が開示されている。特許文献１によれば、このような分類配置により、利用者が所望の映像を効率的に見つけることが可能になるとしている。
特開２００１−３０９２６９号公報

しかしながら、従来の技術では、画像を判別する為に重要な部分が隠される可能性があると考えられる。例えば、図３２（ａ）に示すような動画像の場合のように画像の左上から画像の中央下の方へ人物が走ってくるような動画は、その人物が走る様が重要である。動画像は、時間が経過するとともに、表示が３３００から３３０１のように変化してしまう。そのため、図３２（ｂ）の画面３３０２の如く一部が重複した形態で一覧表示を行い、図３２（ａ）に示した画像をフレーム３３０４に表示した場合、図３２（ｃ）に示す如く、重要な顔の部分が隠されてしまうこともあった。

その為、上記特開２００１−３０９２６９号公報に開示の提案においては、ユーザが表示画像を選択したり、仮想的な視点の位置を動かす等により、画像の重要な部分が見られるようにする必要があると考えられる。また場合によっては、動画像の表示領域を別領域に設けて、重要な部分が見られるようにする必要があると考えられる。

本発明は上記の課題に鑑みてなされたものであり、大量の画像を画面上に効率よく一覧表示するために、各画像の一部の重複を許容した重ね一覧表示を行った状態において、ユーザが動画像の内容をより分かり易く表示可能にすることを目的とする。

上記の目的を達成するための本発明による画像表示方法は、
複数の動画像を一覧表示する画像表示方法であって、
前記複数の動画像のそれぞれについて所定時間分のフレーム画像から注目領域を抽出し、抽出された各フレームの注目領域の論理和を注目領域に決定する注目領域決定工程と、
前記注目領域決定工程により決定された各動画像の注目領域が露出して他の動画像と重なるように、該複数の動画像の各々の表示位置を決定する位置決定工程と、
前記位置決定工程で決定された表示位置に前記複数の動画像の各々を配置して一覧表示する表示制御工程と、
前記表示制御工程によって一覧表示された前記複数の動画像について、再生に伴う注目領域の経時変化を監視し、各動画像の注目領域が他の動画像と重なるようになったか否かを判定する判定工程と、
前記判定工程で注目領域が他の動画像と重なると判定された動画像が存在する場合に、該注目領域の露出を維持させるべく前記一覧表示における動画像の配置状態または表示状態を更新する更新工程と、を備える。

また、上記の目的を達成するための本発明による画像表示装置は以下の構成を備える。すなわち、
複数の動画像を一覧表示する画像表示装置であって、
前記複数の動画像のそれぞれについて所定時間分のフレーム画像から注目領域を抽出し、抽出された各フレームの注目領域の論理和を注目領域に決定する注目領域決定手段と、
前記注目領域決定手段により決定された各動画像の注目領域が露出して他の動画像と重なるように、該複数の動画像の各々の表示位置を決定する位置決定手段と、
前記位置決定手段で決定された表示位置に前記複数の動画像の各々を配置して一覧表示する表示制御手段と、
前記表示制御手段によって一覧表示された前記複数の動画像について、再生に伴う注目領域の経時変化を監視し、各動画像の注目領域が他の動画像と重なるようになったか否かを判定する判定手段と、
前記判定手段で注目領域が他の動画像と重なると判定された動画像が存在する場合に、該注目領域の露出を維持させるべく前記一覧表示における動画像の配置状態または表示状態を更新する更新手段と、を備える。

本発明によれば、大量の画像を画面上に効率よく一覧表示するために、各画像の一部の重複を許容した重ね一覧表示を行った状態において、ユーザが動画像の内容をより分かり易く表示できる。

以下、添付の図面を参照して本発明の好適な実施形態について説明する。

〈第１実施形態〉
図１は本発明の実施の形態１が適用される画像表示装置の構成を示すブロック図である。なお、画像表示装置としては、平面型テレビ等のテレビ受像機でもよいし、パーソナルコンピュータのディスプレイを用いてもよい。

［画像表示装置１００の基本機能］
図１において、画像表示装置１００は、アンテナ１０１を介して受信されたデジタル放送信号から、リモコン１１７の指示によりユーザが選択したチャンネルに関わる映像や番組情報を画像表示部１１０に表示する機能を有する。また画像表示装置は１００は、音声信号を、音声制御部１０５を介し音声出力部１０６に出力する機能を有する。更に画像表示装置１００は、画像入力機器１１８として接続されるＤＳＣ、又はＤＶＣ、又はメモリカード等から画像を取得する機能、取得した画像をリモコン１１７の指示により画像表示部１１０に表示する機能を有する。

図２はリモコン１１７の外観を示す図である。但し、図２では、第１実施形態を説明する為に必要な機能を実現する為の操作を行なうキーのみを示すものであり、実際の画像表示装置に必要なキーはこの限りではない。

図２において、送信部２０１は、リモコン１１７と図１の受信部１１６との赤外線通信を行なう。電源キー２０２は、画像表示装置１００の電源をオン・オフする為の操作スイッチである。「カーソル＆決定」キー２０３には、上下左右ボタンの真中に決定キーを配置してある。「数字」キー２０４には、１〜１２までの数字がマトリクス状に並んでいる。「ビューワ」キー２０５は後述する画像一覧表示画面を表示、消去する為のキーである。「戻る」キー２０６は画面表示の状態を直前の状態に戻す場合に用いられる。ユーザは、リモコン１１７上のこれらの各種キーを操作する事で画像表示装置１００の各種動作を決定することができる。

再び、図１において、アンテナ１０１により受信された信号は、チューナー部１０２に入力される。チューナー部１０２は、入力された信号に対し、復調、誤り訂正等の処理を施し、トランスポートストリーム（ＴＳ）と呼ばれる形式のデジタルデータを生成する。生成されたＴＳは、デマルチプレクサ１０３へ出力される。

デマルチプレクサ１０３は、チューナー部１０２より入力されたＴＳの中から、映像データ、及び音声データを取り出し、映像・音声デコード部１０４に出力する。なお、ＴＳには、複数チャンネル分の映像、音声データ、及び電子番組ガイド（ＥＰＧ）データ、データ放送データ等が時分割多重されている。映像・音声デコード部１０４で処理された映像データは、表示合成部１０９を介して、画像表示部１１０に表示される。音声データは、音声制御部１０５に提供され、音声出力部１０６において音声出力される。

［画像表示装置１００における画像蓄積機能］
画像入力部１０７は、画像を画像入力機器１１８から画像表示装置１００に取り込む為のインタフェースであり、接続する画像入力機器１１８により様々な形態をとり得る。例えば、画像入力機器１１８がＤＳＣの場合は、ＵＳＢや無線ＬＡＮである。また画像入力機器１１８がＤＶＣの場合は、ＵＳＢやＩＥＥＥ１３９４や無線ＬＡＮである。また画像入力機器１１８がメモリカードの場合は、ＰＣＭＣＩＡインタフェースやメモリカード固有のインタフェースとなる。画像入力部１０７は、画像入力機器１１８が接続されたことを検知すると、接続検知イベントを制御部１１２に出力する。

制御部１１２は、機器接続検知イベントを受信すると、画像入力機器１１８中の画像を画像蓄積部１１３に蓄積するかをユーザに問い合わせる画面を、表示合成部１０９を介して画像表示部１１０に表示する。画像蓄積部１１３は、ハードディスクや大容量半導体メモリ等の不揮発性記憶デバイスにて構成される。ユーザは、その画面を見ながらリモコン１１７を操作して、画像を蓄積するかどうかを選択する。その選択情報は、リモコン１１７から受信部１１６を介して制御部１１２に送られる。画像を蓄積する処理が選択された場合、制御部１１２は、画像入力部１０７を介して画像入力機器１１８中の画像を取り込み、取り込んだ画像を画像蓄積処理部１１１を介して、画像蓄積部１１３に蓄積するよう制御する。

本実施形態において用いた画像は、ＤＳＣで撮影された静止画及び動画データであるとする。静止画データは、ＤＳＣにてＪＰＥＧ圧縮処理をされた後、静止画ファイルとしてメモリカードに記録されたものである。また、動画データは、ＤＳＣにてフレーム単位でＪＰＥＧ圧縮処理された画像群を動画ファイルとしてメモリカードに記録されたものである。静止画ファイルには、画像に関連付けられた関連情報として、ＤＳＣによる撮影時の情報が付与されている。撮影時の情報には例えば、撮影日時やカメラの機種名、撮影シーンモード、撮影時におけるファインダ内の焦点位置を示す焦点位置情報、ストロボ発光状態情報、被写体との距離を示す情報、ズーム状態情報などが含まれる。また、本実施形態において用いたＤＳＣでは、撮影時のファインダ内の焦点位置情報として、「左」「中」「右」のうち何れかが記録されるものを使用している。

［注目領域情報の生成機能］
制御部１１２は、画像蓄積部１１３への画像の蓄積が完了すると、注目領域検知処理部１１４や画像デコード部１０８と連携して、画像毎の注目領域情報の生成動作を行なう。画像毎の注目領域情報の生成動作のフローについて図面を用いて以下に説明する。

図３は、注目領域情報の生成動作全体を示すフローチャートである。ステップＳ３０１より本処理が開始されると、ステップＳ３０２において、制御部１１２は、画像蓄積部１１３へ蓄積した画像のうちの１つの画像について画像ファイルの拡張子情報に基づいて静止画か動画かの判断を行なう。画像ファイルの拡張子については、例えば静止画の場合の拡張子は「.JPG」や「.jpg」である。動画の場合の拡張子は、「.AVI」や「.avi」である。この判定の結果、静止画と判定された場合は、ステップＳ３０３に移行する。一方、動画と判定された場合は、ステップＳ３０２からステップＳ３０４に移行する。

ステップＳ３０３において、制御部１１２は、注目領域検知処理部１１４や画像デコード部１０８と連携して、静止画の注目領域情報を生成する。ステップＳ３０３の処理の詳細は図４により後述する。また、ステップＳ３０４において、制御部１１２は、注目領域検知処理部１１４や画像デコード部１０８と連携して、動画の注目領域情報を生成する。ステップＳ３０４の処理の詳細は図５により後述する。

制御部１１２は、ステップＳ３０３或いはＳ３０４において、画像蓄積部１１３へ保存した画像のうちの１つに対する注目領域情報の生成が完了すると、蓄積した全ての画像のうち、注目領域情報生成が未了の画像が有るかどうかを判別する。未了の画像が存在する場合は、ステップＳ３０５からステップＳ３０２に戻り、別の画像の注目領域情報生成を行なう。全ての画像について注目領域の情報の生成を終えたならば、ステップＳ３０５から本処理を終了する。

［静止画の注目領域生成処理について］
上述のように、ステップＳ３０３において、制御部１１２は、注目領域検知処理部１１４や画像デコード部１０８と連携して、静止画の注目領域情報の生成を行なう。以下、ステップＳ３０３における静止画の注目領域生成処理について説明する。図４は静止画のための注目領域情報の生成動作を説明するフローチャートである。

ステップＳ４０１から静止画の注目領域情報の生成動作が開始される。ステップＳ４０２において、制御部１１２は、静止画ファイルを画像デコード部１０８に渡す。画像デコード部１０８は、ＪＰＥＧ圧縮処理されたファイルを復号して、復号後のデータを制御部１１２にデータを渡す。

ステップＳ４０３において、制御部１１２は、画像デコード部１０８から受け取ったデータを注目領域検知処理部１１４に渡す。注目領域検知処理部１１４は、静止画データ内に人物像があるかどうかを判別する。本実施形態において、そのような判別は人物の顔を検知することで行なう。

図６は、ステップＳ４０３の顔検知処理を説明するフローチャートである。以下、注目領域検知処理部１１４における顔検知動作について、図６のフローチャートを参照して説明する。ステップＳ６０１より、注目領域検知処理部１１４は受け取ったデータ内に人物像があるかどうかの判別処理を開始する。

ステップＳ６０２のいて、注目領域検知処理部１１４は、受け取ったデータ内の中から肌色データが含まれる領域を探し出す処理を実行する。その後、ステップＳ６０３において、注目領域検知処理部１１４は、ステップＳ６０２で抽出した肌色領域において、顔の特徴を示すパターンである目や口の形状パターンデータを用いて、パターンマッチング処理を実行する。ステップＳ６０２及びＳ６０３の処理の結果、顔領域が存在した場合はステップＳ６０５に進み、存在しない場合はステップＳ６０６へ進む。ステップＳ６０５では、注目領域検知処理部１１４が、ステップＳ６０３の判別結果に基づいて、顔領域と判断した領域の情報（顔領域）を一時記憶部１１５に書き出す。ステップＳ６０６において、注目領域検知処理部１１４は、受け取ったデータ内に人物像があるかどうかの判別結果を制御部１１２に渡し、本処理を終了する。

図７（ａ）は、注目領域検知処理部１１４において処理する画像データの一例を示しており、被写体として大人の女性と子供の女性が１人づつ撮影されている。図７（ｂ）は、注目領域検知処理部１１４における顔検知処理後の注目領域判定結果の一例を示している。図７（ｂ）で示されるように、顔領域として判断した領域は、７０１と７０２の部分である。本実施形態では、図７（ｂ）のように顔領域は、円図形データとして認識される。すなわち、ステップＳ６０５で格納される顔領域は、図７（ｂ）の７０１や７０２のような円図形データである。

図４に戻り、制御部１１２は、注目領域検知処理部１１４の判定結果に基づき、処理した静止画データ内に顔が存在するか否かを判別し、存在する場合はステップＳ４０４からステップＳ４０５へ移行する。一方、存在しない場合は、ステップＳ４０４からステップＳ４０６に移行する。

ステップＳ４０５において、制御部１１２は、注目領域検知処理部１１４の処理結果に基づいて、顔検知した領域を注目領域情報として画像蓄積部１１３へ保存する。保存する注目領域情報は、例えば、注目領域数と各注目領域の中心点座標値と円の半径である。注目領域情報を保存した後、処理はステップＳ４１１に移行する。

一方、画像データに顔が無かった場合の注目領域生成処理について説明する。顔が存在しない場合、処理はステップＳ４０４からステップＳ４０６へ進み、制御部１１２は、静止画ファイルに含まれるExifヘッダ情報を取り出す。そして、制御部１１２は、ステップＳ４０７において、ステップＳ４０６で取り出したExifヘッダ情報中に撮影時に関連付けられた焦点位置情報があるかどうかを判別する。焦点位置情報が存在する場合は、ステップＳ４０７からステップＳ４０８へ進む。焦点位置情報が存在しない場合は、ステップＳ４０７からステップＳ４１０へ移行する。

ステップＳ４０８において、制御部１１２は、焦点位置情報に基づいて焦点位置の識別を行なう。本実施形態においては、「左」「中」「右」のうち何れかを識別する。そして、ステップＳ４０９において、制御部１１２は、ステップＳ４０８の焦点位置の識別結果に基づき、注目領域を判定して保存する。図８（ａ）〜（ｃ）に、焦点位置情報に基づいた注目領域判定結果の例を示す。本実施の形態による焦点位置情報に基づいた注目領域は、焦点位置毎に中心位置が異なり、画像の長辺の１／６を半径とする円図形からなる複数のパターンが用意されている。図８（ａ）の注目領域８０１は焦点位置が「左」であった場合、図８（ｂ）の注目領域８０２は焦点位置が「中」であった場合、図８（ｃ）の注目領域８０３は焦点位置が「右」であった場合を示している。制御部１１２は、焦点位置の識別結果に基づいた注目領域情報を画像蓄積部１１３へ保存する。保存する情報は、注目領域の中心点座標値と円の半径情報である。保存後、本処理を終了する。

一方、ステップＳ４０７において焦点位置情報が無かった場合、処理はステップＳ４１０へ進む。ステップＳ４１０において、制御部１１２は、図８（ｄ）の領域８０４で示すように、画像の長辺の１／４が半径であって画像の中心を中心位置とする円図形からなる注目領域情報として画像蓄積部１１３へ保存する。保存する情報は、注目領域の中心点座標値と円の半径である。保存後、本処理を終了する。

［動画の注目領域生成処理について］
上述のように、ステップＳ３０４において、制御部１１２は、注目領域検知処理部１１４や画像デコード部１０８と連携して、動画の注目領域情報の生成を行なう。以下、ステップＳ３０４における動画の注目領域生成処理について説明する。図５は動画のための注目領域情報の生成動作を説明するフローチャートである。

ステップＳ５０２において、制御部１１２は、動画ファイルを画像デコード部１０８に渡す。画像デコード部１０８は、フレーム単位でＪＰＥＧ圧縮処理されたファイルから、１フレーム分のデータを復号して、復号後のデータを制御部１１２にデータを渡す。

次に、ステップＳ５０３において、制御部１１２は、画像デコード部１０８から受け取った復号後のデータを注目領域検知処理部１１４に渡す。注目領域検知処理部１１４は、動画フレームデータ内に人物像があるかどうかを判別する。本実施形態において、その判別は人物の顔を検知することで行われ、その検知処理は先述の静止画の場合（図６）と同様であるため、詳細な説明は省略する。

ステップＳ５０３による顔検知処理の結果、処理した動画フレーム内に顔が存在した場合はステップＳ５０４からステップＳ５０５へ進む。ステップＳ５０５において、制御部１１２は、注目領域検知処理部１１４の処理結果に基づき、顔検知した領域を注目領域情報として画像蓄積部１１３へ保存する。保存する保存領域情報は、注目領域数と注目領域の中心点座標値と円の半径情報である。保存後、ステップＳ５０７に処理を移行する。一方、ステップＳ５０３による顔検知処理の結果、処理した動画フレーム内に顔が存在しなかった場合はステップＳ５０６へ進む。ステップＳ５０６において、制御部１１２は、図８（ｄ）で示したように画像の中央を注目領域情報として画像蓄積部１１３へ保存する。保存される注目領域情報は、注目領域数と注目領域の中心点座標値と円の半径情報である。保存後、ステップＳ５０７に移行する。

ステップＳ５０７では、動画フレームデータ内に人物像があるかどうかを判別する処理が当該画像ファイルの全てのフレームに対して行なわれたかを判別する。完了するまで上述したステップＳ５０２〜Ｓ５０５又はＳ５０６を繰り返し実行し、完了後、ステップＳ５０８に移行する。ステップＳ５０８において、制御部１１２は、先述のステップＳ５０５、Ｓ５０６で保存された注目領域情報を纏めて保存する。保存する情報は、全てのフレームの注目領域数と注目領域の中心点座標値と円の半径情報である。ステップＳ５０８で注目領域情報を保存したならば、本処理を終了する。

図９Ａに、注目領域検知処理部１１４における顔検知処理後の注目領域判定結果の一例を示す。図９Ａは、５フレームの動画データ（実際にはフレーム数はこれに限られない）の注目領域検知処理結果の一例を示す図である。図９Ａに示される動画は、人物が左上から走ってくる様子を撮影したものである。図９Ａにおいて、顔領域として判断した領域は、９０１、９０２、９０３、９０４、９０５の部分である。図９Ａのように顔領域として検出された領域は、図９Ｂに示すように、全フレーム分の注目領域情報として、纏めて保存される。図９Ｂにおいて９１１、９１２、９１３、９１４、９１５で示す円領域がそれぞれ図９Ａの９０１、９０２、９０３、９０４、９０５で示す円領域に相当する。

［画像表示装置による画像の重ね一覧表示機能］
以下、第１実施形態による画像の一覧表示について説明する。本実施形態による画像の一覧表示では、一画面に一覧表示する画像数を増加させるために、画像の一部が他の画像の一部と重なる状態を許容する重ね一覧表示を行う。なお、本実施形態の画像表示装置１００における画像の一覧表示は、ユーザがリモコン１１７の「ビューワ」キー２０５を操作し、ビューワ機能を呼び出すことで開始される。

図１０は、第１実施形態のビューワ機能による画像の一覧表示処理を説明するフローチャートである。図１０に示される一覧表示処理は、主として制御部１１２による動作を示したものである。以下、図１０のフローチャートに従って第１実施形態の一覧表示処理を説明する。

ユーザが図２に示すリモコン１１７の「ビューワ」キー２０５を押下すると、制御部１１２は、受信部１１６を介してリモコン１１７からの信号を受信し、動作を開始する。ステップＳ１００２において、制御部１１２は、画像蓄積部１１３に蓄積された画像毎の注目領域情報を読み出し、その半径情報に基づいて注目領域の大きさ順に並べ替える。

図１１Ａは、本実施形態の説明に用いられる８つの画像の注目領域情報の例を示す。１１０１、１１０２はファイル名IMG_0001.JPGの静止画の注目領域情報を示す。１１０３は、ファイル名IMG_0002.JPGの静止画の注目領域情報を示している。その他も同様であり、円図形は各画像の注目領域情報を示している。また、１１０４〜１１０８は、ファイル名MVI_0007.AVIの動画におけるフレーム毎の注目領域情報を示している。動画の場合は、フレーム毎の注目領域情報１１０４〜１１０８の論理和をとり、１つの注目領域の大きさとする。本ステップＳ１００２では、前述の通り画像毎の注目領域情報の大きい順にファイルを並べ替えるので、その処理の結果は、図１１Ｂに示すようになる。すなわち、注目領域の大きい順番にIMG_0005.JPG、MVI_0007.AVI、IMG_0003.JPG、・・・、IMG_0006.JPG、IMG_0007.JPGと並べ替えられる。

次に、ステップＳ１００３において、制御部１１２は、配置対象画像の処理順序を示す変数Ｎに先頭画像を示す１を設定する。本実施形態においては、Ｎの数字が大きくなるほど、下の方に重ねて表示するようにしている。また、注目領域の大きい順に処理する為、Ｎ＝１における処理対象の画像は、IMG_0005.JPGとなる。処理対象の画像とは、一覧表示における配置位置を決定る対象の画像であり、以下、配置対象画像という。

ステップＳ１００４において、制御部１１２は、配置対象画像の処理順序を示す変数Ｎの値に基づき、配置対象画像を決定する。次に、ステップＳ１００５において、制御部１１２はステップＳ１００４で決定された配置対象画像の注目領域情報を取得する。次に、ステップＳ１００６において、制御部１１２は、当該配置対象画像の配置位置を、取得した注目領域情報に基づき、決定する。なお、座標値を決定する際には、取得した注目領域が最大限露出し、且つ非注目領域が最大限上位画像に隠れる位置を選択するようにしている。そのため、ステップＳ１００７において、制御部１１２は、配置対象画像の注目領域に上位画像（現在のＮよりも小さいＮにおいて配置が決定された画像）が重なっているかどうかを判別する。もし重なっていると判断した場合は、ステップＳ１００６に戻り、配置位置の決定をやり直す。重なっていないと判定された場合は、ステップＳ１００８に進む。このように、注目領域における重なりのない配置が決定されるまで、ステップＳ１００６が繰り返し実行されることになる。

次に、ステップＳ１００８において、制御部１１２は、配置が決定した配置対象画像を、表示合成部１０９を介して画像表示部１１０に表示させる。配置対象画像が静止画の場合は、サムネイル画像を読み出し、画像デコード部１０８によりデコードして表示する。また、動画の場合は、画像デコード部１０８により動画の最初のフレームデータをデコードし、サイズを変更して表示する。その後、ステップＳ１００９において、制御部１１２は、一覧表示のための配置処理を行なうべき画像が存在するか否かを判別する。存在すれば、制御部１１２は、ステップＳ１０１０において画像の処理順序を示す変数Ｎに１を加えた後、ステップＳ１００４に処理を戻し、次の配置対象画像を得る。こうして、配置処理を行なうべき画像がなくなるまでステップＳ１００４〜Ｓ１００８を繰り返す。配置処理を緒行なうべき画像が無ければ、ステップＳ１００９より本処理を終了する。

図１２は、図１１Ａ，Ｂに示した８つの画像ファイルに対して、図１０のフローチャートに示した配置処理を実行した後、表示される画像の重ね一覧表示の一例を示す図である。図１１Ａにおいて示した各静止画及び動画の注目領域が他の画像によって隠されることなく（他の画像と重なることなく）表示されていることが分かる。従って、再生時間の経過に従って注目領域が移動する動画においても、その内容を良好に確認することが出来る。

なお、上記説明においては、説明を簡便化する為に画面上に８枚の画像しか表示しない例を示したが、更に大量の枚数を表示する場合であっても構わないことは言うまでもない。また、本実施形態において、メモリカード、又はデジタルカメラ内の画像を一枚づつ読み込み、図３のステップＳ３０２〜Ｓ３０４により注目領域情報を算出した後、画像ファイルと注目領域情報を保存するようにしても良い。また、ユーザがメモリカード、又はデジタルカメラが接続されたタイミングで自動的に注目領域情報の蓄積を開始してもよい。いずれの場合も図１２に示した重ね一覧表示が実現でき、各画像の注目領域が他の画像と重なること無く表示される。

以上のように、第１実施形態では、動画像を含む複数の画像を画面上に重ねて一覧表示する場合に、動画像の複数フレームにおける注目領域の論理和をその動画像の注目領域とし、注目領域が他の画像と重ならないように動画像が配置される。これにより、動画像の再生により注目領域が移動しても画面上に露出しやすくなり、動画像における被写体の識別性が向上する。従って、動画像を含む複数の画像を画面上に重ね一覧表示した状態において、ユーザが希望の動画像を見つけ易くすることが出来る。

〈第２実施形態〉
第１実施形態では、動画の注目領域情報の生成において、図５に示したように全てのフレームから注目領域を抽出した。しかしながら、フレーム数の多い動画の場合、全てのフレームから注目領域を抽出すると処理に時間がかかってしまう。そこで、第２実施形態体では、選択されたフレームについて注目領域を抽出する。

第２実施形態では、動画の注目領域情報の生成において、動画のフレームレート（１秒間に表示すべきフレーム数）から注目領域を生成するのに用いるべきフレームを選択するための間隔を決定する。なお、第２実施形態が適用される画像表示装置の構成は、第１実施形態と同様（図１）である。第２実施形態では、画像デコード部１０８、制御部１１２、注目領域検知処理部１１４に変形を加えたものである。また第２実施形態において用いられる画像は、第１実施形態で用いられる画像と同様であり、ＤＳＣで撮影された静止画、及び動画データである。

以下、図面を用いて、制御部１１２、画像デコード部１０８、注目領域検知処理部１１４の連携による動画の注目領域情報の生成動作に関する説明を行なう。

図１３は、第２実施形態による、動画の注目領域情報の生成動作を示すフローチャートである。なお、図１３に示される処理は、第１実施形態の図５に示した処理に代わるものである。

動画の注目領域情報の生成処理が開始されると、まず、ステップＳ１３０２において、制御部１１２は取り込んだ動画ファイルに含まれるヘッダ情報から動画再生時のフレームレート情報を取得し、注目領域を生成するフレームの間隔を決定する。図１４は、注目領域を生成する為のフレーム間隔の決定動作を示すフローチャートである。

ステップＳ１４０２において、制御部１１２は、取り込んだ動画ファイルのヘッダ情報からフレームレート情報を抽出する。例えば、動画ファイルのフレームレート情報とは、再生フレームレートが29.97fps（frame per sec）であるとか、30fpsであるといった情報である。次に、ステップＳ１４０３において、制御部１１２は、フレームレート情報が抽出できたかを判定する。

制御部１１２は、先のステップＳ１４０２において正しくフレームレート情報が抽出できたかどうかを判定する。正しくフレームレート情報が抽出できた場合は、ステップＳ１４０３からステップＳ１４０４へ進む。ステップＳ１４０４において制御部１１２は、先のステップＳ１４０２で抽出したフレームレート値が整数値になるよう切り上げ処理を行なう。例えば、抽出したフレームレート値が２９.９７fpsの場合には３０に、５９.９４fpsの場合には６０に切り上げる。一方、ステップＳ１４０２においてフレームレート情報を抽出できなかった場合には、処理はステップＳ１４０３からステップＳ１４０５へ進む。ステップＳ１４０５において、制御部１１２は、その動画ファイルに仮のフレームレート値を設定する。第２実施形態では、例えば、「５fps」が仮のフレームレート値として設定される。

ステップＳ１４０６において、制御部１１２は、注目領域を生成する為のフレーム間隔をステップＳ１４０４或いはステップＳ１４０５において決定された整数値（フレームレート値）をフレーム間隔として決定する。たとえば、２９.９７fpsの場合には３０がフレームレート値として得られ、３０フレームにつき１フレームが処理フレームとして選択されることになる。以上のように、フレーム間隔情報が決定された後、そのフレーム間隔情報と動画ファイルデータが画像デコード部１０８に渡され、注目領域を生成する為のフレーム間隔決定動作を終了する。

図１３に戻り、ステップＳ１３０３において、画像デコード部１０８は、制御部１１２から受け取った注目領域を生成する為のフレーム間隔情報に基づき、現在のフレームが注目領域を生成すべきフレームかどうかを判別する。注目領域を生成すべきフレームであった場合にはステップＳ１３０４に処理を進める。

ステップＳ１３０４において、画像デコード部１０８は、フレーム単位でＪＰＥＧ圧縮処理されたファイルから、１フレーム分のデータを復号して、復号後のデータを制御部１１２に渡す。ステップＳ１３０５において、制御部１１２は、ステップＳ１３０４で画像デコード部１０８から受け取ったデータを注目領域検知処理部１１４に渡す。注目領域検知処理部１１４は、動画フレームデータ内に人物像があるかどうかを判別する。第１実施形態と同様に、第２実施形態においてもその判別は人物の顔を検知することで行なう。なお、顔検知処理は第１実施形態（図６）と同様である為、詳述は省略する。

ステップＳ１３０６において、制御部１１２は、注目領域検知処理部１１４（ステップＳ１３０５）の処理結果に基づき、処理した動画フレームデータ内に顔が検知されたかどうかを判別する。顔が検知された場合は、ステップＳ１３０６からステップＳ１３０７へ進む。ステップＳ１３０７において、制御部１１２は、注目領域検知処理部１１４の処理結果に基づき、顔として検知された領域を注目領域情報として画像蓄積部１１３へ保存する。保存される情報は、注目領域数と注目領域の中心点座標値と当該注目領域を示す円の半径である。一方、ステップＳ１３０５において注目領域検知処理部１１４によって顔が検知されなかった場合は、ステップＳ１３０６からステップＳ１３０８へ進む。ステップＳ１３０８において、制御部１１２は、図８（ｄ）で示したように画像の中央を注目領域情報として画像蓄積部１１３へ保存する。保存される情報は、注目領域数と注目領域の中心点座標値と円の半径である。

ステップＳ１３０７或いはステップＳ１３０８の処理を経て注目領域が決定されると処理はステップＳ１３１０に進む。ステップＳ１３１０では、以上のステップＳ１３０３〜Ｓ１３０８による注目領域の決定処理が全てのフレームに対し行われたかどうかを判定する。全てのフレームに対して上述した処理が行われるまで、ステップＳ１３０３〜Ｓ１３０８の処理が繰り返される。

ステップＳ１３０３で処理対象のフレームではないと判定されると、処理はステップＳ１３０９へ進む。ステップＳ１３０９において、画像デコード部１０８は、当該フレームが当該動画ファイルにおける最終フレームかどうかを判定する。最終フレームであった場合にはステップＳ１３０４に移行し、注目領域が設定される。この処理により、最終フレームに関しては必ず注目領域が保存されることになる。最終フレームでなければ、ステップＳ１３０９からステップＳ１３１０へ進み、次のフレームに対する処理を行なうべくステップＳ１３０３へ戻る。

以上のようにして、動画における全てのフレームについて上記処理を終えると、ステップＳ１３１０からステップＳ１３１１へ処理が進む。ステップＳ１３１１では、ステップＳ１３０７及びＳ１３０８で保存された注目領域情報を纏めて保存する。保存する情報は、処理フレームとして選択された全てのフレームにおける注目領域数と注目領域の中心点座標値と円の半径である。注目領域情報の保存後、制御部１１２は、図１３に示された動画の注目領域情報の生成動作を終了する。

第２実施形態による画像の重ね一覧表示については、先の第１実施形態による方法と同様である。動画像の全期間からフレームを抽出して注目領域を設定するので、重ね一覧表煮において、動画の再生経時に従って注目領域情報が移動しても、動画像の内容を効果的に確認することが出来る。

以上のように、第２実施形態では、動画の注目領域情報の生成において、動画のフレームレートから注目領域を生成する為のフレームを決定するようにした。よって全フレームから注目領域を生成する第１実施形態に比べて注目領域情報の生成時間を短縮でき、画像の重ね一覧表示をより高速に行えるようになる。

〈第３実施形態〉
次に、第３実施形態を説明する。第３実施形態では、ユーザがメモリカード又はデジタルカメラが接続されたタイミングで自動的に画像の保存と注目領域情報の生成が行われ、重ね一覧表示が行われる。また、第３実施形態では、注目領域情報の生成過程において、所定時間内に存在するフレーム数から注目領域を生成するフレーム数を決定するようにしている。更に、第３実施形態では、重ね一覧表示されている動画像の再生によって注目領域が変化して他の画像に重なるようになった場合に、重ね一覧表示を自動的に更新し、一覧表示における閲覧性を維持する。以下、第３実施形態について詳述する。なお、第３実施形態による画像表示装置１００の構成は第１実施形態（図１）と同様であり、詳細な説明は省略する。

［画像表示装置による画像の重ね一覧表示機能］
以下、第３実施形態による画像の重ね一覧表示について説明する。

第３実施形態による画像表示装置１００における画像の一覧表示は、ユーザが画像表示装置１００に画像入力機器１１８を接続することで開始される。

図１５は、第３実施形態のビューワ機能における画像の一覧表示処理を説明するフローチャートである。この一覧表示処理は、主として制御部１１２によって実行される。

ユーザが画像表示装置１００に画像入力機器１１８を接続すると、制御部１１２は、画像入力部１０７からの機器接続検知イベントを受信し、動作を開始する。ステップＳ１６０２において、制御部１１２は、画像入力部１０７を開始て画像入力機器１１８中の全画像を取り込み、それらを画像蓄積処理部１１１を介して画像蓄積部１１３に蓄積するよう制御する。次に、ステップＳ１６０３において、制御部１１２は、ステップＳ１６０２で保存した画像の注目領域情報の生成動作を行なう。注目領域情報の生成処理は図３のフローチャートで説明したとおりである。ここで、ステップＳ３０３における静止画の注目領域生成処理は図４のフローチャートにより説明したとおりであるが、第３実施形態では、ステップＳ３０４における動画の注目領域生成処理を図１６のフローチャートに示される処理とする。

ステップＳ３０４において、制御部１１２は、画像デコード部１０８や注目領域検知処理部１１４と連携して図１７に示す処理を実行し、動画の注目領域情報を生成する。以下、ステップＳ３０４における動画の注目領域生成処理について説明する。

まず、ステップＳ１７０２において、制御部１１２は、取り込んだ動画ファイルに含まれるヘッダ情報から動画再生時のフレームレート情報を取得し、注目領域を生成する為のフレーム数を決定する。図１７のフローチャートを参照してフレーム数決定処理を説明する。

ステップＳ１８０２において、制御部１１２は、処理対象の動画ファイルのヘッダ情報からフレームレート情報を抽出する。フレームレート情報は、当該動画ファイルの再生フレームレートが、２９.９７（frame per sec）であるとか、３０fpsである等を表す。次に、ステップＳ１８０３において、制御部１１２は、ステップＳ１８０２でフレームレート情報が抽出できたか否かを判別する。フレームレート情報を抽出できた場合には、ステップＳ１８０５に進む。一方、フレームレート情報を抽出できなかった場合には、ステップＳ１８０４に進む。ステップＳ１８０４において、制御部１１２は、その動画ファイルに仮のフレームレート値を設定する。本実施形態においては、「５fps」が設定されるものとする。

ステップＳ１８０５において、制御部１１２は、取得されたフレームレート情報に基づいて、注目領域情報の生成に用いるべきフレーム数を決定する。本実施形態においては、動画再生時間として５秒間分のフレーム数となるようにする。例えば、フレームレート情報が３０fpsの場合、１５０フレーム（＝５×３０）が処理対象フレームとなる。但し、フレームレート値が２９.９７fps等、非整数の場合には、整数値への切り上げ処理を行なってから、フレーム数の決定を行なうものとする。制御部１１２は、以上のようにして決定された注目領域を生成する為のフレーム数の情報と動画ファイルデータを画像デコード部１０８に渡し、図１７に示した一連の動作を終了する。

図１６に戻り、ステップＳ１７０３において、画像デコード部１０８は、フレーム単位でＪＰＥＧ圧縮処理されたファイルから、１フレーム分のデータを復号して、復号後のデータを制御部１１２にデータを渡す。次に、ステップＳ１７０４において、制御部１１２は、画像デコード部１０８から受け取ったデータを注目領域検知処理部１１４に渡す。注目領域検知処理部１１４は、動画フレームデータ内に人物像があるかどうかを判別する。第３実施形態においても、その判別は人物の顔を検知する事で行なう。その検知処理フローは、先の第１実施形態（図６）と同様である為、詳述は省略する。

ステップＳ１７０４における顔検知処理の結果、処理した動画フレームデータ内に顔が存在するかどうかを判定する。顔が存在する場合はステップＳ１７０６へ進み、存在しない場合はステップＳ１７０７へ進む。ステップＳ１７０６において、制御部１１２は、注目領域検知処理部１１４の処理結果に基づき、顔検知した領域を注目領域情報として画像蓄積部１１５に保存する。保存される情報は、注目領域数と注目領域の中心点座標値と円の半径である。一方、ステップＳ１７０７において、制御部１１２は、注目領域検知処理部１１４の処理結果に基づき顔が存在しないと判別された場合、図８（ｄ）の８０４で示したような円領域、すなわち、画像の中央を注目領域情報として画像蓄積部１１３に保存する。保存される情報は、注目領域数と注目領域の中心点座標値と円の半径である。保存後、処理はステップＳ１７０８に進む。

ステップＳ１７０８において、画像デコード部１０８は、制御部１１２から受け取ったフレーム数情報に基づき、注目領域を生成すべき所定フレーム数の処理が完了したかを判定する。完了していない場合にはステップＳ１７０３に戻る。こうして、ステップＳ１７０２で決定された処理フレーム数分のフレームについて注目領域情報を取得するまで上記ステップＳ１７０３からステップＳ１７０７の処理が繰り返される。所定フレーム数の処理が完了した場合は、ステップＳ１７０８からステップＳ１７０９へ処理が進む。ステップＳ１７０９において、制御部１１２は、ステップＳ１７０６，Ｓ１７０７にて保存された注目領域情報を纏めて保存する。保存される情報は、注目領域数と注目領域の中心点座標値と円の半径である。ステップＳ１７０９において注目領域情報が保存されたならば、図１６の処理を終了する。

図１５に戻り、ステップＳ１６０４において制御部１１２は、画像蓄積部１１３へ保存した画像毎の注目領域情報を読み出し、その半径情報に基づき、画像を注目領域の大きさ順に並べ替える。

図１８Ａは、第３実施形態の説明に用いる８つの画像の注目領域情報の例を示している。１９０１、１９０２はファイル名IMG_0001.JPGの静止画の注目領域情報を示す。１９０３は、ファイル名IMG_0002.JPGの静止画の注目領域情報を示している。その他の画像も同様であり、画像内の円図形は各画像の注目領域情報を示している。また、１９０４〜１９０５は、ファイル名MVI_1007.AVIの動画におけるフレーム単位の注目領域情報を示している。MVI_1007.AVIは、例えば、フレームレート３０fpsで合計３００フレームの動画像であり、上述したように１５０フレームの画像から注目領域が取得される。従って、注目領域１９０４と１９０５の間には、１４８個の注目領域が存在するが簡便化の為に図示を行なっていない。動画の場合は、フレーム毎の注目領域情報１９０４〜１９０５間の論理和をとり、１つの注目領域の大きさとしている。

ステップＳ１６０４では、前述の通り画像毎の注目領域情報を大きさ順に並べ替える。よって、図１８（ｂ）に示すように、８つの画像は注目領域の大きい順番にIMG_0005.JPG、IMG_0003.JPG、IMG_0004.JPG、MVI_1007.AVI、IMG_0001.JPG、・・・、IMG_0007.JPGのようにソートされる。

次に、ステップＳ１６０５において、制御部１１２は、配置対象画像の処理順序を示す変数Ｎに先頭画像を示す１を設定する。本実施の形態においては、またＮの数字が大きくなるほど、下の方に重ねて表示するようにしている。また、注目領域情報の大きい順に処理する為、Ｎ＝１における配置対象画像は、IMG_0005.JPGとなる。

ステップＳ１６０６において、制御部１１２は、配置対象画像の処理順序を示す変数Ｎの値に基づき、配置対象画像を決定する。そして、ステップＳ１６０７において、ステップＳ１６０５で決定した配置対象画像の注目領域情報を取得する。ステップＳ１６０８において、制御部１１２は、取得した注目領域情報に基づき、当該配置対象画像の位置を決定する。配置位置の決定方法は、取得した注目領域が最大限に露出し、且つ非注目領域が最大限上位画像によって隠される位置を選択するようにしている。

ステップＳ１６０９において、制御部１１２は、配置対象画像の注目領域に上位画像が重なっているかを判別する。もし重なっていると判断した場合は、ステップＳ１６０８に処理を戻す。また、重なっていないと判定された場合は、処理をステップＳ１６１０に進める。従って、注目領域に重なりが生じない配置が決まるまで、ステップＳ１６０９が繰り返し実行されることになる。

ステップＳ１６１０において、制御部１１２は、一覧表示のための配置を決定すべき画像が無いかを判定する。一覧表示の配置を決定すべき画像が存在する場合はステップＳ１６１１に処理を進める。ステップＳ１６１１において、制御部１１２は画像の処理順序を示す変数Ｎに１を加え、ステップＳ１６０６に処理を戻す。こうして、配置処理を行なうべき画像で未処理のものがなくなるまでステップＳ１６０６〜Ｓ１６０９を繰り返す。

配置処理を行なうべき画像がなくなると、処理はステップＳ１６１０からステップＳ１６１２に進む。ステップＳ１６１２において、制御部１１２は、表示合成部１０９を介して画像表示部１１０に画像一覧表示を行う。その後、本処理を終了する。

図１９は、図１５のフローチャートによって示された処理の実行によって表示される重ね一覧表示の一例を示す図である。図１８Ａにおいて示された各画像の注目領域が他の画像と重なる事無く表示されている事が分かる。なお、上記説明において、説明を簡便化する為に画面上に8枚の画像しか表示しない例を示したが、更に大量の枚数を表示する場合であっても構わないことは言うまでもない。

［重ね一覧表示の更新機能］
上述したように、第３実施形態では動画の注目領域を、５秒間分のフレーム画像から取得している。従って、５秒以降の再生において、注目領域が変形、移動すると、注目領域が他の画像によって隠された領域に入ってしまう可能性がある。そこで、第３実施形態による画像表示装置１００は、画像の重ね一覧表示の後、動画の再生経時に従い変化する注目領域情報に基づき、一覧表示中画像の配置を更新する機能を有する。以下、画像一覧表示更新機能について図を用いて説明する。

図２０は、第３実施形態による重ね一覧表示における配置更新処理を示すフローチャートである。制御部１１２は、図１５で説明した画像の重ね一覧表示処理の完了後、配置更新の為の動作を開始する。なお、図２０に示される処理は重ね一覧表示されている全ての動画について行われる。

ステップＳ２１０２において、制御部１１２は、画像デコード部１０８からデコード後のフレームデータを取得する。次に、ステップＳ２１０３〜Ｓ２１０６の処理により、画像データ中より顔が検知された場合は顔の検知領域が注目領域に設定され、検知されなかった場合は画像中央が注目領域に設定される。ステップＳ２１０３〜ステップＳ２１０６の処理は図１６のステップＳ１７０４〜ステップＳ１７０７の処理と同様であるので、詳述は省略する。

次にステップＳ２１０７において、注目領域に重なりがあるか否かを判別する。先のステップＳ２１０５またはステップＳ２１０６で保存された注目領域情報は、図１５の処理によって配置が決定されてから時間が経過した後の動画フレームの注目領域情報である。従って、被写体の動きによっては、注目領域が変化し、周辺に配置されている画像と重なりが生じている可能性がある。従って、制御部１１２は、当該動画が配置されている座標データと注目領域情報に基づいて、その動画の注目領域とその周辺に配置されている画像に重なりがあるか否かを判定する。重なりがないと判定された場合はステップＳ２１０２に戻り、次の動画について重なりの判定を行なう。

注目領域と周辺に配置されている画像との重なりが存在する場合、処理はステップＳ２１０７からステップＳ２１０８へ進む。ステップＳ２１０８では、注目領域の重なり部分の大きさが閾値を超えた動かを判定する。すなわち、制御部１１２は、他の画像との重なりが生じた注目領域内の画素数が当該注目領域全体の画素数に占める割合が一定の閾値を超えたかどうかを判別する。超えていなければステップＳ２１０２に戻り、次の動画について重なりの判定を行なう。他の画像との重なりが生じた注目領域内の画素数が当該注目領域全体の画素数に占める割合が一定の閾値を越えた場合、処理はステップＳ２１０８よりステップＳ２１０９へ進む。

図２２Ａ、図２２Ｂは、動画の注目領域情報の変化によって、重なりが生じた画像の配置と注目領域の関係を模式的に示す図である。図２２Ａは、動画の注目領域情報の変化によって、１枚の画像と重なりが生じている例を示している。図２２Ｂは、動画の注目領域情報の変化によって、２枚の画像と重なりが生じている例を示している。図２２Ａにおいて、２３０１は再生経時により注目領域が変化した動画像、２３０２は動画像２３０１の再生経時により変化した注目領域、２３０３は動画像２３０２に重ねて配置されたの画像を示す。図２２Ａでは、動画像２３０１の注目領域２３０２の変化によって画像２３０３との間に重なりが生じた様子が示されており、その重なり部分が２３０４で示されている。また図２２Ｂにおいて、図２２Ａと符号が同一のものは同じものを指し示している。図２２Ｂにおいて、画像２３０５、２３０６は動画像２３０１に重ねて配置された画像である。動画２３０１の注目領域２３０２の変化によって、注目領域と画像２３０５及び２３０６との間に重なりが生じており、それらの重なり部分が２３０７、２３０８により示されている。

第３実施形態では、ステップＳ２１０８で用いる閾値を１５％とする。図２２Ａの例では、注目領域２３０２の重なり部分２３０４の画素数が注目領域２３０２の全画素数に対し１５％を超えた場合に、ステップＳ２１０９に処理が進むことになる。図２２Ｂの例では、注目領域の重なり部分２３０７と２３０８における画素数を加えた合計画素数が注目領域２３０２の全画素数に対して１５％を超えた場合にステップＳ２１０９に処理が進むことになる。重なった画像が３枚以上の場合も同様であり、注目領域の重なり部分の画素数を全て加えた画素数が注目領域の全画素数に対して１５％を超えた場合にステップＳ２１０９に処理が進むことになる。

さて、図２０に戻り、ステップＳ２１０９において、制御部１１２は当該動画像の再配置位置を決定する。以下、図面を用いて動画の注目領域情報が変化して、他の画像との重なりが生じた場合の重ね画像一覧における再配置処理について説明する。図２１は、再配置位置を決定する為の処理を示すフローチャートである。

ステップＳ２２０２において、制御部１１２は、動画の注目領域情報の変化によって、重なりが生じた画像の枚数、及び注目領域と画像の重なり画素数に基づいて、再配置を行なう際の移動方向と移動画素数を決定するための再配置評価対象画像を決定する。制御部１１２は、図２２Ａに示すように重なった画像が１枚の場合は、その画像を再配置評価対象画像とする。また図２２Ｂに示すように重なった画像が２枚の場合は、それぞれの重なり部分の画素数が多い方を再配置評価対象画像とする。図２２Ｂの場合には、画像２３０６の重なり部分２３０８の画素数が、画像２３０５の重なり部分２３０７の画素数よりも多い為、画像２３０６を再配置評価対象画像とする。重なった画像が３枚以上の場合も同様に、重なり部分の画素数が多い画像を再配置評価対象画像とする。尚、重なり画素数が同じ場合には、図１５のフローチャートにおいて早く配置を決定した画像、つまりＮの値が小さかった画像を評価対象画像とする。

次に、ステップＳ２３０３において、制御部１１２は、先のステップＳ２３０２で決定した再配置評価対象画像の現在の配置と、変化後の注目領域を示す注目領域情報に基づき、再配置評価対象画像を移動する方向を決定する。

図２３Ａ〜Ｇは、再配置を行なう為の動作の例を模式的に表わす図である。図２３Ａ〜Ｄは、注目領域情報に変化によって生じる重なりの例として、４つのパターンを例示している。

図２３Ａにおいて、２４０１は再生経時により注目領域が変化した動画像、２４０２は動画像２４０１の再生経時により変化した注目領域、２４０３は注目領域２４０２の中心点を示す。また、２４０４は、動画像２４０１にとその一部が重なるように配置された画像であって、変化後の注目領域２４０２との間に重なりを生じた画像を示す。

まず、制御部１１２は、画像を移動する方向を決定する為に、注目領域２４０２の中心点２４０３にて交差する仮想軸ｘ（２４０５）、仮想軸ｙ（２４０６）を設定する。仮想軸ｘは動画像２４０１の長辺と並行であり、仮想軸ｙは動画像２４０１の短辺と並行なものとする。

次に、制御部１１２は、画像２４０４が仮想軸ｘ（２４０５）、仮想軸ｙ（２４０６）に対してどの方向に配置されているかに基づいて、画像２４０４の移動方向を決定する。本実施の形態においては、図２４に示すような８つの配置パターン（＃１〜＃８）から移動方向を決定する。

例えば、図２３Ａの場合は、仮想軸ｙ（２４０６）より右側にしか画像２４０４は存在しない為、移動方向を右方向と決定する（図２４の＃１に相当する）。移動後は、図２３Ｅに示す配置となる。

同様に図２３Ｂの場合は、画像２４０４が仮想軸ｘ（２４０５）より下側にしか存在しない為、移動方向を下方向と決定する（図２４の＃２に相当する）。移動後は、図２３Ｆに示す配置となる。

同様に図２３Ｃの場合は、画像２４０４が仮想軸ｙ（２４０６）より右側により多く、仮想軸ｘ（２４０５）より下側により多く存在する。よって、移動方向を図２３Ｇに示すように右下θ°の方向と決定する（図２４の＃６に相当する）。移動後は、図２３Ｇに示す配置となる。尚、本例ではθ＝４５°とした。

同様に図２３Ｄの場合は、仮想軸ｙ（２５０６）より右側と、仮想軸ｘ（２５０５）より下側にのみ存在する。よって、移動方向を右下θ°の方向と決定する。（図２４の＃６に相当する） 移動後は、図２３Ｃの場合と同様に図２３Ｇに示す配置となる。

図２１に戻り、ステップＳ２２０４において、制御部１１２は、先のステップＳ２２０３で決定された移動方向に移動した場合に、注目領域と再配置評価対象画像とが重ならないようにする為の移動量を決定する。本実施形態では、縦方向及び横方向の移動すべき画素数を移動量とする。

次に、ステップＳ２２０５において、制御部１１２は、ステップＳ２２０３で決定した移動方向情報に基づいて、ステップＳ２２０２で決定した再配置評価対象画像と同時に移動させる画像群を決定する。第３実施形態においては、図２５に示すような８つの移動パターン（＃１〜＃８）から決定する。例えば、評価対象画像の移動方向が右方向の場合（＃１）は、仮想軸ｙより右側に位置する画像全てを同時に移動させる画像群として選択する。また、評価対象画像の移動方向が下方向の場合（＃４）は、仮想軸ｘより下側に位置する画像全てを同時に移動させる画像群として選択する。

以上のようにして、ステップＳ２１０９において、再配置すべき際配置評価対象画像とその移動方向並びに移動量が決定されると、処理はステップＳ２１１０へ進む。

ステップＳ２１１０において、制御部１１２は、合成部１０９を介して画像表示部１１０における画像の重ね一覧表示を更新する処理を行なう。

図２６Ａ，Ｂは図１９の重ね一覧表示の状態から、図２０に示した画像一覧表示更新機能により画像群の移動を行なった場合の一覧表示の例を示す。図２６Ａにおいて、動画像２７０１は再生経時により注目領域が移動し、注目領域２７０２となったために、画像２７０３とその一部が重なってしまっている。なお、２７０３〜２７０９は静止画を示しており、２７１０は注目領域２７０２と静止画２７０３の重なり部分を示している。図２６Ａの表示状態においては、まず再配置評価対象画像として静止画２７０３が決定される。ついで静止画2703は、仮想軸ｙよりも右側にのみ位置するため、移動方向は右方向となる。また、図２４、図２５の＃１に該当するため、仮想軸ｙよりも右側の画像群全て（画像の一部が仮想軸ｙよりも右側の全ての画像）を右方向に移動するよう決定される。そのため、静止画２７０３〜２７０９が全て右側に移動し、図２６Ｂに示すような一覧表示に更新される。なお、上記において、仮想軸ｘ、ｙは重なりの発生が検出された注目領域（最も新しく検出された注目領域）の中心を通るように設定される。

以上のように、第３実施形態によれば、画像表示装置に画像入力機器が接続され、ユーザの指示に基づき、画像入力機器から画像データを取得するとともに、画像データの注目領域情報を生成する。更に動画の注目領域情報の生成段階において、その動画のフレームレート情報に基づき、注目領域を生成する為のフレーム数を決定した。更には、画像の重ね一覧表示後、動画の再生経時に従い変化する注目領域情報に基づき、重ね一覧表示を再配置するよう構成する。よって、動画の再生経時に従い、注目領域情報が移動しても、画像の内容を確認することが出来る。

〈第４実施形態〉
次に第４実施形態について説明する。

第４実施形態では、ユーザがメモリカード、又はデジタルカメラが接続されたタイミングで自動的に画像の保存と注目領域情報の生成を行なった後、重ね一覧表示を行なう。更には、注目領域情報の生成過程において、動画における複数フレームの注目領域画素数の論理和の割合が、動画のフレーム総画素数に占める割合に対して一定の閾値を超えた場合に、注目領域情報の生成動作を一時終了する処理を加えたものである。

第４実施形態が適用される画像表示装置の構成は上述の各実施形態（図１）と同様である。以下、第４実施形態における動画の注目領域生成処理について説明する。

図２７は、第４実施形態による動画の注目領域情報の生成動作を示すフローチャートである。本処理は、第３実施形態の図１６の処理に代わるものである。

ステップＳ２８０２において、制御部１１２は、取り込んだ動画ファイルに含まれるヘッダ情報から動画再生時のフレームレート情報を取得し、注目領域を生成する為のフレーム数を決定する。このフレーム数決定処理は第３実施形態（図１７）で説明したとおりである。

次に、ステップＳ２８０３において、制御部１１２は、取り込んだ動画ファイルに含まれるヘッダ情報から動画再生時のフレームサイズ情報を取得し、画素単位の２値情報を格納可能な配列データ（以下、画素マッピングデータと記述）を作成する。フレームサイズ情報は、ピクセル単位で水平、垂直サイズ毎に取得する。なお、画素マッピングデータの初期値は全画素に対して値を０に設定しておく。

ステップＳ２８０４において、画像デコード部１０８は、フレーム単位でＪＰＥＧ圧縮処理されたファイルから、１フレーム分のデータを復号し、復号後のデータを制御部１１２に渡す。ステップＳ２８０５において、制御部１１２は、画像デコード部１０８から受け取ったデータを注目領域検知処理部１１４に渡す。注目領域検知処理部１１４は、動画フレームデータ内に人物像があるかどうかを判別する。第４実施形態においても、その判別は人物の顔を検知することで行なわれる。よって、その検知処理は、第１〜第３実施形態（図６）と同様な為、説明は省略する。注目領域検知処理部１１４の処理結果に基づき、処理した動画フレームデータ内に顔があると判定された場合はステップＳ２２０６からステップＳ２８０７へ処理が進み、顔がないと判定された場合はステップＳ２８０６からステップＳ２８０８に処理が進む。

ステップＳ２８０７において、制御部１１２は、注目領域検知処理部１１４の処理結果に基づき、顔検知した領域を注目領域情報として画像蓄積部１１３へ保存する。保存される情報は、注目領域数と注目領域の中心点座標値及び円の半径である。注目領域情報を保存した後、処理はステップＳ２８０９へ進む。一方、ステップＳ２８０８において、制御部１１２は、図８（ｄ）の８０４で示したように画像の中央を注目領域として示す注目領域情報を画像蓄積部１１３へ保存する。保存される情報は、注目領域数と注目領域の中心点座標値及び円の半径である。注目領域情報を保存した後、処理はステップＳ２８０９に進む。

ステップＳ２８０９において、制御部１１２は、まず、先のステップＳ２８０７又はＳ２８０８にて生成した注目領域情報における円の中心点座標値と半径に基づき、画素マッピングデータの値を変更する。すなわち、新たに得られた注目領域に対応する部分の画素値を１に設定する。元々値が１の画素はそのままである。その後、値１の画素数をカウントして、当該画像の注目領域画素数とする。

次に、ステップＳ２８０１において、制御部１１２は、ステップＳ２８０９でカウントした注目領域画素数の当該動画のフレームの総画素数に占める割合が、一定の閾値を超えたかを判別する。閾値を超えた場合は、ステップＳ２８１２に移行し、超えていない場合にはステップＳ２８１１に移行する。

第４実施形態では、閾値を５０％として構成した。例えば、動画のフレームが水平サイズ６４０画素、垂直サイズ４８０画素の場合、注目領域画素数が１５３６００（＝６４０×４８０×０.５）を超えた場合にステップＳ２８１２に移行することになる。

ステップＳ２８１１において、画像デコード部１０８は、制御部１１２から受け取る注目領域を生成する為のフレーム数情報に基づき、注目領域を生成すべき所定フレーム数の処理が完了したかどうかを判別する。完了していない場合にはステップＳ２８０４に移行し、完了した場合にはステップＳ２８１２に移行する。ステップＳ２８１２では、先述のステップ２８０７、Ｓ２８０８で一時保存された注目領域情報を纏めて画像蓄積部１１３に保存する。保存される情報は、注目領域数と注目領域の中心点座標値と円の半径である。保存を終えると、制御部１１２は、動画の注目領域情報の生成動作を一時終了する。以上のように、図２７の処理によれば、フレームレートに従って設定された処理フレーム数について注目領域の決定を完了した場合、或いは、注目領域として設定された注目領域の大きさが当該画像の所定割合を超えた場合に注目領域の生成動作を一時終了する。

図２７に示したフローに従い、動画の注目領域情報の生成動作を一時終了後、先の第３実施形態と同様に画像の重ね一覧表示を行なう。更には、先の第３実施形態と同様、動画の再生経時に従い変化する注目領域情報に基づき、一覧表示中画像の配置を更新する。よって動画の再生経時に従い、注目領域情報が移動しても、動画像の内容を確認することが出来る。

更に、第４実施形態によれば、動画の注目領域情報の生成をその動画のフレームレート情報に基づき決定した処理フレーム数に到達するか、又は動画のフレームの総画素数に占める注目領域の画素数の割合が一定の閾値を超えるまで実行するようにした。従って、第３実施形態と比較して、画像の重ね一覧表示前の注目領域情報の生成を早く完了させることが出来、画像の重ね一覧表示をより高速に表示できるようになる。

なお、第４実施形態では、（ａ）注目領域の大きさが所定の割合を超えた場合と、（ｂ）所定数のフレームについて注目領域の抽出を終えた場合のいずれか早いほうで動画の注目領域の検出を終える。しかしながら、条件（ｂ）については第１または第２実施形態のものを適用してもよい。すなわち、条件（ｂ）として、「全フレームについて注目領域の抽出を終えた場合」或いは、「動画全体から所定の間隔で選択したフレームについて注目領域の抽出を終えた場合」のいずれかを用いてもよい。

以上のように、第２〜第４実施形態によれば、動画像の注目領域情報を全フレームから生成するのではなく、フレームを間引いて生成したり、注目領域の大きさが一定以上の大きさになったタイミングで終了するようにしている。そのため、動画像を含む複数の画像を画面上に効率良く配置するまでの処理速度が向上する。

〈第５実施形態〉
次に、第５実施形態について説明する。

第５実施形態は、ユーザがメモリカード、又はデジタルカメラが接続されたタイミングで自動的に画像の重ね一覧表示を行なう。一覧表示後、注目領域が再生経時により変化した場合に変化した動画の配置を最前面に移動して表示する例である。尚、本実施形態は、一覧表示する動画像が複数存在する場合には、特に有効である。

なお、第５実施形態による画像表示装置１００は図１に示した通りである。また第５実施形態において用いた画像は、第１〜第４実施形態にて使用したものと同様のＤＳＣで撮影された静止画、及び動画データである。 尚、第５実施形態において、静止画については、画像中の顔領域やExifヘッダ情報中の焦点位置情報がない画像のみを使用した場合を例に説明を行なう。

［画像表示装置による画像の重ね一覧表示機能］
以下、第５実施形態による画像の重ね一覧表示について説明する。第５実施形態による画像表示装置１００における画像の重ね一覧表示は、ユーザが画像表示装置１００に画像入力機器１１８を接続したことで開始される。

図２８は、画像の重ね一覧表示処理を制御部１１２の動作を中心に示したフローチャートである。以下、図２８のフローチャートによって示される動作について説明する。ユーザが画像表示装置１００に画像入力機器１１８を接続すると、制御部１１２は、画像入力部１０７からの機器接続検知イベントを受信し、動作を開始する。

ステップＳ２９０２において、制御部１１２は、配置対象画像の処理順序を示す変数Ｎに先頭画像を示す１を設定する。本実施形態においては、Ｎの数字が大きくなるほど、下の方に重ねて表示するようにしている。なお、本実施形態においては画像のファイル名順に処理を行うものとする。

ステップＳ２９０３において、配置対象画像の処理順序を示す変数Ｎの値に基づき、配置対象画像を決定する。そして、配置対象となった画像を画像入力機器１１８から一時記憶部１１５に取り込む。そして、ステップＳ２９０４において、ステップＳ２９０３で決定した画像の注目領域情報を取得する。但し、画像の注目領域情報が生成されていない場合には、図８（ｂ）の８０４で示したように画像の中心を注目領域情報とする。

次に、ステップＳ２９０５において、制御部１１２は、変数Ｎで指定された配置対象画像の位置を注目領域情報に基づき、決定する。配置位置の決定方法は、取得した注目領域が最大限露出し、且つ非注目領域が最大限上位画像に隠れる位置を選択するようにしている。

次に、ステップＳ２９０６において、制御部１１２は、配置対象画像Ｎの注目領域に上位画像が重なっているかどうかを判別する。注目領域に上位画像が重なっていると判断した場合は、ステップＳ２９０７に処理が進む。重なっていない場合には、ステップＳ２９０７に移行する。従って、重なりがない配置が決まるまで、ステップＳ２９０５、Ｓ２９０６の実行が繰り返される。

次に、ステップＳ２９０７において、制御部１１２は、表示合成部１０９を介して、画像表示部１１０に配置が決定した画像の表示を行なう。画像が静止画の場合は、サムネイル画像を読み出し、画像デコード部１０８によりデコードして表示する。動画の場合は、画像デコード部１０８により動画の最初のフレームデータをデコードし、サイズを変更して表示する。ステップＳ２９０８において、制御部１１２は、表示処理を行なった画像とその注目領域情報を画像蓄積部１１３に保存する。その後、ステップＳ２９０９において、制御部１１２は、一覧表示すべき画像で配置処理を行っていない画像が存在するかどうかを判別する。存在する場合はステップＳ２９１０に進み、制御部１１２は、画像の処理順序を示す変数Ｎに１を加える。一方、一覧表示すべき画像で配置処理を行っていない画像が存在しない場合は、ステップＳ２９０９から本処理を終了する。こうして、配置処理を行なう画像がなくなるまで、ステップＳ２９０３〜Ｓ２９０８が繰り返される。

図２９Ａは、図２８のフローチャートによる処理の実行後に表示される画像の重ね一覧表示の一例である。各々の画像における注目領域３００１〜３００８が示されている。重ね一覧表示が完了すると制御部１１２は、画像の注目領域の生成を開始する。以下、図を用いて、制御部１１２と画像デコード部１０８、注目領域検知処理部１１４との連携による画像の注目領域の生成と注目領域が再生経時により変化した場合の動作について述べる。尚、本実施の形態においては、図２９Ａの画像３０１０が動画像であって、画像３０１０が再生経時により変化する場合を一例として、重ね一覧表示の更新処理を説明する。

図３０は、注目領域生成と注目領域が再生経時により変化した場合の動作を示すフローチャートである。ステップＳ３１０２において、制御部１１２は、画像デコード部１０８からデコード後のフレームデータを取得する。図３０のステップＳ３１０３〜Ｓ３１０７の処理は図２０のステップＳ２１０３〜Ｓ２１０７の処理と同様である。

ステップＳ３１０７で注目領域に重なりがあると判定された場合、処理はステップＳ３１０８へ進む。ステップＳ３１０８において、制御部１１２は、一覧表示されている画像中に動画が複数存在するか否かを判別する。動画が複数存在するが場合はステップＳ３１０９に進み、一つしか存在しない場合はステップＳ３１１０へ進む。なお、ステップＳ３１１０〜Ｓ３１１２の処理は、図２０のステップＳ２１０８〜Ｓ２１１０と同様である為説明を省略する。

ステップＳ３１０９において、制御部１１２は、他の画像との重なりが生じた動画を最前面に移動するよう再配置位置を決定し、表示を更新する。例えば、図２９Ａの一覧表示状態から、動画像３０１０の再生経時により、注目領域３００８が変化し、図２９Ｂに示す注目領域３０１２のようになった場合を例として説明する。図２９Ｂにおいて、動画像３０１０の注目領域３０１２は、画像３００９、画像３０１１と重なりを生じている。このような場合、ステップＳ３１０９の処理により、図２９Ｃに示すように動画像３０１０が最前面となるように配置する。

以上のように、第５実施形態によれば、画像表示装置に画像入力機器が接続され、ユーザの指示に基づき、画像入力機器から画像データを取得し、画像の一覧表示を行なった後、注目領域情報の生成を行なう。更には、動画の再生経時に従い変化する注目領域情報に基づき、動画の注目領域情報が他の画像と重なりが生じた場合、一覧表示中に複数の動画像を含むかどうかを判別し、複数の動画を含む場合は当該動画の配置を最前面に移動するようにする。よって、動画の再生経時に従って注目領域情報が移動しても、動画像の内容を確認することが出来る。

尚、配置を最前面に移動した動画の前面には、他の動画を再配置出来ないような制限を設けても良い。この制限を設けることにより、動画像同士の配置が頻繁に入れ替わることによって生じる動画像の内容が識別しにくくなるといった問題を生じなくさせることも出来る。

〈第６実施形態〉
次に第６実施形態を説明する。第５実施形態では動画の注目領域が変化して他の画像と重なった場合に、当該動画を最前面に表示することにより注目領域の全体が表示されるようにした。第６実施形態では、注目領域が他の画像と重ならないように動画の表示サイズを変更する。尚、第６実施形態は、一覧表示する動画が複数存在する場合には、特に有効である。

第６実施形態による画像表示装置の構成は第５実施形態と同様である。また第６実施形態において用いた画像は、第１〜第５実施形態にて使用したものと同様のＤＳＣで撮影された静止画、及び動画データである。 尚、第６実施形態において、静止画については、第５実施形態と同様、画像中の顔領域やExifヘッダ情報中の焦点位置情報がない画像のみを使用した場合を例に説明を行なう。

図３１は、一覧表示する動画動画毎の注目領域生成と注目領域が再生経時により変化した場合の一覧表示更新処理を示すフローチャートである。すてぷＳ３２０２〜Ｓ３２０８、ステップＳ３２１０〜Ｓ３２１２の動作は、各々、図３０のステップＳ３１０１〜Ｓ３１０８、ステップＳ３１１０〜Ｓ３１１２の動作と同様である為、説明を省略する。

ステップＳ３２０９において、制御部１１２は、他の画像との重なりが生じた動画の注目領域が他の画像と重ならないようなサイズを決定し、変更する。例えば、図２９Ｂに示したように動画像３０１０の再生経時により注目領域が変化した場合、動画像３０１０の変化後の注目領域３０１２は、画像３００９及び画像３０１１と重なりを生じている。このような場合に、図２９Ｄに示すように、図２９Ｂの動画像３０１０を動画像３０１３として、注目領域３０１４が他の画像と重ならないようサイズ変更し、表示を更新するようにする。第６実施形態においては、図２９Ｂの画像３０１０の中心座標と図２９Ｄの画像３０１３の中心座標が一致した状態で、注目領域が他の画像と重ならないようサイズを決定している。

以上のように、第６実施形態によれば、画像表示装置に画像入力機器が接続され、ユーザの指示に基づき、画像入力機器から画像データを取得して、画像の一覧表示を行なった後、注目領域情報の生成を行なう。更には、動画の再生経時に従い変化する注目領域情報に基づき、動画の注目領域情報が他の画像と重なりが生じた場合、一覧表示中に複数の動画像を含むかどうかを判別し、動画のサイズを変更するようにする。よって、動画の再生経時に従い、注目領域情報が移動しても、動画像の内容を確認することが出来るようになる。

〈第７実施形態〉
第７実施形態について説明する。先の実施形態では、動画の再生経時に従い注目領域情報が変化して、他の画像との重なりが生じた場合、動画周辺の画像を移動する例、重なりが生じた動画像を最前面に移動する例、動画サイズを変更する例について述べた。第７実施形態では、動画の再生経時に従い注目領域情報が変化して他の画像との重なりが生じた場合に、画像の移動や上下関係の変更、また動画サイズの変更を行なわない制御の例を示す。

制御部１１２は、動画の再生経時に従い注目領域情報が変化して、他の画像との重なりが生じた場合、画像デコード部１０８に対し、他の画像との重なりが生じた動画の再生を一時的に停止して、動画の最初に戻って再生を再開するように制御する。この制御によれば、重ね一覧表示上に注目領域部分が露出している時間部分のみを繰り返し再生する事が出来る。よって、ユーザは、重ね一覧表示を行なった状態においても、動画像の内容を確認することが出来るようになる。

更に制御部１１２は、重なりが生じた時点での動画の注目領域情報を保存しておく。 そして、次回に重ね一覧表示を行なうときには、保存しておいた注目領域情報を用いて配置を決定する。このようにすることで、前回は重なりが生じていた注目領域部分も露出させて表示させる事が出来る。以上の動作を何度か繰り返す事で、重ね一覧表示を行なった時に動画の注目領域が全て露出する配置が実現出来るようになる。

〈他の実施形態〉
以上述べた本発明の実施の形態において、動画データは、フレーム単位でＪＰＥＧ圧縮処理された画像群を例に説明を行なった。しかしながら、その符号化方式にはよらず、1フレーム分のデータを復号出来る符号化方式、例えばＭＰＥＧ１，ＭＰＥＧ２，ＭＰＥＧ４により符号化されたデータにも適用可能である。

また上記各実施形態において、注目領域情報の生成は、本発明の画像表示装置の基本機能であるテレビ放送を受信し、ユーザがテレビ番組を視聴中に実行するよう構成してもよい。

また、上記実施形態では画像表示装置１００としてテレビ受像機を挙げたがこれに限られるものではない。パーソナルコンピュータ等の汎用コンピュータにおけるディスプレイ表示にも適用できることは明らかである。
よって、本発明の目的は、図示の機能ブロック及び動作において、いずれの部分をハードウェア回路により実現し、或いはコンピュータを用いたソフトウェア処理によって実現しても達成される。

すなわち、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

第１実施形態による画像表示装置の構成例を示すブロック図である。 第１実施形態に適用される画像表示装置のリモコンの外観を示す図である。 注目領域情報の生成処理の全体を示すフローチャートである。 静止画の注目領域情報の生成処理を示すフローチャートである。 動画の注目領域情報の生成処理を示すフローチャートである。 人物の顔検知処理を示すフローチャートである。 （ａ）は、本実施の形態の画像表示装置において処理する画像データの例を示す図であり、（ｂ）は、顔検知処理後の顔領域判定結果の例を示す図である。 （ａ）〜（ｃ）は焦点位置情報に基づいた注目領域の例を示す図であり、（ｄ）は焦点位置情報がない場合の注目領域の例を示す図である。 顔検知処理後の顔領域判定結果の例を示す図である。 動画における注目領域情報の例を示す図である。 第１実施形態による画像の重ね一覧表示のための処理を説明するフローチャートである。 静止画、動画フレームの注目領域情報の例を示す図である。 図１１Ａの画像を注目領域情報の大きさ順に並べ替えた例を示す図である。 画像の重ね一覧表示の一例を示す図である。 第２実施形態による動画の注目領域情報の生成処理を示すフローチャートである。 第２実施形態による動画の注目領域を生成する為のフレーム間隔の決定処理を示すフローチャートである。 第３実施形態による画像の重ね一覧表示処理を説明するフローチャートである。 第３実施形態による動画の注目領域情報の生成処理を説明するフローチャートである。 動画の注目領域を生成する為のフレーム数の決定処理を説明するフローチャートである。 第３実施形態を説明するための静止画、動画の注目領域情報の例を示す図である。 図１８Ａの画像を注目領域情報の大きさ順に並べ替えを行なった例を示す図である。 第３実施形態による画像の重ね一覧表示の一例を示す図である。 第３実施形態による、画像の重ね一覧表示における配置更新処理を示すフローチャートである。 画像の再配置位置決定の為の処理を示すフローチャートである。 動画の注目領域情報の変化によって、重なりが生じた画像の配置と注目領域の関係を模式的に示す図である。 動画の注目領域情報の変化によって、重なりが生じた画像の配置と注目領域の関係を模式的に示す図である。 再配置を行なう為の動作の例を模式的に表わす図である。 再配置を行なう為の動作の例を模式的に表わす図である。 再配置を行なう為の動作の例を模式的に表わす図である。 再配置を行なう為の動作の例を模式的に表わす図である。 再配置を行なう為の動作の例を模式的に表わす図である。 再配置を行なう為の動作の例を模式的に表わす図である。 再配置を行なう為の動作の例を模式的に表わす図である。 画像の配置パターンから移動方向を決定する為のテーブルを示す図である。 画像の移動方向から評価対象画像と同時に移動させる画像群を決定する為のテーブルを示す図である。 表示更新前の画像の重ね一覧表示の一例を示す図である。 表示更新後の画像の重ね一覧表示の一例を示す図である。 第４実施形態による、動画の注目領域情報の生成処理を示すフローチャートである。 第５実施形態による画像の重ね一覧表示処理を説明するフローチャートである。 表示更新前の画像の重ね一覧表示の一例を示す図である。 表示更新前の画像の重ね一覧表示の一例を示す図である。 第５実施形態による表示更新後の画像の重ね一覧表示の一例を示す図である。 第６実施形態による表示更新後の画像の重ね一覧表示の一例を示す図である。 第５実施形態による画像の再配置位置決定処理を示すフローチャートである。 第６実施形態による画像の再配置位置決定処理を示すフローチャートである。 本発明を使用しない場合の画像一覧の表示例を示す図である。

Claims (15)

1. 複数の動画像を一覧表示する画像表示方法であって、
   前記複数の動画像のそれぞれについて所定時間分のフレーム画像から注目領域を抽出し、抽出された各フレームの注目領域の論理和を注目領域に決定する注目領域決定工程と、
   前記注目領域決定工程により決定された各動画像の注目領域が露出して他の動画像と重なるように、該複数の動画像の各々の表示位置を決定する位置決定工程と、
   前記位置決定工程で決定された表示位置に前記複数の動画像の各々を配置して一覧表示する表示制御工程と、
   前記表示制御工程によって一覧表示された前記複数の動画像について、再生に伴う注目領域の経時変化を監視し、各動画像の注目領域が他の動画像と重なるようになったか否かを判定する判定工程と、
   前記判定工程で注目領域が他の動画像と重なると判定された動画像が存在する場合に、該注目領域の露出を維持させるべく前記一覧表示における動画像の配置状態または表示状態を更新する更新工程と、を備えることを特徴とする画像表示方法。
2. 前記注目領域決定工程では、各フレーム画像から顔領域を検知して注目領域を抽出することを特徴とする請求項１に記載の画像表示方法。
3. 動画像のフレームレートに基づいて、前記注目領域決定工程において注目領域を抽出すべきフレームの間隔を選択する選択工程を更に備えることを特徴とする請求項１に記載の画像表示方法。
4. 前記位置決定工程では、前記注目領域決定工程により決定された注目領域が大きい動画像ほど重なりが上位になるように、前記複数の動画像の表示位置を決定することを特徴とする請求項１から請求項３までのいずれか１項に記載の画像表示方法。
5. 前記注目領域決定工程では、前記所定時間分のフレーム画像から注目領域を抽出する前に、抽出された注目領域が一つのフレームに対して占める割合が所定値を超えた場合に、その時点における注目領域の論理和を前記注目領域に決定することを特徴とする請求項１に記載の画像表示方法。
6. 前記判定工程では、前記動画像の注目領域のうち他の動画像と重なる領域が所定の大きさを超えた場合に、注目領域が他の動画像と重なると判定することを特徴とする請求項１から請求項５までのいずれか１項に記載の画像表示方法。
7. 前記更新工程では、前記動画像の注目領域に重なった他の動画像の配置を移動することを特徴とする請求項１から請求項６までのいずれか１項に記載の画像表示方法。
8. 前記更新工程では、前記判定工程で注目領域が他の動画像と重なるようになったと判定された動画像を最前面に表示するように、他の動画像との重なりの前後関係を更新することを特徴とする請求項１に記載の画像表示方法。
9. 前記更新工程では、前記判定工程で注目領域が他の動画像と重なるようになったと判定された動画像の表示サイズを変更することを特徴とする請求項１に記載の画像表示方法。
10. 前記更新工程では、前記判定工程で注目領域が他の動画像と重なるようになったと判定された動画像の再生を最初に戻して再開させることを特徴とする請求項１に記載の画像表示方法。
11. 静止画像及び動画像を含む複数の画像を一覧表示する画像表示方法であって、
    前記複数の画像のうちの各静止画像に含まれる注目領域を抽出し、各静止画像の注目領域を決定する第１の注目領域決定工程と、
    前記複数の画像のうちの各動画像について所定時間分のフレーム画像から注目領域を抽出し、抽出された各フレームの注目領域の論理和を注目領域に決定する第２の注目領域決定工程と、
    前記第１の注目領域決定工程により決定された各静止画像の注目領域、及び前記第２の注目領域決定工程により決定された各動画像の注目領域が、露出して他の画像と重なるように、該複数の画像の各々の表示位置を決定する位置決定工程と、
    前記位置決定工程で決定された表示位置に前記複数の画像の各々を配置して一覧表示する表示制御工程と、
    前記表示制御工程によって一覧表示された動画像について、再生に伴う注目領域の経時変化を監視し、各動画像の注目領域が他の動画像と重なるようになったか否かを判定する判定工程と、
    前記判定工程で注目領域が他の画像と重なると判定された動画像が存在する場合に、該注目領域の露出を維持させるべく前記一覧表示における画像の配置状態または表示状態を更新する更新工程と、を備えることを特徴とする画像表示方法。
12. 複数の動画像を一覧表示する画像表示装置であって、
    前記複数の動画像のそれぞれについて所定時間分のフレーム画像から注目領域を抽出し、抽出された各フレームの注目領域の論理和を注目領域に決定する注目領域決定手段と、
    前記注目領域決定手段により決定された各動画像の注目領域が露出して他の動画像と重なるように、該複数の動画像の各々の表示位置を決定する位置決定手段と、
    前記位置決定手段で決定された表示位置に前記複数の動画像の各々を配置して一覧表示する表示制御手段と、
    前記表示制御手段によって一覧表示された前記複数の動画像について、再生に伴う注目領域の経時変化を監視し、各動画像の注目領域が他の動画像と重なるようになったか否かを判定する判定手段と、
    前記判定手段で注目領域が他の動画像と重なると判定された動画像が存在する場合に、該注目領域の露出を維持させるべく前記一覧表示における動画像の配置状態または表示状態を更新する更新手段と、を備えることを特徴とする画像表示装置。
13. 静止画像及び動画像を含む複数の画像を一覧表示する画像表示装置であって、
    前記複数の画像のうち各静止画像に含まれる注目領域を抽出し、各静止画像の注目領域を決定する第１の注目領域決定手段と、
    前記複数の画像のうち各動画像について所定時間分のフレーム画像から注目領域を抽出し、抽出された各フレームの注目領域の論理和を注目領域に決定する第２の注目領域決定手段と、
    前記第１の注目領域決定手段により決定された各静止画像の注目領域、及び前記第２の注目領域決定手段により決定された各動画像の注目領域が、露出して他の画像と重なるように、該複数の画像の各々の表示位置を決定する位置決定手段と、
    前記位置決定手段で決定された表示位置に前記複数の画像の各々を配置して一覧表示する表示制御手段と、
    前記表示制御手段によって一覧表示された動画像について、再生に伴う注目領域の経時変化を監視し、各動画像の注目領域が他の動画像と重なるようになったか否かを判定する判定手段と、
    前記判定手段で注目領域が他の画像と重なると判定された動画像が存在する場合に、該注目領域の露出を維持させるべく前記一覧表示における画像の配置状態または表示状態を更新する更新手段と、を備えることを特徴とする画像表示装置。
14. 請求項１から請求項１１までのいずれか１項に記載の画像表示方法をコンピュータに実行させるための制御プログラム。
15. 請求項１４に記載の制御プログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images