JP4645672B2 - 画像処理装置 - Google Patents

Description

本発明は画像処理装置に関するものである。

近年では、デジタルカメラを用いて動画像と静止画とを撮影できるため、撮影シーンに応じて、動画像と静止画像とを使い分けて撮影するケースが存在している。例えば、集合写真などの動きのないシーンは静止画で撮影し、運動会の場面など、動きのあるシーンは動画像で撮影することができる。

また、このようなデジタルカメラで撮影した動画像や静止画を印刷出力し、またはディスプレイに表示する装置も提案されている。
特開２００５−１３０２５４号公報 特開平９−３２２１１３号公報

しかしながら、上述のような装置では、動画と静止画を単純に並べているだけにすぎず、動画と静止画を閲覧性よく配置する、ということができなかった。

特に、近年メモリカードの容量が増大し、一枚のメモリカードに複数人のそれぞれが撮影した写真データおよび動画データが保存されることがある。例えばあるカメラで撮影された動画の撮影開始時間から撮影終了時間までの間の時間帯に、別のカメラで静止画が撮影される、という場合があった。撮影開始時間やファイル名などでそれぞれの画像を単純に並べて配置した場合、実際の出来事の時間順序と配置された順序が一致せずに閲覧性が悪くなってしまう、という問題があった。

別の例を挙げると、大量に撮影された写真データと動画データには撮影失敗画像が含まれる場合があり、撮影開始時間やファイル名などでそれぞれの画像を単純に並べて配置した場合、撮影に成功した画像と撮影に失敗した画像が混合して表示されてしまい、画像一覧の閲覧性が悪くなってしまう、という問題もあった。

本発明は、上記の問題点を解決するためになされたものであり、ユーザにとって閲覧性のよい画像一覧を出力可能な画像処理装置を提供することを目的としている。

この目的を達成するために、請求項１記載の画像処理装置は、静止画像を出力するための静止画像情報および動画像を再生するための動画像情報がそれぞれ１または複数格納される記憶媒体から、情報を読み出して処理するものであって、前記記憶媒体に格納される１または複数の動画像情報の各々から、２以上のフレーム画像に相当するフレーム画像情報を抽出する抽出手段と、前記抽出手段により抽出されるフレーム画像情報と、前記記憶媒体から読み出される静止画像情報との各々について、各画像情報の撮影日時を表す撮影日時情報を取得する撮影日時情報取得手段と、前記抽出手段により抽出される複数のフレーム画像情報の各々に対応する画像と、前記記憶媒体から読み出された静止画像情報に対応する画像とを含む画像群が、前記撮影日時情報取得手段により取得される撮影日時情報に従った順序で配列されるように、前記画像群を構成する画像の各々について、配置順序を決定する順序決定手段であって、各フレーム画像情報には、当該フレーム画像情報の属性を示す属性情報が個別に対応付けられており、その属性情報を用いて配列順序を決定する前記順序決定手段と、前記順序決定手段により決定された配置順序で前記画像群が配列された画像一覧を出力する出力手段と、を備え、前記撮影日時情報取得手段は、当該動画像情報の撮影開始日時と、前記抽出手段により抽出されたフレーム画像情報が当該動画像情報の先頭フレームから何フレーム目に存在するのかを示す情報と、ｆｐｓ（Frame Per Second）情報とから、当該抽出された各フレーム画像情報についての撮影日時情報を算出することを特徴とする。

また、動画像を再生するための動画像情報が複数格納される記憶媒体から、情報を読み出して処理するものであって、動画像を再生するための動画像情報が複数格納される記憶媒体から、情報を読み出して処理するものであって、前記記憶媒体に格納される複数の動画像情報の各々から、２以上のフレーム画像に相当するフレーム画像情報を抽出する抽出手段と、その抽出手段により抽出される複数のフレーム画像情報の各々に対応する画像を含む画像群が、所定の条件に従った順序で配列されるように、前記画像群を構成する画像の各々について、配置順序を決定する順序決定手段であって、各フレーム画像情報には、当該フレーム画像情報の属性を示す属性情報が個別に対応付けられており、その属性情報を用いて配列順序を決定する前記順序決定手段と、前記順序決定手段により決定された配置順序で前記画像群が配列された画像一覧を出力する出力手段とを備える画像処理装置であってもよい。

請求項３記載の画像処理装置は、請求項１記載の画像処理装置において、前記抽出手段により抽出されるフレーム画像情報と、前記記憶媒体から読み出される静止画像情報との各々について、各画像情報の撮影日時を表す撮影日時情報を取得する撮影日時情報取得手段を備え、前記順序決定手段は、前記撮影日時情報取得手段により取得される撮影日時情報を前記所定の条件として、前記撮影日時情報に従った配置順序を決定することを特徴とする。

なお、ここでいう「撮影日時を表す撮影日時情報」は、撮影をした日付のみを表す情報であっても良く、また、撮影をした時間のみを表す情報であっても良い。また、撮影をした日付と時間との両方を表す情報であっても良い。

請求項２記載の画像処理装置は、請求項１記載の画像処理装置において、前記撮影日時情報取得手段により取得される撮影日時情報に基づいて、前記画像群を分類する時間分類手段を備え、前記順序決定手段は、前記時間分類手段により同一グループに分類された画像群内で、前記撮影日時情報に従った配置順序を決定するものであり、前記出力手段は、前記グループ毎に前記画像一覧を出力することを特徴とする。

請求項３記載の画像処理装置は、請求項２記載の画像処理装置において、前記時間分類手段は、前記撮影日時情報取得手段により取得される撮影日時情報で表される撮影日時が、同一の時間単位内に含まれるフレーム画像情報または静止画像情報に対応した画像を、同一グループに分類することを特徴とする。

請求項４記載の画像処理装置は、請求項３記載の画像処理装置において、前記時間分類手段は、前記撮影日時情報取得手段により取得される撮影日時情報で表される撮影日時の差違が、２の画像情報間において所定長さ以上である場合、その２の画像情報に対応した２の画像を、互いに異なるグループに分類することを特徴とする。

また、上記画像処理装置は、前記抽出手段により抽出されるフレーム画像情報と、前記記憶媒体から読み出される静止画像情報との各々について、各画像情報に対応する画像に含まれる色に関係する色情報を取得する色情報取得手段を備え、前記順序決定手段は、前記色情報取得手段により取得される色情報を前記所定の条件として、前記色情報に従った配置順序を決定するものであってもよい。画像のシーンの色情報順で整列した閲覧性のよい画像一覧を出力できる。

また、上記画像処理装置は、前記色情報取得手段により取得される色情報に基づいて、前記画像群を分類する色分類手段を備え、前記順序決定手段は、前記色分類手段により同一グループに分類された画像群内で、前記色情報に従った配置順序を決定するものであり、前記出力手段は、前記グループ毎に前記画像一覧を出力するものであってもよい。色情報に基いて分類されたグループごとに、画像のシーンの色情報順で整列した閲覧性のよい画像一覧を出力できる。

また、上記画像処理装置は、前記色情報取得手段は、各画像に含まれる色の色相に関係する色相情報を、前記色情報として取得するものであってもよい。画像のシーンの色相情報順で整列した閲覧性のよい画像一覧を出力することができる。また、色相情報で分類されたグループ毎に画像一覧が出力される場合には、色相情報で分類されたグループ毎に、閲覧性のよい画像一覧を出力することができる。

また、上記画像処理装置は、前記色情報取得手段は、各画像に含まれる画素の輝度に関係する輝度情報を、前記色情報として取得するものであってもよい。画像のシーンの輝度情報順で整列した閲覧性のよい画像一覧を出力することができる。また、輝度情報で分類されたグループ毎に画像一覧が出力される場合には、色相情報で分類されたグループ毎に、閲覧性のよい画像一覧を出力することができる。

また、上記画像処理装置は、前記抽出手段により抽出されるフレーム画像情報と、前記記憶媒体から読み出される静止画像情報との各々について、各画像情報に対応する画像に含まれる色の分布に関係するダイナミックレンジ情報を取得するダイナミックレンジ情報取得手段を備え、前記順序決定手段は、前記ダイナミックレンジ情報取得手段により取得されるダイナミックレンジ情報を前記所定の条件として、前記ダイナミックレンジ情報に従った配置順序を決定するものであってもよい。動画像情報と静止画像情報とが記憶媒体内に混在している場合であっても、画像のシーンのダイナミックレンジ順で整列した、閲覧性のよい画像一覧を出力できる。

また、上記画像処理装置は、前記ダイナミックレンジ情報取得手段により取得されるダイナミックレンジ情報に基づいて、前記画像群を分類するダイナミックレンジ情報分類手段を備え、前記順序決定手段は、前記ダイナミックレンジ情報分類手段により同一グループに分類された画像群内で、前記ダイナミックレンジ情報に従った配置順序を決定するものであり、前記出力手段は、前記グループ毎に前記画像一覧を出力するものであってもよい。ユーザは例えば、ダイナミックレンジが極端に広すぎたり、狭すぎたりする画像を閲覧対象外とすることができる。例えば、撮影が露出オーバーになってしまい被写体が全体的に白っぽく写ってしまう白飛び、また、逆に露出アンダーになってしまい被写体が全体的に暗くなってしまう黒つぶれが発生する。白飛びや黒つぶれが発生していると、色の分布に相当するダイナミックレンジが極端に狭くなる。よって、ダイナミックレンジ情報に従って配列することとすれば、撮影時に失敗した可能性が高い画像情報の画像が、画像一覧上でまとめて配置されることとなり、ユーザにとっては、失敗していない画像を優先的に閲覧することができるので、目的とする画像を探しやすい。特に、動画像情報および静止画像情報を撮影したデジタルカメラに連写機能が付いており、記憶媒体に多数の画像情報が格納されている場合には、全画像を閲覧することは大変な作業であるため、このように失敗した画像と、そうではない画像とを分類して画像一覧を出力することの効果が高い。

また、上記画像処理装置は、前記抽出手段により抽出されるフレーム画像情報と、前記記憶媒体から読み出される静止画像情報との各々について、各画像情報に対応する画像に、顔が含まれるかを検出する顔検出手段と、その顔検出手段による検出結果に基づく顔情報を、前記フレーム画像情報と前記静止画像情報の各々について取得する顔情報取得手段とを備え、前記順序決定手段は、前記顔情報取得手段により取得される顔情報を前記所定の条件として、前記顔情報に従った配置順序を決定するものであってもよい。画像のシーンの顔情報順で整列した、閲覧性のよい画像一覧を出力できる。

また、上記画像処理装置は、前記顔情報取得手段により取得される顔情報に基づいて、前記画像群を分類する顔情報分類手段を備え、前記順序決定手段は、前記顔情報分類手段により同一グループに分類された画像群内で、前記顔情報に従った配置順序を決定するものであり、前記出力手段は、前記グループ毎に前記画像一覧を出力するものであってもよい。顔情報に基いて分類されたグループごとに、画像のシーンの顔情報順で整列した閲覧性のよい画像一覧を出力できる。

また、上記画像処理装置は、前記顔情報取得手段は、各画像に含まれる顔の個数を、前記顔情報として取得するものであってもよい。顔の個数に基いて分類されたグループごとに、画像のシーンの顔の個数順で整列した閲覧性のよい画像一覧を出力できる。

また、上記画像処理装置は、前記顔情報取得手段は、各画像に、特定の人物が含まれるか否かを示す情報を、前記顔情報として取得するものであってもよい。特定の人物に基いて分類されたグループごとに、画像のシーンの特定の人物順で整列した閲覧性のよい画像一覧を出力できる。

請求項１記載の画像処理装置によれば、動画像情報の各々から抽出されるフレーム画像情報に対応する画像と、静止画像情報に対応する画像とを含む画像群が、画像群を構成する画像の各々について、所定の条件に従った順序で配列され、画像一覧として出力される。よって、画像情報単位で配置順序を決定するのではなく、動画像情報に含まれるフレーム画像それぞれが、静止画像と同じように１枚の画像として扱われ、その１枚の画像単位で配置順序を決定することができる。また、ユーザは、動画像を構成するフレーム画像を、１の動画像情報当たり２枚以上視認することができるので、動画像情報に含まれる時間的な変化を画像一覧から視認することができる。したがって、ユーザにとって閲覧性よく画像が配置された画像一覧を出力することができる。
また、撮影日時情報を所定の条件するので、フレーム画像情報に対応する画像と、静止画像情報に対応する画像とが画像一覧に混在している場合であっても、画像のシーンの時間順で整列された、ユーザにとって閲覧性のよい画像一覧を出力できる。
また、当該動画像情報の撮影開始日時と、抽出手段により抽出されたフレーム画像情報が当該動画像情報の先頭フレームから何フレーム目に存在するのかを示す情報と、ｆｐｓ（Frame Per Second）情報とから、当該抽出された各フレーム画像情報についての撮影日時情報を算出することができる。

請求項２記載の画像処理装置によれば、請求項１記載の画像処理装置の奏する効果に加え、ユーザは、グループ毎に画像一覧を視認することができるから、画像のシーンの撮影日情報に基いたグループごとに、画像のシーンの時間順で整列した閲覧性のよい画像一覧を出力できる。

請求項３記載の画像処理装置によれば、請求項２記載の画像処理装置の奏する効果に加え、同一の時間単位ごとに分類されたグループごとに、画像のシーンの時間順で整列した閲覧性のよい画像一覧を出力できる。

ここで、時間単位とは、例えば、年、月、日、時間の単位を表している。例えば、撮影日時が同年に含まれるフレーム画像情報または静止画像情報に対応した画像を同一グループに分類することにより、撮影年毎の出来事を把握しやすい画像一覧を出力することができる。同様に、撮影日時が同月なら撮影月毎の、撮影日時が同日なら撮影日毎の、撮影日時が所定の時間間隔（例えば１時間）なら撮影時間毎（例えば、一日のうちに複数の出来事を撮影した場合であっても、出来事毎のまとまり）の、出来事を把握しやすい画像一覧を出力することができる。

請求項４記載の画像処理装置によれば、請求項２記載の画像処理装置の奏する効果に加え、撮影日時情報で表される撮影日時の差違が、２の画像情報間において所定長さ以上である場合、その２の画像情報に対応した２の画像を、互いに異なるグループに分類するので、所定長さ以上の時間間隔で分類されたグループごとに、画像のシーンの時間順で整列した閲覧性のよい画像一覧を出力できる。

以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図１は、本発明の画像処理装置の第１実施形態である多機能周辺装置（以下、「ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）」と称す）１の外観構成を示した斜視図である。

このＭＦＰ１は、フォトキャプチャー機能、コピー機能、スキャナ機能、メディアキャプチャ機能などの各種機能を有する多機能周辺装置である。メディアキャプチャ機能では、後述するスロット部６に装着されたメディアカード（特許請求の範囲の記憶媒体の一例）から画像ファイルを読み出して印刷出力する処理、メディアカードから読み出した画像ファイルに対応した画像をＬＣＤ５に表示出力する処理、スキャナ機能により読み取られた画像データをメディアカードに保存する処理などを実行できる。

ＭＦＰ１は、スロット部６に装着されたメディアカード内の画像ファイルの内容をユーザが把握できるように、インデックス画像を配列した画像一覧を出力する。特に、本実施形態のＭＦＰ１は、閲覧性の良い画像一覧を出力するように構成されているが、詳細は後述する。

ＭＦＰ１の上部には、原稿を読み取るためのスキャナ２が配置されている。また、筐体内部には記録用紙に画像を印刷する装置として、所謂インクジェットプリンタで構成されたプリンタ３が内蔵されている。

また、ＭＦＰ１の前面には、スロット部６が設けられている。このスロット部６には、コンパクトフラッシュ（登録商標）、ＳＤメモリカードなどの各種メディアカードを直接挿入できるカードスロットが設けられている。

また、原稿カバー体の前方には、操作パネルが設けられており、複数のキーやタッチパネルで構成される操作部４、およびＬＣＤ５を具備する。ＭＦＰ１は、ＬＣＤ５に操作手順や実行中の処理の状態を表示させると共に、操作部４の操作に対応する情報を表示させる。

図２を参照して、ＭＦＰ１の電気的構成について説明する。図２は、ＭＦＰ１の電気的構成を示すブロック図である。ＭＦＰ１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＥＥＰＲＯＭ１４、スキャナ２、プリンタ３、操作部４、ＬＣＤ５、スロット部６を主に有している。

このうち、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＥＥＰＲＯＭ１４は、バスライン２６を介して互いに接続されている。また、スキャナ２、プリンタ３、操作部４、ＬＣＤ５、スロット部６、バスライン２６は、入出力ポート２７を介して互いに接続されている。

ＣＰＵ１１は、ＲＯＭ１２、ＲＡＭ１３やＥＥＰＲＯＭ１４に記憶される固定値やプログラムに従って、ＭＦＰ１が有している各機能の制御や、入出力ポート２７と接続された各部を制御するものである。

ＲＯＭ１２は、ＣＰＵ１１によって実行される制御プログラム１２ａを記憶すると共に、電源遮断後も内容を保持可能な不揮発性のメモリである。制御プログラム１２ａは、後述する図７〜図１１にフローチャートで示す処理を実行するためのプログラムを含んでいる。

ＲＯＭ１２には、さらに横方向画像配置数記憶領域１２ｂ、１ページ画像配置数記憶領域１２ｃが設けられている。

横方向画像配置数記憶領域１２ｂは、「横方向の配置枚数」を記憶する領域である。「横方向の配置枚数」は、画像一覧において、横一列に並べて配置可能なインデックス画像の数を示す値である。なお、本実施形態のＭＦＰ１には、予め印刷用紙サイズ（Ｌ版、Ａ４、Ｌｅｔｔｅｒなど）、および印刷モード（高精細、普通、高速など）に応じて、複数種類の「横方向の配置枚数」が記憶されており、後述する配置印刷処理（図１０，図１１参照）では、この中から適した値を読み出して用いるものとして説明する。

１ページ画像配置数記憶領域１２ｃは、「１ページ内画像配置数」を記憶する領域である。「１ページ内画像配置数」は、１ページ分の記録用紙に形成する画像一覧に、最大で何個分のインデックス画像を配置可能であるかを示す値である。なお、本実施形態においては、予め印刷用紙サイズおよび印刷モードに応じて、複数種類の「１ページ内画像配置数」が記憶されており、後述する配置印刷処理（図１０，図１１参照）では、この中から適した値を読み出して用いるものとして説明する。

ＲＡＭ１３は、ＭＦＰ１の各操作の実行時に各種のデータを一時的に記憶するためのメモリであり、抽出フレーム数記憶領域１３ａ、処理ファイル数記憶領域１３ｂ、処理画像総数記憶領域１３ｃ、生成ページ数記憶領域１３ｄ、グループ情報記憶領域１３ｇ、ファイル情報記憶領域１３ｈ、配置情報記憶領域１３ｉ、フレーム画像情報記憶領域１３ｊ、デコードデータ記憶領域１３ｋ、カウンタ記憶領域１３ｍが設けられている。

ここで、本実施形態で用いる用語の意味を説明する。本実施形態において、「動画像」とは、多数のフレーム画像を切り替え表示することにより再生される画像を意味している。「動画像ファイル（特許請求の範囲に記載の動画像情報に相当）」は、動画像を再生するためのファイルであって、例えば、ＡＶＩ動画ファイル、クイックタイム動画ファイルなどで構成される。ただし、動画像を再生可能な情報であれば、どのような形式のファイルであっても差し支えない。また、本実施形態において、「フレーム画像情報」は、動画像を構成する１のフレーム画像に対応した情報を意味している。

抽出フレーム数記憶領域１３ａは、「フレーム画像抽出枚数」を記憶する領域である。「フレーム画像抽出枚数」は、１の動画像ファイル当たり、何枚分のフレーム画像に対応したフレーム画像情報を抽出するかを示す値である。例えば、「フレーム画像抽出枚数」として「５」が記憶されている場合、ＭＦＰ１は、メディアカードに格納された動画像ファイルの各々について、１の動画像ファイル当たり、５枚のフレーム画像に対応したフレーム画像情報を抽出し、その抽出したフレーム画像情報に基づいて、１の動画像ファイル当たり、５個のインデックス画像を、画像一覧に配置する。

本実施形態のＭＦＰ１は、ユーザが操作部４から入力した任意の値を「フレーム画像抽出枚数」として、抽出フレーム数記憶領域１３ａに記憶するものとして説明するが、「フレーム画像抽出枚数」が予めＲＯＭ１２などに記憶されていたり、動画像ファイルのサイズが大であるほど、「フレーム画像抽出枚数」が大となるように予め定められた関係に従って、「フレーム画像抽出枚数」が自動的に決定されても良い。

処理ファイル数記憶領域１３ｂは、「総処理ファイル数」を記憶する領域である。「総処理ファイル数」は、メディアカードに格納される静止画像ファイル（特許請求の範囲に記載の静止画像情報の一例）と動画像ファイルの合計を示す値である。

処理画像総数記憶領域１３ｃは、「処理画像総数」を記憶する領域である。「処理画像総数」は、画像一覧内に形成するインデックス画像の総数を示す値である。生成ページ数記憶領域１３ｄは、「生成ページ数」を記憶する領域である。「生成ページ数」は、後述する配置印刷処理（図１０、図１１）の実行により出力する画像一覧の総ページ数を示す値である。

グループ情報記憶領域１３ｇ、ファイル情報記憶領域１３ｈ、配置情報記憶領域１３ｉについては、図４から図６を参照して後述する。

フレーム画像情報記憶領域１３ｊは、動画ファイルから抽出されるフレーム画像情報を格納する領域である。デコードデータ記憶領域１３ｋは、フレーム画像情報をデコード処理した結果、または、静止画像ファイルをデコード処理した結果を記憶する領域である。

カウンタ記憶領域１３ｍは、各種カウンタを記憶する領域である。ＥＥＰＲＯＭ１４は、書換可能な不揮発性のメモリである。

図３は、ＭＦＰ１が、１ページの記録用紙に印刷出力する画像一覧２０の一例を示す図である。図３に示すように、画像一覧２０には、動画像ファイルから抽出されるフレーム画像情報に対応するインデックス画像２１と、静止画像ファイルに対応するインデックス画像２２とからなる画像群が、所定の条件に従った順序で配列されている。

ＭＦＰ１は、メディアカードに静止画像ファイルと動画像ファイルとが混在している場合、図３に示すように、フレーム画像情報に対応するインデックス画像２１と静止画像ファイルに対応するインデックス画像２２とが混在した画像一覧２０を出力する。よって、ユーザは、動画像ファイルの内容を示すインデックス画像２１と、静止画像ファイルの内容を示すインデックス画像２２とを、１ページの画像一覧２０によって、一度に視認することができ、利便性が高い。

また、ＭＦＰ１は、インデックス画像２１，２２を含む画像群が、撮影日時に従った順序で配列されるように、インデックス画像２１，２２の各々について配置順序を決定し、その決定した配置順序でインデックス画像２１，２２を配列した画像一覧２０を出力する。

図３に示す画像一覧２０はその一例であるが、例えば、画像一覧２０の左側から右側へ向かうにつれて、撮影日時が新しくなるような順序で、横一列分のインデックス画像２１，２２が配列し、その横一列分の配列の下に、次に撮影日時が新しい横一列分のインデックス画像２１，２２が配列されるように、インデックス画像２１，２２の各々について配置順序を決定する。

詳細な説明は後述するが、ＭＦＰ１は、静止画像ファイルに基づくインデックス画像であるか、動画像ファイルに基づくインデックス画像であるかに関わらず、撮影日時のみを条件としてソートした配置順序を決定し、その配置順序でインデックス画像２１，２２を配列した画像一覧２０を出力する。よって、例えば、動画像で撮影したか、静止画像で撮影したかをユーザが覚えていない場合であっても、撮影日時がかなり古いものであるのか、あるいは最近のものであるのかなど、撮影日時を手がかりに、目的とする画像を迅速に探し当てることができる。

また、ＭＦＰ１は、１の動画像ファイル当たり、１枚以上のフレーム画像に相当するフレーム画像情報を抽出するように構成されている。すなわち、画像一覧２０には、１の動画像ファイル当たり、１個以上のインデックス画像が配置されるように構成されている。

また、１つの動画像ファイル当たり、２枚以上のフレーム画像に相当するフレーム画像情報を抽出するように構成すれば、ユーザは、１の動画像ファイル当たり２枚以上のフレーム画像を視認することができる。その結果、動画像ファイルに含まれる、時間的な変化も視認することができ、動画像ファイルの内容を正確に把握することができるので、より迅速に目的とする画像を探し当てることができる。

なお、図３に示すように、ＭＦＰ１は、同一の動画像ファイルに由来する複数のインデックス画像２１が隣接して配置される場合、例えば、映画用フィルムを擬した図柄により連結した体裁で、印刷出力することとしている。このようにすれば、ユーザは、同一の動画像ファイルに由来するインデックス画像２１をまとめて把握できると共に、静止画像ファイルに対応するインデックス画像２２と、フレーム画像情報に対応するインデックス画像２１とを一目で区別することができ、利便性が高い。

また、詳細は後述するが、本実施形態のＭＦＰ１は、インデックス画像２１，２２を撮影日毎のグループに分類し、グループ毎に画像一覧２０を出力するように構成されている。よって、例えば、画像一覧２０のヘッダ部分に、グループの撮影日２３が印刷されても良い。

図４は、ファイル情報記憶領域１３ｈの構成を模式的に示す図である。図４に示すように、ファイル情報記憶領域１３ｈには、ファイルＩＤを記憶するファイルＩＤ記憶領域２０１、ファイル名を記憶するファイル名記憶領域２０２、ファイル種類を記憶するファイル種類記憶領域２０３、抽出フレーム数を記憶する抽出フレーム数記憶領域２０４、総フレーム数を記憶する総フレーム数記憶領域２０５、ｆｐｓ情報を記憶するｆｐｓ情報記憶領域２０６、ファイル日付情報を記憶するファイル日付情報記憶領域２０７、ファイル時間情報を記憶するファイル時間情報記憶領域２０８、ファイル付加情報記憶領域２０９が設けられ、ファイル名、ファイル種類、抽出フレーム数、ｆｐｓ情報、ファイル日付情報、ファイル時間情報、ファイル付加情報からなるファイル情報２００を、そのファイル情報２００を管理するファイルＩＤに対応付けて記憶する。ＭＦＰ１は、画像一覧２０（図３参照）におけるインデックス画像２１，２２の配置順序を決定するための準備処理として、メディアカード内に格納された静止画像ファイルまたは動画像ファイルの各々についてファイル情報２００を作成し、ファイル情報記憶領域１３ｈに格納する。

ファイルＩＤ記憶領域２０１は、ファイルＩＤを記憶する領域である。ファイル名記憶領域２０２は、静止画像ファイルまたは動画像ファイルのファイル名を格納する領域である。図４に示すように、各ファイル名には、拡張子が付加されている。例えば、画像ファイルがＪＰＥＧファイルである場合は拡張子「jpg」が付加され、ＡＶＩ動画ファイルである場合は拡張子「avi」が付加され、クイックタイム動画ファイルである場合は拡張子「mov」が付加される。

ファイル種類記憶領域２０３は、各画像ファイルの種類（フォーマット）を示す値を格納する領域である。画像ファイルの種類は、例えば、ファイル名に付加された拡張子に基づいて判定することができる。本実施形態では、画像ファイルの形式がＪＰＥＧファイル（拡張子jpg)である場合、ＪＰＥＧファイルであることを示す値「０」をファイル種類記憶領域２０３に格納し、画像ファイルの形式がＡＶＩ動画ファイル(拡張子avi）である場合、値「１」をファイル種類記憶領域２０３に格納し、画像ファイルの形式がクイックタイム動画ファイル（拡張子mov)である場合、値「２」をファイル種類記憶領域２０３に格納する。

なお、各画像ファイルの先頭から数バイト分に格納されている情報に基づいて画像ファイルの種類を判定することもできる。例えば、先頭から２バイトが「０ｘＦＦＤ８」であればＪＰＥＧファイルであると判定できるし、先頭から２バイトが「０ｘ４２４Ｄ」であれば、ビットマップデータであると判定することができる。これらの情報に基づいて、画像ファイルの種類を判定しても差し支えない。

抽出フレーム数記憶領域２０４は、何枚分のフレーム画像に対応したフレーム画像情報を、画像ファイルから抽出するかを示す値を記憶する領域である。静止画像ファイルの場合、抽出フレーム数記憶領域２０４には「１」が格納される。一方、動画像ファイルの場合、抽出フレーム数記憶領域２０４には、「２」以上の値が格納される。

総フレーム数記憶領域２０５は、各画像ファイルの総フレーム数を格納する領域である。動画像ファイルの場合は動画像ファイルに含まれる総フレーム数が格納され、静止画像である場合は常に１が格納される。

ｆｐｓ情報記憶領域２０６は、各画像ファイルのｆｐｓ（Frame Per Second)情報を格納する領域である。静止画像ファイルである場合には「０」が格納される。一方、動画像ファイルである場合には、例えば、１秒間に６０フレーム画像が存在することを示す「６０」や、１秒間に３０フレーム画像が存在することを示す「３０」が、このｆｐｓ情報記憶領域２０６に格納される。

ファイル日付情報記憶領域２０７は、各画像ファイルの撮影日を表すファイル日付情報を格納する領域である。例えば、撮影日「２００８年１月１５日」は、ファイル日付情報「20080115」として表すものとする。

ファイル時間情報記憶領域２０８は、各画像ファイルの撮影時間を表すファイル時間情報を格納する領域である。例えば、撮影時間「１２時５０分４５秒」は、ファイル時間情報「125045」として表すものとする。画像ファイルが動画像ファイルの場合は、撮影開始時間を表す情報が、ファイル時間情報として格納される。なお、ファイル日付情報およびファイル時間情報が、特許請求の範囲に記載の撮影日時情報に相当する。

以降の説明では、各画像ファイルのヘッダに記述された情報を読み出してくることにより、総フレーム数、ｆｐｓ情報、ファイル日付情報およびファイル時間情報を取得するものとするが、他の手段により、これらの情報を取得しても良い。

ファイル付加情報記憶領域２０９は、各画像ファイルのその他の固有情報を格納する領域である。

本実施形態のＭＦＰ１は、ファイル情報記憶領域１３ｈに格納された各画像ファイルの固有情報に基づいて、撮影日時に従った順序でインデックス画像が配列されるように、インデックス画像の配置順序を決定する。決定した配置順序を示す情報は、図５に示す配置情報記憶領域１３ｉに格納する。

図５は、配置情報記憶領域１３ｉの構成を模式的に示す図である。図５に示すように、配置情報記憶領域１３ｉは、ファイルＩＤ、グループＮｏ、抽出フレーム番号、画像日付情報、画像時間情報、画像付加情報からなる配置情報３００と、その配置情報３００に対応する配置順序とを記憶する。

図５に示すように、配置情報記憶領域１３ｉには、配置順序記憶領域３０１、ファイルＩＤ記憶領域３０２、グループＮｏ記憶領域３０３、抽出フレーム番号記憶領域３０４、画像日付情報記憶領域３０５、画像時間情報記憶領域３０６、画像付加情報記憶領域３０７が設けられる。

配置情報記憶領域３０１は、配置順序を記憶する領域である。後述する配置印刷処理（図１０，図１１参照）では、配置順序に従った順序で、配置情報３００が読み出され、各配置情報３００で特定されるフレーム画像または静止画像のインデックス画像が、配置順序に従った順序で、画像一覧２０に配列される。

ファイルＩＤ記憶領域３０２は、ファイルＩＤを記憶する領域である。図４を参照して説明したように、ファイル情報記憶領域１３ｈには、ファイルＩＤとファイル名とが１対１で対応付けて記憶されているので、ファイルＩＤから、１の画像ファイルを特定することができる。

グループＮｏ記憶領域３０３は、グループＮｏを記憶する領域である。なお、グループＮｏについては、図６を参照して後述する。

抽出フレーム番号記憶領域３０４は、抽出フレーム番号を記憶する領域である。上述したように、１の動画像ファイルについて複数のフレーム画像情報が抽出される。よって、先頭から数えて何番目のフレーム画像情報であるかを示す情報が、「抽出フレーム番号」として、抽出フレーム番号記憶領域３０４に格納される。

ここで、「抽出フレーム番号」は、「総フレーム数記憶領域２０５」に記憶された動画像ファイルの総フレーム数と、「抽出フレーム数記憶領域２０４」に記憶された抽出フレーム数と、動画像のうち何枚目に抽出されるかを表すフレーム画像数カウンタ値を用いて、例えば、下記のように算出することができる。
（抽出フレーム番号）＝[（フレーム画像数カウンタ値−１）×（総フレーム数）÷（抽出フレーム数）]
ここで[]はガウス記号を表し、[a]はaを超えない最大の整数を表す。

画像日付情報記憶領域３０５は、ファイルＩＤ記憶領域３０２に格納されたファイルＩＤで特定される画像ファイルの撮影日を表す画像日付情報が格納される領域である。画像時間情報記憶領域３０６は、撮影時間を表す画像時間情報が格納される領域である。静止画像ファイルについては、ファイル情報記憶領域１３ｈの対応する領域に格納されたファイル時間情報が、この画像時間情報記憶領域３０６にコピーされる。

一方、動画像ファイルについては、その動画像ファイルから複数のフレーム画像情報が抽出されるので、フレーム画像情報毎に、撮影時間を表す画像時間情報を取得し、画像時間情報記憶領域３０６に記憶する。なお、フレーム画像情報毎の画像時間情報を算出する具体的演算例については、図７に示すフローチャートを参照して後述する。

画像加情報記憶領域３０７には、各画像のその他の情報を格納する領域である。なお、本第１実施形態では、画像付加情報記憶領域３０７を使用しない。画像付加情報記憶領域３０７の用途については、第２実施形態以降で詳述する。

後述する配置印刷処理（図１０，図１１参照）では、配置情報記憶領域１３ｉに記憶された配置情報３００に基づいて、インデックス画像２１，２２が撮影日時に従った順序で配列された画像一覧２０（図３参照）を印刷出力する。

さらに、本実施形態のＭＦＰ１は、インデックス画像２１，２２を撮影日毎のグループに分類し、グループ毎に画像一覧２０を印刷出力する。例えば、「２００８年１月１５日」に撮影した画像ファイルと、「２００８年１月２０日」に撮影した画像ファイルとがメディアカードに格納されているのであれば、「２００８年１月１５日」に撮影された画像ファイルのインデックス画像からなる画像一覧２０と、「２００８年１月２０日」に撮影された画像ファイルのインデックス画像からなる画像一覧２０とを印刷出力するように構成されている。

図６は、グループ情報記憶領域１３ｇの構成の一例を示す図である。図６に示すように、グループ情報記憶領域１３ｇには、グループ数記憶領域４０１と、グループ単位情報記憶領域４０２と、グループＮｏ記憶領域４０３とが設けられている。

グループ数記憶領域４０１は、インデックス画像２１，２２を分類するために生成されたグループ数を記憶する領域である。図６に示す例では、インデックス画像２１，２２を分類するために「１０」のグループが生成されたことを示している。

グループ単位情報記憶領域４０２は、グループ毎の情報を記憶する領域である。グループ単位情報記憶領域４０２には、グループＮｏを記憶する記憶領域４０３と、そのグループＮｏで特定されるグループに分類されるインデックス画像の数を記憶するグループ画像数記憶領域４０４とが設けられる。図６に示す例では、グループＮｏが「１」のグループに、「１０」個のインデックス画像２１，２２が分類されることを示している。

本実施形態のＭＦＰ１によれば、グループ毎の画像一覧２０を出力することにより、ユーザはグループ毎（第１実施形態では撮影日毎）に画像一覧２０を視認することができるから、ユーザは撮影日ごとのグループに分類された閲覧性の良い画像一覧を得ることができる。

図７は、ＭＦＰ１で実行される配置順決定処理（Ｓ１００）を示すフローチャートである。図７に示す配置順決定処理（Ｓ１００）は、スロット部６にメディアカードが装着され、ユーザにより画像一覧２０の印刷出力の実行指示が入力されると実行される。

この配置順決定処理（Ｓ１００）は、動画像ファイルから抽出するフレーム画像情報と、メディアカードから読み出される静止画像ファイルとの各々について、各画像情報の撮影日時を表す画像日付情報および画像時間情報を取得し、その取得した画像日付情報および画像時間情報を条件として、インデックス画像２１，２２の配置順序を決定する処理である。

まず、ユーザが操作部４から入力した値を、「フレーム画像抽出枚数」として抽出フレーム数記憶領域１３ａに記憶する（Ｓ１０１）。次に、メディアカード内に格納された静止画像ファイルと動画像ファイルとの合計を示す「総処理ファイル数」を算出し、処理ファイル数記憶領域１３ｂに記憶する（Ｓ１０２）。

次に、処理ファイル数カウンタ、処理画像数カウンタ、フレーム画像抽出枚数カウンタを、それぞれ０で初期化する（Ｓ１０３）。なお、これらのカウンタは、カウンタ記憶領域１３ｍ（図２参照）に設けられている。

次に、メディアカードに格納された画像ファイルのうち、１の画像ファイルを処理対象として選択し、その画像ファイルのファイル名、画像ファイルの種類を取得する。そして取得したファイル名および画像ファイルの種類を示す値を、処理ファイル数カウンタ値のファイルＩＤに対応した、ファイル名記憶領域２０２、ファイル種類記憶領域２０３（図４参照）へ、それぞれ記憶する（Ｓ１０４）。

そして、選択した画像ファイルが動画像ファイルであるか静止画像ファイルであるかを判断する（Ｓ１０５）。動画像ファイルであると判断した場合（Ｓ１０５：動画像）、その動画像ファイルのファイル日付情報、ファイル時間情報、およびｆｐｓを表すｆｐｓ情報を、その動画像ファイルのヘッダから取得する（Ｓ１０６）。

そして、処理画像数カウンタ値の配置順序に対応したファイル日付情報記憶領域２０７へファイル日付情報を記憶し、ファイル時間情報記憶領域２０８へファイル時間情報を記憶し、ｆｐｓ情報記憶領域２０６へｆｐｓ情報を記憶する（Ｓ１０７）。

次に処理画像数カウンタ値の配置順序に対応した配置情報記憶領域１３ｉ（図５参照）のファイルＩＤ記憶領域３０２へ、現時点における処理ファイル数カウンタの値を記憶する。また、現時点におけるフレーム画像抽出枚数カウンタの値から抽出フレーム番号を算出し、処理画像数カウンタ値の配置順序に対応した抽出フレーム番号記憶領域３０４へ記憶する（Ｓ１０８）。

次に、フレーム画像情報の時間情報を算出し、算出した時間情報を、画像時間情報として、配置順序に対応する画像時間情報記憶領域３０６へ記憶する（Ｓ１０９）。具体的には、まず、動画像ファイルの撮影開始時間を表すファイル時間情報をVideoTime、ｆｐｓ情報をFPS、フレーム画像情報の撮影時間を表す画像時間情報をFrameTime、処理対象のフレーム画像情報を特定する抽出フレーム番号をＮとする。

そして、ファイル時間情報VideoTimeを、以下のように、動画像時間情報VT_Hour、動画像分情報VT_Minute、動画像秒情報VT_Secondに分解する。

VT_Hour = [ VideoTime／10000 ]
VT_Minute = [ (VideoTime - VT_Hour×10000)／100 ]
VT_Second = VideoTime - (VT_Hour×10000 + VT_Minute×100)
次に、フレーム時情報Frame_Hour、フレーム分情報Frame_Minute、フレーム秒情報Frame_Secondを、例えば、下記の数式１のように算出する。
（数式１）
ここでCal_Second,Cal_Minute,Cal_Hourは上記情報を求めるための一時変数とする。
また、A mod BはAをBで割った時の剰余を表す
Cal_Second = VT_Second + [ N / FPS]
Cal_Minute = VT_Minute + [ Cal_Second / 60 ]
Cal_Hour = VT_Hour + [ Cal_Minute / 60 ]
Frame_second = Cal_Second mod 60
Frame_Minute = Cal_Minute mod 60
Frame_Hour = Cal_Hour mod 24
以上を、例えば、下記の数式２を用いて結合し、フレーム画像情報の撮影時間を表す画像時間情報FrameTimeを算出する。
（数式２）
FrameTime = Frame_Hour×10000 + Frame_Minute×100 + Frame_Second
同様にして、動画像ファイルのファイル日付情報をVideoDate、抽出するフレーム画像情報の画像日付情報をFrameDateとすると、まずVideoDateを動画像年情報VD_Year、動画像月情報VD_Month、動画像日情報VD_Dayに、例えば、下記の数式３を用いて分解する。
（数式３）
VD_Year = [ VideoDate／10000 ]
VD_Month = [ (VideoDate - VD_Year×10000)／100 ]
VD_Day = VideoDate - (VD_Year×10000 + VD_Month×100)
次に、画像日付算出処理を実行する（Ｓ１１０）。画像日付算出処理は、フレーム年情報Frame_Year、フレーム月情報Frame_Month、フレーム日情報Frame_Dayを算出する処理である。

図８は、画像日付算出処理を示すフローチャートである。なお、図８のフローチャートに示す変数Ｍは、現日付からＭ日進めることを意味する変数である。

まず、フレーム年情報Frame_Year、フレーム月情報Frame_Month、フレーム日情報Frame_Dayに、それぞれ、動画像年情報VD_Year、動画像月情報VD_Month、動画像日情報VD_Dayを代入する（Ｓ１２０１）。次に、変数Ｍに、［Cal_Hour/24］を代入する（Ｓ１２０２）。次にＭが０であるかを判断し（Ｓ１２０３）、肯定されると（Ｓ１２０３：Ｙｅｓ）、本処理を終了する。

一方、否定されると（Ｓ１２０３：Ｎｏ）、フレーム日情報Frame_Dayを判断する（Ｓ１２０４）。「１以上２７以下」と判断されると（Ｓ１２０４：１以上２７以下）、Frame_Dayに「１」を加算する（Ｓ１２０５）。

一方、Ｓ１２０４の判断において、「２８または２９」と判断されると（Ｓ１２０４：２８ｏｒ２９）、Frame_Monthが「２」であるか否かを判断する（Ｓ１２０６）。否定される場合（Ｓ１２０６；Ｎｏ）、Ｓ１２０５の処理に移行する。

一方、肯定されると（Ｓ１２０６：Ｙｅｓ）、次に、Frame_Dayが「２８」であるかを判断する（Ｓ１２０８）。否定される場合（Ｓ１２０８：Ｎｏ）、Frame_Dayに「１」を代入し、Frame_Monthに「１」を加算する（Ｓ１２１０）。

一方、Ｓ１２０８の判断が肯定されると（Ｓ１２０８：Ｙｅｓ）、Frame_Yearで示される年がうるう年か否かを判断する（Ｓ１２０９）。肯定される場合（Ｓ１２０９：Ｙｅｓ）、Ｓ１２０５の処理に進む。否定される場合（Ｓ１２０９：Ｎｏ）、Ｓ１２１０の処理に進む。

次に、Ｓ１２０４の判断において、「３０」と判断されると（Ｓ１２０４：３０）、次に、Frame_Monthが４，６，９，１１のいずれかであるかを判断する（Ｓ１２１１）。肯定される場合（Ｓ１２１１：Ｙｅｓ）、Ｓ１２１０の処理に進む。

一方、否定される場合（Ｓ１２１１：Ｎｏ）、Frame_Dayに「１」を加算する（Ｓ１２１６）。次に、Ｓ１２０４の判断において、「３１」と判断されると（Ｓ１２０４：３１）、次に、Frame_Yearが１２であるかを判断する（Ｓ１２１５）。否定される場合（Ｓ１２１５：Ｎｏ）、Ｓ１２１６の処理に進む。

一方、肯定される場合（Ｓ１２１５：Ｙｅｓ）、Frame_Dayに「１」を代入し、Frame_Monthに「１」を代入し、Frame_Yearに「１」を加算する（Ｓ１２１７）。

Ｓ１２０５，Ｓ１２１０，Ｓ１２１６，Ｓ１２１７の処理の後は、変数Ｍから「１」減算し（Ｓ１２０２）、Ｓ１２０３に戻る。そして、Ｓ１２０３の判断が肯定されると（Ｓ１２０３：Ｙｅｓ）、本処理を終了する。

図７に戻り説明する。図８に示す処理で算出した値を、例えば下記の数式５を用いて結合し、フレーム画像情報の撮影日付を表す画像日付情報FrameDateを算出する。算出された画像日付情報は画像日付情報記憶領域３０５へ記憶する（Ｓ１１１）。
（数式５）
FrameDate = Frame_Year×10000 + Frame_Month×100 + Frame_Day
次に、処理画像数カウンタ、およびフレーム画像抽出枚数カウンタに、それぞれ「１」を加算する（Ｓ１１３）。

次に、フレーム画像抽出枚数カウンタの値が、フレーム画像抽出枚数、すなわち、その動画像ファイルから抽出するフレーム画像情報の数以上となったか否かを判断する（Ｓ１１４）。Ｓ１１４の判断が否定される場合（Ｓ１１４：Ｎｏ）、Ｓ１０８に戻り処理を繰り返す。

一方、Ｓ１１４の判断が肯定される場合（Ｓ１１４：Ｙｅｓ）、次にフレーム画像抽出枚数カウンタを０で初期化し（Ｓ１１５）、処理ファイル数カウンタに１を加算する（Ｓ１２２）。そして、処理ファイル数カウンタの値が、メディアカードに格納される静止画像ファイルと動画像ファイルの合計を示す「総処理ファイル数」以上となったか否かを判断する（Ｓ１２３）。Ｓ１２３の判断が否定される場合（Ｓ１２３：Ｎｏ）、Ｓ１０４の処理に戻り、次の画像ファイルを処理対象として選択し、処理を繰り返す。

続いて、処理対象の画像ファイルが静止画像ファイルであると判断された場合（Ｓ１０５：静止画像）について説明する。静止画像ファイルである場合、処理画像数カウンタ値の配置順序に対応したファイルＩＤ記憶領域３０２へ、現時点における処理ファイル数カウンタの値を記憶する。また、処理画像数カウンタ値の配置順序に対応した抽出フレーム番号記憶領域３０４へ「０」を記憶する（Ｓ１１５ａ）。

次に、処理対象の静止画像ファイルのファイル日付情報およびファイル時間情報を取得する。そして、ファイル情報記憶領域１３ｈのうち、処理ファイル数カウンタ値のファイルＩＤに対応したファイル日付情報記憶領域２０７（図４参照）へ、ファイル日付情報を記憶し、同ファイルＩＤに対応したファイル時間情報記憶領域２０８へ、ファイル時間情報を記憶する（Ｓ１１７）。なお、ｆｐｓ情報記憶領域２０６には「０」を記憶する。

そして、配置情報記憶領域１３ｉ（図５参照）のうち、処理画像数カウンタ値の配置順序に対応する画像日付情報記憶領域３０５へ、処理対象の静止画像ファイルのファイル日付情報を記憶する。また、同配置順序に対応する画像時間情報記憶領域３０６へ、処理対象の静止画像ファイルのファイル時間情報を記憶する（Ｓ１１９）。そして、処理画像数カウンタに１を加算し（Ｓ１２１）、Ｓ１２２の処理に移行する。

このように、Ｓ１０１からＳ１２３の処理によれば、配置情報記憶領域１３ｉに、ファイルＩＤ、抽出フレーム番号、画像日付情報、画像時間情報が格納されることとなるが、この時点では、まだインデックス画像２１，２２の配置順序は未決定である。図９を参照して後述するＳ１２４以降の処理において、画像日付情報と画像時間情報とを条件として、配置情報をソートすることにより、撮影日時に従った配置順序が決定される。

図９は、図７に示す配置順決定処理（Ｓ１００）の続きの部分を示すフローチャートであり、特に、画像日付情報に基づいて、画像一覧２０に配置するインデックス画像２１，２２を分類する処理、および配置情報記憶領域１３ｉに記憶された配置情報（図５参照）を、撮影日時に従った配置順序にソートする処理の部分を示している。

図９に示すように、まず、現時点における処理画像数カウンタの値を「処理画像総数」として、処理画像総数記憶領域１３ｃ（図２参照）に記憶する（Ｓ１２４）。そして、処理画像数カウンタを「０」で初期化する（Ｓ１２５）。ここで処理画像数カウンタはカウンタ記憶領域１３ｍ（図２参照）に設けられるカウンタである。

次に、配置情報記憶領域１３ｉ（図５参照）の画像日付情報記憶領域３０５に記憶された、画像日付情報に従って、グループＮｏを決定する（Ｓ１２６）。具体的には、処理画像数カウンタの値の配置順序に対応する、画像日付情報記憶領域３０５の値が、既に存在するグループの値と同一の場合は、その該当するグループＮｏを、この画像情報のグループＮｏに決定し、そうでない場合は新規のグループＮｏをこの画像情報のグループＮｏとして決定する。ただしＮｏの初期値は１であり、新規のグループＮｏはそれまでで最大のグループＮｏ＋１とする。

このようにすれば、撮影日が同日であるフレーム画像情報または静止画像ファイルに対応するインデックス画像２１，２２を同一グループに分類される一方で、撮影日が異なるフレーム画像情報または静止画像ファイルに対応するインデックス画像２１，２２は互いに別グループに分類されることとなる。

そして、処理画像数カウンタの値の配置順序に対応する、グループＮｏ記憶領域３０３（図５参照）へ、決定したグループＮｏを記憶する（Ｓ１２７）。次に、処理画像数カウンタに「１」を加算し（Ｓ１２８）、処理画像数カウンタの値が、処理画像総数に記憶された値以上となったかを判断する（Ｓ１２９）。そして、Ｓ１２９の判断が否定される場合（Ｓ１２９：Ｎｏ）、Ｓ１２６から処理を繰り返す。

一方、Ｓ１２９の判断が肯定される場合（Ｓ１２９：Ｙｅｓ）、グループＮｏの最大値を、グループ数記憶領域４０１（図６参照）に記憶する（Ｓ１３０）。そして、グループＮｏの小さい順に、配置情報をソートする（Ｓ１３１）。なお、Ｓ１３１の処理においては、グループＮｏの小さい順に配置情報をソートすることができれば良いので、ソートアルゴリズムは特に限定するものではなく、例えば、クイックソート法やバブルソート法を用いることが可能である。

なお、図５に示す配置情報記憶領域１３ｉは、配置情報記憶領域１３ｉに記憶された配置情報が、グループＮｏの小さい順にソートされた状態を模式的に図示している。

図９に戻り説明する。次に、同一グループＮｏに含まれることとなるインデックス画像数を算出し（Ｓ１３２）、グループＮｏと対応付けてグループ画像数記憶領域４０４へ記憶する（Ｓ１３３）。次に、グループカウンタを１で初期化する（Ｓ１３４）。このグループカウンタは、カウンタ記憶領域１３ｍ（図２参照）に設けられるカウンタである。

次に、画像時間情報の小さい順に配置情報をソートする（Ｓ１３５）。このソートはグループ単位で行う。これにより、配置情報で特定されるインデックス画像２１，２２の各々について、対応する配置順序が決定する。

すなわち、同一グループに分類されたインデックス画像内で、画像時間情報（撮影時情報）に従った配置順序を決定する。後述する配置印刷処理（Ｓ２００）では、グループ毎に画像一覧２０が印刷出力されるが、同一グループ内のインデックス画像２１，２２は、画像時間情報が小さい順に配列されているから、１グループ内に多数のインデックス画像２１，２２が含まれる場合であっても、ユーザは撮影時間順に整列した閲覧性の良い画像一覧を得ることができる。

なお、画像時間情報が同一である場合は、元々の配置順序を変更しないことが好ましいので、Ｓ１３５の処理では、バブルソートなど単純なソートアルゴリズムが好適に用いられる。

次に、グループカウンタに１を加算し（Ｓ１３６）、グループカウンタの値がグループ数記憶領域４０１（図６参照）より大となったかを判断する（Ｓ１３７）。Ｓ１３７の判断が否定される場合（Ｓ１３７：Ｎｏ）、Ｓ１３５に戻り処理を繰り返す。一方、全てのグループについての処理を終了し、Ｓ１３７の判断が肯定されると（Ｓ１３７：Ｙｅｓ）、配置順決定処理（Ｓ１００）を終了する。

図１０は、配置印刷処理（Ｓ２００）を示すフローチャートである。図１０に示す配置印刷処理（Ｓ２００）は、図７から図９を参照して説明した配置順決定処理（Ｓ１００）に続けて実行される処理であり、画像一覧２０を記録用紙に印刷出力する処理である。

まず、画像一覧２０に配列される横一列分のインデックス画像２１，２２の数を示す「横方向の配置枚数」を、横方向画像配置数記憶領域１２ｂから読み出す（Ｓ２０１）。次に、１ページ分の画像一覧２０に配置可能なインデックス画像２１，２２の数を示す「１ページ内画像配置数」を、１ページ画像配置数記憶領域１２ｃから読み出す（Ｓ２０２）。

次に、グループカウンタを１で初期化する（Ｓ２０３）。以降の処理では、このグループカウンタは、処理対象のグループのグループＮｏを示すカウンタとして機能する。次に、ページカウンタを１で初期化する（Ｓ２０４）。以降の処理では、このページカウンタは、処理対象のグループのうち、何ページ目の画像一覧２０を処理対象としているのかを示すカウンタとして機能する。ページカウンタはカウンタ記憶領域１３ｍ（図２参照）に設けられるカウンタである。

次に、グループカウンタ値のグループＮｏに対応するグループ画像数を、グループ画像数記憶領域４０４から読みだす（Ｓ２０５）。すなわち、そのグループＮｏのグループに分類されたインデックス画像２１，２２の数を取得する。そして、読み出した「グループ画像数」と「１ページ内画像配置数」とから、処理対象のグループについて、何ページ分の画像一覧２０を印刷出力するかを示す「生成ページ数」を算出し、生成ページ数記憶領域１３ｄ（図２参照）へ記憶する（Ｓ２０６）。本実施形態では、「生成ページ数」は、例えば下記の数式６を用いて算出する。
（数式６）
(生成ページ数) = [ (グループ画像数) / (1ページ内画像配置数) ] + 1
次に、レイアウト画像カウンタを０で初期化し（Ｓ２０７）、１ページの記録用紙内に配置する画像の枚数layout_noを算出する（Ｓ２０８）。本実施形態においては、layout_noは、例えば下記の数式７を用いて算出する。
（数式７）
(ページカウンタ値) ＜ 生成ページ数 の時
layout_no = (1ページ内画像配置数）
(ページカウンタ値) ≧ 生成ページ数 の時
layout_no = (グループ画像数) - { (１ページ内画像配置数) × (ページカウンタ値) }
次に、配置順序に対応したファイルＩＤと、抽出フレーム番号とを配置情報記憶領域１３ｉから読み出す（Ｓ２０９）。そして、読み出したファイルＩＤに対応する画像ファイルが、動画像ファイルであるか静止画像ファイルであるかを判定する（Ｓ２１０）。

Ｓ２１０の判定において、動画像ファイルと判定される場合（Ｓ２１０：動画像）、次に、動画像ファイルから上記抽出フレーム番号で特定される１フレーム画像分のフレーム画像情報を抽出する（Ｓ２１１）。

次に、抽出したフレーム画像情報をデコード処理し、デコードデータ記憶領域１３ｋへ格納する（Ｓ２１２）。そして、デコードしたフレーム画像情報をインデックス画像２１，２２のサイズに縮小または拡大し、ＲＡＭ１３（図２参照）に設けられた配置用バッファの所定位置に配置する（Ｓ２１３）。

一方、Ｓ２１０の判定において、静止画像ファイルと判定される場合（Ｓ２１０：静止画像）、配置順序に対応したファイルＩＤで特定される静止画像ファイルをデコード処理して、デコードデータ記憶領域１３ｋへ格納する（Ｓ２１４）。そして、デコードされた静止画像ファイルをインデックス画像２１，２２のサイズに縮小または拡大し、配置用バッファの所定位置に配置する（Ｓ２１５）。

このようにして、フレーム画像情報または静止画像ファイルのいずれかをデコード処理して配置用バッファに配置する処理を実行した後、次に、横方向に配置できる画像数の上限である「横方向の配置枚数」回分、処理を行ったか否かを判断する（Ｓ２１６）。Ｓ２１６の判断が否定される場合（Ｓ２１６：Ｎｏ）、次のデータの配置位置を示す横方向位置を更新する（Ｓ２２０）。

そして、レイアウト画像カウンタに「１」を加算し（Ｓ２２１）、レイアウト画像カウンタの値が、現在の処理対象の記録用紙に配置するインデックス画像２１，２２の数「layout_no」以上となったか否かを判断する（Ｓ２２２）。Ｓ２２２の判断が否定される場合（Ｓ２２２：Ｎｏ）、Ｓ２０９の処理に戻り、次の配置順序に対応した配置情報を処理する。

このようにして、処理を繰り返すことにより、メディアカードに格納される動画像ファイルの各々から、抽出フレーム数（特許請求の範囲に記載の所定枚数に相当）のフレーム画像に相当するフレーム画像情報が抽出され、配置バッファに配置される。また、メディアカードに格納される静止画像ファイルが抽出され、配置バッファに配置される。

このようにして処理を繰り返す内に、「横方向の配置枚数」回分の配置処理が実行されると、Ｓ２１６の判断が肯定されるので（Ｓ２１６：Ｙｅｓ）、次に、配置用バッファのデータをプリンタ３（図２参照）へ渡す（Ｓ２１７）。これにより、配置用バッファに配置された、横一列分のインデックス画像２１，２２に対応したデータが、プリンタ３による印刷処理にかけられ、画像一覧２０を出力することができる。

そして、次の処理対象のインデックス画像２１，２２の横方向配置位置を示す横方向位置を初期化し（Ｓ２１８）、また、縦方向配置位置を示す縦方向位置を更新する（Ｓ２１９）。すなわち、画像一覧２０における次の列の左端から、次のインデックス画像２１，２２が配列されるように、次の配置位置が決定される。そして、上述したＳ２２１、Ｓ２２２の処理を実行する。

このようにして処理をしたインデックス画像２１，２２の数が、処理対象の記録用紙に配置するインデックス画像数layout_noに到達すると、Ｓ２２２の判断が肯定されるので（Ｓ２２２：Ｙｅｓ）、図１１に示す次の処理に移行する。

図１１は、図１０に示す配置印刷処理（Ｓ２００）の続きを示すフローチャートであって、Ｓ２２２の判断が肯定される場合に実行される。

まず、配置用バッファに、未だ印刷処理を行っていないデータが存在するかを判断する（Ｓ２２３）。Ｓ２２３の判断が肯定される場合（Ｓ２２３：Ｙｅｓ）、その残りのデータをプリンタ３に渡し（Ｓ２２４）、プリンタ３にて印刷出力させ、Ｓ２２５の処理に移行する。ただし配置用バッファに画像が配置されない領域については白地出力とする。一方、Ｓ２２３の判断が否定される場合（Ｓ２２３：Ｎｏ）、Ｓ２２４の判断をスキップし、Ｓ２２５の処理に移行する。

そして、１ページ分のデータ出力が完了したことを示す印刷完了命令をプリンタ３に渡す（Ｓ２２５）。そして、ページカウンタに「１」を加算する（Ｓ２２６）。次に、配置用バッファにおける次のデータの配置位置を示す横方向位置および縦方向位置を初期化する（Ｓ２２７）。そして、ページカウンタの値が、現在の処理対象のグループについて、何ページ分の画像一覧２０を印刷出力するかを示す「生成ページ数」より大となったかを判断する（Ｓ２２８）。Ｓ２２８の判断が否定される場合（Ｓ２２８：Ｎｏ）、図１０に示すＳ２０７の処理に戻り、同グループについて、次ページの処理を開始する。

一方、Ｓ２２８の判断が肯定される場合（Ｓ２２８：Ｙｅｓ）、グループカウンタに１を加算する（Ｓ２２９）。そして、グループカウンタの値が、グループ数記憶領域４０１に記憶された値より大となったか否かを判断する（Ｓ２３０）。Ｓ２３０の判断が否定される場合（Ｓ２３０：Ｎｏ）、Ｓ２０４に戻り、処理を繰り返す。すなわち、次のグループＮｏで特定されるグループを処理対象として処理を繰り返す。

一方、Ｓ２２８の判断が肯定される場合（Ｓ２２８：Ｙｅｓ）、配置印刷処理（Ｓ２００）を終了する。

なお、図１０、図１１に示す配置印刷処理（Ｓ２００）において、同一の動画像ファイルに由来するインデックス画像２１が、画像一覧２０において互いに隣接する場合には、それらのインデックス画像２１を連結する図柄（図３参照）を形成して印刷しても良いが、処理の詳細については、説明を省略する。

第１実施形態のＭＦＰ１によれば、図３を参照して説明したように、ファイル時間情報（すなわち、静止画像ファイルまたはフレーム画像情報の撮影時間）に従った配置順序でインデックス画像２１，２２が配列された画像一覧２０を出力することができる。

次に、図１２および図１３を参照して、第２実施形態のＭＦＰ１について説明する。上記第１実施形態のＭＦＰ１では、ファイル日付情報とファイル時間情報とで表される撮影日時を条件としてインデックス画像２１，２２をグループに分類し、又は配置順序を決定していた。

これに対し、第２実施形態のＭＦＰ１では、各静止画像ファイルおよびフレーム画像情報について、輝度を表す輝度情報を取得し、その輝度情報を条件として配置順序を決定する。

なお、第２実施形態におけるＭＦＰ１の外観構成と電気的構成とは、第１実施形態におけるＭＦＰ１と同一のものであるとして説明を行う。また、本第２実施形態では、インデックス画像２１，２２の配置順序を決定するために、撮影日時に関する情報は用いない。よって、第２実施形態では、ファイル情報記憶領域１３ｈのファイル日付情報記憶領域２０７とファイル時間情報記憶領域２０８とは用いないものとして説明する。また、同様に、第２実施形態では、配置情報記憶領域１３ｉの画像日付情報記憶領域３０５と画像時間情報記憶領域３０６とは用いないものとして説明する。

以下、第１実施形態と同一の部分には同一の符号を付してその説明を省略し、第１実施形態と異なる点について説明する。

図１２，図１３は、第２実施形態のＭＦＰ１において実行される、配置順決定処理（Ｓ４００）を示すフローチャートである。この配置順決定処理（Ｓ４００）は、第１実施形態における配置順決定処理（Ｓ１００）に代えて実行される。なお、図１２，図１３に示すフローチャートにおいて、第１実施形態のＭＦＰ１で実行される配置順決定処理（Ｓ１００）のフローチャートと同一の部分については、同一の符号を付して説明を省略する。

図１２に示すように、第２実施形態の配置順決定処理（Ｓ４００）では、第１実施形態の配置順決定処理（Ｓ１００）と同様に、メディアカードに格納された画像ファイルのファイル情報を作成し、ファイル情報記憶領域１３ｈ（図４）へ記憶する処理を実行する。

具体的には、選択した画像ファイルが動画像ファイルであるか静止画像ファイルであるかを判断し（Ｓ１０５）、動画像ファイルである場合（Ｓ１０５：動画像）、その動画像ファイルから、抽出フレーム番号で特定される１フレーム画像分のフレーム画像情報を抽出し、フレーム画像情報記憶領域１３ｊ（図２参照）に格納する（Ｓ４０６）。そして、抽出したフレーム画像情報をデコード処理する（Ｓ４０７）。なお、本実施形態では、デコード処理後のフレーム画像情報の画素値は、ＹＣｒＣｂ色空間で表現されているものとして説明する。

次に、デコード処理したフレーム画像情報から輝度（Ｙ値）の平均値を算出する（Ｓ４０８）。すなわち、画像を構成する全ての画素の輝度（Ｙ値）について平均値を、例えば、下記の数式８から算出する。ここでは、フレーム画像情報を構成する総画素数をＰＮ、各画素の輝度をＹｉ(i = 0,1,2,,,PN-1)、輝度の平均値をYavgとする。
（数式８）

次に、このようにして取得した輝度（Ｙ値）の平均値を輝度情報として取得し、画像付加情報記憶領域３０７へ記憶する（Ｓ４０９）。そして、処理画像数カウンタ、フレーム画像抽出枚数カウンタに１を加算し（Ｓ４１０）、フレーム画像抽出枚数カウンタの値がフレーム画像抽出枚数以上となったか否かを判断し（Ｓ４１１）、Ｓ４１１の判断が否定される間は（Ｓ４１１：Ｎｏ）、Ｓ１０８から処理を繰り返す。

そして、処理を繰り返すうちに、Ｓ４１１の判断が肯定されると（Ｓ４１１：Ｙｅｓ）、次にフレーム画像抽出枚数カウンタを０で初期化し（Ｓ４１２）、処理ファイル数カウンタに１を加算して（Ｓ１２２）、処理ファイル数カウンタの値が総処理ファイル数以上となったか否かを判断する（Ｓ１２３）。Ｓ１２３の判断が否定される間、Ｓ１０４から処理を繰り返す。

一方、Ｓ１０５の判断において、選択した画像ファイルが静止画像ファイルであると判断された場合（Ｓ１０５：静止画像）、その選択した画像ファイルをデコード処理し（Ｓ４１３）、次に、デコード処理した静止画像ファイルから輝度の平均値を算出する（Ｓ４１４）。そして、このようにして取得した輝度の平均値を輝度情報として取得し、画像付加情報記憶領域３０７へ記憶する（Ｓ４１５）。そして、処理画像数カウンタに１を加算し（Ｓ４１６）、Ｓ１２２の処理へ移行する。なお、静止画像ファイルの場合も、フレーム画像情報と同様の演算にて輝度情報を取得することができるので、詳細な説明は省略する。

図１２に示す配置順決定処理（Ｓ４００）によれば、フレーム画像情報と静止画像ファイルとの各々について、対応する画像に含まれる色、特に輝度に関係する輝度情報（色情報の一例）が取得される。そして、図１３に示す処理を続けて実行することにより、輝度情報に従って、インデックス画像がグループに分類され、また配置順序が決定される。

図１３は、図１２に示す配置順決定処理（Ｓ４００）の続きの部分を示すフローチャートであり、第１実施形態における図９に対応する図である。なお、図１３に示すフローチャートにおいて、図９に示すフローチャートと同一の部分については同一の符号を付して、説明を省略する。

図９に示す第１実施形態の配置順決定処理（Ｓ１００）では、配置情報記憶領域１３ｉ（図５参照）の画像日付情報記憶領域３０５に記憶された画像日付情報に従って、インデックス画像２１，２２を分類していたが、図１３に示すように、第２実施形態では、輝度情報に基づいて、グループＮｏを決定する（Ｓ４２１）。

具体的には、輝度情報が閾値以上であるかどうかに基づいて、グループＮｏを決定する。なお、閾値は、ユーザが操作部４から入力することにより、設定するように構成されても良いし、予め固定値が設定されていても良い。

Ｓ４２１の処理では、例えば、閾値が１つ設定されているとき、輝度情報が閾値未満の場合は、グループＮｏ「０」を決定し、閾値以上の場合はグループＮｏ「１」を決定する。

また、例えば、閾値が２つ設定されているとき、輝度情報が小さい方の閾値未満である場合、グループＮｏ「０」を決定し、２つの閾値の間である場合、グループＮｏ「１」を決定し、大きい方の閾値以上の場合、グループＮｏ「２」を決定する。

なお、閾値が３つ以上の場合も同様に、輝度情報がどの範囲に含まれるかによって、グループＮｏを決定することができる。

このようにすれば、輝度が類似したインデックス画像は同じグループに分類され、輝度が大きく異なるインデックス画像は、互いに別グループに分類されることとなる。

そして、決定したグループＮｏを記憶し、Ｓ１２９の判断が否定される間（Ｓ１２９：Ｎｏ）、Ｓ４２１から処理を繰り返す。

一方、Ｓ１２９の判断が肯定される場合（Ｓ１２９：Ｙｅｓ）、第１実施形態と同様の処理により、グループＮｏの小さい順に、配置情報をソートする（Ｓ１３１）。そして、輝度情報の小さい順に配置情報をソートする（Ｓ４２４）。このソートはグループ単位で行う。これにより、インデックス画像２１，２２が輝度の小さい順に配列されるように、配置順序が決定される。

この配置順序決定処理の後、第２実施形態のＭＦＰ１においては、配置印刷処理が実行され、定められた配置順序およびグループに基づいて、画像一覧２０が印刷出力される。なお、第２実施形態のＭＦＰ１で実行される配置印刷処理は、第１実施形態で説明した配置印刷処理（Ｓ２００）とほぼ同じ処理であるため、第２実施形態のＭＦＰ１の配置印刷処理については、図示および説明を省略する。

第２実施形態のＭＦＰ１によれば、輝度毎にインデックス画像２１，２２が分類されて画像一覧２０が印刷出力され、また画像一覧２０においては、輝度が小さい順にインデックス画像２１，２２が配列されているので、ユーザは輝度順に整列した閲覧性の良い画像一覧を得ることができ、例えば輝度が高すぎたり低すぎたりする画像を読み飛ばし、好ましい明るさの画像一覧を優先的に閲覧することができる。

次に、図１４および図１５を参照して、第３実施形態のＭＦＰ１について説明する。上記第２実施形態のＭＦＰ１では、輝度情報に基づいてインデックス画像２１，２２をグループに分類し、又、配置順序を決定していた。

これに対し、第３実施形態のＭＦＰ１では、各画像情報についてダイナミックレンジ情報を取得し、そのダイナミックレンジ情報を条件として配置順序を決定するものである。ここで、ダイナミックレンジ情報とは、各画像ファイルに対応する画像に含まれる色の分布の広がりを示す情報であり、本実施形態では、特に色の明るさの分布に相関する情報である。

なお、第３実施形態におけるＭＦＰ１の外観構成と電気的構成とは、第１実施形態におけるＭＦＰ１と同一のものであるとして説明を行う。また、本第３実施形態では、インデックス画像２１，２２の配置順序を決定するために、撮影日時に関する情報は用いない。よって、第３実施形態では、ファイル情報記憶領域１３ｈのファイル日付情報記憶領域２０７とファイル時間情報記憶領域２０８とは用いないものとして説明する。また、同様に、第３実施形態では、配置情報記憶領域１３ｉの画像日付情報記憶領域３０５と画像時間情報記憶領域３０６とは用いないものとして説明する。

以下、第１実施形態または第２実施形態と同一の部分には同一の符号を付してその説明を省略し、第１実施形態および第２実施形態と異なる点について説明する。

図１４，図１５は、第３実施形態のＭＦＰ１において実行される、配置順決定処理（Ｓ５００）を示すフローチャートである。この配置順決定処理（Ｓ５００）は、第１実施形態の配置順決定処理（Ｓ１００）に代えて実行される。図１４，図１５に示す配置順決定処理（Ｓ５００）のフローチャートにおいて、第１実施形態または第２実施形態のＭＦＰ１で実行される配置順決定処理（Ｓ１００，Ｓ４００）のフローチャートと同一の部分については、同一の符号を付して説明を省略する。

図１４に示すように、第３実施形態の配置順決定処理（Ｓ５００）では、選択した画像ファイルが動画像ファイルであるか静止画像ファイルであるかを判断し（Ｓ１０５）、動画像ファイルである場合（Ｓ１０５：動画像）、動画像ファイルから任意の１フレーム画像分のフレーム画像情報を抽出してフレーム画像情報記憶領域１３ｊへ記憶する（Ｓ４０６）。そして、抽出したフレーム画像情報をデコード処理する（Ｓ４０７）。

次に、デコード処理したフレーム画像情報から、画像のヒストグラムを算出する（Ｓ５０８）。具体的には、ＹＣｒＣｂ色空間で表現される画素値をＲＧＢ色空間の画素値に色変換し、色変換したデータについて、出現する頻度を、全ての画素、全ての色について算出する。

次に、算出したヒストグラムから、ダイナミックレンジ情報を算出する（Ｓ５０９）。具体的には、抽出したフレーム画像情報に含まれる総画素数をPN、画素値がiの時の頻度をFiとしたとき、画素値０から順に、条件１を満たす最小のiを探索する。
（条件１）

同様にして、画素値255から条件２をみたす最大のjを探索する。
（条件２）

ｉ，ｊが決まったら、例えば、下記の数式９より求まる値をダイナミックレンジ情報Dとする。
（数式９）
D = j - i
このようにしてダイナミックレンジ情報Ｄが、ＲＧＢの各色について求まるので、各色のダイナミックレンジ情報Ｄを合計した値を、抽出したフレーム画像情報のダイナミックレンジ情報として取得し（Ｓ５０９）、処理画像数カウンタの値で示される配置順序に対応した、画像付加情報記憶領域３０７へ記憶する（Ｓ５１０）。

なお、本実施形態では、ＲＧＢ各色のダイナミックレンジ情報を合計した値を、画像情報のダイナミックレンジ情報として取り扱うものとして説明するが、色別のダイナミックレンジ情報に基づいて、以降の処理を実行するように構成されても良い。

次に、処理画像数カウンタおよびフレーム画像抽出枚数カウンタに１を加算し（Ｓ４１０）、フレーム画像抽出枚数カウンタの値がフレーム画像抽出枚数以上となったか否かを判断し（Ｓ４１１）、Ｓ４１１の判断が否定される間は（Ｓ４１１：Ｎｏ）、Ｓ１０８から処理を繰り返す。

一方、Ｓ１０５の判断において、選択した画像ファイルが静止画像ファイルであると判断された場合（Ｓ１０５：静止画像）、その選択した画像ファイルをデコード処理し（Ｓ４１３）、次に、デコード処理した静止画像ファイルから画像のヒストグラムを算出する（Ｓ５１５）。なお、ヒストグラムの算出方法は、上述したＳ５０８の処理と同様であるので、説明を省略する。

次に、算出したヒストグラムから、ダイナミックレンジ情報を取得する（Ｓ５１６）。なお、ダイナミックレンジ情報の演算方法は、Ｓ５０９の処理と同様であるので、説明を省略する。そして、このようにして取得したダイナミックレンジ情報を画像付加情報記憶領域３０７へ記憶する（Ｓ５１７）。そして、処理画像数カウンタに１を加算し（Ｓ４１６）、Ｓ１２２の処理へ移行する。

図１５は、図１４に示す配置順決定処理（Ｓ５００）の続きの部分を示すフローチャートであり、第１実施形態における図９に対応する図である。なお、図１５に示すフローチャートについては、図９に示すフローチャートと同一の部分については同一の符号を付して、説明を省略する。

図９に示す第１実施形態の配置順決定処理（Ｓ１００）では、配置情報記憶領域１３ｉ（図５参照）の画像日付情報記憶領域３０５に記憶された、画像日付情報に従って、グループＮｏを決定していた。これに対し、第３実施形態のＭＦＰ１では、インデックス画像群をダイナミックレンジ情報に基づいて分類すると共に、同一グループに分類されたインデックス画像群内で、ダイナミックレンジ情報に従った配置順序を決定する。

具体的には、図１５に示すように、画像付加情報記憶領域３０７（図５参照）に記憶されたダイナミックレンジ情報に従って、グループＮｏを決定する（Ｓ５２０）。

本実施形態では、ダイナミックレンジ情報が閾値以上であるかどうかに基づいて、グループＮｏを決定することとする。なお、閾値は、ユーザが操作部４から設定するように構成されても良いし、予め固定値が設定されていても良い。具体的には、例えば、１つの閾値が設定されているときには、ダイナミックレンジ情報が閾値未満である場合、グループＮｏ「０」を決定し、ダイナミックレンジ情報が閾値以上である場合、グループＮｏ「１」を決定するようにする。

あるいは、２つの閾値が設定されているときには、ダイナミックレンジ情報が小さい方の閾値未満である場合、グループＮｏ「０」を決定し、ダイナミックレンジ情報が２つの閾値の間である場合、グループＮｏ「１」を決定し、ダイナミックレンジ情報が大きい方の閾値以上である場合、グループＮｏ「２」決定するようにする。閾値が３つ以上の場合も同様に、ダイナミックレンジ情報が閾値のどの範囲に含まれるかによって、グループNoを決定するように構成すれば良い。

このようにすれば、ダイナミックレンジ情報に基づいてインデックス画像群が分類されることとなる。

そして、決定したグループＮｏを記憶し（Ｓ１２７）、Ｓ１２９の判断が否定される間（Ｓ１２９：Ｎｏ）、Ｓ５２０から処理を繰り返す。

一方、Ｓ１２９の判断が肯定される場合（Ｓ１２９：Ｙｅｓ）、第１実施形態と同様の処理により、グループＮｏの小さい順に、配置情報をソートする（Ｓ１３１）。そして、ダイナミックレンジ情報の小さい順に配置情報をソートする（Ｓ５３２）。このソートはグループ単位で行う。これにより、配置情報で特定されるインデックス画像２１，２２の各々について、ダイナミックレンジ情報に従った配置順序が決定する。

この配置順序決定処理の後、第３実施形態のＭＦＰ１においては、第２実施形態のＭＦＰ１と同様の配置印刷処理が実行され、定められた配置順序およびグループに基づいた画像一覧２０が印刷出力される。

第３実施形態のＭＦＰ１によれば、ダイナミックレンジ情報に基づいて、インデックス画像２１，２２が分類され、グループ毎に画像一覧２０が出力される。よって、例えば、ユーザは、ダイナミックレンジ情報が極端に低いインデックス画像２１，２２が分類されたグループの画像一覧２０、すなわち、撮影に失敗している可能性が高いインデックス画像がまとめられた画像一覧２０については、最初から閲覧対象外することにより、閲覧すべき画像を低減させることができる。

次に、図１６および図１７を参照して、第４実施形態のＭＦＰ１について説明する。上記第２実施形態のＭＦＰ１では、輝度情報に基づいてインデックス画像２１，２２をグループに分類し、又、配置順序を決定していた。

これに対し、第４実施形態のＭＦＰ１では、静止画像ファイルおよびフレーム画像情報について顔情報を取得し、その顔情報を条件として配置順序を決定するものである。ここで、顔情報とは、各画像ファイルに対応する画像に含まれる顔の個数を示す情報である。

なお、第４実施形態におけるＭＦＰ１の外観構成と電気的構成とは、第１実施形態におけるＭＦＰ１と同一のものであるとして説明を行う。また、本第４実施形態では、インデックス画像２１，２２の配置順序を決定するために、撮影日時に関する情報は用いない。よって、第３実施形態では、ファイル情報記憶領域１３ｈのファイル日付情報記憶領域２０７とファイル時間情報記憶領域２０８とは用いないものとして説明する。また、同様に、第３実施形態では、配置情報記憶領域１３ｉの画像日付情報記憶領域３０５と画像時間情報記憶領域３０６とは用いないものとして説明する。

以下、第１実施形態または第２実施形態と同一の部分には同一の符号を付してその説明を省略し、第１実施形態および第２実施形態と異なる点について説明する。

図１６，図１７は、第４実施形態のＭＦＰ１において実行される、配置順決定処理（Ｓ６００）を示すフローチャートである。この配置順決定処理（Ｓ６００）は、第１実施形態の配置順決定処理（Ｓ１００）に代えて実行される。図１６，図１７に示す配置順決定処理（Ｓ６００）のフローチャートにおいて、第１実施形態または第２実施形態のＭＦＰ１で実行される配置順決定処理（Ｓ１００）のフローチャートと同一の部分については、同一の符号を付して説明を省略する。

図１６に示すように、第４実施形態の配置順決定処理（Ｓ６００）では、選択した画像ファイルが動画像ファイルであるか静止画像ファイルであるかを判断し（Ｓ１０５）、動画像ファイルである場合（Ｓ１０５：動画像）、動画像ファイルから任意の１フレーム画像分のフレーム画像情報を抽出してフレーム画像情報記憶領域１３ｊへ記憶する（Ｓ４０６）。そして、抽出したフレーム画像情報をデコード処理する（Ｓ４０７）。

次に、デコード処理したフレーム画像情報を顔認識処理することにより、フレーム画像情報に対応する画像に、顔が含まれるかを検出する。顔認識処理の手法としては、Haar-like特徴量とAdaBoost分類器を用いた公知の顔認識処理を採用することができるが、これ以外の他の公知の顔認識処理を採用しても良い。

そして、検出された顔の個数を算出し（Ｓ６０８）、処理対象のフレーム画像情報の顔情報として取得し、処理画像数カウンタの値で示される配置順序に対応した、画像付加情報記憶領域３０７へ記憶する（Ｓ６０９）。

次に、処理画像数カウンタおよびフレーム画像抽出枚数カウンタに１を加算し（Ｓ４１０）、フレーム画像抽出枚数カウンタの値がフレーム画像抽出枚数以上となったか否かを判断し（Ｓ４１１）、Ｓ４１１の判断が否定される間は（Ｓ４１１：Ｎｏ）、Ｓ４０６から処理を繰り返す。

一方、Ｓ１０５の判断において、選択した画像ファイルが静止画像ファイルであると判断された場合（Ｓ１０５：静止画像）、次に、その選択した画像ファイルをデコード処理し（Ｓ４１３）、次に、デコード処理した静止画像ファイルを顔認識処理することにより、静止画像ファイルに対応する画像に、顔が含まれるかを検出し、検出された顔の個数を算出する（Ｓ６１４）。なお、顔検出方法は、上述したＳ６０８の処理と同様であるので、説明を省略する。

次に、算出した顔の個数を、処理対象のフレーム画像情報の顔情報として取得し、処理画像数カウンタの値で示される配置順序に対応した、画像付加情報記憶領域３０７へ記憶する（Ｓ６１５）。そして、処理画像数カウンタに１を加算し（Ｓ４１６）、Ｓ１２２の処理へ移行する。

図１７は、図１６に示す配置順決定処理（Ｓ６００）の続きの部分を示すフローチャートであり、第１実施形態における図９に対応する図である。なお、図１７に示すフローチャートについては、図９に示すフローチャートと同一の部分については同一の符号を付して、説明を省略する。

図９に示す第１実施形態の配置順決定処理（Ｓ１００）では、配置情報記憶領域１３ｉ（図５参照）の画像日付情報記憶領域３０５に記憶された、画像日付情報に従って、グループＮｏを決定していた。これに対し、第４実施形態のＭＦＰ１では、インデックス画像群を顔情報、すなわち、画像に含まれる顔の個数に基づいて分類すると共に、同一グループに分類されたインデックス画像群内で、顔情報に従った配置順序を決定する。

具体的には、顔情報で示される顔の個数が閾値以上であるかどうかによって、グループＮｏを決定する（Ｓ６２１）。この閾値は、ユーザが操作入力部４から予め設定するものであっても良いし、あらかじめ固定値で設定しておいても良い。

本実施形態では、顔情報が閾値以上であるかどうかに基づいて、グループＮｏを決定することとする。なお、閾値は、ユーザが操作部４から設定するように構成されても良いし、固定値で設定されていても良い。具体的には、例えば、１つの閾値が設定されているときには、顔情報が閾値未満である場合、グループＮｏ「０」を決定し、顔情報が閾値以上である場合、グループＮｏ「１」を決定するようにする。

あるいは、２つの閾値が設定されているときには、顔情報が小さい方の閾値未満である場合、グループＮｏ「０」を決定し、顔情報が２つの閾値の間である場合、グループＮｏ「１」を決定し、顔情報が大きい方の閾値以上である場合、グループＮｏ「２」決定するようにする。閾値が３つ以上の場合も同様に、顔情報が閾値のどの範囲に含まれるかによって、グループNoを決定するように構成すれば良い。

このようにして、顔情報に基づいて、インデックス画像群を分類することができる。次に、決定したグループＮｏを記憶し（Ｓ１２７）、Ｓ１２９の判断が否定される間（Ｓ１２９：Ｎｏ）、Ｓ６２１から処理を繰り返す。

一方、Ｓ１２９の判断が肯定される場合（Ｓ１２９：Ｙｅｓ）、第１実施形態と同様の処理により、グループＮｏの小さい順に、配置情報をソートする（Ｓ１３１）。そして、顔情報で示される顔の個数の小さい順に配置情報をソートする（Ｓ５３２）。このソートはグループ単位で行う。これにより、配置情報で特定されるインデックス画像２１，２２の各々について、顔情報に従った配置順序が決定する。

この配置順序決定処理の後、第４実施形態のＭＦＰ１においては、第２実施形態のＭＦＰ１と同様の配置印刷処理が実行され、定められた配置順序およびグループに基づいた画像一覧２０が印刷出力される。

第４実施形態のＭＦＰ１によれば、各画像に含まれる顔の個数に従ってインデックス画像が分類され、または配置順序が決定される。よって、ユーザは画像に含まれる顔の個数順に整列した閲覧性の良い画像一覧を得ることができ、例えば集合写真のみを閲覧したい場合は顔の個数が多い部分を閲覧する、ということができる。

以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。

例えば、本実施形態では、画像一覧２０を記録用紙に印刷出力するものとして説明したが、ＬＣＤ５など表示装置に画像一覧２０を表示出力する場合にも、本発明を適用できる。

また、本発明を、例えば、パーソナルコンピュータに適用し、ＰＣのモニターに、画像一覧２０を表示出力する場合、あるいは、パーソナルコンピュータからプリンタを制御して画像一覧を印刷出力する場合にも、本発明を適用できる。

また、上記実施形態では、全グループについて画像一覧２０が出力されるものとして説明したが、例えば、ユーザにより選択されたグループについてのみ画像一覧２０を出力するように構成しても良い。

また、上述した実施形態では、動画像ファイルおよび静止画像ファイルは、共に撮影により生成された画像ファイルであるものとして説明したが、動画像ファイルおよび静止画像ファイルは、撮影以外の方法で生成されるものであっても、本発明を適用可能である。その場合は、撮影日時に代えて、ファイルの作成日時を表すファイルの生成日時情報や、ファイルの更新日時情報など、他の条件を元に、インデックス画像２１，２２の配置順序を決定するように構成されても良い。

また、上述した実施形態では、メディアカード内に、静止画像ファイルと動画像ファイルとが混在している場合について説明したが、メディアカード内に動画像ファイルのみが格納されている場合にも本発明は適用可能である。

また、上述した実施形態では、着脱可能なメディアカード内に記憶されている画像情報を処理対象としていたが、ＭＦＰ１の内部メモリに格納された画像情報を処理対象とする場合にも、本発明は適用可能である。

また、上述した第１実施形態では、同日に撮影された画像情報に対応したインデックス画像２１，２２を同一グループに分類していたが、これに代えて、ファイル日付情報およびファイル時間情報で表される撮影日時の差違が、所定長さ以上である場合、その２つの画像情報に対応したインデックス画像２１，２２を、互いに異なるグループに分類するように構成しても良い。このようにすれば、撮影時間が大きく異なる、別のシーンであるインデックス画像はそれぞれ別のグループに分類されるため、撮影時間が比較的近いシーン毎に閲覧性の良い画像一覧を得ることができる。

また、上述した第１実施形態では、グループを分類する条件として、「撮影日」を採用したが、「撮影月」、「撮影年」、「撮影時間の近いものを同じグループとして扱う」など、様々な条件が考えられる。この条件は、あらかじめユーザが操作部４からあらかじめ設定できる形でも良いし、あらかじめ１条件固定で設定しておいても良い。

「撮影時間の近いものを同じグループとして扱う」場合の判断基準を以下に説明する。
[Step1] 全ての配置情報３００（図５参照）を、画像時間情報の小さい順に並べ替える。
[Step2] 全ての配置情報３００を、画像日付情報の小さい順に並べ替える。
[Step3] 時間の早い配置情報３００から順に、次の配置情報３００との時間の差を計算する。

すなわち、配置情報３００を先頭から順番にfile_0,file_1,…file_nとし，対応する画像時間情報をtime_0,time_1…time_nとすると、
time_1−time_0≧ 閾値
の場合に、file_1の配置情報と、file_0の配置情報とには、異なるグループNoを決定する。同様にして、全ての配置情報を順に比較しながらグループNoを決定すれば良い。

また、上述した第２実施形態では、輝度情報を用いて配置順序およびインデックス画像２１，２２の分類を行っていたが、輝度情報に代えて、各画像に含まれる色の色相に関係する色相情報を取得し、その色相情報に基づいて、配置順序の決定およびインデックス画像２１，２２の分類を行うように構成しても良い。このようにすれば、色相で分類されたグループ毎に画像一覧２０が出力されるので、色相に統一感がある画像一覧２０が得られる。また、そのグループ内のインデックス画像２１，２２は色相の順序に配列されることとなるので、色相の微妙な変化が分かり易い画像一覧２０を出力することができる。色相値としては、例えばＲＧＢ空間をＨＳＶ空間に変換した際のＨ値を、色相を表す値として用いることができる。

また、上述した第４実施形態では、各画像に含まれる顔の個数を、前記顔情報として取得していたが、これに代えて、各画像に、特定の人物が含まれるか否かを示す情報を、顔情報として取得するように構成しても良い。

このようにすれば、特定の人物が画像に含まれるか否かに応じて、配置順序の決定およびインデックス画像２１，２２の分類が行われるので、特定の人物単位でまとまった画像一覧２０を出力することができる。その結果、ユーザは人物別に、分類された画像一覧を得ることができる。

さらに、上記実施形態で説明した条件に代えて他の条件に基づいて、配置順序の決定およびインデックス画像２１，２２の分類が行われても良い。例えば、動画像ファイルが音声と同期して再生されるものである場合、その動画像ファイルから抽出されるフレーム画像情報の各々について、そのフレーム画像と共に再生される音声の周波数を解析する解析手段と、その解析手段により解析された音声の周波数に基づいて、その音声を発した人物を特定する人物特定手段とを備え、前記人物特定手段により特定された人物毎に、インデックス画像２１，２２を分類するものであっても良い。

また、例えば、インデックス画像２１，２２を、人物画像グループと風景画像グループとに分類するものであっても良い。

本発明の画像処理装置の実施形態であるＭＦＰの外観構成を示した斜視図である。 ＭＦＰの電気的構成を示すブロック図である。 ＭＦＰが印刷出力する画像一覧の一例を示す図である。 ファイル情報記憶領域の構成を模式的に示す図である。 配置情報記憶領域の構成を模式的に示す図である。 グループ情報記憶領域の構成の一例を示す図である。 第１実施形態のＭＦＰで実行される配置順決定処理を示すフローチャートである。 画像日付算出処理を示すフローチャートである。 図７に示す配置順決定処理の続きの部分を示すフローチャートである。 第１実施形態のＭＦＰで実行される配置印刷処理を示すフローチャートである。 図１０に示す配置印刷処理の続きを示すフローチャートである。 フローチャートである。 第２実施形態のＭＦＰで実行される配置順決定処理のフローチャートである。 図１２に示す配置順決定処理の続きの部分を示すフローチャートである。 第３実施形態のＭＦＰで実行される配置順決定処理のフローチャートである。 図１４に示す配置順決定処理の続きの部分を示すフローチャートである。 第４実施形態のＭＦＰで実行される配置順決定処理のフローチャートである。 図１６に示す配置順決定処理の続きの部分を示すフローチャートである。

符号の説明

１ ＭＦＰ（画像処理装置の一例）
２０ 画像一覧
２１ インデックス画像（フレーム画像情報に対応する画像の一例）
２２ インデックス画像（静止画像情報に対応する画像の一例）
Ｓ１００ 配置順決定処理（順序決定手段の一例）
Ｓ１０６，Ｓ１１７ 撮影日時情報取得手段の一例
Ｓ１２６ 時間分類手段の一例
Ｓ２００ 配置印刷処理（出力手段の一例）
Ｓ２１１ 抽出手段の一例
Ｓ４００ 配置順決定処理（順序決定手段の一例）
Ｓ４０９，Ｓ４１５ 色情報取得手段の一例
Ｓ４２１ 色分類手段の一例
Ｓ５００ 配置順決定処理（順序決定手段の一例）
Ｓ５０９，Ｓ５１６ ダイナミックレンジ情報取得手段の一例
Ｓ５２０ ダイナミックレンジ情報分類手段
Ｓ６００ 配置順決定処理（順序決定手段の一例）
Ｓ６０８，Ｓ６１４ 顔検出手段の一例
Ｓ６０９，Ｓ６１５ 顔情報取得手段の一例
Ｓ６２１ 顔情報分類手段の一例

Claims (4)

1. 静止画像を出力するための静止画像情報および動画像を再生するための動画像情報がそれぞれ１または複数格納される記憶媒体から、情報を読み出して処理する画像処理装置であって、
   前記記憶媒体に格納される１または複数の動画像情報の各々から、２以上のフレーム画像に相当するフレーム画像情報を抽出する抽出手段と、
   前記抽出手段により抽出されるフレーム画像情報と、前記記憶媒体から読み出される静止画像情報との各々について、各画像情報の撮影日時を表す撮影日時情報を取得する撮影日時情報取得手段と、
   前記抽出手段により抽出される複数のフレーム画像情報の各々に対応する画像と、前記記憶媒体から読み出された静止画像情報に対応する画像とを含む画像群が、前記撮影日時情報取得手段により取得される撮影日時情報に従った順序で配列されるように、前記画像群を構成する画像の各々について、配置順序を決定する順序決定手段であって、各フレーム画像情報には、当該フレーム画像情報の属性を示す属性情報が個別に対応付けられており、その属性情報を用いて配列順序を決定する前記順序決定手段と、
   前記順序決定手段により決定された配置順序で前記画像群が配列された画像一覧を出力する出力手段と、を備え、
   前記撮影日時情報取得手段は、当該動画像情報の撮影開始日時と、前記抽出手段により抽出されたフレーム画像情報が当該動画像情報の先頭フレームから何フレーム目に存在するのかを示す情報と、ｆｐｓ（Frame Per Second）情報とから、当該抽出された各フレーム画像情報についての撮影日時情報を算出することを特徴とする画像処理装置。
2. 前記撮影日時情報取得手段により取得される撮影日時情報に基づいて、前記画像群を分類する時間分類手段を備え、
   前記順序決定手段は、前記時間分類手段により同一グループに分類された画像群内で、前記撮影日時情報に従った配置順序を決定するものであり、
   前記出力手段は、前記グループ毎に前記画像一覧を出力することを特徴とする請求項１記載の画像処理装置。
3. 前記時間分類手段は、前記撮影日時情報取得手段により取得される撮影日時情報で表される撮影日時が、同一の時間単位内に含まれるフレーム画像情報または静止画像情報に対応した画像を、同一グループに分類することを特徴とする請求項２記載の画像処理装置。
4. 前記時間分類手段は、前記撮影日時情報取得手段により取得される撮影日時情報で表される撮影日時の差違が、２の画像情報間において所定長さ以上である場合、その２の画像情報に対応した２の画像を、互いに異なるグループに分類することを特徴とする請求項２記載の画像処理装置。

Images