JP4760849B2 - 画像処理装置 - Google Patents

Description

本発明は画像処理装置に関するものである。

近年では、デジタルカメラを用いて動画像と静止画とを撮影できるため、撮影シーンに応じて、動画像と静止画像とを使い分けて撮影するケースが存在している。例えば、集合写真などの動きのないシーンは静止画で撮影し、運動会の場面など、動きのあるシーンは動画像で撮影することができる。

また、このようなデジタルカメラで撮影した動画像や静止画を印刷出力し、またはディスプレイに表示する装置も提案されている。
特開２００５−１３０２５４号公報 特開平９−３２２１１３号公報

しかしながら、上述のような装置では、単に、動画を構成するフレーム画像のインデックス画像と、静止画のインデックス画像とを単純に並べているだけにすぎず、十分に閲覧性が良い画像一覧を提供できていない、という問題点があった。

例えば、動画は多数のフレーム画像から構成されるから、その動画の内容を把握するためには、なるべく多くのフレーム画像を閲覧できるような画像一覧を出力することが好ましい。しかしながら、閲覧に時間がかかること、インクやトナー、記録用紙も大量に消費することを鑑みると、現実的ではない。

一方、各動画像について、一律の数のインデックス画像を形成することとすると、例えば、録画時間が極めて長い動画について、ほんの少しの数のインデックス画像しか形成されず、ユーザはその動画の内容を的確に把握することができないという問題点がある。また、反対に、録画時間が極めて短時間であり、１枚のインデックス画像を見るだけでその内容を把握できるような動画についてまで、複数枚のインデックス画像を形成すると、ほとんど内容に変化のない冗長なインデックス画像が多数形成されることとなり、画像一覧の閲覧性を悪化させるおそれがある。

本発明は、上記の問題点を解決するためになされたものであり、閲覧性の良い画像一覧を出力可能な画像処理装置を提供することを目的としている。

この目的を達成するために、請求項１記載の画像処理装置は、動画像を再生するための複数の動画像ファイルと静止画像を出力するための静止画像ファイルとが記憶されている記憶媒体から、前記動画像ファイルまたは静止画像ファイルを読み出して処理するものであって、前記動画像の録画時間長さが大であるほど、その動画像から抽出するフレーム画像の枚数が大となるように、前記記憶媒体に格納された複数の動画像ファイルの各々について、動画像から抽出するフレーム画像の枚数を決定する抽出フレーム数決定手段と、その抽出フレーム数決定手段により決定される枚数のフレーム画像に対応したフレーム画像情報を、前記動画像ファイルの各々から取得するフレーム画像取得手段と、そのフレーム画像取得手段により取得されるフレーム画像情報に対応するフレーム画像、またはそのフレーム画像の縮小もしくは拡大画像が動画インデックス画像として配置された画像一覧であって、且つ、前記静止画像ファイルに対応した静止画像またはその静止画像の縮小もしくは拡大画像で構成される静止画インデックス画像が、前記動画インデックス画像と共に配置された画像一覧を出力する出力手段と、前記記憶媒体に記憶された前記静止画像ファイルの各々について、前記静止画像ファイルの撮影日時を表す日時情報を取得する静止画日時情報取得手段と、前記フレーム画像取得手段により取得されるフレーム画像情報の各々の撮影日時を表す日時情報を取得するフレーム日時情報取得手段と、前記動画インデックス画像と、前記静止画インデックス画像とを含むインデックス画像群が、前記静止画日時情報取得手段または前記フレーム日時情報取得手段により取得される日時情報で表される撮影日時の昇順または降順で配列されるように、前記インデックス画像群を構成するインデックス画像の各々について、配置順序を決定する順序決定手段とを備え、前記出力手段は、前記順序決定手段により決定された配置順序で前記インデックス画像群が配列された画像一覧を出力する。

請求項２記載の画像処理装置は、請求項１記載の画像処理装置において、前記抽出フレーム数決定手段は、前記出力手段により出力する前記画像一覧に配置する、前記静止画インデックス画像の個数に基づいて、前記動画像から抽出するフレーム画像の枚数を決定する。

請求項１記載の画像処理装置によれば、動画像から抽出するフレーム画像の枚数が動画像ファイルの各々について決定され、その決定された枚数のフレーム画像に対応した動画インデックス画像が、画像一覧に配置されて出力される。よって、動画像毎に適切な個数の動画インデックス画像が配置された、閲覧性の良い画像一覧を出力することができる。

また、記憶媒体に、静止画像ファイルと動画像ファイルとが混在している場合であっても、静止画像ファイルと動画像ファイルの内容をまとめて視認できるような、閲覧性の良い画像一覧を出力することができる

また、動画インデックス画像と、静止画インデックス画像とを含むインデックス画像群が、所定の条件に従った配置順序で配列された、閲覧性の良い画像一覧を出力することができる。

また、撮影日時の順でインデックス画像が整列された、ユーザにとって閲覧性のよい画像一覧を出力できる。

また、録画時間が長い動画像ファイルについては、より多数の動画インデックス画像が、画像一覧に配置されることとなる。録画時間が長い動画像ファイルには、より多くのシーンが撮影されていることが予想されるので、多数の動画インデックス画像を画像一覧に配置することにより、その動画像ファイルの内容を、ユーザに的確に把握させることができる。

また、録画開始から録画終了までに要した時間（すなわち録画時間）に対して再生時間が長いスローモーション映像についても、録画時間が短ければ、フレーム画像の抽出枚数として少ない値が決定されるので、内容を把握するために適切な数の動画インデックス画像を画像一覧に配置することができる。

請求項２記載の画像処理装置によれば、請求項１記載の画像処理装置の奏する効果に加え、画像一覧に配置する、静止画インデックス画像の個数に基づいて、適切な数の動画インデックス画像を画像一覧に配置することができ、ユーザにとって閲覧性の良い画像一覧を出力できる。

以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図１は、本発明の画像処理装置の第１実施形態である多機能周辺装置（以下、「ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）」と称す）１の外観構成を示した斜視図である。

このＭＦＰ１は、フォトキャプチャー機能、コピー機能、スキャナ機能、メディアキャプチャ機能などの各種機能を有する多機能周辺装置である。メディアキャプチャ機能では、後述するスロット部６に装着されたメディアカード（特許請求の範囲の記憶媒体の一例）から画像ファイルを読み出して印刷出力する処理、メディアカードから読み出した画像ファイルに対応した画像をＬＣＤ５に表示出力する処理、スキャナ機能により読み取られた画像データをメディアカードに保存する処理などを実行できる。

特に、本実施形態のＭＦＰ１は、スロット部６に装着されたメディアカード内の画像ファイルの内容をユーザが把握できるように、インデックス画像を配列した閲覧性の良い画像一覧を印刷するように構成されているが、詳細は後述する。

ＭＦＰ１の上部には、原稿を読み取るためのスキャナ２が配置されている。また、筐体内部には記録用紙に画像を印刷する装置として、所謂インクジェットプリンタで構成されたプリンタ３が内蔵されている。

また、ＭＦＰ１の前面には、スロット部６が設けられている。このスロット部６には、コンパクトフラッシュ（登録商標）、ＳＤメモリカードなどの各種メディアカードを直接挿入できるカードスロットが設けられている。

また、原稿カバー体の前方には、操作パネルが設けられており、複数のキーやタッチパネルで構成される操作部４、およびＬＣＤ５を具備する。ＭＦＰ１は、ＬＣＤ５に操作手順や実行中の処理の状態を表示させると共に、操作部４の操作に対応する情報を表示させる。

図２を参照して、ＭＦＰ１の電気的構成について説明する。図２は、ＭＦＰ１の電気的構成を示すブロック図である。ＭＦＰ１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＥＥＰＲＯＭ１４、スキャナ２、プリンタ３、操作部４、ＬＣＤ５、スロット部６を主に有している。

このうち、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＥＥＰＲＯＭ１４は、バスライン２６を介して互いに接続されている。また、スキャナ２、プリンタ３、操作部４、ＬＣＤ５、スロット部６、バスライン２６は、入出力ポート２７を介して互いに接続されている。

ＣＰＵ１１は、ＲＯＭ１２、ＲＡＭ１３やＥＥＰＲＯＭ１４に記憶される固定値やプログラムに従って、ＭＦＰ１が有している各機能の制御や、入出力ポート２７と接続された各部を制御するものである。

ＲＯＭ１２は、ＣＰＵ１１によって実行される制御プログラム１２ａを記憶すると共に、電源遮断後も内容を保持可能な不揮発性のメモリである。制御プログラム１２ａは、後述する図７〜図１３にフローチャートで示す処理を実行するためのプログラムを含んでいる。

ＲＯＭ１２には、さらに横方向画像配置数記憶領域１２ｂ、１ページ画像配置数記憶領域１２ｃが設けられている。

横方向画像配置数記憶領域１２ｂは、「横方向の配置枚数」を記憶する領域である。「横方向の配置枚数」は、画像一覧において、横一列に並べて配置可能なインデックス画像の数を示す値である。なお、本実施形態のＭＦＰ１には、予め印刷用紙サイズ（Ｌ版、Ａ４、Ｌｅｔｔｅｒなど）、および印刷モード（高精細、普通、高速など）に応じて、複数種類の「横方向の配置枚数」が記憶されており、後述する配置印刷処理（図１２，図１３参照）では、この中から適した値を読み出して用いるものとして説明する。

１ページ画像配置数記憶領域１２ｃは、「１ページ内画像配置数」を記憶する領域である。「１ページ内画像配置数」は、１ページ分の記録用紙に形成する画像一覧に、最大で何個分のインデックス画像を配置可能であるかを示す値である。なお、本実施形態においては、予め印刷用紙サイズおよび印刷モードに応じて、複数種類の「１ページ内画像配置数」が記憶されており、後述する配置印刷処理（図１２，図１３参照）では、この中から適した値を読み出して用いるものとして説明する。

ＲＡＭ１３は、ＭＦＰ１の各操作の実行時に各種のデータを一時的に記憶するためのメモリであり、処理ファイル数記憶領域１３ｂ、処理画像総数記憶領域１３ｃ、生成ページ数記憶領域１３ｄ、ファイル情報記憶領域１３ｈ、配置情報記憶領域１３ｉ、フレーム画像情報記憶領域１３ｊ、デコードデータ記憶領域１３ｋ、カウンタ記憶領域１３ｍ、動画像ファイル数記憶領域１３ｏ、ダイナミックレンジ情報管理領域１３ｓ、第１調査フレーム記憶領域１３ｔ、第２調査フレーム記憶領域１３ｕが設けられている。

ここで、本実施形態で用いる用語の意味を説明する。本実施形態において、「動画像」とは、多数のフレーム画像を切り替え表示することにより再生される画像を意味している。「動画像ファイル（動画像情報の一例）」は、動画像を再生するためのファイルであって、例えば、ＡＶＩ動画ファイル、クイックタイム動画ファイルなどで構成される。ただし、動画像を再生可能な情報であれば、どのような形式のファイルであっても差し支えない。また、本実施形態において、「フレーム画像情報」は、動画像を構成する１のフレーム画像に対応した情報を意味している。

処理ファイル数記憶領域１３ｂは、「総処理ファイル数」を記憶する領域である。「総処理ファイル数」は、メディアカードに格納される静止画像ファイル（静止画像情報の一例）と動画像ファイルの合計を示す値である。

処理画像総数記憶領域１３ｃは、「処理画像総数」を記憶する領域である。「処理画像総数」は、画像一覧内に形成するインデックス画像の総数を示す値である。生成ページ数記憶領域１３ｄは、「生成ページ数」を記憶する領域である。「生成ページ数」は、後述する配置印刷処理（図１２、図１３）の実行により出力する画像一覧の総ページ数を示す値である。

ファイル情報記憶領域１３ｈ、配置情報記憶領域１３ｉについては、図５、図６を参照して後述する。

フレーム画像情報記憶領域１３ｊは、動画ファイルから抽出されるフレーム画像情報を格納する領域である。デコードデータ記憶領域１３ｋは、フレーム画像情報をデコード処理した結果、または、静止画像ファイルをデコード処理した結果を記憶する領域である。

カウンタ記憶領域１３ｍは、各種カウンタを記憶する領域である。動画像ファイル数記憶領域１３ｏは、メディアカードが格納する動画像ファイルの個数を記憶する領域である。

ダイナミックレンジ情報管理領域１３ｓ、第１調査フレーム記憶領域１３ｔ、第２調査フレーム記憶領域１３ｕは、第１実施形態のＭＦＰ１では用いなくても良いため、第２実施形態と共に説明することとし、ここでの説明は省略する。ＥＥＰＲＯＭ１４は、書換可能な不揮発性のメモリである。

図３は、ＭＦＰ１が印刷する、１ページ分の画像一覧２０の一例を示す図である。図３に示すように、画像一覧２０には、動画像ファイルの内容を示す動画インデックス画像２１と、静止画像ファイルの内容を示す静止画インデックス画像２２とからなる画像群が配列されている。

詳細は図４を参照して後述するが、ＭＦＰ１は、動画像から抽出するフレーム画像の枚数を、メディアカードに格納された動画像ファイルの各々について、個別に決定する。

そして、決定した枚数のフレーム画像に対応したフレーム画像情報を、動画像ファイルの各々から抽出（取得）し、その抽出したフレーム画像情報に対応するフレーム画像を、規定サイズに縮小もしくは拡大した画像を、動画インデックス画像２１として画像一覧２０に配置する。

したがって、動画像毎に適切な個数の動画インデックス画像２１が配置された、閲覧性の良い画像一覧２０を出力することができる。

また、ＭＦＰ１は、静止画像を出力するための静止画像ファイルがメディアカードに記憶されている場合は、その静止画像ファイルに対応した静止画像を、規定サイズに縮小もしくは拡大した画像を、静止画インデックス画像２２として、動画インデックス画像２１と共に画像一覧２０に配置する。

よって、メディアカードに、静止画像ファイルと動画像ファイルとが混在している場合であっても、静止画像ファイルと動画像ファイルの内容をまとめて視認できるような、閲覧性の良い画像一覧２０を出力することができる。

また、ＭＦＰ１は、インデックス画像２１，２２を含む画像群が、撮影日時（生成時刻の一例）の昇順または降順となるように、インデックス画像群を構成するインデックス画像の各々について配置順序を決定し、その決定した配置順序でインデックス画像２１，２２を配列した画像一覧２０を印刷する。

図３に示す画像一覧２０はその一例であるが、例えば、画像一覧２０の左側から右側へ向かうにつれて、撮影日時が新しくなるような順序で、横一列分のインデックス画像２１，２２が配列し、その横一列分の配列の下に、次に撮影日時が新しい横一列分のインデックス画像２１，２２が配列されるように、インデックス画像２１，２２の各々について配置順序を決定する。よって、撮影日時順でインデックス画像２１，２２が整列された、ユーザにとって閲覧性のよい画像一覧を出力できる。

なお、図３に示すように、ＭＦＰ１は、同一の動画像ファイルに由来する複数のインデックス画像２１が隣接して配置される場合、例えば、映画用フィルムを擬した図柄により連結した体裁で、印刷出力することとしている。このようにすれば、ユーザは、同一の動画像ファイルに由来するインデックス画像２１をまとめて把握できると共に、静止画像ファイルに対応するインデックス画像２２と、フレーム画像情報に対応するインデックス画像２１とを一目で区別することができ、閲覧性が良い。

図４は、第１実施形態のＭＦＰ１によって決定される、動画像から抽出するフレーム画像の枚数と、録画時間長さとの関係を模式的に示す図である。

図４に示すように、ＭＦＰ１は、動画像の録画時間長さ（すなわち、録画開始Ｓから録画終了Ｅまでの時間）が大であるほど、その動画像から抽出するフレーム画像の枚数が大となるように、動画像ファイルの各々について、フレーム画像の枚数を決定する。より具体的には、録画時間長さの割合に応じて、各動画像から抽出されるフレーム画像の枚数が決定される。つまり、録画時間の長い動画像の方が、録画時間の短い動画像よりも多くのフレームが抽出されるようにフレーム枚数が決定される。

このようにすれば、録画時間が長い動画像情報については、より多数の動画インデックス画像２１が、画像一覧２０に配置されることとなる。録画時間が長い動画像ファイルには、より多くのシーンが撮影されていることが予想されるので、多数の動画インデックス画像２１を画像一覧２０に配置することにより、その動画像ファイルの内容を、ユーザに的確に把握させることができる。

図５は、ファイル情報記憶領域１３ｈの構成を模式的に示す図である。図５に示すように、ファイル情報記憶領域１３ｈには、ファイルＩＤを記憶するファイルＩＤ記憶領域２０１、ファイル名を記憶するファイル名記憶領域２０２、ファイル種類を記憶するファイル種類記憶領域２０３、抽出フレーム数を記憶する抽出フレーム数記憶領域２０４、総フレーム数を記憶する総フレーム数記憶領域２０５、ｆｐｓ情報を記憶するｆｐｓ情報記憶領域２０６、ファイル日付情報を記憶するファイル日付情報記憶領域２０７、ファイル時間情報を記憶するファイル時間情報記憶領域２０８、ファイル付加情報記憶領域２０９が設けられ、ファイル名、ファイル種類、抽出フレーム数、ｆｐｓ情報、ファイル日付情報、ファイル時間情報、ファイル付加情報からなるファイル情報２００を、そのファイル情報２００を管理するファイルＩＤに対応付けた情報を記憶する。ＭＦＰ１は、画像一覧２０（図３参照）におけるインデックス画像２１，２２の配置順序を決定するための準備処理として、メディアカード内に格納された静止画像ファイルまたは動画像ファイルの各々についてファイル情報２００を作成し、ファイル情報記憶領域１３ｈに格納する。

ファイルＩＤ記憶領域２０１は、ファイルＩＤを記憶する領域である。ファイル名記憶領域２０２は、静止画像ファイルまたは動画像ファイルのファイル名を格納する領域である。図５に示すように、各ファイル名には、拡張子が付加されている。例えば、画像ファイルがＪＰＥＧファイルである場合は拡張子「jpg」が付加され、ＡＶＩ動画ファイルである場合は拡張子「avi」が付加され、クイックタイム動画ファイルである場合は拡張子「mov」が付加される。

ファイル種類記憶領域２０３は、各画像ファイルの種類（フォーマット）を示す値を格納する領域である。画像ファイルの種類は、例えば、ファイル名に付加された拡張子に基づいて判定することができる。本実施形態では、画像ファイルの形式がＪＰＥＧファイル（拡張子jpg)である場合、ＪＰＥＧファイルであることを示す値「０」をファイル種類記憶領域２０３に格納し、画像ファイルの形式がＡＶＩ動画ファイル(拡張子avi）である場合、値「１」をファイル種類記憶領域２０３に格納し、画像ファイルの形式がクイックタイム動画ファイル（拡張子mov)である場合、値「２」をファイル種類記憶領域２０３に格納する。

なお、各画像ファイルの先頭から数バイト分に格納されている情報に基づいて画像ファイルの種類を判定することもできる。例えば、先頭から２バイトが「０ｘＦＦＤ８」であればＪＰＥＧファイルであると判定できるし、先頭から２バイトが「０ｘ４２４Ｄ」であれば、ビットマップデータであると判定することができる。これらの情報に基づいて、画像ファイルの種類を判定しても差し支えない。

抽出フレーム数記憶領域２０４は、何枚分のフレーム画像に対応したフレーム画像情報を、画像ファイルから抽出するかを示す値を記憶する領域である。なお、静止画像ファイルの場合、抽出フレーム数記憶領域２０４には「１」が格納される。動画像ファイルの場合は、後述する抽出フレーム数決定処理（図９参照）で決定されたフレーム画像抽出数が記憶される。

総フレーム数記憶領域２０５は、各画像ファイルの総フレーム数を格納する領域である。動画像ファイルの場合は動画像ファイルに含まれる総フレーム数が格納され、静止画像である場合は常に１が格納される。

ｆｐｓ情報記憶領域２０６は、各画像ファイルのｆｐｓ（Frame Per Second)情報を格納する領域である。静止画像ファイルである場合には「０」が格納される。一方、動画像ファイルである場合には、例えば、１秒間に６０フレーム画像が存在することを示す「６０」や、１秒間に３０フレーム画像が存在することを示す「３０」が、このｆｐｓ情報記憶領域２０６に格納される。

ファイル日付情報記憶領域２０７は、各画像ファイルの撮影日を表すファイル日付情報を格納する領域である。例えば、撮影日「２００８年１月１５日」は、ファイル日付情報「20080115」として表すものとする。

ファイル時間情報記憶領域２０８は、各画像ファイルの撮影時間を表すファイル時間情報を格納する領域である。例えば、撮影時間「１２時５０分４５秒」は、ファイル時間情報「125045」として表すものとする。画像ファイルが動画像ファイルの場合は、撮影開始時間を表す情報が、ファイル時間情報として格納される。

以降の説明では、各画像ファイルのヘッダに記述された情報を読み出してくることにより、総フレーム数、ｆｐｓ情報、ファイル日付情報およびファイル時間情報を取得するものとするが、他の手段により、これらの情報を取得しても良い。

ファイル付加情報記憶領域２０９には、各画像ファイルのその他の固有情報を格納する領域である。本第１実施形態では、ファイル付加情報記憶領域２０９には、動画像ファイルの録画時間の長さを表す録画長情報が格納される。なお、図５のファイル付加情報記憶領域２０９に示す値の単位は「秒」である。また、静止画像ファイルの場合、ファイル付加情報記憶領域２０９には、一律に「１」を格納する。

図６は、配置情報記憶領域１３ｉの構成を模式的に示す図である。図６に示すように、配置情報記憶領域１３ｉは、ファイルＩＤ、抽出フレーム位置、抽出フレーム番号、画像日付情報、画像時間情報、画像付加情報からなる配置情報３００と、その配置情報３００に対応する配置順序とを記憶する。

図６に示すように、配置情報記憶領域１３ｉには、配置順序記憶領域３０１、ファイルＩＤ記憶領域３０２、抽出フレーム位置記憶領域３０３、抽出フレーム番号記憶領域３０４、画像日付情報記憶領域３０５、画像時間情報記憶領域３０６が設けられる。

配置情報記憶領域３０１は、配置順序を記憶する領域である。後述する配置印刷処理（図１２，図１３参照）では、配置順序に従った順序で、配置情報３００が読み出され、各配置情報３００で特定されるフレーム画像または静止画像のインデックス画像２１，２２が、配置順序に従った順序で、画像一覧２０に配列される。

ファイルＩＤ記憶領域３０２は、ファイルＩＤを記憶する領域である。図５を参照して説明したように、ファイル情報記憶領域１３ｈには、ファイルＩＤとファイル名とが１対１で対応付けて記憶されているので、ファイルＩＤから、１の画像ファイルを特定することができる。

抽出フレーム位置記憶領域３０３は、１の動画像ファイルにおける先頭から数えて何番目のフレーム画像情報であるかを示す「抽出フレーム位置」を記憶する領域である。なお、抽出フレーム位置の算出方法は後述する。

抽出フレーム番号記憶領域３０４は、１の動画像ファイルから抽出されるフレーム画像情報の中で、先頭から数えて何番目に当たるかを示す「抽出フレーム番号」を記憶する。

画像日付情報記憶領域３０５は、ファイルＩＤ記憶領域３０２に格納されたファイルＩＤで特定される画像ファイルの撮影日を表す画像日付情報が格納される領域である。画像時間情報記憶領域３０６は、撮影時間を表す画像時間情報が格納される領域である。静止画像ファイルについては、ファイル情報記憶領域１３ｈの対応する領域に格納されたファイル時間情報が、この画像時間情報記憶領域３０６にコピーされる。

一方、動画像ファイルについては、フレーム画像情報毎に、撮影時間を表す画像時間情報を取得し、画像時間情報記憶領域３０６に記憶する。なお、フレーム画像情報毎の画像時間情報を算出する具体的演算例については、図１０に示すフローチャートを参照して後述する。

図７は、ＭＦＰ１で実行されるレイアウト画像印刷処理を示すフローチャートである。このレイアウト画像印刷処理は、ユーザによって、画像一覧２０の印刷出力の開始指示が入力されると実行される。

図７に示すように、レイアウト画像印刷処理では、まず、ファイル情報２００を作成し、ファイル情報記憶領域１３ｈ（図５参照）へ格納する画像情報取得処理（Ｓ１０１）を実行する。処理の詳細は図８を参照して後述する。

次に、動画像から抽出するフレーム画像の枚数を決定する抽出フレーム数決定処理を実行する（Ｓ１０１ａ）。処理の詳細は、図９を参照して後述する。

次に、配置情報決定処理を実行する（Ｓ１０２）。この処理は、インデックス画像２１，２２の配置順序を決定する。この処理の詳細は、図１０を参照して後述する。次に、配置印刷処理を実行する（Ｓ１０３）。配置印刷処理（Ｓ１０３）の詳細は、図１２，図１３を参照して後述する。

ＭＦＰ１は、レイアウト画像印刷処理を実行することにより、図３を参照して説明した画像一覧２０を出力する。

図８は、画像情報取得処理（Ｓ１０１）を示すフローチャートである。画像情報取得処理（Ｓ１０１）は、ファイル情報２００（図５参照）を作成する処理である。

まず、メディアカードに記憶されている総処理ファイル数を算出し、処理ファイル数記憶領域１３ｂに記憶する（Ｓ２９９）。次に、メディアカードに記憶されている動画像ファイル数を算出し、動画像ファイル数記憶領域１３ｏに記憶する（Ｓ３００）。

そして、ファイル数をカウントするファイル数カウンタを０で初期化する（Ｓ３０１）。このファイル数カウンタは、カウンタ記憶領域１３ｍ（図２参照）に設けられている。

次に、メディアカードに格納された画像ファイルのうち、１の画像ファイルを処理対象として選択し、その画像ファイルのファイル名、ファイル日付情報、ファイル時間情報を取得する（Ｓ３０２）。そして、ファイル数カウンタ値のファイルＩＤに対応した領域に、取得したファイル名、ファイル日付情報、ファイル時間情報を記憶する（Ｓ３０３）。なお、ファイル名はファイル名記憶領域２０２へ記憶し、ファイル日付情報はファイル日付情報記憶領域２０７へ記憶し、ファイル時間情報はファイル時間情報記憶領域２０８（図５参照）へ記憶する。

次に、選択した画像ファイルの種類を解析する（Ｓ３０４）。この処理では、例えば、ファイル名に付加された拡張子を解析することにより、画像ファイルの種類を判定している。そして、判定した画像ファイルの種類を、ファイル数カウンタ値のファイルＩＤに対応した、ファイル種類記憶領域２０３（図５参照）へ記憶する（Ｓ３０５）。

そして、取得した画像ファイルの種類に基づいて、選択した画像ファイルが動画像ファイルであるか静止画像ファイルであるかを判断する（Ｓ３０６）。

Ｓ３０６の判断において、動画像ファイルであると判断した場合（Ｓ３０６：動画像）、動画像ファイルの録画時間長さを表す録画長情報を取得する（Ｓ３０７）。本実施形態では、動画像ファイルのヘッダ情報に含まれる録画長情報を取得するものとして説明する。ただし、例えば、動画像ファイルのヘッダ情報に含まれる、総フレーム数をｆｐｓ情報で除した値を、録画長情報として取得するなど、他の手段により録画長情報を取得しても良い。

そして、取得した録画長情報を、ファイル数カウンタ値のファイルＩＤに対応した、ファイル付加情報記憶領域２０９（図５参照）へ記憶する（Ｓ３０８）。

一方、Ｓ３０６の判断において、静止画像ファイルであると判断した場合（Ｓ３０６：静止画像）、ファイル付加情報記憶領域２０９に「１」を記憶する（Ｓ３０９）。

このようにして、Ｓ３０８またはＳ３０９の処理のうち、いずれかが実行されると、次に、処理画像数カウンタに１を加算し（Ｓ３１０）、ファイル数カウンタの値が、総処理ファイル数を超えたか否かを判断する（Ｓ３１１）。

Ｓ３１１の判断が否定される場合（Ｓ３１１：Ｎｏ）、Ｓ３０２に戻り処理を繰り返すが、肯定される場合（Ｓ３１１：Ｙｅｓ）、この画像情報取得処理（Ｓ１０１）を終了する。そして、図９に示す処理に移行する。

図９は、抽出フレーム数決定処理（Ｓ１０１ａ）を示すフローチャートである。抽出フレーム数決定処理（１０１ａ）では、動画像から抽出するフレーム画像の枚数を、メディアカードに格納された動画像ファイルの各々について決定する。

まず、ファイル数カウンタを０で初期化する（Ｓ４００）。次に、ファイル数カウンタ値のファイルＩＤに対応した、ファイル種類記憶領域２０３を参照し、画像ファイルの種類が動画像であるか静止画像であるかを判断する（Ｓ４０２）。

静止画像であると判断された場合（Ｓ４０２：静止画像）、フレーム画像抽出数「１」を、ファイルカウンタ値のファイルＩＤに対応した抽出フレーム数記憶領域２０４（図５参照）へ記憶し（Ｓ４０２ａ）、ファイル数カウンタに１を加算する（Ｓ４０７）。そして、ファイル数カウンタの値が、総処理ファイル数以上となったか否かを判断する（Ｓ４０８）。Ｓ４０８の判断が否定される場合（Ｓ４０８：Ｎｏ）、Ｓ４０２に戻り処理を繰り返す。

一方、動画像であると判断された場合（Ｓ４０２：動画像）、処理対象の動画像ファイルの録画長情報をファイル付加情報記憶領域２０９（図５参照）から読み出し（Ｓ４０３）、その録画長情報を、予め定められた単位時間で除算して、フレーム画像の抽出数（フレーム画像抽出数）を決定する（Ｓ４０４）。なお、フレーム画像の抽出数としては、１以上の整数を算出するものとする。また、単位時間は、ユーザが操作部４から入力できるように構成されても良い。

さらに、フレーム画像抽出数の具体的算出方法は、上述した例に限られるものではなく、別の方法も採用し得る。例えば、全ての動画像ファイルの録画長情報を平均した「平均録画時間」と、規定の基準抽出枚数とを用いて、下記数式４のように算出しても良い。

（数式４）
フレーム画像抽出枚数＝（録画長情報／平均録画時間）×基準抽出枚数

次に、決定したフレーム画像抽出数を、ファイル数カウンタ値のファイルＩＤに対応した、抽出フレーム数記憶領域２０４（図５参照）へ記憶する（Ｓ４０６）。

そして、ファイル数カウンタの値に１を加算し（Ｓ４０７）、Ｓ４０８の判断が否定される間（Ｓ４０８：Ｎｏ）、Ｓ４０２から処理を繰り返す。そして、処理を繰り返すうちに、ファイル数カウンタの値が総処理ファイル数以上となると（Ｓ４０８：Ｙｅｓ）、抽出フレーム数決定処理を終了する。

このようにすれば、動画像ファイルの各々について、適切なフレーム画像抽出数が決定される。

図１０は、配置情報決定処理を示すフローチャートである。まず、ファイル数カウンタ、処理画像数カウンタおよびフレーム画像抽出枚数カウンタを、それぞれ０で初期化する（Ｓ１００１）。なお、これらのカウンタは、カウンタ記憶領域１３ｍ（図２参照）に設けられている。

次に、ファイル数カウンタ値のファイルＩＤに対応した画像ファイルの種類を判定する（Ｓ１００２）。最初は、ファイル数カウンタの値が「０」であるため、ファイルＩＤ「０」の画像ファイルの種類を判定することとなる。

画像ファイルの種類が動画像であると判断した場合（Ｓ１００２：動画像）、動画像ファイルの撮影日を表すファイル日付情報、動画像ファイルの撮影開始時間を表すファイル時間情報、動画像ファイルのｆｐｓを表すｆｐｓ情報、および動画像ファイルの総フレーム数を表す総フレーム数情報を、その動画像ファイルのヘッダから読み出す（Ｓ１００３）。

そして、処理画像数カウンタ値の配置順序に対応したファイル日付情報記憶領域２０７へファイル日付情報を記憶し、ファイル時間情報記憶領域２０８へファイル時間情報を記憶し、ｆｐｓ情報記憶領域２０６へｆｐｓ情報を記憶し、総フレーム数記憶領域２０５へ総フレーム数情報を記憶する（Ｓ１００４）。

次に、処理対象の画像ファイルについて配置情報を作成し、配置情報記憶領域１３ｉ（図６参照）へ記憶する処理を行う。具体的には、まず、処理画像数カウンタ値の配置順序に対応したファイルＩＤ記憶領域３０２へ、現時点におけるファイル数カウンタの値をファイルＩＤとして記憶する。また、現時点におけるフレーム画像抽出枚数カウンタ値に基づいて、抽出フレーム番号および抽出フレーム位置を算出し、抽出フレーム位置記憶領域３０３および抽出フレーム番号記憶領域３０４にそれぞれ記憶する（Ｓ１００４ａ）。

なお、抽出フレーム位置は、例えば、下記数式５のように算出することができる。
（数式５）
抽出フレーム位置 ＝ （総フレーム数／抽出フレーム数）×抽出フレーム番号

次に、抽出フレーム位置で特定されるフレーム画像情報の画像時間情報を算出して取得し、配置順序に対応する画像時間情報記憶領域３０６へ記憶する（Ｓ１００５）。本実施形態においては、一例として、以下のように、画像時間情報を算出するものとする。

ここで、動画像ファイルの撮影開始時間を表すファイル時間情報をVideoTime、ｆｐｓ情報をFPS、フレーム画像情報の撮影時間を表す画像時間情報をFrameTime、処理対象のフレーム画像情報の抽出フレーム位置をＮとする。

そして、ファイル時間情報VideoTimeを、以下数式６のように、動画像時間情報VT_Hour、動画像分情報VT_Minute、動画像秒情報VT_Secondに分解する。
（数式６）
VT_Hour = [ VideoTime／10000 ]
VT_Minute = [ (VideoTime - VT_Hour×10000)／100 ]
VT_Second = VideoTime - (VT_Hour×10000 + VT_Minute×100)
次に、フレーム時情報Frame_Hour、フレーム分情報Frame_Minute、フレーム秒情報Frame_Secondを下記数式７の通り算出する。
（数式７）
ここでCal_Second,Cal_Minute,Cal_Hourは上記情報を求めるための一時変数とする。
また、A mod BはAをBで割った時の剰余を表す
Cal_Second = VT_Second + [ N / FPS]
Cal_Minute = VT_Minute + [ Cal_Second / 60 ]
Cal_Hour = VT_Hour + [ Cal_Minute / 60 ]
Frame_second = Cal_Second mod 60
Frame_Minute = Cal_Minute mod 60
Frame_Hour = Cal_Hour mod 24
以上を、例えば、下記の数式８を用いて結合し、フレーム画像情報の撮影時間を表す画像時間情報FrameTimeを算出する。
（数式８）
FrameTime = Frame_Hour×10000 + Frame_Minute×100 + Frame_Second
次に、画像日付算出処理を実行する（Ｓ１００６）。画像日付算出処理は、フレーム年情報Frame_Year、フレーム月情報Frame_Month、フレーム日情報Frame_Dayを算出し、取得する処理である。

図１１は、画像日付算出処理を示すフローチャートである。なお、図１１のフローチャートに示す変数Ｍは、現日付からＭ日進めることを意味する変数である。

まず、フレーム年情報Frame_Year、フレーム月情報Frame_Month、フレーム日情報Frame_Dayに、それぞれ、動画像年情報VD_Year、動画像月情報VD_Month、動画像日情報VD_Dayを代入する（Ｓ１２０１）。次に、変数Ｍに、［Cal_Hour/24］を代入する（Ｓ１２０２）。次にＭが０であるかを判断し（Ｓ１２０３）、肯定されると（Ｓ１２０３：Ｙｅｓ）、本処理を終了する。

一方、否定されると（Ｓ１２０３：Ｎｏ）、フレーム日情報Frame_Dayを判断する（Ｓ１２０４）。「１以上２７以下」と判断されると（Ｓ１２０４：１以上２７以下）、Frame_Dayに「１」を加算する（Ｓ１２０５）。

一方、Ｓ１２０４の判断において、「２８または２９」と判断されると（Ｓ１２０４：２８ｏｒ２９）、Frame_Monthが「２」であるか否かを判断する（Ｓ１２０６）。否定される場合（Ｓ１２０６；Ｎｏ）、Ｓ１２０５の処理に移行する。

一方、肯定されると（Ｓ１２０６：Ｙｅｓ）、次に、Frame_Dayが「２８」であるかを判断する（Ｓ１２０８）。否定される場合（Ｓ１２０８：Ｎｏ）、Frame_Dayに「１」を代入し、Frame_Monthに「１」を加算する（Ｓ１２１０）。

一方、Ｓ１２０８の判断が肯定されると（Ｓ１２０８：Ｙｅｓ）、Frame_Yearで示される年がうるう年か否かを判断する（Ｓ１２０９）。肯定される場合（Ｓ１２０９：Ｙｅｓ）、Ｓ１２０５の処理に進む。否定される場合（Ｓ１２０９：Ｎｏ）、Ｓ１２１０の処理に進む。

次に、Ｓ１２０４の判断において、「３０」と判断されると（Ｓ１２０４：３０）、次に、Frame_Monthが４，６，９，１１のいずれかであるかを判断する（Ｓ１２１１）。肯定される場合（Ｓ１２１１：Ｙｅｓ）、Ｓ１２１０の処理に進む。

一方、否定される場合（Ｓ１２１１：Ｎｏ）、Frame_Dayに「１」を加算する（Ｓ１２１６）。次に、Ｓ１２０４の判断において、「３１」と判断されると（Ｓ１２０４：３１）、次に、Frame_Yearが１２であるかを判断する（Ｓ１２１５）。否定される場合（Ｓ１２１５：Ｎｏ）、Ｓ１２１６の処理に進む。

一方、肯定される場合（Ｓ１２１５：Ｙｅｓ）、Frame_Dayに「１」を代入し、Frame_Monthに「１」を代入し、Frame_Yearに「１」を加算する（Ｓ１２１７）。

Ｓ１２０５，Ｓ１２１０，Ｓ１２１６，Ｓ１２１７の処理の後は、変数Ｍから「１」減算し（Ｓ１２１２）、Ｓ１２０３に戻る。そして、Ｓ１２０３の判断が肯定されると（Ｓ１２０３：Ｙｅｓ）、本処理を終了する。

図１０に戻り説明する。図１１に示す処理で算出した値を、例えば下記数式１１を用いて結合し、フレーム画像情報の撮影日付を表す画像日付情報FrameDateを算出する。算出された画像日付情報は、画像日付情報記憶領域３０５へ記憶する（Ｓ１００７）。
（数式１１）
FrameDate = Frame_Year×10000 + Frame_Month×100 + Frame_Day

なお、Ｓ１００５，Ｓ１００６の処理で取得される、画像時間情報および画像日付情報が、特許請求の範囲に記載の日時情報の一例に相当する。また、画像時間情報および画像日付情報で特定される撮影日時が、特許請求の範囲に記載の、撮影日時の一例に相当する。

このようして、動画像ファイルから抽出される１のフレーム画像情報について、配置情報が作成され、配置情報記憶領域１３ｉへ記憶すると、次に、処理済みの画像数をカウントする処理画像数カウンタ、およびフレーム画像抽出枚数カウンタに、それぞれ「１」を加算する（Ｓ１００８）。

そして、フレーム画像抽出枚数カウンタの値が、その動画像ファイルについて決定されたフレーム画像抽出数以上となったか否かを判断する（Ｓ１００９）。Ｓ１００９の判断が否定される場合（Ｓ１００９：Ｎｏ）、Ｓ１００４ａに戻り処理を繰り返す。

一方、Ｓ１００９の判断が肯定される場合（Ｓ１００９：Ｙｅｓ）、次にフレーム画像抽出枚数カウンタを０で初期化し（Ｓ１０１０）、ファイル数カウンタに１を加算する（Ｓ１０１６）。なお、フレーム画像抽出枚数カウンタは、カウンタ記憶領域１３ｍ（図２参照）に設けられている。そして、ファイル数カウンタの値が、メディアカードに格納される静止画像ファイルと動画像ファイルの合計を示す「総処理ファイル数」以上となったか否かを判断する（Ｓ１０１７）。Ｓ１０１７の判断が否定される場合（Ｓ１０１７：Ｎｏ）、Ｓ１００２の処理に戻り、ファイル数カウンタ値のファイルＩＤに対応した次の画像ファイルを処理対象として選択し、処理を繰り返す。

次に、処理対象の画像ファイルが静止画像ファイルであると判断された場合（Ｓ１００２：静止画像）について説明する。静止画像ファイルである場合も、同様に、まず、その静止画像ファイルに関するファイル情報を作成し、ファイル情報記憶領域１３ｈ（図４参照）へ格納する。

具体的には、まず、処理画像数カウンタ値の配置順序に対応したファイルＩＤ記憶領域３０２（図６参照）へ、現時点におけるファイル数カウンタの値を記憶し、抽出フレーム位置記憶領域３０３および抽出フレーム番号記憶領域３０４（図６参照）へ「１」を記憶する（Ｓ１０１１ａ）。そして、処理対象の静止画像ファイルの撮影日を表すファイル日付情報および撮影時間を表すファイル時間情報を読み出し（取得し）（Ｓ１０１１）、ファイル情報記憶領域１３ｈのうち、ファイル数カウンタ値のファイルＩＤに対応した領域へ、取得したファイル日付情報とファイル時間情報とを記憶する（Ｓ１０１２）。なお、ｆｐｓ情報記憶領域２０６には「０」を記憶する。ここで、ファイル日付情報およびファイル時間情報が、特許請求の範囲に記載の日時情報の一例に相当する。また、ファイル日付情報およびファイル時間情報で特定される撮影日時が、特許請求の範囲に記載の、撮影日時の一例に相当する。

次に、ファイル数カウンタ値のファイルＩＤに対応した処理対象の静止画像ファイルのファイル日付情報を、配置情報記憶領域１３ｉ（図６参照）における、処理画像数カウンタ値の配置順序に対応する画像日付情報記憶領域３０５へ記憶し、同配置順序に対応する画像時間情報記憶領域３０６へ、処理対象の静止画像ファイルのファイル時間情報を記憶する（Ｓ１０１３）。そして、処理画像数カウンタに１を加算し（Ｓ１０１５）、Ｓ１０１６の処理に移行する。

このようにして処理を繰り返すうちに、Ｓ１０１７の判断が肯定されると（Ｓ１０１７：Ｙｅｓ）、次に、画像時間情報の小さい順に配置情報をソートし（Ｓ１０１８）、配置情報決定処理（Ｓ１０２）を終了する。配置情報決定処理（Ｓ１０２）により、配置情報で特定されるインデックス画像２１，２２の各々について、対応する配置順序が決定する。

図１２は、配置印刷処理を示すフローチャートである。図１２に示す配置印刷処理（Ｓ１０３）は、配置情報決定処理（Ｓ１０２；図１０参照）によって決定された順序でインデックス画像２１，２２が配列された画像一覧２０を、記録用紙に印刷出力する。

まず、画像一覧２０に配列される横一列分のインデックス画像２１，２２の数を示す「横方向の配置枚数」を、横方向画像配置数記憶領域１２ｂから読み出す（Ｓ１１０１）。次に、１ページ分の画像一覧２０に配置可能なインデックス画像２１，２２の数を示す「１ページ内画像配置数」を、１ページ内画像配置数記憶領域１２ｃから読み出す（Ｓ１１０２）。

次に、ページカウンタを１で初期化し（Ｓ１１０３）、静止画像ファイルの総数と、フレーム画像の抽出数の総数とを合計した値である「処理画像総数」を、処理画像総数記憶領域１３ｃ（図２参照）から算出する（Ｓ１１０４）。なお、ページカウンタは、カウンタ記憶領域１３ｍに設けられている。

次に、処理画像総数と、１ページ内画像配置数とから、何ページ分の画像一覧を印刷出力するかを示す「生成ページ数」を算出し、生成ページ数記憶領域１３ｄ（図２参照）へ記憶する（Ｓ１１０５）。

本実施形態では、生成ページ数page_noは下記数式１２を用いて算出する。ここでは、処理画像総数をTotalImageNo，１ページ内画像配置数をLAYOUT_NUMとしている。
（数式１２）
page_no = [ TotalImageNo / LAYOUT_NUM ] + 1
次に、レイアウト画像カウンタを０で初期化し（Ｓ１１０６）、１枚の記録用紙内に配置する配置画像数layout_noを算出する（Ｓ１１０７）。本実施形態においては、layout_noは下記数式１３を用いて算出する。また、レイアウト画像カウンタは、カウンタ記憶領域１３ｍに設けられている。
（数式１３）
(ページカウンタ値) ＜ 生成ページ数 の時
layout_no = (1ページ内画像配置数）
(ページカウンタ値) ≧ 生成ページ数 の時
layout_no = (グループ画像数) - { (１ページ内画像配置数) × (ページカウンタ値) }
次に、配置順序に対応したファイルＩＤと、抽出フレーム番号とを配置情報記憶領域１３ｉから読み出す（Ｓ１１０８）。そして、読み出したファイルＩＤに対応する画像ファイルが、動画像ファイルであるか静止画像ファイルであるかを判定する（Ｓ１１０９）。

Ｓ１１０９の判定において、動画像ファイルと判定される場合（Ｓ１１０９：動画像）、次に、抽出フレーム番号に対応した、１フレーム画像分のフレーム画像情報を動画像ファイルから抽出する（Ｓ１１１０）。

次に、抽出したフレーム画像情報をデコード処理する（Ｓ１１１１）。そして、デコードしたフレーム画像情報をインデックス画像２１，２２の規定サイズに縮小または拡大し、配置用バッファの所定位置に配置する（Ｓ１１１２）。

一方、Ｓ１１０９の判定において、静止画像ファイルと判定される場合（Ｓ１１０９：静止画像）、配置順序に対応したファイルＩＤで特定される静止画像ファイルを抽出し、デコード処理する（Ｓ１１１３）、そして、デコードされた静止画像ファイルをインデックス画像２１，２２の規定サイズに縮小または拡大し、配置用バッファの所定位置に配置する（Ｓ１１１４）。

このようにして、フレーム画像情報または静止画像ファイルのいずれかをデコード処理して配置用バッファに配置する配置処理を実行した後、次に、横方向に配置できる画像数の上限である「横方向の配置枚数」回分の配置処理を行ったか否かを判断する（Ｓ１１１５）。Ｓ１１１５の判断が否定される場合（Ｓ１１１５：Ｎｏ）、配置用バッファにおける次のデータの配置位置を示す横方向位置を更新する（Ｓ１１１９）。

そして、レイアウト画像カウンタに「１」を加算し（Ｓ１１２０）、レイアウト画像カウンタの値が、現在の処理対象の記録用紙に配置するインデックス画像２１，２２の数「layout_no」以上となったか否かを判断する（Ｓ１１２１）。Ｓ１１２１の判断が否定される場合（Ｓ１１２１：Ｎｏ）、Ｓ１１０８の処理に戻り、次の配置順序に対応した配置情報を処理する。

このようにして処理を繰り返す内に、「横方向の配置枚数」回分の配置処理が実行されると、Ｓ１１１５の判断が肯定されるので（Ｓ１１１５：Ｙｅｓ）、次に、配置用バッファのデータをプリンタ３（図２参照）へ渡す（Ｓ１１１６）。これにより、配置用バッファのデータがプリンタ３における印刷処理にかけられる。ただし配置用バッファに画像が配置されない領域については印刷出力しない。

次に、配置用バッファにおける次のデータの横方向配置位置を示す横方向位置を初期化し（Ｓ１１１７）、また、配置用バッファにおける次のデータの縦方向配置位置を示す縦方向位置を更新する（Ｓ１１１８）。この横方向位置および縦方向位置によって、画像一覧２０における次の行の左端から、次のインデックス画像２１，２２が配列されるように、配置用バッファにおける次のデータの配置位置が決定される。そして、上述したＳ１１２０、Ｓ１１２１の処理を実行する。

このようにして、処理対象の１ページ分の記録用紙に配置するインデックス画像２１，２２の全てについて印刷処理を完了すると、Ｓ１１２１の判断が肯定されるので（Ｓ１１２１：Ｙｅｓ）、図１３に示す次の処理に移行する。

図１３は、図１２に示す配置印刷処理の続きを示すフローチャートであって、Ｓ１１２１の判断が肯定される場合に実行される。

まず、配置用バッファに、未だ印刷処理を行っていないデータが存在するかを判断する（Ｓ１１２２）。Ｓ１１２２の判断が肯定される場合（Ｓ１１２２：Ｙｅｓ）、その残りのデータをプリンタ３に渡し（Ｓ１１２３）、プリンタ３にて印刷出力をさせ、Ｓ１１２４の処理に移行する。一方、Ｓ１１２２の判断が否定される場合（Ｓ１１２２：Ｎｏ）、Ｓ１１２３の判断をスキップし、Ｓ１１２４の処理に移行する。

そして、１ページ分のデータ出力が完了したことを示す印刷完了命令をプリンタ３に渡し（Ｓ１１２４）、ページカウンタに「１」を加算する（Ｓ１１２５）。次に、配置用バッファにおける次のデータの配置位置を示す横方向位置および縦方向位置を初期化する（Ｓ１１２６）。そして、ページカウンタの値が「生成ページ数」より大となったかを判断する（Ｓ１１２７）。Ｓ１１２７の判断が否定される場合（Ｓ１１２７：Ｎｏ）、図１２に示すＳ１１０６の処理に戻り、次ページの処理を開始する。

一方、Ｓ１１２７の判断が肯定される場合（Ｓ１１２７：Ｙｅｓ）、配置印刷処理を終了する。

なお、図１２、図１３に示す配置印刷処理（Ｓ１０３）において、同一の動画像ファイルに由来するインデックス画像２１が、画像一覧２０において互いに隣接する場合には、それらのインデックス画像２１，２２を連結する図柄（図３参照）を形成して印刷しても良いが、処理の詳細については、説明を省略する。

このように、第１実施形態のＭＦＰ１によれば、図３を参照して説明したように、閲覧性の良い画像一覧２０を出力することができる。

次に、第２実施形態のＭＦＰ１について説明する。なお、第２実施形態のＭＦＰ１の外観構成および電気的構成は、第１実施形態のＭＦＰ１と同一であるため、第２実施形態のＭＦＰ１については、抽出フレーム数決定処理のみ図示することとする。

図１４，図１５は、第２実施形態のＭＦＰ１が実行する抽出フレーム数決定処理（Ｓ１０１ｂ）を示すフローチャートである。この抽出フレーム数決定処理（Ｓ１０１ｂ）は、第１実施形態で説明した抽出フレーム数決定処理（Ｓ１０１ａ）に代えて実行される。

第２実施形態の抽出フレーム数決定処理（Ｓ１０１ｂ）は、動画像に含まれるシーン切り替え回数が大であるほど、その動画像から抽出するフレーム画像の枚数（フレーム画像抽出数）が大となるように、動画像ファイルの各々について、フレーム画像抽出数を決定する処理である。

まず、ファイル数カウンタ、抽出フレーム数カウンタ、処理画像数カウンタを０で初期化する（Ｓ５０１）。

次に、ファイル数カウンタ値に対応するファイル種類記憶領域２０３（図５参照）を参照し、画像ファイルの種類が、動画像ファイルであるか静止画像ファイルであるかを判断する（Ｓ５０２）。静止画像ファイルであると判断された場合（Ｓ５０２：静止画像）、図１５に示すＳ５２５の処理に移行する。

一方、動画像ファイルであると判断された場合（Ｓ５０２：動画像）、ファイル数カウンタ値に対応するファイルＩＤ記憶領域２０１からファイルＩＤを読み出す（Ｓ５０３）。そして、そのファイルＩＤに対応する動画像ファイルから総フレーム数を読み出し、ファイル数カウンタ値に対応する総フレーム数記憶領域２０５に記憶する（Ｓ５０４）。

次に、ファイル数カウンタ値に対応するｆｐｓ情報を、ｆｐｓ情報記憶領域２０６から読み出し、そのｆｐｓ情報に基づいて、調査フレーム抽出間隔を算出する（Ｓ５０７）。調査フレーム抽出間隔は、例えば、下記の数式１５に基づいて算出できる。
（数式１５）
調査フレーム抽出間隔＝ （ｆｐｓ情報 ／ 間隔係数）
上記間隔係数は、予め定められた固定値であっても良いし、ユーザが操作部４から設定できるように構成されても良い。

次に、総フレーム数、調査フレーム抽出間隔から調査フレーム数を算出する（Ｓ５０７）。調査フレーム数は、例えば、下記の数式１６に基づいて算出できる。
（数式１６）
調査フレーム数 ＝［総フレーム数／調査フレーム抽出間隔］

次に、抽出フレーム数カウンタを「０」で初期化する（Ｓ５０９）。そして、抽出フレーム数カウンタ値にフレーム抽出間隔を乗算して得られる値をフレーム抽出位置として、そのフレーム抽出位置で特定されるフレーム画像情報を抽出する（Ｓ５１０）。

そして、そのフレーム画像情報を、第１調査フレーム記憶領域１３ｔ（図２参照）に記憶する（Ｓ５１１）。そして、抽出フレーム数カウンタに「１」を加算し（Ｓ５１２）、図１５に示す処理に移行する。

図１５は、図１４に示す抽出フレーム決定処理（Ｓ１０１ｂ）の後半部分を示す処理である。まず、抽出フレーム数カウンタ値にフレーム抽出間隔を乗算して得られる値をフレーム抽出位置として、そのフレーム抽出位置で特定されるフレーム画像情報を抽出する（Ｓ５１３）。

次に、そのフレーム画像情報を、第２調査フレーム記憶領域１３ｕ（図２参照）に記憶する（Ｓ５１４）。そして、その第２調査フレーム記憶領域１３ｕに格納したフレーム画像情報と、第１調査フレーム記憶領域１３ｔに格納したフレーム画像情報との差分を算出する（Ｓ５１５）。

具体的には、画素毎に画素値の差分を算出し、その差分を全画素分について合計した値を、２つのフレーム画像情報の差分として算出する。ただし、処理速度の観点からは、予め定めた数ポイントについてのみ画素値の差分を算出し、その差分を合計した値を、２つのフレーム画像情報の差分としても良い。

次に、算出した差分が閾値以上であるか否かを判断する（Ｓ５１６）。ここで、閾値は、先に抽出されたフレーム画像情報と今回抽出されたフレーム画像情報との間に、シーンの切り替えがあったか否かを検出するために、予め定められた固定値であるものとして説明するが、ユーザが操作部４から設定できるように構成されても良い。

Ｓ５１６の判断が否定される場合（Ｓ５１６：Ｎｏ）、Ｓ５１９に移行する。一方、Ｓ５１６の判断が肯定される場合（Ｓ５１６：Ｙｅｓ）、すなわち、動画像に含まれるシーンの切り替えが検出された場合、抽出フレーム数カウンタ、処理画像数カウンタに「１」を加算する（Ｓ５１７）。

そして、Ｓ５１３の処理で算出されたフレーム抽出位置を、処理画像数カウンタ値に対応する抽出フレーム位置記憶領域３０３（図６参照）に記憶し、現時点における抽出フレーム数カウンタ値を、抽出フレーム番号記憶領域３０４に記憶する（Ｓ５１８）。

次に、第２調査フレーム記憶領域１３ｕのデータを、第１調査フレーム記憶領域１３ｔに記憶し（Ｓ５１９）、抽出フレーム数カウンタに「１」を加算する（Ｓ５２０）。

次に、抽出フレーム数カウンタ値が調査フレーム数以上か否かを判断する（Ｓ５２１）。Ｓ５２１の判断が否定される間（Ｓ５２１：Ｎｏ）、Ｓ５１３に戻り処理を繰り返す。

すなわち、先に抽出されたフレーム画像情報との間の差分が閾値以上と判断されたフレーム画像情報が、後に実行される配置印刷処理において抽出されるように、フレーム抽出位置が抽出フレーム位置記憶領域３０３に記憶される。

その結果、処理対象の動画像に複数のシーンが含まれる場合には、各シーンから少なくとも１枚のフレーム画像が抽出され、動画インデックス画像２１が画像一覧２０に配置されるように、フレーム抽出位置を決定することができる。

そして、Ｓ５２１の判断が肯定されると（Ｓ５２１：Ｙｅｓ）、次に、ファイル数カウンタ値に対応するファイル付加記憶領域２０９（図５参照）へ、シーン切り替え回数を記憶する（Ｓ５２２）。

次に、現時点における抽出フレーム数カウンタ値を、処理対象の動画像から抽出するフレーム画像の枚数として決定し、ファイル数カウンタ値に対応する抽出フレーム数記憶領域２０４へ記憶する（Ｓ５２４）。そして、抽出フレーム数カウンタ値を「０」で初期化し（Ｓ５２５）、ファイル数カウンタを「１」加算する（Ｓ５２６）。

次に、ファイル数カウンタ値が、総処理ファイル数以上となったか否かを判断し（Ｓ５２７）、Ｓ５２７の判断が否定される場合（Ｓ５２７：Ｎｏ）、Ｓ５０２に戻り処理を繰り返す。

このようにして処理を繰り返すうちに、Ｓ５２７の判断が肯定されると（Ｓ５２７：Ｙｅｓ）、抽出フレーム数決定処理（Ｓ１０１ｂ）を終了する。

第２実施形態のＭＦＰ１も、第１実施形態のＭＦＰ１と同様に、抽出フレーム数決定処理によって決定された枚数のフレーム画像に対応するフレーム画像情報が、後に実行される配置印刷処理（Ｓ１０３）において抽出され、動画インデックス画像２２として出力される。

よって、第２実施形態のＭＦＰ１によれば、シーン切り替え回数が大である動画像ファイルについては、より多数の動画インデックス画像２１が、画像一覧２０に配置される。シーン切り替え回数が大である動画像ファイルについては、多数の動画インデックス画像２１を画像一覧２０に配置することにより、その動画像ファイルの内容を、ユーザに的確に把握させることができる。

また、動画像に複数のシーンが含まれる場合であっても、シーン毎に少なくとも１つの動画インデックス画像２１が画像一覧２０に配置されることとなるので、動画像ファイルに記録された多数のシーンの各々を、より的確に把握させることができる。

次に、第３実施形態のＭＦＰ１について説明する。なお、第３実施形態のＭＦＰ１の外観構成および電気的構成は、第１実施形態のＭＦＰ１と同一であるため、第３実施形態のＭＦＰ１については、抽出フレーム数決定処理のみ図示することとする。

図１６は、第３実施形態のＭＦＰ１で実行される抽出フレーム数決定処理（Ｓ１０１ｃ）を示すフローチャートである。この抽出フレーム数決定処理（Ｓ１０１ｃ）は、第１実施形態で説明した抽出フレーム数決定処理（Ｓ１０１ａ）に代えて実行される。なお、第３実施形態の抽出フレーム数決定処理（Ｓ１０１ｃ）は、上述した第１実施形態の抽出フレーム数決定処理（Ｓ１０１ａ）におけるＳ４０３，Ｓ４０４の処理に代えて、Ｓ６０１〜Ｓ６０３の処理が設けられている点において異なり、他は同一であるので、同一の構成については同一の符号を付して説明を省略する。

図１６に示すように、第３実施形態の抽出フレーム数決定処理（Ｓ１０１ｃ）は、処理対象の動画像ファイルの総フレーム数を読み出し（Ｓ６０１）、総フレーム数記憶領域２０５（図５参照）に記憶する（Ｓ６０２）。そして、総フレーム数から例えば、下の数式Ａまたは数式Ｂのいずれかにより、フレーム画像抽出数を算出する。
（数式Ａ）
フレーム画像抽出数 ＝ 総フレーム数 ／ 単位フレーム数
ここで、単位フレーム数は、予め定められた値であっても良いし、ユーザが操作部４から入力できるように構成されていても良い。
（数式Ｂ）
フレーム画像抽出数 ＝（総フレーム数／平均総フレーム数）×基準抽出枚数
ここで、平均総フレーム数は、全動画像ファイルの総フレーム数を平均した値であり、基準抽出枚数は、予め定められた値であっても良いし、ユーザが操作部４から入力できるように構成されていても良い。

第３実施形態のＭＦＰ１によれば、動画像に多数のフレーム画像が含まれる動画像ファイルについては、フレーム画像抽出数として大きい値が決定されるので、より多数の動画インデックス画像２１が、画像一覧２０に配置されることとなる。多数のフレーム画像で構成される動画像には、より多くのシーンが含まれていることが予想されるので、より多数の動画インデックス画像２１を画像一覧２０に配置することにより、その動画像ファイルの内容を、ユーザに的確に把握させることができる。

以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。

例えば、本実施形態では、画像一覧２０を記録用紙に印刷出力するものとして説明したが、ＬＣＤ５など表示装置に画像一覧２０を表示出力する場合にも、本発明を適用できる。

また、本発明を、例えば、パーソナルコンピュータに適用し、ＰＣのモニターに、画像一覧２０を表示出力する場合、あるいは、パーソナルコンピュータからプリンタを制御して画像一覧を印刷出力する場合にも、本発明を適用できる。

また、上記実施形態で説明した抽出フレーム数決定処理（Ｓ１０１ａ，Ｓ１０１ｂ，Ｓ１０１ｃ）を変形し、例えば、画像一覧２０に配置する、静止画インデックス画像２２の個数に基づいて、フレーム画像抽出数を決定するように、構成しても良い。

例えば、第１実施形態の抽出フレーム数決定処理（１０１ａ）において、最初に、メディアカードに格納された静止画像ファイルの個数を算出することとする。そして、その個数が例えば、１０であった場合（すなわち、画像一覧２０に配置することとなる静止画インデックス画像２２の個数が１０個である場合）には、その静止画インデックス画像２２の個数に基づき、一の最長録画時間の動画の最大抽出枚数を、例えば１０フレーム、あるいは２０フレームといった枚数に設定する。

そして、その動画像よりも録画時間の短い動画ファイルがあれば、その最長録画時間に対する、各動画像の録画時間の割合を、先に算出した最大抽出枚数に乗算することにより、各動画像ファイルについて、フレーム画像抽出数を決定する。このようにすれば、静止画インデックス画像２２の個数に基づくフレーム画像抽出数を決定することができる。

なお、静止画インデックス２２の個数に対する動画像の最大抽出枚数については、予め、テーブルに記憶させておいてもよいし、静止画インデックス２２の個数と同じ数を最大抽出枚数としてもよい。また、静止画インデックス画像２２の個数を利用した特定の数式により、導き出すものでもよい。

さらに、静止画インデックス画像２２の個数に基づいて、フレーム画像抽出数を決定する変形例としては、次のような例も考えられる。例えば、上記数式４や、上記数式Ｂの「基準抽出枚数」に、静止画インデックス画像２２の個数を代入することにより、フレーム画像抽出数を算出する。このようにしても、静止画インデックス画像２２の個数に基づく（すなわち、静止画インデックス画像２２の個数と一定の相関関係を有する）、フレーム画像抽出数を決定することができる。

本変形例のように、静止画インデックス画像２２の個数に基づいて、フレーム画像抽出数を決定することとすれば、ユーザにとって、閲覧性の良い画像一覧２０を提供することができる。例えば、静止画像ファイル及び動画像ファイルが夫々１ファイルずつ記録媒体に格納されている場合、動画ファイルから抽出したフレームが１００枚もあると、１００個の動画インデックス画像２１の中で、１個の静止画インデックス画像２２は紛れてしまうことがある。そのような場合、画像一覧２０を印刷しても、ユーザは静止画インデックス画像２１がどこに印刷され、どのような静止画かを確認するのが非常に煩わしい。本変形例によれば、例えば、静止画の枚数とフレームの「基準抽出枚数」を同じ値に設定しておけば、静止画像の枚数とフレーム画像の枚数のバランスを保つことができ、そのような煩わしさが低減される。

また、上述した実施形態では、動画像ファイルおよび静止画像ファイルは、共に撮影により生成された画像ファイルであるものとして説明したが、動画像ファイルおよび静止画像ファイルは、撮影以外の方法で生成されるものであっても、本発明を適用可能である。その場合は、撮影日時に代えて、ファイルの作成日時を表すファイルの生成日時情報や、ファイルの更新日時情報など、他の条件を元に、インデックス画像２１，２２の配置順序を決定するように構成されても良い。

また、上述した実施形態では、メディアカード内に、静止画像ファイルと動画像ファイルとが混在している場合について説明したが、メディアカード内に動画像ファイルのみが格納されている場合にも本発明は適用可能である。

また、上述した実施形態では、着脱可能なメディアカード内に記憶されている画像情報を処理対象としていたが、ＭＦＰ１の内部メモリに格納された画像情報を処理対象とする場合にも、本発明は適用可能である。

また、上記実施形態以外の条件に基づいて、フレーム画像抽出数を決定するように構成しても良い。例えば、動画像情報に含まれる音声情報を解析する解析手段と、その解析手段による解析に基づいて、音量が閾値以上となった回数または時間を検出する音声解析手段とを備え、その音声解析手段により検出される回数または時間が大となるほど、その動画像から切り出すフレーム画像の枚数が大となるように、前記動画像情報の各々についてフレーム画像の枚数を決定するようにしても良い。また、大音量の音声が録音されているシーンに対応した位置をフレーム抽出位置として決定しても良い。

また、特定周波数の音声のみについて、その音声が検出された回数または時間を検出するものであっても良い。

さらに、上記実施形態では、撮影日時に基づいて配置順序をソートしていたが、例えば、ダイナミックレンジや、平均輝度、画像に顔が含まれるか否か、など、他の条件で、配置順序をソートするものであっても良い。

本発明の画像処理装置の第１実施形態であるＭＦＰの外観構成を示した斜視図である。 ＭＦＰの電気的構成を示すブロック図である。 ＭＦＰが出力する、１ページ分の画像一覧の一例を示す図である。 ＭＦＰによって決定される、動画像から抽出するフレーム画像の枚数と、録画時間長さとの関係を模式的に示す図である。 ファイル情報記憶領域の構成を模式的に示す図である。 配置情報記憶領域の構成を模式的に示す図である。 ＭＦＰで実行されるレイアウト画像印刷処理を示すフローチャートである。 画像情報取得処理を示すフローチャートである。 抽出フレーム数決定処理を示すフローチャートである。 配置情報決定処理を示すフローチャートである。 画像日付算出処理を示すフローチャートである。 配置印刷処理を示すフローチャートである。 図１２に示す配置印刷処理の続きを示すフローチャートである。 第２実施形態のＭＦＰが実行する抽出フレーム数決定処理を示すフローチャートである。 図１４に示す抽出フレーム数決定処理の続きの部分を示すフローチャートである。 第３実施形態のＭＦＰで実行される抽出フレーム数決定処理を示すフローチャートである。

１ ＭＦＰ（画像処理装置の一例）
２０ 画像一覧
２１ 動画インデックス画像
２２ 静止画インデックス画像
Ｓ１０１ａ 抽出フレーム数決定処理（抽出フレーム数決定手段の一例）
Ｓ１０１ｂ 抽出フレーム数決定処理（抽出フレーム数決定手段の一例）
Ｓ１０１ｃ 抽出フレーム数決定処理（抽出フレーム数決定手段の一例）
Ｓ１１１０ フレーム画像取得手段の一例
Ｓ１０２ 配置情報決定処理（順序決定手段の一例）
Ｓ１０３ 配置印刷処理（出力手段の一例）
Ｓ１００５ フレーム日時情報取得手段の一例
Ｓ１００６ フレーム日時情報取得手段の一例
Ｓ１０１１ 静止画日時情報取得手段の一例

Claims (2)

1. 動画像を再生するための複数の動画像ファイルと静止画像を出力するための静止画像ファイルとが記憶されている記憶媒体から、前記動画像ファイルまたは静止画像ファイルを読み出して処理する画像処理装置であって、
   前記動画像の録画時間長さが大であるほど、その動画像から抽出するフレーム画像の枚数が大となるように、前記記憶媒体に格納された複数の動画像ファイルの各々について、動画像から抽出するフレーム画像の枚数を決定する抽出フレーム数決定手段と、
   その抽出フレーム数決定手段により決定される枚数のフレーム画像に対応したフレーム画像情報を、前記動画像ファイルの各々から取得するフレーム画像取得手段と、
   そのフレーム画像取得手段により取得されるフレーム画像情報に対応するフレーム画像、またはそのフレーム画像の縮小もしくは拡大画像が動画インデックス画像として配置された画像一覧であって、且つ、前記静止画像ファイルに対応した静止画像またはその静止画像の縮小もしくは拡大画像で構成される静止画インデックス画像が、前記動画インデックス画像と共に配置された画像一覧を出力する出力手段と、
   前記記憶媒体に記憶された前記静止画像ファイルの各々について、前記静止画像ファイルの撮影日時を表す日時情報を取得する静止画日時情報取得手段と、
   前記フレーム画像取得手段により取得されるフレーム画像情報の各々の撮影日時を表す日時情報を取得するフレーム日時情報取得手段と、
   前記動画インデックス画像と、前記静止画インデックス画像とを含むインデックス画像群が、前記静止画日時情報取得手段または前記フレーム日時情報取得手段により取得される日時情報で表される撮影日時の昇順または降順で配列されるように、前記インデックス画像群を構成するインデックス画像の各々について、配置順序を決定する順序決定手段とを備え、
   前記出力手段は、前記順序決定手段により決定された配置順序で前記インデックス画像群が配列された画像一覧を出力することを特徴とする画像処理装置。
2. 前記抽出フレーム数決定手段は、
   前記出力手段により出力する前記画像一覧に配置する、前記静止画インデックス画像の個数に基づいて、前記動画像から抽出するフレーム画像の枚数を決定することを特徴とする請求項１記載の画像処理装置。

Images