JP6598670B2 - 画像処理装置、その制御方法及びプログラム - Google Patents

Description

本発明は、対象画像から画像を選抜する画像処理装置、その制御方法及びプログラムに関する。

近年、デジタルカメラに装着可能な記録媒体の大容量化に伴い、デジタルカメラで撮影した画像を大量に記録媒体に保存することが可能となっている。
記録媒体に保存された画像を表示する手法として、撮影した所定数の画像を選択して配置することにより複数のレイアウト候補を作成し、そのレイアウト候補の評価を行い、評価値の順とは異なる順でレイアウト候補を提示するする技術がある（特許文献１）。また、記録日時が前後する画像の類似度に基づいて再生シナリオを作成し、再生シナリオに従って複数の画像を再生表示する技術がある（特許文献２）。

特開２０１５−５３５４３号公報 特開２０１０−１９３０２６号公報

近年では、例えば撮りためた画像の中から自動で笑顔や顔の動き等を認識し、画像を選抜して１本の動画とするアルバム作成機能を備えたデジタルカメラ等が提案されている。
この場合に、選抜された画像や選抜されなかった画像をユーザに効率良く提示することが求められる。
しかしながら、特許文献１に記載の手法では、提示されたレイアウトをユーザが選択しなければならないといった問題がある。
また、特許文献２に記載の手法では、類似度から代表画像が決定されるため、ユーザが所望する画像が代表画像となるとは限らないといった問題がある。

本発明は上記のような点に鑑みてなされたものであり、対象画像から画像を選抜するときに、選抜された画像や選抜されなかった画像をユーザに効率良く提示できるようにすることを目的とする。

本発明の画像処理装置は、複数の対象画像から複数の選抜画像を選抜する選抜手段と、前記複数の選抜画像を順次再生するためのデータを生成する生成手段と、前記複数の対象画像をクラスタ分割するクラスタ分割手段と、前記クラスタ分割手段で分割したクラスタの中から所定のクラスタを選択するクラスタ選択手段と、前記クラスタ選択手段で選択したクラスタについて、未選抜画像が所定の枚数以上である場合、未選抜画像の少なくとも一部を選択する画像選択手段とを有し、前記生成手段は、前記画像選択手段で選択した未選抜画像の一覧画面が再生されるように前記データを生成することを特徴とする。

本発明によれば、対象画像から画像を選抜するときに、選抜された画像や選抜されなかった画像をユーザに効率良く提示することが可能になる。

実施形態に係る撮像装置の構成を示す図である。 実施形態に係る撮像装置の再生モード処理を示すフローチャートである。 アルバム作成処理の詳細を示すフローチャートである。 未選抜画像のマルチレイアウト表示に用いる画像選択処理の詳細を示すフローチャートである。 選抜画像のマルチレイアウト表示に用いる画像選択処理の詳細を示すフローチャートである。 プレビュー再生処理の詳細を示すフローチャートである。 アルバム作成のための画面の例を示す図である。 未選抜画像のマルチレイアウト表示の例及びその再生位置を示す図である。 選抜画像のマルチレイアウト表示の例を示す図である。 選抜画像の表示の例を示す図である。 選抜画像の表示の例を示す図である。 選抜画像の表示の例を示す図である。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１を参照して、本発明を適用した画像処理装置として機能する実施形態に係る撮像装置１００の主要な構成を説明する。本実施形態では、撮像装置１００としてデジタルカメラを例にして説明するが、これ以外にも携帯電話、携帯端末等であってもよい。
制御部１０１は、例えばＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）、不揮発性メモリ（ＥＥＰＲＯＭ）等により構成され、各種処理（プログラム）を実行して各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部１０１は、ユーザからの操作を受け付ける操作部１０２からの操作信号に応じて、各ブロックを制御する。また、制御部１０１は、後述する画像処理部１１１によって得られた画像を解析し、その解析結果に応じて各ブロックを制御する。

操作部１０２は、例えば電源ボタン、静止画記録ボタン、動画記録開始／終了ボタン、ズーム調整ボタン、オートフォーカスボタン等の撮影に関連する各種操作を入力するスイッチ類を含む。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等を含む。ユーザによりこれらのキーやボタンが操作されると、制御部１０１に操作信号が送信される。
バス１０３は、各種データ、制御信号、指示信号等を各ブロックに送るための汎用バスである。
メモリ１０４は、画像信号や音声信号を一時的に記憶する。
不揮発性メモリ１０５は、電気的に消去・記録可能なメモリであり、制御部１０１の動作用の定数、プログラム等が記憶される。また、不揮発性メモリ１０５には、ＢＧＭデータが音声処理部１２１で復号化可能な圧縮データとして記録されている。記録されるデータ数は複数あってもよく、ＢＧＭデータと共に不揮発性メモリ１０５に記録されている。なお、音声圧縮処理を用いる方式としてＡＡＣ（Advanced Audio Coding）を用いることとするが、圧縮処理方式はＡＡＣでなくてもよい。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして画像処理部１１１に送信する。
画像処理部１１１は、入力されたデジタル画像信号に、設定値に基づいてホワイトバランスや色、明るさ等を調整する画質調整処理を行う。画像処理部１１１で処理された画像信号は、制御部１０１の制御下で、メモリ１０４や映像出力部１５０、表示制御部１３１に送信される。
本実施形態において、撮像部１１０は「光学ズーム」機能、「光学防振」機能を有し、画像処理部１１１は「電子ズーム」機能、「電子防振」機能を有する。これらの機能は、制御部１０１の制御下で、同時に使用されたり交互に使用されたり、単独で使用されたりする。
ここで、「光学ズーム」機能とは、ユーザにより操作部１０２のズームキーが操作されたことに応じて、撮像部１１０のレンズを移動させ、取り込まれる被写体の光学像を拡大／縮小する機能である。また、「電子ズーム」機能とは、ユーザにより操作部１０２のズームキーが操作されたことに応じて、画像処理部１１１が、撮像部１１０により生成された画像のうち一部を切り出した画像を拡大した画像信号を生成する処理である。また、「光学防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、レンズの移動量を算出し、レンズを移動させることで、取得される画像の揺れを防止する機能である。また、「電子防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、撮像部１１０により取得された画像信号の位置を調整することにより、画像の揺れを防止する機能である。「電子防振」機能は、不図示の振動検出部からの加速度信号の値に基づいて、撮像部１１０の撮像素子における読み出し位置をずらすことによっても実現できる。これらの機能は公知の技術であるため、詳細な説明は省略する。

音声入力部１２０は、例えば内蔵された無指向性のマイク又は音声入力端子を介して接続された外部マイク等により、撮像装置１００の周囲の音声を集音（収音）し、アナログデジタル変換をして音声処理部１２１に送信する。
音声処理部１２１は、入力されたデジタル音声信号のレベルの適正化処理等の音声に関する処理を行う。音声処理部１２１で処理された音声信号は、制御部１０１の制御下で、メモリ１０４に送信される。

メモリ１０４は、画像処理部１１１、音声処理部１２１により得られた画像信号及び音声信号を一時的に記憶する。画像処理部１１１及び音声処理部１２１は、メモリ１０４に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化等を行い、圧縮画像信号、圧縮音声信号等を生成する。これら圧縮画像信号、圧縮音声信号は、制御部１０１の制御下で、記録再生部１４０に送信される。
記録再生部１４０は、画像処理部１１１及び音声処理部１２１で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録媒体１４１に記録する。また、音声信号を圧縮符号化しない場合、制御部１０１の制御下で、音声処理部１２１で生成された音声信号と画像処理部１１１で生成された圧縮画像信号とが記録再生部１４０に送信され、記録媒体１４１に記録される。
記録媒体１４１は、撮像装置１００で生成した圧縮画像信号、圧縮音声信号、音声信号、後述するＢＧＭデータを含む各種データ等を記録する。記録媒体１４１は、撮像装置１００に内蔵された記録媒体でも、取外し可能な記録媒体でもよく、不揮発性メモリ１０５よりも大容量な媒体が一般的に使用される。例えば記録媒体１４１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ等の方式の記録媒体が用いられる。
また、記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。記録再生部１４０で読み出された圧縮画像信号、圧縮音声信号は、制御部１０１の制御下で、画像処理部１１１及び音声処理部１２１に送信される。画像処理部１１１及び音声処理部１２１は、圧縮画像信号、圧縮音声信号を一時的にメモリ１０４に記憶し、所定の手順で復号し、復号した音声信号を音声出力部１５１に、復号化した画像信号を映像出力部１５０や表示制御部１３１に送信する。また、音声信号が記録媒体１４１に非圧縮記録されている場合、音声信号は、制御部１０１の制御下で、直接音声出力部１５１に送信される。

音声出力部１５１は、例えば音声出力端子からなり、接続されたイヤホンやスピーカ等から音声を出力するために音声信号を送信する。音声出力部１５１は、撮像装置１００に内蔵され、音声信号にかかる音声を出力するスピーカであってもよい。
映像出力部１５０は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示するために画像信号を送信する。
音声出力部１５１、映像出力部１５０は、統合された１つの端子、例えばＨＤＭＩ（High−Definition Multimedia Interface）（登録商標）端子のような端子であってもよい。

表示制御部１３１は、画像処理部１１１から送信された画像信号による映像や、撮像装置１００の操作をするための操作画面（メニュー画面）等を表示部１３０に表示する。
表示部１３０は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスである。
通信部１５２は、撮像装置１００と外部装置との間で通信を行い、例えば音声信号、画像信号、圧縮音声信号、圧縮画像信号等のデータを送信したり、受信したりする。また、通信部１５２は、撮影開始や終了コマンド等の撮影にかかる制御信号や、その他の情報を送信したり、受信したりする。通信部１５２は、例えば赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。

以下、実施形態に係る撮像装置１００の動作について説明する。
ユーザが操作部１０２の電源ボタンを操作すると、操作部１０２から制御部１０１に起動の指示が出される。この指示を受けて、制御部１０１は、不図示の電源供給部を制御して、撮像装置１００の各ブロックに電源を供給する。
電源が供給されると、制御部１０１は、操作部１０２のモード切り換えスイッチが、例えば静止画撮影モード、動画撮影モード、再生モード等のどのモードであるかを操作部１０２からの指示信号により確認する。
静止画撮影モードでは、撮像装置１００は撮影待機状態で、ユーザが操作部１０２の静止画記録ボタンを操作することで撮影を行い、圧縮画像信号が記録媒体１４１に記録される。そして、再び撮影待機状態になる。
動画撮影モードでは、撮像装置１００は撮影待機状態で、ユーザが操作部１０２の動画記録開始ボタンを操作することで撮影を開始し、その間、圧縮画像信号と圧縮音声信号又は音声信号が記録媒体１４１に記録される。そして、ユーザが操作部１０２の動画記録終了ボタンを操作することで撮影を終了し、再び撮影待機状態になる。
再生モードでは、撮像装置１００はユーザが選択したファイルに関する圧縮画像信号や圧縮音声信号又は音声信号を記録媒体１４１から再生して、音声出力部１５１から音声信号を出力し、表示部１３０に映像を表示する。

静止画撮影モードの詳細について説明する。
操作部１０２により静止画撮影モードが設定されると、前述のように、まず制御部１０１は、撮像装置１００の各ブロックを撮影待機状態に設定する。
撮影待機状態で、画像処理部１１１は、画像信号を表示制御部１３１に送信し、表示部１３０に画像信号に関する映像を表示する。ユーザはこのようにして表示された画面を見ながら撮影の準備を行う。
撮影待機状態で、ユーザが操作部１０２の静止画記録ボタンを操作することにより撮影指示信号が送信されると、制御部１０１は、撮影制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部１１１に送信する。画像処理部１１１は、入力されたデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさ等）を設定値に基づいて処理する。そして、画像処理部１１１で処理された画像信号は、メモリ１０４や映像出力部１５０や表示制御部１３１に送信される。表示制御部１３１は、受信した画像信号に関する映像を表示部１３０に表示する。表示部１３０に表示された映像を見ることで、ユーザは撮影した静止画を確認することができる。
そして、画像処理部１１１は、メモリ１０４に一時的に記憶された画像信号を読み出して所定の符号化を行い、圧縮画像信号を生成し、記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理の下に、圧縮画像信号を静止画ファイルとして記録媒体１４１に書き込んでいく。
なお、制御部１０１は、画像処理部１１１による符号化の動作が終了すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。

次に、動画撮影モードの詳細について説明する。
操作部１０２により動画撮影モードが設定されると、前述のように、まず制御部１０１は、撮像装置１００の各ブロックを撮影待機状態に設定する。
撮影待機状態で、画像処理部１１１は、画像信号を表示制御部１３１に送信し、表示部１３０に画像信号に関する映像を表示する。ユーザはこのようにして表示された画面を見ながら撮影の準備を行う。
撮影待機状態で、ユーザが操作部１０２の動画記録開始ボタンを操作することにより撮影開始の指示信号が送信されると、制御部１０１は、撮影開始の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部１１１に送信する。画像処理部１１１は、入力されたデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさ等）を設定値に基づいて処理する。そして、画像処理部１１１で処理された画像信号は、表示制御部１３１、メモリ１０４に送信される。表示制御部１３１は、受信した画像信号に関する映像を表示部１３０に表示する。
一方、音声入力部１２０は、マイクにより得られたアナログ音声信号をデジタル変換し、得られたデジタル音声信号を音声処理部１２１に送信する。音声処理部１２１は、入力されたデジタル音声信号のレベルの適正化処理等をする。音声処理部１２１で処理された音声信号は、メモリ１０４に送信される。
そして、画像処理部１１１及び音声処理部１２１は、メモリ１０４に一時的に記憶された画像信号や音声信号を読み出して所定の符号化を行い、圧縮画像信号、圧縮音声信号等を生成する。これら圧縮画像信号、圧縮音声信号は合成されて、データストリームを形成し、記録再生部１４０に出力される。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理の下に、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。音声を圧縮しない場合には、音声処理部１２１で生成された音声信号は画像処理部１１１で生成された圧縮画像信号とともに、記録再生部１４０に出力される。そして、記録再生部１４０は、前述したように、ＵＤＦ、ＦＡＴ等のファイルシステム管理の下に、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。
以上の動作を撮影中は継続する。

また、撮影の間、ユーザによる操作部１０２の操作に応じて、又は画像処理部１１１により生成された画像信号の解析結果に応じて、制御部１０１は、撮像部１１０や画像処理部１１１、音声処理部１２１等に各種制御信号を送信する。例えばレンズの移動や絞り調整等をさせるための制御信号を撮像部１１０に送信するとともに、画像や音声を調整するための制御信号を画像処理部１１１、音声処理部１２１に送信する。
また、同様に撮影の間、ユーザにより操作部１０２のズームキーを操作することで、撮像部１１０の「光学ズーム」機能や、画像処理部１１１の「電子ズーム」機能を動作させることができる。また、不図示の振動検出部により検出された加速度信号に基づいて、撮像部１１０の「光学防振」機能や、画像処理部１１１の「電子防振」機能が動作している。

そして、ユーザが操作部１０２の動画記録終了ボタンを操作することにより撮影終了の指示信号が制御部１０１に送信されると、制御部１０１は、撮影終了の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

画像処理部１１１、音声処理部１２１は、それぞれ画像信号、音声信号のメモリ１０４への送信を停止する。そして、メモリ１０４に記憶されている残りの画像信号と音声信号とを読み出して所定の符号化を行い、圧縮画像信号、圧縮音声信号等を生成する。これら最後の圧縮画像信号、圧縮音声信号は合成されて、データストリームを形成し、記録再生部１４０に出力される。音声を圧縮しない場合には、音声処理部１２１で生成された音声信号と、圧縮画像信号とが記録再生部１４０に出力される。そして、記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理の下に、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。

データストリームの供給が停止したら、制御部１０１は、サムネイルを生成するために以下のような動作をさせるように制御する。
記録再生部１４０は、記録媒体１４１に記録した動画ファイルの先頭フレームの圧縮画像信号を読み出し、画像処理部１１１に送信する。画像処理部１１１は、圧縮画像信号を一時的にメモリ１０４に記憶し、所定の手順で復号する。次に、画像処理部１１１は、得られた画像信号に対してサムネイル用の所定の符号化を行い、サムネイル用圧縮画像信号を生成する。サムネイル用圧縮画像信号は、記録再生部１４０に出力される。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理の下に、サムネイル用圧縮画像を、基となる動画ファイルに結合させるように記録媒体１４１に書き込み、動画ファイルを完成させるとともに記録動作を停止する。
制御部１０１は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。

ユーザによる操作部１０２の操作に応じて、著作権者名及び作成者名を不揮発性メモリ１０５に記憶することが可能である。また、操作部１０２が操作されるたびに、不揮発性メモリ１０５に記憶された著作権者名及び作成者名を変更することが可能である。不揮発性メモリ１０５に記憶された著作権者名及び作成者名は、撮影処理に応じて静止画ファイル又は動画ファイルにメタデータとして記録される。
以上説明した静止画撮影モード及び動画撮影モードで記録される静止画ファイル及び動画ファイルは、ＤＣＦ（Design rule for Camera File system）に従って記録されるものとする。

次に、再生モードの詳細について説明する。
操作部１０２により再生モードが設定されると、制御部１０１は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。
記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号からなる静止画ファイル、又は、圧縮画像信号と圧縮音声信号又は音声信号とからなる動画ファイルを読み出す。読み出された圧縮画像信号、圧縮音声信号は、画像処理部１１１及び音声処理部１２１に送信される。圧縮されていない音声信号であれば、音声出力部１５１に送信される。
画像処理部１１１及び音声処理部１２１は、圧縮画像信号、圧縮音声を一時的にメモリ１０４に記憶し、所定の手順で復号する。そして、復号化した音声信号が音声出力部１５１に、復号化した画像信号が映像出力部１５０や表示制御部１３１に送信される。表示制御部１３１は、入力された画像信号にかかる映像を表示部１３０に表示し、音声出力部１５１は、入力された音声信号にかかる音声を内蔵されたスピーカや、接続されたイヤホンやスピーカから出力する。

図２を参照して、再生モード処理について説明する。
ステップＳ２０１で、制御部１０１は、記録媒体１４１から最新画像情報を取得し画像表示を行い、ステップＳ２０２に進む。
ステップＳ２０２で、制御部１０１は、操作部１０２でアルバムボタンの押下があったか否かの判定を行う。アルバム作成機能は、アルバム対象画像から画像を選抜して動画像ファイルを生成し、１本の動画とする機能である。アルバムボタンの押下ありと判定した場合、ステップＳ２０３に進み、アルバムボタンの押下なしと判定した場合、ステップＳ２０８に進む。
ステップＳ２０３で、制御部１０１は、ステップＳ２０１で取得した最新画像情報に基づいてアルバム対象画像が存在するか否かの判定を行う。アルバム対象画像が存在する場合、ステップＳ２０４に進み、アルバム対象画像が存在しない場合、ステップＳ２０７に進む。アルバム対象画像は、ここでは撮像装置１００で自己録された静止画及び動画とする。

ステップＳ２０４で、制御部１０１は、作成するアルバムが選択されたか否かの判定を行う。図７（ａ）に、表示部１３０に表示するアルバム選択画面７０１の例を示す。作成するアルバムとして、イベント、日付（この日を対象、数日間を対象）、人物（認証情報を用いた人物を対象）、カスタム（自分で選択したい日にち、画像、人物）が選択可能となっており、ユーザは操作部１０２により選択することができる。作成するアルバムが選択された場合、ステップＳ２０５に進み、作成するアルバムが選択されない場合、ステップＳ２０６に進む。
ステップＳ２０５で、制御部１０１は、アルバム作成処理を実行し、ステップＳ２０６に進む。ステップＳ２０５のアルバム作成処理の詳細は図３において説明する。
ステップＳ２０６で、制御部１０１は、アルバムモードを終了するか否かの判定を行う。操作部１０２でアルバムモードを終了する操作があった場合、ステップＳ２０２に戻り、アルバムモードを終了する操作がない場合、ステップＳ２０３に戻る。

ステップＳ２０７で、制御部１０１は、図７（ａ）に示すようにアルバムアイコングレーアウト表示を行い、アルバム対象画像が存在せずアルバムを作成できない旨を通知し、ステップＳ２０６に進む。

ステップＳ２０８で、制御部１０１は、再生モード終了か否かの判定を行う。再生モード終了する場合、本処理を終了し、再生モードを終了しない場合、ステップＳ２０９に進む。
ステップＳ２０９で、制御部１０１は、操作部１０２で指示されたその他再生処理を実行し、その後、ステップＳ２０２に戻る。その他再生処理とは、例えば画像消去、画像編集、画像送信等である。

図３を参照して、ステップＳ２０５におけるアルバム作成処理の詳細を説明する。
ステップＳ３０１で、制御部１０１は、メモリ１０４に読み込まれたアルバム対象画像を用いて、シナリオ作成処理を行い、ステップＳ３０２に進む。シナリオ作成処理とは、アルバムに用いる複数の画像を選抜し、画像の切り出し、フェード処理、ズーム処理、スライド処理等を施し、チャプタ毎のフレーム数を確定することをいう。
また、ここでは、後述するマルチレイアウト表示に用いる画像選択も行う。未選抜画像の一覧画面によるマルチレイアウト表示に用いる画像選択処理の詳細は図４において、選抜画像の一覧画面によるマルチレイアウト表示に用いる画像選択処理の詳細は図５において説明する。

ステップＳ３０２で、制御部１０１は、記録媒体１４１のライトプロテクト「入」か否かの判定を行う。ライトプロテクト「入」の場合、ステップＳ３０６に進み、ライトプロテクト「切」の場合、ステップＳ３０３に進む。
ステップＳ３０３で、制御部１０１は、アルバムのファイル名が作成可能か否かの判定を行う。ファイル名作成可の場合、ステップＳ３０４に進み、ファイル名作成不可の場合、ステップＳ３０６に進む。ファイル名は、ＤＣＦにより規定されるファイルパスに従い命名保存されるものとする。
ステップＳ３０４で、制御部１０１は、空き容量判定を行い、ステップＳ３０５に進む。
ステップＳ３０５で、制御部１０１は、ステップＳ３０４で判定した結果に基づいて、記録媒体１４１の空き容量ありか否かの判定を行う。空き容量ありの場合、ステップＳ３０６に進み、必要な空き容量がなしの場合、ステップＳ３０８に進む。
ステップＳ３０６で、制御部１０１は、表示部１３０を用いて、各状態に基づいたアルバムプレビュー確認表示を行い、ステップＳ３０７に進む。ライトプロテクト「入」の場合は図７（ｂ）に示すような確認画面７０２が、ファイル名作成不可の場合は図７（ｃ）に示すような確認画面７０３が、空き容量なしの場合は図７（ｄ）に示すような確認画面７０４が表示される。各確認画面７０２〜７０４では、プレビューするか、キャンセルするかが選択可能となっている。

ステップＳ３０７で、制御部１０１は、ステップＳ３０１で作成したシナリオに基づいたアルバムプレビューを行うか否かの判定を行う。アルバムプレビューを行う場合、ステップＳ３０８に進み、アルバムプレビューを行わない場合、ステップＳ３０９に進む。
ステップＳ３０８で、制御部１０１は、表示部１３０を用いて実際にプレビュー再生を行い、ステップＳ３０９に進む。ステップＳ３０８のプレビュー再生処理の詳細は図６において説明する。
ステップＳ３０９で、制御部１０１は、アルバム設定変更メニュー表示を行い、ステップＳ３１０に進む。図７（ｅ）に、表示部１３０に表示するアルバム設定変更メニュー画面７０５の例を示す。アルバム設定変更メニュー画面７０５では、「もう一度プレビュー」７０６、「アルバム動画作成」７０７、「ＢＧＭ設定」７０８、「色効果変更」７０９が選択可能となっている。

ステップＳ３１０で、制御部１０１は、アルバム設定変更メニュー画面７０５において「ＢＧＭ設定」７０８が選択されたか否かの判定を行う。「ＢＧＭ設定」７０８が選択された場合、ステップＳ３１１に進み、「ＢＧＭ設定」７０８が選択されなかった場合、ステップＳ３１２に進む。
ステップＳ３１１で、制御部１０１は、ＢＧＭ選択処理を行い、ステップＳ３１０に戻る。図７（ｆ）に、表示部１３０に表示するＢＧＭ選択処理のための画面７１０の例を示す。
ステップＳ３１２で、制御部１０１は、アルバム設定変更メニュー画面７０５において「アルバム動画作成」７０７が選択されたか否かの判定を行う。「アルバム動画作成」７０７が選択された場合、ステップＳ３１３に進み、「アルバム動画作成」７０７が選択されなかった場合、ステップＳ３１４に進む。
ステップＳ３１３で、制御部１０１は、ステップＳ３０１で作成したシナリオに基づきアルバム動画保存を行う。その後、ステップＳ３１５で、制御部１０１は再生モードに遷移する。
ステップＳ３１４で、制御部１０１は、アルバム設定変更メニュー画面７０５において「もう一度プレビュー」７０６が選択されたか否か判定する。「もう一度プレビュー」７０６が選択された場合、ステップＳ３０８に戻り、「もう一度プレビュー」７０６が選択なされなかった場合、ステップＳ３１０に戻る。
なお、本フローチャートでは説明を省略したが、アルバム設定変更メニュー画面７０５において「色効果変更」７０９が選択された場合、色効果変更処理を行う。

図４を参照して、ステップＳ３０１における未選抜画像のマルチレイアウト表示に用いる画像選択処理の詳細を説明する。
ステップＳ４０１で、制御部１０１は、メモリ１０４に読み込まれたアルバム対象画像をクラスタ分割する。アルバム対象画像が複数の日付にまたがる場合は日付でクラスタ分割し、複数の日付にまたがらない場合は時間で３つのクラスタにクラスタ分割し、ステップＳ４０２に進む。
ステップＳ４０２で、制御部１０１は、ステップＳ４０１で分割したクラスタの中から最も多くの画像を含むクラスタを選択し、ステップＳ４０３に進む。なお、本実施形態では、最も多くの画像を含むクラスタを選択する例を説明したが、他の条件でクラスタを選択するようにしてもよいし、複数のクラスタを選択するようにしてもよい。

ステップＳ４０３で、制御部１０１は、ステップＳ４０２で選択したクラスタについて、ステップＳ３０１でアルバムに用いる画像として選抜されなかった画像（未選抜画像と呼ぶ）が所定の枚数以上であるか否かの判定を行う。未選抜画像が所定の枚数以上である場合、ステップＳ４０４に進み、所定の枚数以上でない場合、本処理を終了する。所定の枚数を例えば１６枚とする。

ステップＳ４０４で、制御部１０１は、ステップＳ４０２で選択したクラスタの未選抜画像を複数の組に分割し、分割した各組の中から、所定の評価値が最も高い未選抜画像を選択して、ステップＳ４０５に進む。例えばステップＳ４０２で選択したクラスタの未選抜画像を８等分の枚数になるように分割する。すなわち、ステップＳ４０２で選択したクラスタの未選抜画像が１６枚であれば、２枚ずつの８組に分割される。また、ステップＳ４０２で選択したクラスタの未選抜画像が１７枚であれば、２枚ずつの７組＋３枚の１組に分割され、以後同様に、未選抜画像が１８枚であれば、２枚ずつの６組＋３枚の２組のように分割される。そして、各組から１枚ずつ、計８枚の未選抜画像が選択されることになる。未選抜画像の選択に際して、例えば縦画像の優先度を下げるようにしてもよい。

ステップＳ４０５で、制御部１０１は、ステップＳ４０４で選択した未選抜画像のマルチレイアウト表示の動画像ファイルにおける再生位置を決定する。なお、未選抜画像のマルチレイアウト表示の具体例は図８（ａ）において説明する。
ステップＳ４０２で選択したクラスタがアルバムの時間の中、すなわち全選抜画像の時系列順表示の時間の中で前半にある場合、該クラスタの最後を再生位置とする。ここで、クラスタの最後とは、該クラスタに含まれる選抜画像のうち最も撮影時刻の遅い画像の後の再生位置を指す。すなわち、図８（ｂ）に示すように、未選抜画像のマルチレイアウト表示は、クラスタに含まれる選抜画像の時系列順表示の後（再生位置Ｂ）とする。
また、ステップＳ４０２で選択したクラスタがアルバムの時間の中で中盤又は後半にある場合、該クラスタの最初を再生位置とする。ここで、クラスタの最初とは、該クラスタに含まれる選抜画像のうち最も撮影時刻の早い画像の前の再生位置のことを指す。すなわち、図８（ｂ）における再生位置Ａとする。この場合に、サブタイトルがあるときは、サブタイトルの次を未選抜画像のマルチレイアウト表示の再生位置とする。

図５を参照して、ステップＳ３０１における選抜画像のマルチレイアウト表示に用いる画像選択処理の詳細を説明する。
ステップＳ５０１で、制御部１０１は、ステップＳ３０１でアルバムに用いる画像として選抜された画像（選抜画像と呼ぶ）を日付でクラスタ分割する。
ステップＳ５０２で、制御部１０１は、ステップＳ５０１でＮ分割したうちのＮ番目のクラスタについて、選抜画像が所定の枚数（例えば３枚）以上である否かの判定を行う。選抜画像が所定の枚数以上である場合、ステップＳ５０３に進み、所定の枚数以上でない場合、ステップＳ５０４に進む。

ステップＳ５０３で、制御部１０１は、Ｎ番目のクラスタから所定の評価値が高い順に所定の枚数（例えば３枚）だけ選抜画像を選択し、ステップＳ５０４に進む。選抜画像の選択に際して、例えば縦画像の優先度を下げるようにしてもよい。
ステップＳ５０４で、制御部１０１は、ステップＳ５０１で分割した全てのクラスタに対して処理を行ったか否かの判定を行う。全てのクラスタに対して処理を行っている場合、本処理を終了し、全てのクラスタに対して処理を行っていない場合、クラスタを変更（本例の場合デクリメント）して、ステップＳ５０２に戻る。

ステップＳ５０３で選択した選抜画像のマルチレイアウト表示の動画像ファイルにおける再生位置は、各クラスタの最初とする。ここで、クラスタの最初とは、該クラスタに含まれる選抜画像のうち、最も撮影時刻の早い画像の前の再生位置のことを指す。これにより、選抜画像のマルチレイアウト表示を、日付の変化点でその日のサマリーとして表示することができる。
なお、選抜画像のマルチレイアウト表示の具体例は図９において説明する。

図６を参照して、ステップＳ３０８におけるプレビュー再生処理の詳細を説明する。
ステップＳ６０１で、制御部１０１は、ステップＳ３１１でＢＧＭを流す設定がなされた否かの判定を行う。ＢＧＭを流す設定がなされている場合、ステップＳ６０２に進み、ＢＧＭを流す設定がなされていない場合、ステップＳ６０３に進む。
ステップＳ６０２で、制御部１０１は、ＢＧＭデータを音声処理部１２１に転送することにより再生を開始する。ＢＧＭは、ステップＳ６２０で後述する停止処理がなされるまでループ再生される。
ステップＳ６０３で、制御部１０１は、ステップＳ３０１で作成されたシナリオに記載されているファイル種別を取得し、ファイル種別がＪＰＧである場合、ステップＳ６０４に進み、そうでない場合、ステップＳ６１１に進む。

ステップＳ６０４で、制御部１０１は、シナリオに記載されているＪＰＧファイルを記録媒体１４１からメモリ１０４に読み込み、ステップＳ６０５に進む。
ステップＳ６０５で、制御部１０１は、メモリ１０４に読み込まれたＪＰＧデータを画像処理部１１１を用いてＹＵＶデータへデコードし、ステップＳ６０６に進む。
ステップＳ６０６で、制御部１０１は、ＹＵＶデータを画像処理部１１１を用いて表示部１３０、又は映像出力部１５０に接続された機器の解像度に合わせてリサンプルし、ステップＳ６０７に進む。
ステップＳ６０７で、制御部１０１は、シナリオに記載されている効果情報に基づいてＹＵＶデータに対して効果処理を行い、ステップＳ６０８に進む。効果処理として、例えば撮影日時の埋め込み等を行う。
ステップＳ６０８で、制御部１０１は、ステップＳ６０７で効果処理されたＹＵＶデータを表示部１３０、又は映像出力部１５０に接続された機器に表示し、ステップＳ６０９に進む。
ステップＳ６０９で、制御部１０１は、シナリオに記載されたフレーム数分表示がなされたか否かの確認を行う。表示されていない場合、ステップＳ６０６に戻り、表示されている場合、ステップＳ６１０に進む。

ステップＳ６１１で、制御部１０１は、シナリオに記載されているＭＰ４ファイルを記録媒体１４１からメモリ１０４に読み込み、ステップＳ６１２に進む。
ステップＳ６１２で、制御部１０１は、メモリ１０４に読み込まれたＭＰ４ファイル内に格納されているＨ．２６４データを画像処理部１１１を用いてＹＵＶデータへデコードし、ステップＳ６１３に進む。
ステップＳ６１３は、ステップＳ６０１と同様の処理であり、その説明を省略する。ＢＧＭを流す設定がなされている場合、ステップＳ６１４に進み、ＢＧＭを流す設定がなされていない場合、ステップＳ６１５に進む。
ステップＳ６１４で、制御部１０１は、メモリ１０４に読み込まれたＭＰ４ファイル内に格納されているＡＡＣデータを音声処理部１２１を用いて再生し、ステップＳ６１５に進む。
ステップＳ６１５〜Ｓ６１７では、ステップＳ６０６〜Ｓ６０８と同様の処理を行い、ステップＳ６１８に進む。
ステップＳ６１８で、制御部１０１は、シナリオに記載されたフレーム数分表示がなされたか否かの確認を行う。表示されていない場合、ステップＳ６１２に戻り、表示されている場合、ステップＳ６１０に進む。

ステップＳ６１０で、制御部１０１は、シナリオに記載された画像をすべてプレビュー再生し終えたか否かの確認を行う。プレビュー再生し終えていない場合、ステップＳ６０３に戻り、プレビュー再生し終えている場合、ステップＳ６１９に進む。
ステップＳ６１９で、制御部１０１は、音声処理部１２１でＢＧＭが再生されているか否かの確認を行う。ＢＧＭが再生されている場合、ステップＳ５２０に進み、ＢＧＭが再生されていない場合、本処理を終了する。
ステップＳ６２０で、制御部１０１は、再生されているＢＧＭの再生の停止を行い、本処理を終了する。
以上のように、ステップＳ３０１で作成されたシナリオに従ってＪＰＧファイル又はＭＰ４ファイルのプレビュー再生を行う。

次に、図８（ａ）を参照して、未選抜画像のマルチレイアウト表示について説明する。
図８（ａ）に示すように、表示部１３０にマルチレイアウト表示画面８０１が表示され、ステップＳ４０４で選択した未選抜画像を時系列順に表示する。
本実施形態では、ステップＳ４０４で選択した未選抜画像は、マルチレイアウト表示画面６０１の四隅の画像表示領域８０２〜８０５に時計回りに時系列順に表示される。ステップＳ４０４では８枚の未選抜画像が選択されるのに対して、マルチレイアウト表示画面８０１の画像表示領域はそれよりも数の少ない４つとなっている。具体的には、時系列順に、１枚目の画像を画像表示領域８０２に表示する。次に、２枚目の画像を画像表示領域８０３に表示する。次に、３枚目の画像を画像表示領域８０４に表示する。次に、４枚目の画像を画像表示領域８０５に表示する。次に、画像表示領域８０２の画像を５枚目の画像に替えて表示する。次に、画像表示領域８０３の画像を６枚目の画像に替えて表示する。次に、画像表示領域８０４の画像を７枚目の画像に替えて表示する。次に、画像表示領域８０５の画像を８枚目の画像に替えて表示する。
以上のように、未選抜画像を一画面に複数枚表示するマルチレイアウト表示を行うことにより、未選抜画像の有効活用が可能になるとともに、再生時間の伸びは最小限に抑えることができる。

次に、図９を参照して、選抜画像のマルチレイアウト表示について説明する。
図９に示すように、表示部１３０にマルチレイアウト表示画面９０１が表示され、ステップＳ５０３で選択した選抜画像をクラスタごとに、クラスタのサマリー画像として表示する。ステップＳ５０２、Ｓ５０３で設定している所定の枚数を３枚とすると、表示領域９０２に該当クラスタの日付情報を表示し、画像表示領域９０３〜９０５にステップＳ５０３で選択される３枚の選抜画像を表示する。
以上のように、クラスタごとに選択された選抜画像と日付情報を表示することで、その日に起きたイベントを把握しやすくすることができる。

なお、図５のフローチャートでは、選抜画像が所定の枚数（例えば３枚）以上であるクラスタについてだけ、選抜画像のマルチレイアウト表示を行うようにしたが、選抜画像が所定の枚数以上でないクラスタについても、サマリーとして選抜画像の表示を行うようにしてもよい。
ステップＳ５０２、Ｓ５０３で設定している所定の枚数が３枚であるのに対して、あるクラスタに存在する選抜画像が２枚であったとする。この場合、図１０に示すように、表示部１３０にマルチレイアウト表示画面１００１が表示され、表示領域１００２に該当クラスタの日付情報を表示し、画像表示領域１００３、１００４に２枚の選抜画像を表示する。
また、ステップＳ５０２、Ｓ５０３で設定している所定の枚数が３枚であるのに対して、あるクラスタに存在する選抜画像が１枚であったとする。この場合、図１１に示すように、表示部１３０に表示画面１１０１が表示され、１枚の選抜画像１１０２を該当クラスタの日付情報１１０３と共に表示する。
なお、あるクラスタに存在する選抜画像が２枚である場合に、図１０のようにマルチレイアウト表示するのではなく、２枚のうち所定の評価値が高い方を、図１１のように単数枚表示するようにしてもよい。

また、図１２に示すように、複数のクラスタを合わせてマルチレイアウト表示を行うようにしてもよい。
表示部１３０にマルチレイアウト表示画面１２０１が表示され、表示領域１２０２に現在対象となっているクラスタの日付情報を表示し、表示領域１２０３に次のクラスタの日付情報を表示する。また、画像表示領域１２０４には、表示領域１２０２の日付情報に対応するクラスタの選抜画像を表示し、画像表示領域１２０５、１２０６には、表示領域１２０３の日付情報に対応するクラスタの選抜画像を表示する。この場合、次のクラスタでの選抜画像のマルチレイアウト表示は行わない。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば上記実施形態では、未選抜画像のマルチレイアウト表示、及び、選抜画像のマルチレイアウト表示を説明したが、いずれか一方だけを実行するようにしてもよい。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１０１：制御部、１０２：操作部、１０４：メモリ、１０５：不揮発性メモリ、１１０：撮像部、１１１：画像処理部、１３０：表示部、１３１：表示制御部、１５０：映像出力部

Claims (19)

1. 複数の対象画像から複数の選抜画像を選抜する選抜手段と、
   前記複数の選抜画像を順次再生するためのデータを生成する生成手段と、
   前記複数の対象画像をクラスタ分割するクラスタ分割手段と、
   前記クラスタ分割手段で分割したクラスタの中から所定のクラスタを選択するクラスタ選択手段と、
   前記クラスタ選択手段で選択したクラスタについて、未選抜画像が所定の枚数以上である場合、未選抜画像の少なくとも一部を選択する画像選択手段とを有し、
   前記生成手段は、前記画像選択手段で選択した未選抜画像の一覧画面が再生されるように前記データを生成することを特徴とする画像処理装置。
2. 前記生成手段は、前記複数の選抜画像と前記一覧画面とを画像の撮影日時に基づく順序で順次再生する動画像ファイルを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像選択手段は、前記クラスタ選択手段で選択したクラスタについて、未選抜画像が所定の枚数以上である場合、未選抜画像を複数の組に分割し、分割した各組の中から未選抜画像を選択することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記クラスタ分割手段は、前記複数の対象画像を日付でクラスタ分割することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記クラスタ分割手段は、複数の日付にまたがらない場合は時間でクラスタ分割することを特徴とする請求項４に記載の画像処理装置。
6. 前記クラスタ選択手段は、前記クラスタ分割手段で分割したクラスタの中から最も多くの画像を含むクラスタを選択することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記一覧画面の再生位置を、前記クラスタ選択手段で選択したクラスタに含まれる選抜画像の前又は後とすることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記クラスタ選択手段で選択したクラスタに応じて、前記一覧画面の再生位置を決定する決定手段を備えたことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、前記複数の選抜画像と前記一覧画面とを画像の撮影日時に基づいて時系列で再生するデータを生成し、
   前記クラスタ選択手段は、前記複数の対象画像を、撮影日時に基づいてクラスタ分割し、
   前記決定手段は、
   前記クラスタ選択手段で選択したクラスタの撮影日時が、全選抜画像の時系列の中で前半にある場合、前記一覧画面の再生位置を、該クラスタに含まれる選抜画像のうち最も撮影時刻の遅い画像の後とし、
   前記クラスタ選択手段で選択したクラスタの撮影日時が、全選抜画像の時系列の中で中盤又は後半にある場合、前記一覧画面の再生位置を、該クラスタに含まれる選抜画像のうち最も撮影時刻の早い画像の前とすることを特徴とする請求項８に記載の画像処理装置。
10. 前記画像選択手段では、縦画像の優先度を下げて未選抜画像を選択することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 複数の対象画像から再生対象とする複数の選抜画像を選抜する選抜手段と、
    前記複数の選抜画像を日付でクラスタ分割するクラスタ分割手段と、
    前記クラスタ分割手段で分割した各クラスタのうち、選抜画像が所定の枚数以上であるクラスタから選抜画像を選択する画像選択手段と、
    前記複数の選抜画像を時系列で再生するためのデータを生成する生成手段とを有し、
    前記生成手段は、前記画像選択手段で選択した選抜画像は、該選抜画像が属するクラスタの日付情報が同時に表示されるように前記データを生成することを特徴とする画像処理装置。
12. 前記生成手段は、前記画像選択手段で選択した選抜画像の一覧画面を生成し、
    前記一覧画面には、選抜画像が前記所定の枚数以上でないクラスタに含まれる選抜画像を一画面に複数枚含めるとともに、該表示する選抜画像が属するクラスタの日付情報を含めることを特徴とする請求項１１に記載の画像処理装置。
13. 前記生成手段は、前記画像選択手段で選択した選抜画像の一覧画面を生成し、
    前記一覧画面には、選抜画像が前記所定の枚数以上でない複数のクラスタに含まれる選抜画像を一画面に複数枚含めるとともに、前記複数のクラスタの日付情報を含めることを特徴とする請求項１１に記載の画像処理装置。
14. 前記一覧画面の再生位置を、該表示する選抜画像が属するクラスタに含まれる選抜画像の前記時系列での前とすることを特徴とする請求項１２又は１３に記載の画像処理装置。
15. 前記画像選択手段では、縦画像の優先度を下げて選抜画像を選択することを特徴とする請求項１１乃至１４のいずれか１項に記載の画像処理装置。
16. 複数の対象画像から複数の選抜画像を選抜する選抜ステップと、
    前記複数の対象画像をクラスタ分割するクラスタ分割ステップと、
    前記クラスタ分割ステップで分割したクラスタの中から所定のクラスタを選択するクラスタ選択ステップと、
    記クラスタ選択ステップで選択したクラスタについて、未選抜画像が所定の枚数以上である場合、未選抜画像の少なくとも一部を選択する画像選択ステップと、
    前記複数の選抜画像を順次再生するためのデータであって、前記画像選択ステップで選択した未選抜画像の一覧画面が再生されるように前記データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法。
17. 複数の対象画像から再生対象とする複数の選抜画像を選抜する選抜ステップと、
    前記複数の選抜画像を日付でクラスタ分割するクラスタ分割ステップと、
    前記クラスタ分割ステップで分割した各クラスタのうち、選抜画像が所定の枚数以上であるクラスタから選抜画像を選択する画像選択ステップと、
    前記複数の選抜画像を時系列で再生するためのデータであって、前記画像選択ステップで選択した選抜画像は、該選抜画像が属するクラスタの日付情報が同時に表示されるように前記データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法。
18. 複数の対象画像から複数の選抜画像を選抜する選抜手段と、
    前記複数の選抜画像を順次再生するためのデータを生成する生成手段と、
    前記複数の対象画像をクラスタ分割するクラスタ分割手段と、
    前記クラスタ分割手段で分割したクラスタの中から所定のクラスタを選択するクラスタ選択手段と、
    前記クラスタ選択手段で選択したクラスタについて、未選抜画像が所定の枚数以上である場合、未選抜画像の少なくとも一部を選択する画像選択手段としてコンピュータを機能させ、
    前記生成手段は、前記画像選択手段で選択した未選抜画像の一覧画面が再生されるように前記データを生成することを特徴とするプログラム。
19. 複数の対象画像から再生対象とする複数の選抜画像を選抜する選抜手段と、
    前記複数の選抜画像を日付でクラスタ分割するクラスタ分割手段と、
    前記クラスタ分割手段で分割した各クラスタのうち、選抜画像が所定の枚数以上であるクラスタから選抜画像を選択する画像選択手段と、
    前記複数の選抜画像を時系列で再生するためのデータを生成する生成手段としてコンピュータを機能させ、
    前記生成手段は、前記画像選択手段で選択した選抜画像は、該選抜画像が属するクラスタの日付情報が同時に表示されるように前記データを生成することを特徴とするプログラム。