以下図面について、本発明の一実施の形態を詳述する。
(1)実施の形態
(1−1)デジタルスチルカメラの外観構成
図1(A)乃至(C)において、1は全体として本発明を適用したデジタルスチルカメラの外観構成を示す。かかるデジタルスチルカメラ1は、箱状の筐体でなる本体部2を有している。
本体部2において上面2Aには、シャッタボタン3が設けられている。また本体部2の正面2Bには、撮像レンズ4が配置されている。
これにより本体部2は、正面2Bと共に撮像レンズ4を被写体に向けた状態でシャッタボタン3が押下操作されると、その被写体を静止画撮像や動画撮像し得るようになされている。
さらに本体部2の正面2Bには、当該本体部2の内部に収納されたマイクロホンにより、外部の音声を集音するための穴部2BXが穿設されている。
これにより本体部2は、被写体に対する動画撮像の際に外部の音声を、穴部2BXを介して内部のマイクロホンで集音し得るようになされている。
さらにまた本体部2の背面2Cには、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイ等でなる表示部5が、四角形状の表示画面5Aを露出させて配置されている。
かかる表示部5は、表示画面5Aが例えば16:9のアスペクト比(以下、これを画面アスペクト比とも呼ぶ)を有するように形成されている。
因みに、表示画面5Aの画面アスペクト比は、当該表示画面5Aの画面横方向(すなわち、画面水平方向)の長さと、画面縦方向(すなわち、画面垂直方向)の長さとの比である。
さらに本体部2の背面2Cには、各種設定用や表示用等の種々の命令を入力するための種々の操作ボタン6が設けられている。
これにより本体部2は、ユーザによる操作ボタン6の操作に応じて表示部5の表示画面5Aに、被写体を静止画撮像して生成した静止画像データに基づいて静止画像を表示し得るようになされている。
また本体部2は、ユーザによる操作ボタン6の操作に応じて表示部5の表示画面5Aに、被写体を動画撮像して生成した動画像データに基づいて動画像を表示し得るようになされている。
これに加えて本体部2の側面2Dには、半導体メモリが内蔵された小型偏平矩形状の記録メディアを装填するためのメディアスロット7が設けられている。
これにより本体部2は、被写体を静止画撮像して生成した静止画像データや、被写体を動画撮像して生成した動画像データを記録メディアに記録し得るようになされている。
さらにまた本体部2の側面2Dには、外部のテレビジョン受像機やパーソナルコンピュータ等の外部装置(図示せず)と接続するための外部端子8も設けられている。
これにより本体部2は、外部端子8を介して外部装置と接続された場合、例えばユーザによる操作ボタン6の操作に応じて外部装置へ、被写体を静止画撮像して生成した静止画像データや、被写体を動画撮像して生成した動画像データを出力する。
よって本体部2は、外部装置でも、静止画像データに基づく静止画像や、動画像データに基づく動画像を表示させ得るようになされている。
(1−2)デジタルスチルカメラの回路構成
次いで、図2を用いてデジタルスチルカメラ1の回路構成について説明する。かかるデジタルスチルカメラ1には、中央処理ユニット(CPU:Central Processing Unit)10と共に、バッテリを有する電源ブロック11等の各種回路ブロックが設けられている。
中央処理ユニット10は、電源ブロック11から供給される電力により動作すると共に、当該電源ブロック11から電力を各回路ブロックへも供給させて、これら各回路ブロックも適宜動作させる。
また中央処理ユニット10は、ROM(Read Only Memory)12から、これに予め記憶された表示制御プログラム等の各種プログラムを、バス13を介してRAM(Random Access Memory)14に読み出す。
そして中央処理ユニット10は、RAM14上で展開した各種プログラムに従ってデジタルスチルカメラ1全体を制御すると共に、シャッタボタン3や操作ボタン6でなる操作部15からユーザ操作に応じて入力される各種命令に応じた各種処理を実行する。
これにより中央処理ユニット10は、静止画撮像モード時、カメラブロック16に制御信号を送出して当該制御信号によりカメラブロック16を制御して動作させる。
ここで、カメラブロック16は、上述した撮像レンズ4や、露出を調整するための絞り等の光学素子が光軸に沿って順次配置されたカメラレンズ部16Aを有している。
またカメラブロック16は、カメラレンズ部16Aの後段に配置された、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子16Bも有している。
撮像素子16Bは、四角形状の受光面が例えば4:3のアスペクト比(以下、これを受光面アスペクト比とも呼ぶ)を有するように形成されている。因みに、受光面の受光面アスペクト比は、当該受光面の横方向の長さと縦方向の長さとの比である。
さらにカメラブロック16には、信号処理部16Cやアナログデジタル変換器16D、カメラコントローラ16Eも設けられている。
そしてカメラコントローラ16Eは、中央処理ユニット10から与えられた制御信号に応じてカメラレンズ部16Aを駆動制御して被写体に対するフォーカスや露出等を調整する。
またカメラコントローラ16Eは、中央処理ユニット10から与えられた制御信号に応じて撮像素子16Bや信号処理部16C、アナログデジタル変換器16Dも制御する。
これにより撮像素子16Bは、被写体から到来してカメラレンズ部16Aを透過した撮像光L1を受光面で受光する。
そして撮像素子16Bは、受光面で受光した撮像光L1を、順次光電変換して当該撮像光L1に応じたアナログの光電変換信号を生成し、当該生成した光電変換信号を信号処理部16Cに順次送出する。
信号処理部16Cは、撮像素子16Bから光電変換信号が与えられる毎に、その光電変換信号に画像生成用の信号処理を施して1つの画像の画像信号を順次生成する。
また信号処理部16Cは、このようにして順次生成した画像信号をアナログデジタル変換器16Dによりアナログデジタル変換処理してデジタルの画像データとしてバッファメモリ21に送出し一時記録する。
ここで、カメラブロック16により生成される画像データは、当該画像データに基づく画像が例えば、撮像素子16Bの受光面の画素数(以下、これを有効画素数とも呼ぶ)と同一の画素数を有し、かつ受光面アスペクト比と同じアスペクト比を有している。
この際、画像加工部22は、バッファメモリ21から、一時記録された画像データを順次読み出し、当該読み出した画像データに、画面アスペクト比に応じてトリミング処理(又は、クロップ処理)を施す。
また画像加工部22は、その画像データに対し、表示画面5Aの解像度(すなわち、表示画面5Aの単位長さ当たりの画素数)に応じて画素を間引く画像縮小処理を施す。
これにより画像加工部22は、例えば16:9のアスペクト比を有し時間的に連続な複数の単位画像によって形成される撮像画像の撮像画像データを生成する。
因みに、単位画像の16:9のアスペクト比は、当該単位画像における画像水平方向(以下、これを画像横方向とも呼ぶ)の長さと、画像垂直方向(以下、これを画像縦方向とも呼ぶ)の長さとの比である。
そして画像加工部22は、このようにして撮像画像データを生成しながら、その撮像画像データを中央処理ユニット10に送出する。
この際、中央処理ユニット10は、画像加工部22から与えられた撮像画像データをデジタルアナログ変換器23によりデジタルアナログ変換処理してアナログの撮像画像信号として表示コントローラ24に送出する。
表示コントローラ24は、中央処理ユニット10から与えられた撮像画像信号を表示部5に送出することにより、当該表示部5の表示画面5Aに撮像画像信号に基づく撮像画像を表示する。
このようにして中央処理ユニット10は、表示部5の表示画面5Aに表示した撮像画像を介して、ユーザに被写体の撮像状態を確認させることができるようになされている。
この状態で中央処理ユニット10は、ユーザによりシャッタボタン3が押下操作され操作部15から静止画撮像命令が入力されると、その入力時点にカメラブロック16で生成されバッファメモリ21に一時記録された1つの画像データを静止画撮像用とする。
そして画像加工部22は、バッファメモリ21から静止画撮像用の画像データを読み出し、当該読み出した静止画撮像用の画像データに、静止画像用として予め選定された4:3のアスペクト比に応じてトリミング処理(又は、クロップ処理)を施す。
また画像加工部22は、その静止画撮像用の画像データに、静止画像について予め選定された記録用の画像サイズ(以下、これを静止画像サイズとも呼ぶ)に応じて画素を間引く画像縮小処理を施す。因みに、静止画像サイズは、静止画像の画像横方向の画素数と画像縦方向の画素数とで表される。
これにより画像加工部22は、静止画撮像用の画像データをもとに、4:3のアスペクト比を有する記録用の静止画像の静止画像データを生成する。
因みに、以下の説明では、静止画撮像用の画像データをもとに生成した記録用の静止画像の静止画像データを、本静止画像データとも呼び、当該本静止画像データに基づく静止画像を、本静止画像とも呼ぶ。
また、以下の説明では、静止画像用として予め選定された4:3のアスペクト比を、静止画アスペクト比とも呼ぶ。
そして静止画アスペクト比は、静止画像の画像横方向の長さ(以下、これを静止画横長さとも呼ぶ)と、画像縦方向の長さ(以下、これを静止画縦長さとも呼ぶ)との比である。
図3に示すように、画像加工部22は、具体的にはバッファメモリ21から静止画撮像用として、4:3のアスペクト比(すなわち、受光面アスペクト比)を有する画像G1の画像データを読み出す。
そして画像加工部22は、その画像G1において画像縦方向の上端部から、画像横方向の右端から左端までの帯状部分(以下、これを上側帯状部分とも呼ぶ)G11を削除する。
また画像加工部22は、画像G1において画像縦方向の下端部からも、画像横方向の右端から左端までの帯状部分(以下、これを下側帯状部分とも呼ぶ)G12を削除する。
このようにして画像加工部22は、静止画撮像用の画像データに基づく、4:3のアスペクト比を有する画像G1から、16:9のアスペクト比を有する画像G2を生成する。
さらに画像加工部22は、16:9のアスペクト比を有する画像G2において画像横方向の右端部から、画像縦方向の上端から下端までの帯状部分(以下、これを右側帯状部分とも呼ぶ)G21を削除する。
さらにまた画像加工部22は、16:9のアスペクト比を有する画像G2において画像横方向の左端部からも、画像縦方向の上端から下端までの帯状部分(以下、これを左側帯状部分とも呼ぶ)G22を削除する。
このようにして画像加工部22は、16:9のアスペクト比を有する画像G2から、静止画アスペクト比を有する静止画像G3を生成する。
そして画像加工部22は、静止画像サイズに応じて、静止画像G3から静止画アスペクト比は変えずに画素を間引いて(すなちわ、画像縮小処理を施して)、本静止画像MG1の本静止画像データを生成する。
画像加工部22は、このようにして本静止画像データを生成すると、当該生成した本静止画像データをバッファメモリ21に送出して一時記録する。
この際、静止画像処理部25は、バッファメモリ21から、一時記録された本静止画像データを読み出す。
そして静止画像処理部25は、本静止画像データを静止画圧縮符号化方式で圧縮符号化して圧縮静止画像データを生成し、当該生成した圧縮静止画像データをバッファメモリ21に送出して一時記録する。
また中央処理ユニット10は、バッファメモリ21から圧縮静止画像データを読み出し、当該読み出した圧縮静止画像データを、メディアインタフェース26を介して記録メディア27に送出する。
これにより中央処理ユニット10は、記録メディア27に圧縮静止画像データを記録する。このようにして中央処理ユニット10は、ユーザに対し被写体を静止画撮像させ得るようになされている。
また中央処理ユニット10は、動画撮像モード時、上述した静止画撮像モード時と同様に表示部5の表示画面5Aに撮像画像信号に基づく撮像画像を表示して、ユーザに被写体の撮像状態を確認させることができるようになされている。
この状態で中央処理ユニット10は、ユーザによりシャッタボタン3が押下操作され操作部15から動画撮像開始命令が入力されると、その入力時点から、予め選定された時間に達する時点まで、又はシャッタボタン3が再び押下操作され操作部15から動画撮像終了命令が入力される時点までの期間を動画撮像期間とする。
そして中央処理ユニット10は、その動画撮像期間にカメラブロック16で順次生成されバッファメモリ21に一時記録される複数の画像データを動画撮像用とする。
この際、画像加工部22は、バッファメモリ21から動画撮像用の複数の画像データを順次読み出しながら、当該読み出した動画撮像用の複数の画像データに、動画像用として予め選定された16:9のアスペクト比に応じてトリミング処理(又は、クロップ処理)を施す。
また画像加工部22は、その動画撮像用の複数の画像データに、動画像について予め選定された記録用の画像サイズ(以下、これを動画像サイズとも呼ぶ)に応じて、画素を間引く画像縮小処理を施す。
因みに、動画像サイズは、動画像を形成する単位画像(すなわち、フィールド画像又はフレーム画像)の画像横方向の画素数と画像縦方向の画素数とで表される。
これにより画像加工部22は、動画撮像用の複数の画像データをもとに、16:9のアスペクト比を有する時間的に連続な複数の単位画像によって形成される記録用の動画像の動画像データを生成する。
因みに、以下の説明では、動画撮像用の複数の画像データをもとに生成した記録用の動画像の動画像データを、本動画像データとも呼び、当該本動画像データに基づく動画像を、本動画像とも呼ぶ。
また、以下の説明では、本動画像を形成する複数の単位画像を、それぞれ本単位画像とも呼び、当該本単位画像の単位画像データを、本単位画像データとも呼ぶ。
さらに、以下の説明では、動画像用として予め選定された16:9のアスペクト比を、動画アスペクト比とも呼ぶ。
そして動画アスペクト比は、動画像を形成する単位画像において画像横方向の長さ(以下、これを動画横長さとも呼ぶ)と、画像縦方向の長さ(以下、これを動画縦長さとも呼ぶ)との比である。
図4に示すように、画像加工部22は、具体的にはバッファメモリ21から動画撮像用として、4:3のアスペクト比(すなわち、受光面アスペクト比)を有し、時間的に連続な複数の画像G1の複数の画像データを読み出す。
そして画像加工部22は、複数の画像G1それぞれにおいて画像縦方向の上端部から上側帯状部分G11を削除すると共に、下端部から下側帯状部分G12を削除する。
このようにして画像加工部22は、4:3のアスペクト比を有する複数の画像G1から、動画アスペクト比を有する複数の単位画像G2を生成する。
そして画像加工部22は、動画像サイズに応じて、複数の単位画像G2からそれぞれ動画アスペクト比は変えずに画素を間引いて(すなわち、画像縮小処理を施して)、複数の本単位画像MV1乃至MVNを生成する。
これより画像加工部22は、時間的に連続な複数の本単位画像MV1乃至MVNによって形成される本動画像MVXの本動画像データを生成する。
画像加工部22は、このようにして本動画像データを生成すると、当該生成した本動画像データをバッファメモリ21に送出して一時記録する。
この際、動画像処理部28は、バッファメモリ21から、一時記録された本動画像データを読み出し、当該読み出した本動画像データを動画像圧縮符号化方式で圧縮符号化して圧縮動画像データを生成し、当該生成した圧縮動画像データをバッファメモリ21に送出して一時記録する。
また中央処理ユニット10は、動画撮像期間には、マイクロホン29により周辺の音声を集音してアナログの音声信号を生成すると共に、その音声信号をアナログデジタル変換器30によりアナログデジタル変換してデジタルの音声データとして音声処理部31に送出する。
音声処理部31は、マイクロホン29からアナログデジタル変換器30を介して与えられた音声データを音声圧縮符号化方式で圧縮符号化して圧縮音声データを生成し、当該生成した圧縮音声データをバッファメモリ21に送出して一時記録する。
そして中央処理ユニット10は、バッファメモリ21から、これに一時記録された圧縮動画像データと圧縮音声データとを読み出しながら時分割多重化することにより動画像ストリームを生成する。
また中央処理ユニット10は、動画像ストリームを、メディアインタフェース26を介して記録メディア27に送出することにより、当該記録メディア27に動画像ストリームを記録する。このようにして中央処理ユニット10は、ユーザに対し被写体を動画撮像させ得るようになされている。
ところで中央処理ユニット10は、このように被写体を単独で静止画撮像し、また単独で動画撮像するのみならず、ユーザによるシャッタボタン3の1回の押下操作に応じて被写体を時分割で静止画撮像及び動画撮像することもできるようになされている。
中央処理ユニット10は、被写体を時分割で静止画撮像及び動画撮像する時分割撮像モード時、上述した静止画撮像モード時と同様に表示部5の表示画面5Aに撮像画像信号に基づく撮像画像を表示して、ユーザに被写体の撮像状態を確認させることができる。
この状態で中央処理ユニット10は、ユーザによりシャッタボタン3が1回押下操作され操作部15から時分割撮像命令が入力されると、その入力時点に被写体の静止画撮像を実行した後、直ちに動画撮像も自動的に実行する。
この場合、中央処理ユニット10は、時分割撮像命令の入力時点にカメラブロック16で生成されバッファメモリ21に一時記録された1つの画像データを静止画撮像用とする。
これにより中央処理ユニット10は、上述した静止画撮像モード時と同様に、その静止画撮像用の画像データをもとに圧縮静止画像データを生成して記録メディア27に記録する。
また中央処理ユニット10は、カメラブロック16により静止画撮像用の画像データの生成に引き続き、次の画像データが生成されると、当該次の画像データの生成時点から、予め選定された時間に達する時点までの期間、又はシャッタボタン3が再び押下操作され操作部15から時分割撮像終了命令が入力される時点までの期間を動画撮像期間とする。
そして中央処理ユニット10は、その動画撮像期間にカメラブロック16で順次生成されバッファメモリ21に一時記録される複数の画像データを動画撮像用とする。
因みに、動画撮像用の複数の画像データは、カメラブロック16により静止画撮像用の画像データの次に生成された画像データから、動画撮像期間の終了時点に生成された画像データまでの複数の画像データである。
これにより中央処理ユニット10は、上述した動画撮像モード時と同様に、その動画撮像用の複数の画像データをもとに動画像ストリームを生成して記録メディア27に記録する。
このようにして中央処理ユニット10は、被写体を時分割で静止画撮像及び動画撮像させることもできるようになされている。
ここで中央処理ユニット10は、被写体を静止画撮像して圧縮静止画像データを生成すると、当該圧縮静止画像データをファイル化して記録メディア27に記録する。
また中央処理ユニット10は、被写体を動画撮像して動画像ストリームを生成すると、当該動画像ストリームをファイル化して記録メディア27に記録する。
さらに中央処理ユニット10は、ファイル化した圧縮静止画像データ(以下、これを静止画ファイルとも呼ぶ)や、ファイル化した動画像ストリーム(以下、これを動画ファイルとも呼ぶ)に、それぞれ固有のファイル名を付す。
これにより中央処理ユニット10は、ファイル名によって静止画ファイル及び動画ファイルをそれぞれ管理し得るようにしている。
図5に示すように、静止画ファイルや動画ファイルに付されるファイル名FNAは、ファイル名本体FHの最後尾にピリオドPRと拡張子KCとが順に繋げられて形成されている。
この場合、ファイル名本体FHには、静止画ファイルと動画ファイルとを判別するためのファイル判別情報FH1と、当該静止画ファイル及び動画ファイルに対してナンバリングされた通し番号FH2とが格納されている。
そしてファイル名本体FHのファイル判別情報FH1は、例えば、静止画ファイルの場合「IMG」の文字列となり、これに対して動画ファイルの場合「MOV」の文字列となる。
また拡張子KCは、ファイルの種類(すなわち、静止画ファイル及び動画ファイル)を識別するためのものであり、例えば、静止画ファイルの場合「JPG」の文字列となり、これに対して動画ファイルの場合「MPG」の文字列となる。
よってファイル名FNAは、拡張子KCや、ファイル名本体FH内のファイル判別情報FH1により、当該ファイル名FNAが付されたファイルが静止画ファイルと動画ファイルとの何れであるのかを検出させ得るようになされている。
ところで中央処理ユニット10は、被写体を単独で静止画撮像して静止画ファイルを生成したとき(すなわち、静止画撮像モードで静止画ファイルを生成したとき、)、当該静止画ファイルのファイル名FNAに、他の静止画ファイル及び動画ファイルの通し番号FH2とは重複しないようにナンバリングした固有の通し番号FH2を格納する。
また中央処理ユニット10は、被写体を単独で動画撮像して動画ファイルを生成したとき(すなわち、動画撮像モードで動画ファイルを生成したとき)、当該動画ファイルのファイル名FNAに、他の静止画ファイル及び動画ファイルの通し番号FH2とは重複しないようにナンバリングした固有の通し番号FH2を格納する。
これに対して中央処理ユニット10は、被写体を時分割で静止画撮像及び動画撮像して静止画ファイル及び動画ファイルを生成したとき(すなわち、時分割撮像モードで静止画ファイル及び動画ファイルを生成したとき)、当該静止画ファイルのファイル名FNJと動画ファイルのファイル名FNMとに、他の静止画ファイル及び動画ファイルの通し番号FH2とは重複しないようにナンバリングした固有の1つの通し番号FH2を格納する。
すなわち、中央処理ユニット10は、被写体を時分割で静止画撮像及び動画撮像して静止画ファイル及び動画ファイルを生成したとき、これら静止画ファイル及び動画ファイルのファイル名FNJ及びFNMに同一の通し番号FH2を格納する。
これにより中央処理ユニット10は、被写体を時分割で静止画撮像及び動画撮像して生成した静止画ファイル及び動画ファイル(すなわち、本静止画像データ及び本動画像データ)を、ファイル名FNJ及びFNM内の同一な通し番号FH2により、1つの被写体を時分割で静止画撮像及び動画撮像して生成したものとして関連付ける。
また画像加工部22は、被写体の静止画撮像に応じて本静止画像データを生成したとき、当該本静止画像データに対し、静止画アスペクト比は変えずに画素を間引く(すなわち、静止画像サイズを小さくする)ように画像縮小処理を施す。
これにより画像加工部22は、本静止画像データに基づく本静止画像を縮小した静止画像(以下、これを静止画サムネイルとも呼ぶ)の静止画像データ(以下、これを静止画サムネイルデータとも呼ぶ)を生成する。
静止画サムネイルは、縮小前の本静止画像と画像サイズが異なるだけで、その本静止画像と実質的には同一のものであり、当該本静止画像の内容を示している。
そして静止画サムネイルは、縮小前の本静止画像に比して、表示画面5Aへの表示に使用される表示領域が小さくてすみ、他の静止画サムネイル等と共に表示画面5Aに一覧表示し得るようになされている。
このため、静止画サムネイルは、本静止画像データを検索する際のインデックスとして利用し得るようになされている。
このようにして画像加工部22は、静止画サムネイルの静止画サムネイルデータを生成すると、当該生成した静止画サムネイルデータをバッファメモリ21に送出して一時記録する。
よって中央処理ユニット10は、圧縮静止画像データを静止画ファイルとして記録メディア27に記録するとき、バッファメモリ21から、対応する静止画サムネイルデータを読み出す。
そして中央処理ユニット10は、その圧縮静止画像データを、対応する静止画サムネイルデータと共にメディアインタフェース26を介して記録メディア27に送出する。
これにより中央処理ユニット10は、記録メディア27に対し、静止画サムネイルデータを静止画ファイルに対応付けて記録している。
また画像加工部22は、被写体の動画撮像に応じて本動画像データを生成したとき、当該本動画像データから、本動画像の内容を示す1つの本単位画像の本単位画像データとして、時間的に先頭の本単位画像の本単位画像データを取り出す。
因みに、以下の説明では、本動画像を形成する時間的に連続な複数の本単位画像のうち、時間的に先頭の本単位画像を、特に先頭単位画像とも呼び、当該先頭単位画像の本単位画像データを、特に先頭単位画像データとも呼ぶ。
さらに画像加工部22は、先頭単位画像データに対し、動画アスペクト比は変えずに画素を間引く(すなわち、動画像サイズを小さくする)ように画像縮小処理を施す。
これにより画像加工部22は、先頭単位画像データに基づく先頭単位画像を縮小した先頭単位画像(以下、これを単位画サムネイルとも呼ぶ)の先頭単位画像データ(以下、これを単位画サムネイルデータとも呼ぶ)を生成する。
単位画サムネイルは、その画像縦方向の長さが、静止画サムネイルの画像縦方向の長さと等しく選定されている。また単位画サムネイルは、縮小前の先頭単位画像と画像サイズが異なるだけで、その先頭単位画像と実質的には同一のものである。
そして単位画サムネイルは、縮小前の先頭単位画像に比して、表示画面5Aへの表示に使用される表示領域が小さくてすみ、他の単位画サムネイルや静止画サムネイルと共に表示画面5Aに一覧表示し得るようになされている。
このため、単位画サムネイルは、本動画像データを検索する際のインデックスとして利用し得るようになされている。
このようにして画像加工部22は、単位画サムネイルの単位画サムネイルデータを生成すると、当該生成した単位画サムネイルデータをバッファメモリ21に送出して一時記録する。
よって中央処理ユニット10は、動画像ストリームを動画ファイルとして記録メディア27に記録するとき、バッファメモリ21から、対応する単位画サムネイルデータを読み出す。
そして中央処理ユニット10は、その動画像ストリームを、対応する単位画サムネイルデータと共にメディアインタフェース26を介して記録メディア27に送出する。
これにより中央処理ユニット10は、記録メディア27に対し、単位画サムネイルデータを動画ファイルに対応付けて記録する。
このようにして中央処理ユニット10は、被写体を静止画撮像や動画撮像したときには、本静止画像データや本動画像データと共に、これらの検索に利用可能な静止画サムネイルデータや単位画サムネイルデータも生成して記録する。
ただし中央処理ユニット10は、静止画サムネイルデータに対しては、データの種類(すなわち、静止画サムネイルデータ及び単位画サムネイルデータの何れであるのか)を判別可能な判別情報と、対応する静止画ファイルのファイル名FNA(又はFNJ)内の通し番号FN2と同一の通し番号とを格納した対応付け情報を付加する。
また中央処理ユニット10は、単位画サムネイルデータに対しても、データの種類(すなわち、静止画サムネイルデータ及び単位画サムネイルデータの何れであるのか)を判別可能な判別情報と、対応する動画ファイルのファイル名FNA(又はFNM)内の通し番号FN2と同一の通し番号とを格納した対応付け情報を付加する。
因みに、静止画サムネイルデータや単位画サムネイルデータを判別可能な判別情報は、例えば、静止画サムネイルデータを示す「0」の値のフラグや、単位画サムネイルデータを示す「1」の値のフラグである。
このようにして中央処理ユニット10は、静止画サムネイルデータ及び単位画サムネイルデータを、対応付け情報により静止画ファイル及び動画ファイルに対応付けている。
また中央処理ユニット10は、静止画サムネイルデータ及び単位画サムネイルデータの中で、被写体を時分割で静止画撮像及び動画撮像して生成したものについては、対応付け情報により(すなわち、対応付け情報に格納した同一の通し番号により)関連付けている。
ところで中央処理ユニット10は、再生モード時、デジタルスチルカメラ1に対し外部端子8を介して外部装置が接続されてはいないと、当該デジタルスチルカメラ1に設けられた表示部5を利用して本静止画像や本動画像を表示する。
これに対して中央処理ユニット10は、再生モード時、デジタルスチルカメラ1に外部端子8を介して外部装置が接続されていると、その外部装置に設けられた表示部を利用して本静止画像や本動画像を表示する。
よって、以下には、再生モード時にデジタルスチルカメラ1の表示部5を利用して本静止画像や本動画像を表示する場合について説明し、次いで外部装置の表示部を利用して本静止画像や本動画像を表示する場合について説明する。
中央処理ユニット10は、再生モード時、デジタルスチルカメラ1に外部装置が接続されてはいない状態でユーザにより操作部15を介して静止画サムネイル及び単位画サムネイルを一覧表示する一覧表示命令が入力されると、メディアインタフェース26を介して記録メディア27から静止画サムネイルデータ及び単位画サムネイルデータを読み出す。
また中央処理ユニット10は、これら静止画サムネイルデータ及び単位画サムネイルデータに付加している対応付け情報に基づき、関連付けている静止画サムネイルデータ及び単位画サムネイルデータを検出する。
そして中央処理ユニット10は、関連付けている静止画サムネイルデータと単位画サムネイルデータとを合成することにより合成画像(以下、これを合成サムネイルとも呼ぶ)の合成画像データ(以下、これを合成サムネイルデータとも呼ぶ)を生成する。
また中央処理ユニット10は、合成サムネイルデータと共に、他の関連付けてはいない静止画サムネイルデータや単位画サムネイルデータを用いて一覧表示データを生成する。
そして中央処理ユニット10は、一覧表示データをデジタルアナログ変換器23によりデジタルアナログ変換処理しアナログの一覧表示信号として、表示コントローラ24を介して表示部5に送出する。
これにより中央処理ユニット10は、表示部5の表示画面5Aに一覧表示信号に基づき、図6に示すように、合成サムネイルデータに基づく合成サムネイル40や、他の関連付けてはいない静止画サムネイルデータに基づく静止画サムネイル41、単位画サムネイルデータに基づく単位画サムネイル42をマトリクス状に配置して表示する。
この場合、図7に示すように、合成サムネイル40は、関連付けられている静止画サムネイル40Aと単位画サムネイル40Bとによって構成されている。
具体的に合成サムネイル40は、動画アスペクト比を有する単位画サムネイル40Bの中央部分に、静止画アスペクト比を有する静止画サムネイル40Aが、互いの画像縦方向の上端及び下端を一致させた状態で重畳され、全体として動画アスペクト比を有するように形成されている。
因みに、単位画サムネイル40Bへの静止画サムネイル40Aの重畳とは、当該単位画サムネイル40Bの中央部分を、静止画サムネイル40Aに置き換える(すなわち、単位画サムネイル40Bの中央部分に静止画サムネイル40Aを上書きする)ように、単位画サムネイル40Bと静止画サムネイル40Aとを合成した状態を示す。
このため合成サムネイル40は、静止画サムネイル40A全体を見せることができると共に、単位画サムネイル40Bの右端部及び左端部において静止画サムネイル40Aが重畳されずに露出する露出部分(すなわち、単位画サムネイル40Bにおいて静止画サムネイル40Aよりも画像横方向にはみ出す部分)も見せることができる。
ここで合成サムネイル40を構成する静止画サムネイル40Aは、被写体を時分割で静止画撮像及び動画撮像したときに得られた本静止画像の静止画像サイズを小さくするようにして生成されており、当該本静止画像と実質的に同じ絵柄を有している。
また合成サムネイル40を構成する単位画サムネイル40Bは、被写体を時分割で静止画撮像及び動画撮像したときに得られた本動画像に含まれる先頭単位画像の動画像サイズを小さくするようにして生成されており、当該先頭単位画像と実質的に同じ絵柄を有している。
そして被写体に対する時分割の静止画撮像及び動画撮像は、当該被写体を静止画撮像した後、直ちに動画撮像を開始するように、時間をわずかにずらして行われている。
このため被写体に対する時分割の静止画撮像及び動画撮像では、その撮像中に被写体やデジタルスチルカメラ1が大きく動くほど、本静止画像と、本動画像に含まれる先頭単位画像との絵柄の違いが大きくなる。
すなわち、静止画サムネイル40A及び単位画サムネイル40Bについても、時分割で静止画撮像及び動画撮像を行うときに被写体やデジタルスチルカメラ1が大きく動くほど、互いの絵柄の違いが大きくなる。
よって合成サムネイル40は、静止画サムネイル40Aと単位画サムネイル40Bとの絵柄の違いが大きいほど、当該静止画サムネイル40Aの右端部及び左端部と、単位画サムネイル40Bの右端側の露出部分(以下、これを右端側露出部分とも呼ぶ)及び左端側の露出部分(以下、これを左端側露出部分とも呼ぶ)との絵柄の繋がりが失われる。
その結果、合成サムネイル40は、静止画サムネイル40Aの右端部及び左端部と、単位画サムネイル40Bの右端側露出部分及び左端側露出部分との境界が、より明確になる。
しかしながら被写体に対する時分割の静止画撮像及び動画撮像では、撮像中に被写体やデジタルスチルカメラ1がほとんど動かないと、本静止画像と、本動画像に含まれる先頭単位画像との絵柄がほとんど変わらないものとなる。
すなわち、静止画サムネイル40A及び単位画サムネイル40Bについても、時分割で静止画撮像及び動画撮像を行うときに被写体やデジタルスチルカメラ1がほとんど動かないと、互いにほとんど変わらない絵柄になる。
そして合成サムネイル40は、静止画サムネイル40Aと単位画サムネイル40Bとの絵柄がほとんど変わらないと、当該静止画サムネイル40Aの右端部及び左端部と、単位画サムネイル40Bの右端側露出部分及び左端側露出部分との境界が不明確になる。
その結果、合成サムネイル40は、静止画サムネイル40Aの右端部及び左端部と、単位画サムネイル40Bの右端側露出部分及び左端側露出部分との絵柄が、あたかも1つの画像のように繋がり、単位画サムネイル40Bのみによって構成されているように見える可能性がある。
このため、中央処理ユニット10は、合成サムネイル40を生成する際、静止画サムネイル40Aの右端部及び左端部と、単位画サムネイル40Bの右端側露出部分及び左端側露出部分との境界部分に、画像縦方向と並行で例えば比較的太い黒色の境界線の画像(以下、これを境界線画像とも呼ぶ)43A及び43Bを重畳している。
因みに、中央処理ユニット10は、合成サムネイル40において境界線画像43A及び43Bを静止画サムネイル40Aの右端及び左端のみに重畳することもできるし、単位画サムネイル40Bの右端側露出部分及び左端側露出部分において静止画サムネイル40Aとの境界部分にのみ重畳することもできる。
また中央処理ユニット10は、合成サムネイル40において境界線画像43A及び43Bを、静止画サムネイル40Aの右端及び左端と、単位画サムネイル40Bの右端側露出部分及び左端側露出部分とに亘って重畳することもできる。
よって合成サムネイル40は、静止画サムネイル40Aと単位画サムネイル40Bとの絵柄の違いの程度にかかわらずに、境界線画像43A及び43Bにより静止画サムネイル40A及び単位画サムネイル40Bの境界を明確にしている。
すなわち、中央処理ユニット10は、合成サムネイル40として単位画サムネイル40Bに、これよりも幅の狭い静止画サムネイル40Aが重畳されていることを、ユーザに対し容易にかつ確実に認識させ得るようになされている。
これにより中央処理ユニット10は、表示部5の表示画面5Aにおいて、合成サムネイル40を、他の関連付けてはいない静止画サムネイル41や単位画サムネイル42と容易に区別させ得るようになされている。
また中央処理ユニット10は、本静止画像を4:3の静止画アスペクト比で生成し、本動画像を形成する複数の本単位画像を、静止画アスペクト比とは異なる16:9の動画アスペクト比で生成している。
さらに中央処理ユニット10は、表示部5の表示画面5Aに表示した合成サムネイル40において動画アスペクト比を有する単位画サムネイル40Bに、静止画アスペクト比を有する静止画サムネイル40Aを重畳している。
よって中央処理ユニット10は、ユーザに対し、合成サムネイル40により、単位画サムネイル40Bに対応する本動画像と、静止画サムネイル40Aに対応する本静止画像とが、被写体を時分割で静止画撮像及び動画撮像して生成し関連付けられていることを直感的に認識させることができる。
そして中央処理ユニット10は、表示部5の表示画面5Aに、このような合成サムネイル40と共に静止画サムネイル41や単位画サムネイル42を一覧表示すると、ユーザに対し操作部15を介して当該合成サムネイル40や静止画サムネイル41、単位画サムネイル42を任意に選択させ得るようになされている。
中央処理ユニット10は、ユーザにより操作部15を介して表示部5の表示画面5A上で合成サムネイル40や静止画サムネイル41、単位画サムネイル42の中から任意に1つの静止画サムネイル41が選択されると、当該選択された静止画サムネイル41に対応する本静止画像データの再生処理を実行する。
この場合、中央処理ユニット10は、メディアインタフェース26を介して記録メディア27から、ユーザにより選択された静止画サムネイル41に対応する圧縮静止画像データを読み出してバッファメモリ21に送出し一時記録する。
このとき静止画像処理部25は、バッファメモリ21から圧縮静止画像データを読み出して、当該読み出した圧縮静止画像データを復号することにより元の本静止画像データを生成し、当該生成した本静止画像データを画像加工部22に送出する。
画像加工部22は、静止画像処理部25から与えられた本静止画像データに対し、例えば、本静止画像から静止画アスペクト比は変えずに画素を間引く画像縮小処理を施す。
これにより画像加工部22は、本静止画像を表示部5の表示画面5Aに表示可能な静止画縦長さ及び静止画横長さに縮小した本静止画像データを生成し、当該生成した本静止画像データを中央処理ユニット10に送出する。
この際、中央処理ユニット10は、画像加工部22から与えられた本静止画像データをデジタルアナログ変換器23によりデジタルアナログ変換処理してアナログの本静止画像信号として表示コントローラ24に送出する。
表示コントローラ24は、中央処理ユニット10から与えられた本静止画像信号を表示部5に送出することにより、当該表示部5の表示画面5Aに本静止画像信号に基づく本静止画像を表示する。
このようにして中央処理ユニット10は、被写体を単独で静止画撮像して生成していた本静止画像データを再生して本静止画像をユーザに見せることができる。
因みに、中央処理ユニット10は、本静止画像データを予め選定された一定時間再生すると、当該本静止画像データの再生処理を終了する。
また中央処理ユニット10は、本静止画像データを一定時間再生する前に再生停止命令が入力されたときには、その時点に本静止画像データの再生を停止させて、当該本静止画像データの再生処理を終了する。
中央処理ユニット10は、このようにして本静止画像データの再生処理を終了すると、表示部5の表示画面5Aに、再び合成サムネイル40や静止画サムネイル41、単位画サムネイル42を一覧表示する。
よって中央処理ユニット10は、表示部5の表示画面5A上で、合成サムネイル40や静止画サムネイル41、単位画サムネイル42によって、再生対象の本静止画像データや本動画像データを再び選択させることができる。
また中央処理ユニット10は、ユーザにより操作部15を介して表示部5の表示画面5A上で合成サムネイル40や静止画サムネイル41、単位画サムネイル42の中から任意に1つの単位画サムネイル42が選択されると、当該選択された単位画サムネイル42に対応する本動画像データの再生処理を実行する。
この場合、中央処理ユニット10は、メディアインタフェース26を介して記録メディア27から、ユーザにより選択された単位画サムネイル42に対応する動画ストリームを読み出す。
そして中央処理ユニット10は、かかる動画像ストリームを圧縮動画像データと圧縮音声データとに分離すると共に、これら圧縮動画像データ及び圧縮音声データをバッファメモリ21に送出して一時記録する。
このとき動画像処理部28は、バッファメモリ21から圧縮動画像データを読み出し、当該読み出した圧縮動画像データを復号することにより元の本動画像データを生成して、当該生成した本動画像データを画像加工部22に送出する。
画像加工部22は、動画像処理部28から与えられた本動画像データに対し、例えば、本動画像から動画アスペクト比は変えずに画素を間引く画像縮小処理を施す。
これにより画像加工部22は、本動画像を表示部5の表示画面5Aに表示可能な動画縦長さ及び動画横長さに縮小した本動画像データを生成し、当該生成した本動画像データを中央処理ユニット10に送出する。
中央処理ユニット10は、画像加工部22から与えられた本動画像データを(すなわち、複数の本単位画像データを順次)デジタルアナログ変換器23によりデジタルアナログ変換処理してアナログの本動画像信号(すなわち、複数の本単位画像信号)として表示コントローラ24に送出する。
表示コントローラ24は、中央処理ユニット10から与えられた本動画像信号を(すなわち、複数の本単位画像信号を順次)表示部5に送出することにより、当該表示部5の表示画面5Aに本動画像信号に基づく本動画像を(すなわち、時間的に連続な複数の本単位画像信号に基づく本単位画像を順次切り換えて)表示する。
またこのとき音声処理部31は、バッファメモリ21から圧縮音声データを読み出し、当該読み出した圧縮音声データを復号することにより元の音声データを生成する。
そして音声処理部31は、その音声データをデジタルアナログ変換器33によりデジタルアナログ変換処理してアナログの音声信号としてスピーカ34に送出する。
これにより中央処理ユニット10は、表示部5の表示画面5Aに対する本動画像の表示に合わせて、スピーカ34から音声信号に基づく音声を出力させる。
このようにして中央処理ユニット10は、被写体を単独で動画撮像して生成していた本動画像データ及び音声データを再生して本動画像及び音声を視聴させることができる。
因みに、中央処理ユニット10は、本動画像データ及び音声データを最後尾まで再生し終えると、当該本動画像データの再生処理を終了する。
また中央処理ユニット10は、本動画像データ及び音声データの再生途中にユーザにより再生停止命令が入力されたときには、その時点に本動画像データ及び音声データの再生を停止させて、当該本動画像データの再生処理を終了する。
中央処理ユニット10は、このようにして本動画像データの再生処理を終了すると、表示部5の表示画面5Aに、再び合成サムネイル40や静止画サムネイル41、単位画サムネイル42を一覧表示する。
よって中央処理ユニット10は、表示部5の表示画面5A上で、合成サムネイル40や静止画サムネイル41、単位画サムネイル42によって、再生対象の本静止画像データや本動画像データを再び選択させることができる。
さらに中央処理ユニット10は、ユーザにより操作部15を介して表示部5の表示画面5A上で合成サムネイル40や静止画サムネイル41、単位画サムネイル42の中から任意に1つの合成サムネイル40が選択されると、当該選択された合成サムネイル40に対応する本静止画像データ及び本動画像データの連続再生処理を実行する。
この場合、中央処理ユニット10は、メディアインタフェース26を介して記録メディア27から、ユーザにより選択された合成サムネイル40(すなわち、合成サムネイル40を構成する静止画サムネイル40A)に対応する圧縮静止画像データを読み出してバッファメモリ21に送出し一時記録する。
また中央処理ユニット10は、メディアインタフェース26を介して記録メディア27から、ユーザにより選択された合成サムネイル40(すなわち、合成サムネイル40を構成する単位画サムネイル40B)に対応する動画ストリームも読み出す。
さらに中央処理ユニット10は、かかる動画像ストリームを圧縮動画像データと圧縮音声データとに分離すると共に、その圧縮動画像データもバッファメモリ21に送出して一時記録する。
すなわち、中央処理ユニット10は、合成サムネイル40を構成する静止画サムネイル40A及び単位画サムネイル40Bをもとに、記録メディア27から、関連付けている圧縮静止画像データ(すなわち、本静止画像データ)及び動画像ストリーム(すなわち、本動画像データ)を読み出す。
このとき静止画像処理部25は、バッファメモリ21から圧縮静止画像データを読み出し、当該読み出した圧縮静止画像データを復号することにより元の本静止画像データを生成し、当該生成した本静止画像データを画像加工部22に送出する。
また動画像処理部28は、バッファメモリ21から圧縮動画像データを読み出し、当該読み出した圧縮動画像データを復号することにより、元の本動画像データに含まれる先頭単位画像の先頭単位画像データのみを生成する。そして動画像処理部28は、その先頭単位画像データを画像加工部22に送出する。
画像加工部22は、静止画像処理部25から与えられた本静止画像データに対し、例えば、本静止画像から静止画アスペクト比は変えずに画素を間引く画像縮小処理を施す。
これにより画像加工部22は、本静止画像を表示部5の表示画面5Aに表示可能な静止画縦長さ及び静止画横長さに縮小した本静止画像データを生成し、当該生成した本静止画像データを中央処理ユニット10に送出する。
また画像加工部22は、この際、動画像処理部28から与えられた先頭単位画像データに対し、例えば、先頭単位画像から動画アスペクト比は変えずに画素を間引く画像縮小処理を施す。
これにより画像加工部22は、先頭単位画像を表示部5の表示画面5Aに表示可能な動画縦長さ及び動画横長さに縮小した先頭単位画像データを生成する。
ところで画像加工部22は、この際、本静止画像データ及び先頭単位画像データそれぞれに対し画像縮小処理を施すことで、静止画縦長さと動画縦長さとが等しい本静止画像及び先頭単位画像の本静止画像データ及び先頭単位画像データを生成する。
そして画像加工部22は、このように画像縮小処理を施した先頭単位画像データも中央処理ユニット10に送出する。
この際、中央処理ユニット10は、画像加工部22から与えられた本静止画像データと先頭単位画像データとを合成して合成画像(以下、これを本合成画像とも呼ぶ)の合成画像データ(以下、これを本合成画像データとも呼ぶ)を生成する。
そして中央処理ユニット10は、本合成画像データをデジタルアナログ変換器23によりデジタルアナログ変換処理してアナログの本合成画像信号として、表示コントローラ24に送出する。
表示コントローラ24は、中央処理ユニット10から与えられた本合成画像信号を表示部5に送出することにより、当該表示部5の表示画面5A全体に亘り本合成画像信号に基づく図8に示すような本合成画像45を表示する。
この場合、本合成画像45は、関連付けられている本静止画像45Aと先頭単位画像45B(すなわち、本静止画像45Aに関連付けられている本動画像としての先頭単位画像45B)とによって構成されている。
具体的に本合成画像45は、動画アスペクト比を有する先頭単位画像45Bの中央部分に、静止画アスペクト比を有する本静止画像45Aが、互いの画像縦方向の上端及び下端を一致させた状態で重畳され、全体として動画アスペクト比を有するように形成されている。
因みに、先頭単位画像45Bへの本静止画像45Aの重畳とは、当該先頭単位画像45Bの中央部分を本静止画像45Aに置き換える(すなわち、先頭単位画像45Bの中央部分に本静止画像45Aを上書きする)ように、先頭単位画像45Bと本静止画像45Aとを合成した状態を示す。
このため本合成画像45では、本静止画像45A全体を見せることができると共に、先頭単位画像45Bの右端部及び左端部において本静止画像45Aが重畳されずに露出する右端側露出部分及び左端側露出部分(すなわち、先頭単位画像45Bにおいて本静止画像45Aよりも画像横方向にはみ出す部分)も見せることができる。
よって中央処理ユニット10は、関連付けている本静止画像データ及び本動画像データの連続再生処理を実行する場合、まずは本静止画像データを本動画像データの先頭単位画像データと共に本合成画像データとして再生して本合成画像45を表示し、その本合成画像45により本静止画像45Aをユーザに見せることができる。
そして、図9に示すように、中央処理ユニット10は、表示部5の表示画面5Aに本合成画像45を、予め選定された一定時間だけ表示すると、本合成画像データに換えて、先頭単位画像45Bの先頭単位画像データのみをデジタルアナログ変換器23によりデジタルアナログ変換処理しアナログの先頭単位画像信号として、表示コントローラ24に送出する。
よって表示コントローラ24は、中央処理ユニット10から与えられた先頭単位画像信号を表示部5に送出して、当該表示部5の表示画面5A全体に亘り先頭単位画像信号に基づく先頭単位画像45Bのみを表示する。
これにより中央処理ユニット10は、表示部5の表示画面5Aにおいて、本合成画像45の表示から、当該本合成画像45を構成する本静止画像45A及び先頭単位画像45Bのうち、その先頭単位画像45Bのみの表示に切り換える。
そして中央処理ユニット10は、このように表示部5の表示画面5Aにおいて本合成画像45から先頭単位画像45Bへと表示を切り換えると、上述と同様に動画像ストリームの再生処理を開始する。
これにより中央処理ユニット10は、動画像処理部28及び画像加工部22を制御して本動画像データを生成すると共に、音声処理部31を制御して音声データを生成する。
その結果、中央処理ユニット10は、画像加工部22から本動画像データが与えられると、当該本動画像データをデジタルアナログ変換器23によりデジタルアナログ変換処理してアナログの本動画像信号として表示コントローラ24に送出する。
よって表示コントローラ24は、中央処理ユニット10から与えられた本動画像信号を表示部5に送出することにより、当該表示部5の表示画面5Aに対し、先頭単位画像45Bに換えて本動画像信号に基づく本動画像を表示する。
また中央処理ユニット10は、このとき音声処理部31により生成された音声データをデジタルアナログ変換器33によりデジタルアナログ変換処理してアナログの音声信号としてスピーカ34に送出する。
これにより中央処理ユニット10は、表示部5の表示画面5Aに対する本動画像の表示に合わせて、スピーカ34から音声信号に基づく音声を出力する。
このようにして中央処理ユニット10は、被写体を時分割で静止画撮像及び動画再生して生成していた本静止画像データ及び本動画像データのうち、本静止画像データを再生して本静止画像を見せた後、自動的に本動画像データも再生して本動画像を見せることができる。
因みに、中央処理ユニット10は、関連付けている本静止画像データと本動画像データとを自動的に連続で再生する場合、その本動画像データを最後尾まで再生し終えると、連続再生処理を終了する。
また中央処理ユニット10は、本動画像データの再生途中にユーザにより再生停止命令が入力されたときには、その時点に本動画像データの再生を停止させて連続再生処理を終了する。
中央処理ユニット10は、このようにして連続再生処理が終了すると、表示部5の表示画面5Aに、再び合成サムネイル40や静止画サムネイル41、単位画サムネイル42を一覧表示する。
よって中央処理ユニット10は、表示部5の表示画面5A上で、合成サムネイル40や静止画サムネイル41、単位画サムネイル42によって、再生対象の本静止画像データや本動画像データを再び選択させることができる。
ところで、中央処理ユニット10は、表示部5の表示画面5Aに本合成画像45を表示した場合、当該本合成画像45において動画アスペクト比を有する先頭単位画像45Bに静止画アスペクト比を有する本静止画像45Aを重畳している。
このため中央処理ユニット10は、ユーザに対し、本合成画像45により、先頭単位画像45Bに対応する本動画像と、本静止画像45Aとが、被写体を時分割で静止画撮像及び動画撮像して生成し関連付けられていることを直感的に認識させることができる。
すなわち、中央処理ユニット10は、先に表示部5の表示画面5Aに表示した合成サムネイル40によっても、本静止画像45Aと本動画像とが関連付けられていることを認識させることができるものの、本合成画像45によっても、当該本静止画像45Aと本動画像とが関連付けられていることを認識させることができる。
ただし本合成画像45については、本静止画像45Aと先頭単位画像45Bとの絵柄がほとんど変わらないと、上述した合成サムネイル40の場合と同様に、当該本静止画像45Aの右端部及び左端部と、先頭単位画像45Bの右端側露出部分及び左端側露出部分との絵柄が、あたかも1つの画像のように繋がり、先頭単位画像45Bのみによって構成されているように見える可能性がある。
このため中央処理ユニット10は、先頭単位画像45Bに本静止画像45Aを単に重畳するように本合成画像45(図8)を生成することもできるが、本静止画像45A及び先頭単位画像45Bの少なくとも一方に、当該先頭単位画像45Bへの本静止画像45Aの重畳を強調する重畳強調処理を施すようにして本合成画像45を生成することもできる。
そして中央処理ユニット10は、本合成画像45を生成する際に重畳強調処理を実行するか否かを、予めユーザに任意に選択させて設定することもできるし、当該重畳強調処理の実行の有無を自動で判断するか否かを選択させて設定することもできる。
また本静止画像45A及び先頭単位画像45Bの少なくとも一方に施す重畳強調処理については、複数種類のものがある。
よって中央処理ユニット10は、重畳強調処理を実行するように予め設定している場合や、重畳強調処理の実行の有無を自動で判断するように設定している場合、これに合わせて複数種類の重畳強調処理のうち、本静止画像45A及び先頭単位画像45Bの少なくとも一方に施す1つの重畳強調処理をユーザに任意に選択させて設定している。
ここで、重畳強調処理としては、上述した合成サムネイル40の場合と同様に、先頭単位画像45B及び本静止画像45Aの少なくとも一方に境界線画像を重畳するものがある。
また重畳強調処理としては、図10に示すように、先頭単位画像46Aの少なくとも右端側露出部分及び左端側露出部分を、本来の明度とは異なる明度に変更する(すなわち、明度を本来よりも低下させる)ものもある。
かかる重畳強調処理では、本合成画像46において本静止画像45Aよりも先頭単位画像46Aの明度が低い(すなわち、暗い)ため、中央部分としての本静止画像45Aと、背景としての先頭単位画像46A(すなわち、先頭単位画像46Aの右端側露出部分及び左端側露出部分)とを明確に区別させて、互いの境界を明確に判別させることができる。
さらに重畳強調処理としては、図11に示すように、先頭単位画像47Aの少なくとも右端側露出部分及び左端側露出部分を、本来の彩度とは異なる彩度に変更する(すなわち、彩度を本来よりも低下させる)ものもある。
かかる重畳強調処理によっても、本合成画像47において本静止画像45Aよりも先頭単位画像47Aの彩度が低い(すなわち、白黒やセピア色な)ため、中央部分としての本静止画像45Aと、背景としての先頭単位画像47A(すなわち、先頭単位画像47Aの右端側露出部分及び左端側露出部分)とを明確に区別させて、互いの境界を明確に判別させることができる。
さらに重畳強調処理としては、先頭単位画像47Aの少なくとも右端側露出部分及び左端側露出部分を、本来の色相とは異なる色相に変更するものもある。
かかる重畳強調処理によっても、本合成画像47において本静止画像45Aと先頭単位画像47Aとの色相が異なるため、中央部分としての本静止画像45Aと、背景としての先頭単位画像47A(すなわち、先頭単位画像47Aの右端側露出部分及び左端側露出部分)とを明確に区別させて、互いの境界を明確に判別させることができる。
さらに重畳強調処理としては、図12に示すように、先頭単位画像45Bの右端側露出部分及び左端側露出部分の一部に、映画フイルムを想起させるような装飾画像49A及び49Bを重畳させるようなものもある。
かかる重畳強調処理によっても、本合成画像48を装飾画像49A及び49Bによって、他の本静止画像のみや本動画像のみの表示とは容易に区別させることができる。
そして中央処理ユニット10は、重畳強調処理を実行するように予め設定している場合、ユーザ設定に応じて、本静止画像45A及び先頭単位画像47Aの少なくとも一方に、上述した何れか1つの重畳強調処理を施して本合成画像46乃至48を生成する。
また中央処理ユニット10は、重畳強調処理の実行の有無を自動で判断するように設定している場合、本静止画像45Aの右端部及び左端部と、先頭単位画像45Bの右端側露出部分及び左端側露出部分との境界部分において互いに隣接する当該本静止画像45Aの画素及び先頭単位画像45Bの画素を比較する。
そして中央処理ユニット10は、本静止画像45Aと先頭単位画像45Bとの境界部分において、それぞれ比較した画素のうち、互いの画素値(例えば、輝度や色)の差が予め選定された差以上に異なる画素の割合を検出する。
その結果、中央処理ユニット10は、本静止画像45Aと先頭単位画像45Bとの境界部分において、互いの画素値が、予め選定された差以上に異なる画素の割合が閾値以上であると、当該本静止画像45Aと先頭単位画像45Bとの絵柄の違いが比較的大きいと判断する。
この際、中央処理ユニット10は、先頭単位画像45Bに本静止画像45Aを単に重畳しても、これらの境界を明確に判別し得るものとして、本静止画像45A及び先頭単位画像45Bに重畳強調処理を施さないようにする。
これに対して中央処理ユニット10は、本静止画像45Aと先頭単位画像45Bとの境界部分において、互いの画素値が、予め選定された差以上に異なる画素の割合が閾値よりも小さいと、本静止画像45Aと先頭単位画像45Bとの絵柄の違いが比較的小さいと判断する。
この際、中央処理ユニット10は、先頭単位画像45Bに本静止画像45Aを単に重畳すると、これらの境界を明確には判別し難い可能性があるものとし、ユーザ設定に応じて、本静止画像45A及び先頭単位画像45Bの少なくとも一方に、上述した何れか1つの重畳強調処理を施して本合成画像46乃至48を生成する。
そして図13乃至図15に示すように、中央処理ユニット10は、表示部5の表示画面5Aに、重畳強調処理を施した(すなわち、明度、彩度又は色相を変更し、又は装飾画像49A及び49Bを重畳した)本合成画像46乃至48を表示した状態で、連続再生処理を実行すると、ユーザ設定に応じて、本合成画像46乃至48の表示から先頭単位画像45Bのみの表示への切り換え(すなわち、本静止画像45Aの消去)と、先頭単位画像45B、46A及び47Aに対する重畳強調処理の効果の解除(すなわち、重畳強調処理を施す前の元の先頭単位画像45Bに戻す)とを順不同で実行する。
そして中央処理ユニット10は、このように表示部5の表示画面5Aにおいて本合成画像46乃至48から当該本合成画像46乃至48を構成する先頭単位画像45Bのみへと表示を切り換えると、当該先頭単位画像45Bのみを表示した後に、上述と同様に動画像ストリームの再生処理を自動的に開始する。
ただし図16に示すように、中央処理ユニット10は、表示部5の表示画面5Aに、先頭単位画像45Bに装飾画像49A及び49Bを重畳するような重畳強調処理を施した本合成画像48を表示した状態で、連続再生処理を実行すると、ユーザ設定に応じて、本合成画像48の表示から当該本合成画像48を構成する先頭単位画像45Bの表示へと切り換える(すなわち、本静止画像45Aを消去する)。
そして中央処理ユニット10は、表示部5の表示画面5Aに単独で表示した先頭単位画像45Bにおいて重畳強調処理の効果を解除しないよう(すなわち、先頭単位画像45Bに装飾画像49A及び49Bを重畳したまま)にすることもできる。
また中央処理ユニット10は、表示部5の表示画面5Aにおいて本合成画像48の表示から、装飾画像49A及び49Bを重畳したままの先頭単位画像45Bの表示へと切り換えた後に動画像ストリームの再生処理を開始した場合、ユーザ設定に応じて、本動画像を、装飾画像49A及び49Bを重畳したまま表示することもできる。
さらに中央処理ユニット10は、このとき表示部5の表示画面5Aに、装飾画像49A及び49Bを重畳せずに本動画像を表示することもできる。
因みに、中央処理ユニット10は、表示部5の表示画面5Aに本合成画像45乃至48を表示する際、例えばバッファメモリ21上で本合成画像データを生成している。
中央処理ユニット10は、具体的にはバッファメモリ21に先頭単位画像データを一時記録するようにして、当該バッファメモリ21上で先頭単位画像データを展開して先頭単位画像45B、46A及び47Aを形成する。
そして中央処理ユニット10は、このときバッファメモリ21に先頭単位画像データを一時記録しながら、当該バッファメモリ21から、その先頭単位画像データを本合成画像データとして読み出し始める。
また中央処理ユニット10は、バッファメモリ21に先頭単位画像データを一時記録し終えると、当該バッファメモリ21に本静止画像データを一時記録しながら、当該バッファメモリ21上で本静止画像データを展開して先頭単位画像45B、46A及び47Aの中央部分に本静止画像45Aを上書きする(すなわち、重畳する)ように形成する。
さらに中央処理ユニット10は、バッファメモリ21に本静止画像データを一時記録しながら、当該バッファメモリ21から先頭単位画像データと共に、当該本静止画像データのすでに一時記録している分を本合成画像データとして読み出す。
これにより中央処理ユニット10は、ユーザにより操作部15を介して表示部5の表示画面5A上で任意に1つの合成サムネイル40が選択されてから、表示部5の表示画面5Aに本合成画像45乃至48を表示するまでの時間を極力短くしている。
ただし、中央処理ユニット10は、このようにバッファメモリ21から先頭単位画像データや本静止画像データを本合成画像データとして読み出すと、表示部5の表示画面5Aに表示した本合成画像45乃至48の内容を先頭単位画像45B、46A及び47Aのみから本静止画像45Aを徐々に重畳するように変化させることになる。
そして中央処理ユニット10は、その処理能力に応じて、表示部5の表示画面5Aへの本合成画像45乃至48の表示を比較的高速に実行すると、当該本合成画像45乃至48の内容の変化がちらつきとなって見え、視認性が低下する可能性がある。
このため中央処理ユニット10は、例えば、ユーザにより操作部15を介して表示部5の表示画面5A上で任意に1つの合成サムネイル40が選択された時点から、バッファメモリ21に先頭単位画像データ及び本静止画像データを順次一時記録して本合成画像データの生成が完了するまでの間、本合成画像データの生成と表示コントローラ24への送出とを実行するものの、表示部5の表示画面5Aをオフ状態(すなわち、表示画面5Aを消灯させた状態)にする。
そして中央処理ユニット10は、本合成画像データの生成が完了した時点に、表示部5の表示画面5Aをオン状態(すなわち、表示画面5Aを点灯させた状態)にして本合成画像45乃至48を見せる。
これにより中央処理ユニット10は、表示部5の表示画面5Aに本合成画像45乃至48を表示する際、当該本合成画像45乃至48の内容の変化がちらつきとなって見え、視認性が低下することを回避している。
また中央処理ユニット10は、このような表示部5の表示画面5Aに対する表示の制御は、上述した合成サムネイル40や静止画サムネイル41、単位画サムネイル42の一覧表示の際にも同様に実行している。
一方、中央処理ユニット10は、再生モード時、デジタルスチルカメラ1に外部装置が接続されている状態でユーザにより操作部15を介して一覧表示命令が入力されると、メディアインタフェース26を介して記録メディア27から静止画サムネイルデータ及び単位画サムネイルデータを読み出す。
そして中央処理ユニット10は、上述と同様に一覧表示データを生成し、当該生成した一覧表示データを外部インタフェース35及び外部端子8を順次介して外部装置に出力する。
これにより中央処理ユニット10は、外部装置に設けられた表示部の表示画面に、図6について上述した場合と同様に、一覧表示信号に基づき合成サムネイル40や静止画サムネイル41、単位画サムネイル42をマトリクス状に配置して表示する。
この状態で中央処理ユニット10は、ユーザにより操作部15を介して、外部装置の表示部の表示画面上で合成サムネイル40や静止画サムネイル41、単位画サムネイル42の中から任意に1つの静止画サムネイル41が選択されると、当該選択された静止画サムネイル41に対応する本静止画像データの再生処理を実行する。
この際、中央処理ユニット10は、上述と同様に静止画像処理部25及び画像加工部22を制御して本静止画像データを生成する。
その結果、中央処理ユニット10は、画像加工部22から本静止画像データが与えられると、当該本静止画像データを外部インタフェース35及び外部端子8を順次介して外部装置に出力する。
これにより中央処理ユニット10は、外部装置の表示部の表示画面に本静止画像データに基づく本静止画像を表示させてユーザに見せることができる。
また中央処理ユニット10は、ユーザにより操作部15を介して、外部装置の表示部の表示画面上で合成サムネイル40や静止画サムネイル41、単位画サムネイル42の中から任意に1つの単位画サムネイル42が選択されると、当該選択された単位画サムネイル42に対応する本動画像データの再生処理を実行する。
この際、中央処理ユニット10は、上述と同様に動画像処理部28及び画像加工部22を制御して本動画像データを生成すると共に、音声処理部31を制御して音声データを生成する。
その結果、中央処理ユニット10は、画像加工部22から本動画像データが与えられると、当該本動画像データを外部インタフェース35及び外部端子8を順次介して外部装置に出力する。
また中央処理ユニット10は、このとき音声処理部31から音声データを取り込み、当該音声データも外部インタフェース35及び外部端子8を順次介して外部装置に出力する。
これにより中央処理ユニット10は、外部装置の表示部の表示画面に本動画像データに基づく本動画像を表示させると共に、当該本動画像の表示に合わせて外部装置のスピーカから音声データに基づく音声を出力させてユーザに視聴させることができる。
さらに中央処理ユニット10は、ユーザにより操作部15を介して、外部装置の表示部の表示画面上で合成サムネイル40や静止画サムネイル41、単位画サムネイル42の中から任意に1つの合成サムネイル40が選択されると、当該選択された合成サムネイル40に対応する本静止画像データ及び本動画像データの連続再生処理を実行する。
この際、中央処理ユニット10は、上述と同様に、静止画像処理部25、動画像処理部28及び画像加工部22を制御して先頭単位画像データ及び本静止画像データを生成する。
その結果、中央処理ユニット10は、画像加工部22から、これら先頭単位画像データ及び本静止画像データが与えられると、当該先頭単位画像データと本静止画像データとを合成して本合成画像データを生成する。
そして中央処理ユニット10は、本合成画像データを外部インタフェース35及び外部端子8を順次介して外部装置に出力することにより、当該外部装置の表示部の表示画面に本合成画像データに基づき本合成画像45乃至48を表示する。
このようにして中央処理ユニット10は、関連付けている本静止画像データと、本動画像データの先頭単位画像データとを再生して外部装置で本合成画像45乃至48を表示し、その本合成画像45乃至48として本静止画像45Aをユーザに見せることができる。
そして中央処理ユニット10は、外部装置で本合成画像45乃至48を予め選定された一定時間表示すると、上述と同様に外部装置において本合成画像45乃至48の表示を、当該本合成画像45乃至48を構成する本静止画像45A及び先頭単位画像45Bのうち、その先頭単位画像45Bのみの表示へと切り換えた後に本動画像の表示に切り換えると共に、その本動画像の表示に合わせて音声を出力させる。
これにより中央処理ユニット10は、本静止画像データの再生に引き続き、当該本静止画像データに関連付けている本動画像データも自動的に再生して本動画像をユーザに見せることができる。
因みに、中央処理ユニット10は、外部装置において本静止画像や本動画像を表示する場合も、上述と同様に本静止画像データや本動画像データの単独の再生処理や連続再生処理が終了すると、当該外部装置の表示部の表示画面に、再び合成サムネイル40や静止画サムネイル41、単位画サムネイル42を一覧表示する。
よって中央処理ユニット10は、外部装置の表示部の表示画面上で、合成サムネイル40や静止画サムネイル41、単位画サムネイル42によって、再生対象の本静止画像データや本動画像データを再び選択させることができる。
次いで、図17に示すフローチャートを用いて、再生モード時に合成サムネイル40を表示する合成サムネイル表示処理手順RT1について説明する。
中央処理ユニット10は、例えば、ユーザにより操作部15を介して一覧表示命令が入力されると、ROM12に予め記憶された表示制御プログラムに従って、図17に示す合成サムネイル表示処理手順RT1を開始する。
中央処理ユニット10は、かかる合成サムネイル表示処理手順RT1を開始すると、ステップSP1において記録メディア27から複数の静止画サムネイルデータ及び複数の単位画サムネイルデータを読み出して、次のステップSP2に移る。
ステップSP2において中央処理ユニット10は、これら複数の静止画サムネイルデータ及び複数の単位画サムネイルデータの中で、関連付けている静止画サムネイルデータと単位画サムネイルデータとを検出して、次のステップSP3に移る。
ステップSP3において中央処理ユニット10は、関連付けている静止画サムネイルデータと単位画サムネイルデータとを合成して合成サムネイルデータを生成して、次のステップSP4に移る。
ステップSP4において中央処理ユニット10は、合成サムネイルデータを、他の静止画サムネイルデータ及び単位画サムネイルデータと共に一覧表示データとしてデジタルスチルカメラ1の表示部5(又は外部装置)に送出する。
これにより中央処理ユニット10は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に一覧表示データに基づき、合成サムネイル40として動画アスペクト比を有する単位画サムネイル40Bの一部に静止画アスペクト比を有する静止画サムネイル40Aを重畳して表示すると共に、他の静止画サムネイル41や単位画サムネイル42を一覧表示して、次のステップSP5に移る。
そしてステップSP5において中央処理ユニット10は、合成サムネイル表示処理手順RT1を終了する。
次いで、図18に示すフローチャートを用いて、再生モード時に、関連付けている本静止画像データと本動画像データとを連続再生する連続再生処理手順RT2について説明する。
中央処理ユニット10は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に合成サムネイル40を表示している状態で、ユーザにより操作部15を介して表示画面5A(又は外部装置の表示画面)上で当該合成サムネイル40が選択されると、ROM12に予め記憶された表示制御プログラムに従って、図18に示す連続再生処理手順RT2を開始する。
中央処理ユニット10は、かかる連続再生処理手順RT2を開始すると、ステップSP11において表示部5の表示画面5A(又は外部装置の表示部の表示画面)をオフ状態にして、次のステップSP12に移る。
ステップSP12において中央処理ユニット10は、記録メディア27から、ユーザにより選択された合成サムネイル40に対応する、関連付けている圧縮静止画像データ及び動画像ストリームのうち当該圧縮静止画像データを読み出す。
そして中央処理ユニット10は、かかる圧縮静止画像データをもとに静止画像処理部25及び画像加工部22により本静止画像データを生成して、次のステップSP13に移る。
ステップSP13において中央処理ユニット10は、記録メディア27から、ユーザにより選択された合成サムネイル40に対応する、関連付けている圧縮静止画像データ及び動画像ストリームのうち当該動画ストリームも読み出す。
そして中央処理ユニット10は、かかる動画像ストリームに含まれる圧縮動画像データをもとに動画像処理部28及び画像加工部22により先頭単位画像データを生成して、次のステップSP14に移る。
ステップSP14において中央処理ユニット10は、本静止画像データ及び先頭単位画像データの少なくとも一方に、重畳強調処理を施すか否かを判別する。
このステップSP14において肯定結果が得られると、このことは予めユーザにより重畳強調処理を施すように選択され設定していること、又は本静止画像45Aと先頭単位画像45Bとの境界部分の画素に基づき重畳強調処理を施すように自動で判断したことを表している。
ステップSP14において中央処理ユニット10は、かかる肯定結果を得ると、次のステップSP15に移る。
ステップSP15において中央処理ユニット10は、例えば、関連付けている本静止画像データと先頭単位画像データとのうち、当該先頭単位画像データに重畳強調処理を施して、次のステップSP16に移る。
ステップSP16において中央処理ユニット10は、関連付けている本静止画像データと先頭単位画像データとを合成して本合成画像データを生成して、次のステップSP17に移る。
また上述のステップSP14において否定結果が得られると、このことは予めユーザにより重畳強調処理を施さないように選択され設定していること、又は本静止画像45Aと先頭単位画像45Bとの境界部分の画素に基づき重畳強調処理を施さないように自動で判断したことを表している。
ステップSP14において中央処理ユニット10は、かかる否定結果を得ると、ステップSP15の処理は実行せずにステップSP16に移る。
ところで中央処理ユニット10は、ステップSP16の処理を実行して本合成画像データを生成しながら、その本合成画像データをデジタルスチルカメラ1の表示部5(又は外部装置)に送出している。
そしてステップSP17において中央処理ユニット10は、本合成画像データの生成が完了すると、表示部5の表示画面5A(又は外部装置の表示部の表示画面)をオン状態にして、ステップSP18に移る。
よってステップSP18において中央処理ユニット10は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に、本合成画像データに基づく本合成画像45乃至48として、動画アスペクト比を有する先頭単位画像45B、46A及び47Aの一部に静止画アスペクト比を有する本静止画像45Aを重畳して表示する。
これにより中央処理ユニット10は、ユーザに対し、本合成画像45乃至48として、関連付けている本静止画像45Aと本動画像とのうち当該本静止画像45Aを見せて、次のステップSP19に移る。
ステップSP19において中央処理ユニット10は、本合成画像45乃至48の表示開始から一定時間に達することを待ち受け、当該一定時間に達すると、次のステップSP20に移る。
ステップSP20において中央処理ユニット10は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)において本合成画像46乃至48に換えて当該本合成画像45乃至48を構成する先頭単位画像45Bのみを表示して(また、重畳強調処理の効果も解除して)、次のステップSP21に移る。
ステップSP21において中央処理ユニット10は、その時点までユーザに見せていた本静止画像45Aの本静止画像データと関連付けている本動画像データの再生を開始する。
これにより中央処理ユニット10は、動画像処理部28及び画像加工部22により圧縮動画像データをもとに、本静止画像データと関連付けている本動画像データを生成し、当該生成した本動画像データを表示部5(又は外部装置)に送出する。
よって中央処理ユニット10は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に、先頭単位画像45Bに換えて、その本動画像データに基づく本動画像を表示してユーザに見せる。
ところで中央処理ユニット10は、本動画像データの再生が終了し、又は再生中止の要求に応じて当該再生を中止すると、次のステップSP22に移る。
これによりステップSP22において中央処理ユニット10は、連続再生処理手順RT2を終了する。
(1−3)動作及び利点
以上の構成において、デジタルスチルカメラ1の中央処理ユニット10は、被写体を時分割で静止画撮像及び動画撮像すると、静止画アスペクト比を有する本静止画像45Aの本静止画像データと、当該静止画アスペクト比とは異なる動画アスペクト比を有する時間的に連続な複数の本単位画像によって形成される本動画像の本動画像データとを生成すると共に、これらを関連付ける。
またデジタルスチルカメラ1の中央処理ユニット10は、この際、関連付けた本静止画像データと本動画像データとのうち、当該本静止画像データの検索に利用するインデックスとして、静止画アスペクト比を有する静止画サムネイル40Aの静止画サムネイルデータを生成する。
さらにデジタルスチルカメラ1の中央処理ユニット10は、関連付けた本静止画像データと本動画像データとのうち、本動画像データの検索に利用するインデックスとして、動画アスペクト比を有する単位画サムネイル40Bの単位画サムネイルデータを生成する。
さらにまたデジタルスチルカメラ1の中央処理ユニット10は、これら静止画サムネイルデータ及び単位画サムネイルデータも関連付けて、当該関連付けた静止画サムネイルデータ及び単位画サムネイルデータを、本静止画像データ及び本動画像データと共に記録する。
そしてデジタルスチルカメラ1の中央処理ユニット10は、再生モード時、関連付けている静止画サムネイルデータと単位画サムネイルデータとを合成して合成サムネイルデータを生成する。
またデジタルスチルカメラ1の中央処理ユニット10は、合成サムネイルデータを表示部5(又は外部装置)に送出することにより、当該表示部5の表示画面5A(又は外部装置の表示部の表示画面)に、合成サムネイルデータに基づく合成サムネイル40として、単位画サムネイル40Bの一部に静止画サムネイル40Aを重畳して表示する。
従ってデジタルスチルカメラ1の中央処理ユニット10は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に合成サムネイル40として、関連付けている本静止画像及び本動画像の内容を示す静止画サムネイル40A及び単位画サムネイル40Bを、他の関連付けてはいない本静止画像や本動画像の内容を示す静止画サムネイルや単位画サムネイルとは区別して表示することができる。
よってデジタルスチルカメラ1の中央処理ユニット10は、被写体を時分割で静止画撮像及び動画撮像して生成し関連付けた本静止画像及び本動画像を、被写体を単独で静止画撮像及び動画撮像して生成した他の本静止画像及び本動画像と容易に区別させることができる。
以上の構成によれば、デジタルスチルカメラ1は、関連付けている本静止画像及び本動画像として、当該本静止画像に対応する静止画アスペクト比を有する静止画サムネイル40Aと、その本動画像に対応する動画アスペクト比を有する単位画サムネイル40Bとを合成して合成サムネイル40を生成し、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に、その合成サムネイル40として、単位画サムネイル40Bの一部に静止画サムネイル40Aを重畳して表示するようにした。
これによりデジタルスチルカメラ1は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に合成サムネイル40として、関連付けている本静止画像及び本動画像に対応する静止画サムネイル40Aと単位画サムネイル40Bとを、他の関連付けてはいない本静止画像や本動画像に対応する静止画サムネイルや単位画サムネイルとは区別して表示することができる。
よってデジタルスチルカメラ1は、ユーザに対し、関連付けている本静止画像及び本動画像を容易に判別させることができる。
またデジタルスチルカメラ1は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)上で合成サムネイル40が選択されると、関連付けている本静止画像データ及び本動画像データとして、当該本静止画像データと、その本動画像データに含まれる先頭単位画像データとを合成して本合成画像データを生成する。
そしてデジタルスチルカメラ1は、本合成画像データを表示部5の表示画面5A(又は外部装置の表示部の表示画面)に送出して、当該表示部5の表示画面5A(又は外部装置の表示部の表示画面)に、本合成画像データに基づく本合成画像45として先頭単位画像45Bの一部に本静止画像45Aを重畳して表示するようにした。
従ってデジタルスチルカメラ1は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に本合成画像45を表示する場合も、その本合成画像45として、関連付けている本静止画像及び本動画像の当該本静止画像と本動画像の先頭単位画像とを、他の関連付けてはいない本静止画像や本動画像の先頭単位画像とは区別して表示することができる。
よってデジタルスチルカメラ1は、ユーザに対し、関連付けている本静止画像及び本動画像を容易に判別させることができる。
さらにデジタルスチルカメラ1は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に本合成画像45として、先頭単位画像45Bの画像横方向の右端部分及び左端部分を、本静止画像45Aの画像横方向の右端及び左端からはみ出させて表示するようにした。
そしてデジタルスチルカメラ1は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に本合成画像45を表示して一定時間に達すると、その本合成画像45に換えて当該本合成画像45を構成する本静止画像45A及び先頭単位画像45Bのうち先頭単位画像45Bのみを表示し、その先頭単位画像45Bのみを表示した後に本動画像データを自動的に再生することにより、当該先頭単位画像45Bに換えて、その先頭単位画像を一部とする本動画像を表示するようにした。
従ってデジタルスチルカメラ1は、関連付けている本静止画像と本動画像とを自動的に連続して再生して、互いにアスペクト比の異なる本静止画像45Aから本動画像へと表示を切り換えるとき、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に順次表示している画像全体の形状及び画像長さ(縦長さ及び横長さ)が突然変化して違和感を生じさせることを回避することができる。
さらにデジタルスチルカメラ1は、合成サムネイル40を生成する際、単位画サムネイル40B及び静止画サムネイル40Aの少なくとも一方に重畳強調処理を施すようにした。
従ってデジタルスチルカメラ1は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に合成サムネイル40を表示したとき、その合成サムネイル40において単位画サムネイル40Bと、これに重畳する静止画サムネイル40Aとの絵柄がほとんど変わらない場合でも、重畳強調処理の効果により単位画サムネイル49B及び静止画サムネイル40Aの境界を明確に判別させることができる。
その結果、デジタルスチルカメラ1は、合成サムネイル40が、これと同じ動画アスペクト比を有し単独で表示される単位画サムネイル42と誤って認識され、関連付けている本静止画像と本動画像とに対応する静止画サムネイル40Aと単位画サムネイル40Bとが、他の関連付けてはいない本静止画像や本動画像に対応する静止画サムネイルや単位画サムネイルと区別し難くなることを回避することができる。
さらにデジタルスチルカメラ1は、本合成画像45を生成する際、本静止画像45A及び先頭単位画像45Bの少なくとも一方に重畳強調処理を施すようにした。
従ってデジタルスチルカメラ1は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に本合成画像45を表示したとき、その本合成画像45において先頭単位画像45Bと、これに重畳する本静止画像45Aとの絵柄がほとんど変わらない場合でも、重畳強調処理の効果により先頭単位画像45B及び本静止画像45Aの境界を明確に判別させることができる。
よってデジタルスチルカメラ1は、本合成画像45を表示する場合も、当該本合成画像45が、本静止画像45Aの重畳されていない先頭単位画像45Bと誤って認識され、関連付けている本静止画像及び本動画像が、他の関連付けてはいない本静止画像や本動画像と区別し難くなることを回避することができる。
(2)他の実施の形態
(2−1)他の実施の形態1
なお上述した実施の形態においては、被写体を時分割で静止画撮像及び動画撮像して生成した本静止画像データ及び本動画像データを関連付けるようにした場合について述べた。
しかしながら本発明は、これに限らず、被写体を単独又は時分割で静止画撮像及び動画撮像して生成した本静止画像データと、本動画像データとを、例えば撮像日時や撮像場所、被写体等に応じて任意に選択させて関連付けるようにしても良い。
そして本発明は、このように本静止画像データと本動画像データとを任意に選択させて関連付けた場合も、上述と同様に、合成サムネイル40や本合成画像45により、関連付けている本静止画像データと本動画像データとを、他の関連付けてはいない本静止画像データや本動画像データと区別させることができる。
これに加えて本発明は、1つの本静止画像データと、1つの本動画像データとを関連付けるのみならず、本静止画像データと本動画像データとを少なくとも一方は、2以上として関連付けるようにしても良い。
そして本発明は、かかる構成の場合、例えば、図19(A)に示すように、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に本合成画像(又は合成サムネイル)50として、複数の本動画像各々の先頭単位画像(又は単位画サムネイル)51A乃至51Dの一部に、1つの本静止画像(又は1つの静止画サムネイル)52を重畳して表示するようにしても良い。
また、図19(B)に示すように、本発明は、かかる構成の場合、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に本合成画像(又は合成サムネイル)53として、1つの本動画像の先頭単位画像(又は単位画サムネイル)54に、複数の本静止画像(又は複数の静止画サムネイル)55A乃至55Dを重畳して表示するようにしても良い。
さらに、図19(C)に示すように、本発明は、かかる構成の場合、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に本合成画像(又は合成サムネイル)56として、複数の本動画像の複数の先頭単位画像(又は単位画サムネイル)51A乃至51Dに、複数の本静止画像(又は複数の静止画サムネイル)55A乃至55Dを重畳して表示するようにしても良い。
(2−2)他の実施の形態2
また上述した実施の形態においては、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に本合成画像45(又は合成サムネイル40)として、先頭単位画像45B(又は単位画サムネイル40B)の中央部分に、本静止画像45A(又は静止画サムネイル40A)を重畳して表示するようにした場合について述べた。
しかしながら本発明は、これに限らず、図20に示すように、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に本合成画像60(又は合成サムネイル)として、先頭単位画像60A(又は単位画サムネイル)の右端寄りに、本静止画像60B(又は静止画サムネイル)を重畳して表示するようにしても良い。
また図21に示すように、本発明は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に本合成画像61(又は合成サムネイル)として、先頭単位画像61A(又は単位画サムネイル)の左端寄りに、本静止画像61B(又は静止画サムネイル)を重畳して表示するようにしても良い。
さらに図22に示すように、本発明は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に本合成画像62(又は合成サムネイル)として、先頭単位画像62A(又は単位画サムネイル)の中心部分に、当該先頭単位画像62Aの動画縦長さよりも静止画縦長さの短い本静止画像62B(又は静止画サムネイル)を重畳して表示するようにしても良い。
(2−3)他の実施の形態3
さらに上述した実施の形態においては、一覧表示命令の入力に応じて、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に、合成サムネイル40や静止画サムネイル41、単位画サムネイル42をマトリクス状に配置して表示するようにした場合について述べた。
しかしながら本発明は、これに限らず、例えば、図23及び図24に示すように、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に、少なくとも合成サムネイル40を、画面縦方向に沿って一列、又は画面横方向に沿って一列に表示し、適宜スクロールさせるようにしても良い。
(2−4)他の実施の形態4
さらに上述した実施の形態においては、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に合成サムネイル40として、単位画サムネイル40Bの一部を静止画サムネイル40Aに置き換える(すなわち、単位画サムネイル40Bの一部に静止画サムネイル40Aを上書きする)ように、当該単位画サムネイル40Bの一部に静止画サムネイル40Aを重畳して表示するようにした場合について述べた。
しかしながら本発明は、これに限らず、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に合成サムネイル40として、単位画サムネイル40Bの一部に、当該一部を透過させるように静止画サムネイル40Aを重畳して(すなわち、単位画サムネイル40Bの一部に、当該一部を透過させるように静止画サムネイル40Aを合成した状態で)表示するようにしても良い。
また本発明は、本合成画像45についても、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に当該本合成画像45として、先頭単位画像45Bの一部に、当該一部を透過させるように本静止画像45Aを重畳して(すなわち、先頭単位画像45Bの一部に、当該一部を透過させるように本静止画像45Aを合成した状態で)表示するようにしても良い。
(2−5)他の実施の形態5
さらに上述した実施の形態においては、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に合成サムネイル40や静止画サムネイル41、単位画サムネイル42を一覧表示して、再生対象の本静止画像データや本動画像データを選択させるようにした場合について述べた。
しかしながら本発明は、これに限らず、合成サムネイル40や静止画サムネイル41、単位画サムネイル42を一覧表示はせずに、本静止画像データ及び本動画像データを、関連付けられているか否かにかかわらずに、例えば、記録日時に準じた順番で再生する。
そして本発明は、関連付けられている本静止画像データ及び本動画像データを再生するときのみ、上述したように本合成画像45を表示するようにして、当該本静止画像データと本動画像データとを自動的に連続して再生するようにしても良い。
(2−6)他の実施の形態6
さらに上述した実施の形態においては、合成サムネイル40や本合成画像45の生成に、本動画像データに含まれる複数の本単位画像データのうち先頭単位画像データを用いるようにした場合について述べた。
しかしながら本発明は、これに限らず、合成サムネイル40や本合成画像45の生成に、本動画像データに含まれる複数の本単位画像データのうち、先頭単位画像データよりも時間的に後の本単位画像データ(最後尾の本単位画像データや、先頭単位画像データと最後尾の本単位画像データとの間の本単位画像データ)を用いるようにしても良い。
(2−7)他の実施の形態7
さらに上述した実施の形態においては、関連付けられている本静止画像データと本動画像データとを自動的に連続して再生し、当該本動画像データの再生が終了すると、一覧表示に戻るようにした場合について述べた。
しかしながら本発明は、これに限らず、関連付けられている本静止画像データと本動画像データとを自動的に連続して再生し、当該本動画像データの再生が終了したときには、再び本合成画像45を表示するようにしても良い。
そして本発明は、かかる構成の場合、本動画像データの再生が終了したときに表示する本合成画像45を、当該本動画像データに含まれる先頭単位画像データ以外の他の本単位画像データ(例えば、最後尾の本単位画像データ)と本静止画像データとを合成して生成するようにしても良い。
(2−8)他の実施の形態8
さらに上述した実施の形態においては、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に合成サムネイル40や静止画サムネイル41、単位画サムネイル42を一覧表示した状態で、ユーザにより任意に合成サムネイル40が選択されると、当該選択された合成サムネイル40に対応する、関連付けられている本静止画像データと本動画像データとを自動的に連続して再生するようにした場合について述べた。
しかしながら本発明は、これに限らず、例えば、被写体を時分割で静止画撮像及び動画撮像したときに、本動画像データを形成する複数の本単位画像データそれぞれに画像縮小処理を施す。
これにより本発明は、時間的に連続する複数の単位画サムネイル(すなわち、複数の単位画サムネイルデータ)によって形成される動画像(以下、これを動画サムネイルとも呼ぶ)の動画像データ(以下、これを動画サムネイルデータとも呼ぶ)を生成する。
また本発明は、その動画サムネイルデータを、静止画サムネイルデータと関連付けて記録する。
そして本発明は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に合成サムネイル40や静止画サムネイル41、単位画サムネイル42を一覧表示した状態で、ユーザにより任意に合成サムネイル40が選択されると、例えば、その一覧表示を継続したまま、その選択された合成サムネイル40に換えて当該合成サムネイル40を構成する静止画サムネイル40A及び単位画サムネイル40Bのうち単位画サムネイル40Bのみを表示した後、自動的に動画サムネイルデータを再生する。
これにより本発明は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に、合成サムネイル40を構成する単位画サムネイル40Bのみの表示に換えて、動画サムネイルデータに基づく動画サムネイル(すなわち、時間的に連続する複数の単位画サムネイル)を表示する。
このようにして本発明は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に合成サムネイル40や静止画サムネイル41、単位画サムネイル42を一覧表示した状態で、関連付けられている静止画サムネイルデータと動画サムネイルデータとを、合成サムネイルデータ及び動画サムネイルデータとして自動的に連続して再生するようにしても良い。
かかる構成によれば、本発明は、表示部5の表示画面5A(又は外部装置の表示部の表示画面)に合成サムネイル40や静止画サムネイル41、単位画サムネイル42を一覧表示している状態でも、本静止画像データに関連付けられている本動画像データを動画サムネイルデータとして再生して当該本動画像データに基づく本動画像を動画サムネイルとして見せることができる。
また本発明は、図25に示すように、関連付けられている複数組の本静止画像データ及び本動画像データのファイル名を順番に登録した再生リスト70を作成する。
そして本発明は、その再生リストに従い、関連付けられている本静止画像データ及び本動画像データ毎に、当該本静止画像データを本合成画像データとして再生した後、本動画像データを自動的に再生する(すなわち、本静止画像データとしての本合成画像データと、本動画像データとを順次交互に再生する)ようにしても良い。
因みに、図25に示す再生リスト70については、例えばファイル化してファイル名(例えば、LINK0000.DAT)を付すことで管理することができる。そして、かかるファイル名では、例えば、ファイル名本体に通し番号を格納可能な構成にすることで、複数種類の再生ファイルを個別に管理可能な状態に作成させることができる。
(2−9)他の実施の形態9
さらに上述した実施の形態においては、16:9の動画アスペクト比を有する本動画像の本動画像データ、及び4:3の静止画アスペクト比を有する本静止画像の本静止画像データを生成するようにした場合について述べた。
しかしながら本発明は、これに限らず、4:3の動画アスペクト比を有する本動画像の本動画像データ、及び3:2の静止画アスペクト比を有する本静止画像の本静止画像データを生成する等のように、互いに異なるこの他種々の動画アスペクト比を有する本動画像の本動画像データ、及び静止画アスペクト比を有する本静止画像の本静止画像データを生成するようにしても良い。
(2−10)他の実施の形態10
さらに上述した実施の形態においては、被写体を静止画撮像及び動画撮像して本静止画像データ及び本動画像データを生成したときに、静止画サムネイルデータ及び単位画サムネイルデータも生成するようにした場合について述べた。
しかしながら本発明は、これに限らず、合成サムネイル40や静止画サムネイル41、単位画サムネイル42を一覧表示するように要求されたとき(すなわち、一覧表示命令が入力されたとき)、静止画サムネイルデータ及び単位画サムネイルデータを生成すると共に、これらを用いて合成サムネイルデータを生成するようにしても良い。
(2−11)他の実施の形態11
さらに上述した実施の形態においては、静止画撮像用の1つの画像データにトリミング処理(又は、クロップ処理)を施すと共に、画像縮小処理を施して、4:3のアスペクト比を有する本静止画像の本静止画像データを生成するようにした場合について述べた。
しかしながら本発明は、これに限らず、静止画像について予め選定された静止画像サイズに応じて、静止画撮像用の1つの画像データにトリミング処理(又は、クロップ処理)を施すことで、4:3のアスペクト比を有する本静止画像の本静止画像データを生成するようにしても良い。
そして本発明は、本動画像データについても、動画像について予め選定された動画像サイズに応じて、動画撮像用の複数の画像データにトリミング処理(又は、クロップ処理)を施すことで、16:9のアスペクト比を有する時間的に連続な複数の本単位画像によって形成される本動画像の当該本動画像データを生成するようにしても良い。
(2−12)他の実施の形態12
さらに上述した実施の形態においては、合成サムネイル40に対し、静止画サムネイル40Aと単位画サムネイル40Bとの絵柄の違いの程度にかかわらずに、重畳強調処理を施すようにした場合について述べた。
しかしながら本発明は、これに限らず、合成サムネイル40についても、本合成画像45の場合と同様に、当該合成サムネイル40を生成する際に重畳強調処理を実行するか否かを、予めユーザに任意に選択させて設定し、また当該重畳強調処理の実行の有無を自動で判断するか否かも選択させて設定して、その設定に従って合成サムネイル40に重畳強調処理を適宜施すようにしても良い。
また本発明は、合成サムネイル40に施す重畳強調処理の種類についても、本合成画像40の場合と同様の複数種類の重畳強調処理の中から任意に1つの重畳強調処理を選択させるようにしても良い。
(2−13)他の実施の形態13
さらに上述した実施の形態においては、本発明による表示制御プログラムをデジタルスチルカメラ1のROM12に予め記憶された表示制御プログラムに適用し、当該デジタルスチルカメラ1の中央処理ユニット10が、当該ROM12に予め記憶された表示制御プログラムに従って、図17について上述した合成サムネイル表示処理手順RT1や図18について上述した連続再生処理手順RT2を実行するようにした場合について述べた。
しかしながら本発明は、これに限らず、デジタルスチルカメラ1に、表示制御プログラムが記録されたコンピュータ読取可能な記録媒体によって当該表示制御プログラムをインストールし、中央処理ユニット10が、そのインストールした表示制御プログラムに従って、合成サムネイル表示処理手順RT1及び連続再生処理手順RT2を実行するようにしても良い。
またデジタルスチルカメラ1では、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体、コンピュータ装置を利用して外部から表示制御プログラムをインストールするようにしても良い。
さらに表示制御プログラムをデジタルスチルカメラ1にインストールして実行可能な状態にするためのコンピュータ読取可能な記録媒体としては、例えばフレキシブルディスクのようなパッケージメディアで実現しても良い。
また表示制御プログラムをデジタルスチルカメラ1にインストールして実行可能な状態にするためのコンピュータ読取可能な記録媒体としては、CD−ROM(Compact Disc-Read Only Memory)のようなパッケージメディアで実現しても良い。
さらに表示制御プログラムをデジタルスチルカメラ1にインストールして実行可能な状態にするためのコンピュータ読取可能な記録媒体としては、DVD(Digital Versatile Disc)等のパッケージメディアで実現しても良い。
さらに、かかるコンピュータ読取可能な記録媒体としては、パッケージメディアのみならず、各種プログラムが一時的もしくは永続的に記録される半導体メモリや磁気ディスク等で実現しても良い。
また、これらコンピュータ読取可能な記録媒体に表示制御プログラムを記録する手段としては、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用しても良い。
さらにコンピュータ読取可能な記録媒体に表示制御プログラムを記録する手段としては、ルータやモデム等の各種通信インタフェースを介して記録するようにしても良い。
(2−14)他の実施の形態14
さらに上述した実施の形態においては、本発明による表示制御装置を、図1乃至図25について上述したデジタルスチルカメラ1に適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、パーソナルコンピュータや携帯電話機、PDA(Personal Digital Assistance)、ゲーム機器等の情報処理装置、ハードディスクレコーダ等の記録再生装置等のように、アスペクト比の異なる本静止画像の本静止画像データ及び本動画像の本動画像データを記録し、又は外部から取得して再生可能な、この他種々の構成の表示制御装置に広く適用することができる。
(2−15)他の実施の形態15
さらに上述した実施の形態においては、動画アスペクト比を有する時間的に連続な複数の単位画像によって形成される動画像の当該単位画像の一部に、動画像と関連付けられ、動画アスペクト比とは異なる静止画アスペクト比を有する静止画像を重畳するように、単位画像と静止画像とを合成して合成画像を生成する合成画像生成部として、図1乃至図25について上述した中央処理ユニット10を適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、マイクロプロセッサ及びV−RAM(Video-Random Access Memory)や、動画アスペクト比を有する時間的に連続な複数の単位画像によって形成される動画像の当該単位画像の一部に、動画像と関連付けられ、動画アスペクト比とは異なる静止画アスペクト比を有する静止画像を重畳するように、単位画像と静止画像とを合成して合成画像を生成するハードウェア回路構成の合成画像生成回路等のように、この他種々の構成の合成画像生成部を広く適用することができる。
(2−16)他の実施の形態16
さらに上述した実施の形態においては、表示部の表示画面に合成画像を表示する表示制御部として、図1乃至図25について上述した中央処理ユニット10を適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、マイクロプロセッサや、表示部の表示画面に合成画像を表示するハードウェア回路構成の表示制御回路等のように、この他種々の構成の表示制御部を広く適用することができる。
(2−17)他の実施の形態17
さらに上述した実施の形態においては、合成画像の先頭単位画像と静止画像との境界部分に、先頭単位画像への静止画像の重畳を強調する重畳強調処理を施す重畳強調処理部として、図1乃至図25について上述した中央処理ユニット10を適用するようにした場合について述べた。
しかしながら本発明は、これに限らず、マイクロプロセッサや、合成画像の先頭単位画像と静止画像との境界部分に、先頭単位画像への静止画像の重畳を強調する(例えば、写真のフレーム枠やテレビジョンモニタの枠等を想起させるような画像を重畳する)重畳強調処理を施すハードウェア回路構成の重畳強調処理回路等のように、この他種々の構成の重畳強調処理部を広く適用することができる。
1……デジタルスチルカメラ、5……表示部、5A……表示画面、10……中央処理ユニット、21……バッファメモリ、40……合成サムネイル、40A……静止画サムネイル、40B……単位画サムネイル、43A、43B……境界線画像、45乃至48……本合成画像、45A……本静止画像、45B、46A、47A……先頭単位画像、49A、49B……装飾画像、RT1……合成サムネイル表示処理手順、RT2……連続再生処理手順。