WO2006028172A1

WO2006028172A1 - 記録装置および方法、再生装置および方法、並びにプログラム

Info

Publication number: WO2006028172A1
Application number: PCT/JP2005/016516
Authority: WO
Inventors: Tsuyoshi Kubo; Kumiko Sera; Hiroyuki Tominaga; Sachiyo Noguchi; Masayuki Kuwata; Nahoko Kaji; Takashi Nunomaki; Ko Kobayashi; Noriko Ohtsuka; Mihoko Yamamoto; Simon Currie; Keisuke Okawa; Takashi Oguma; Kenichiro Imai; Katsuhiko Watanabe; Tetsuo Morimoto
Original assignee: Sony Corporation
Priority date: 2004-09-08
Filing date: 2005-09-08
Publication date: 2006-03-16
Also published as: JPWO2006028172A1; CN101053253A; KR20070057820A; CN100562085C; KR101189980B1; EP1791357B1; EP1791357A4; US20090309988A1; EP1791357A1; US8520086B2

Abstract

　本発明は、静止画とともに、その前後の動画を撮影して記録することができるようにする記録装置および方法、再生装置および方法、並びにプログラムに関する。ステップＳ１で、動画付き静止画撮影モードが設定されると、動画の一時記憶が開始され、ステップＳ２で、シャッタが押下されたとき、ステップＳ３で、撮影された静止画が記録されるとともに、ステップＳ１で記憶された静止画前の動画と、撮影された静止画が変換された動画、およびシャッタ押下後に撮影された動画から、１つの動画が生成されて記録される。従って高精細の静止画とともに、静止画前後の動画が記録される。

Description

明細書

記録装置および方法、再生装置および方法、並びにプログラム技術分野

[0001] 本発明は、記録装置および方法、再生装置および方法、並びにプログラムに関し、特に、静止画とともに、その前後の動画を撮影し、またはその撮影の結果得られた画像を再生するのに適した記録装置および方法、再生装置および方法、並びにプログラムに関する。

背景技術

[0002] デジタルカメラは、撮影した画像をデジタルデータとして保持することができ、手軽に使える撮影機器として普及している。また近年、高性能 CPUの登場により、デジタルカメラで静止画のみならず動画が撮影できるようになって!/、る。

[0003] こうした、動画も撮影できるデジタルカメラを用いることにより、静止画と、その前後の動画を撮影できるデジタルカメラが考案されてヽる（特許文献 1参照)。

特許文献 1：特開 2003-92724号公報

発明の開示

発明が解決しょうとする課題

[0004] し力しながら、静止画とその前後の動画を撮影する場合、従来にぉ、ては、実際は動画の撮影しカゝ行われておらず、静止画としての画像は、動画として撮影された 1枚の画像データから生成されるようになっている。すなわち従来において静止画とその前後の動画を撮影する場合、静止画本来の高精細な画像を記録したり、再生することはできなかった。

[0005] 本発明はこのような状況に鑑みてなされたものであり、高精細な静止画を再生できるように、静止画とその前後の動画を撮影することができるようにするものである。課題を解決するための手段

[0006] 本発明の第 1の記録装置は、動画付き静止画撮影モードの設定を行う設定手段と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、静止画撮影手段による撮影の結果得られた静止画、および動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成する生成手段と、静止画撮影手段による撮影の結果得られた静止画、および生成手段により生成された付随動画を記録する記録手段とを備えることを特徴とする。

[0007] 生成手段は、静止画撮影手段による撮影の結果得られた静止画を動画に変換して得た第 1の動画、静止画撮影手段による静止画撮影前に動画撮影手段により撮影された第 2の動画、および静止画撮影手段による静止画撮影後に動画撮影手段により撮影された第 3の動画に基づ、て、付随動画を生成することができる。

[0008] 生成手段は、静止画撮影手段による撮影の結果得られた静止画を動画に変換して得た第 1の動画、および静止画撮影手段による静止画撮影前に動画撮影手段により撮影された第 2の動画に基づ、て、付随動画を生成することができる。

[0009] 生成手段は、静止画撮影手段による撮影の結果得られた静止画を動画に変換して得た第 1の動画、および静止画撮影手段による静止画撮影後に動画撮影手段により撮影された第 3の動画に基づ、て、付随動画を生成することができる。

[0010] 動画撮影手段は、動画付き静止画撮影モードが設定された時、動画の撮影を開始することができる。

[0011] 動画撮影手段は、記録装置の電源がオンされた時、動画の撮影を開始することができる。

[0012] 動画撮影手段は、記録媒体が挿入された時、動画の撮影を開始することができる。

[0013] 生成手段は、静止画撮影手段による撮影の結果得られた静止画が変換されて得られた第 1の動画にエフェクト効果を付加することができる。

[0014] 生成手段は、静止画撮影手段による撮影の結果得られた静止画が変換されて得られた第 1の動画のフレームの前若しくは後、または前後にダミーフレームを設けることができる。

[0015] 生成手段は、静止画撮影手段による撮影の結果得られた静止画が変換されて得られた第 1の動画が再生されるタイミングに対応して出力されるシャツタ音を、第 1の動画に挿入することができる。

[0016] 動画撮影手段による動画の撮影中の音声の音声データを取得する第 1の音声取得手段と、静止画撮影手段による静止画の撮影中の音声の音声データを取得する第 2の音声手段とさらに設け、生成手段は、付随動画を生成するのに利用する動画に対応する第 1の音声取得手段により取得された音声、および付随動画を生成するのに利用する静止画に対応する第 2の音声取得手段により取得された音声データの全部または一部を多重化して、付随動画を生成することができる。

[0017] 生成手段は、再生側の動画のフレームレートが固定である場合、そのフレームレートが維持できる数のダミーフレームを、静止画撮影手段による撮影の結果得られた静止画が変換されて得られた第 1の動画のフレームの前若しくは後、または前後に設けることがでさる。

[0018] 生成手段は、再生側の動画のフレームレートが可変である場合、任意の数のダミーフレームを、静止画撮影手段による撮影の結果得られた静止画が変換されて得られた第 1の動画のフレームの前若しくは後、または前後に設けることができる。

[0019] 生成手段は、動画撮影手段により撮影された動画の中から所定の動画を抽出し、抽出した動画と、静止画撮影手段による撮影の結果得られた静止画が変換されて得られた動画から、付随動画を生成することができる。

[0020] 動画撮影手段により撮影された動画が、フレーム間圧縮を用いて構成されている場合、生成手段は、フレーム内圧縮のみを用いたフレーム、またはフレーム間圧縮の元となるフレームを先頭とする動画を抽出することができる。

[0021] 記録手段は、静止画撮影手段による撮影の結果得られた静止画と、生成手段により生成された付随動画を、同じファイル名で記録することができる。

[0022] 記録手段による記録中に、記録されている画像に応じた UI画像を表示する表示制御手段をさらに設けることができる。

[0023] 本発明の第 1の記録方法は、動画付き静止画撮影モードの設定を行う設定ステツプと、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影ステップと、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影ステップと、静止画撮影ステップの処理での撮影の結果得られた静止画、および動画撮影ステップの処理での撮影の結果得られた動画に基づいて、 1つの付随動画を生成する生成ステップと、静止画撮影ステップの処理での撮影の結果得られた静止画、および生成ステップの処理で生成された付随動画を記録する記録ステップとを含むことを特徴とする。

[0024] 本発明の第 1のプログラムは、動画付き静止画撮影モードの設定を行う設定ステツプと、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影ステップと、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影ステップと、静止画撮影ステップの処理での撮影の結果得られた静止画、および動画撮影ステップの処理での撮影の結果得られた動画に基づいて、 1つの付随動画を生成する生成ステップと、静止画撮影ステップの処理での撮影の結果得られた静止画、および生成ステップの処理で生成された付随動画を記録する記録ステップとを含むことを特徴とする。

[0025] 本発明の第 1の記録装置および方法、並びにプログラムにおいては、動画付き静止画撮影モードが設定され、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画が撮影され、動画付き静止画撮影モードの設定中に、動画が撮影され、撮影された静止画、および撮影された動画に基づいて、 1つの付随動画が生成され、撮影された静止画、および生成された付随動画が記録される。

[0026] 本発明の第 2の記録装置は、動画付き静止画撮影モードの設定を行う設定手段と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、静止画撮影手段による撮影の結果得られた静止画、静止画撮影手段による静止画撮影前に動画撮影手段により撮影された動画、および静止画撮影手段による静止画撮影後に動画撮影手段により撮影された動画を、異なるファィルとして記録する記録手段とを備えることを特徴とする。

[0027] 本発明の第 2の記録方法は、動画付き静止画撮影モードの設定を行う設定ステツプと、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影ステップと、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影ステップと、静止画撮影ステップの処理での撮影の結果得られた静止画、静止画撮影ステップの処理での静止画撮影前に動画撮影ステップの処理で撮影された動画、および静止画撮影ステップの処理での静止画撮影後に動画撮影ステップの処理で撮影された動画を、異なるファイルとして記録する記録ステップとを含むことを特徴とする。

[0028] 本発明の第 2のプログラムは、動画付き静止画撮影モードの設定を行う設定ステツプと、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影ステップと、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影ステップと、静止画撮影ステップの処理での撮影の結果得られた静止画、静止画撮影ステップの処理での静止画撮影前に動画撮影ステップの処理で撮影された動画、および静止画撮影ステップの処理での静止画撮影後に動画撮影ステップの処理で撮影された動画を、異なるファイルとして記録する記録ステップとを含むことを特徴とする。

[0029] 本発明の第 2の記録装置および方法、並びにプログラムにおいては、動画付き静止画撮影モードが設定され、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画が撮影され、動画付き静止画撮影モードの設定中に、動画が撮影され、撮影のされた静止画、静止画撮影前に撮影された動画、および静止画撮影後に撮影された動画が、異なるファイルとして記録される。

[0030] 本発明の、動画付き静止画撮影モードの設定を行う設定手段と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、静止画撮影手段による撮影の結果得られた静止画、および動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成する生成手段と、静止画撮影手段による撮影の結果得られた静止画、および生成手段により生成された付随動画を記録する記録手段とを備えることを特徴とする記録装置によって記録された画像を再生する第 1の再生装置は、動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、記録装置の記録手段に記録された静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生手段と、動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、記録装置の記録手段に記録された生成手段により生成された付随動画を再生する第 2の再生手段とを備えることを特徴とする。 [0031] 記録装置の記録手段により、静止画撮影手段による撮影の結果得られた静止画と、生成手段により生成された付随動画とが、同じファイル名で記録されている場合、第 2の再生手段は、第 1の再生手段により再生された静止画と同じファイル名の動画を再生することができる。

[0032] 動画付き静止画撮影設定モードで記録された画像のサムネイル画像を表示する表示制御手段をさらに設け、表示制御手段には、サムネイル画像に、動画付き撮影設定モードで撮影されたことを示す表示を付加させることができる。

[0033] 本発明の、動画付き静止画撮影モードの設定を行う設定手段と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、静止画撮影手段による撮影の結果得られた静止画、および動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成する生成手段と、静止画撮影手段による撮影の結果得られた静止画、および生成手段により生成された付随動画を記録する記録手段とを備えることを特徴とする記録装置によって記録された画像を再生する第 1の再生方法は、動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、記録装置の記録手段に記録された静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生ステップと、動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、記録装置の記録手段に記録された生成手段により生成された付随動画を再生する第 2の再生ステップとを含むことを特徴とする。

[0034] 本発明の、動画付き静止画撮影モードの設定を行う設定手段と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、静止画撮影手段による撮影の結果得られた静止画、および動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成する生成手段と、静止画撮影手段による撮影の結果得られた静止画、および生成手段により生成された付随動画を記録する記録手段とを備えることを特徴とする記録装置によって記録された画像を再生する再生装置を制御するプロセッサに実行させる第 1のプログラムは、動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、記録装置の記録手段に記録された静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生ステップと、動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、記録装置の記録手段に記録された生成手段により生成された付随動画を再生する第 2の再生ステップとを含むことを特徴とする。

[0035] 本発明の、動画付き静止画撮影モードの設定を行う設定手段と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、静止画撮影手段による撮影の結果得られた静止画、および動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成する生成手段と、静止画撮影手段による撮影の結果得られた静止画、および生成手段により生成された付随動画を記録する記録手段とを備えることを特徴とする記録装置によって記録された画像を再生する第 1の再生装置および方法、並びにプログラムにおいて、動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、記録装置の記録手段に記録された静止画撮影手段による撮影の結果得られた静止画が再生され、動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、記録装置の記録手段に記録された生成手段により生成された付随動画が再生される。

[0036] 本発明の、動画付き静止画撮影モードの設定を行う設定手段と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、静止画撮影手段による撮影の結果得られた静止画、静止画撮影手段による静止画撮影前に動画撮影手段により撮影された動画、および静止画撮影手段による静止画撮影後に動画撮影手段により撮影された動画を、異なるファイルとして記録する記録手段とを備えることを特徴とする記録装置によって記録された画像を再生する第 2の再生装置は、動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、記録装置の記録手段に記録された静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生手段と、動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、静止画撮影手段による撮影の結果得られた静止画、動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成するとともに、付随動画を再生する第 2の再生手段とを備えることを特徴とする。

[0037] 本発明の、動画付き静止画撮影モードの設定を行う設定手段と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、静止画撮影手段による撮影の結果得られた静止画、静止画撮影手段による静止画撮影前に動画撮影手段により撮影された動画、および静止画撮影手段による静止画撮影後に動画撮影手段により撮影された動画を、異なるファイルとして記録する記録手段とを備えることを特徴とする記録装置によって記録された画像を再生する第 2の再生方法は、動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、記録装置の記録手段に記録された静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生ステップと、動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、静止画撮影手段による撮影の結果得られた静止画、動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成するとともに、付随動画を再生する第 2の再生ステップとを含むことを特徴とする。

[0038] 本発明の、動画付き静止画撮影モードの設定を行う設定手段と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、静止画撮影手段による撮影の結果得られた静止画、静止画撮影手段による静止画撮影前に動画撮影手段により撮影された動画、および静止画撮影手段による静止画撮影後に動画撮影手段により撮影された動画を、異なるファイルとして記録する記録手段とを備えることを特徴とする記録装置によって記録された画像を再生する再生装置を制御するプロセッサに実行させるプログラムは、動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、記録装置の記録手段に記録された静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生ステップと、動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、静止画撮影手段による撮影の結果得られた静止画、動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成するとともに、付随動画を再生する第 2の再生ステップとを含むことを特徴とする。

[0039] 本発明の、動画付き静止画撮影モードの設定を行う設定手段と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、静止画撮影手段による撮影の結果得られた静止画、静止画撮影手段による静止画撮影前に動画撮影手段により撮影された動画、および静止画撮影手段による静止画撮影後に動画撮影手段により撮影された動画を、異なるファイルとして記録する記録手段とを備えることを特徴とする記録装置によって記録された画像を再生する第 2の再生装置および方法、並びにプログラムにおいては、動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、記録装置の記録手段に記録された静止画撮影手段による撮影の結果得られた静止画が再生され、動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、静止画撮影手段による撮影の結果得られた静止画、動画撮影手段による撮影の結果得られた動画に基づいて、 1 つの付随動画が生成されるとともに、付随動画が再生される。

発明の効果

[0040] 第 1の本発明によれば、高精細な静止画を再生できるように、静止画とその前後のうち少なくともいずれか一方の動画を撮影して記録することができる。

第 2の本発明によれば、高精細な静止画を再生できるように記録された静止画とその前後の動画を再生することができる。

図面の簡単な説明

[0041] [図 1]本発明を提供したデジタルカメラの構成例を示すブロック図である。

[図 2]図 1のデジタルカメラの機能的構成例を示すブロック図である。

[図 3]動画付き静止画撮影モード時の動作を説明するフローチャートである。

[図 4]図 3のステップ S1の動画一時記憶処理の詳細を説明するフローチャートである

[図 5]図 3のステップ S3の記録処理の詳細を説明するフローチャートである。

[図 6]図 5のステップ S81の記録処理の詳細を説明するフローチャートである。

[図 7]ファイルリストの例を示す図である。 [図 8]ファイルリストの他の例を示す図である。

圆 9]動画付き静止画撮影モードで記録される静止画および付随動画を説明する図である。

圆 10]動画付き静止画撮影モードで記録される静止画および付随動画を説明する他の図である。

圆 11]動画付き静止画撮影モードによる記録時の表示制御処理を説明するフローチヤートである。

[図 12]動画付き静止画撮影モードで記録中の表示例を示す図である。

[図 13]動画付き静止画撮影モードで記録中の他の表示例を示す図である。

[図 14]動画付き静止画撮影モードで記録中の他の表示例を示す図である。

[図 15]動画付き静止画撮影モードで記録中の他の表示例を示す図である。

[図 16]動画付き静止画撮影モードで記録中の他の表示例を示す図である。

[図 17]ファイルリスト作成処理を説明するフローチャートである。

[図 18]図 1の記録媒体 15に記録されて、るファイル構成を示す図である。

[図 19]サムネイル表示処理を説明するフローチャートである。

[図 20]サムネイルの表示例を示す図である。

[図 21]動画付き静止画撮影モードで撮影された画像を再生する処理を説明するフロ一チャートである。

圆 22]動画付き静止画撮影モードで撮影された画像が再生されているとき表示される画像の例を示す図である。

圆 23]動画付き静止画撮影モードで撮影された画像が再生されているとき表示される画像の他の例を示す図である。

圆 24]動画付き静止画撮影モードで撮影された画像が再生されているとき表示される画像の例を示す図である。

圆 25]動画付き静止画撮影モードで撮影された画像が再生されているとき表示される画像の他の例を示す図である。

圆 26]動画付き静止画撮影モードで撮影された画像が再生されているとき表示される画像の他の例を示す図である。 [図 27]図 3のステップ S3の記録処理の詳細を説明する他のフローチャートである。符号の説明

[0042] 1 デジタルカメラ， 11 CPU, 12 ROM, 13 RAM, 14 ドライブ， 15 記録媒体， 21 カメラ部， 22 画像処理部， 23 静止画コーディック部， 24 動画コーディック部， 25 表示制御部， 26 表示部， 30 マイクロフォン， 31 音声信号処理部， 32 音声コーディック部， 51 画像データ入力部， 52 カメラ制御部， 53 静止画処理部， 54 静止画記憶部， 55 動画処理部， 56 動画記憶部， 57 ファイル管理部， 71 音声入力部

発明を実施するための最良の形態

[0043] 以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があつたとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

[0044] さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。

換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

[0045] 本発明の第 1の記録装置は、動画付き静止画撮影モードの設定を行う設定手段（例えば、図 1の設定スィッチ 28)と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段 (例えば、図 2の中央制御部 62、カメラ制御部 52、および静止画処理部 53)と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段 (例えば、図 2の中央制御部 62、カメラ制御部 52、および動画処理部 55)と、静止画撮影手段による撮影の結果得られた静止画、および動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成する生成手段 (例えば、図 2の動画処理部 55)と、静止画撮影手段による撮影の結果得られた静止画、および生成手段により生成された付随動画を記録する記録手段 (例えば、図 2のファイル管理部 57および記録媒体 15)とを備えることを特徴とする。

[0046] 生成手段は、静止画撮影手段による撮影の結果得られた静止画を動画に変換して得た第 1の動画 (例えば、図 9の静止画対応動画 Mc)、静止画撮影手段による静止画撮影前に動画撮影手段により撮影された第 2の動画 (例えば、図 9のプレ動画 Maa )、および静止画撮影手段による静止画撮影後に動画撮影手段により撮影された第 3の動画 (例えば、図 9のポスト動画 Mbb)に基づいて、付随動画を生成することができる。

[0047] 生成手段は、静止画撮影手段による撮影の結果得られた静止画を動画に変換して得た第 1の動画 (例えば、図 9の静止画対応動画 Mc)、および静止画撮影手段による静止画撮影前に動画撮影手段により撮影された第 2の動画 (例えば、図 9のプレ動画 Maa)に基づいて、付随動画を生成することができる。

[0048] 生成手段は、静止画撮影手段による撮影の結果得られた静止画を動画に変換して得た第 1の動画 (例えば、図 9の静止画対応動画 Mc)、および静止画撮影手段による静止画撮影後に動画撮影手段により撮影された第 3の動画 (例えば、図 9のポスト動画 Mbb)に基づいて、付随動画を生成することができる。

[0049] 生成手段は、静止画撮影手段による撮影の結果得られた静止画が変換されて得られた第 1の動画にエフェクト効果 (例えば、図 9の枠 Ea)を付加することができる。

[0050] 生成手段は、静止画撮影手段による撮影の結果得られた静止画が変換されて得られた第 1の動画のフレームの前若しくは後、または前後にダミーフレーム (例えば、図

9の Dのダミーフレーム）を設けることができる。

[0051] 生成手段は、静止画撮影手段による撮影の結果得られた静止画が変換されて得られた第 1の動画が再生されるタイミングに対応して出力されるシャツタ音 (例えば、図 2

5に示すシャツタ音）を、第 1の動画に挿入することができる。 [0052] 動画撮影手段による動画の撮影中の音声の音声データを取得する第 1の音声取得手段 (例えば、図 2の音声入力部 71および動画処理部 55)と、静止画撮影手段による静止画の撮影中の音声の音声データを取得する第 2の音声手段 (例えば、図 2 の音声入力部 71および動画処理部 55)とさらに設け、生成手段は、付随動画を生成するのに利用する動画に対応する第 1の音声取得手段により取得された音声、および付随動画を生成するのに利用する静止画に対応する第 2の音声取得手段により取得された音声データの全部または一部を多重化して、付随動画を生成することができる（例えば、図 26)。

[0053] 生成手段は、再生側の動画のフレームレートが固定である場合、そのフレームレートが維持できる数のダミーフレーム（例えば、図 10の Dのダミーフレーム）を、静止画撮影手段による撮影の結果得られた静止画が変換されて得られた第 1の動画のフレ一ムの前若しくは後、または前後に設けることができる。

[0054] 生成手段は、再生側の動画のフレームレートが可変である場合、任意の数のダミーフレーム (例えば、図 9の Dのダミーフレーム）を、静止画撮影手段による撮影の結果得られた静止画が変換されて得られた第 1の動画のフレームの前若しくは後、または前後に設けることができる。

[0055] 生成手段は、動画撮影手段により撮影された動画 (例えば、図 9の Aのフレーム Ma 1乃至 Mal7)の中から所定の動画（例えば、図 9の Eのフレーム Ma4乃至フレーム M al7)を抽出し、抽出した動画と、静止画撮影手段による撮影の結果得られた静止画が変換されて得られた動画から、付随動画を生成することができる。

[0056] 動画撮影手段により撮影された動画が、フレーム間圧縮を用いて構成されている場合、生成手段は、フレーム内圧縮のみを用いたフレーム、またはフレーム間圧縮の元となるフレーム (例えば、 iピクチャ）を先頭とする動画を抽出することができる。

[0057] 記録手段は、静止画撮影手段による撮影の結果得られた静止画と、生成手段により生成された付随動画を、同じファイル名（例えば、図 18に示す DSC0002)で記録することがでさる。

[0058] 記録手段による記録中に、記録されている画像に応じた UI画像 (例えば、図 12乃至図 16に示す画像)を表示する表示制御手段をさらに設けることができる。 [0059] 本発明の第 1の記録方法は、動画付き静止画撮影モードの設定を行う設定ステツプ (例えば、図 2の制御信号入力部 61および中央制御部 62の処理）と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影ステップ（例えば、図 5のステップ S43, S52, S61, S81)と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影ステップ (例えば、図 3のステップ Sl、図 5のステップ S44, S53, S54, S74)と、静止画撮景ステップの処理での撮影の結果得られた静止画、および動画撮影ステップの処理での撮影の結果得られた動画に基づいて、 1つの付随動画を生成する生成ステップ (例えば、図 5のステップ S72乃至ステップ S75)と、静止画撮影ステップの処理での撮影の結果得られた静止画、および生成ステップの処理で生成された付随動画を記録する記録ステップ（例えば、図 5のステップ S83)とを含むことを特徴とする。

[0060] 本発明の第 2の記録装置は、動画付き静止画撮影モードの設定を行う設定手段（例えば、図 1の設定スィッチ 28)と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段 (例えば、図 2の中央制御部 62、カメラ制御部 52、および静止画処理部 53)と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段 (例えば、図 2の中央制御部 62、カメラ制御部 52、および動画処理部 55)と、静止画撮影手段による撮影の結果得られた静止画、静止画撮影手段による静止画撮影前に動画撮影手段により撮影された動画、および静止画撮影手段による静止画撮影後に動画撮影手段により撮影された動画を、異なるファイルとして記録する記録手段 (例えば、図 2のファイル管理部 57および記録媒体 15)とを備えることを特徴とする。

[0061] 本発明の、動画付き静止画撮影モードの設定を行う設定手段と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、静止画撮影手段による撮影の結果得られた静止画、および動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成する生成手段と、静止画撮影手段による撮影の結果得られた静止画、および生成手段により生成された付随動画を記録する記録手段とを備えることを特徴とする記録装置によって記録された画像を再生する第 1の再生装置は、動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、記録装置の記録手段に記録された静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生手段 (例えば、図 2の中央制御部 62および静止画処理部 53)と、動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、記録装置の記録手段に記録された生成手段により生成された付随動画を再生する第 2の再生手段 (例えば、図 2の中央制御部 62および動画処理部 55)とを備えることを特徴とする。

[0062] 動画付き静止画撮影設定モードで記録された画像のサムネイル画像を表示する表示制御手段をさらに設け、表示制御手段には、サムネイル画像に、動画付き撮影設定モードで撮影されたことを示す表示を付加させることができる（例えば、図 20に示すアイコン QHR)。

[0063] 本発明の、動画付き静止画撮影モードの設定を行う設定手段と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、静止画撮影手段による撮影の結果得られた静止画、および動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成する生成手段と、静止画撮影手段による撮影の結果得られた静止画、および生成手段により生成された付随動画を記録する記録手段とを備えることを特徴とする記録装置によって記録された画像を再生する第 1の再生方法は、動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、記録装置の記録手段に記録された静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生ステップ (例えば、図 21のステップ S 142, 151, S 172, S 152, S143, S131と、動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、記録装置の記録手段に記録された生成手段により生成された付随動画を再生する第 2の再生ステップ (例えば、図 21のステップ S145, S161, S173, S174, S162, 146, S 132)とを含むことを特徴とする。

[0064] 本発明の、動画付き静止画撮影モードの設定を行う設定手段と、動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、静止画撮影手段による撮影の結果得られた静止画、静止画撮影手段による静止画撮影前に動画撮影手段により撮影された動画、および静止画撮影手段による静止画撮影後に動画撮影手段により撮影された動画を、異なるファイルとして記録する記録手段とを備えることを特徴とする記録装置によって記録された画像を再生する第

2の再生装置は、動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、記録装置の記録手段に記録された静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生手段 (例えば、図 2の中央制御部 62および静止画処理部 53)と、動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、静止画撮影手段による撮影の結果得られた静止画、動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成するとともに、付随動画を再生する第 2の再生手段 (例えば、図 2の中央制御部 62および動画処理部 55)とを備えることを特徴とする。

[0065] 図 1は、本発明を適用したデジタルカメラ 1の構成例を示している。このデジタルカメラ 1は、静止画および動画を通常に撮影することができるとともに（静止画撮影モードと動画撮影モードを有しているとともに）、静止画とともにその前後の所定時間分の動画を自動的に撮影することもできる（動画付き静止画撮影モードを有して、る）。またデジタルカメラ 1は、各モードで撮影した画像を再生することができる。

[0066] CPU (Central Processing Unit) 11は、 ROM (Read Only Memory) 12に記録されているプログラムに従って各種の処理を実行する。 RAM13にはまた、 CPU11が各種の処理を実行する上において必要なデータなども適宜記憶される。

[0067] ドライブ 14は、磁気ディスク、光ディスク、光磁気ディスク、ハードディスク、或いは半導体メモリなどよりなる記録媒体 15に、 CPU11から供給された画像データ等を記録したり、記録媒体 15に記録されて、る画像データを読み出して CPU 11に供給する。

[0068] またドライブ 14は、記録媒体 15がリムーバブルであり記録媒体 15にデジタルカメラ 1で動作するプログラムが格納されている場合、記録媒体 15からそれを読み出し、 C PU11が、それを実行するようにすることもできる。

[0069] カメラ部 21は、レンズ、 CCD (Charged Coupled Device)などから構成されており、撮像の結果得られた画像データ（10ビットのデジタル信号)を画像処理部 22に供給する。

[0070] 画像処理部 22は、カメラ部 21から供給された画像データに対してガンマ変換、色空間変換、ホワイトバランス等の画像処理を行い、その結果得られた画像データ (YU V(4:2:2)または YUV(4:2:0)フォーマットのデジタル信号）を、 CPU11に供給する。

[0071] 静止画コーディック部 23は、 CPU11から供給された、画像処理部 22により処理された画像データ（YUVフォーマットのデジタル画像データ）に対して JPEG (Joint Phot ◦graphic Experts Group)圧縮処理を施し、その結果得られた画像データ（静止画の画像データ）を CPU11に戻す。静止画コーディック部 23はまた、 CPU11から供給された、例えば記録媒体 15に格納されて、た JPEG圧縮画像データに対して JPEG伸張処理を行、、その結果得られた静止画の画像データ (YUVフォーマットのデジタル画像データ）を CPU11に戻す。

[0072] 動画コーディック部 24は、 CPU11から供給された、画像処理部 22により処理された動画データ（YUVデジタル画像データ）に対して MPEG (Moving Picture Experts Gro up)圧縮処理を施し、その結果得られた動画の画像データを CPU 11に戻す。動画コ一ディック部 24はまた、 CPU11から供給された、例えば記録媒体 15に格納されていた MPEG圧縮画像データに対して MPEG伸張処理を行ヽ、その結果得られた動画の画像データ（YUVフォーマットのデジタル画像データ）を CPU 11に戻す。

[0073] 表示制御部 25は、 CPU11から供給された画像データ (YUVデジタル画像データ）を、 RGB信号に変換して、 LCD (Liquid Crystal Display)等から構成されている表示部 26に供給して表示させる。

[0074] シャツタスイッチ 27は、静止画撮影の際にユーザにより操作されるスィッチである。

[0075] 動画付き静止画撮影モード設定スィッチ 28は、動画付き静止画撮影モードを設定する際にユーザにより操作されるスィッチである。なおこの例では、動画付き静止画撮影モード設定スィッチ 28によって動画付き静止画撮影モードが設定されるが、メ- ユー画面等の GUI (Graphical User Interface)によって、動画付き静止画撮景モードの設定を行うようにしてもょ、。

[0076] 操作ボタン群 29は、例えば十字キー、決定ボタンなどの、ユーザがデジタルカメラ 1 を操作する上で必要なボタン群である。なお通常の静止画を撮影するための静止画撮影モードまたは通常の動画を撮影するための動画撮影モードは、この操作ボタン群 29の所定のボタンが操作されて設定される。

[0077] マイクロフォン 30は、集音した結果得られた音声信号を音声信号処理部 31に供給する。

[0078] 音声処理部 31は、マイクロフォン 30から入力された音声信号に対して所定の音声処理を施し、その結果得られた音声データを CPU11に供給する。

[0079] 音声コーディック部 32は、 CPU11から供給された、音声信号処理部 31により処理された音声データに対して MPEGオーディオ圧縮処理を施し、その結果得られた音声データを CPU11に戻す。音声コーディック部 32はまた、 CPU11から供給された、例えば記録媒体 15に記録されていた MPEG圧縮音声データに対して MPEG伸張処理を行、、その結果得られた音声データを CPU11に戻す。

[0080] 出力制御部 33は、 CPU11から供給された音声データを、スピーカ 34を介して出力する。

[0081] 図 2は、デジタルカメラ 1の機能的構成例を示す。

[0082] 画像データ入力部 51は、カメラ部 21 (図 1)で取り込まれた画像データを入力し、入力した画像データをカメラ制御部 52に供給する。

[0083] カメラ制御部 52は、中央制御部 62の制御に従って、画像データ入力部 51から供給された画像データから、静止画用の画像データ (例えば 2592 X 1944ドット）を生成して静止画処理部 53に供給したり、動画用の画像データ (320 X 240ドット）を生成して動画処理部 55に供給する。

[0084] 静止画処理部 53は、中央制御部 62の制御に従い、カメラ制御部 52から供給された静止画の画像データに対する JPEG圧縮処理を静止画コーディック部 23に要求し

、静止画コーディック部 23から供給された JPEG圧縮処理の結果得られた静止画の画像データをファイル管理部 57に供給する。

[0085] なお静止画処理部 53は、動画付き静止画撮影モードで撮影された静止画を記録するとき、 JPEG圧縮処理で圧縮した画像データを、 RAM13 (図 1)で構成されている静止画記憶部 54に一時的に記憶する。

[0086] 静止画処理部 53はまた、中央制御部 62の制御に従い、ファイル管理部 57から供給された、記録媒体 15に記録されてヽた JPEG圧縮画像データに対する JPEG伸張処理を静止画コーディック部 23に要求し、静止画コーディック部 23から供給された JP EG伸張処理の結果得られた画像データを中央制御部 62に供給する。

[0087] 動画処理部 55は、中央制御部 62の制御に従い、カメラ制御部 52から供給された動画の画像データに対する MPEG圧縮処理を動画コーディック部 24に要求し、動画コーディック部 24から供給された MPEG圧縮処理の結果得られた画像データを、ファィル管理部 57に供給する。動画像処理部 55はその際、音声入力部 71から供給された動画に対応する音声データに対する MPEG圧縮処理を音声コーディック部 32に要求し、音声コーディック部 32から供給された MPEG圧縮処理の結果得られた音声データを、ファイル管理部 57に供給する。

[0088] なお動画処理部 55は、動画付き静止画撮影モードで撮影された動画を記録するとき、カメラ制御部 52から供給された画像データおよび音声入力部 71から供給された音声データを、 RAM13で構成されている動画記憶部 56に記憶するとともに、そこに記憶した動画データ等を利用して後述する動画 (付随動画)を生成する。

[0089] 動画処理部 55はまた、中央制御部 62の制御に従い、ファイル管理部 57から供給された、記録媒体 15に格納されて、る MPEG圧縮画像データに対する MPEG伸張処理を動画コーディック部 24に要求し、動画コーディック部 24力も供給された MPEG伸張処理の結果得られた動画の画像データを、中央制御部 62に供給する。動画処理部 55はその際、ファイル管理部 57から供給された、記録媒体 15に記録されている M PEG圧縮音声データに対する MPEG伸張処理を音声コーディック部 32に要求し、音声オーディック部 32から供給された MPEG伸張処理の結果得られた音声データを、中央制御部 62に供給する。

[0090] ファイル管理部 57は、静止画処理部 53および動画処理部 55から供給された画像データ等を記録媒体 15に記録する。ファイル管理部 57はまた、静止画処理部 53および動画処理部 55からの要求に応じて、記録媒体 15に記録されている画像データ等を静止画処理部 53または動画処理部 55に供給する。

[0091] 制御信号入力部 61は、シャツタスイッチ 27乃至操作ボタン群 29に対するユーザの操作に応じた信号を入力し、中央制御部 62に供給する。 [0092] 中央制御部 62は、制御信号入力部 61から入力された信号に応じてカメラ制御部 5 2、静止画処理部 53、および動画処理部 55を制御し、通常の静止画撮影モードや動画撮影モードによる静止画または動画の撮影およびその画像の再生、並びに動画付き静止画撮影モードによる撮影およびその画像の再生等を行わせる。

[0093] 次に、動画付き静止画撮影モード設定スィッチ 28が操作されて、動画付き静止画撮影モードが設定された場合のデジタルカメラ 1の動作を、図 3のフローチャートを参照して説明する。

[0094] ステップ S1にお、て、動画一時記憶処理が開始される。ここでの処理の詳細は、図 4に示されている。

[0095] すなわちステップ S11において、デジタルカメラ 1の中央制御部 62は、制御信号入力部 61からの動画付き静止画撮影モード設定スィッチ 28が操作され、動画付き静止画撮影モードが設定された旨を表す信号を受信すると、ステップ S12において、力メラ制御部 52の動作モードを、動画記録モードにする指令を、カメラ制御部 52に通知する。

[0096] カメラ制御部 52は、ステップ S21において、自分の動作モードを動画記録モードに設定し、その設定が完了したとき、その旨を中央制御部 62に通知する。カメラ制御部 52は、動作モードが動画記録モードに設定されているとき、画像データ入力部 51から供給された画像データから動画の画像データ (320 X 240ドット）を生成して、要求に応じて、動画処理部 55に供給する処理を行う。

[0097] カメラ制御部 52から動画記録モード設定完了の通知を受けると、中央制御部 62は、ステップ S 13において、動画の一時記憶指令を、動画処理部 55に出力する。

[0098] 動画処理部 55は、ステップ S31において、動画一時記憶処理を開始する。

[0099] 具体的には、動画処理部 55は、カメラ制御部 52 (動画記録モードのカメラ制御部 5 2)に対して動画の画像データの供給を要求するとともに、その要求に応じてカメラ制御部 52から供給される動画データ (ステップ S22)に対して、 MPEG圧縮処理を開始し、その結果得られた画像データの動画記憶部 56への記憶を開始する。なお動画記憶部 56は、例えばラインバッファとなっており、ノッファがいつぱいになったとき、古いフレームの画像データが削除されて、新しいフレームの画像データが記憶されるようになされている。

[0100] 動画処理部 55はまた、その際、音声入力部 71から供給される音声信号 (記憶される動画に対応する音声の音声信号）に対して、 MPEG圧縮処理を開始し、その結果得られた音声データの動画記憶部 56への記憶を開始する。

[0101] このようにして動画の一時記憶が開始されると、処理は、図 3のステップ S2に進む。

なおこの例の場合、動画付き静止画撮影モードが設定されたときに、動画の一時記憶が開始されるようにした力デジタルカメラ 1の電源がオンされたときに開始されるようにしたり、記録媒体 15が装着されたときに開始されるようにすることもできる。

[0102] ステップ S2にお、て、シャツタスイッチ 27が操作された力否かが判定され、操作されたと判定した場合 (ユーザがシャツタスイッチ 27を押したとき）、ステップ S3に進む。

[0103] ステップ S3において、記録処理が行われる。ここでの処理の詳細は、図 5のフローチャートに示されている。

[0104] 動画一時記憶の最中に（図 3のステップ S1または後述するステップ S 74で開始された動画一時記憶の最中に）、シャツタスイッチ 27が操作されると中央制御部 62は、ステツプ S41において、その動画の一時記憶の停止指令を、動画処理部 55に出力する。

動画処理部 55は、ステップ S71において、動画一時記憶を停止し (動画と音声の記憶を停止し）、停止した旨を中央制御部 62に通知する。

[0105] 動画一時記憶が停止されると中央制御部 62は、ステップ S42において、カメラ制御部 52の動作モードを静止画記録モードにする指令を、カメラ制御部 52に出力する。

[0106] カメラ制御部 52は、ステップ S51において、動作モードを静止画記録モードに設定し、その設定が完了したとき、その旨を中央制御部 62に通知する。カメラ制御部 52 は、動作モードが静止画記録モードに設定されているとき、画像データ入力部 51から供給された画像データから静止画の画像データ (2592 X 1944ドット）を生成して、要求に応じて、静止画処理部 53に供給する処理を行う。

[0107] カメラ制御部 52から静止画記録モード設定完了が通知されると、中央制御部 62は

、ステップ S43において、静止画記録指令を、静止画処理部 53に対して出力する。

[0108] 静止画処理部 53は、ステップ S61において、静止画記録処理を行う。具体的には、静止画処理部 53は、カメラ制御部 52 (静止画記録モードのカメラ制御部 52)に対して静止画の画像データの供給を要求するとともに、その要求に応じてカメラ制御部 52から供給された静止画の画像データ (ステップ S52) (シャツタスイッチ 27が押下された時点で撮像された 1フレームの画像データ）に対して、 JPEG圧縮処理を行い、その結果得られた画像データを静止画記憶部 54に記憶する。

[0109] 静止画処理部 53はまた、カメラ制御部 52から供給された静止画の画像データに対して縮小処理を施して JPEG圧縮処理を施し、サムネイル画像を生成する。

[0110] 静止画処理部 53は、静止画記憶部 54に記憶した画像データに、サムネイル画像を包含させて、ファイル管理部 57に供給する。

[0111] ファイル管理部 57は、静止画処理部 53から画像データが供給されると、ステップ S 81において、その画像データを記録媒体 15に記録する。ここでの詳細な処理は、図 6のフローチャートに示されている。

[0112] すなわちステップ S91において、ファイル管理部 57は、管理している、例えば図 7 に示すようなファイルリストを参照して、そこに設定されているファイル番号の中で、最も大きな番号に 1を加算し、その結果得られた値を、画像データのファイル番号とする (ファイルリストで使用されて、な、番号をここで記録する画像データのファイル番号とする)。

[0113] 図 7の例では、番号 2が最も大きな番号なので、それに 1が加算された番号 3がここで記録される画像データのファイル番号となる。

[0114] なおファイルリストの詳細については後述する。

[0115] 次にステップ S92において、ファイル管理部 57は、ステップ S 91で決定したファイル番号を含むファイル名に静止画用の拡張子を付けて、静止画処理部 53から供給された画像データを、所定のフォルダに格納し記録媒体 15に記録する。

[0116] 例えばファイル名は DSC X X X X Xの形態を有しており、ファイル名の中の" X X

X X X "部分にファイル番号が組み込まれるようになされている。すなわち図 7の例では、ファイル番号は 3 (00003)であるので、ファイル名は、 DSC00003となり、それに静止画用の拡張子である JPGが付されて記録される（DSC00003.JPG)

[0117] そしてファイル管理部 57は、ステップ S93において、ファイルリストに、ファイル名で使用したファイル番号、動画付き静止画撮影モードで撮影されたものであることを示す情報（Hybrid REC)を、それぞれ「ファイル番号」および「ファイルタイプ」の欄に追加する。すなわち図 7のファイルリストは、図 8に示すように、ファイル番号 3と、その情報（Hybrid REC)が追加されて更新される。

[0118] このように静止画の画像データが記録されると、図 5のステップ S82に進み、フアイル管理部 57は、静止画の画像データの記録が完了した旨を、静止画処理部 53およびカメラ制御部 52を介して中央制御部 62に通知する。

[0119] 静止画の画像データの記録が完了すると、中央制御部 62は、ステップ S44において、動画記録モード設定指令を、カメラ制御部 52に出力する。

[0120] カメラ制御部 52は、ステップ S53において、図 4のステップ S21における場合と同様に、動作モードを動画記録モードに設定し、その設定が完了したとき、その旨を中央制御部 62に通知する。

[0121] カメラ制御部 52の動作モードが動画記録モードに設定されると、中央制御部 62は、ステップ S45において、動画付き静止画撮影モードで撮影される動画 (以下、付随動画と称する）を記録する指令を、動画処理部 55に対して出力する。

[0122] この指令を受けると動画処理部 55は、ステップ S72において、プレ動画 Maaを作成する。

[0123] 具体的には、動画処理部 55は、ステップ S71で停止されるまで行われていた動画一時記憶により動画記憶部 56に記憶されている動画の画像データから、所定の画像データをプレ動画 Maaの画像データとして抽出する。

[0124] 例えば、図 9の Aに示すように、動画記憶部 56に、動画のフレーム Mai力フレーム Mal7 (シャツタスイッチ 27が操作される直前に撮影された動画のフレーム）が記憶されているものとすると、フレーム Mal7から所定の時間分遡ったフレーム Ma4乃至フレーム Mal7が、プレ動画 Maaの画像データとして抽出される。なおフレーム Sは、動画付き静止画撮影モードで撮影された静止画 (ステップ S61で圧縮された静止画) を表している。

[0125] 動画処理部 55はまた、ステップ S71で停止されるまで行われていた動画一時記憶により動画記憶部 56に記憶されている音声データから、プレ動画 Maaとして抽出された動画に対応する音声データを抽出する。

[0126] 次に図 5に戻り動画処理部 55は、ステップ S73において、撮影された静止画に対応する動画 (以下、静止画対応動画と称する） Mcを生成する。

[0127] 具体的には、動画処理部 55は、中央制御部 62を介して静止画処理部 53に、ステップ S61で記憶した静止画の画像データ（図 9の Aの例の場合、フレーム Sの画像データ）の供給を要求し、中央制御部 62を介して供給された静止画処理部 53からの静止画の画像データを、動画の画像データに変換し、図 9の Bに示すような静止画対応動画 Mcの画像データを生成する。すなわち 2592 X 1944ドットの静止画の画像データカ 320 X 240ドットの画像データに変換される。

[0128] このとき、図 9の Cに示すように、例えば枠 Eaなどのエフェクト効果を付して（枠 Eaに囲まれて静止画が表示されるように）、静止画対応動画 Mcを生成することができる。

[0129] また図 9の Dに示すように、黒色の画像データ力もなるダミーフレームを、静止画から得られた動画のフレームの前後に設けて (静止画の前後で黒色背景の画面が表示されるように）、静止画対応動画 Mcを生成することもできる。なお図 9の Dの例ではこのダミーフレームは、静止画力得られた動画のフレームの前後に設けられているが、前方のみ、または後方のみに設けるようにすることもできる。

[0130] なおこの他

•動画から静止画、若しくは静止画力動画へのフェードインまたはフェードアウトする

•動画から静止画、若しくは静止画力動画へのワイプ処理をする

•動画から静止画、若しくは静止画から動画へのミックス処理をする

'静止画をセピア、ネガポジ、モノトーンにする

•静止画を右上からアニメーションイン、右上へアニメーションアウトする •静止画を小さ、状態力フル画面へ拡大するアニメーションにする

のようなエフェクト効果を付すこともできる。

[0131] 図 5に戻り、ステップ S74において、動画処理部 55は、ポスト動画 Mbbを作成する。

[0132] 具体的には、動画処理部 55は、カメラ制御部 52 (動画記録モードになっているカメラ制御部 52)に対して、動画の画像データの供給を要求し、カメラ制御部 52から供給された動画の画像データ (ステップ S54)を、 MPEG圧縮処理を施して圧縮し、動画記憶部 56への一時記憶を開始する。すなわちシャツタスイッチ 27が押された後の風景が動画として記憶される。なおこの記憶を開始する際には、動画記憶部 56の記憶内容は初期化される（それまで記憶されて、た画像データは消去される)。

[0133] 動画処理部 55はまた、音声入力部 71から供給される音声信号 (記録される動画に対応する音声データ）の動画記憶部 56への記憶を開始する。

[0134] そして動画処理部 55は、一定の時間が経過した後、そのとき動画記憶部 56に記憶されて!/、る動画からポスト動画 Mbbを生成する。

[0135] 具体的には、動画記憶部 56に記憶されている動画の画像データ力所定の動画データが、ポスト動画 Mbbの画像データとして抽出される。

[0136] 例えば、図 9の Aに示すフレーム Mbl以降の画像データが動画記憶部 56に記憶されている場合、フレーム Mbl乃至フレーム Mb8が、ポスト動画 Mbbの画像データとして抽出される。

[0137] 動画処理部 55はまた、動画記憶部 56に記憶されている音声データから、ポスト動画 Mbbとして抽出された動画に対応する音声データを抽出する。

[0138] なおステップ S72およびステップ S74では、動画記憶部 56に記録されている動画の画像データ力所定の画像データを抽出することで、プレ動画 Maaおよびポスト動画 Mbbを生成した力その際、動画のフレームが I, B, Pピクチャを構成している場合、単独で再生可能な Iピクチャを先頭とする画像データを抽出するようにすることもできる。

[0139] 次に動画処理部 55は、ステップ S75において、動画付き静止画の動画 (付随動画 )を生成する。

[0140] 具体的には、図 9の Eに示すように、ステップ S72で生成されたプレ動画 Maa、ステップ S 73で生成された静止画対応動画 Mc、およびステップ S74で生成されたポスト動画 Mbbが時系列順に配置されて、 1つの動画が生成される。

[0141] そして生成された 1つの動画と、抽出されたプレ動画 Maaおよびポスト動画 Mbbに対応する音声データ (ステップ S72およびステップ S74)が多重化されて、付随動画が生成される。 [0142] なお図 9の D, Eの例では、再生側のフレームレートが可変フレームレートである場合を示している力固定フレームレートである場合、図 10の Dおよび図 10の Eに示すように、フレームレートが一定になるだけのダミーフレームを設けて、付随動画を生成することができる。図 10の A乃至図 10の Cは、図 9の A乃至図 9の Cと同じフレーム配列を示している。

[0143] 動画処理部 55は、生成した付随動画を、ファイル管理部 57に供給する。

[0144] ファイル管理部 57は、動画処理部 55から付随動画が供給されると、ステップ S83 において、それを記録媒体 15に記録する。

[0145] 具体的にはファイル管理部 57は、図 6のステップ S92で付けた、静止画のファイル名と同じ名前に、動画用の拡張子 (MP4)を付けて、付随動画を、静止画の画像データと同じフォルダに記録する。

[0146] 付随動画の記録が完了するとファイル管理部 57は、その旨を、動画処理部 55およびカメラ制御部 52を介して中央制御部 62に通知する。

[0147] このように記録処理が行われると、処理は、図 3のステップ S2に戻り、それ以降の処理が行われる。すなわち再度シャツタスイッチ 27が操作されれば、動画付き静止画撮影モードでの撮影が行われ、静止画および付随動画が記録される。

[0148] ステップ S2で、シャツタスイッチ 27が操作されて!ヽな、と判定されたとき、ステップ S 4に進み、動画付き静止画撮影モードの設定が解除されたか否かが判定され、解除されていないと判定された場合、ステップ S2に戻り、それ以降の処理が行われる。一方、解除されたと判定された場合 (例えば、動画付き静止画撮影モード設定スィッチ 28が解除するように操作されたとき）、ステップ S5に進み、ユーザの設定に応じた動作が行われる。例えばその後、撮影モードが静止画撮影モードに切り替わったときは、通常の静止画撮影が行われ、動画撮影モードに切り替わったときは、通常の動画撮影が行われる。

[0149] 以上のようにして動画付き静止画撮影モードにおける撮影が行われる。

[0150] なお以上においては、動画付き静止画撮影モードについて、記録処理を中心に説明したが、その記録時には、次に説明する図 11のフローチャートに示す処理に従う、

UI (user interface)画像の表示制御処理が行われる。 [0151] すなわちステップ S101において、デジタルカメラ 1の中央制御部 62は、制御信号入力部 61からの動画付き静止画撮影モード設定スィッチ 28が操作され、動画付き静止画撮影モードが設定された旨を表す信号を受信すると（図 3のステップ Sl、図 4 のステップ S11)、ステップ S102において、図 12に示すように、カメラ制御部 52から供給される、いま現在撮影されている画像を表示部 26に連続的に表示するとともに（電子ビューファインダによるモニタ処理を行うとともに）、その画像に、動画付き静止画撮影モードが設定されてヽる旨を表すアイコン QHRを表示する。

[0152] 次にステップ S103において、シャツタスイッチ 27が操作されると（図 3のステップ S2 、図 5のステップ S41)、ステップ S104において、中央制御部 62は、シャツタスイッチ 27が完全に切られたとき、キヤプチャ中であることを示すために、表示部 26の表示画像を、図 13に示すように、黒色背景に"記録中"の文字が付された画面に切り替える

[0153] そしてステップ S105において、静止画の記録が開始されると（図 5のステップ S43) 、中央制御部 62は、ステップ S106において、図 14に示すように、撮影された静止画を表示するとともに、その記録中であることを示すために、 "記録中"の文字を表示する。

[0154] そしてステップ S107において、付随動画の生成記録が開始されると（図 5のステツプ S45)、中央帘1』御咅 62ίま、ステップ S108にお!/ヽて、図 15に示すように、図 14の画面から"記録中"の表示を消去し、付随動画の生成記録中であることを表すマーク Ρ2 を表示する。

[0155] そしてステップ S109において、付随動画の生成記録が完了すると（ファイル管理部 57からその旨の通知（図 5のステップ S84)を受けると）、ステップ S110において、中央制御部 62は、図 16に示すように、図 15の画面からマーク Ρ2を消去する。

[0156] 以上のように動画付き静止画撮影モードの撮影中に、所定の UI画像を表示するようにしたので、ユーザは、現在どのような処理が行われているかを容易に把握することがでさる。

[0157] 次に、ファイルリスト（図 7)を生成する場合のファイル管理部 57の動作を、図 17のフローチャートを参照して説明する。 [0158] 例えば、電源オン時のデジタルカメラ 1に記録媒体 15が装着されると、ステップ S12 1において、ファイル管理部 57は、装着された記録媒体 15に存在するファイル名を全て読み出し、ファイル名を構成するファイル番号を抜き出す。なお同じファイル名のファイルが複数（2個）ある場合は、ファイル番号が 1個抜き出される。

[0159] 例えば、図 18に示すように、記録媒体 15に、 DSC00001. JPG、 DSC00002. JPG、 D SC00002. MP4のファイルが記録されている場合、 DSC00001のファイル名力フアイル番号 1が、 DSC00002のファイル名力らファイル番号 2 (DSC00002. JPGと DSC00002 . MP4のファイル名は DSC00002で同じであるので、 1つファイル番号 2)がそれぞれ抜き出される。

[0160] 図 17に戻りステップ S122において、ファイル管理部 57は、ファイルタイプをフアイル番号毎に決定する。

[0161] 同じファイル名が 1個である場合、そのファイルに付された拡張子に従ってファイルタイプが決定される。例えば図 18の例の場合、 DSC00001のファイル名を有するファィルは 1個であるので、それに付されている拡張子 (JPG)に従って、そのファイルは、通常の静止画撮影モードで撮影された静止画のファイルであるとされる。

[0162] 一方同じファイル名が 2個ある場合、この例の場合、それらは同じ名前に拡張子力 ¾ PGと MP4が付されたファイルであり、動画付き静止画撮影モードで撮影されたものであるので、動画付き静止画撮影モードで撮影された画像のファイルであるとされる。

[0163] 次に、ステップ S123において、ファイル管理部 57は、ファイル番号 (ステップ S 121 )とファイルタイプ (ステップ S 122)を、ファイルリストに設定する。

[0164] その結果、図 18の例では、図 7に示すように、ファイル番号 1と、静止画撮影モードで撮影された静止画のファイルであることを示す情報 (JPEG)、およびファイル番号 2 と、動画付き静止画撮影モードで撮影された画像のファイルであることを示す情報 (H ybrid REC)とがそれぞれ設定されたファイルリストが生成される。

[0165] 以上のようにしてファイルリストが生成される。

[0166] 次に動画付き静止画撮影モードで撮影された画像を再生する処理につ!ヽてするが、はじめに再生する画像を選択するのに利用されるサムネイルの表示処理について、図 19のフローチャートを参照して説明する。 [0167] サムネイル表示を要求する操作が操作ボタン群 29に対して行われ、その旨が制御信号入力部 61を介して入力されると、ステップ S131において、中央制御部 62は、フアイル管理部 57からファイルリストを取得し、ステップ S132において、そこに設定されているファイル番号とファイルタイプの 1組みを読み出す。

[0168] 次に、ステップ S133において、中央制御部 62は、読み出したファイルリストに応じたアイコンを決定する。

[0169] 次にステップ S134において、中央制御部 62は、ファイル管理部 57からそのフアイル番号を含むファイル名のサムネイル画像を取得し、それにステップ S 133で決定したアイコンを付して、表示部 26に表示させる。

[0170] ステップ S135において、中央制御部 62は、ファイルリストからすべてのファイル番号を読み出したか否かを判定し、また読み出していないファイル番号があると判定した場合、ステップ S132に戻り、それ以降の処理を行う。一方すベてのファイル番号を読み出したと判定した場合、中央制御部 62は、処理を終了する。

[0171] 図 20は、このようにして表示されたサムネイル画像の例を示している。動画付き静止画撮影モードで撮影された画像のサムネイル画像にはアイコン QHRが付され、通常の静止画撮影モードで撮影された画像のサムネイル画像にはアイコン Qsが付されている。

[0172] 次に、動画付き静止画撮影モードで撮影された画像を再生する場合のデジタル力メラ 1の動作を、図 21のフローチャートを参照して説明する。

[0173] 例えば上述したように表示された、アイコン QHRが付されたサムネイル画像が選択されて、その再生が要求されると、ステップ S141において、中央制御部 62は、制御信号入力部 61から供給されたその旨を表す信号を受信し、ステップ S142において

、動画付き静止画撮影モードで撮影された静止画についての静止画再生指令を、静止画処理部 53に対して出力する。

[0174] 静止画処理部 53は、ステップ S151において、動画付き静止画撮影モードで撮影された静止画のファイルの読み出しをファイル管理部 57に要求する。

[0175] ファイル管理部 57は、ステップ S171は、動画付き静止画撮影モードで撮影された静止画のファイル（図 5のステップ S81で記録された静止画の画像データ）を記録媒体 15力も検索し、ステップ S172において、そのファイル (静止画の画像データ）を静止画処理部 53に供給する。

[0176] 静止画処理部 53は、ステップ S152において、ファイル管理部 57から供給された静止画の画像データに対して JPEG伸張処理を施し、その結果得られた画像データを中央制御部 62に供給する。

[0177] 中央制御部 62は、ステップ S143において、静止画処理部 53から供給された伸張された静止画の画像データを、表示部 26に供給し表示を指令する。その結果、ステップ S 131において、表示部 26には、選択された動画付き静止画撮影モードで撮影された静止画が表示させる。

[0178] 図 22は、このとき表示部 26に表示される動画付き静止画撮影モードで撮影された静止画の表示例が示されている。この静止画は、通常の静止画撮影モードで撮影された静止画と同様の画素数を有する、高精細な画像である。

[0179] この例の場合、この静止画の表示中に、付随動画を再生するときに操作するボタン

B1が表示される。

[0180] 動画付き静止画撮影モードで撮影された静止画が、図 22に示すように表示部 26 に表示された後、動画付き静止画撮影モードで撮影された動画 (付随動画)の再生が要求され (例えば図 22のボタン B1が操作され）、ステップ S144において、中央制御部 62がその要求があった旨を表す信号を、制御信号入力部 61から受信すると、ステツプ S145において、付随動画再生指令を動画処理部 55に対して出力する。

[0181] 動画処理部 55は、ステップ S161にいて、付随動画のファイルの読み出しを、フアイル管理部 57に要求する。

[0182] ファイル管理部 57は、ステップ S173において、ステップ S171で検索した静止画のファイルのファイル名と同じで、動画の拡張子が付されたファイル（図 5のステップ S8 3で記録された付随動画)を記録媒体 15から検索し、ステップ S174において、そのファイルを動画処理部 55に供給する。

[0183] 動画処理部 55は、ステップ S162において、ファイル管理部 57から供給されたファィルの画像データおよび音声データに対して MPEG伸張処理を施し、その結果得られた画像データおよび音声データを中央制御部 62に供給する。 [0184] 中央制御部 62は、ステップ S146において、動画処理部 55から供給された伸張された動画の画像データを表示部 26に供給して表示させるとともに、音声データを、スピー力 34を介して出力する。その結果、ステップ S132において、表示部 26に、動画付き静止画の付随動画が再生されて表示される。

[0185] 例えば図 9の Eに示すように付随動画が生成された場合、図 23に示すように、プレ動画 Maa (シャツタスイッチ 27が操作される前の風景）、静止画対応動画 Mc (ダミーフレーム、シャツタスイッチ 27が操作されたときに撮像された静止画から生成された動画、ダミーフレーム）、およびポスト動画 Mbb (シャツタスイッチ 27が操作された後の風景）が順に表示される。

[0186] 音声は、プレ動画 Maaおよびポスト動画 Mbbの表示中は、録音されたその動画に対応する音声（図 5のステップ S72およびステップ S74)が出力され、静止画対応動画 Mcの表示中は、無音となる。

[0187] なおこの例の場合、動画付き静止画の付随動画が表示されている間は、図 24に示すように、その動画の再生を停止するときに操作するボタン B2を表示することもできる。付随動画の再生が終了した後は、静止画表示に戻る。

[0188] 以上のようにして動画付き静止画撮影モードで撮影された画像が再生される。

[0189] 以上においては、記録時にプレ動画 Maa、静止画対応動画 Mc、およびポスト動画

Mbb力付随動画を生成して記録し、再生時は、通常の動画処理により付随動画を再生するようにした。

[0190] し力しながら再生処理の性能によっては、記録時に静止画対応動画 Mcや付随動画を生成せずに、プレ動画 Maaおよびポスト動画 Mbb、並びに静止画 Sをそれぞれ別途に記録しておき、再生時に、静止画対応動画 Mcを生成して、プレ動画 Maa、静止画対応動画 Mc、そしてポスト動画 Mbbの順に再生することもできる。

[0191] なおこの場合、プレ動画 Maaおよびポスト動画 Mbb、並びに静止画 Sを、以下に示すように、最初の 4文字が異なるファイル名で、同一のディレクトリに記録しておくことができる。すなわち再生側は、最初の 4文字で、プレ動画 Maa、ポスト動画 Mbb、および静止画 Sを識別するとともに、それ以降の文字列 (数列）（00001)で、それらが関連して、る画像であることを把握する。プレ動画 Maaのファイル名： PRE00001.MP4

ポスト動画 Mbbのファイル名： PST00001.MP4

静止画 Sのファイル名： DSC00001.JPG

[0192] また、以下に示すように、ファイル名を同じにして拡張子を異なるようにして、同一のディレクトリに記録することもできる。この場合再生側は、ファイル名で関連性を把握し、拡張子で、画像の種類を識別する。

プレ動画 Maaのファイル名： DSC00001.PRE

ポスト動画 Mbbのファイル名： DSC00001.PST

静止画 Sのファイル名： DSC00001.JPG

[0193] また静止画対応動画 Mcをさらに記録しておき、再生時において、静止画対応動画 Mcを直接再生するか、または静止画対応動画 Mcを生成して力再生することもできる。この場合、静止画対応動画 Mcは、ファイル名の最初の 4文字を変える場合は、例えば、 DSC00001.MP4 (静止画 Sのファイル名： DSC00001.JPGとファイル名は同じであるが識別子が異なるので識別可能）、拡張子を変える場合は、 DSC00001.PICのファイルとして記録される。

[0194] このようにプレ動画 Maa、静止画 S、ポスト動画 Mbbを異なるファイルで記録した場合、例えばプレ動画 Maaのみ、ポスト動画 Mbbのみの削除などが容易に行うことができる。

また静止画対応動画 Mcがない分、全体のファイルサイズを小さくすることができ、さらに高、画質の静止画を再生することができる。

[0195] なお付随動画を生成して記憶しておく場合、その再生は一般的な再生処理で行うことができるので、汎用のアプリケーションで実行することができる。すなわち再生側に、特殊な再生用のアプリケーションを用意しておく必要がない。

[0196] また本発明と取り扱われる動画は、所定のフォーマットに限定されるものではなぐ

MPEG4以外にも、 MPEG2や MPEG4— AVCとすることもできる。

[0197] また以上においては、静止画撮影前のみ、静止画撮影後のみ、静止画撮影前後の!、ずれかをメニュー画面等で設定可能である。

[0198] また以上においては、デジタルカメラを例として説明したが、本発明は、デジタル力メラに限定されるものではなぐ携帯電話、 PDA (Personal Digital Assistant)等も含む記録機能および再生機能を有する機器に適用することができる。

[0199] 図 23の例では、プレ動画 Maaおよびポスト動画 Mbbの表示中は、録音されたその動画に対応する音声が出力され、静止画対応動画 Mcの表示中は、無音とされたが、図 25に示すように、静止画対応動画 Mcが表示される所定のタイミングにおいて、ここで表示される静止画が、シャツタスイッチ 27が操作されたときに撮像された静止画であることを表すために、シャツタ音が出力されるようにすることもできる。なおシャツタ音は、記録時にダミーフレームと同様に静止画対応動画 Mcに挿入されるようにしても良い。

[0200] また図 26に示すように、静止画撮影時に音声も記録しておき、静止画対応動画 Mc の表示中の所定のタイミングから（図 26の例では、ポスト動画 Mbb再生 1秒前から）、録音音声 (抽出音声)が出力されるようにすることもできる。

[0201] このように音声を出力することで、静止画対応動画 Mcからポスト動画 Mbbへの移り変わりの連続性を向上させることができる。

[0202] 図 26に示すように音声が出力されるようにする場合の記録処理（図 3のステップ S3 )を、図 27のフローチャートを参照して説明する。

[0203] 動画一時記憶の最中に、シャツタスイッチ 27が操作されると中央制御部 62は、ステップ S201において、その動画の一時記憶の停止指令を、動画処理部 55に出力する（図 5のステップ S41と同じ処理)。動画処理部 55は、ステップ S231において、動画一時記憶を停止し (動画と音声の記憶を停止し)、停止した旨を中央制御部 62に通知する（図 5のステップ S71と同じ処理)。

[0204] 動画一時記憶が停止されると中央制御部 62は、ステップ S202において、カメラ制御部 52の動作モードを静止画記録モードにする指令を、カメラ制御部 52に出力する (図 5のステップ S42と同じ処理)。

[0205] カメラ制御部 52は、ステップ S211において、動作モードを静止画記録モードに設定し、その設定が完了したとき、その旨を中央制御部 62に通知する（図 5のステップ S51と同じ処理)。カメラ制御部 52は、動作モードが静止画記録モードに設定されて Vヽるとき、画像データ入力部 51から供給された画像データから静止画の画像データ (2592 X 1944ドット）を生成して、要求に応じて、静止画処理部 53に供給する処理を行う。

[0206] カメラ制御部 52から静止画記録モード設定完了が通知されると、中央制御部 62は、ステップ S203において、動画の一時記憶指令を、動画処理部 55に出力する。

[0207] 動画処理部 55は、ステップ S232において、音声記憶処理を開始し、その旨を、中央制御部 62に通知する。

[0208] いまの場合、カメラ制御部 52の動作モードは、ステップ S211の処理により静止画記録モードに設定され、動画処理部 55は、カメラ制御部 52から動画データを取得することができないので、音声入力部 71から供給される音声データのみを記憶することになる。すなわちここで静止画撮影中の音声記録が開始される。

[0209] ステップ S204において、中央制御部 62は、静止画記録指令を、静止画処理部 53 に対して出力する（図 5のステップ S43と同じ処理)。

[0210] 静止画処理部 53は、ステップ S221において、静止画記録処理を行い、その結果得られた画像データをファイル管理部 57に供給する（図 5のステップ S61と同じ処理

) o

[0211] ファイル管理部 57は、静止画処理部 53から画像データが供給されると、ステップ S 241において、その画像データを記録媒体 15に記録する（図 5のステップ S81と同じ処理)。

[0212] 静止画の画像データが記録されると、ステップ S242に進み、ファイル管理部 57は、静止画の画像データの記録が完了した旨を、静止画処理部 53およびカメラ制御部 52を介して中央制御部 62に通知する（図 5のステップ S82と同じ処理)。

[0213] 静止画の画像データの記録が完了すると、中央制御部 62は、ステップ S205において、ステップ S203の指令で開始された動画の一時記憶の停止指令を、動画処理部 55に出力する。

[0214] ステップ S233において、動画処理部 55は、ステップ S232で開始した音声記憶を停止し、停止した旨を中央制御部 62に通知する。

[0215] 上述したようにカメラ制御部 52の動作モードが静止画記録モードである場合、動画処理部 55は、動画一時記憶指令を受けても、動画を記憶せずに、音声のみを記憶しているので、ここでその音声記憶が停止される。

[0216] 次にステップ S206において、中央制御部 62は、動画記録モード設定指令を、カメラ制御部 52に出力する（図 5のステップ S44と同じ処理)。

[0217] カメラ制御部 52は、ステップ S213において、動作モードを動画記録モードに設定し、その設定が完了したとき、その旨を中央制御部 62に通知する（図 5のステップ S5

3と同じ処理)。

[0218] カメラ制御部 52の動作モードが動画記録モードに設定されると、中央制御部 62は、ステップ S207において、動画付き静止画撮影モードで撮影される動画を記録する指令を、動画処理部 55に対して出力する（図 5のステップ S45と同じ処理)。

[0219] この指令を受けると動画処理部 55は、ステップ S234において、プレ動画 Maaとしての動画とそれに対応する音声を抽出する（図 5のステップ S72と同じ処理)。

[0220] 次に動画処理部 55は、ステップ S235において、静止画対応動画 Mcを生成する。

このとき動画処理部 55は、静止画録画中に記憶された音声データ (ステップ S232で開始されてからステップ S233で停止されるまでに記憶された音声データ）から、所定の音声データ（図 26の例の場合、ポスト動画 Mbb再生 1秒前からの音声データ）を抽出する。

[0221] ステップ S236において、動画処理部 55は、ポスト動画 Mbbとしての動画およびそれに対応する音声を抽出する（図 5のステップ S74と同じ処理)。

[0222] 次に動画処理部 55は、ステップ S237において、プレ動画 Maa、ステップ S73で生成された静止画対応動画 Mc、およびステップ S74で生成されたポスト動画 Mbbが時系列順に配置された、 1つの動画を生成するとともに、プレ動画 Maaとポスト動画 Mb bに対応する音声データおよびステップ S235で抽出した音声データを多重化して、付随動画を生成し、ファイル管理部 57に供給する。

[0223] ファイル管理部 57は、動画処理部 55から付随動画が供給されると、ステップ S243 において、それを記録媒体 15に記録する（図 5のステップ S83と同じ処理)。

[0224] 付随動画の記録が完了するとファイル管理部 57は、その旨を、動画処理部 55およびカメラ制御部 52を介して中央制御部 62に通知する（図 5のステップ S84と同じ処理

) o [0225] なお、図 26の例では、静止画録画中に記録された音声データから、所定の音声データを抽出したが、静止画録画中に記録された音声データを全て用いても良、。

[0226] 一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体力インストールされる。

[0227] この記録媒体 15は、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク (フロッピディスクを含む）、光ディスク（CD— ROM (Compact Disk-Read Only Memory) , DVD (Digital Versatile Disk) を含む）、光磁気ディスク (MD (Mini-Disk) (商標）を含む）、もしくは半導体メモリなどよりなるパッケージメディアにより構成されるだけでなぐ装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されている ROM12や、ハードディスクなどで構成される。

[0228] また、本明細書にぉ、て、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

[0229] なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなぐ本発明の要旨を逸脱しな、範囲にぉ、て種々の変更が可能である。

Claims

請求の範囲

[1] 動画付き静止画撮影モードの設定を行う設定手段と、

前記動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、

前記動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、前記静止画撮影手段による撮影の結果得られた静止画、および前記動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成する生成手段と、

前記静止画撮影手段による撮影の結果得られた前記静止画、および前記生成手段により生成された前記付随動画を記録する記録手段と

を備えることを特徴とする記録装置。

[2] 前記生成手段は、前記静止画撮影手段による撮影の結果得られた静止画を動画に変換して得た第 1の動画、前記静止画撮影手段による静止画撮影前に前記動画撮影手段により撮影された第 2の動画、および前記静止画撮影手段による静止画撮影後に前記動画撮影手段により撮影された第 3の動画に基づいて、前記付随動画を生成する

ことを特徴とする請求項 1に記載の記録装置。

[3] 前記生成手段は、前記静止画撮影手段による撮影の結果得られた静止画を動画に変換して得た第 1の動画、および前記静止画撮影手段による静止画撮影前に前記動画撮影手段により撮影された第 2の動画に基づいて、前記付随動画を生成することを特徴とする請求項 1に記載の記録装置。

[4] 前記生成手段は、前記静止画撮影手段による撮影の結果得られた静止画を動画に変換して得た第 1の動画、および前記静止画撮影手段による静止画撮影後に前記動画撮影手段により撮影された第 3の動画に基づいて、前記付随動画を生成することを特徴とする請求項 1に記載の記録装置。

[5] 前記動画撮影手段は、前記動画付き静止画撮影モードが設定された時、動画の撮影を開始する

ことを特徴とする請求項 1に記載の記録装置。

[6] 前記動画撮影手段は、前記記録装置の電源がオンされた時、動画の撮影を開始する

ことを特徴とする請求項 1に記載の記録装置。

[7] 前記動画撮影手段は、記録媒体が挿入された時、動画の撮影を開始する

ことを特徴とする請求項 1に記載の記録装置。

[8] 前記生成手段は、前記静止画撮影手段による撮影の結果得られた静止画が変換されて得られた前記第 1の動画にエフェクト効果を付加する

ことを特徴とする請求項 2に記載の記録装置。

[9] 前記生成手段は、前記静止画撮影手段による撮影の結果得られた静止画が変換されて得られた前記第 1の動画のフレームの前若しくは後、または前後にダミーフレームを設けることを特徴とする請求項 8に記載の記録装置。

[10] 前記生成手段は、前記静止画撮影手段による撮影の結果得られた静止画が変換されて得られた前記第 1の動画が再生されるタイミングに対応して出力されるシャツタ音を、前記第 1の動画に挿入する

ことを特徴とする請求項 8に記載の記録装置。

[11] 前記動画撮影手段による動画の撮影中の音声の音声データを取得する第 1の音声取得手段と、

前記静止画撮影手段による静止画の撮影中の音声の音声データを取得する第 2 の音声手段と

さらに備え、

前記生成手段は、前記付随動画を生成するのに利用する前記動画に対応する前記第 1の音声取得手段により取得された音声、および前記付随動画を生成するのに利用する前記静止画に対応する前記第 2の音声取得手段により取得された前記音声データの全部または一部を多重化して、前記付随動画を生成する、

ことを特徴とする制球項 1に記載の記録装置。

[12] 前記生成手段は、再生側の動画のフレームレートが固定である場合、そのフレームレートが維持できる数のダミーフレームを、前記静止画撮影手段による撮影の結果得られた静止画が変換されて得られた前記第 1の動画のフレームの前若しくは後、または前後に設ける

ことを特徴とする請求項 9に記載の記録装置。

[13] 前記生成手段は、再生側の動画のフレームレートが可変である場合、任意の数のダミーフレームを、前記静止画撮影手段による撮影の結果得られた静止画が変換されて得られた前記第 1の動画のフレームの前若しくは後、または前後に設けることを特徴とする請求項 9に記載の記録装置。

[14] 前記生成手段は、前記動画撮影手段により撮影された動画の中から所定の動画を抽出し、抽出した動画と、前記静止画撮影手段による撮影の結果得られた静止画が変換されて得られた動画から、前記付随動画を生成する

ことを特徴とする請求項 1に記載の記録装置。

[15] 前記動画撮影手段により撮影された動画が、フレーム間圧縮を用いて構成されている場合、前記生成手段は、フレーム内圧縮のみを用いたフレーム、またはフレーム間圧縮の元となるフレームを先頭とする動画を抽出する

ことを特徴とする請求項 14に記載の記録装置。

[16] 前記記録手段は、前記静止画撮影手段による撮影の結果得られた静止画と、前記生成手段により生成された付随動画を、同じファイル名で記録する

ことを特徴とする請求項 1に記載の記録装置。

[17] 前記記録手段による記録中に、記録されている画像に応じた UI画像を表示する表示制御手段

をさらに備えることを特徴とする請求項 1に記載の記録装置。

[18] 動画付き静止画撮影モードの設定を行う設定ステップと、

前記動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影ステップと、

前記動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影ステップと、

前記静止画撮影ステップの処理での撮影の結果得られた静止画、および前記動画撮影ステップの処理での撮影の結果得られた動画に基づ、て、 1つの付随動画を生成する生成ステップと、前記静止画撮影ステップの処理での撮影の結果得られた前記静止画、および前記生成ステップの処理で生成された前記付随動画を記録する記録ステップと

を含むことを特徴とする記録方法。

[19] 画像を記録する記録装置を制御するプロセッサに実行させるプログラムであって、動画付き静止画撮影モードの設定を行う設定ステップと、

前記静止画撮影ステップの処理での撮影の結果得られた静止画、および前記動画撮影ステップの処理での撮影の結果得られた動画に基づ、て、 1つの付随動画を生成する生成ステップと、

前記静止画撮影ステップの処理での撮影の結果得られた前記静止画、および前記生成ステップの処理で生成された前記付随動画を記録する記録ステップと

を含むことを特徴とするプログラム。

[20] 動画付き静止画撮影モードの設定を行う設定手段と、

前記動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、前記静止画撮影手段による撮影の結果得られた静止画、前記静止画撮影手段による静止画撮影前に前記動画撮影手段により撮影された動画、および前記静止画撮影手段による静止画撮影後に前記動画撮影手段により撮影された動画を、異なるファイルとして記録する記録手段と

を備えることを特徴とする記録装置。

[21] 動画付き静止画撮影モードの設定を行う設定ステップと、

前記静止画撮影ステップの処理での撮影の結果得られた静止画、前記静止画撮影ステップの処理での静止画撮影前に前記動画撮影ステップの処理で撮影された動画、および前記静止画撮影ステップの処理での静止画撮影後に前記動画撮影ステツプの処理で撮影された動画を、異なるファイルとして記録する記録ステップとを含むことを特徴とする記録方法。

[22] 画像を記録する記録装置を制御するプロセッサに実行させるプログラムであって、動画付き静止画撮影モードの設定を行う設定ステップと、

前記静止画撮影ステップの処理での撮影の結果得られた静止画、前記静止画撮影ステップの処理での静止画撮影前に前記動画撮影ステップの処理で撮影された動画、および前記静止画撮影ステップの処理での静止画撮影後に前記動画撮影ステツプの処理で撮影された動画を、異なるファイルとして記録する記録ステップとを含むことを特徴とするプログラム。

[23] 動画付き静止画撮影モードの設定を行う設定手段と、

前記静止画撮影手段による撮影の結果得られた静止画、および前記生成手段により生成された前記付随動画を記録する記録手段と

を備えることを特徴とする記録装置によって記録された画像を再生する再生装置において、前記動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、前記記録装置の前記記録手段に記録された前記静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生手段と、

前記動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、前記記録装置の記録手段に記録された前記生成手段により生成された付随動画を再生する第 2の再生手段と

を備えることを特徴とする再生装置。

[24] 前記記録装置の前記記録手段により、前記静止画撮影手段による撮影の結果得られた前記静止画と、前記生成手段により生成された前記付随動画とが、同じファイル名で記録されている場合、前記第 2の再生手段は、前記第 1の再生手段により再生された前記静止画と同じファイル名の動画を再生する

ことを特徴とする請求項 23に記載の再生装置。

[25] 前記動画付き静止画撮影設定モードで記録された画像のサムネイル画像を表示する表示制御手段をさらに備え、

前記表示制御手段は、前記サムネイル画像に、前記動画付き撮影設定モードで撮影されたことを示す表示を付加する

ことを特徴とする請求項 24に記載の再生装置。

[26] 動画付き静止画撮影モードの設定を行う設定手段と、

を備えることを特徴とする記録装置によって記録された画像を再生する再生方法において、前記動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、前記記録装置の前記記録手段に記録された前記静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生ステップと、

前記動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、前記記録装置の記録手段に記録された前記生成手段により生成された付随動画を再生する第 2の再生ステップと

を含むことを特徴とする再生方法。

[27] 動画付き静止画撮影モードの設定を行う設定手段と、

を備えることを特徴とする記録装置によって記録された画像を再生する再生装置を制御するプロセッサに実行させるプログラムであって、

前記動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、前記記録装置の前記記録手段に記録された前記静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生ステップと、

を含むことを特徴とするプログラム。

[28] 動画付き静止画撮影モードの設定を行う設定手段と、

前記動画付き静止画撮影モードの設定中に、静止画撮影要求があつたとき、静止画の撮影を行う静止画撮影手段と、前記動画付き静止画撮影モードの設定中に、動画の撮影を行う動画撮影手段と、前記静止画撮影手段による撮影の結果得られた静止画、前記静止画撮影手段による静止画撮影前に前記動画撮影手段により撮影された動画、および前記静止画撮影手段による静止画撮影後に前記動画撮影手段により撮影された動画を、異なるファイルとして記録する記録手段と

を備えることを特徴とする記録装置によって記録された画像を再生する再生装置において、

前記動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、前記記録装置の前記記録手段に記録された前記静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生手段と、

前記動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、前記静止画撮影手段による撮影の結果得られた静止画、前記動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成するとともに、前記付随動画を再生する第 2の再生手段と

を備えることを特徴とする再生装置。

動画付き静止画撮影モードの設定を行う設定手段と、

を備えることを特徴とする記録装置によって記録された画像を再生する再生方法において、

前記動画付き静止画撮影モードで撮影された静止画の再生が要求されたとき、前記記録装置の前記記録手段に記録された前記静止画撮影手段による撮影の結果得られた静止画を再生する第 1の再生ステップと、前記動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、前記静止画撮影手段による撮影の結果得られた静止画、前記動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成するとともに、前記付随動画を再生する第 2の再生ステップと

を含むことを特徴とする再生方法。

動画付き静止画撮影モードの設定を行う設定手段と、

を備えることを特徴とする記録装置によって記録された画像を再生する再生装置を制御するプロセッサに実行させるプログラムにおいて、

前記動画付き静止画撮影モードで撮影された動画の再生が要求されたとき、前記静止画撮影手段による撮影の結果得られた静止画、前記動画撮影手段による撮影の結果得られた動画に基づいて、 1つの付随動画を生成するとともに、前記付随動画を再生する第 2の再生ステップと

を含むことを特徴とするプログラム。