JP5383073B2 - 編集装置および編集方法 - Google Patents

Description

本発明は、静止画と動画の両方を扱う編集装置および編集方法に関する。

近年、デジタルカメラの高機能化に伴い、デジタルカメラで静止画だけでなく動画も記録できるようになってきた。さらに、動画を記録している最中でも、静止画撮影ボタンを押した場合、動画の記録を止めることなく静止画を記録することができるデジタルカメラも登場してきている。このような動画撮影中の静止画撮影を同時撮影という。

従来、同時撮影の際の処理として、特許文献１に記載のデジタルカメラによる処理が知られている。このデジタルカメラは、動画撮影中に静止画撮影が行われると、得られた静止画像データと動画像データを相互に関連付けて記録する。また、そのデジタルカメラにより記録された動画像データと静止画像データの再生を簡単に行うことができる。
特開２００４−３１２２１８号公報

しかしながら、上記特許文献１では、静止画像データと動画像データは別のデータ構造であった。静止画撮影では、撮影ボタンを押した時点の画像データだけを記録する構成となっていた。そのため、同時撮影ではない、つまり動画と関連付けられていない静止画像データの再生の場合、同時撮影時のように、動画であることを利用した再生効果を付けることはできず、簡単な再生効果しか付けられないという問題があった。

そこで、本発明は、複数のフレームデータを活用した消去処理を行うことができる編集装置を提供することを目的とする。

上記目的を達成するために、本発明の編集装置は、画像を取得する取得手段と、動画撮影の指示に応じて、前記取得手段により得られた複数の画像をフレームとする動画データを生成する生成手段と、前記生成手段により得られた動画データを記録媒体に記録する記録手段と、記録媒体に記録された動画データの消去を指示する指示手段と、記録媒体に記録された動画データの編集をする編集手段とを有し、前記記録手段は、動画データを生成しているときに静止画撮影の指示を受信すると、前記静止画撮影の指示に対応するフレームを示す静止画フラグを記録媒体に記録し、前記編集手段は、前記動画データの消去が指示された場合、消去対象の動画データに関連付けられた前記静止画フラグの状態に応じて、消去対象の動画データの一部のフレームに前記静止画フラグが関連付けられ、それ以外のフレームには前記静止画フラグが関連付けられていない場合は、前記静止画フラグが関連付けられたフレームを抽出して別画像データとして記録媒体に記録し、前記消去対象の動画データを消去し、消去対象の動画データのすべてのフレームに前記静止画フラグが関連付けられている場合は、前記静止画フラグが関連付けられたフレームを抽出せずに、前記消去対象の動画データを消去することを特徴とする。

複数のフレームデータを活用した消去処理を行うことができる。

本発明の実施の形態について図面を参照しながら説明する。本実施形態では、本発明が、画像データの記録、再生および消去可能なデジタルカメラに適用された場合を示す。

また、本実施形態のデジタルカメラでは、撮影モードと再生モードが設定可能である。撮影モードでは、動画撮影と静止画撮影を行うことができる。さらに、動画撮影中にも静止画の同時撮影を行うことができる。

また、本実施形態のデジタルカメラで記録される画像データは、画像サイズ１９２０ｘ１０８０ピクセルの各フレームデータを、ハフマン符号を用いて可逆圧縮し、連続して記録されたデータ構造を有する。また、本実施形態の画像データは、フレーム間圧縮が行われず、フレームレート６０ｆｐｓで記録される。なお、ハフマン符号以外の圧縮方式を用いて圧縮された画像データに対しても、本発明は適用可能である。また、圧縮しないＲＡＷ画像データを用いた場合、ＭｏｔｉｏｎＪＰＥＧのように不可逆な圧縮形式を用いた場合、さらにはＭＰＥＧのようにフレーム間圧縮する圧縮形式を用いた場合でも、本発明は適用可能である。

（デジタルカメラの概要説明）
図１は実施の形態におけるデジタルカメラ１の背面側から視たユーザインタフェースの構成を示す図である。このデジタルカメラ１のユーザインタフェースは、液晶ディスプレイ（ＬＣＤ）モニタ２１、静止画撮影ボタン２２、動画撮影ボタン２３、モード切替スイッチ２４、操作ボタン２５、ｓｅｔボタン２７およびｍｅｎｕボタン２６から構成される。

液晶ディスプレイ（ＬＣＤ）モニタ２１は撮影画像や再生画像などを表示する。静止画撮影ボタン２２（静止画撮影指示手段）を押下すると、静止画撮影が行える。動画撮影ボタン２３（動画撮影指示手段）を押下すると、動画撮影が行える。モード切替スイッチ２４は、再生モード、撮影モードおよび電源ＯＦＦ状態のいずれかに切り替える。

操作ボタン２５は、デジタルカメラ１の操作を行うために使用される。操作ボタン２５は上下左右の４つのボタンで構成されている。この操作ボタン２５、ｓｅｔボタン２７およびｍｅｎｕボタン２６の３つを使って、デジタルカメラ１の撮影／再生操作やデジタルカメラの設定を行うことができる。

モード切替スイッチ２４は、左側に設定されると再生モード、右側に設定されると撮影モード、中央に設定されると電源ＯＦＦの状態に切り替えることができる。本実施形態では、撮影モード時の動作、再生モード時の動作を順番に説明する。

図２はデジタルカメラ１の電気的構成を示すブロック図である。図１において、撮像部１０は被写体の光学像を電気信号に変換する。撮像部１０は、撮影レンズ、シャッタ・絞りおよびＣＣＤで構成されており、オートフォーカス機能を有する。撮像部１０で変換された電気信号はＡ／Ｄ変換器３０に送られる。また、撮像部１０の動作に関する情報はシステムコントローラ７０に送られる。

マイク２０は音声を電気信号に変換する。アナログ−デジタル（Ａ／Ｄ）変換器３０は、撮像部１０からの電気信号をデジタル画像データに変換し、エンコーダ４０に送信する。また、撮影モードの場合、Ａ／Ｄ変換器３０はＬＣＤ（モニタ）２１に表示するためにＤ／Ａ変換器１２０に送信する。

エンコーダ４０はデジタル画像データ（フレームデータ）を圧縮符号化する機能を有する。本実施形態では、前述したように、ハフマン符号でフレームデータは可逆圧縮される。なお、前述したように、ハフマン符号以外の圧縮方式を用いても、本発明は同様に適用される。エンコーダ４０は、システムコントローラ７０からの指示に従って、圧縮したフレームデータをシステムコントローラ７０やデータアクセス制御部５０に送る。

データアクセス制御部５０はメモリカード６０とデータのやり取りを行う。また、データアクセス制御部５０は、システムコントローラ７０からの指示に従い、画像データの記録や読み込みを行う。メモリカード６０は取り外し可能な外部記録媒体である。メモリカード６０は画像データなどのデジタルデータをファイルとして記録する。

システムコントローラ７０は、本装置の全般的な動作制御や信号処理を行うものであり、マイクロコンピュータを有する。デジタルカメラ全体の処理を実現するために必要な制御プログラムはシステムコントローラ７０の内部メモリ８０に記録されている。なお、図２においては、分かり易くするために、内部メモリ８０はシステムコントローラ７０の外側に示されているが、実際にはシステムコントローラ７０の内部に設けられている。

内部メモリ８０は、制御プログラムが格納されている読み出し専用メモリと、本装置が一時的な記憶メモリとして使用するための読み書き可能なメモリとからなる。

デジタルカメラ１の操作部９０は、前述した図１の静止画撮影ボタン２２、動画撮影ボタン２３、モード切替スイッチ２４、操作ボタン２５、ｓｅｔボタン２７およびｍｅｎｕボタン２６を有する。操作部９０の操作情報は、システムコントローラ７０に送られ、システムコントローラ７０で管理される。

デコーダ１００は圧縮符号化されたデジタルデータを復号化する機能を有する。デジタル−アナログ（Ｄ／Ａ）変換器１２０は、表示部であるＬＣＤ（モニタ）２１に表示するために、デジタル画像データをアナログ信号に変換する。スピーカ１４０は音を出力する。

（撮影モードの動作の説明）
デジタルカメラ１の動作について説明する。本実施形態のデジタルカメラ１には、メモリカード６０に画像データを記録する撮影モードと、メモリカード６０に記録されている画像データを再生する再生モードとの２つのモードがある。

まず、モード切替スイッチ２４を右側（図１参照）に設定した場合の撮影モード時の動作を示す。図３は撮影モード時の動作を示すフローチャートである。このフローチャートの処理を実現する制御プログラム（記録プログラム）は、システムコントローラ７０の内部メモリ８０に記録されており、システムコントローラ７０内のＣＰＵ（図示せず）によって実行される。なお、本実施形態では、この制御プログラムは、システムコントローラ７０に記録されているが、メモリカード６０などの外部記録媒体に記録され、システムコントローラ７０にロードされて実行されるようにしてもよい。また同様に、ネットワーク上にプログラムが存在する場合でも、本発明は同様に適用される。

まず、システムコントローラ７０は、１秒分のフレームデータを内部メモリ８０に保持する処理を行う（ステップＳ１）。このステップ処理では、システムコントローラ７０は、エンコーダ４０から圧縮フレームデータを受け取り、１秒分（６０フレーム分）のフレームデータを内部メモリ８０に保持しておく。本実施形態では、デジタルカメラ１は、動画撮影ボタン２３または静止画撮影ボタン２２が押された時よりも１秒前のデータから、画像データを記録する。このため、このステップでは、１秒分の画像データを内部メモリに保持するように、処理が行われる。この１秒分のフレームデータを保持する処理の詳細については後述する。

システムコントローラ７０は、動画撮影ボタン２３が押されたか否かを判別する（ステップＳ２）。動画撮影ボタン２３が押された場合、システムコントローラ７０は、動画撮影モード時の１フレーム分の画像データの記録処理を行う（ステップＳ３）。このステップ処理では、システムコントローラ７０は、動画像データの記録処理を１フレームずつ行い、この１フレームの記録処理を繰り返すことで、連続したフレームデータの記録を行う。なお、ステップＳ３の動画像データ記録処理の詳細については後述する。

動画像データの記録処理中、システムコントローラ７０は、静止画撮影ボタン２２が押されたか否かを判別する（ステップＳ４）。静止画撮影ボタン２２が押された場合、システムコントローラ７０は、同時撮影の処理を行う（ステップＳ５）。このステップ処理では、静止画撮影ボタン２２が押された時間の前後の複数フレームに静止画フラグを付ける等の処理を行うが、この処理の詳細については後述する。ステップＳ５の処理後、システムコントローラ７０は、ステップＳ３の処理に戻り、１フレームごとの動画像データ記録処理を行う。

一方、ステップＳ４で静止画撮影ボタン２２が押されなかった場合、システムコントローラ７０は、動画像データ記録処理中、再度、動画撮影ボタン２３が押されたか否かを判別する（ステップＳ６）。ここで、動画像データの記録処理中に動画撮影ボタン２３を押す操作は、動画像データ記録の終了操作となる。ステップＳ６で動画撮影ボタン２３が押されなかった場合、システムコントローラ７０は、ステップＳ３の処理に戻り、１フレームごとの動画像データ記録処理を続ける。

一方、ステップＳ６で動画撮影ボタン２３が押された場合、システムコントローラ７０は、動画撮影モード時の記録処理を停止する（ステップＳ７）。このステップ処理では、１フレームごとに記録していた動画像データの記録処理を停止する処理が行われる。この後、システムコントローラ７０はステップＳ１０の処理に進む。

一方、ステップＳ２で動画撮影ボタン２３が押されず、画像データ記録を行っていない場合、システムコントローラ７０は、静止画撮影ボタン２２が押されたか否かを判別する（ステップＳ８）。静止画撮影ボタン２２が押されていない場合、システムコントローラ７０はステップＳ１０の処理に進む。一方、ステップＳ８で静止画撮影ボタン２２が押された場合（静止画撮影指示時）、システムコントローラ７０は、静止画撮影モード時の画像データの記録処理（静止画記録）を行う（ステップＳ９）。本実施形態では、静止画撮影モード時の記録処理では、複数フレーム分の画像データが記録される。ステップＳ９の画像データの記録処理の詳細については後述する。

そして、システムコントローラ７０は、ステップＳ１で内部メモリ８０に保持しておいたフレームデータの更新を行う（ステップＳ１０）。すなわち、システムコントローラ７０は、１秒より古いフレームデータを消去し、最新の１秒分のフレームデータを保持するように、処理を行う。このステップ処理によって、常に最新の１秒分のフレームデータを保持することができるようになる。

システムコントローラ７０は、モード切替スイッチ２４が切り替えられたか否かを判別する（ステップＳ１１）。モード切替スイッチ２４が切り替えられなかった場合、システムコントローラ７０は、撮影モードの処理を続けるために、ステップＳ２の処理に戻る。一方、モード切替スイッチ２４が再生モードまたは電源オフの状態に切り替えられた場合、システムコントローラ７０は本撮影モードの処理を終了する。

このように、ステップＳ２からステップＳ１１の処理を繰り返すことで、画像データの記録が行われる。

（１秒分のフレームデータ保持）
図４はステップＳ１における１秒分（６０フレーム分）のフレームデータを内部メモリ８０に保持する処理手順を示すフローチャートである。まず、システムコントローラ７０は、圧縮フレームデータを取得する（ステップＳ２１）。この処理では、撮像部１０からの画像データがエンコーダ４０によって圧縮され、システムコントローラ７０はその圧縮画像データ（圧縮フレームデータ）を受け取る。

システムコントローラ７０は時間情報を取得する（ステップＳ２２）。すなわち、システムコントローラ７０は、内部時計（タイマ）を用いて時間を計測し、その情報を取得する。

システムコントローラ７０はフレーム情報を作成する処理を行う（ステップＳ２３）。すなわち、システムコントローラ７０は、ステップＳ２１、Ｓ２２で取得した情報を元に、フレーム情報を作成する。

ここで、１フレーム分の画像データ（記録フレームデータと呼ぶ）の構造について説明する。図５は記録フレームデータの構造を示す図である。記録フレームデータはフレーム情報および圧縮フレームデータからなる。圧縮フレームデータは圧縮した画像データそのものである。一方、フレーム情報はその付加情報である。

本実施形態では、フレーム情報は、次のような情報を有する。フレーム情報のバイト数（２バイト）、圧縮フレームデータのバイト数（８バイト）、タイムコード（８バイト）、撮影日時（８バイト）、撮影モード（１バイト）、静止画フラグ（１バイト）、撮影動作情報（１バイト）および予約領域（３バイト）が情報である。なお、それぞれの情報の領域は、上記カッコ内に示されるデータサイズとなる。

ここで、「フレーム情報のバイト数」の値は固定であり、常に「３２」となる。また、「圧縮フレームデータのバイト数」はフレームデータごとに異なり、ステップＳ２１で取得した圧縮フレームデータのデータサイズに設定される。

「タイムコード」には、撮影開始時からの時間情報が１ｍｓ単位で記録される。ここでは、まだ撮影が開始していないので、「タイムコード」は値０に設定される。

「撮影日時」には、現在の日時情報が１ｍｓ単位で記録される。

「撮影モード」には、動画撮影モードか静止画撮影モードかを示す値が記録される（撮影モード記録）。動画撮影モードの場合、値１が記録される。静止画撮影モードの場合、値２が記録される。ここでは、まだ撮影が開始していないので、「撮影モード」は値０に設定される。

「静止画フラグ」は、記録するフレームデータが静止画であるか否かを指し示すフラグである。ここではまだ撮影が開始していないので、静止画フラグは値０に設定される。

「撮影動作情報」は、撮影時のカメラ動作に関する情報であり、記録される（撮影動作情報記録）。図６は撮影動作情報の構造を示す図である。本実施形態では、ビットごとに意味が決まっており、各フレームデータの動作に関するビットを立てることで、フラグが設定される。例えば、撮影ボタン半押しのフレームデータである場合、０番のビットが値１に設定される。ここではまだ撮影が開始していないため、全てのビットは値０に設定される。

「予約領域」は現在使用されていないが、将来のために予約されている領域である。本実施形態では、予約領域は全て０を設定される。

フレームデータに対してフレーム情報が作成されると、システムコントローラ７０は、ステップＳ２３で作成したフレーム情報と、ステップＳ２１で取得した圧縮フレームデータをもとに、記録フレームデータを作成する処理を行う（ステップＳ２４）。

図５に示したように、記録フレームデータは、フレーム情報の後に圧縮フレームデータが付加されたデータ構造を有する。システムコントローラ７０は、ステップＳ２４で作成した１フレーム分の記録フレームデータを、内部メモリ８０に保持する処理を行う（ステップＳ２５）。

システムコントローラ７０は、１秒分の記録フレームデータを内部メモリ８０に保持したか否かを判別する（ステップＳ２６）。１秒分の記録フレームデータを内部メモリ８０に保持した場合、システムコントローラ７０は本処理を終了し、元の処理に復帰する。一方、まだ１秒分の記録フレームデータを保持できていない場合、システムコントローラ７０は、ステップＳ２１の処理に戻り、１秒分の記録フレームデータが蓄えられるまで、本処理を繰り返す。

このように、システムコントローラ７０はステップＳ２１からステップＳ２６までを繰り返し処理することで、撮影の開始前に１秒（一定時間）分の記録フレームデータを内部メモリ８０に蓄えることができる。なお、一定時間としては、１秒に限らず、適当な任意時間でよい。また、撮影の開始前に蓄えられる記録フレームデータは、一定時間分でなく、一定フレーム数分であってもよい。

（動画撮影モードの画像データ記録）
図７はステップＳ３における動画撮影モード時の画像データ記録手順を示すフローチャートである。この処理では、１フレーム分の画像データが記録される。

まず、システムコントローラ７０は、記録する動画像データファイルを、既に作成済みか否かを判別する（ステップＳ３１）。

ここで、動画像データ記録時に、最初のフレームデータを記録する場合、まだ動画像データファイルを作成していない状態となる。一方、２フレーム目以降のフレームデータを記録する場合、既に動画像データファイルを作成した後にフレームデータを追加する処理となる。

ステップＳ３１でまだ動画像データファイルを作成していない場合、システムコントローラ７０は、内部メモリ８０に保持されている１秒分の記録フレームデータをメモリカード６０に画像データファイルとして記録する処理を行う（ステップＳ３２）。このとき、撮影モードは動画撮影モードであるので、システムコントローラ７０は、各記録フレームデータの撮影モードを全て動画撮影モード（＝値１）に変更しながら記録する。

図８は画像データの構造を示す図である。図８において、１つ１つの四角形が記録フレームデータであるとする。その記録フレームデータが連続して繋がったデータが画像データである。ここでは、１秒分の記録フレームデータ、つまり６０個の記録フレームデータが繋がったものを、画像データファイルとして記録する。

一方、ステップＳ３１で動画像データファイルを既に作成済みである場合、システムコントローラ７０はそのままステップＳ３３の処理に進む。

システムコントローラ７０は、圧縮フレームデータを取得する（ステップＳ３３）。この処理では、撮像部１０からの画像データはエンコーダ４０によって圧縮され、システムコントローラ７０はその圧縮画像データを受け取る。

システムコントローラ７０は、撮像部１０および操作部９０から撮影動作情報を取得する（ステップＳ３４）。例えば、動画撮影開始の直後、撮影動作情報として「撮影ボタン全押し」の情報が取得される。

システムコントローラ７０は、撮影モードを取得する（ステップＳ３５）。ここでは、動画撮影ボタン２３が押されたときの記録処理であるので、動画撮影モードが取得される。

システムコントローラ７０は、時間情報の取得を行う（ステップＳ３６）。すなわち、システムコントローラ７０は、内部時計を用いて時間を計測し、その情報を取得する。

システムコントローラ７０は、フレーム情報を作成する処理を行う（ステップＳ３７）。すなわち、システムコントローラ７０は、ステップＳ３３からステップＳ３６までの処理で取得した情報を元に、フレーム情報を作成する。

ここで、作成されるフレーム情報の「タイムコード」には撮影開始時からの時間情報が１ｍｓ単位で記録される。「撮影日時」には現在の日時情報が１ｍｓ単位で記録される。また、ここでは動画撮影モードとなるので、「撮影モード」には、値１が設定される。「静止画フラグ」は、記録するフレームデータが静止画であるか否かを指し示すフラグである。ここでは単純な動画像データの記録であるので、静止画フラグは値０に設定される。「撮影動作情報」は撮影時のカメラ動作に関するフラグである。ここでは単純な動画像データの記録であるので、記録開始時、最初のフレーム情報にだけ、「撮影ボタン全押し」のビットが値１に設定される。「予約領域」は全て値０に設定される。

システムコントローラ７０は、ステップＳ３７で作成したフレーム情報、およびステップＳ３３で取得した圧縮フレームデータをもとに、記録フレームデータを作成する処理を行う（ステップＳ３８）。作成される記録フレームデータは、図５で既に説明したように、フレーム情報の後に圧縮フレームデータが付加されたデータ構造を有する。

システムコントローラ７０は、記録対象となっている画像データファイルの末尾に、ステップＳ３８で作成した記録フレームデータを追加する処理を行う（ステップＳ３９）。

このように、システムコントローラ７０はステップＳ３２からステップＳ３９までの処理を行うことで、１フレーム分の画像データの保存が行われる。この処理を繰り返し行うことで、図８に示すように、フレームデータの連続した画像データが保存される。さらに、動画像データ記録の際、最初に必ず１秒分のフレームデータが保存される。

（静止画撮影モードの画像データ記録）
図９はステップＳ９における静止画撮影モード時の画像データ記録手順を示すフローチャートである。この処理では、２秒分のデータ、つまり１２０フレーム分の画像データが記録される。

システムコントローラ７０は、内部メモリ８０に保持されている１秒分の記録フレームデータをメモリカード６０に画像データファイルとして記録する処理を行う（ステップＳ４１）。このとき、撮影モードは静止画撮影モードとなるので、システムコントローラ７０は、各記録フレームデータの撮影モードを全て静止画撮影モード（＝値２）に変更しながら記録する。

システムコントローラ７０は圧縮フレームデータを取得する（ステップＳ４２）。撮像部１０からの画像データはエンコーダ４０によって圧縮され、システムコントローラ７０はその圧縮画像データを受け取る。

システムコントローラ７０は、撮像部１０および操作部９０から撮影動作情報を取得する（ステップＳ４３）。静止画撮影の場合、状況に応じて、撮影動作情報として「撮影ボタン半押し」、「撮影ボタン全押し」、「ＡＦ合焦」、「ストロボ発光」および「撮影ポイント」の情報が取得される。

システムコントローラ７０は撮影モードを取得する（ステップＳ４４）。ここでは、静止画撮影ボタン２２が押されたときの記録処理のため、静止画撮影モードが取得される。

システムコントローラ７０は、時間情報の取得を行う（ステップＳ４５）。すなわち、システムコントローラ７０は、内部時計を用いて時間を計測し、その情報を取得する。

システムコントローラ７０は、フレーム情報を作成する処理を行う（ステップＳ４６）。すなわち、システムコントローラ７０は、ステップＳ４３からステップＳ４５で取得した情報を元に、フレーム情報を作成する。

ここで、作成されるフレーム情報の「タイムコード」には、撮影開始時からの時間情報が１ｍｓ単位で記録される。「撮影日時」には、現在の日時情報が１ｍｓ単位で記録される。また、ここでは静止画撮影モードとなるので、「撮影モード」には値２が設定される。「静止画フラグ」は、記録するフレームデータが静止画であるか否かを指し示すフラグである。ここでは、静止画像データの記録のため、静止画フラグには値１が設定される。「撮影動作情報」は撮影時のカメラ動作に関するフラグである。ここでは、静止画像データの記録のため、動画像データ記録の場合と比べると、いろいろな動作情報がセットされる。状況に応じて、ステップＳ４３で取得した撮影動作情報に対応する各ビットが値１に設定される。「予約領域」には全て値０が設定される。

システムコントローラ７０は、ステップＳ４６で作成したフレーム情報と、ステップＳ４２で取得した圧縮フレームデータをもとに、記録フレームデータを作成する処理を行う（ステップＳ４７）。図５で既に説明したように、記録フレームデータは、フレーム情報の後に圧縮フレームデータが付加されたデータ構造を有する。

システムコントローラ７０は、記録対象となっている画像データファイルの末尾に、ステップＳ４７で作成した記録フレームデータを追加する処理を行う（ステップＳ４８）。

システムコントローラ７０は、画像データに２秒分のフレームデータを記録したか否かを判別する（ステップＳ４９）。まだ２秒分記録していない場合、システムコントローラ７０はステップＳ４２に戻り、処理を続ける。一方、２秒分記録した場合、システムコントローラ７０は静止画像データ記録の処理を終了し、元の処理に復帰する。

このように、システムコントローラ７０がステップＳ４１からステップＳ４９の処理を行うことで、撮影ボタンを押される１秒前のフレームデータから２秒分のフレームデータの記録が行われる。ここで記録される画像データの構造は、図８に示した画像データの構造と同様である。さらに、静止画撮影時の撮影動作情報も、対応するフレームデータとともに記録される。

図１０は静止画像データの構造を示す図である。図８と同様に、１つ１つの四角形が記録フレームデータであるとする。図１０では、途中のフレームデータの記述を省略しているが、静止画像データは、全体として２秒分のフレームデータ、つまり１２０フレーム分のデータ構造を有する。

また図１０では、各フレームデータに静止画フラグと撮影動作情報がどのように関連付けられているか分かるように、静止画フラグが値１のフレームに下向きの矢印が記述され、撮影動作情報が値０ではないフレームに上向きの矢印が記述される。特に、撮影動作情報に関し、どの動作に関連するか分かるように、上向き矢印と一緒に撮影動作も記述される。

このように、静止画撮影モードで記録した画像データには、全てのフレームに静止画フラグが値１の状態で記録されている。また撮影動作が行われた時のフレームに対応し、撮影動作情報のビットが立った状態で記録されている。図１０では、「撮影ボタン半押し」、「ＡＦ合焦」、「撮影ボタン全押し」、「ストロボ発光」、「撮影ポイント」の順で撮影動作が行われたことが、対応する各フレームに記録されている。

（同時撮影の画像データ記録）
図１１はステップＳ５における同時撮影時の画像データ記録手順を示すフローチャートである。この処理では、２秒分のデータ、つまり１２０フレーム分の画像データが記録される。

システムコントローラ７０は、既にメモリカード６０に記録されている画像データ中、最新の１秒分のフレームデータを変更する処理を行う（ステップＳ５１）。具体的に、画像データ内の１秒分のフレームデータの静止画フラグを全て値１に変更する処理が行われる。なお、撮影モードは変更されず、動画撮影モードのままとなる。

システムコントローラ７０は圧縮フレームデータを取得する（ステップＳ５２）。撮像部１０からの画像データはエンコーダ４０によって圧縮され、システムコントローラ７０はその圧縮画像データを受け取る。

システムコントローラ７０は、撮像部１０および操作部９０から、撮影動作情報を取得する（ステップＳ５３）。同時撮影の場合、状況に応じて、撮影動作情報として「撮影ボタン半押し」、「撮影ボタン全押し」、「ＡＦ合焦」、「ストロボ発光」および「撮影ポイント」の情報が取得される。なお、それ以外の情報が取得される構成でもよいことは勿論である。

システムコントローラ７０は撮影モードを取得する（ステップＳ５４）。同時撮影処理は基本的に動画撮影中の動作となるので、動画撮影モードが取得される。

システムコントローラ７０は時間情報の取得を行う（ステップＳ５５）。すなわち、システムコントローラ７０は、内部時計を用いて時間を計測し、その情報を取得する。

システムコントローラ７０はフレーム情報を作成する処理を行う（ステップＳ５６）。すなわち、システムコントローラ７０は、ステップＳ５３からステップＳ５５で取得した情報を元に、フレーム情報を作成する（ステップＳ５７）。

作成されるフレーム情報の「タイムコード」には、撮影開始時からの時間情報が１ｍｓ単位で記録される。「撮影日時」には、現在の日時情報が１ｍｓ単位で記録される。「撮影モード」には、同時撮影中、動画撮影モードとなるので、値１が設定される。「静止画フラグ」は、記録するフレームデータが静止画であるか否かを指し示すフラグである。ここでは、同時撮影のため、静止画フラグには値１が設定される。「撮影動作情報」は撮影時のカメラ動作に関するフラグである。ここでは、同時撮影時の状況に応じて、ステップＳ５３で取得した情報に対応する各ビットが値１に設定される。「予約領域」には全て値０が設定される。

システムコントローラ７０は、ステップＳ５６で作成したフレーム情報と、ステップＳ５２で取得した圧縮フレームデータをもとに、記録フレームデータを作成する処理を行う（ステップＳ５７）。図５で既に説明したように、記録フレームデータはフレーム情報の後に圧縮フレームデータが付加されたデータ構造を有する。

システムコントローラ７０は、記録対象となっている画像データファイルの末尾に、ステップＳ５７で作成した１フレーム分の記録フレームデータを追加する処理を行う（ステップＳ５８）。

システムコントローラ７０は画像データに２秒分の静止画フラグを付加したか否かを判別する（ステップＳ５９）。まだ２秒分処理していない場合、システムコントローラ７０はステップＳ５２に戻り、処理を続ける。一方、２秒分記録した場合、システムコントローラ７０は、同時増撮影時の記録の処理を終了し、動画撮影時の処理に復帰する。

このように、システムコントローラ７０はステップＳ５１からステップＳ５９の処理を行うことで、動画記録中でも処理を滞らせることなく同時撮影が可能となる。その際、静止画像データを別ファイルとして作成するのではなく、記録中の動画像データに静止画フラグや撮影動作情報が設定される。特に、静止画フラグに関し、静止画撮影の場合と同様に、静止画撮影ボタン２２が押される１秒前のフレームデータから静止画フラグが設定される。

図１２は同時撮影時の画像データの構造を示す図である。図８、図１０と同様、１つ１つの四角形が記録フレームデータである。また図１２では、各フレームデータに静止画フラグと撮影動作情報がどのように関連付けられているか分かるように、静止画フラグが値１のフレームに下向きの矢印が記述され、撮影動作情報が値０ではないフレームに上向きの矢印が記述される。特に、撮影動作情報に関し、どの動作に関連するか分かるように、上向き矢印と一緒に撮影動作も記述される。

また図１２では、途中のフレームデータの記述を省略しているが、全体として２秒分のフレームデータに対し、静止画フラグが値１に設定されている。そのフレームは、分かりやすいよう濃い色（斜線）で記述されている。

このように、同時撮影で記録した画像データには、全体の画像データの一部に静止画フラグが値１の状態で記録されている。また、撮影動作が行われた時のフレームに対応し、撮影動作情報のビットが立った状態で記録されている。図１２では、「撮影ボタン半押し」、「ＡＦ合焦」、「撮影ボタン全押し」、「ストロボ発光」、「撮影ポイント」の順で、撮影動作が行われたことが、対応する各フレームに記録されている。

撮影モード時の動作では、動画撮影、静止画撮影、同時撮影の各モードにおいて、それぞれ適切な画像データを記録することができる。

（再生モードの動作の説明（再生処理））
つぎに、モード切替スイッチ２４を左側（図１参照）に設定した場合の再生モード時の動作を示す。図１３は再生モード時の動作手順を示すフローチャートである。この再生モード時に扱われる画像データは、デジタルカメラ１で撮影された画像データである。

このフローチャートの処理を実現する制御プログラム（再生プログラム、消去プログラムを含む）は、システムコントローラ７０の内部メモリ８０に記録されており、システムコントローラ７０内のＣＰＵ（図示せず）によって実行される。なお、本実施形態では、この制御プログラムは、システムコントローラ７０に記録されているが、メモリカード６０などの外部記録媒体に記録され、システムコントローラ７０にロードされて実行されるようにしてもよい。また同様に、ネットワーク上にプログラムが存在する場合でも、本発明は同様に適用される。

まず、システムコントローラ７０は、メモリカード６０に記録されている画像データの一覧表示を行う（ステップＳ６１）。この一覧表示では、ＬＣＤ（モニタ）２１に各画像データの縮小画像（サムネイル）が一覧表示される。

図１４はＬＣＤ（モニタ）２１の一覧表示を示す図である。ＬＣＤ（モニタ）２１の画面には、６個のサムネイル１４Ａ、１４Ｂ、１４Ｃ、１４Ｄ、１４Ｅ、１４Ｆが並べて一覧表示されている。それぞれのサムネイルの右上には、撮影日時順に表示番号が表示される。また、サムネイル１４Ａ、１４Ｄ、１４Ｅの左上には、サムネイルに対応した画像データが動画像データであることを示す「動画マーク」１４１が表示される。なお、このステップＳ６１の画像データ一覧表示処理の詳細については後述する。

システムコントローラ７０は、ステップＳ６１で一覧表示したサムネイルの中から、再生対象となるサムネイルの選択を行う（ステップＳ６２）。サムネイルの選択操作は、操作ボタン２５の左右ボタンを使用することで行われ、再生対象となる画像データに対応するサムネイルが選択される。サムネイルの選択状態は、サムネイル１４Ｂに示すように、サムネイルの周囲の色を変えて表示したり、枠を太く表示することで表される。操作ボタン２５の右ボタンを押すと、現在選択されている画像より表示番号の１つ大きい画像が選択される。左ボタンを押すと、現在選択されている画像より表示番号の１つ小さい画像が選択される。

システムコントローラ７０は、再生操作が行われたか否かを判別する（ステップＳ６３）。すなわち、操作ボタン２５の上ボタンが押されたか否かが判断される。操作ボタン２５の下ボタンが押された場合、つまり消去操作が選択された場合（消去指示）、システムコントローラ７０は、消去処理を行うために、消去処理を行う（ステップＳ６４）。なお、この消去処理の詳細については後述する。この後、システムコントローラ７０はステップＳ６１の処理に戻る。

一方、操作ボタン２５の上ボタンが押された場合、つまり、再生操作が選択された場合（再生指示）、ステップＳ６２で選択されたサムネイルに対応した画像データが、再生対象となる画像データとなる。システムコントローラ７０は、再生対象となる画像データの先頭フレームデータを取得し、そのフレームデータから撮影モードを取得する処理を行う（ステップＳ６５）。

システムコントローラ７０は、ステップＳ６５で取得した、再生対象となる画像データの撮影モードを判断し、それが動画撮影モードであるか否かを判別する（ステップＳ６６）。撮影モードが静止画撮影モードである場合、システムコントローラ７０は、静止画再生モード時の再生処理を行う（ステップＳ６７）。この静止画撮影モード時の再生処理の詳細については、後述する。

一方、ステップＳ６６で撮影モードが動画撮影モードである場合、システムコントローラ７０は、動画再生モード時の再生処理を行う（ステップＳ６８）。この動画撮影モード時の再生処理の詳細については、後述する。

システムコントローラ７０は、ステップＳ６７、Ｓ６８の処理後、モード切替スイッチ２４が切り替えられたか否かを判別する（ステップＳ６９）。モード切替スイッチ２４が切り替えられなかった場合、システムコントローラ７０は、再生モードの処理を続けるために、ステップＳ６１の処理に戻る。一方、モード切替スイッチ２４が撮影モードもしくは電源オフの状態に切り替えられた場合、システムコントローラ７０は再生モードの処理を終了する。

このように、システムコントローラ７０は、ステップＳ６１からステップＳ６９までの処理を繰り返し行うことで、画像データの再生を行う。

（画像データ一覧表示）
図１５はステップＳ６１における画像データの一覧表示手順を示すフローチャートである。システムコントローラ７０は、メモリカード６０に記録されている画像データファイルの一覧を取得する処理を行う（ステップＳ７１）。ここで、ステップＳ７１からステップＳ８０までの処理は、１つの画像データに対する処理である。ステップＳ７１で取得した画像データファイル一覧の数だけ処理を繰り返すことで、全ての画像データに対して処理が行われる。本実施形態では、画像データファイル一覧の中で、撮影日時の古い順から、対象画像データとして処理が行われる。

システムコントローラ７０は、ステップＳ７１で取得した画像データファイル一覧の中の１つの画像データを、対象として撮影モードを取得する処理を行う（ステップＳ７２）。撮影モードは、対象となる画像データの先頭のフレームデータから取得される。

システムコントローラ７０は、ステップＳ７２で取得した対象画像データの撮影モードが動画撮影モードであるか否かを判別する（ステップＳ７３）。撮影モードが静止画撮影モードである場合、システムコントローラ７０は、対象画像データのサムネイルを表示する処理を行う（ステップＳ７４）。この処理では、システムコントローラ７０は、対象画像データの先頭フレームの圧縮フレームデータを読み込み、そのデータをデコーダ１００に渡してデコード済みの画像データを取得する。そして、システムコントローラ７０は、そのデコード済みの画像データを縮小処理してからサムネイル表示を行う。また、システムコントローラ７０は、サムネイル表示の際、サムネイルの右上に表示番号を表示する。この後、システムコントローラ７０はステップＳ８１の処理に進む。

一方、ステップＳ７３で動画撮影モードである場合、システムコントローラ７０は、対象画像データのサムネイルを表示する処理を行う（ステップＳ７５）。この処理では、システムコントローラ７０は、対象画像データの先頭の圧縮フレームデータを読み込み、そのデータをデコーダ１００に渡してデコード済みの画像データを取得する。そして、システムコントローラ７０は、そのデコード済みの画像データを縮小処理してからサムネイル表示を行う。また、システムコントローラ７０は、サムネイル表示の際、サムネイルの右上に表示番号を表示し、左上に動画マークを表示する。

撮影モードが動画撮影モードである場合、画像データ内に同時撮影された箇所がある可能性がある。従って、システムコントローラ７０は、同時撮影された箇所があるか否かのチェックを、ステップＳ７６からステップＳ８０までの処理で繰り返し行う。１つの動画像データの撮影の際、何度も同時撮影している可能性を考慮し、システムコントローラ７０は、対象としている画像データの最後のフレームデータまで同時撮影のチェックを行う。すなわち、システムコントローラ７０は、１フレームごとのチェックを行い、この処理を繰り返すことで、最後のフレームまでチェックを行う。本実施形態では、画像データの先頭フレームから順番にチェックが行われる。

システムコントローラ７０は、対象となるフレームデータのフレーム情報から静止画フラグを取得する（ステップＳ７６）。システムコントローラ７０は、ステップＳ７６で取得した静止画フラグが値１であるか否かを判別する（ステップＳ７７）。

動画撮影モード内の静止画フラグが値１であるフレームは同時撮影したフレームであるので、別途サムネイルを表示する必要がある。従って、静止画フラグが値１である場合、システムコントローラ７０は、対象画像データのサムネイルを表示する処理を行う（ステップＳ７８）。

この処理では、システムコントローラ７０は、静止画フラグが値１であるフレームの圧縮フレームデータを読み込み、そのデータをデコーダ１００に渡してデコード済みの画像データを取得する。そして、システムコントローラ７０は、そのデコード済みの画像データを縮小処理してからサムネイル表示を行う。また、サムネイル表示の際、サムネイルの右上に表示番号を表示する。

システムコントローラ７０は、連続した静止画フラグをスキップする（ステップＳ７９）。静止画フラグは、１回の同時撮影で２秒分のフレームデータに連続して記録されているので、次の同時撮影のチェックを行うために、システムコントローラ７０は連続した静止画フラグのフレームをスキップする。

一方、ステップＳ７７で静止画フラグが値１でない場合、システムコントローラ７０はそのままステップＳ８０の処理に進む。

システムコントローラ７０は、対象としている画像データの最後のフレームまで同時撮影のチェックを行ったか否かを判別する（ステップＳ８０）。最後のフレームまで同時撮影のチェックを行っていない場合、ステップＳ７６に戻り、システムコントローラ７０は次のフレームデータに対して処理を続ける。

一方、ステップＳ８０で最後のフレームまで同時撮影のチェックを行った場合、システムコントローラ７０は、ステップＳ７６からステップＳ８０までの処理を繰り返すことで、対象としている画像データのフレームを順番に最後までチェックすることができる。

システムコントローラ７０は、全ての画像データのサムネイルを表示したか否かを判別する（ステップＳ８１）。全ての画像データのサムネイルを表示した場合、システムコントローラ７０は画像データ一覧表示の処理を終了する。

一方、全ての画像データのサムネイルを表示していない場合、ステップＳ７２の処理に戻り、システムコントローラ７０は次の画像データに対して処理を続ける。

このように、システムコントローラ７０がステップＳ７２からステップＳ８１までの処理を繰り返すことで、メモリカード６０に記録されている全ての画像データのサムネイルを一覧表示することができる。すなわち、画像データの一覧表示では、動画撮影、静止画撮影、同時撮影に対応したサムネイルを一覧表示することができるようになる。また同時撮影時の静止画部分に関しては、静止画撮影モードで撮影した画像データと同様の表示となる。なお、本実施形態では、サムネイルに先頭フレームを使用したが、撮影動作情報の撮影ポイントが値１となっているフレームなど、他のフレームをサムネイルとして使用してもよい。

（静止画撮影モードの再生処理）
図１６はステップＳ６７における静止画撮影モード時の画像データ再生処理手順を示すフローチャートである。本実施形態では、静止画撮影モードで撮影された画像データは、２秒分のフレームデータで構成されているので、動画再生のように先頭フレームから順番に１フレームずつ表示される。

システムコントローラ７０は、現在選択されている画像データファイルから、１フレーム分の記録フレームデータの取得を行う（ステップＳ９１）。本実施形態では、ステップＳ９１からステップＳ９６の処理は１フレーム分の処理である。システムコントローラ７０は、この１フレーム分の処理を繰り返すことで、画像データ内の全てのフレームデータを表示する。

システムコントローラ７０は、ステップＳ９１で取得した記録フレームデータ内の圧縮フレームデータをデコーダ１００に渡してデコードする（ステップＳ９２）。システムコントローラ７０は、ステップＳ９２でデコードしたフレームデータをＬＣＤ（モニタ）２１に表示する（ステップＳ９３）。

システムコントローラ７０は、ステップＳ９１で取得した記録フレームデータから撮影動作情報を取得し、撮影動作情報の撮影ポイントのビットが立っているか否かを判別する（ステップＳ９４）。撮影ポイント（撮影点）のビットが立っていない場合、システムコントローラ７０はステップＳ９７の処理に進む。一方、撮影ポイントのビットが立っていた場合、現在処理しているフレームが静止画撮影を行ったポイントであるとして、システムコントローラ７０は、デジタルカメラの撮影時の効果を出すために、撮影音を鳴らす処理を行う（ステップＳ９５）。なお、撮影音を鳴らす代わりに、画面に特定の画像効果を付けるようにしてもよい。システムコントローラ７０は、デジタルカメラの撮影時の効果を出すために、フレームデータの表示を１秒間、一時停止する処理を行う（ステップＳ９６）。

システムコントローラ７０は、１秒間停止した後、再生動作を通常に戻し、再生対象となっている画像データの再生が最後のフレームまで行われたか否かを判別する（ステップＳ９７）。最後まで再生した場合、システムコントローラ７０は再生処理を終了する。

一方、最後まで再生していない場合、システムコントローラ７０は、ステップＳ９１の処理に戻り、次のフレームに対して処理を行う。

このように、システムコントローラ７０がステップＳ９１からステップＳ９７の処理を繰り返すことで、画像データの全てのフレームデータを表示することができる。静止画撮影モードで撮影した画像データの再生時においても、動画のように再生することができ、実際の撮影ポイントで撮影効果を表現することが可能となる。

（動画撮影モードの再生処理）
図１７はステップＳ６８における動画撮影モード時の画像データ再生処理手順を示すフローチャートである。本実施形態では、同時撮影を行うことが可能であるので、動画撮影モードで撮影された画像データは、動画再生中に同時撮影の箇所が分かるように表示される。

システムコントローラ７０は、現在選択されている画像データファイルから、１フレーム分の記録フレームデータの取得を行う（ステップＳ１０１）。

本実施形態では、ステップＳ１０１からステップＳ１０８までの処理は１フレーム分の処理である。システムコントローラ７０は、この１フレーム分の処理を繰り返すことで、画像データ内の全てのフレームデータを表示する。ここで、現在選択されているサムネイルが、動画マークが付いているサムネイルである場合、画像データ全体を動画として再生するために先頭フレームから最終フレームまでを再生対象フレームとする。一方、現在選択されているサムネイルが同時撮影のサムネイルである場合、同時撮影の箇所だけを再生するために、選択されたサムネイルに対応する同時撮影の箇所の２秒間だけを再生対象フレームとする。

システムコントローラ７０は、ステップＳ１０１で取得した記録フレームデータ内の圧縮フレームデータをデコーダ１００に渡してデコードする（ステップＳ１０２）。システムコントローラ７０は、ステップＳ１０２でデコードしたフレームデータをＬＣＤ（モニタ）２１に表示する（ステップＳ１０３）。

システムコントローラ７０は、ステップＳ１０１で取得した記録フレームデータから静止画フラグを取得し、静止画フラグが値１であるか否かを判別する（ステップＳ１０４）。静止画フラグが値１でない場合、システムコントローラ７０はステップＳ１０９の処理に進む。

一方、ステップＳ１０４で静止画フラグが値１である場合、同時撮影を行った箇所であるとして、システムコントローラ７０は、ステップＳ１０３で表示しているフレームデータの画像に重ねて静止画アイコンを表示する（ステップＳ１０５）。現在表示しているフレームが同時撮影した箇所であることが静止画アイコンによってユーザに示される（静止画提示）。このように、静止画アイコンは、静止画があることをユーザに示すアイコンである。

システムコントローラ７０は、ステップＳ１０１で取得した記録フレームデータから撮影動作情報を取得し、撮影動作情報の撮影ポイントのビットが立っているか否かを判別する（ステップＳ１０６）。撮影ポイントのビットが立っていない場合、システムコントローラ７０はステップＳ１０９の処理に進む。一方、撮影ポイントのビットが立っていた場合、システムコントローラ７０は、現在処理しているフレームが撮影動作を行ったポイントであるとして、デジタルカメラの撮影時の効果を出すために、撮影音を鳴らす処理（再生停止通知）を行う（ステップＳ１０７）。なお、撮影音を鳴らす代わりに、画面に特定の画像効果を付けるようにしてもよい。

システムコントローラ７０は、デジタルカメラの撮影時の効果を出すために、フレームデータの表示を１秒間、一時停止する処理（再生停止）を行う（ステップＳ１０７）。システムコントローラ７０は、１秒間停止した後、再生動作を通常に戻し、画像データの再生が再生対象フレームの最後まで行われたか否かを判別する（ステップＳ１０９）。最後まで再生した場合、システムコントローラ７０は再生処理を終了する。一方、最後まで再生していない場合、システムコントローラ７０は、ステップＳ１０１の処理に戻り、次のフレームに対して処理を行う。

このように、システムコントローラ７０は、ステップＳ１０１からステップＳ１０８までの処理を繰り返すことで、画像データ内の再生対象フレームを全て表示することができる。動画撮影モードで撮影した画像データの再生時、通常の動画再生だけでなく、同時撮影した箇所も判別することができ、しかも実際の撮影ポイントで撮影効果を表現することが可能となる。また、同時撮影した箇所を再生する場合、静止画撮影モードで記録された画像データと同様、動画のように再生することができ、しかも実際の撮影ポイントで撮影効果を表現することが可能となる。

再生モード時の動作では、動画撮影、静止画撮影、同時撮影の各モードで撮影された画像データを、それぞれ適切に再生できるようになる。特に、静止画撮影モードで撮影された画像データの再生においても、同時撮影時の画像データと同様の再生方法が可能となり、撮影動作情報や静止画フラグを活用した柔軟な再生方法が可能となる。

なお、本実施形態では、撮影動作情報と静止画フラグを活用した簡単な再生方法の例を示したが、それ以外の再生方法を行ってもよい。例えば、静止画アイコンの代わりに、ピクチャインピクチャで静止画を小さく表示する、つまり再生している画像データと静止画を同時に表示するなどの再生方法を行ってもよい。

（再生モードの動作の説明（消去処理））
つぎに、画像データ消去処理について説明する。図１３のフローチャートで示したように、本実施形態では、再生モード時に操作ボタン２５（図１参照）の下ボタンが押されると、選択サムネイルに対応した画像データの消去処理が行われる。

図１８はステップＳ６４における画像データ消去処理手順を示すフローチャートである。なお、本実施形態では、動画撮影モードで撮影された画像データの中で、同時撮影の箇所がある場合、その箇所だけ別ファイルとして残すように動作が行われる。

システムコントローラ７０は、現在選択されているサムネイルに対応する画像データファイルの先頭フレームデータのフレーム情報を取得し、撮影モードが動画撮影モードか静止画撮影モードかを判定する（ステップＳ１１１）。静止画撮影モードである場合、システムコントローラ７０は、選択された画像データファイルを削除し（ステップＳ１１２）、本処理を終了し、元の処理に復帰する。ここで、静止画撮影モードで撮影された画像データファイルの削除に関しては、単純にファイルを削除する処理となる。

一方、ステップＳ１１１で撮影モードが動画撮影モードである場合、システムコントローラ７０は、選択されたサムネイルが同時撮影のサムネイルか否かを判別する（ステップＳ１１３）。

選択されたサムネイルが同時撮影のサムネイルだった場合、システムコントローラ７０は、選択されたサムネイルに対応する同時撮影箇所の２秒分の静止画フラグを値０に書き換える処理を行う（ステップＳ１１４）。静止画フラグを値０にするだけで、同時撮影の情報が無くなることになる（静止画消去）。このように、同時撮影の消去処理として、システムコントローラ７０は、実際に画像データを消去すること無く、静止画フラグを値０に設定するだけで、本処理を終了し、元の処理に復帰する。

一方、ステップＳ１１３で、選択されたサムネイルが動画マークの付いた動画サムネイルだった場合、システムコントローラ７０は、ステップＳ１１５以降の処理を行う。本実施形態では、ステップＳ１１５からステップＳ１１８までの処理は１フレーム分の処理である。システムコントローラ７０は、この１フレーム分の処理を繰り返すことで、動画撮影モードの画像データ内の全てのフレームデータ（消去対象の画像データ）を処理する。ここでは、画像データ全体を処理するために、先頭フレームから最終フレームまでが処理対象フレームとなる。

システムコントローラ７０は、１フレーム分のフレーム情報を取得し、対象フレームデータが同時撮影部のフレームデータであるか否かを判別する（ステップＳ１１５）。フレームデータが同時撮影部のフレームデータであるか否かは、静止画フラグが値１であるか否かで判断される。静止画フラグが値１でない場合、システムコントローラ７０はそのままステップＳ１１８の処理に進む。

一方、対象フレームの静止画フラグが値１である場合、システムコントローラ７０は、静止画フラグが連続して値１であるフレームデータを読み出し、別ファイルの画像データとして保存する処理を行う（ステップＳ１１６）。ここで、静止画フラグは、１つの同時撮影で２秒分のフレームデータに連続して記録されているので、２秒分のフレームデータが別ファイルの画像データとして記録される。また、ここで記録される画像データのファイル名は、対象フレームの撮影日時情報から作成される。なお、それ以外の方法でファイル名が決定されてもよいことは勿論である。

システムコントローラ７０は、ステップＳ１１６で記録した画像データの全フレーム情報の撮影モードの値を、静止画撮影モードに変更する処理を行う（ステップＳ１１７）。このように、ステップＳ１１６、１１７の処理により、別ファイルとして記録された同時撮影部の画像データは、静止画撮影モードで記録された画像データと同様に扱えるようになる。本実施形態では、撮影動作フラグはそのまま残されるが、撮影動作フラグを消すようにしてもよい。

システムコントローラ７０は、対象としている画像データの最後のフレームまで同時撮影のチェックをしたか否かを判別する（ステップＳ１１８）。まだ最後までチェックしていない場合、システムコントローラ７０は、ステップＳ１１５の処理に戻り、選択された画像データの対象フレームを次に進め、次フレームに対して処理を続ける。

一方、最後のフレームまでチェックした場合、システムコントローラ７０は、選択された画像データファイルを削除する（ステップＳ１２０、動画消去）。

このように、ステップＳ１１５からステップＳ１２０までの処理を繰り返すことで、対象としている画像データのフレームを順番に最後までチェックすることができる。１つの画像データ内に複数の同時撮影があったとしても、全てのフレームをチェックすることで、同時撮影部のフレームデータは、漏れなく別の画像データファイルとして記録される。

ここまでの処理で同時撮影部の画像データは、別ファイルとして記録済みであるので、システムコントローラ７０は、最後に画像データを削除して本処理を終了し、元の処理に復帰する。システムコントローラ７０は、画像データ消去処理が終了した後、再度、一覧表示をし直すので、最新の状態の一覧表示が行われる。

図１９は同時撮影時の消去処理による画像データの構造の変化を示す図である。同図（Ａ）に示す画像データは消去前の同時撮影を行った画像データである。この画像データは図１２の画像データと同一のデータ構造を有する。同図（Ｂ）に示す画像データは同図（Ａ）の画像データから同時撮影部を消去した状態の画像データである。同時撮影部を消去した後では、同時撮影部の静止画フラグが全てなくなった状態、つまり静止画フラグ＝０の状態となる。

図２０は動画撮影モード時の画像データの消去処理による画像データの構造の変化を示す図である。ここでは、同時撮影箇所が１箇所あった場合を示す。同図（Ａ）に示す画像データは消去前の同時撮影を行った画像データである。この画像データは図１２の画像データと同一のデータ構造を有する。同図（Ｂ）に示す画像データは同図（Ａ）の画像データを消去した状態の画像データである。動画撮影モードで撮影された画像データを消去しても、同時撮影部の画像データだけは残る。

図２１は同時撮影箇所が２箇所あった場合の画像データの構造の変化を示す図である。同図（Ａ）に示す画像データは消去前の画像データである。同図（Ｂ）、（Ｃ）に示す画像データは、同図（Ａ）に示す画像データを消去した状態の画像データである。動画撮影モードで撮影された画像データを消去した場合、同時撮影部の２箇所がそれぞれ別の画像データとして残る。

このように、動画撮影、静止画撮影および同時撮影の各モードで撮影された画像データを、それぞれ適切に消去することができる。特に、同時撮影された画像データの消去処理においても、同時撮影部の画像データを別ファイルとして残しておくので、従来と同様の操作が可能となる。また、別ファイルとして残された同時撮影部の画像データのデータ構造は、静止画撮影モードで記録された画像データと同様のデータ構造となるので、それ以降、静止画撮影モードで記録された画像データと同様に扱うことができる。

以上示したように、本実施形態の画像データ記録装置によれば、画像データは静止画も動画と同様のデータ構造を有するので、同時撮影ではない静止画像データを再生する場合、同時撮影時のように、動画であることを利用した再生を行うことができる。また、動画記録中でも処理を滞らせることなく同時撮影が可能となる。また、静止画撮影指示が行われる前のフレームデータから静止画フラグを設定することができる。従って、複数のフレームデータを活用した再生が可能となる。また、同時撮影が行われる場合、静止画撮影の場合と同様、同時撮影指示が行われる前のフレームデータから静止画フラグを設定することができる。また、動画撮影、静止画撮影、同時撮影の各撮影モード時、それぞれ適切な画像データを記録することができる。また、撮影動作情報を対応する各フレームデータに関連付けて記録することができる。従って、撮影動作情報を活用した再生が可能となる。また、撮影動作情報として、撮影ボタン半押し、ＡＦ合焦、撮影ボタン全押し、ストロボ発光および撮影点の各撮影動作をそれぞれ対応するフレームデータに記録することができる。

画像データ再生装置によれば、動画撮影、静止画撮影、同時撮影の各モードで撮影された画像データを、それぞれ適切に再生することができる。また、静止画撮影モードで撮影した画像データを再生する場合でも、動画のように再生することができる。また、動画再生中、ユーザは静止画があることを知ることができる。静止画アイコンあるいはピクチャインピクチャを用いることで、静止画があることを視覚的に分かり易くすることができる。また、再生を一時停止し、その旨を通知することで、撮影時の効果を出すことができる。例えば、実際の撮影ポイントで撮影効果を表現することができる。

画像データ消去装置によれば、動画撮影、静止画撮影、同時撮影の各モードで撮影された画像データを、それぞれ適切に消去処理することができる。また、同時撮影された画像データの消去処理では、同時撮影部を別ファイルとして残しておくので、従来と同様の操作が可能となる。また、別ファイルとして残された同時撮影部の画像データは、静止画撮影モードで記録された画像データと同様のデータ構造を有するので、それ以降、静止画撮影モードで記録された画像データと同様に扱うことができる。

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

例えば、上記実施形態では、コンパクトタイプのデジタルカメラを例に説明したが、本発明はデジタルビデオカメラやデジタルＳＬＲ（一眼レフカメラ）にも適用可能である。

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

実施の形態におけるデジタルカメラ１の背面側から視たユーザインタフェースの構成を示す図である。 デジタルカメラ１の電気的構成を示すブロック図である。 撮影モード時の動作手順を示すフローチャートである。 ステップＳ１における１秒分（６０フレーム分）のフレームデータを内部メモリ８０に保持する処理手順を示すフローチャートである。 記録フレームデータの構造を示す図である。 撮影動作情報の構造を示す図である。 ステップＳ３における動画撮影モード時の画像データ記録手順を示すフローチャートである。 画像データの構造を示す図である。 ステップＳ９における静止画撮影モード時の画像データ記録手順を示すフローチャートである。 静止画像データの構造を示す図である。 ステップＳ５における同時撮影時の画像データ記録手順を示すフローチャートである。 同時撮影時の画像データの構造を示す図である。 再生モード時の動作手順を示すフローチャートである。 ＬＣＤ（モニタ）２１の一覧表示を示す図である。 ステップＳ６１における画像データの一覧表示手順を示すフローチャートである。 ステップＳ６７における静止画撮影モード時の画像データ再生処理手順を示すフローチャートである。 ステップＳ６８における動画撮影モード時の画像データ再生処理手順を示すフローチャートである。 ステップＳ６４における画像データ消去処理手順を示すフローチャートである。 同時撮影時の消去処理による画像データの構造の変化を示す図である。 動画撮影モード時の画像データの消去処理による画像データの構造の変化を示す図である。 同時撮影箇所が２箇所あった場合の画像データの構造の変化を示す図である。

符号の説明

１ デジタルカメラ
１０ 撮像部
１４Ａ〜１４Ｆ サムネイル
２１ ＬＣＤ（モニタ）
２２ 静止画撮影ボタン
２３ 動画撮影ボタン
２４ モード切替スイッチ
６０ メモリカード
７０ システムコントローラ
８０ 内部メモリ

Claims (8)

1. 画像を取得する取得手段と、
   動画撮影の指示に応じて、前記取得手段により得られた複数の画像をフレームとする動画データを生成する生成手段と、
   前記生成手段により得られた動画データを記録媒体に記録する記録手段と、
   記録媒体に記録された動画データの消去を指示する指示手段と、
   記録媒体に記録された動画データの編集をする編集手段とを有し、
   前記記録手段は、動画データを生成しているときに静止画撮影の指示を受信すると、前記静止画撮影の指示に対応するフレームを示す静止画フラグを記録媒体に記録し、
   前記編集手段は、前記動画データの消去が指示された場合、消去対象の動画データに関連付けられた静止画フラグの状態に応じて、
   消去対象の動画データの一部のフレームに前記静止画フラグが関連付けられ、それ以外のフレームには前記静止画フラグが関連付けられていない場合は、前記静止画フラグが関連付けられたフレームを抽出して別画像データとして記録媒体に記録し、前記消去対象の動画データを消去し、
   消去対象の動画データのすべてのフレームに前記静止画フラグが関連付けられている場合は、前記静止画フラグが関連付けられたフレームを抽出せずに、前記消去対象の動画データを消去することを特徴とする編集装置。
2. 複数のフレームからなる動画データを編集する編集装置であって、
   前記動画データの消去を指示する指示手段と、
   前記動画データの消去が指示された場合、消去対象の動画データに関連付けられた静止画フラグの状態に応じて、
   消去対象の動画データの一部のフレームに静止画フラグが関連付けられ、それ以外のフレームには前記静止画フラグが関連付けられていない場合は、前記静止画フラグが関連付けられたフレームを抽出して別画像データとして記録媒体に記録し、前記消去対象の画像データを消去し、
   消去対象の動画データのすべてのフレームに前記静止画フラグが関連付けられている場合は、前記静止画フラグが関連付けられたフレームを抽出せずに、前記消去対象の動画データを消去する編集手段とを備えたことを特徴とする編集装置。
3. 前記編集手段は前記静止画フラグが関連付けられたフレームを抽出して別画像データとして記録媒体に記録すると共に、前記別の画像データを静止画撮影の指示に基づく画像データであることを示す情報を記録媒体に記録することを特徴とする請求項１または２に記載の編集装置。
4. 前記編集手段は、前記静止画フラグが関連づけられたフレームの消去の指示に応じて、前記静止画フラグが関連づけられたフレームを消去せずに、前記静止画フラグを消去することを特徴とする請求項１から３のいずれか１項に記載の編集装置。
5. 画像を取得する取得ステップと、
   動画撮影の指示に応じて、前記ステップで得られた複数の画像をフレームとする動画データを生成する生成ステップと、
   前記生成ステップにより得られた動画データを記録媒体に記録する記録ステップと、
   記録媒体に記録された動画データの消去を指示する指示ステップと、
   記録媒体に記録された動画データの編集をする編集ステップとを有し、
   前記記録ステップにおいて、動画データを生成しているときに静止画撮影の指示を受信すると、前記静止画撮影の指示に対応するフレームを示す静止画フラグを記録媒体に記録し、
   前記編集ステップにおいて、前記動画データの消去が指示された場合、消去対象の動画データに関連付けられた静止画フラグの状態に応じて、
   消去対象の動画データの一部のフレームに前記静止画フラグが関連付けられ、それ以外のフレームには前記静止画フラグが関連付けられていない場合は、前記静止画フラグが関連付けられたフレームを抽出して別画像データとして記録媒体に記録し、前記消去対象の動画データを消去し、
   消去対象の動画データのすべてのフレームに前記静止画フラグが関連付けられている場合は、前記静止画フラグが関連付けられたフレームを抽出せずに、前記消去対象の動画データを消去することを特徴とする編集方法。
6. 複数のフレームからなる動画データを編集する編集方法であって、
   前記動画データの消去を指示する指示ステップと、
   前記動画データの消去が指示された場合、消去対象の動画データに関連付けられた静止画フラグの状態に応じて、
   消去対象の動画データの一部のフレームに静止画フラグが関連付けられ、それ以外のフレームには前記静止画フラグが関連付けられていない場合は、前記静止画フラグが関連付けられたフレームを抽出して別画像データとして記録媒体に記録し、前記消去対象の画像データを消去し、
   消去対象の動画データのすべてのフレームに前記静止画フラグが関連付けられている場合は、前記静止画フラグが関連付けられたフレームを抽出せずに、前記消去対象の動画データを消去する編集ステップとを備えたことを特徴とする編集方法。
7. 前記編集ステップにおいて、前記静止画フラグが関連付けられたフレームを抽出して別画像データとして記録媒体に記録すると共に、前記別の画像データを静止画撮影の指示に基づく画像データであることを示す情報を記録媒体に記録することを特徴とする請求項５または６に記載の編集方法。
8. 前記編集ステップにおいて、前記静止画フラグが関連づけられたフレームの消去の指示に応じて、前記静止画フラグが関連づけられたフレームを消去せずに、前記静止画フラグを消去することを特徴とする請求項５から７のいずれか１項に記載の編集方法。

Images