JP6071358B2

JP6071358B2 - 画像処理装置、画像処理方法、プログラム

Info

Publication number: JP6071358B2
Application number: JP2012203011A
Authority: JP
Inventors: 栄二吉野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-09-14
Filing date: 2012-09-14
Publication date: 2017-02-01
Anticipated expiration: 2032-09-14
Also published as: JP2014060499A

Description

本発明は、画像処理装置、画像処理方法、プログラムに関する。

従来、画像処理装置として、動画の記録や再生が可能な撮像装置が知られている。これらの撮像装置には、たとえば特許文献１のように、動画撮影中の静止画撮影の指示に応じて、動画ファイルと静止画ファイルを再生し、関連づけ情報を記録することができる撮像装置が登場してきている。特許文献１の撮像装置は、静止画ファイルの静止画を表示しているときに、関連づけられた動画ファイルがある場合には、関連づけられた動画ファイルを再生することができる。

特開２００２−３００４４５号公報

しかし、特許文献１に開示された撮像装置においては、静止画ファイルと動画ファイルとが１対１に関連づけられており、例えば動画ファイル１つに対して、複数の静止画ファイルが関連づけられているものではなかった。

そこで、本発明は、例えば動画ファイル１つに対して、複数の静止画ファイルが関連づけられている場合に生じる問題を解決することができる画像処理装置を提供することを目的とする。

このような目的を達成するために、本発明の画像処理装置は、複数のシーンから構成される動画データを含む動画ファイルと、各シーンに対応する静止画ファイルとを含む複数の画像ファイルが記録された記録媒体から画像ファイルを読み出す読み出し手段と、記録媒体に記録された静止画ファイルのうち指定された静止画ファイルに対応する動画ファイルを特定する特定手段と、特定された動画ファイルの動画データの画像を表示手段に表示し、当該動画データを再生する表示制御手段と、第１のモードにおいては、特定された動画ファイルの動画データの再生が終了したことに応じて、特定された動画ファイルを選択し、第２のモードにおいては、特定された動画ファイルの動画データの再生が終了したことに応じて、指定された静止画ファイルを選択するように制御する制御手段とを有し、表示制御手段は、第１のモードにおいては、特定された動画ファイルの再生を行うか否かを選択する画面を表示手段に表示し、第２のモードにおいては、特定された動画ファイルの再生を行うか否かを選択する画面を表示手段に表示しないことを特徴とする。

本発明によれば、例えば動画ファイル１つに対して、複数の静止画ファイルが関連づけられている場合に生じる問題を解決することができる。

本実施例の撮像装置の構成を示す図である。ダイジェストムービーモードの撮像装置の制御を示すフロー図である。ダイジェストムービーモードで記録される静止画ファイル、動画ファイルの状態を説明するための図である。本実施例の動画ファイルのフォーマットを示す図である。本実施例の画像ファイルの情報を示す図である。本実施例の再生モードにおける動作フローを示す図である。本実施例の再生モードにおける動作フローを示す図である。本実施例の再生モードにおける動作フローを示す図である。本実施例の再生モードにおける動作フローを示す図である。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。

（実施例１）
本実施例では、画像処理装置として撮像装置を例にとって説明する。

本実施例の撮像装置１００は、通常の「動画撮影モード」においては、１回の動画撮影の開始から終了までに撮影された動画データを１つのファイルとして記録媒体に記録することができる。また、通常の「静止画撮影モード」においては、１回の撮影指示に応じて撮影された静止画データを１つのファイルとして記録媒体に記録することができる。さらに、本実施例の撮像装置は、「ダイジェストムービーモード」を有する。この「ダイジェストムービーモード」では、静止画撮影の指示に応じて、撮影された静止画データを記録媒体に記録するだけでなく、静止画撮影の指示が入力されるまでに撮影された所定時間分の動画データを動画ファイルとして記録媒体に記録することができる。動画データについては、撮像装置に備えられたメモリに、エンコードした状態で一時的に記憶しておく。

また、「ダイジェストムービーモード」においては、たとえば、同一日付に撮影された動画データをすべて連結した一つの動画データを作成し、記録媒体に記録することができる。この場合には、記録媒体に既に記録されている動画ファイルの動画データに対して、新規に撮影された動画データを静止画撮影の指示のあるごとに連結（追記）していく。また、連結されるたびに、各静止画撮影に対応する動画データを一つのチャプタに対応するものとして取り扱う。そのために、動画ファイルにはチャプタを示すためのチャプタデータが記録されることになる。また、チャプタデータには、静止画撮影の行われたタイミングを示す時間情報が記録されている。

撮像装置１００は、「ダイジェストムービーモード」にモードが遷移すると、撮像部により得られた複数の画像を動画の各フレーム画像とした符号化動画データを作成し、メモリに順次記憶していく。所定時間以上過去の動画データについては、メモリ上で破棄または、上書きする。そして、静止画撮影の指示が入力されると、撮像部により得られた画像信号に基づいて、静止画データを作成し、記録媒体に記録する。このとき、それまでメモリに記憶していた所定時間分の動画データを動画ファイルとして記録媒体に記録するのである。記録媒体に既に記録されている動画ファイル（既存動画ファイル）の動画データに、この所定時間分の動画データを連結する場合には、メモリに一時的に記憶されている所定時間分の動画データを記録媒体に先に記録する。そして、その後、既存動画ファイルの動画データを解析し、連結位置を特定してから動画データの連結編集を行う。なお、本実施例の撮像装置１００は、静止画撮影の指示に対応する動画をそれぞれ別々のチャプタとして区別するために、チャプタ情報を動画ファイルに格納する。このとき、チャプタデータには、静止画撮影の行われたタイミングを示す時間情報をテキストデータとして記載する。

また、本実施例の撮像装置１００は、再生モードにおいて、「ダイジェストムービーモード」で記録された動画ファイルと静止画ファイルとを互いに関連づけることができる。しかも、静止画ファイルを再生しているときに、関連している動画ファイルを再生し、再生終了後に、再生していた静止画ファイルを再表示することができる。

以下、このような撮像装置について、説明する。

まず、図１を用いて本実施例の撮像装置１００の全体構成を説明する。

本実施例の撮像装置１００は、図１に示すように、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、操作部１０４とを有する。また、撮像装置１００は、撮像部１１０と、画像処理部１１１と、マイクユニット１２０と、音声処理部１２１と、スピーカユニット１２２とを有する。また、撮像装置１００は、符号化復号化処理部１３０と、表示部１４０と、表示制御部１４１と、記録再生部１５０と、記録媒体１５１と、通信部１６０とを有する。

なお、ＣＰＵは、ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔの略称である。ＲＡＭは、ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙの略称である。

本実施例の撮像装置１００において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとしてＲＯＭ１０３に記録された各種プログラムをＲＡＭ１０２に展開し、プログラムに応じて撮像装置１００の各ブロックを制御する。操作部１０４は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタン、メニュー表示ボタン、モード切替スイッチ、決定ボタン等の各種操作を入力するスイッチ類を有する。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のどのようなタイプの操作子であってもよい。操作部１０４は、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとＣＰＵ１０１に操作信号を送信する。操作部１０４の各操作部材は、表示部に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部に表示される。利用者は、表示部に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。なお、操作部１０４は、表示部に対する接触を検知可能なタッチパネルであってもよい。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、得られたアナログ画像信号をデジタル画像信号に変換して一時的にＲＡＭ１０２に記憶する。ＲＡＭ１０２に記憶されたデジタル画像信号は、その後、画像処理部１１１に送信される。画像処理部１１１は、デジタル画像信号のホワイトバランスや色、明るさなどをユーザに設定された設定値や画像の特性から自動的に判定した設定値に基づいて調整する画質調整処理を行い、処理をしたデジタル画像信号を再びＲＡＭ１０２に記憶する。また、画質調整処理済みまたは未処理のデジタル画像信号を、後述の表示制御部１４１に送信し、表示部１４０に撮像中の画像として表示することもできる。また、再生時においては、画像処理部１１１は、記録媒体１５１から記録再生部１５０によって読出され、符号化復号化処理部１３０において復号化された静止画ファイルや動画ファイルに含まれる画像データの画質調整等を行う。そして、画質調整済みまたは未処理のデジタル画像信号を、後述の表示制御部１４１に送信し、表示部１４０に画像として表示することもできる。

符号化復号化処理部１３０では、記録時においては、画像処理部１１１により処理されＲＡＭ１０２に記憶されたデジタル画像信号に対して、画像圧縮処理を行い、圧縮された動画データや静止画データを生成し、ＲＡＭ１０２に一時的に記憶する処理を行う。また、再生時においては、記録媒体１５１から読出された画像ファイルの圧縮された動画データや静止画データを復号してデジタル画像信号を抽出し、ＲＡＭ１０２に記憶していく処理を行う。

たとえば、動画データを生成する際は、動画データの各フレームをフレーム内符号化して圧縮符号化された動画データを生成する。また、動画データの複数のフレーム間での差分や動き予測などを利用して圧縮符号化された動画データを生成してもよい。たとえばＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４（ＭＰＥＧ４−Ｐａｒｔ１０ＡＶＣ）、Ｈ．２６５／ＨＥＶＣ等の様々な圧縮符号化方式の動画データを生成することができる。一般に、フレーム内符号化されたフレーム画像データをＩピクチャと呼び、前方のフレームとの差分を用いてフレーム間符号化された画像データをＰピクチャと呼び、前方後方のフレームとの差分を用いてフレーム間符号化された画像データをＢピクチャと呼ぶ。これらの圧縮方式は、公知の方式を用いており、本発明の特徴とは関係ないので説明を省略する。また、静止画データを生成する際には、ＪＰＥＧ等の一般的な圧縮符号化方式を用いるが、これらの圧縮符号化方式は、公知の方式を用いており、本発明の特徴とは関係ないので説明を省略する。なお、静止画データについては、撮像部１１０により得られたデジタル画像信号をそのまま記録する、いわゆるＲＡＷ画像データとしてもよい。

マイクユニット１２０は、たとえば、撮像装置１００のハウジング内に内蔵された無指向性のマイクとＡＤ変換部を有する。マイクユニット１２０では、マイクにより周囲の音声を集音（収音）し、取得したアナログ音声信号をＡＤ変換部で、デジタル信号に変換してＲＡＭ１０２に一時的に記憶させる。ＲＡＭ１０２に記憶されたデジタル音声信号は、その後、音声処理部１２１に送信される。音声処理部１２１では、記録時においては、ＲＡＭ１０２に記憶されたデジタル音声信号の、レベルの適正化処理や雑音低減処理等の処理を行い、処理をしたデジタル音声信号を再びＲＡＭ１０２に記憶する。また、必要に応じて、音声信号を圧縮する処理を行う。音声圧縮方式については、ＡＣ３、ＡＡＣ等の一般的な音声圧縮方式を用いているため説明を省略する。また、再生時においては、記録媒体１５１から記録再生部１５０によって読出された音声ファイルや動画ファイルに含まれる圧縮音声データ復号する処理や音声レベルの適正化処理、なども行い、順次ＲＡＭ１０２に記憶する処理も行う。スピーカユニット１２２は、スピーカとＤＡ変換部とを有する。スピーカユニット１２２では、音声処理部１２１によりＲＡＭ１０２に記憶されたデジタル音声信号を読出してアナログ音声信号に変換し、アナログ音声信号によりスピーカから音声を出力する。

表示部１４０は、例えば、液晶パネルとバックライトとからなり、表示制御部１４１の制御により画像を表示する。表示部１４０は液晶表示装置に限られず、例えば有機ＥＬディスプレイ、ＬＥＤディスプレイなど、ユーザに画像を提供することができればどのようなものであっても良い。表示制御部１４１では、画像処理部１１１により処理され、ＲＡＭ１０２に記憶されたデジタル画像信号に基づいて、表示部１４０に画像を表示する。

記録再生部１５０では、動画記録時においては、ＲＡＭ１０２に記憶されている、符号化復号化処理部１３０により生成された圧縮動画データ及び、音声処理部１２１で生成された音声データ、撮影日等の各種情報とともに、動画ファイルとして記録媒体１５１に書き込む。また静止画記録時においては、ＲＡＭ１０２に記憶されている静止画データを撮影日等の各種情報とともに静止画ファイルとして記録媒体１５１に記録する。動画ファイルを記録媒体１５１に記録する際は、圧縮動画データと音声データとからなるデータストリームを形成し、順次記録媒体１５１に記録していき、ファイルヘッダ等を付加してＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形で動画ファイルを記録媒体に記録する。また、再生時においては、記録媒体１５１に記録された動画ファイルや静止画ファイルを前述のファイルフォーマットに従って読出す。読出された動画ファイルや静止画ファイルは、ＣＰＵ１０１によりヘッダが解析され、圧縮された動画データ、静止画データが抽出される。抽出された圧縮動画データ、静止画データは、ＲＡＭ１０２に記憶されて、符号化復号化処理部１３０により復号される。

また、記録媒体１５１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１５０は、それらの取り外し可能な記録媒体を装着、排出するための機構を含む。

また、通信部１６０は、撮像装置１００とは異なる外部装置との間で、制御信号や動画ファイル、静止画ファイル、各種データ等を送受信するものであり、有線接続、無線接続を問わず接続可能である。なお、通信方式はどのような方式であっても良い。

ここで、前述の画像処理部１１１、音声処理部１２１、符号化復号化処理部１３０、表示し制御部１４１、記録再生部１５０は、それぞれ、前述の各機能を実行するプログラムを搭載したマイクロコンピュータであってもよい。また、ＣＰＵ１０１がＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。

なお、本実施例の撮像装置１００は、一例として、「ＱｕｉｃｋＴｉｍｅ（登録商標）フォーマット」で動画ファイルを記録するものとするが、どのようなフォーマットであっても良い。

なお、本実施例では記録媒体１５１のファイル管理システムは組み込み機器で一般的に使用されているＦＡＴファイルシステムを使用するものとして説明をする。ＦＡＴファイルシステムの技術自体は広く公知であるので、本実施例の特徴的な動作でのみその説明をする。また、ＦＡＴファイルフォーマットであるＮＴＦＳフォーマットやｅｘＦＡＴフォーマットなどを用いても良い。

次に、本実施例の撮像装置１００の動作について説明する。

本実施例の撮像装置１００は、ユーザによって操作部１０４を操作して電源を投入する指示が出されたことに応じて、不図示の電源供給部から、撮像装置の各ブロックに電源を供給する。

電源が供給されると、ＣＰＵ１０１は、操作部１０４により設定されたカメラのモードが、再生モードであるか、「ダイジェストムービーモード」、静止画記録モード、動画記録モードであるかを判定する。なお、本実施例において、静止画記録モード、動画記録モードは、特徴的な構成に関わらないので説明を割愛する。

次に、「ダイジェストムービーモード」について、図２のフロー図を用いて説明する。図２のフロー図は、ダイジェストムービーモードに設定されたときをスタートとするフロー図であり、ＣＰＵ１０１がＲＡＭ１０２に展開したプログラムに基づいて、撮像装置１００の各部を制御することにより、実行される処理である。なお、本実施形態において、動画データを順次追記していくか否かは、静止画記録の指示があった後で、動画データを記録媒体１５１に記録する前に行うものとする。すなわち、ＣＰＵ１０１が、記録再生部１５０より、最後にダイジェストムービーモードで撮影された動画ファイルを読み出して撮影された日付の情報を確認する。そして、読み出された動画ファイルが当日に撮影されたものであれば、追記するものとし、異なる日に撮影されたものであれば、追記しないものとする。ダイジェストムービーモードにおいて撮影された動画は、たとえばダイジェストムービーモードで撮影された動画であることを示すための識別子「ＭＤＧ」に４桁の整数を順次数字をインクリメントしたファイル名とする。このようにすることで、記録媒体１５１に記録されている識別子ＭＤＧを含む数字のもっとも大きい動画が最後に撮影されたものであることが容易に識別可能である。追記するか否かの条件については後述するが、追記するか否かの確認は、撮像装置１００の起動時または、ダイジェストムービーモードへの切り替え時等に行ってもよい。

また、本実施形態においては、サムネイル画像の生成は、静止画撮影の指示が入力される毎に生成されるものとして説明する。この場合、追記した動画ファイルには複数のサムネイル画像が関連づけられることになる。しかし、追記する場合にはサムネイル画像を生成せずに、新規に動画ファイルを生成する場合にのみ、サムネイル画像を生成するようにしても良い。

操作部１０４によりダイジェストムービーモードが設定されると、ＣＰＵ１０１は、撮像装置１００の各ブロックを制御し、以下の動作を実行させる。

まず、撮像部１１０は、得られたデジタル画像信号をＲＡＭ１０２に送信し、一時的に記憶させる。そうすると、表示制御部１４１は、ＲＡＭ１０２に記憶されたデジタル画像信号を読み出して表示部１４０に表示させる。また、画像処理部１１１は、ＲＡＭ１０２に記憶されたデジタル画像信号を順次読み出して、前述の各種画質調整処理を行い、処理をしたデジタル画像信号を再びＲＡＭ１０２に記憶する。画像処理部１１１は、撮像部１１０で画像が撮像される度にこの処理を繰り返す。

また、符号化復号化処理部１３０は、画像処理部１１１によって処理されたデジタル画像信号を動画データとして符号化するための符号化処理を行う（Ｓ２０１）。例えば、符号化処理としては、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４（ＭＰＥＧ４−Ｐａｒｔ１０ＡＶＣ）、等の様々な公知の圧縮符号化方式処理がある。本実施例においては、例えば、Ｈ．２６４におけるフレーム内予測符号化画像を含む動画データとなるように符号化処理を行うものとする。

また、このときＣＰＵ１０１は音声処理部１２１に、マイクユニット入力されたデジタル音声信号に対して種々の調整処理を適用した後、予め設定された音声用の符号化方式に従って符号化処理を実行し、得られた符号化された音声信号をＲＡＭ１０２に記憶させる。

そして、符号化復号化処理部１３０、音声処理部１２１は、符号化された動画データと音声データをＲＡＭ１０２記憶していく（Ｓ２０２）。以後の説明では、音声データについては説明を省略するが、動画データとともに処理されるものとする。

本実施形態の撮像装置１００においては、ＲＡＭ１０２には、常に直前の予め定められた時間分の動画データが記憶されるようにＲＡＭ１０２に記憶されている動画データのうち、予め定められた時間より前に撮像された動画データを削除するようにしている。そのため、ＣＰＵ１０１は、所定時間分以上の動画データがＲＡＭ１０２に記憶されたか否かを判定し（Ｓ２０３）、所定時間以上記憶されている場合（Ｓ２０３で、Ｙｅｓ）、所定時間よりも過去の時点で撮影された画像を示す動画データを破棄するようにしている。削除するデータのサイズは符号化単位で規定されるため、符号化方式によっては当該削除するデータのサイズをフレームまたは再生時間として決定することもできる。また、所定時間以上記憶されていない場合（Ｓ２０３で、Ｎｏ）、動画データの破棄を行わない。本実施例では所定時間は任意の時間であってよいが、例えば４秒、６秒、８秒など、ユーザが選択できるようにしても良い。そして、ＣＰＵ１０１は、静止画撮影の指示が操作入力部１１２から入力されたか否かを判定し（Ｓ２０５）、静止画撮影の指示が入力されていない場合（Ｓ２０５でＮｏ）、再びＳ２０１に戻り、動画データの生成処理、一時記憶を継続する。

なお、本実施形態では常に直前の予め定められた時間分の動画データがＲＡＭ１０２には記憶されるものとして説明するが、本発明の実施はこれに限らない。即ち、ＲＡＭ１０２に記憶される動画データのサイズは定量可能なものであればよく、例えばフレーム数、ＧＯＰ数（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅｓ）、データサイズ等で規定される、予め定められた量であってよい。つまり、ＲＡＭ１０２に記憶されている動画データは、当該動画データのサイズが予め定められたサイズ以上となった場合に、当該予め定められたサイズ未満のサイズとなるまで、動画データのフレームのうちの撮影時刻が古いフレームから順に削除されるようにしてもよい。

ここで、静止画撮影の指示が入力された場合（Ｓ２０５でＹｅｓ）、ＣＰＵ１０１は、記録媒体１５１の記録可能容量をチェックするように記録再生部１５０を制御し、ＲＡＭ１０２に一時的に記憶されている動画データの記録が可能であるか否かを判定しても良い。この判定は、ＲＡＭ１０２に一時的に記憶されている動画データのサイズと、記録する静止画データの見込みサイズとの和が、記録媒体１５１の記録可能容量よりも小さいか否かを比較することにより判定される。静止画データの見込みサイズはたとえば４ＭＢとしても良いし、記録サイズや画質等に応じて変更してもよい。

この判定により、動画データと、静止画データとを記録媒体１５１に記録できない場合には、静止画撮影のみを行い、動画データを記録しないようにしても良い。

また、Ｓ２０５で静止画撮影の指示が入力されたときに、ＲＡＭ１０２に例えば１秒未満や２秒未満等の短い時間分の動画データしか記憶されていない場合には、静止画撮影の指示を無効とするようにしても良い。この時間もユーザ画設定できるようにしても良い。

次に、静止画撮影の指示が入力された場合（Ｓ２０５でＹｅｓ）、ＣＰＵ１０１は、撮像部１１０に静止画データ用の撮影を実行させる（Ｓ２１０）。ＣＰＵ１０１は、このとき並行して符号化復号化処理部１３０に、ＲＡＭ１０２に記憶されている動画データの先頭フレームの画像を復号させ、サムネイル画像生成処理を実行させる（Ｓ２１１）。なお、本実施形態では記録される動画データのサムネイル画像は先頭フレームの画像から生成されるものとして説明するが、本発明の実施はこれに限らず、記録される動画データのフレームのうちのいずれかのフレームの画像から生成されればよい。すなわち、静止画撮影の指示があったときに、ＲＡＭ１０２に記憶されている動画データのいずれかのフレームを用いたサムネイル画像が生成されればよい。このようにすることで、一度動画データの記録媒体へのファイル記録が終了してから、記録媒体から動画ファイルを読み出したりすることなく、動画データのサムネイルを生成することができるので、処理が早くなる。なお、静止画の撮影指示がなされたと判断した場合、ＣＰＵ１０１は更なる静止画の撮影指示がなされても、指示を受け付けないよう制御する。

次に、ＣＰＵ１０１は、符号化復号化処理部１３０によるサムネイル画像生成処理が完了したか否かを判定し（Ｓ２１２）、処理が完了している場合には、次に、Ｓ２１０で撮影されたデジタル画像信号を静止画データとするべく、画像処理部１１１に現像処理を、符号化復号化処理部１３０に符号化処理を順次実行させる（Ｓ２２０）。このとき、ＣＰＵ１０１は並行して、サムネイル生成処理で生成されたサムネイル画像をＲＡＭ１０２に一時記憶されている符号化済みの動画データのヘッダ情報に含めて、記録媒体１５１に記録するように記録再生宇１５０を制御する（Ｓ２２１）。ここで、静止画の現像処理（Ｓ２２０）とは、撮影時に各画素に対してその周辺画素から足りない色情報を集め与えることで色情報を補完し、フルカラー画像を作り出す「デモザイク」処理等を含む処理で、このほかに、ガンマ補正、ホワイトバランス調整などの処理を含んでも良い。

ＣＰＵ１０１は、前述した現像処理が終了すると、現像したデジタル画像データを再びＲＡＭ１０２に記憶させ、表示制御部１４１に読み出させて、表示部１４０に表示させる。これは、一般にデジタルカメラで撮影を行った直後に表示部１４０に、撮影画像を表示させる、所謂「レックレビュー」表示である。ちなみに、静止画撮影の指示がなされてから静止画の現像処理が終了するまでの間、表示部１４０には、何の画像も表示されておらず、黒画像が表示されている。また、代わりに「処理中」などの状態をユーザに提示するための表示をさせても良い。

また、現像処理が終了すると、ＣＰＵ１０１は、予め設定された静止画記録用の符号化方式に従って符号化復号化処理部１３０に符号化処理を実行させる。次にＣＰＵ１０１は、静止画の現像処理、符号化処理が終了したか否かを判定する（Ｓ２２２）。静止画の符号化処理が終了したと判定すると、（Ｓ２２２でＹｅｓ）、ＣＰＵ１０１は、生成された静止画データを記録再生部１５０に送り、記録媒体１５１に記録させる（Ｓ２２３）。そして、ユーザが操作入力部１０２を操作してダイジェストムービーモードを抜ける指示をしていないかぎり（Ｓ２２４でＮｏ）、ＣＰＵ１０１は、静止画の記録と並行して、動画の撮影、符号化処理（Ｓ２０１）を開始する。このとき、ＣＰＵ１０１は、表示制御部１４１に、ＲＡＭ１０２に記憶されたデジタル画像信号を読み出させ、再びスルー画像を表示部１４０に表示させる。

以上のように、本実施例の撮像装置１００は、「ダイジェストムービーモード」において、動画ファイルと、静止画ファイルを記録する。

ここで、本実施例の「ダイジェストムービーモード」において、記録媒体１５１に既に記録されている動画ファイル（既存動画ファイル）の動画データに対して、新たに撮影された動画データ（新規動画データ）を連結（追記）する場合の例について説明する。たとえば、既存動画ファイルの記録された日付と、新規動画データの取得した日付（撮影時点でのカメラの日付設定でも良い）とが同じ場合には、動画データを連結するものとすると、図３に示すように記録される。図３は、撮影タイミングと、動画ファイル、静止画ファイルの記録状態を示すものである。

同一の撮影日を有する静止画ファイルＰ１、Ｐ２、及びＰ３は記録媒体１５１の１つのフォルダ（同一フォルダ内）に記録され、各静止画の撮影直前にＲＡＭ１０２に記憶された動画データは同じフォルダに１つの連結された動画ファイルとして記録される。また、静止画ファイルＰ１からＰ３とは異なる撮影日を有するＰ４及びＰ５は、静止画ファイルＰ１が記録されたフォルダとは異なるフォルダに記録されるものとする。このとき、静止画ファイルＰ４の撮影直前にＲＡＭ１０２に記憶された動画データが、当該動画データの途中で撮影日が変更された場合であっても、静止画ファイルＰ４の撮影日と同一のフォルダに記録されるように制御するものとする。すなわち、撮影指示の入力されたタイミングの日付情報によって、動画データを連結するか新規に保存するかのいずれかを決定することにもなる。

また、本実施形態では、静止画撮影の指示が入力される毎に、動画データに対応するサムネイル画像を生成するものとして説明したが、たとえばＰ１の静止画データの撮影時に生成される動画データＭ１に対応するサムネイルは生成し、追記されるＭ２、Ｍ３の動画データのサムネイル画像を生成しないようにしても良い。このようにすると、動画ファイル１つについて、サムネイル画像を１つとすることができる。

次に、記録媒体１５１に記録される動画ファイルのファイルフォーマットについて説明する。図４は、本実施例の動画のファイルフォーマットを説明するための図である。

本実施例において、動画ファイルはＭＯＶフォーマットで記録されている。なおＭＯＶフォーマットでは、ファイルに記録されるデータは「アトム」と呼ばれるデータ構造の内部に記述され、アトムを単位としてファイルに記録される。各アトムはそれぞれ、「Ｓｉｚｅフィールド」、「Ｔｙｐｅフィールド」を有する。「Ｓｉｚｅフィールド」は、Ｓｉｚｅフィールドを含む、アトム全体のデータサイズを表す４バイトのフィールドである。「Ｔｙｐｅフィールド」は、アトムの種類を表す４バイトのタイプ識別子のフィールドである。なお、各アトムにおいて「Ｔｙｐｅフィールド」以降のフィールドはアトムによってはオプションであるため、ここでは説明を省略する。また、アトム内に他のアトムを包含することが可能であり、それにより入れ子構造を実現している。ＭＯＶフォーマットで記録された動画ファイルは、図６に示すような構造で各アトムを格納している。

図４に示すように、ＭＯＶフォーマットの動画ファイルは、以下のアトムを有する。
ファイルの種別を表す、ｆｔｙｐ（ファイルタイプアトム）７０１。後述のｍｖｈｄ（ムービーヘッダアトム）７０６やｔｒａｋ（トラックアトム）７０７、７０８、７０９などを含む、音声や映像に関する情報を格納した、ｍｏｏｖ（ムービーアトム）７０２。音声や映像、テキストなどの実データが格納した、ｍｄａｔ（ムービーデータアトム）７０３。

また、ｍｏｏｖ（ムービーアトム）７０２には、以下のアトムが格納される。
任意のデータが格納された、ｕｄｔａ（ユーザーデータアトム）７０４。撮像装置１００のモデル名や通信部１５２で受信した撮像装置１００の位置情報やＵＴＣ時刻などのメタデータが格納された、ｍｅｔａ（メタデータアトム）７０５。動画の作成日時や修正日時、タイムスケール、Ｄｕｒａｉｏｎなどが格納された、ｍｖｈｄ（ムービーヘッダアトム）７０６。映像用のｔｒａｋ（トラックアトム）７０７。音声用のｔｒａｋ（トラックアトム）７０８。テキスト用のｔｒａｋ（トラックアトム）７０９。

さらに、各ｔｒａｋ（トラックアトム）７０７〜７０９には、以下のアトムが格納される。
そのトラックの作成日時やＤｕｒａｔｉｏｎ（後述のチャンク内の各サンプルの間の時間的間隔）、そしてＩＤなどが格納した、ｔｋｈｄ（トラックヘッダアトム）７１０。なお、本実施例では、映像トラックのＩＤは１、音声トラックのＩＤは２、テキストトラックのＩＤは３、とする。トラック間の参照情報を格納したｔｒｅｆ７１１。本実施例では、映像トラックがテキストトラックをチャプタとして参照するため、映像用のｔｒｅｆ７１１には、テキストトラックのＩＤである３が記載され、それをチャプタとして参照するため、識別子として‘ｃｈａｐ’と記載されている。音声トラックにおいても、も同様である。本実施例では、テキストトラックにはｔｒｅｆは存在しなくて良い。

また、各ｔｒａｋ（トラックアトム）７０７〜７０９には、以下のアトムも格納される。
１チャンクがいくつのサンプル（映像の場合はフレーム）数で構成されているかを示すｓｔｓｃ（サンプルチャンクアトム）７１２。本実施例では全ての映像チャンクが１チャンク＝１サンプル（フレーム）から構成されるものとする。サンプル数と各サンプル間の時間的間隔（Ｄｕｒａｔｉｏｎ）を格納した、ｓｔｔｓ（同期サンプルアトム）７１３。各サンプルのデータサイズを格納した、ｓｔｓｚ（サンプルサイズアトム）７１４。各チャンクのファイルオフセットを格納したｓｔｃｏ（チャンクオフセット）７１５。

音声や映像、テキストなどの実データが格納した、ｍｄａｔ（ムービーデータアトム）７０３には、以下のアトムが格納される。
各チャプタのタイトルをテキストデータとして格納したテキストチャンク７１６、７１７。テキストチャンク７１６、７１７は、最初の領域には、後に続くテキストデータのデータサイズ（１６進数）を示すデータが格納される。テキストデータ領域にはテキストデータがＡＳＣＩＩコードで格納される。本実施例では、「ダイジェストムービーモード」において静止画の撮影された撮影時刻をテキストデータとして記載する。すなわち、「ダイジェストムービーモード」で、１２時３４分５６秒に静止画撮影の指示があった場合、記録媒体に記録される動画は、１２時３４分５２秒〜１２時３４分５６秒に対応する動画である。しかし、この動画のチャプタのタイトルを示すテキストチャンクのテキストデータとして、静止画撮影の指示があった１２時３４分５６秒に対応するテキストデータが書き込まれる。

また、音声や映像、テキストなどの実データが格納した、ｍｄａｔ（ムービーデータアトム）７０３には、以下のアトムも格納される。
音声データチャンク７１８、７１９。映像データチャンク７２０、７２１、７２２等。図７において、アルファベットはピクチャの種類を示す。すなわち、フレーム内予測符号化されたＩピクチャであるか、前方予測のフレーム間予測符号化されたＰピクチャ、双方向予測のフレーム間予測符号化されたＢピクチャのいずれかを示す。本実施例では、フレーム内予測符号化されたＩピクチャであるためＩが付されている。さらに、アルファベットの添え字の数字は先頭からのフレーム番号を表している。つまり、映像データチャンク７２０は、１番目のフレームがＩピクチャ（フレーム内予測符号化ピクチャ）であることを表している。

ここで、ｍｄａｔアトム７０３のデータの格納状態について説明する。

前述したようにｍｄａｔアトム７０３には、テキストチャンク、音声チャンク、映像チャンクが格納されている。なお、本実施例においては、音声チャンク１個と、映像チャンクを１５個とを組として格納している。これは、音声データ０．５秒と、映像の１５フレームが対応するようにするためにこのように記録している。しかし、格納方法この方式に限られない。さらに、本実施例のようにチャプタごとに、テキストチャンク７１６、７１７が格納される。これは、チャプタ１つにつき一つのテキストチャンクが対応する。すなわち、本実施例のように「ダイジェストムービーモード」で撮影を繰り返すと、撮影される度にテキストチャンクがｍｄａｔアトムに格納されることになる。テキストチャンクは、チャプタ一つに対応するものとなる。また、テキスト用のｔｒａｋアトムのテキスト用のｓｔｔｓアトムにも、テキストチャンクのサンプルの再生間隔（Ｄｕｒａｔｉｏｎ）が格納されている。

動画ファイルはこのようなフォーマットで記録されている。

そのため、たとえば、ｍｄａｔ内の任意の映像フレームや音声データ、またはチャプタにアクセスする場合には、ｍｏｏｖ７０２のｓｔｓｚ７１４およびｓｔｃｏ７１５に格納されている情報を用いればよい。

ここで、静止画と動画のヘッダやチャプタに記録されている情報について説明する。

図５は、記録媒体１５１に記録された動画ファイル、静止画ファイルの内容を説明するためのものである。図５において、本実施例を説明するのに不要なヘッダ情報などは省略している。

図５に示すように、「ダイジェストムービーモード」で撮影された静止画ファイルのヘッダ領域には、撮影日時の情報と、「ダイジェストムービーモード」で撮影されたことを示す「ＭＤＧフラグ」が記載されている。また、「ダイジェストムービーモード」で撮影された動画ファイルのヘッダ領域には、動画ファイルの撮影日時の情報が記録されている。しかし、この撮影日時情報も、「ダイジェストムービーモード」で最初に撮影された静止画の撮影日時の情報と同じ日時が記載されている。また、本実施例の撮像装置１００では、「ダイジェストムービーモード」で、静止画が撮影される度に動画を連結するが、連結される動画データは、それぞれ異なるチャプタとして取り扱う。そのために、「ダイジェストムービーモード」で撮影された動画ファイルのヘッダ領域には、各チャプタに対応する動画データのフレーム番号が記載されている。本実施例では、これらのチャプタ番号にさらに、静止画撮影のされた日時情報を関連づけて記載している。再生時には、指定されたチャプタ番号や撮影日時の情報に対応するフレーム番号を特定し、特定されたフレーム番号から再生を行うことができる。

また、動画データと共に記録されるテキストデータとしても、静止画撮影のされた日時を示す情報が記録されている。

次に、再生モードについて、説明する。

本実施例の撮像装置１００は、再生モードにおいて、静止画ファイルや動画ファイルの一覧画面を表示部１４０に表示する。なお、一覧画面は、静止画ファイルのみの一覧画面、動画ファイルのみの一覧画面、静止画ファイルと動画ファイル乃混在した一覧画面などを表示する。そして、指定された静止画ファイルを再生して、静止画ファイルの画像を表示部１４０に表示する。このとき、「ダイジェストムービーモード」で撮影された静止画ファイルを再生している場合は、対応する「ダイジェストムービーモード」で撮影された動画ファイルの存在を示す情報を表示する。ユーザによって対応する動画ファイルの再生を指示されると、対応する動画ファイルの再生を開始して良いか確認する画面を表示し、ユーザによって許可されると、対応する動画ファイルの再生を開始する。対応する動画ファイルの再生が終了すると、動画ファイルの一覧画面を表示し、最後に表示された動画ファイルを選択した状態で、ユーザの指示を待つ。

操作部１０４により再生モードが指定されると、ＣＰＵ１０１は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、図６、図７に示す再生制御フローを開始する。なお、図６、図７のフロー図に示す処理は、ＣＰＵ１０１がＲＡＭ１０２に展開したプログラムに基づいて、撮像装置１００の各部を制御することにより、実行される処理である。

ＣＰＵ１０１は、再生モードが指定されると、記録媒体１５１からファイルの一覧情報を読出すように記録再生部１５０を制御し、各ファイルを示す情報を表示部１４０に表示するように表示制御部１４１を制御する。各ファイルを示す情報としては、例えば、各ファイルに含まれる代表画像などである。また、ＣＰＵ１０１は、各ファイルの選択状態を示す選択画像を表示部１４０に表示するように表示制御部１４１を制御する（Ｓ６０１）。

なお、本実施例においては、撮影モードにおいて撮影が行われた後に、再生モードに移行した場合は、最後に撮影された画像ファイルを選択した状態になるように選択画像を表示する。また、再生モードにおいて、再生が行われると、最後に再生していた画像を選択した状態になるように選択画像を表示する。

次に、ＣＰＵ１０１は、操作部１０４からの操作信号に基づいて選択された静止画ファイルや動画ファイルの静止画データや動画データを記録媒体１５１から読出すように記録再生部１５０を制御する。そして、ＣＰＵ１０１は、静止画データや動画データを復号するように符号化復号化処理部１３０を制御し、それらの画像を表示部１４０に表示するように表示制御部１４１を制御する（Ｓ６０２）。

このとき、ＣＰＵ１０１は、読出したファイルが静止画ファイルである場合には、静止画ファイルのヘッダにＭＤＧフラグが含まれているか否かを判定する。すなわち、選択した静止画ファイルが「ダイジェストムービーモード」で撮影された静止画であるか否かを判定する（Ｓ６０３）。

判定の結果、静止画ファイルのヘッダにＭＤＧフラグが含まれていない場合（「ダイジェストムービーモード」で撮影された静止画でない場合）、ＣＰＵ１０１は、他の指示があるまでは指定されたファイルの再生を継続する（Ｓ６０４でＮｏ）。また、他の指示がある場合は、他の処理または、他の指定された画像ファイルに含まれる静止画データや動画データを示す画像を表示部１４０に表示するように表示制御部１４１を制御する（Ｓ６０４でＹｅｓ）。

一方、判定の結果、静止画ファイルのヘッダにＭＤＧフラグが含まれている場合（「ダイジェストムービーモード」で撮影された静止画である場合）、ＣＰＵ１０１は、関連する動画ファイルが存在する旨を表示するように表示制御部１４１を制御する（Ｓ６１１）。

そして、ＣＰＵ１０１は、操作部１０４から関連する動画ファイルを再生する指示が入力されているか否かを判定する（Ｓ６１２）。判定の結果、入力がなければＳ６０４に処理を移す。判定の結果、関連する動画ファイルを再生する指示が入力されている場合（Ｓ６１２でＹｅｓ）、関連する動画ファイルを再生するか否かを問うための確認画面を表示するように表示制御部１４１を制御する（Ｓ６１３）。そして、ＣＰＵ１０１は、Ｓ６１３で確認画面を表示しているときに、動画ファイルを再生することを許可する指示が操作部１０４から入力されるかを判定する（Ｓ６１４）。Ｓ６１４で動画ファイルを再生することを許可する指示が入力されない場合には、処理をＳ６１１に移行する（Ｓ６１４でＮｏ）。また、Ｓ６１４で動画ファイルを再生することを許可する指示が入力された場合には、関連する動画ファイルを再生するように、記録再生部１５０を制御する（Ｓ６２１）。

このように、「ダイジェストムービーモード」で撮影された静止画を再生中に、関連する動画ファイルを再生するか否かを問い合わせるのは以下の理由がある。

例えば、「ダイジェストムービーモード」で、多回数の撮影を行った場合。本実施例の撮像装置は、動画ファイルの再生終了後に再生終了した動画ファイルを選択した状態で停止し、元の画像を選択した状態に戻らない。そのため、元の静止画ファイルを選択する状態に戻すには、再度画像を探し出すために多くの操作を行わなくてはならなくなるからである。そのため、関連する動画ファイルを再生する場合は、Ｓ６１３のように、確認画面を表示するのである。なお、確認画面において、さらに、「現在表示している静止画ファイルの再生が、動画ファイルの再生後、自動的に行われない」旨の通知をしても良い。

Ｓ６２１の処理が終了すると、ＣＰＵ１０１は、再生モードが終了されたか否かを判定し（Ｓ６２２）、終了されていなければ、処理をＳ６０２から繰り返す。

次に、再生中の静止画ファイルに対応する動画を再生する場合の処理（Ｓ６２１）を図７のフロー図を用いて説明する。

再生中の静止画ファイルに対応する動画ファイルの再生の要求があると、ＣＰＵ１０１は、静止画ファイルのヘッダに記録されている撮影日時情報を読出すように記録再生部１５０を制御する（Ｓ７０１）。次に、ＣＰＵ１０１は、記録媒体１５１に記録されている動画ファイル（拡張子「ＭＯＶ」のファイル）のうち、ファイル名に「ＭＤＧ」が含まれる動画ファイルを特定する。次に、ＣＰＵ１０１は、特定された動画ファイルの撮影日時情報を解析し、再生中の静止画ファイルの撮影日時情報と同じ日付の動画ファイルを特定する（Ｓ７０２）。

次に、ＣＰＵ１０１は、特定された動画ファイルの動画データを読出すように記録再生部１５０を制御し、読出された動画データを先頭から順次復号するように符号化復号化処理部１３０を制御すると共に、復号された画像を表示するように表示制御部１４１を制御する（Ｓ７０３）。

次に、ＣＰＵ１０１は、再生された動画ファイルの動画データの再生が最後まで終了したか、またはユーザの操作部１０４の指示により中断したかを判定する（Ｓ７０４）。中断または終了していない場合（Ｓ７０４でＮｏ）、ＣＰＵ１０１は、動画の再生を継続するように記録再生部１５０、符号化復号化処理部１３０、表示制御部１４１をそれぞれ制御する。中断または終了した場合、Ｓ６０１と同様に、ＣＰＵ１０１は、記録媒体１５１からファイルの一覧情報を読出すように記録再生部１５０を制御し、各ファイルを示す情報を表示部１４０に表示するように表示制御部１４１を制御する。このとき、動画ファイルを再生した後であるため、本実施例においては、最後に再生していた動画ファイルを選択した状態になるように選択画像を表示する（Ｓ７０５）。

このように、本実施例の撮像装置１００は、「ダイジェストムービーモード」で撮影された静止画ファイルを再生している時に、関連する動画ファイルを再生することができる。そして、再生していた画像ファイルの再生が終了すると、再生していた画像ファイルを選択した状態で画像選択画面に戻るため、関連する動画ファイルを再生する直前に、動画ファイルの再生を行うか否かの問合せ画面を表示する。このようにすることで、複数の静止画ファイルが動画ファイルと関連付いているときに、関連付いている動画ファイルの再生後に元々再生していた静止画ファイルを自動的に再生できない場合に、意図しないファイル選択が行われないようにすることができる。

なお、本実施例においては、常に関連する動画ファイルを再生する直前に、動画ファイルの再生を行うか否かの問合せ画面を表示するものとした。しかし、たとえば、動画ファイルに関連付けられた静止画ファイル数が所定の閾値よりも少ない場合や、関連付けられた動画ファイルのファイル名に付加された番号の差が所定の閾値よりも小さい場合には問い合わせが面を表示しなくても良い。

なお、本実施例において、「ダイジェストムービーモード」で撮影された静止画ファイルの再生中に、対応する動画ファイルを再生する例について説明した。しかし、例えば、複数の静止画ファイルが、一つの動画ファイルかくシーンに対応するような場合には、本実施例の再生方法を適用することができる。すなわち、実施例１、２の再生モードにおける画像処理は、「ダイジェストムービーモード」以外の記録方式で記録された、静止画ファイルと動画ファイルの画像処理についても適用することができる。

本実施例では、撮像装置を例にとって説明した。しかし、本実施例の再生処理を実行することができるものであれば、本発明を適用することができる。例えば、コンピュータ、タブレット型端末、スマートフォン、携帯電話、テレビ、等であっても良い。また、本実施例の削除処理をコンピュータに実行させる為のプログラムも本発明の思想に含まれる。

（実施例２）
本実施例においても、画像処理装置として、撮像装置を例に取って説明する。本実施例の撮像装置は、再生モードの動作以外は、実施例１の撮像装置１００と同様の動作を行い、ブロック構成は図１と同様である。そのため、図１のブロック構成を用いて、説明を行う。

なお、ブロック構成の説明、「ダイジェストムービーモード」の説明は実施例１と同様であるため、説明を省略する。

次に、再生モードについて、説明する。

本実施例の撮像装置１００は、再生モードにおいて、静止画ファイルや動画ファイルの一覧画面を表示部１４０に表示する。なお、一覧画面は、静止画ファイルのみの一覧画面、動画ファイルのみの一覧画面、静止画ファイルと動画ファイル乃混在した一覧画面などを表示する。そして、指定された静止画ファイルを再生して、静止画ファイルの画像を表示部１４０に表示する。このとき、「ダイジェストムービーモード」で撮影された静止画ファイルを再生している場合は、対応する「ダイジェストムービーモード」で撮影された動画ファイルの存在を示す情報を表示する。ユーザによって対応する動画ファイルの再生を指示されると、対応する動画ファイルの再生を開始する。

本実施例の撮像装置は、対応する動画ファイルの再生が終了すると、元々表示していた静止画ファイルを選択した状態または、再生した状態に戻る。また、動画ファイルの再生がユーザによる操作部１０４の操作により中断された場合には、中断された動画ファイル内のシーン（チャプタ）に対応する静止画ファイルを選択した状態または、再生した状態に戻る。

操作部１０４により再生モードが指定されると、ＣＰＵ１０１は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、図８、図９に示す再生制御フローを開始する。なお、図６、図７のフロー図に示す処理は、ＣＰＵ１０１がＲＡＭ１０２に展開したプログラムに基づいて、撮像装置１００の各部を制御することにより、実行される処理である。

ＣＰＵ１０１は、再生モードが指定されると、記録媒体１５１からファイルの一覧情報を読出すように記録再生部１５０を制御し、各ファイルを示す情報を表示部１４０に表示するように表示制御部１４１を制御する。各ファイルを示す情報としては、例えば、各ファイルに含まれる代表画像などである。また、ＣＰＵ１０１は、各ファイルの選択状態を示す選択画像を表示部１４０に表示するように表示制御部１４１を制御する（Ｓ８０１）。

なお、本実施例においては、撮影モードにおいて撮影が行われた後に、再生モードに移行した場合は、最後に撮影された画像ファイルを選択した状態になるように選択画像を表示する。なお、基本的に再生モードにおいて、再生が行われると、最後に再生していた画像を選択した状態になるように選択画像を表示する。しかし、「ダイジェストムービーモード」で撮影された動画ファイルの再生後は、再生中断のシーン（チャプタ）に対応する静止画ファイルまた、再生終了後は、元々再生していた静止画ファイルを選択した状態になるように選択画像を表示する。なお、選択した状態ではなく、静止画ファイルの静止画データを再生して表示部１４０に表示するようにしても良い。

次に、ＣＰＵ１０１は、操作部１０４からの操作信号に基づいて選択された静止画ファイルや動画ファイルの静止画データや動画データを記録媒体１５１から読出すように記録再生部１５０を制御する。そして、ＣＰＵ１０１は、静止画データや動画データを復号するように符号化復号化処理部１３０を制御し、それらの画像を表示部１４０に表示するように表示制御部１４１を制御する（Ｓ８０２）。

このとき、ＣＰＵ１０１は、読出したファイルが静止画ファイルである場合には、静止画ファイルのヘッダにＭＤＧフラグが含まれているか否かを判定する。すなわち、選択した静止画ファイルが「ダイジェストムービーモード」で撮影された静止画であるか否かを判定する（Ｓ８０３）。

判定の結果、静止画ファイルのヘッダにＭＤＧフラグが含まれていない場合（「ダイジェストムービーモード」で撮影された静止画でない場合）、ＣＰＵ１０１は、他の指示があるまでは指定されたファイルの再生を継続する（Ｓ８０４でＮｏ）。また、他の指示がある場合は、他の処理または、他の指定された画像ファイルに含まれる静止画データや動画データを示す画像を表示部１４０に表示するように表示制御部１４１を制御する（Ｓ８０４でＹｅｓ）。

一方、判定の結果、静止画ファイルのヘッダにＭＤＧフラグが含まれている場合（「ダイジェストムービーモード」で撮影された静止画である場合）、ＣＰＵ１０１は、関連する動画ファイルが存在する旨を表示するように表示制御部１４１を制御する（Ｓ８１１）。

そして、ＣＰＵ１０１は、操作部１０４から関連する動画ファイルを再生する指示が入力されているか否かを判定する（Ｓ８１２）。判定の結果、入力がなければＳ８０４に処理を移す。判定の結果、関連する動画ファイルを再生する指示が入力されている場合（Ｓ８１２でＹｅｓ）、関連する動画ファイルを再生するように、記録再生部１５０を制御する（Ｓ８２１）。本実施例においては、このとき、ＣＰＵ１０１は、表示していた静止画ファイルを特定する情報をＲＡＭ１０２に一時的に記憶する。例えば、表示していた静止画ファイルを特定する情報としては、撮影日時情報であったり、ファイル名やファイルパスであったり、特定できる情報であればどのような情報であっても良い。

Ｓ８２１の処理が終了すると、ＣＰＵ１０１は、再生モードが終了されたか否かを判定し（Ｓ８２２）、終了されていなければ、処理をＳ８０２から繰り返す。

次に、再生中の静止画ファイルに対応する動画を再生する場合の処理（Ｓ８２１）を図９のフロー図を用いて説明する。

再生中の静止画ファイルに対応する動画ファイルの再生の要求があると、ＣＰＵ１０１は、静止画ファイルのヘッダに記録されている撮影日時情報を読出すように記録再生部１５０を制御する（Ｓ９０１）。次に、ＣＰＵ１０１は、記録媒体１５１に記録されている動画ファイル（拡張子「ＭＯＶ」のファイル）のうち、ファイル名に「ＭＤＧ」が含まれる動画ファイルを特定する。次に、ＣＰＵ１０１は、特定された動画ファイルの撮影日時情報を解析し、再生中の静止画ファイルの撮影日時情報と同じ日付の動画ファイルを特定する（Ｓ９０２）。

次に、ＣＰＵ１０１は、特定された動画ファイルのヘッダを解析し、再生中の静止画ファイルの撮影日時情報と同じ時刻のシーン（チャプタ）を特定する。そして、特定されたシーン（チャプタ）の動画データを読出すように記録再生部１５０を制御し、読出された動画データを順次復号するように符号化復号化処理部１３０を制御すると共に、復号された画像を表示するように表示制御部１４１を制御する（Ｓ９０３）。なお、実施例１のように、特定された動画ファイルの動画データを先頭から順次復号するように符号化復号化処理部１３０を制御すると共に、復号された画像を表示するように表示制御部１４１を制御してもよい。

次に、ＣＰＵ１０１は、再生された動画ファイルの動画データの再生がユーザの操作部１０４の指示により中断したかを判定する（Ｓ９１１）。中断した場合（Ｓ９１１でＹｅｓ）、ＣＰＵ１０１は、記録媒体１５１からファイルの一覧情報を読出すように記録再生部１５０を制御し、各ファイルを示す情報を表示部１４０に表示するように表示制御部１４１を制御する。このとき、ＣＰＵ１０１は、動画ファイルの中断したシーン（チャプタ）に対応する静止画ファイルを選択した状態でファイル一覧を表示する（Ｓ９１２）。

そのために、ＣＰＵ１０１は、動画ファイルの中断したシーン（チャプタ）に対応する撮影時刻の情報を動画ファイルのヘッダに記録された、フレーム番号とチャプタと静止画の撮影時刻の関連づけられた情報から読出す。そして、ＣＰＵ１０１は、記録媒体１５１に記録されている静止画ファイル（拡張子「ＪＰＧ」のファイル）を特定する。次に、ＣＰＵ１０１は、特定された動画ファイルの撮影日時情報を解析し、中断したシーン（チャプタ）に関連づけられた記録時間の静止画ファイルを特定する。そして、ＣＰＵ１０１は、特定された静止画ファイルを選択した状態になるように選択画像を表示するように表示制御部１４１を制御する。なお、選択した状態ではなく、静止画ファイルの静止画データを再生して表示部１４０に表示するように表示制御部１４１を制御しても良い。また、本実施例では、中断したシーンに対応する静止画ファイルを表示するものとしたが、中断したシーンの一つ前のシーンに対応する静止画ファイルを表示するようにしても良い。その場合には、一つ前のチャプタに対応する撮影時刻の情報を読出して、同様の処理を行えば良い。

一方、ＣＰＵ１０１は、再生された動画ファイルの動画データの再生がユーザの操作部１０４の指示により中断されず、再生終了した場合（Ｓ９２１でＹｅｓ）。ＣＰＵ１０１は、記録媒体１５１からファイルの一覧情報を読出すように記録再生部１５０を制御し、各ファイルを示す情報を表示部１４０に表示するように表示制御部１４１を制御する。このとき、ＣＰＵ１０１は、動画ファイルの再生前に表示していた静止画ファイルを選択した状態でファイル一覧を表示する（Ｓ９２２）。

そのために、ＣＰＵ１０１は、Ｓ８１２の処理で、ＲＡＭ１０２に一時的に記憶した、
表示していた静止画ファイルを特定するための情報を読出す。

そして、ＣＰＵ１０１は、記録媒体１５１に記録されている静止画ファイル（拡張子「ＪＰＧ」のファイル）のうち、ＲＡＭに記憶された、表示していた静止画ファイルを特定するための情報を特定する。そして、ＣＰＵ１０１は、特定された静止画ファイルを選択した状態になるように選択画像を表示するように表示制御部１４１を制御する。なお、選択した状態ではなく、静止画ファイルの静止画データを再生して表示部１４０に表示するように表示制御部１４１を制御しても良い。

このように、本実施例の撮像装置は、「ダイジェストムービーモード」で撮影された静止画ファイルを再生している時に、関連する動画ファイルを再生することができる。そして、再生していた動画ファイルの再生の終了後に、元々再生していた静止画ファイルをすぐに表示することができる。また、動画ファイルの再生をユーザが中断した場合には、中断したシーンに対応する静止画ファイルをすぐに表示することができる。

なお、本実施例において、動画ファイルの再生をユーザが中断した場合には、中断したシーンに対応する静止画ファイルを選択した状態で一覧画面を表示するものとした。しかし、再生の終了後に、元々表示していた静止画ファイルを選択した状態で一覧画面を表示しても良い。

なお、本実施例においては、表示していた静止画ファイルに対応する動画ファイルを再生する場合には、動画データの先頭、または対応するチャプタから再生を行うものとした。しかし、例えば動画ファイルの対応するチャプタの動画データのみを再生して、その後、元々再生していた静止画ファイルの画像を表示するようにしても良い。

また、実施例１のように、画像ファイルの再生の終了または中断によって、再生の終わった画像ファイルを選択した状態に戻る第１のモードか、実施例２のように、対応する静止画ファイルを選択した状態に戻る第２のモードかをユーザが自由に設定できるようにしても良い。この場合、実施例１の設定（第１のモード）であれば、Ｓ６１３の確認画面を表示するが、実施例２の設定（第２のモード）であれば、確認画面を表示しない。このようにすることで、設定に応じたスムーズな操作画可能になる。

なお、実施例１、２の撮像装置１００は、基本的に、既存動画ファイルの動画データに対して、新規動画データを追記するものとするが、以下のような条件を満たす場合には、追記しないようにしている。
・追記対象の既存動画ファイルがプロテクトされている場合
記録媒体１５１に記録されている特定の動画ファイル「ＭＤＧ＿０００Ｘ．ＭＯＶ」がプロテクトされている場合には、ユーザがファイルの改変を望まないファイルである可能性が高いので、追記不可能とする。
・追記撮影によりファイルサイズが所定のサイズを超える場合
記録媒体１５１は、前述したようにたとえばＦＡＴファイルシステムで管理されている。その場合、たとえば、ＦＡＴ３２では、１ファイルあたり４ＧＢ以上になると読み込めなくなってしまう。そのため、次の撮影により「追記動画ファイル」が４ＧＢを超える場合には、追記不可能とする。
・追記対象の既存動画ファルの動画のＧＯＰ構造に異常がある場合
記録媒体１５１に記録されている追記対象である特定の動画ファイル「ＭＤＧ＿０００Ｘ．ＭＯＶ」のチェックの結果、ＧＯＰ構造に異常がある場合には、追記する動画データにまで影響が出てしまう可能性があるので、追記不可能とする。
・追記対象のファイルが無い場合
ダイジェストムービーモードで撮影された動画には、ファイル名として、「ＭＤＧ＿０００Ｘ．ＭＯＶ」という、ＭＤＧという識別子と通し番号４桁が付加されるようになっている。しかし、ファイル名に「ＭＤＧ」を含む識別子の動画がない場合には、ダイジェストムービーモードで撮影された動画ファイルが存在しないので、追記不可能とする。また、撮像装置１００の不図示の不揮発性メモリに最後にダイジェストムービーモードで記録した動画ファイルのファイル名を記録させておき、そのファイルが存在しない場合にも、追記不可能とする。
・追記対象の動画ファイルの撮影日が撮像装置に設定された日と異なる場合
ダイジェストムービーモードで同一撮影日に撮影された動画データを順次追記する場合には、日付の変更に伴って、別の動画ファイルを記録することになるので、追記不可能とする。
・追記対象の動画ファイルに関連づけられた地域設定が撮像装置に設定された地域と異なる場合
ダイジェストムービーモードで同一地域で撮影された動画データを順次追記する場合には、地域の変更に伴って、別の動画ファイルを記録することになるので、追記不可能とする。たとえば地域情報は、ＧＰＳユニットを用いて、得られた位置情報を用いても良いし、撮像装置の時計の設定時に選択する、「国」の情報を用いても良い。
・追記対象の動画ファイルに関連づけられた撮像装置の情報が、新規動画データを撮影する撮像装置と異なる場合
同一の撮像装置で、ダイジェストムービーモードで撮影された動画データのみを追記する場合には、記録媒体に記録された追記対象の動画ファイルに関連づけられた撮像装置の識別情報が、撮影を行う撮像装置と一致するかを確認する。そして、異なる場合には追記不可とする。
・動画記録設定が追記元の既存動画ファイルと同一でない場合
本実施例のように、既存動画ファイルに新規動画データを追記する場合には、動画の途中で、フレームレートや画像サイズ、ＧＯＰ構成、動画符号化方式が変更されてしまうと、シームレスに再生できなくなってしまう可能性がある。そのため、既存動画ファイルの動画データと、新規動画データの動画記録設定が同一でない場合には、追記不可能とする。フレームレートや画像サイズ、ＧＯＰ構成、動画符号化方式等の情報は、既存動画ファイルのファイルヘッダ等に記録されている。
・音声記録設定が追記元の既存動画ファイルと同一でない場合
本実施例のように、既存動画ファイルに新規動画データを追記する場合には、動画の途中で、音声のサンプリングレート、チャンネル数、ビット深度や、音声符号化方式等が変更されてしまうと、再生できなくなってしまう可能性がある。そのため、既存動画ファイルの動画データと、新規動画データファイルの音声記録設定が同一でない場合には、追記不可能とする。音声のサンプリングレートや、音声符号化方式等の情報は、既存動画ファイルのファイルヘッダ等に記録されている。
・記録媒体１５１の挿抜履歴がある場合
撮像装置１００の起動時に、ＣＰＵ１０１は、最後に連続動画撮影モードにおいて撮影した後に、記録媒体１５１が挿抜された履歴が、不図示の不揮発性メモリに残っている場合には、追記不可能とする。これは、記録媒体１５１に記録されている「ＭＤＧ＿０００Ｘ．ＭＯＶ」がコンピュータなどにより編集されてしまい、画像サイズなどが変更され、追記により動画ファイル自体が壊れたりする可能性を低減するためである。そのためには、追記対象の「ＭＤＧ＿０００Ｘ．ＭＯＶ」のファイルヘッダに記録されている撮影日時情報と、不揮発性メモリに残っている挿抜履歴の時間情報とを比較する。追記動画ファイル「ＭＤＧ＿０００Ｘ．ＭＯＶ」は、その動画に記録されている複数のシーンの動画データのうち、最初に撮影された時間情報をファイルヘッダに記録されるようになっている。
・追記撮影により動画再生時間が所定時間を超える場合
撮像装置１００においては、所定時間（たとえば、３０分）を超える撮影を望まない場合を考慮し、連続動画撮影モードにおいて、新たな撮影をすることにより、「追記動画ファイル」の動画データの再生時間が３０分を超える場合には、追記不可能とする。そのためには、たとえば、ファイルヘッダに記載されている「追記動画ファイル」の再生時間を読み出して、２９分５８秒等であれば、追記不可能とするのである。
・追記元の動画ファイルの記録されているフォルダ内のファイル数が所定数以上になる場合
撮像装置１００においては、静止画ファイルや動画ファイルを記録媒体１５１に記録するファイル数をＤＣＦという規格に基づいて記録している。このＤＣＦ規格では、１つのフォルダ内に最大９９９９個のファイルを記録可能としているが、本実施例のように撮影を行った際に、静止画ファイルが新たに生成されるため、静止画ファイルが追記元の動画ファイルの格納されているフォルダに記録できないことがある。その場合には、関連する静止画ファイルと、追記元の動画ファイルとが異なるフォルダに格納されてしまい、ユーザが後で閲覧するときに見づらくなってしまう。そこで、このような場合には、追記をせずに、動画を新規なファイルとして記録し、なおかつ新しいフォルダに格納するものとする。ここでは９９９９個のファイルを上限として説明したが、９９９個でも良いし、９００個でも良いし、１００個でも良い。

また、記録媒体１５１もしくは既存動画ファイルが壊れているなどの原因により、正常にチェックすることができなかった場合も、追記不可と判定する。

本実施例では、撮像装置について説明した。撮像装置としては、一般的なコンパクトデジタルカメラ、デジタル一眼カメラ、ビデオカメラ、携帯電話が含まれる。また、本発明の技術を適用可能な装置は、撮像装置に限らず、たとえば、コンピュータであっても良い。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

Claims

複数のシーンから構成される動画データを含む動画ファイルと、各シーンに対応する静止画ファイルとを含む複数の画像ファイルが記録された記録媒体から画像ファイルを読み出す読み出し手段と、
前記記録媒体に記録された静止画ファイルのうち指定された静止画ファイルに対応する動画ファイルを特定する特定手段と、
前記特定された動画ファイルの動画データの画像を表示手段に表示し、当該動画データを再生する表示制御手段と、
第１のモードにおいては、前記特定された動画ファイルの動画データの再生が終了したことに応じて、前記特定された動画ファイルを選択し、第２のモードにおいては、前記特定された動画ファイルの動画データの再生が終了したことに応じて、前記指定された静止画ファイルを選択するように制御する制御手段とを有し、
前記表示制御手段は、前記第１のモードにおいては、前記特定された動画ファイルの再生を行うか否かを選択する画面を表示手段に表示し、前記第２のモードにおいては、前記特定された動画ファイルの再生を行うか否かを選択する画面を表示手段に表示しないことを特徴とする画像処理装置。
前記第２のモードにおいて、前記制御手段は、前記特定された動画ファイルの動画データの再生が中断したことに応じて、前記指定された静止画ファイルを選択するように制御することを特徴とする請求項１記載の画像処理装置。
前記第２のモードにおいて、前記制御手段は、前記特定された動画ファイルの動画データの再生が中断したことに応じて、前記中断したシーンまたは中断したシーンの一つ前のシーンに対応する静止画ファイルを選択するように制御することを特徴とする請求項１記載の画像処理装置。
前記表示制御手段は、前記特定された動画ファイルの動画データの先頭から再生することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記表示制御手段は、前記特定された動画ファイルの動画データのうち前記指定された静止画ファイルに対応するシーンから再生することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記表示制御手段は、前記特定された動画ファイルの動画データのうち前記指定された静止画ファイルに対応するシーンのみを再生することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
複数のシーンから構成される動画データを含む動画ファイルと、各シーンに対応する静止画ファイルとを含む複数の画像ファイルが記録された記録媒体から、画像ファイルを読み出す読み出しステップと、
前記記録媒体に記録された静止画ファイルのうち指定された静止画ファイルに対応する動画ファイルを特定する特定ステップと、
前記特定された動画ファイルの動画データの画像を表示手段に表示し、当該動画データを再生する再生ステップと、
第１のモードにおいては、前記特定された動画ファイルの動画データの再生が終了したことに応じて、前記特定された動画ファイルを選択し、第２のモードにおいては、前記特定された動画ファイルの動画データの再生が終了したことに応じて、前記指定された静止画ファイルを選択するように制御する制御ステップと、
前記第１のモードにおいては、前記特定された動画ファイルの再生を行うか否かを選択する画面を表示手段に表示し、前記第２のモードにおいては、前記特定された動画ファイルの再生を行うか否かを選択する画面を表示手段に表示しないように制御する表示制御ステップとを有することを特徴とする画像処理方法。
前記制御ステップでは、前記第２のモードにおいて前記特定された動画ファイルの動画データの再生が中断したことに応じて、前記指定された静止画ファイルを選択するように制御することを特徴とする請求項７記載の画像処理方法。
前記制御ステップでは、前記第２のモードにおいて前記特定された動画ファイルの動画データの再生が中断したことに応じて、前記中断したシーンまたは中断したシーンの一つ前のシーンに対応する静止画ファイルを選択するように制御することを特徴とする請求項７記載の画像処理方法。
前記再生ステップは、前記特定された動画ファイルの動画データの先頭から再生することを特徴とする請求項７から９のいずれか１項に記載の画像処理方法。
前記再生ステップは、前記特定された動画ファイルの動画データのうち前記指定された静止画ファイルに対応するシーンから再生することを特徴とする請求項７から９のいずれか１項に記載の画像処理方法。
前記再生ステップは、前記特定された動画ファイルの動画データのうち前記指定された静止画ファイルに対応するシーンのみを再生することを特徴とする請求項７から９のいずれか１項に記載の画像処理方法。
請求項１から６のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
請求項７から１２のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。