JP4701021B2 - データ処理装置及びデータ処理方法 - Google Patents

Description

本発明は、データ処理装置及びデータ処理方法に関する。

例えば、カメラから入力される動画像情報を符号化して動画像符号化情報を生成する一方、マイクから入力された音声信号を符号化して音声符号化情報を生成し、これら動画像符号化情報と音声符号化情報を多重化して記録し、またそれを再生する動画像処理装置が知られている。そのような装置において、動画像情報に関し、ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ ４）の圧縮技術を用いたものがある。

ＭＰＥＧ−４の動画像を構成する画像は、Ｉピクチャ（キーフレームともいう）、Ｐピクチャ、Ｂピクチャの３種類に分類することができる。Ｉピクチャは、Intra符号化画像、つまりフレーム内符号化画像である。Ｐピクチャは、Ｐｒｅｄｉｃｔｉｖｅ符号化画像、つまりフレーム間順方向予測符号化画像であり、Ｉ又はＰピクチャからの予測を利用して画像が復元される。Ｂピクチャは、Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ符号化情報、つまり双方向予測符号化画像であり、順方向フレーム間予測符号と逆方向フレーム間予測符号と内挿的フレーム間予測符号とから画面が復元される。このようにＩピクチャ、Ｐピクチャ、Ｂピクチャから構成されているＭＰＥＧ−４動画像符号化ストリームの任意の動画像にアクセスして再生する場合、完全な画像が復号されない可能性がある。例えばファイル化されたＭＰＥＧ−４動画像符号化ストリームを考えた場合、ユーザがファイルにランダムアクセスした時（頭出し再生等の特殊再生）、Ｉピクチャの位置から再生を開始すれば、Ｉピクチャはフレーム内符号化画像であり、それ自体で完全な１枚の画像を復号することができるので、問題なく再生することができる。しかし、Ｐピクチャ若しくはＢピクチャの位置から再生を開始しようとすると、これらは予測符号化画像であるため、画像を復元するためにはそのフレーム以前のフレーム情報が必要となり、完全な画像が復元されない。このような状況を回避するためには、ユーザがランダムアクセスにより、Ｐピクチャ若しくはＢピクチャにアクセスしようとした場合、自動的にその直前のＩピクチャから復号を開始させるように制御する必要がある。

また、上述したＭＰＥＧ−４の動画圧縮技術により生成された動画像符号化ストリームと、音声符号化ストリームを多重化し、蓄積媒体に一つのファイルとして保存するためのファイルフォーマットとして、ＭＰＥＧ−４ファイルフォーマット（以下、ＭＰ４という）が挙げられる。ＭＰ４のヘッダには、全てのフレームの位置がファイルの先頭からのオフセットのバイト数で記録されており、またＩピクチャのフレーム番号が列挙されているため、上記のランダムアクセスによる再生に対応可能なファイルフォーマットとなっている。ＭＰ４のヘッダ情報は上述した２つの情報（オフセットのバイト数、Ｉピクチャのフレーム番号）の他に様々な情報が含まれる。

一方、ＭＰ４ファイルフォーマットで記録する場合、ストリームデータは時間とともに増大し、そのサイズも非常に大きいため、記録中にもファイルへストリームデータを書き出す必要がある。しかしながら上述の通り、ＭＰ４ヘッダ部分も記録時間に応じてサイズが増加するため、記録が終了するまではＭＰ４ヘッダのサイズも不明なため、ストリームデータのファイル中への書き出しオフセット位置を決定する事ができない。したがって、一般的な動画処理装置での記録では、ＭＰ４ファイルフォーマットの柔軟性を利用し、以下のような対応を行う。

（１）ストリームデータ（Ｍｄａｔ領域と呼ぶ）をファイル先頭に配置し、記録終了時にＭＰ４ヘッダ（Ｍｏｏｖ領域と呼ぶ）をストリームデータの後ろに配置する（図８（ａ））。

（２）特許文献１に提案されるように、ＭＰ４ヘッダのサイズをあらかじめ決めてしまい、Ｍｄａｔのオフセット位置を決定して、記録を行う（図８（ｂ））。記録時間が短く、ヘッダ領域が余る場合でも、その領域はＦｒｅｅ領域として残す。ヘッダサイズを越えて記録する場合には、随時Ｉピクチャのフレーム番号情報を間引いて記録する事で、ヘッダサイズをあらかじめ決定したサイズで維持する。

（３）ＭＰ４ヘッダとストリームデータのペアを、複数に分割して配置する（図８（ｃ）、２つ目以降のヘッダ領域をＭｏｏｆ領域と呼ぶ）。

特開２００３−２８９４９５号公報

しかしながら、上記従来技術（１）から（３）の構成では、再生時に以下のような問題がある。

前記（１）の構成の場合、ファイルの最後に記録されているＭＰ４ヘッダが読み込まれるまで、再生や頭出しが行えない。これは特に、ネットワークを通じてＭＰ４ファイルをダウンロードするような用途の場合、完全にストリームデータをダウンロードした後に、ＭＰ４ヘッダ部分をダウンロードするまで再生できないという問題がある。ＭＰ４ヘッダが前にある場合には、ＭＰ４ヘッダが最初にダウンロードされ、さらに所定量のストリームデータがダウンロードされた時点で、再生を開始する事ができ、その後はダウンロードと並行して再生を行う事ができる。

前記（２）の構成の場合、キーフレーム情報が削減されているため、本来のキーフレーム間隔でのランダムアクセスができなくなり、ユーザが望むアクセス位置と、実際に再生される位置とのずれが大きくなりやすいという問題がある。

前記（３）の構成の場合、ファイルフォーマットとしてはＭＰ４ファイルフォーマットの範囲内であるが、再生装置によっては該構成に対応できないものもあり、再生互換性の面で劣る。また、領域の分割数が増えれば増えるほど、ランダムアクセスの応答性が悪くなるという問題がある。

本発明の目的は、記録媒体の容量限界までファイルを記録可能であり、かつ再生応答性の高いファイルを作成することである。

本発明のデータ処理装置は、データを記録するデータ領域と、前記データの検索情報を含むヘッダを記録するヘッダ領域とを有するファイル形式で記録を行うデータ処理装置であって、先頭に第１の固定長の第１のヘッダ領域を配置し、前記第１のヘッダ領域に続き、それに対応する可変長の第１のデータ領域を配置したファイルを記録媒体に記録する基本記録手段と、前記第１のデータ領域に続き、第２の固定長の第２のヘッダ領域及びそれに対応する可変長の第２のデータ領域との対で構成される記録単位を繰り返し配置したファイルを前記記録媒体に記録する拡張記録手段と、前記記録媒体の残容量を検出する検出手段と、前記検出手段により検出された残容量が所定値以上であるときに、前記第１のヘッダ領域に記録されるヘッダが記録可能な最大サイズに達したことに応じて前記基本記録手段から前記拡張記録手段に記録動作を移行させる制御手段とを有することを特徴とする。
また、本発明のデータ処理方法は、データを記録するデータ領域と、前記データの検索情報を含むヘッダを記録するヘッダ領域とを有するファイル形式で記録を行うデータ処理方法であって、先頭に第１の固定長の第１のヘッダ領域を配置し、前記第１のヘッダ領域に続き、それに対応する可変長の第１のデータ領域を配置したファイルを記録媒体に記録する基本記録ステップと、前記第１のデータ領域に続き、第２の固定長の第２のヘッダ領域及びそれに対応する可変長の第２のデータ領域との対で構成される記録単位を繰り返し配置したファイルを前記記録媒体に記録する拡張記録ステップと、前記記録媒体の残容量を検出する検出ステップと、前記検出ステップで検出された残容量が所定値以上であるときに、前記第１のヘッダ領域に記録されるヘッダが記録可能な最大サイズに達したことに応じて前記基本記録ステップから前記拡張記録ステップに記録動作を移行させる制御ステップとを有することを特徴とする。

比較的短い時間の記録を行う場合には、基本記録手段により記録を行うため、再生互換性及び再生応答性の高いファイルを作成することができる。また、比較的長い時間の記録を行う場合には、拡張記録手段により記録を行うため、ヘッダ情報を間引くことなく記録を行うことができる。

以下、本発明の実施の形態を説明する。ここでは動画像処理装置として、撮像装置を例に挙げて説明する。また、使用するファイルフォーマットについては、ＭＰ４ファイルフォーマットとする。

まず初めに、本実施形態の特徴である記録処理について、概略を説明する。
本実施形態の装置では、基本的には図８（ｂ）のフォーマットで記録を行う（基本記録モード）。図８（ｂ）のフォーマットを使用する事で、先に説明した通り、再生応答性を確保しつつ再生互換性の高いファイルを作成することができる。該フォーマットでは、ファイル先頭のＭｏｏｖ領域は、あらかじめある所定のサイズＳｖに決定され、ファイル上でのＭｄａｔの書き込みオフセットを固定化して記録を開始する必要がある。この場合、ユーザが長時間記録を実施する場合には、時間とともに増加するＭｏｏｖのサイズが所定サイズＳｖを越えてしまう場合がある。その際には、本装置では図８（ｃ）のフォーマットでの記録に移行する（拡張記録モード）。つまり、基本領域のＭｏｏｖ、Ｍｄａｔにつづけて、Ｍｏｏｆ、Ｍｄａｔの領域のペアを繰り返し付加することで、長時間の記録に対応する。以下、詳細に説明する。

図１に、本発明の実施形態による動画像処理装置（撮像装置）の構成例を示す。
図１において、符号１０１は撮像装置全体の制御を担う制御部であり、また後述するファイル生成機能を有する。符号１０２は焦点距離や絞りの状態を変更可能なレンズ、符号１０３は例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のような撮像素子でレンズ１０２により結像した光を電気信号に変換する機能を有する。符号１０４は信号処理部であり、入力動画像信号に対しホワイトバランスやガンマ補正等の所定の信号処理を行う。符号１０５は動画像信号符号／復号化部であり、信号処理部１０４より入力された動画像信号を所定のフォーマットに符号化、又は所定の符号化データから動画像信号を復号する機能を有する。符号化フォーマットとしては、本実施形態ではＭＰＥＧ４ Ｖｉｄｅｏを用いる。符号１０７はマイクであり、音声を音声信号に変換する機能を有する。符号１０８は音声信号符号／復号化部であり、マイク１０７より入力された音声信号を所定の符号フォーマットに符号化、又は所定の符号化データから音声信号を復号する機能を有する。符号フォーマットとしては、本実施形態ではＭＰＥＧ４ Ａｕｄｉｏ ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｅｃ）を用いる。符号１０９はスピーカであり、音声信号符号／復号化部１０８により復号された音声データを出力する機能を有する。符号１１０はフラッシュメモリであり、制御部１０１で動作させるプログラムの格納及び各種設定データの保存等に利用され、本デバイスに記録されたデータは、本装置の電源が切られた状態でも保持される。符号１１２は表示部であり、復号された映像データの表示デバイスとしての利用、また、撮影時のビューファインダーとしての機能も有する。また、表示部１１２は、利用者が本装置を操作する場合の、操作画面としての機能も兼ね備える。符号１１３、１１４はカードスロット及びメモリカードであり、所定のファイルフォーマットのファイルがメモリカードに格納される。本実施形態のメモリカード１１４には、ＭＰ４ファイルフォーマットが記録される。符号１１５はデータバスであり、制御部１０１から、各機能ブロックへのアクセス及び、メモリ１１１を介しての各機能ブロック間のデータ転送等に使用される。

図２は記録処理中のメモリ１１１の内容をモデル化したものである。符号２０１はＭＰＥＧ４−Ｖｉｄｅｏ（映像）データバッファであり、符号１０５の動画像信号符号／復号化部から出力されるデータを一時的に保持する領域である。ＭＰＥＧ４−Ｖｉｄｅｏデータは時間とともに増加するので、随時メモリカードへファイルデータとして書き出し、バッファはリング状に再利用する必要がある。同様に符号２０２はＭＰＥＧ４−Ａｕｄｉｏ（音声）データバッファであり、符号１０８の音声信号符号／復号化部から出力されるデータを一時的に保持する。一時保持されたデータは、随時メモリカードへファイルデータとして書き出され、バッファはリング状に再利用される。Ｍｄａｔ領域のＭＰＥＧ４−Ｖｉｄｅｏデータと、ＭＰＥＧ４−Ａｕｄｉｏデータは多重化され、Ｍｄａｔ領域に書き出される。ファイル上のＭｄａｔ領域のどの位置にどのようなデータが記録されたかについては、符号２０３のＭＰ４ワークメモリ上にＭｏｏｖの形式で保持される。Ｍｏｏｖはさらに細かい領域に分けられており、それぞれの領域が記録時間に応じて増加していく。そのため直接ファイル上に記録するとファイルデータの書き換えが頻繁に発生し、処理負荷が増加してしまう。したがって、ＭＰ４ワークメモリ２０３上でＭｏｏｖを形成し、メモリに空きがなくなった時点、あるいは記録処理の終了時に、まとめてファイルへと書き出される。ＭＰＥＧ４−Ｖｉｄｅｏデータバッファサイズや、ＭＰＥＧ４−Ａｕｄｉｏデータバッファサイズは、記録するデータの特性によって決定する。例えば図２のように、記録するＶｉｄｅｏの画素数に応じてＶｉｄｅｏデータバッファサイズは増減し、ＱＣＩＦサイズで記録する場合は、ＣＩＦサイズで記録する場合よりもバッファサイズを小さくする事が可能である。この場合、削減されたデータバッファはＭＰ４ワークメモリ２０３として利用することができ、さらには、ＭＰ４ワークメモリ２０３上に確保するＭｏｏｖ形成のためのメモリ領域も拡大することができる。

次に、記録処理の詳細について図３から図６のフローチャートを用いて説明する。なお、各フローチャートは制御部１０１で処理されるプログラムに基づいて制御される動作内容を示したものである。
図３に記録準備処理のフローチャートを示す。
ユーザの操作により、記録モードに入ると、制御部１０１は、まず設定されている記録パラメータによりメモリマップを決定する（符号Ｓ３０２）。ここでいう記録パラメータとは、例えばフレームの画素数や、フレームレート、平均ビットレートなどであり、これらのパラメータをもとに、図２のような各バッファやワークメモリの配置やサイズを決定する。制御部１０１は、ＭＰ４ワークメモリサイズにより、ワークメモリ上に確保できる最大のＭｏｏｖサイズＳｖを決定し、さらにはＭｏｏｖのサイズから基本記録時間Ｔａを算出する（符号Ｓ３０３）。また、制御部１０１は、メモリカード（ファイル記録媒体）残容量と特性パラメータにより、メモリカード残容量０までの記録可能時間Ｔｂを算出する（符号Ｓ３０４）。特性パラメータとしては、映像データの特性パラメータは、フレーム画素数、時間当たりのフレーム数、及び／又は時間当たりのデータ量であり、音声データの特性パラメータは、時間当たりのフレーム数、及び／又は時間当たりのデータ量である。制御部１０１は、上記ＴａとＴｂを比較し（符号Ｓ３０５）、Ｔｂの方が小さい場合には、Ｔｂ時間をこえて記録する事は不可能であり（メモリカード容量不足）、ファイル上にあらかじめ確保するＭｏｏｖのサイズＳｖをＴｂから決定しなおす（符号Ｓ３０６）。この場合、制御部１０１は、基本記録Ａモードへと移行し、ユーザから記録指示待ちとなる（符号Ｓ３０７）。逆にＴａの方が小さい場合には、制御部１０１は、メモリマップにより決定されたサイズＳｖをそのまま用い、基本記録Ｂモード（符号Ｓ３０９）へと移行し、ユーザからの記録指示待ちとなる。

図４に基本記録Ａモード処理のフローチャートを示す。
ユーザにより記録開始指示があると（符号Ｓ４０２）、制御部１０１は、記録するＭＰ４ファイルをオープン（Ｏｐｅｎ）し、既に決定しているＭｏｏｖサイズＳｖだけファイルポインタを進め、ファイル上でのＭｏｏｖ領域を確保し、Ｍｄａｔ記録開始位置までシーク（Ｓｅｅｋ）する（符号Ｓ４０３）。

符号１０５の動画像信号符号化部、符号１０８の音声信号符号化部は符号化データをメモリ１１１の所定領域、つまりは図２の符号２０１、２０２の領域に記録する。フレーム記録周期毎に割り込みが発生し、制御部１０１は、Ａｕｄｉｏデータのライト（Ｗｒｉｔｅ）処理、Ｖｉｄｅｏデータのライト（Ｗｒｉｔｅ）処理を実行し（符号Ｓ４０４からＳ４０６）、またそれに付随するヘッダ情報をＭＰ４ワークメモリ上に保持する（Ｍｏｏｖ更新、符号Ｓ４０７）。ユーザによる記録停止指示、あるいはＴｂ時間が満了（メモリカード残容量０）するまで、制御部１０１は、符号Ｓ４０４からＳ４０８までの処理（Ｍｄａｔ記録処理）を繰り返す。Ｍｄａｔ記録処理が終了すると、制御部１０１は、ファイルポインタをファイル先頭まで戻し（符号Ｓ４０９）、ＭＰ４ワークメモリ上のＭｏｏｖをファイルにライト（Ｗｒｉｔｅ）し（符号Ｓ４１０）、ファイルをクローズ（Ｃｌｏｓｅ）し、記録処理を終了する。記録時間が短かった場合には、サイズＳｖ分全てがＭｏｏｖで満たされないため、制御部１０１は、残りの領域をフリー（Ｆｒｅｅ）領域として設定する。

図５に基本記録Ｂモード処理のフローチャートを示す。
基本的な処理は、基本記録Ａモードと同じであり、符号Ｓ５０２からＳ５０７までのＭｄａｔ記録処理は、前述の符号Ｓ４０２からＳ４０７までの処理と同じである。基本記録モードＢでは、記録終了する前に、ＭＰ４ワークメモリ上のＭｏｏｖが最大サイズに達してしまう可能性がある。これは、Ｔａ時間満了の割り込みにより判別する事が可能であり、その場合には、制御部１０１は、Ｍｄａｔ記録処理を中断する（符号Ｓ５０８）。制御部１０１は、ファイルポインタをファイル先頭まで戻し（符号Ｓ５０９）、ＭＰ４ワークメモリ上のＭｏｏｖをファイルにライト（Ｗｒｉｔｅ）し（符号Ｓ５１０）、再度ファイル終端までファイルポインタを移動し（符号Ｓ５１１）、拡張記録モードに移行する（符号Ｓ５１２）。Ｔａ時間満了する前にユーザからの記録停止指示があった場合には、制御部１０１は、ファイルポインタをファイル先頭まで戻し（符号Ｓ５０９）、ＭＰ４ワークメモリ上のＭｏｏｖをファイルにライト（Ｗｒｉｔｅ）し（符号Ｓ５１０）、ファイルをクローズ（Ｃｌｏｓｅ）して（符号Ｓ５１３）、記録処理を終了する（符号Ｓ５１４）。

図６に拡張記録モード処理のフローチャートを示す。
拡張記録モードに移行すると、制御部１０１は、まず最初に再度メモリカードの残容量を確認し、メモリカード容量０までの記録可能時間Ｔｃを算出する（符号Ｓ６０２）。制御部１０１は、前述のＴａとＴｃを比較し（符号Ｓ６０３）、Ｔｃの方が小さい場合には、ＴｃよりＭｏｏｆのサイズＳｆを算出し、Ｔｃ時間でタイムアウトするタイマを設定する（符号Ｓ６０４）。逆にＴａの方が小さい場合には、制御部１０１は、ＴａよりＭｏｏｆのサイズＳｆを算出し、Ｔａ時間でタイムアウトするタイマを設定する（符号Ｓ６０５）。サイズＳｆが決定すると、制御部１０１は、現在のファイルポインタ位置（＝現時点でのファイル終端）をＦｐとして値を保持し、サイズＳｆ分だけファイルポインタを進めることでファイル上でのＭｏｏｆ領域を確保する（符号Ｓ６０６）。これ以降は、基本記録モード時と同じように、制御部１０１は、Ｍｄａｔの記録処理を行い、フレーム記録周期毎にＡｕｄｉｏデータのライト（Ｗｒｉｔｅ）、Ｖｉｄｅｏデータのライト（Ｗｉｒｔｅ）処理を実行し、ＭＰ４ワークメモリ上のＭｏｏｆを更新する（符号Ｓ６０７からＳ６１０）。ユーザから記録停止指示又はタイムアウトＴｃ（メモリカード残容量０）があった時点で、制御部１０１は、ファイルポインタをＦｐまで戻し（符号Ｓ６１２）、ＭＰ４ワークメモリ上のＭｏｏｆを書き込み（符号Ｓ６１３）、ファイルをクローズ（Ｃｌｏｓｅ）し（符号Ｓ６１５）、記録処理を終了する（符号Ｓ６１６）。ユーザからの記録停止指示がある前に、タイムアウトＴａが発生した場合、ＭＰ４ワークメモリ上のＭｏｏｆを一旦ファイルにライト（Ｗｒｉｔｅ）する必要があるため、制御部１０１は、Ｍｄａｔ記録処理を中断し、ファイルポインタをＦｐまで戻し（符号Ｓ６１２）、ＭＰ４ワークメモリ上のＭｏｏｆを書き込む（符号Ｓ６１３）。その後、Ｍｄａｔ記録処理を再開するために、制御部１０１は、ファイルポインタをファイル終端に戻し（符号Ｓ６１４）、Ｓ６０６のステップから再開する。ここで再度ＭｏｏｆサイズＳｆを算出しないのは、ＭＰ４ファイルフォーマットの仕様によるもので、既に決定しているサイズＳｆを繰り返し使用する事になる。上記拡張記録処理を行うことで、ユーザが記録停止指示をするか、メモリカードの残容量が０になるまで、記録を続けることが可能となる。

使用者は、拡張記録モード（記録拡張手段）の有効又は無効を設定することができる。図３において、拡張記録モードが有効のときには、上述のように、ステップＳ３０５からステップＳ３０６又はＳ３０９へ進む。これに対し、拡張記録モードが無効のときには、無条件でステップＳ３０５からステップＳ３０６へ進む。拡張記録モードが有効に設定されているときにのみ、基本記録Ｂモード（符号Ｓ３０９）へ移行し、さらに図５の拡張記録モード（符号Ｓ５１２）に移行し、図６の拡張記録モードによる記録を行うことが可能になる。図６の拡張記録モードは、拡張記録モードが有効に設定されているときには、基本記録モードにより記録される第１のヘッダ領域Ｍｏｏｖが第１の固定長Ｓｖを超えると判断したときに記録を行う。図４の基本記録Ａモードは、拡張記録モードが無効に設定されているときには、第１のヘッダ領域Ｍｏｏｖが第１の固定長Ｓｖを超えると判断したときにはその時点でファイルをクローズして記録を終了する。

図７は、記録処理時のファイルポインタの動きを示したもので、実線はデータのライト（Ｗｒｉｔｅ）によるファイルポインタの移動、点線はシーク（Ｓｅｅｋ）によるファイルポインタの移動を表している。

図７（ａ）は基本領域のみで記録が終了する場合を図示したものである。符号７０１はファイルオープン（Ｏｐｅｎ）後のサイズＳｖのシーク（Ｓｅｅｋ）、符号７０２はＭｄａｔのライト（Ｗｒｉｔｅ）によるファイルポインタの移動を示す。その後、記録終了時に符号７０３のファイル先頭へのシーク（Ｓｅｅｋ）、符号７０４のＭＰ４ワークメモリ上のＭｏｏｖのライト（Ｗｒｉｔｅ）、符号７０５のフリー（Ｆｒｅｅ）領域のライト（Ｗｒｉｔｅ）の順でファイルポインタが移動する。

図７（ｂ）は拡張領域まで記録が行われる場合を図示したものである。符号７０６から７０９までは、上述の符号７０１から７０４に対応する。拡張領域の記録がスタートすると、符号７１０のファイル終端までのシーク（Ｓｅｅｋ）、符号７１１のサイズＳｆのシーク（Ｓｅｅｋ）、符号７１２のＭｄａｔのライト（Ｗｒｉｔｅ）、符号７１３のタイムアウトＴａ発生によるシーク（Ｓｅｅｋ）、符号７１４のＭｏｏｆのライト（Ｗｒｉｔｅ）と続く。再度、符号７１５のファイル終端までのシーク（Ｓｅｅｋ）、符号７１６のサイズＳｆのシーク（Ｓｅｅｋ）、符号７１７のＭｄａｔのライト（Ｗｒｉｔｅ）、符号７１８の記録終了によるシーク（Ｓｅｅｋ）、最後に符号７１９のＭｏｏｆのライト（Ｗｒｉｔｅ）、符号７２０のフリー（Ｆｒｅｅ）領域のライト（Ｗｒｉｔｅ）となる。

以上説明したように、ヘッダ領域をデータ領域の前に配置して記録することにより、再生時の応答性を高める事ができ、また記録時間が長い場合には、拡張領域を設けることで、ヘッダ情報を間引くことなく記録を行う事ができる。また、記録パラメータや記録媒体の残容量から、適切なヘッダ領域のサイズを随時決定し、記録を行うことにより、再生時の互換性の確保やランダムアクセス性を向上させる事ができる。

本実施形態の動画像処理装置及び動画像処理方法は、映像データ、音声データを多重化して記録するデータ領域と、該映像データ、音声データの付随情報及び検索情報を記録するヘッダ領域とで構成される動画像記録ファイル形式で記録を行う動画像処理装置及び動画像処理方法であり、ファイル先頭に固定長Ｓｖの第一のヘッダ領域を配置し、該第一のヘッダ領域に続き、それに対応する可変長の第一のデータ領域を配置して記録する基本記録手段と、前記第一のデータ領域に続けて固定長Ｓｆの第二のヘッダ領域及びそれに対応する可変長の第二のデータ領域との対で構成される記録単位をファイル上に繰り返し配置して記録する拡張記録手段と、前記拡張記録手段を有効にするか否かを使用者が設定できる拡張記録有効化手段とを有し、前記拡張記録手段が無効に設定されている場合には、基本記録手段で記録している途中で、前記第一のヘッダ領域が固定長Ｓｖを超えると判断した場合には、その時点で記録を終了し、一方、前記拡張記録手段が有効に設定されている場合には、基本記録手段で記録している途中で、前記第一のヘッダ領域が固定長Ｓｖを超えると判断した場合には、その時点で拡張記録手段による記録に移行することで記録を継続する事を特徴とする

これによれば、比較的時間の短い記録においては基本記録手段を用いて記録を行うため、再生互換性と再生応答性の高いファイルを作成することができる。また、固定長Ｓｖを超えるようなヘッダ領域が必要な比較的長い時間の記録を行う場合でも、拡張記録手段を用いる事でヘッダ情報を間引く事なく記録を行う事ができる。また、ユーザが再生互換性を重視する場合には、拡張記録手段を禁止することも可能となる。

また本実施形態の動画像処理装置及び動画像処理方法は、基本記録開始時のファイル記録媒体の残容量、及び映像データ、音声データの特性パラメータをもとに、前記固定長Ｓｖを決定することを特徴とする。

これによれば、基本記録開始時にその都度適切なヘッダ領域のサイズＳｖを選択することで、可能な限り長く基本記録手段を実施する事が可能となり、再生互換性の高いファイルを作成する事ができる。

また本実施形態の動画像処理装置及び動画像処理方法は、拡張記録開始時のファイル記録媒体の残容量、及び映像データ、音声データの特性パラメータをもとに、前記固定長Ｓｆを決定することを特徴とする。

これによれば、拡張記録開始時にその都度適切なヘッダ領域のサイズＳｆを選択することで、可能な限りヘッダ領域の分割数を少なくする事が可能となり、ランダムアクセス性の高いファイルを作成する事ができる。

また本実施形態の動画像処理装置及び動画像処理方法は、映像データの特性パラメータとして、フレーム画素数、時間当たりのフレーム数、及び／又は時間当たりのデータ量、さらに音声データの特性パラメータとして、時間当たりのフレーム数、及び／又は時間当たりのデータ量を用いる事を特徴とする。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態による動画像処理装置（撮像装置）の構成例を示す図である。 記録処理中のメモリマップを示す図である。 記録準備処理を示すフローチャートである。 基本記録Ａモード処理を示すフローチャートである。 基本記録Ｂモード処理を示すフローチャートである。 拡張記録モード処理を示すフローチャートである。 ファイルポインタの動きを示す図である。 ＭＰ４ファイルの構成例を示す図である。

符号の説明

１０１ 制御部
１０２ レンズ
１０３ ＣＣＤ
１０４ 信号処理部
１０５ 動画像信号符号／復号化部
１０７ マイク
１０８ 音声信号符号／復号化部
１０９ スピーカ
１１０ フラッシュメモリ
１１１ メモリ
１１２ 表示部
１１３ カードスロット
１１４ メモリカード
１１５ データバス
２０１ ＭＰＥＧ４−Ｖｉｄｅｏデータバッファ
２０２ ＭＰＥＧ４−Ａｕｄｉｏデータバッファ
２０３ ＭＰ４ワークメモリ

Claims (6)

1. データを記録するデータ領域と、前記データの検索情報を含むヘッダを記録するヘッダ領域とを有するファイル形式で記録を行うデータ処理装置であって、
   先頭に第１の固定長の第１のヘッダ領域を配置し、前記第１のヘッダ領域に続き、それに対応する可変長の第１のデータ領域を配置したファイルを記録媒体に記録する基本記録手段と、
   前記第１のデータ領域に続き、第２の固定長の第２のヘッダ領域及びそれに対応する可変長の第２のデータ領域との対で構成される記録単位を繰り返し配置したファイルを前記記録媒体に記録する拡張記録手段と、
   前記記録媒体の残容量を検出する検出手段と、
   前記検出手段により検出された残容量が所定値以上であるときに、前記第１のヘッダ領域に記録されるヘッダが記録可能な最大サイズに達したことに応じて前記基本記録手段から前記拡張記録手段に記録動作を移行させる制御手段と
   を有することを特徴とするデータ処理装置。
2. さらに、前記拡張記録手段の有効又は無効を設定するための設定手段を有し、
   前記制御手段は、前記拡張記録手段が無効に設定されているときは、前記第１のヘッダ領域に記録されるヘッダが記録可能な最大サイズに達したことに応じて、前記基本記録手段によるファイルの記録のみで記録動作を終了させることを特徴とする請求項１に記載のデータ処理装置。
3. 前記第１の固定長のサイズは、前記基本記録手段による記録開始時の前記記録媒体の残容量、及び／又は前記データの特性パラメータを基に決定されることを特徴とする請求項１又は２に記載のデータ処理装置。
4. 前記第２の固定長のサイズは、前記拡張記録手段による記録開始時の前記記録媒体の残容量、及び／又は前記データの特性パラメータを基に決定されることを特徴とする請求項１〜３のいずれか１項に記載のデータ処理装置。
5. 前記データは、映像データ及び音声データを含むことを特徴とする請求項１〜４のいずれか１項に記載のデータ処理装置。
6. データを記録するデータ領域と、前記データの検索情報を含むヘッダを記録するヘッダ領域とを有するファイル形式で記録を行うデータ処理方法であって、
   先頭に第１の固定長の第１のヘッダ領域を配置し、前記第１のヘッダ領域に続き、それに対応する可変長の第１のデータ領域を配置したファイルを記録媒体に記録する基本記録ステップと、
   前記第１のデータ領域に続き、第２の固定長の第２のヘッダ領域及びそれに対応する可変長の第２のデータ領域との対で構成される記録単位を繰り返し配置したファイルを前記記録媒体に記録する拡張記録ステップと、
   前記記録媒体の残容量を検出する検出ステップと、
   前記検出ステップで検出された残容量が所定値以上であるときに、前記第１のヘッダ領域に記録されるヘッダが記録可能な最大サイズに達したことに応じて前記基本記録ステップから前記拡張記録ステップに記録動作を移行させる制御ステップと
   を有することを特徴とするデータ処理方法。

Images