WO2004086759A1

WO2004086759A1 - 記録方法、記録装置、記録媒体、再生方法、再生装置および撮像装置

Info

Publication number: WO2004086759A1
Application number: PCT/JP2004/002134
Authority: WO
Inventors: Kenichiro Aridome; Katsumi Matsuno; Osamu Date
Original assignee: Sony Corporation
Priority date: 2003-03-25
Filing date: 2004-02-24
Publication date: 2004-10-07
Also published as: TW200501561A; US7675555B2; KR20050111722A; EP1615432A4; KR101015737B1; JP2004350251A; TWI249286B; JP3912536B2; EP1615432A1; US20050175321A1

Abstract

記録媒体に対する読み書き単位内の情報内に、複数の復号再生単位の情報が含まれる場合において、復号再生単位の情報についての付加情報を、当該復号再生単位についての対応が確実に取れる記録方法である。時系列情報をデータ圧縮して記録媒体に記録する。圧縮された時系列情報の復号再生単位の情報のそれぞれには、復号再生処理のための管理情報を付加して記録する。復号再生単位の情報についての付加情報を、対応する復号再生単位の情報についての復号再生処理のための管理情報に関連付けて記録する。

Description

明細 ^; 記録方法、記録装置、記録媒体、再生方法、再生装置および撮像装置技術分野

この発明は、例えば画像情報やオーディォ情報等の時系列情報を圧縮してディスクなどの記録媒体に記録する方法、装置およびその再生方法、装置に関する。背景技術

例えば、画像情報およびオーディオ情報等の時系列情報を、ディスク, テープ、半導体メモリなどの記録媒体に記録する場合には、限られた書き込み領域に、より長時間分の時系列情報を書き込むことができるようにするため、一般に、時系列情報は、デ一夕圧縮するようにする。

このデータ圧縮の方法としては、従来から、 M P EG (Mo v i n g P i c t u r e E x p e r t s G r o u p) 方式が広く利用されている。

MP EG方式では、画像情報については、画像情報の復号再生単位である画像フレーム（あるいは画像フィールド）の情報の相関を利用した予測符号化と、 DCT (D i s c r e t e C o s i n e T r a n s f o rm ;離散コサイン変換）を用いたデータ圧縮を行なう。

MP EG方式においては、各フレーム（またはフィールド。以下同様であるが、説明の簡単のため、以下の説明においては、「フレーム」の語のみを使用するものとする）の画像は、圧縮の仕方の違いにより、 I ピクチャと、 Pピクチャと、 Bピクチャとの、 3つ'のタイプに分けられる。 I ピクチャは、 1フレーム内だけで閉じた圧縮符号化を行なう画像 (フレーム内符号化画像）である。 Pピクチャは、当該画像フレームよりも前の画像フレームとの相関を利用した圧縮符号化を行なう画像（順方向予測符号化画像）である。また、 Bピクチャは、当該画像フレームの前と後の画像フレームの相関を利用した圧縮符号化を行なう画像（双方向予測符号化画像）である。

そして、 MP E G方式においては、記録媒体に対する書き込み/読み出しの単位（読み書き単位）は、複数フレーム分からなるいわゆる GO P (G r o u p o f P i c t u r e ) で構成される。第 9 A図乃至第 9 B図に GO Pの一例を示す。

第 9 A図乃至第 9 B図に示すように、 MP E G方式では、 G〇 Pには, I ピクチャが、少なくとも 1枚必ず含まれるようにされている。 Pピクチヤと Bピクチャだけでは、画像の復号ができないからである。このように GO Pに I ピクチャが含まれることにより、 GO P単位でランダムアクセスが可能となる。

I ピクチャおよび Pピクチャは、元の画像と同じ順序で符号化処理されるが、 Bピクチャは、 I ピクチャおよび Pピクチャを先に符号化処理した後、符号化処理するようにする。この符号化の順番を考慮して、 M P E Gエンコーダにおいては、画像の順序が、第 9 A図の状態のもとの並び順のものから、第 9 B図に示すように並び換えられ、当該並び換えられた画像情報に対して、圧縮符号化の処理がなされる（特開平 8 — 2 1 4 2 6 5号公報参照）。

すなわち、第 9 A図において矢印で示すように、 Pピクチャは、前方の I ピクチャあるいは Pピクチャを利用した予測符号化を行なう。また， Bピクチャは、前方および後方の I ピクチャまたは Pピクチャに挟まれる 2枚分について、それら前方および後方の I ピクチャまたは Pピクチャを利用した予測符号化を行なう。

このように Bピクチャは、符号化の際に、後方の I ピクチャまたは P ピクチャを利用することになるので、第 9 B図に示すように、当該 Bピクチャは、それを予測符号化するために用いる後方の I ピクチャまたは Pピクチャよりも後の順序となるように並び換えを行なうものである。そして、後述するように、圧縮符号化された画像データには、復号再生単位、つまり、ピクチャ単位のデータに、復号再生処理のための管理情報が付加されて、記録媒体に記録される。そして、 M P E G方式で圧縮された画像デ一夕の再生の際には、復号再生処理のための管理情報が記録データから抽出され、当該管理情報に基づいて、再生されたピクチャ単位の画像出力が制御され、ピクチャの並び順が元に戻される。

ところで、例えば、静止画のみではなく動画も撮影できるデジ夕ルカメラにおいても、データ圧縮方式として M P E G方式が採用されている _t デジタルカメラにおいては、撮影時刻のほか-. 絞り露出値、ホワイトバランスの状態などの撮影条件を画像情報に付加情報として、記録媒体に記録することができれば便利である。

特に、画像のフレーム単位での撮影時刻や撮影条件などの付加情報が、各フレームの画像情報に対応して記録されれば、どのようにして当該フレームの画像が撮影されたかを知ることができ、便利である。また、それらのフレーム単位の画像についての付加情報は、画像再生処理や編集処理の際に参照することにより、再生画質の向上が図られたり、また、きめの細かい編集処理が可能になったりするなど、種々の用途への応用が期待される。

しかしながら、 M P E G方式の記録データの伝送フォ一マットにおいては、画像データやオーディオデータについての付加情報の記録（伝送）についての方策は提案されておらず、どのようにして付加情報を便宜に利用できる状態で付加するかということが技術的な課題となっている。

そして、この場合に、前述の M P E G方式のように、復号再生単位としての画像のフレームを、記録媒体に対する読み書き単位である G O P 内に、複数単位分含むような場合において、復号再生単位の情報のそれぞれについて、付加情報を記録しょうとする場合には、各復号再生単位についての付加情報を、どのようにして復号再生単位の情報に対応付けて記録するかということが重要となる。

とりわけ、前述したように、 M P E G方式における読み書き単位である G O P内のように、符号化処理の際に、フレーム順序が第 9 B図に示すように並び換えられて画像データが記録される場合には、各復号再生単位の情報と、その付加情報との対応がつきにくくなるという問題がある。

この発明は、以上の点にかんがみ、記録媒体に対する読み書き単位内の情報内に、複数の復号再生単位の情報が含まれる場合において、復号再生単位の情報のそれぞれについての付加情報を、各復号再生単位についての対応が確実に取れるように記録する方法および装置を提供することを目的とする。発明の開示

上記課題を解決するために、この発明は、

時系列情報をデータ圧縮して記録媒体に記録する方法であって、前記圧縮された前記時系列情報の復号再生単位の情報のそれぞれには、復号再生処理のための管理情報を付加して記録する方法において、前記復号再生単位の情報のうち、所定時間毎の復号再生単位の情報についての付加情報を、対応する前記復号再生単位の情報についての前記復号再生処理のための管理情報に関連付けて記録する

ことを特徴とする。

この発明によれば、復号再生単位の情報についての復号再生処理のための管理情報に関連付けられて、復号再生単位の情報についての付加情報が記録されているので、復号再生処理のための管理情報を参照することにより、復号再生単位の情報とその付加情報とを関連付けて再生することが可能になる。

したがって、付加情報を対応する復号再生単位の情報の再生出力に合わせて出力することが可能になる。また、付加情報を用いて、対応する復号再生単位の情報の再生処理を制御することも容易にできるようにな

•o。図面の簡単な説明

第 1図は、この発明による記録方法の実施形態が適用された撮像装置の構成例を示す図である。

第 2図は、第 1図におけるデータェンコ一ドおよび多重化処理部分の構成例を説明するための図である。

第 3図は、 D V D— V i d e oフォーマットによる光ディスク上の論理配置を示す図である。

第 4図は、この発明による記録方法の実施形態の要部の一例を説明するための図である。

第 5図は、この発明による記録方法の実施形態の要部の他の例を説明するための図である。第 6図は、第 1図におけるデータ分離処理およびデータデコーダ部分の構成例を説明するための図である。

第 7図は、この発明による記録方法の実施形態の要部の他の例を説明するための図である。

第 8図は、この発明による記録方法の実施形態の要部の他の例を説明するための図である。

第 9 A図乃至第 9 B図は、 MP E G方式における GO P内のピクチャの並び換えを説明するための図である。発明を実施するための最良の形態

以下、この発明による記録方法および再生方法の実施形態を、記録媒体として例えば光ディスクを用いたデジタルカメラに適用した場合を例にとつて、図を参照しながら説明する。

この例では、光ディスクとして DVD _ R (D i g i t a l V e r s a t i l e D i s c R e c o r d a b l e ゃ DVD— RW (D i g i t a 1 V e r s a t i l e D i s c R e — W r i t a b l e ) などの書き込み可能な光ディスクを用いる場合である。そして、デ一夕圧縮方式としては、 MP E G 2方式が用いられ、記録データは、 M P E G 2— P S (P S ； P r o g r am S t r e am) の構成とされる。

第 1図は、実施形態のデジタル力メラの構成例を示すブロック図である。この例のデジタルカメラは、カメラ部 1 0と、記録再生処理部 2 0 と、制御部 3 0とからなる。

制御部 3 0は、 C P U (C e n t r a l P r o c e s s i n g U n i t ) 3 0 1に対して、システムバス 3 0 2を介して、プログラム R OM (R e a d O n l y M e mo r y) 3 0 3と、ワークエリァ用 RAM (R a n d om Ac c e s s Memo r y) 3 04と、操作入力部 3 1を接続するための操作入カイン夕一フェース 3 0 5と、表示装置としての L CD (L i q u i d C r y s t a l D i s p l a y) 3 2を接続するための L CDコントローラ 3 0 6と、メモリ ' カード 5 0を装填するためのメモリ ·カードインタ一フェース 3 0 7と、 U S B (Un i v e r s a l S e r i a l B u s ) などの通信ィン夕一フェース 3 0 8と、時計回路 3 0 9と、 I /Oポート 3 1 0， 3 1 1， 3 1 2, 3 1 3, 3 14, 3 1 5, 3 1 6とが接続されて構成されている。

ROM 3 0 3には、カメラ部 1 0を制御するためのプログラムや、撮影した画像情報やマイクロホンからの音声情報についての記録制御および再生制御、その他のプログラムが書き込まれている

操作入力部 3 1には、撮影モードと再生モードなどの他のモードとを切り換えるモード切り換えキ一、ズーム調整キー、露出調整のためのキ -, シャツ夕一キ一、動画撮影用キ一、ホワイトバランス調整用キーなどの複数のキーが設けられている。

C P U 3 0 1は、操作入カインタ一フエ一ス 3 0 5を通じて入力される操作入力部 3 1からの操作信号を解析して、操作入力部 3 1のいずれのキーが操作されたかを判別し、その判別結果に応じた制御処理を行なう。

L CD 3 2には、 C P U 3 0 1の制御の下に、撮影時の画像や撮影条件が表示されると共に、記録媒体から再生された再生画像や付加情報が TC ^れ O

時計回路 3 0 9は、図示を省略した基準クロック信号発生回路からのクロック信号を計測して、年、月、日、時間、分、秒を表わす時間情報を生成する。秒としては、画像のフレーム単位を計数することができるような小数点以下の精度の情報を発生するように、この時計回路 3 0 9 は構成されている。

この例のデジタルカメラは、記録データを光ディスク 40 (以下、 D VD 40と表す。）に記録することができるほかに、メモリ ·カード 5 0にも記録できるように構成されている。その場合には、メモリ ·カード 5 0には、メモリ ·カードインタ一フェース 3 0 7を通じて圧縮デ一夕が記録される。

通信ィンターフェース 3 0 8は、例えばこの例のデジタルカメラをパ一ソナルコンピュータに接続して、記録データやその他のデータのやり取りをする際に用いられる。

カメラ部 1 0は、カメラ光学系 1 1と、カメラコントロール部 1 2と, 撮像素子 1 3と、撮像信号処理部 14と、マイクロホン 1 5と、入カオ —ディォ信号処理部 1 6とから構成される。

カメラ光学系 1 1は、図示を省略したが、被写体を撮像するためのレンズ群と、絞り調整機構フォ一カス調整機構、ズーム機構、シャツ夕一機構、フラッシュ（ストロボ）機構を備えると共に、手ぶれ補正機構を備えている。

カメラコントロール部 1 2は、制御部 3 0の I ZOポ一ト 3 1 0を通じた制御信号を受けて、カメラ光学系 1 1に供給する制御信号を生成する。そして、生成した制御信号をカメラ光学系 1 1に供給して、ズ一ム制御、シャッター制御、露出制御などの制御を行なう。制御部 3 0の I ZOポート 3 1 0を通じた信号には、操作入力部 3 1でのその時点での操作入力に応じた制御信号だけでなく、操作入力部 3 1での操作入力に応じて予め設定された撮影条件に基づく制御信号が含まれる。

撮像素子 1 3は、この例では、 C CD (C h a r g e C o u p l e d D e v i c e) で構成され、その結像面に、カメラ光学系 1 1を通じた像が結像される。そして、シャッター操作に応じて制御部 3 0の I Z〇ポート 3 1 1から発生する画像取り込みタイミング信号を受けて、結像面に結像されている被写体像を撮像信号に変換し、撮像信号処理部

1 4に供給する。

撮像信号処理部 1 4では、制御部 3 0の I /Oポート 3 1 2を通じた制御に基づいて、撮像信号についてのガンマ補正や AG C (Au t o G a i n C o n t r o l ) などの処理を行なうと共に、撮像信号をデジタル信号に変換する処理も行なう。

また、マイクロホン 1 5により、撮影時の被写体周辺の音声が収集される。そして、このマイクロホン 1 5からの音声信号が入力オーディオ信号処理部 1 6に供給される。

入力オーディォ信号処理部 1 6では、制御部 3 0の I /Oポート 3 1 2を通じた制御に基づいて、入力オーディォ信号についての補正や A G C (Au t o G a i n C o n t r o l ) などの処理を行なうと共に，オーディォ信号をデジタル信号に変換する処理も行なう。

第 1図では、図示を省略したが、この例のデジタルカメラにおいては，外部マイクロホン端子を備え、当該外部マイクロホン端子に外部マイク口ホンが接続された場合には、入力オーディオ信号処理部 1 6には、内蔵マイクロホン 1 5ではなく、当該外部マイクロホンからのオーディォ信号が供給されるように、自動的に切り換えられるように構成されている。

そして、この例においては、入力オーディオ信号処理部 1 6での AG C処理は、内蔵マイクロホン 1 5からのオーディオ信号が入力された場合と、外部マイクロホンからのオーディォ信号が入力された場合とでは，その特性の違いを考慮した処理がなされるようにされている。 AGC処理の切り換えは、入力オーディオ信号処理部 1 6へのオーディオ信号の入力切り換えに連動して行なわれるように構成されている。

記録再生処理部 2 0は、 D S P (D i g i t a l S i n a l P r o c e s s o r) 2 1と、 DVD信号処理部 2 2ヒ、書き込み Z読み出し部 2 3と、ビデオ/オーディオ出力処理部 24とからなる。 D S P 2 1には、例えば S D R A Mからなるバッファメモリ 2 5が接続されている。

D S P 2 1には、撮像信号処理部 1 4からのデジタル画像信号および入力オーディォ信号処理部 1 6からのデジタルオーディォ信号が入力されると共に、制御部 3 0の I /Oポート 3 1 3を通じて、撮影時の情報が入力される。 I /Oポート 3 1 3を通じて入力される撮影時の情報には、フレーム単位の撮影時刻や、撮影条件情報が含まれる。

撮影時刻の情報としては、この例では、時計回路 3 0 9からの時刻情報をその都度読み込んで用いる。しかし、動画の撮影開始時点で、時計回路 3 0 9の時刻情報（撮影開始時刻）を取り込み、それ以降は、前記撮影開始時刻を基準にしたフレーム単位の相対時刻 (フレーム番号でもよい）を撮影時刻として用いるようにしても良い。

また、撮影条件情報には、自動的に設定される情報およびユーザ一により設定される情報との両方を含み、例えば、露出制御情報、自動ホヮィトバランス調整用情報、デジタルズーム倍率情報、手ぶれ補正情報、 F値（Fナンバー）、露出時間、 AGCゲイン値、レンズ焦点距離などの設定情報を含む。

また、この例においては、音声情報の取り込み手段として内蔵マイク口ホン 1 5を使用したか、あるいは外部マイクロホンを使用したかの情報も、撮影時の情報に含められる。上述した撮影時の情報は、この実施形態では、後述するように、付加情報として画像のフレーム単位に生成されて、記録されるようにされている

D S P 2 1は、 I ZOポート 3 1 3を通じたカメラ情報に基づき、撮像信号処理部 1 4からのデジタル画像信号について、自動ホワイトバランス制御や、露出補正のための制御、デジタルズーム倍率に応じた制御などを行なう。そして、 D S P 2 1は、このような制御が加えられたデジタル画像信号と、入力オーディォ信号処理部 1 6からのデジタルォーディォ信号とを、 MP E G 2方式によりデータ圧縮する。

また、 D S P 2 1は、入力された撮影時情報について、当該撮影時情報を付加情報として圧縮画像デ一タや圧縮オーディオデータと共に記録するための付加情報処理を行なう。

D S P 2 1は、さらに、圧縮した画像データと、圧縮したオーディオデータと、前述の付加情報とを、多重化して、 MP E G— P Sフォーマットに従ったデータ列となるようにする処理も行なう。

そして、 D S P 2 1からの MP EG— P Sフォ一マツ卜のデ一夕は、 I ZOポート 3 1 4を通じて制御部 3 0の制御を受ける D V D信号処理部 2 2の記録信号処理部を通じて書き込み Z読み出し部 2 3に供給され, この書き込み/読み出し部 2 3により、 D VD 4 0に書き込まれる。書き込み/読み出し部 2 3は、 I /Oポート 3 1 6を通じて制御部 3 0の制御を受ける。

そして、書き込み Z読み出し部 2 3によって DVD 4 0から読み出されたデ一夕は、 D VD信号処理部 2 2の再生信号処理部を通じて D S P 2 1に供給される。

D S P 2 1では、多重化されている圧縮画像デ一夕と、圧縮オーディォデータと、付加情報とを分離する。そして、 D S P 2 1は、分離された圧縮画像データの圧縮を解凍し、元の並び順のフレーム単位の画像デ一夕を再生し、ビデオ/オーディオ出力処理部 2 4に出力すると共に、分離された圧縮オーディォデ一夕の圧縮を解凍して、オーディォデータを再生し、ビデオ Zオーディオ出力処理部 2 4に出力する。

ビデオ/オーディオ出力処理部 2 4は、 I Z〇ポート 3 1 5を通じて制御部 3 0の制御を受けて、出力すべき画像データおよびオーディオデ一夕についての処理をし、デジタルデータとしての画像データおよびォ —ディォデータは、 I / 0ポ一ト 3 1 5を通じて制御部 3 0に供給すると共に、 D Z A変換してアナログ信号にした画像信号およびオーディォ信号は、出力端子 2 6 Vおよび 2 6 Aに出力する。 I / Oポート 3 1 5 を通じて制御部 3 0に入力された画像デ一夕による再生画像は、 L C D コントロ一ラ 3 0 6の制御に基づいて、 L C D 3 2の画面において再生表示される。

[データ圧縮および多重化処理について]

次に D S P 2 1におけるデ一夕圧縮および多重化の処理について、第 2図を参照して、さらに詳細に説明する。

すなわち、 D S P 2 1においては、撮像信号処理部 1 4からの画像デ一夕は、前述したように、撮像時の設定条件や制御条件に従って制御処理がなされた後、バッファ 2 0 1を通じてビデオエンコード部 2 0 2に供給される。

ビデオエンコード部 2 0 2では、少なくとも 1枚の I ピクチャと、複数枚の Pピクチャおよび Bピクチャからなる G O Pを構成し、この G〇 Pを、記録媒体としての D V Dに対する書き込み単位として、圧縮処理するようにする。すなわち、ビデオエンコード部 2 0 2では、先ず、ピクチャ順並び換え部 2 0 2 1において、前述の第 9 A図乃至第 9 B図を用いて説明したように、 G O P内におけるピクチャ順の並び換えを行なう。

そして、次に、圧縮符号化部 2 0 2 2において、 I ピクチャについては、フレーム内符号化処理を行なってデータ圧縮を行ない、 Pピクチャについては、前方の I ピクチャまたは Pピクチャとの相関を利用したフレーム間予測符号化処理を行なってデータ圧縮を行ない、 Bピクチャについては、前方および後方の I ピクチャまたは Pピクチャとの相関を利用したフレーム間予測符号化処理を行なってデ一夕圧縮を行なう。なお, Pピクチャについては、フレーム内符号化処理を行なう画像部分も存在する。

以上のようにして、圧縮符号化部 2 0 2 2において圧縮符号化処理が行なわれた画像データは、可変長符号化部 2 0 2 3においてハフマン符号などを用いた可変長符号化処理が行なわれた後、バッファ 2 0 3を通じてマルチプレックス部（多重化部） 2 1 1に供給される。

また、 D S P 2 1においては、入力オーディォ信号処理部 1 6からのオーディォデータは、撮像タイミングに同期して取り込まれてバッファ 2 0 4を通じてオーディォエンコード部 2 0 5に供給され、所定量のォ一ディォデータ (オーディオフレームと呼ばれる) を復号再生単位として、圧縮符号化される。圧縮符号化されたオーディォデータは、バッファ 2 0 6を通じてマルチプレックス部 2 1 1に供給される。

さらに、 D S P 2 1においては、 I Z Oポート 3 1 3から入力された撮影時情報は、バッファ 2 0 7を通じて付加情報処理部 2 0 8に供給されて、画像のフレーム単位に付加する付加情報が生成される。そして、生成された付加情報は、バッファ 2 0 9を通じてマルチプレックス部 2 1 1に供給される。マルチプレックス部 2 1 1では、画像データ、オーディオデータ、付加情報のそれぞれをパケット化して、画像データ、オーディオデータ、付加情報を多重化する。この場合に、 1または複数個のパケットデータにパックヘッダを付加してグループ化して、パックを構成する。このマルチプレックス部 2 1 1からの多重化出力データは、 DVD信号処理部 2 2に出力され、書き込み Z読み出し部 2 3により、上述したようにして、 D VD 40に書き込まれる。

そして、画像データとオーディオとの同期を取るために、 MP EG方式においては、画像データあるいはオーディォデータの復号再生単位 (画像データは、 1フレーム単位、オーディオデータでは、ォ一ディォフレーム単位）ごとに、タイムスタンプと呼ばれる管理情報が付加される。

このタイムスタンプの情報は、時刻管理情報発生部 2 1 0からマルチプレックス部 2 1 1に供給される。このタイムスタンプは、 S CR (S y s t ern C l o c k R e f e r e n c e ；システム時刻基準参照値）によって時間基準が与えられる。

タイムスタンプは、マルチプレックス部 2 1 1において、パケットの中に復号再生単位の情報の先頭がある場合に、そのバケツトヘッダに付加され、バケツトの中に復号再生単位の情報の先頭がない場合には付加されない。

タイムスタンプには、 PT S (P r e s e n t a t i o n T i me S t amp) と、 DTS (D e c o d i n g T i me S t amp) との 2種類がある。

PTSは、復号再生単位の情報の再生出力の時刻管理情報である。すなわち、 PTSは、復号再生単位の情報を、いつ再生出力するかの時刻管理情報である。また、タイムスタンプ D T Sは、復号再生単位の情報の復号の時刻管理情報である。これは、前述したように、 M P E G方式では、ピクチャの並び順を符号化の際に並び換えることにより、再生出力順序と、復号順序とが異なることに対応して設けられたものである。

タイムスタンプ P T Sと D T Sとが異なる場合には、両方のタイムスタンプがパケットヘッダに付加され、一致する場合には、一般にタイムスタンプ P T Sのみがパケットヘッダに付加される。

以上のように、タイムスタンプ P T Sは、画像デ一夕のフレームの、元の並び順に対応するものであり、かつ、各フレームに 1対 1に対応する時刻管理情報である。オーディオデ一夕については、タイムスタンプ D T Sは付加されず、タイムスタンプ P T Sのみが付加される。

ところで、この実施形態では、付加情報は、前述したように、画像デ一夕の各フレームに対応して発生させるようにしているが、前述したように、 M P E G方式においては、フレーム単位の画像情報、つまりピクチヤは、符号化処理の際に並び順が変更されることとも相俟って、各フレームについての付加情報と、対応するフレームの画像情報との対応付けについて工夫が必要である。

この実施形態では、上述した時刻管理情報の P T Sが、画像デ一夕のフレームの、元の並び順に対応するものであり、かつ、各フレームに 1 対 1に対応する時刻管理情報であることを利用して、この P T Sを媒介にして、復号再生単位としてのフレーム単位の画像デ一夕と、当該画像データについての付加情報との対応を付けるようにする。この対応付けの処理は、マルチプレックス部 2 1 1においてなされる。

以下に、このマルチプレックス部 2 1 1における画像フレームと、付加情報との対応付けのための処理のいくつかの例を説明する。

[画像フレームと付加情報との対応付けの第 1の例] この第 1の例は、 D VD— V i d e 0フォーマツトによる記録時の場合である。 DVD— V i d e oフォーマツトによる光ディスク上における記録データの論理配置は、第 3図に示すようなものとなる。

すなわち、光ディスクの記録エリアは、第 3図（A) に示すように、光ディスクの半径方向に見て、最内周側から、順に、リードインエリア，データゾーンエリア、リードアウトエリアに区分けされる。そして、デ

—夕ゾーンエリアに、管理情報および画像データ等のデータが記録される。

デ—夕ゾーンエリアは、リードインエリア側から、順に、 UDF (U n i v e r s a l D i s c F o rma t ) エリア、 VMG (V i d e o M a n a G e r ) エリア、リアルタイムデータ記録エリアに区分けされる。 U D Fエリアおよび V M Gエリアは、光ディスクに記録された画像デ一夕等のファイルを管理する管理用情報の記録エリァである。 UD Fエリアは、 UD F規格と I S O 9 6 6 0規格をサボ一トすることにより、コンピュータで光ディスクを読むことができるようにするためのものである。 VMGエリアは、 DVD管理用情報の記録エリアである _t リアルタイムデータ記録エリアは、画像データやオーディォデ一夕を記録するエリァであり、第 3図（B) に示すように、 VTS (V i d e o T i t l e S e t ) と呼ばれるデータ群を単位として、データの記録がなされる。

VT Sは、第 3図 (C) に示すように、 VT S I (V i d e o T i t i e S e t I n f o rma t i o n) と、 VTS M_VO B S (V i d e o O b j e c t S e t F o r t h e VTSMe n u) と、 VTS TT_VO B S (V i d e o Ob j e c t S e t F o r T i t l e s i n a VT S) と、 VTS I— BUP (B a c k u p o f VT S I ) とからなる。 VT S TT— VO B Sには、第 3図（D) に示すように、 MP E G 2 — P Sフォーマツトの圧縮データが、 VOB U (V i d e o 0 b j e c t Un i t ) と呼ばれる情報ブロックを読み書き単位として記録される。 VO B Uには、画像データは、 1 GO Pが含まれ、オーディオデ —タは、当該 1 GO Pに対応する情報が含まれる。つまり、光ディスクには、 1 GO P単位で読み書きされることに等しい。そして、この実施形態では、後述するように、 VO B Uには、 GO Pを構成するフレーム単位の画像データのそれぞれについての付加情報も含まれる。

VT S Iには、画像データ等の記録位置情報等の管理情報が記録される。また、 VT S M— VO B Sには、画像データ等のル一トメニューが記録される。この VT S M— V〇B Sはォプションである。さらに、 V T S I— BUPは、 VT S Iのバックアップ情報である。

読み書き単位データ VO B Uは第 3図（E) に示すように、複数個のパック P CKから構成される。パック P C Kは、 1または複数個のパケットからなる。この例では、パックは 1パケットからなるものとされている。 D VD— V i d e oフォ一マツ卜では、 1八。ックは、 2 0 4 8 バイト ( 1セクタに対応) と定められている。

この例の場合の 1パックは、第 3図 (F) に示すようなものとなる。すなわち、パック P C Kの先頭はパックヘッダとされる。そして、パックヘッダの次には、パケットヘッダが位置し、パケットヘッダに続いて，画像データやオーディォデータなどからなるバケツトデータが位置する _t この画像データやオーディォデ一夕のパケットフォーマツトは、プライベ一ト 1 ·パケットとされている。

パックヘッダ内には、前述した時間基準の情報 S C Rが含まれる。そして、パケットヘッダの先頭は、パケット開始コードとされると共に、このパケットヘッダ内には、 P T Sフラグ、 D T Sフラグなどのフラグ情報と、タイムスタンプの情報 P T S、 DT Sが含まれる。 PT Sフラグ、 DT Sフラグは、当該パケット内にタイムスタンプの情報 P T S, D T Sが含まれるか否かを示すものである。前述したように、タイムスタンプの情報 P T S， DT Sは、パケット内にピクチャの先頭が含まれる場合に、そのパケットへッダ内に付加される。

そして、この第 1の実施形態では、付加情報は、 1フレーム分ごとに 1パック（ 1パケット）を構成する。前述したように、この例では、付加情報のパケットには、対応する画像デー夕のタイムスタンプ P T Sが含まれる。したがって、この例では、付加情報のパケットは、プライべ —ト 1 ·パケットの形式とされる。この付加情報のパックは、第 1の実施形態では、タイムスタンプ P T Sが付加される画像デ一夕のパックの前に多重化するようにする。

この第 1の実施形態における多重化の処理を、第 4図を参照しながら説明する。第 4図は、 1 GOP分の画像データについて、付加情報と画像デ一夕との多重化処理を説明するための図であり説明の簡単のために、オーディオデ一夕についての多重化は省略した。この例では、 1 G OPは、 1 5フレーム（ 1 5枚のピクチャ）で構成される。

第 4図（A) は、バッファ 2 0 1および 2 0 7に入力される画像デ一夕と付加情報とを示すものである。 B 0， B 1 , 1 2， B 3 , B 4 , P 5 · · · P 1 4は、フレーム単位の画像データをピクチャタイプをも考慮して示したものであり、 Bは Bピクチヤを、 Iは I ピクチャを、 Pは Pピクチャを、それぞれ示している。そして、各サフィックス番号は、ピクチャタイプに関係なく、フレーム単位の連続番号を付与したものである。

また、 A 0〜A 1 4は、各サフィックス番号の画像フレームについての付加情報を示している。つまり、付加情報 A 0〜A 1 4のそれぞれは、サフィックス番号が同一である画像フレームについての付加情報となつている。

第 4図（A ) に示されている画像デ一夕は、ビデオエンコード部 2 0 2のピクチャ順並び換え部 2 0 2 1において、ピクチャ順の並び換えがなされて、第 4図（B ) に示すようにされる。これに対して、この例では、付加情報については、並び順は変更されないので、第 4図（B ) に示す付加情報は、第 4図（A ) に示した付加情報と同じ並び順となっている。したがって、並び順としては、各ピクチャと、それについての付加情報との対応がつきにくくなる。

前述したように、マルチプレックス部 2 1 1では、各ピクチャの画像データには、再生出力の時間管理情報であるタイムスタンプ P T Sが、そのピクチャの先頭が含まれるパケッ卜のヘッダに含められるようにされている。第 4図（B ) の各ピクチャの下側に示したタイムスタンプ P T S # ( #はサフィックス番号で、番号が小さいほど早い時刻となる）は、各ピクチャに対して付加されるタイムスタンプ P T Sを示している, 再生出力は、元のフレーム順であるので、各ピクチャのサフィックス番号とタイムスタンプ P T Sのサフィックス番号は等しいものとなる。同様にして、この実施の形態では、マルチプレックス部 2 1 1においては、各ピクチャについての付加情報に対しても、それぞれ同じサフィックス番号のタイムスタンプ P T Sが付与される。したがって、ピクチャ順が並び換えられても、タイムスタンプ P T Sを参照することにより、各付加情報がいずれのピクチャについてのものであるかの対応付けをすることが可能になる。

そして、各ピクチャの圧縮画像データは、第 4図（C ) に示すように、 1または複数個のパックとして記録される。第 4図（C ) で、 V—P C Kはビデオパック（画像データのパック）を示しており、その末尾の I #、？ #ぉょび8 #は、第 4図（A) ， (B) に示した各ピクチャの圧縮画像データであることを示している。

前述したように、タイムスタンプ P TSは、各ピクチャの先頭が含まれるパケットのパケットヘッダに含まれる。この例ではパックには、 1 パケットが含まれるものとしているので、当該パケットを含むパック内にタイムスタンプ P T Sが含まれる。

この実施形態では、各付加情報のパック AR I— P CK# (#はサフィックス番号) は、第 4図（C) に示すように、タイムスタンプ P T S が含まれるビデオパックの直前に多重化される。

なお、 GOPのデ一夕が含まれる VOBUの先頭のパック NV_P C Kは、ナビゲ一シヨンパックと呼ばれるもので、これには、デ一夕サーチインフォメーション（例えばジャンプ時にどのセクタまで飛ぶかを指示する制御情報）などの再生管理情報が含められている。

なお、付加情報には、各フレーム単位の撮影時刻情報（記録時刻情報）と、カメラ設定情報とが含まれる。カメラ設定情報には、前述もしたように、 Fナンバー、露出時間、露出プログラム、露光補正値、 AG Cゲイン値、レンズ焦点距離、フラッシュ、ホワイトバランス調整値、デジタルズーム倍率などの情報が含められている。

上述の第 1の例では、ビデオパック V— P CKのうちのタイムスタンプ P T Sがバケツトヘッダに付加されるパックの直前に 1パックずつ多重化するようにしたが、タイムスタンプ P T Sがバケツトへッダに付加されるパックの直後に 1パックずつ多重化するようにしてもよい。

[画像フレームと付加情報との対応付けの第 2の例]

上述した第 1の例においては、 GO Pを構成する 1 5枚のピクチャのそれぞれについての付加情報のパック AR I— P CK#は、ビデオパック V P CKのうちのタイムスタンプ P T Sがバケツトヘッダに付加されるパックの直前または直後に 1パックずつ多重化するようにしたが、 VO BU内の特定の位置に、 1 5枚のピクチャのそれぞれについての付加情報のパック AR I— P CK#をまとめて配置するようにしてもよい _c この第 2の例は、その場合の例であり、第 5図（B) に示すように、第 5図（A) に示す V〇 B Uのそれぞれにおいて、ナビゲーシヨンパック NV— P CKの直後に、 1 5枚のピクチャのそれぞれに対する付加情報のパック AR I— P CK 0〜AR I— P CK 1 4をまとめて配置する _c 付加情報のパック AR I— P CK 0〜AR I— P CK 1 4には、それぞれの付加情報が対応しているピクチャに付加されるタイムスタンプ P T Sと同じタイムスタンプ P T Sが付加されているのは、第 1の例と同様でめる。

なお、以上の説明では、付加情報のパック AR I— P CK 0〜AR I _P C K 1 4は、ナビゲ一ションパック NV— P CKの直後にまとめて配置するようにしたが、 VOBUの最後にまとめて配置するようにすることもできるし、また、 VO B U内の中間の予め定められた位置に、まとめて配置するようにしてもよい。

[データ分離およびデータ圧縮解凍処理について]

次に、 D S P 2 1における画像データ、オーディオデータおよび付加情報の分離処理および画像データとオーディォデータの圧縮解凍処理について、第 6図を参照して説明する。

書き込み読み出し部 2 3にょり0 04 0から、 VOB U単位で読み出されたデータは、デ，マルチプレクサ 2 2 1において、画像デ一夕パックと、オーディオデータパックと、付加情報パックとに分離される- デ ·マルチプレクサ 2 2 1では、それぞれのパックからパックへッダおよびバケツトヘッダを分離し、それらのヘッダ情報を制御部 2 2 0に供給する。制御部 2 2 0では、ヘッダ情報を解析し、タイムスタンプ P T Sおよび D T Sを抽出して、画像データ、オーディオデータおよび付加情報のデコード処理および再生出力を制御する。

また、デ *マルチプレクサ 2 2 1は、分離した画像データパックから抽出した圧縮画像データは、バッファ 2 2 2を通じてビデオデコ一ダ部 2 2 5に供給し、分離したオーディオデータパックから抽出した圧縮ォ —ディォデータは、バッファ 2 2 3を通じてオーディォデコーダ部 2 2 6に供給し、分離した付加情報パックから抽出した付加情報はバッファ 2 2 4を通じて付加情報デコーダ部 2 2 7に供給する。

そして、ビデオデコーダ部 2 2 5では、制御部 2 2 0からの制御に従い、タイムスタンプ D T Sに従った順序で、画像データの圧縮解凍処理を行なって、フレーム単位の画像データを復元し、バッファ 2 2 8に出力する。そして、制御部 2 2 0は、このバッファ 2 2 8から、画像デー夕パックに含まれていたタイムスタンプ P T Sに従つた順序で、フレーム単位の画像データを読み出して、ビデオ信号処理部 2 3 1に供給するように制御する。

また、オーディオデコーダ部 2 2 6では、制御部 2 2 0からの制御に従い、順次にオーディオデータの圧縮解凍処理を行なって、オーディオデータを復元し、バッファ 2 2 9に出力する。そして、制御部 2 2 0は，このバッファ 2 2 9から、オーディォデ一タパックに含まれていたタイムスタンプ P T Sに従った順序で、オーディォデ一タを読み出して、ォ —ディォ信号処理部 2 3 2に供給するように制御する。

さらに、付加情報デコーダ部 2 2 7では、制御部 2 2 0からの制御に従い、フレーム単位の画像データについての付加情報を再生し、バッファ 2 3 0に出力する。この場合、付加情報デコーダ部 2 2 7では、付加情報は、画像データの制御用情報 A Vと、オーディオデ一タ制御用情報 A aと、撮影年月日、時間などの表示用情報 Adとを生成して、それぞれバッファ 2 3 0に出力する。

そして、制御部 2 2 0は、このバッファ 2 3 0から、付加情報パックに含まれていたタイムスタンプ P T Sに従った順序で、フレーム単位の画像データについての付加情報を読み出すが、画像データの制御用情報 Avは、ビデオ信号処理部 2 3 1に、オーディオデータ制御用情報 A a は、オーディオ信号処理部 2 3 2に、表示用情報 Adは、 O SD (On S c r e e n D i s l a y) 回路 2 3 3に、それぞれ供給するように制御する。

この場合、タイムスタンプ P T Sに従ってバッファ 2 3 0からビデオ信号処理部 2 3 1およびオーディォ信号処理部 2 3 2に、画像データの制御用情報 A Vおよびオーディオデータ制御用情報 A aが供給されるので、それらの制御用情報 A Vおよび A aは、対応するフレームの画像デ —夕およびオーディォデータとなっており、自動的に対応付けがなされている。したがって、画像データおよびオーディオデータについては、対応する制御用情報 A Vおよび A aによって、適切な制御処理がなされる。

ビデオ信号処理部 2 3 1では、画像データの制御用情報 A Vに応じた画像データ処理がなされる。例えば、撮影時のオートホワイトバランス調整に応じた画像データ制御などを行なう。

また、オーディオ信号処理部 2 3 2では、オーディオデータ制御用情報 A aに応じたオーディオデータ制御処理がなされる。例えば、内蔵マィクロホンで収音した音声か、外部マイクロホンで収音した音声かにより、 AG C特性が変えられて記録されているので、それに対応した制御処理をするようにする。表示用情報 A dは、撮影年月日、撮影時刻、ズーム倍率などの表示情報であり、 O S D回路 2 3 3を通じて合成部 2 3 4に供給され、ビデオ信号処理部 2 3 1からの画像データに合成される。この合成部 2 3 4からの画像データがビデオ/オーディォ出力処理部 2 4を通じて制御部 3 0に供給され、 L CD 3 2の画面に表示される。

前述したように、画像データと付加情報の表示用情報 A dとは、対応するフレームのものについては、同一のタイムスタンプ P T Sに基づいてバッファ 2 2 8および 2 3 0から読み出されて合成されるので、 L C D 3 2の画面には、フレーム単位の撮影時刻が正しく表示されるようになる。

[その他の実施形態]

[第 1の他の例]

上述の実施形態では、付加情報は、画像フレームのそれぞれに対して

1パックとして記録するようにしたが、 1個の VOB Uについて、 1パ Vク分を付加情報パック A R I— P C Kとして-. その 1パック内に、 V

OB U内の、この例では 1 5枚のピクチャ (フレーム）についての付加情報をまとめて記録するようにしてもよい。

第 7図は、その場合のデータフォーマツトの一例を示すものである。すなわち、この例においては、第 7図 (A) に示す VO BUのそれぞれに対して、第 7図（B) に示すように、ナビゲ一ションパック NV— P

CKの直後に、 1パック分の付加情報のパック AR I— P CKを配置する。

そして、この付加情報のパック AR I _P C Kには、各画像フレームについての付加情報と P T Sとの組を、 GO Pを構成する 1 5枚の画像フレーム分、含めるようにする。すなわち、第 7図（C) に示すように、各画像フレームについての付加情報のデ一夕 AR I— DT # (#はフレーム番号）と、その画像フレームに付加されるタイムスタンプ P T S #とを対応付けた組のデータ A R I— S E T #を生成する。そして、 GO Pを構成する 1 5枚のフレ一ムについての 1 5組のデータ AR I— S ET 0〜AR I— S ET 14を順番に、付加情報パック AR I— P CK内に含めるようにする。

この例の場合には、付加情報用のバケツト AR I— P CKのパケットとしては、前述例と同様に、プライベート 1 ·パケットを使用することができるが、第 7図（D) に示すプライベート 2 ·パケットも使用可能である。

この例の場合には、データ再生時には、各組のデータ AR I— S ET から PTSを検出し、この PTSを用いて、前述の例と同様に、画像デ一夕およびォ一ディォデ一夕との時間合わせをして、付加情報を出力することにより、画像データやオーディォデ一夕の制御用として使用すると共に画面の表示デ一夕として使用することが可能である。

[第 2の他の例]

第 4図に示した例では、付加情報については、ピクチャ順の並び換えに関係なく、元の時系列順のままとして、タイムスタンプ PTSを付加した付加情報パックを、 P T Sがバケツトヘッダに含まれるビデオパック V— P CKの前 (または後) に付加するようにしたが、付加情報についても、画像データについてのピクチャ順の並び換えに応じて並び換えて、 PT Sがバケツトヘッダに含まれるビデオパック V— P CKの前

(または後）に付加するようにしてもよい。

この第 2の他の例の場合には、ビデオパック V— P CKと、付加情報のパック AR I— P CKとは、パケットヘッダに含まれる PTSが同一のものが並んで、対応付けが容易になる。 [第 3の他の例]

上述の第 2の他の例によれば、付加情報のパック A R I— P C Kは、その付加情報が対応する画像フレームのビデオパックであって、 P T S がバケツトヘッダに含まれるパックの前または後に付加されるので、付加情報と、その付加情報が対応する画像フレームとの対応は、付加情報に P T Sが存在しなくても容易に関係付けることができる。

そこで、第 3の他の例は、前記第 2の他の例と同様に、付加情報のパック A R I—P C Kは、その付加情報が対応する画像フレームのビデオパックであって、 P T Sがバケツトヘッダに含まれるパックの前または後に付加するが、付加情報パックには、 P T Sを含めない。したがって、この第 3の他の例においては、付加情報のパックのパケットとしては、第 7図 ( D ) に示したプライベート 2 ·パケットを用いることができる _t そして、この第 3の他の例の場合には、再生時には、それぞれの画像フレームに対応する付加情報を、前記記録位置による対応関係から抽出するようにすると共に、. 例えば、ビデオパックに付加されている P T S に基づいて、再生出力管理したり、対応する付加情報の順序を並び換えて再生出力したりすることにより、上述と同様にして、復元された再生出力画像データやオーディォデ一夕と対応させて、制御用情報や表示用情報として用いるようにするものである。

[第 4の他の例]

この第 4の他の例は、第 5図に示した例の変形例であって、付加情報パック A R I— P C Kには、タイムスタンプ P T Sを含まない場合である。すなわち、この第 4の他の例においては、画像データを復元したときには、 P T Sにより元のピクチャ順（フレーム順）に戻って再生されることから、この P T Sに基づいて画像フレームが再生される順番に、付加情報パック A R I P C Kも並べておくものである。したがって、第 5図（B) に示したとおりの並び順で、付加情報パック AR I— P C Kが配置される。

そして、この第 4の他の例の塲合には、再生時には、それぞれの画像フレームに対応する付加情報を、並び順が元に戻されて再生出力される画像フレームに対して、順番に順次に出力するようにすることにより、復元された再生出力画像デ一夕やオーディォデータと対応させて、制御用情報や表示用情報として用いることができる。

[第 5の他の例]

以上の例は、 DVD-V i d e oフォ一マツ卜で記録する場合に、この発明を適用した場合であるが、 D VD— V i d e 0 R e c o r d i n g (D VD- VR) フォーマツ卜のおける VOBUのデータにも、上述と全く同様に処理して適用することができる。

そして-, さらに、 D V D— V Rフォーマツ卜の場合には.. 第 8図に示すように、 VOBUの先頭に配置されるパック RD I_P CK内の RD Iパケットの RD I ·データ領域内に、第 7図の例と同様の形式の付加情報を配置するようにすることもできる。

[第 6の他の例]

以上の例は、いずれも画像フレームのそれぞれについて付加情報を生成して、付加するようにしたが、すべての画像フレームについて付加情報を生成しなくてもよい。

この第 6の他の例は、その場合の例であり、この例においては、例えば、 2画像フレーム毎の 1フレーム、 3画像フレーム毎の 1フレ一ム、 · · · 1 5画像フレーム毎の 1フレーム · · ' のように、所定時間毎の復号再生単位としての画像フレームについて、当該画像フレームについての付加情報を生成し、当該画像フレームについての復号再生処理のための管理情報に関連付けて記録するようにする。復号再生処理のための管理情報として、前述のタイムスタンプ P T S を用いるようにすれば、所定時間毎の復号再生単位としての画像フレームの情報の再生に同期して、当該画像フレームについての付加情報を再生して、利用することが容易である。

なお、例えば付加情報が記録時間の場合においては、付加情報が記録されない画像フレームについての記録時間については、記録されている付加情報としての記録時間から容易に計算により求めることができる。また、付加情報が記録されている画像フレームの近傍の画像フレームについては、当該付加情報をそれらの近傍の画像フレームについての付加情報として利用するようにしても良い。

[その他の変形例]

なお、この発明による記録方法および再生方法は、上述した撮像装置にのみ適用される場合に限られるものではなく、画像デ一夕やオーディォデータを圧縮して記録する種々の電子機器に適用可能であることは言うまでもない。

また、以上の例は主として、画像デ一夕の 1フレーム単位に対して付加情報を付加する場合について説明したが、オーディォデ一夕のフレ —ムを復号再生単位として付加情報を付加する場合にも適用可能である, 以上説明したように、この発明による記録方法によれば、復号再生単位の情報のそれぞれについての付加情報を、各復号再生単位についての対応が確実に取れるように記録することができる。

また、この発明による再生方法によれば、記録媒体には、復号再生単位の情報についての付加情報が、当該復号再生単位についての対応が確実に取れるように記録されているので、再生された復号再生単位の情報について、付加情報に基づいて補正制御などの信号制御が可能になると共に、復号再生単位の表示情報に、対応する付加情報の表示情報を合成して表示することが可能になるものである。

Claims

請求の範囲

1 . 時系列情報をデータ圧縮して記録媒体に記録する方法であって、前記圧縮された前記時系列情報の復号再生単位の情報のそれぞれには、復号再生処理のための管理情報を付加して記録する方法において、前記復号再生単位の情報のうち、所定時間毎の復号再生単位の情報についての付加情報を、対応する前記復号再生単位の情報についての前記復号再生処理のための管理情報に関連付けて記録する

ことを特徴とする記録方法。

2 . 請求の範囲第 1項に記載の記録方法において、

前記記録媒体に対する書き込み /読み出しの単位である読み書き単位の情報には、前記時系列情報の復号再生単位の情報を複数単位分、含むと共に、

前記復号再生単位の情報は、前記読み書き単位の情報内においては、時系列方向の順序が変更されている

ことを特徴とする記録方法。

3 . 請求の範囲第 1項または第 2項に記載の記録方法において、前記復号再生処理のための管理情報は、前記復号再生単位の情報の再生出カタイミングに関する時間管理情報である

ことを特徴とする記録方法。

4 . 請求の範囲第 2項に記載の記録方法において、

前記所定時間毎の復号再生単位の情報についての付加情報は、前記読み書き単位の情報内において定められた位置に、対応する前記復号再生単位の情報についての復号再生処理のための管理情報を付加して記録する

ことを特徴とする記録方法。

5 . 請求の範囲第 2項に記載の記録方法において、

前記読み書き単位の情報は、複数個のパケットからなるものであり、前記所定時間毎の復号再生単位の情報についての付加情報は、対応する前記復号再生単位の情報についての復号再生処理のための管理情報を含むパケットとして、前記読み書き単位の情報内において記録することを特徴とする記録方法。

6 . 請求の範囲第 2項に記載の記録方法において、

前記読み書き単位の情報は、複数個のバケツトからなるものであり、前記所定時間毎の復号再生単位の情報についての付加情報は、前記圧縮された時系列情報のパケットのうちの対応する前記復号再生単位についての前記復号再生処理のための管理情報を含むパケットに対して定められた位置に記録する

ことを特徴とする記録方法。

7 . 請求の範囲第 1項または第 2項に記載の記録方法において、前記付加情報は、前記時系列情報の前記復号再生単位の情報の取得時間に関する情報を少なくとも含む

ことを特徴とする記録方法。

8 . 請求の範囲第 1項または第 2項に記載の記録方法において、前記付加情報は、前記時系列情報の前記復号再生単位の情報の取得条件に関する情報を含む

ことを特徴とする記録方法。

9 . 請求の範囲第 1項または第 2項に記載の記録方法において、前記時系列情報は画像情報であり、前記復号再生単位の情報は、フィールドまたはフレ一ム単位の情報であるとともに、

前記デ一夕圧縮は、前記復号再生単位の情報の相関を利用したものであることを特徴とする記録方法。

1 0 . 時系列情報をデータ圧縮するデータ圧縮手段と、

前記圧縮された前記時系列情報の復号再生単位の情報のそれぞれに付加する、復号再生処理のための管理情報を発生する管理情報発生手段と、前記復号再生単位の情報のうち、所定時間毎の復号再生単位の情報についての付加情報を生成する付加情報生成手段と、

前記データ圧縮された前記時系列情報を、前記復号再生単位の情報に前記管理情報発生手段からの前記復号再生処理のための管理情報を付加した状態で記録媒体に記録すると共に、前記付加情報生成手段からの前記付加情報を、前記管理情報発生手段からの、対応する前記復号再生単位の情報についての前記復号再生処理のための管理情報に関連付けて記録するように制御する記録制御手段と、

を備える記録装置。

1 1 . 請求の範囲第 1 0項に記載の記録装置において、

前記記録制御手段は前記記録媒体に対する書き込み/読み出しの単位である読み書き単位の情報として、前記時系列情報の復号再生単位の情報を複数単位分、含む情報を生成するものであり、

ことを特徴とする記録装置。

1 2 . 請求の範囲第 1 0項または第 1 1項に記載の記録装置において、前記復号再生処理のための管理情報は、前記復号再生単位の情報の再生出力タイミングに関する時間管理情報である

ことを特徴とする記録装置。

1 3 . 請求の範囲第 1 1項に記載の記録装置において、前記記録制御手段は、前記所定時間毎の復号再生単位の情報についての付加情報は、前記読み書き単位の情報内において定められた位置に、対応する前記復号再生単位の情報についての復号再生処理のための管理情報を付加して記録する

ことを特徴とする記録装置。

1 4 . 請求の範囲第 1 1項に記載の記録装置において、

前記読み書き単位の情報は、複数個のパケットからなるものであり、前記記録制御手段は、前記所定時間毎の復号再生単位の情報についての付加情報は、対応する前記復号再生単位の情報についての復号再生処理のための管理情報を含むパケットとして、前記読み書き単位の情報内において記録する

ことを特徴とする記録装置。

1 5 . 請求の範囲第 1 1項に記載の記録装置において、

前記読み書き単位の情報は、複数個のパケットからなるものであり、前記記録制御手段は前記所定時間毎の復号再生単位の情報についての付加情報は、前記圧縮された時系列情報のパケットのうちの対応する前記復号再生単位についての前記復号再生処理のための管理情報を含むバケツトに対して定められた位置に記録する

ことを特徴とする記録装置。

1 6 . 請求の範囲第 1 0項または第 1 1項に記載の記録装置において, 前記付加情報は、前記時系列情報の前記復号再生単位の情報の取得時間に関する情報を少なくとも含む

ことを特徴とする記録装置。

1 7 . 請求の範囲第 1 0項または第 1 1項に記載の記録装置において、前記付加情報は、前記時系列情報の前記復号再生単位の情報の取得条件に関する情報を含むことを特徴とする記録装置。

1 8 . 請求の範囲第 1 0項または第 1 1項に記載の記録装置において. 前記時系列情報は画像情報であり、前記復号再生単位の情報は、フィールドまたはフレーム単位の情報であるとともに、

前記データ圧縮は、前記復号再生単位の情報の相関を利用したものである

ことを特徴とする記録装置。

1 9 . 時系列情報がデ一夕圧縮されて記録されると共に、前記圧縮された前記時系列情報の復号再生単位の情報のそれぞれには、復号再生処理のための管理情報が付加されて記録される記録媒体であって、

前記復号再生単位の情報のうち、所定時間毎の復号再生単位の情報についての付加情報は、対応する前記復号再生単位の情報についての前記復号再生処理のための管理情報に関連付けられて記録されている

ことを特徴とする記録媒体。

2 0 . 請求の範囲第 1 9項に記載の記録媒体において、

前記記録媒体に対する書き込み Z読み出しの単位である読み書き単位の情報には、前記時系列情報の復号再生単位の情報を複数単位分、含むと共に、

ことを特徴とする記録媒体。

2 1 . 請求の範囲第 1 9項または第 2 0項に記載の記録媒体において. 前記復号再生処理のための管理情報は、前記復号再生単位の情報の再生出力夕イミングに関する時間管理情報である

ことを特徴とする記録媒体。

2 2 . 請求の範囲第 2 0項に記載の記録媒体において、前記所定時間毎の復号再生単位の情報についての付加情報は、前記読み書き単位の情報内において定められた位置に、対応する前記復号再生単位の情報についての復号再生処理のための管理情報が付加されて記録されている

ことを特徴とする記録媒体。

2 3 . 請求の範囲第 2 0項に記載の記録媒体において、

前記読み書き単位の情報は、複数個のパケッ卜からなるものであり、前記所定時間毎の復号再生単位の情報についての付加情報は、対応する前記復号再生単位の情報についての復号再生処理のための管理情報を含むパケットとして、前記読み書き単位の情報内において記録されている

ことを特徴とする記録媒体。

2 4 . 請求の範囲第 2 0項に記載の記録媒体において、

前記読み書き単位の情報は、複数個のパケットからなるものであり、前記所定時間毎の復号再生単位の情報についての付加情報は、前記圧縮された時系列情報のバケツトのうちの対応する前記復号再生単位についての前記復号再生処理のための管理情報を含むパケッ卜に対して定められた位置に記録されている

ことを特徴とする記録媒体。

2 5 . 請求の範囲第 1 9項または第 2 0項に記載の記録媒体において、前記付加情報は、前記時系列情報の前記復号再生単位の情報の取得時間に関する情報を少なくとも含む

ことを特徴とする記録媒体。

2 6 . 請求の範囲第 1 9項または第 2 0項に記載の記録媒体において、前記付加情報は、前記時系列情報の前記復号再生単位の情報の取得条件に関する情報を含むことを特徴とする記録媒体。

2 7 . 請求の範囲第 1 9項または第 2 0項に記載の記録媒体において，前記時系列情報は画像情報であり、前記復号再生単位の情報は、フィ —ルドまたはフレーム単位の情報であるとともに、

ことを特徴とする記録媒体。

2 8 . 請求の範囲第 1 9項〜第 2 7項のいずれかに記載の記録媒体の再生方法であって、

前記時系列情報の前記復号再生単位の情報の圧縮を解凍し、前記復号再生処理のための管理情報を用いて再生出力すると共に、

前記復号再生処理のための管理情報を用いて、前記付加情報を、対応する前記時系列情報の前記復号再生単位の情報の再生出力に同期させて- 再生出力する

ことを特徴とする再生方法。

2 9 . 請求の範囲第 1 9項〜第 2 7項のいずれかに記載の記録媒体の再生方法であって、

前記復号再生処理のための管理情報を用いて、前記付加情報を、対応する前記時系列情報の前記復号再生単位の情報の再生出力に同期させて再生し、当該再生した前記付加情報により、前記対応する復号再生単位の情報を制御する

ことを特徴とする再生方法。

3 0 . 請求の範囲第 1 9項〜第 2 7項のいずれかに記載の記録媒体の再生装置であって、前記記録媒体から前記圧縮されている時系列情報と前記付加情報とを読み出す読み出し手段と、

前記読み出し手段から、前記圧縮されている時系列情報と前記付加情報とを分離する分離手段と、

前記分離手段からの前記時系列情報の圧縮を解凍する手段と、前記圧縮を解凍した時系列情報について、前記復号再生処理のための管理情報を用いて前記復号再生単位の情報を再生出力する手段と、前記分離手段からの前記付加情報を、前記復号再生処理のための管理情報を用いて前記時系列情報の前記復号再生単位の情報の再生出力に同期させて、再生出力する手段と、

を備えることを特徴とする再生装置。

3 1 . 請求の範囲第 1 9項〜第 2 7項のいずれかに記載の記録媒体の再生装置であって、

前記記録媒体から前記圧縮されている時系列情報と前記付加情報とを読み出す読み出し手段と、

前記分離手段からの前記時系列情報の圧縮を解凍する手段と、前記圧縮を解凍した時系列情報について、前記復号再生処理のための管理情報を用いて前記復号再生単位の情報を再生出力する手段と、前記分離手段からの前記付加情報を、前記復号再生処理のための管理情報を用いて前記時系列情報の前記復号再生単位の情報の再生出力に同期させて再生し、当該再生した前記付加情報により、前記対応する復号再生単位の情報を制御する手段と、

を備えることを特徴とする再生装置。

3 2 . 撮像素子と、前記撮像素子に被写体像を結像させるための撮像光学系と、

前記撮像素子からの画像情報をデータ圧縮処理するデータ圧縮手段と、前記データ圧縮手段により圧縮された前記画像情報の復号再生単位の情報のそれぞれに付加する、復号再生処理のための時間管理情報を発生する時間管理情報発生手段と、

前記復号再生単位の情報のうち、所定時間毎の復号再生単位の情報についての付加情報を生成する付加情報生成手段と、

前記データ圧縮された前記画像情報を、前記復号再生単位の情報に前記管理情報発生手段からの前記復号再生処理のための管理情報を付加した状態で記録媒体に記録すると共に、前記付加情報発生手段からの前記付加情報を、前記管理情報発生手段からの、対応する前記復号再生単位の情報についての前記復号再生処理のための管理情報に関連付けて記録する記録制御手段と、

を備える撮像装置。

3 3 . 請求の範囲第 3 2項に記載の撮像装置において、

前記記録制御手段は、前記記録媒体に対する書き込み Z読み出しの単位である読み書き単位の情報として、前記画像情報の復号再生単位の情報を複数単位分、含む情報を生成するものであり、

ことを特徴とする撮像装置。

3 4 . 請求の範囲第 3 2項に記載の撮像装置において、

前記記録制御手段は、前記所定時間毎の復号再生単位の情報についての付加情報は、前記読み書き単位の情報内において定められた位置に、対応する前記復号再生単位の情報についての復号再生処理のための管理情報を付加して記録することを特徴とする撮像装置。

3 5 . 請求の範囲第 3 2項に記載の撮像装置において、

前記読み書き単位の情報は、複数個のパケットからなるものであり、前記記録制御手段は、前記所定時間毎の復号再生単位の情報についての付加情報は、対応する前記復号再生単位の情報についての復号再生処理のための管理情報を含むバケツトとして、前記読み書き単位の情報内において定められた位置に記録する

ことを特徴とする撮像装置。

3 6 . 請求の範囲第 3 2項に記載の撮像装置において、

前記読み書き単位の情報は、複数個のパケットからなるものであり、前記記録制御手段は、前記所定時間毎の復号再生単位の情報についての付加情報は、それぞれ、前記圧縮された時系列情報のパケットのうちの対応する前記復号再生単位についての前記復号再生処理のための管理情報を含むパケッ卜に対して定められた位置に記録する

ことを特徴とする撮像装置。

3 7 . 請求の範囲第 3 2項に記載の撮像装置において、

前記付加情報は、前記画像情報の前記復号再生単位の情報の撮影時刻に関する情報を含む

ことを特徴とする撮像装置。

3 8 . 請求の範囲第 3 2項に記載の撮像装置において、

前記付加情報は、前記画像情報の前記復号再生単位の情報を得たときの撮像条件に関する情報を含む

ことを特徴とする撮像装置。

3 9 . 請求の範囲第 3 2項に記載の撮像装置において、

前記復号再生単位の情報は、フィールドまたはフレーム単位の情報であるとともに、前記データ圧縮は、前記復号再生単位の情報の相関を利用したものである

ことを特徴とする撮像装置。