JP4224690B2 - 記録方法、記録装置、再生方法、再生装置および撮像装置 - Google Patents

Description

この発明は、画像情報を圧縮符号化してディスクなどの記録媒体に記録する方法、装置およびその再生方法、装置に関する。

例えば、画像情報を、ディスク、テープ、半導体メモリなどの記録媒体に記録する場合には、限られた書き込み領域に、より長時間分の画像情報を書き込むことができるようにするため、一般に、画像情報は、データ圧縮するようにする。

このデータ圧縮の方法としては、従来から、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式による圧縮符号化方式が広く利用されている。

ＭＰＥＧ方式では、画像情報については、画像情報の復号再生単位である画像フレーム（あるいは画像フィールド）の情報の相関を利用した予測符号化と、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）を用いたデータ圧縮を行なう。

ＭＰＥＧ方式においては、各フレーム（またはフィールド。以下同様であるが、説明の簡単のため、以下の説明においては、「フレーム」の語のみを使用するものとする）の画像は、圧縮符号化の違いにより、Ｉピクチャと、Ｐピクチャと、Ｂピクチャとの、３つのタイプに分けられる。

Ｉピクチャは、１フレーム内だけで閉じた圧縮符号化を行なう画像（フレーム内符号化画像）である。Ｐピクチャは、当該画像フレームよりも前の画像フレームとの相関を利用した圧縮符号化を行なう画像（順方向予測符号化画像）である。また、Ｂピクチャは、当該画像フレームの前と後の画像フレームの相関を利用した圧縮符号化を行なう画像（双方向予測符号化画像）である。

そして、ＭＰＥＧ方式においては、記録媒体に対する書き込みおよび読み出しの単位（読み書き単位）は、複数フレーム（例えば１５フレーム）からなるいわゆるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）で構成される。図１５にＧＯＰの一例を示す。

図１５に示すように、ＭＰＥＧ方式では、ＧＯＰには、Ｉピクチャが、少なくとも１枚必ず含まれるようにされている。ＰピクチャとＢピクチャだけでは、画像の復号ができないからである。このようにＧＯＰにＩピクチャが含まれることにより、ＧＯＰ単位でランダムアクセスが可能となる。

ＩピクチャおよびＰピクチャは、元の画像と同じ順序で符号化処理されるが、Ｂピクチャは、ＩピクチャおよびＰピクチャを先に符号化処理した後、符号化処理するようにする。この符号化の順番を考慮して、ＭＰＥＧエンコーダにおいては、画像の順序が、図１５（Ａ）の状態の元の並び順のものから、図１５（Ｂ）に示すように並び換えられ、当該並び換えられた画像情報に対して、圧縮符号化の処理がなされる（特許文献１（特開平８−２１４２６５号公報参照））。

すなわち、図１５（Ａ）において矢印で示すように、Ｐピクチャは、前方のＩピクチャあるいはＰピクチャを利用した予測符号化を行なう。また、Ｂピクチャは、前方および後方のＩピクチャまたはＰピクチャに挟まれる２枚分について、それら前方および後方のＩピクチャまたはＰピクチャを利用した予測符号化を行なう。

このようにＢピクチャは、符号化の際に、後方のＩピクチャまたはＰピクチャを利用することになるので、図１５（Ｂ）に示すように、当該Ｂピクチャは、それを予測符号化するために用いる後方のＩピクチャまたはＰピクチャよりも後の順序となるように並び換えを行なうものである。

そして、後述するように、圧縮符号化された画像データには、復号再生単位、つまり、ピクチャ単位のデータに、復号再生処理のための管理情報が付加されて、記録媒体に記録される。そして、ＭＰＥＧ方式で圧縮された画像データの再生の際には、復号再生処理のための管理情報が記録データから抽出され、当該管理情報に基づいて、再生されたピクチャ単位の画像出力が制御され、ピクチャの並び順が元に戻される。

ところで、例えば、デジタルカメラにおいては、静止画の撮影時には、撮影日時等の情報を、記録画像に重畳表示できるように記録することは既に行われている。また、カメラ設定データを画像信号と分離可能に記録媒体に記録する方法が、例えば特許文献２（特開平９−６９９９５号公報）に開示されている。

上記の特許文献は、以下の通りである。
特開平８−２１４２６５号公報 特開平９−６９９９５号公報

デジタルカメラにおいては、静止画のみではなく、動画も撮影できるようにされているものが多い。その場合の動画の画像データのデータ圧縮方式としては、通常、上述したＭＰＥＧ方式が採用されている。

このデジタルカメラにおける動画の撮影時にも、撮影日時等の情報や、絞り、露出値、ホワイトバランスの状態、焦点距離などの撮影条件を画像情報に付加して、記録媒体に記録することができれば、撮影画像の管理情報として使用できるなど、便利である。

上述したＭＰＥＧ方式において、画像データ、オーディオデータなどを同期化して多重化して符号化ストリームとし、そのストリームを記録媒体などに記録するシステムフォーマットの一つとして、ＭＰＥＧ−ＰＳ（ＰＳ：Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）が知られているが、このＭＰＥＧ−ＰＳでは、上述の撮影時情報等の付加情報をストリーム上、どのように多重化するかということは定義されていない。

そこで、ＭＰＥＧ方式の記録データの伝送フォーマットにおいて、どのようにして付加情報を便宜に利用できる状態で付加するかということが技術的な課題となっている。

そして、その場合に、例えば、見たい画像情報ポイントや編集ポイントを容易に検索することができるようにするために、記録媒体からの画像データをノーマル速度よりも高速に再生する変速再生時において、その付加情報を利用することができるようにすることが重要である。

この発明は、以上のような要求を満足することができる状態で画像情報についての付加情報を記録媒体に記録することができる方法および装置を提供することを目的とする。

上記課題を解決するため、この発明による記録方法は、
画像情報をデータ圧縮して記録媒体に記録する方法であって、前記圧縮された画像情報の、前記記録媒体に対する書き込みおよび読み出しの単位である読み書き単位の情報には、前記画像情報の１フレーム（または１フィールド）からなる復号再生単位の情報を複数単位分含むと共に付加情報を含み、少なくとも１個の前記復号再生単位の情報は、当該復号再生単位内の画像情報のみを用いて圧縮符号化したものとする記録方法であって、
前記読み書き単位の情報は、所定のデータ量ごとにブロック化された複数個のブロックから構成されるものであると共に、
前記付加情報は、前記画像情報の取得条件に関する情報を含むと共に、１個の前記ブロックから構成されるものであり、
前記読み書き単位の情報内に、前記読み書き単位内の複数単位分の前記復号再生単位の情報についての前記付加情報を、前記圧縮された画像情報とは分離して抽出可能に多重化して記録する
ことを特徴とする。

上述の構成のこの発明によれば、例えば圧縮方式がＭＰＥＧ方式の場合について説明すると、Ｉピクチャを少なくとも１枚含むＧＯＰを包含する読み書き単位の情報内に、当該読み書き単位の情報についての付加情報が、画像情報とは分離可能に記録されている。したがって、読み書き単位ごとに、画像情報を再生するのと同時に、付加情報を抽出して再生することができる。

また、読み書き単位の情報中のＩピクチャのみを再生することにより、変速再生をする場合においても、付加情報を再生して、Ｉピクチャの画像に付加表示することもできる。このため、例えば付加情報として撮影日時の情報を記録した場合には、その撮影日時の情報をたよりに、高速再生して所望の画像位置を容易に検索することができるようになる。

この発明によれば、読み書き単位ごとに、画像情報を再生するのと同時に、付加情報を抽出して再生することができ、当該付加情報を編集や画像検索に用いることが可能になり、非常に便利である。

また、読み書き単位の情報中の復号再生単位内符号化画像情報（ＭＰＥＧの場合のフレーム内符号化画像情報、つまりＩピクチャ）のみを再生することにより、変速再生をする場合においても、付加情報を再生して、復号再生単位内符号化画像情報による画像に、付加情報を表示することもできる。このため、例えば付加情報として撮影日時の情報を記録した場合には、その撮影日時の情報をたよりに、高速再生して所望の画像位置を容易に検索することができるようになる。

以下、この発明による記録方法および再生方法の実施形態を、記録媒体として例えば光ディスクを用いた撮像装置としてのデジタルカメラに適用した場合を例にとって、図を参照しながら説明する。

この例では、光ディスクとしてＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ−Ｒｅｃｏｒｄａｂｌｅ）やＤＶＤ−ＲＷ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ−ＲｅＷｒｉｔａｂｌｅ）などの書き込み可能な光ディスクを用いる場合である。そして、データ圧縮方式としては、ＭＰＥＧ２方式が用いられ、記録データは、ＭＰＥＧ２−ＰＳ（ＰＳ；Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）の構成とされる。そして、光ディスクには、ＤＶＤ−ＶｉｄｅｏフォーマットでＭＰＥＧ２−ＰＳの記録データが記録されるものとする。

図１は、実施形態のデジタルカメラの構成例を示すブロック図である。この例のデジタルカメラは、カメラ部１０と、記録再生処理部２０と、制御部３０とからなる。

制御部３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１に対して、システムバス３０２を介して、プログラムＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０３と、ワークエリア用ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０４と、操作入力部３１を接続するための操作入力インターフェース３０５と、表示装置としてのＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）３２を接続するためのＬＣＤコントローラ３０６と、メモリ・カード５０を装填するためのメモリ・カードインターフェース３０７と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの通信インターフェース３０８と、時計回路３０９と、Ｉ／Ｏポート３１０，３１１，３１２，３１３，３１４，３１５，３１６，３１７とが接続されて構成されている。

ＲＯＭ３０３には、カメラ部１０を制御するためのプログラムや、撮影した画像情報やマイクロホン１５からの音声情報についての記録制御および再生制御、その他のプログラムが書き込まれている。

操作入力部３１には、撮影モード、再生モードなどを切り換えるモード切り換えキー、ズーム調整キー、露出調整のためのキー、シャッターキー、動画撮影用キー、ホワイトバランス調整用キーなどの複数のキーが設けられている。

ＣＰＵ３０１は、操作入力インターフェース３０５を通じて入力される操作入力部３１からの操作信号を解析して、操作入力部３１のいずれのキーが操作されたかを判別し、その判別結果に応じた制御処理を行なう。

ＬＣＤ３２には、ＣＰＵ３０１の制御の下に、撮影時の被写体画像や撮影条件が表示されると共に、記録媒体から再生された再生画像や付加情報が表示される。

時計回路３０９は、図示を省略した基準クロック信号発生回路からのクロック信号を計測して、年、月、日、時間、分、秒を表わす時間情報を生成する。秒としては、画像のフレーム単位を計数することができるような小数点以下の精度の情報を発生するように、この時計回路３０９は構成されている。

この例のデジタルカメラは、記録データを光ディスク４０に記録することができるほかに、メモリ・カード５０にも記録できるように構成されている。その場合には、メモリ・カード５０には、メモリ・カードインターフェース３０７を通じて圧縮データが記録される。

通信インターフェース３０８は、例えばこの例のデジタルカメラをパーソナルコンピュータに接続して、記録データやその他のデータのやり取りをする際に用いられる。

カメラ部１０は、カメラ光学系１１と、カメラコントロール部１２と、撮像素子１３と、撮像信号処理部１４と、マイクロホン１５と、入力オーディオ信号処理部１６とから構成される。

カメラ光学系１１は、図示を省略したが、被写体を撮像するためのレンズ群と、絞り調整機構、フォーカス調整機構、ズーム機構、シャッター機構、フラッシュ（ストロボ）機構などを備えると共に、手ぶれ補正機構を備えている。

手ぶれ補正機構は、ジャイロを備え、このジャイロにより検出された角速度情報ω（変化角度θ／秒）により手ぶれが検出され、当該検出された手ぶれ分を光学系の補正機構により補正する。この場合に、手ぶれの値が補正の限界を超えている場合には、そのことを示すフラグを立てるようにする。

すなわち、例えば所定時間間隔（例えば１／６０秒間で８回）で、ジャイロからの角速度情報ωの入力を受け、この角速度情報ωを記録開始から時間積分する。そして、その積分値θが、所定の角度値、例えば５度を超えたときに、手ぶれ補正限界フラグを立てるようにする。なお、角速度情報ωは、基準位置から一方の方向にずれた場合には＋ωとされ、他方の方向にずれた場合には−ωとされるので、＋方向および−方向の両方向に、手ぶれ補正限界の検出の閾値、例えば±５度が設定される。

カメラコントロール部１２は、制御部３０のＩ／Ｏポート３１０を通じた制御信号を受けて、カメラ光学系１１に供給する制御信号を生成する。そして、生成した制御信号をカメラ光学系１１に供給して、ズーム制御、シャッター制御、露出制御などの制御を行なう。制御部３０のＩ／Ｏポート３１０を通じた信号には、操作入力部３１でのその時点での操作入力に応じた制御信号だけでなく、操作入力部３１での操作入力に応じて予め設定された撮影条件に基づく制御信号が含まれる。

撮像素子１３は、この例では、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）で構成され、その結像面に、カメラ光学系１１を通じた像が結像される。そして、シャッター操作などのユーザー操作に応じて制御部３０のＩ／Ｏポート３１１から発生する画像取り込みタイミング信号を受けて、結像面に結像されている被写体像を撮像信号に変換し、撮像信号処理部１４に供給する。

撮像信号処理部１４では、制御部３０のＩ／Ｏポート３１２を通じた制御に基づいて、撮像信号についてのガンマ補正やＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）などの処理を行なうと共に、撮像信号をデジタル信号に変換する処理も行なう。

また、マイクロホン１５により、撮影時の被写体周辺の音声が収集される。そして、このマイクロホン１５からの音声信号が入力オーディオ信号処理部１６に供給される。

入力オーディオ信号処理部１６では、制御部３０のＩ／Ｏポート３１２を通じた制御に基づいて、入力オーディオ信号についての補正やＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）などの処理を行なうと共に、オーディオ信号をデジタル信号に変換する処理も行なう。

図１では、図示を省略したが、この例のデジタルカメラにおいては、外部マイクロホン端子を備え、当該外部マイクロホン端子に外部マイクロホンが接続された場合には、入力オーディオ信号処理部１６には、内蔵マイクロホン１５ではなく、当該外部マイクロホンからのオーディオ信号が供給されるように、自動的に切り換えられるように構成されている。

そして、この例においては、入力オーディオ信号処理部１６でのＡＧＣ処理は、内蔵マイクロホン１５からのオーディオ信号が入力された場合と、外部マイクロホンからのオーディオ信号が入力された場合とでは、その特性の違いを考慮した処理がなされるようにされている。ＡＧＣ処理の切り換えは、入力オーディオ信号処理部１６へのオーディオ信号の入力切り換えに連動して行なわれるように構成されている。

記録再生処理部２０は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２１と、ＤＶＤ信号処理部２２と、書き込み／読み出し部２３と、ビデオ／オーディオ出力処理部２４とからなる。ＤＳＰ２１には、例えばＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）からなるバッファメモリ２５が接続されている。

ＤＳＰ２１には、撮像信号処理部１４からのデジタル画像信号および入力オーディオ信号処理部１６からのデジタルオーディオ信号が入力されると共に、制御部３０のＩ／Ｏポート３１３を通じて、撮影時の情報が入力される。Ｉ／Ｏポート３１３を通じて入力される撮影時の情報には、フレーム単位の撮影時刻や、撮影条件情報が含まれる。

撮影時刻の情報としては、この例では、時計回路３０９からの時刻情報をその都度読み込んで用いる。しかし、動画の撮影開始時点で、時計回路３０９の時刻情報（撮影開始時刻）を取り込み、それ以降は、前記撮影開始時刻を基準にしたフレーム単位の相対時刻（フレーム番号でもよい）を撮影時刻として用いるようにしても良い。

また、撮影条件情報には、自動的に設定される情報およびユーザーにより設定される情報との両方を含み、例えば、露出制御情報、自動ホワイトバランス調整用情報、デジタルズーム倍率情報、手ぶれ補正情報、Ｆ値（Ｆナンバー）、露出時間、ＡＧＣゲイン値、レンズ焦点距離などの設定情報を含む。

なお、音声情報の取り込み手段として内蔵マイクロホン１５を使用したか、あるいは外部マイクロホンを使用したかの情報を、撮影時の情報に含めるようにしてもよい。

上述した撮影時の情報は、付加情報として、この実施形態では、後述するように、ＧＯＰ単位に生成されて記録されるようにされている。

ＤＳＰ２１は、Ｉ／Ｏポート３１３を通じたカメラ情報に基づき、撮像信号処理部１４からのデジタル画像信号について、自動ホワイトバランス制御や、露出補正のための制御、デジタルズーム倍率に応じた制御などを行なう。そして、ＤＳＰ２１は、このような制御が加えられたデジタル画像信号と、入力オーディオ信号処理部１６からのデジタルオーディオ信号とを、ＭＰＥＧ２方式によりデータ圧縮する。

また、ＤＳＰ２１は、入力された撮影時情報について、当該撮影時情報を付加情報として圧縮画像データや圧縮オーディオデータと共に記録するための付加情報処理を行なう。

ＤＳＰ２１は、さらに、圧縮した画像データと、圧縮したオーディオデータと、前述の付加情報とを、多重化して、ＭＰＥＧ−ＰＳフォーマットに従ったデータ列となるようにする処理も行なう。

そして、ＤＳＰ２１からのＭＰＥＧ−ＰＳフォーマットのデータは、Ｉ／Ｏポート３１４を通じて制御部３０の制御を受けるＤＶＤ信号処理部２２の記録信号処理部を通じて書き込み／読み出し部２３に供給され、この書き込み／読み出し部２３により、ＤＶＤ４０に書き込まれる。書き込み／読み出し部２３は、Ｉ／Ｏポート３１６を通じて制御部３０の制御を受ける。

そして、書き込み／読み出し部２３によってＤＶＤ４０から読み出されたデータは、ＤＶＤ信号処理部２２の再生信号処理部を通じてＤＳＰ２１に供給される。

ＤＳＰ２１では、多重化されている圧縮画像データと、圧縮オーディオデータと、付加情報とを分離する。そして、ＤＳＰ２１は、分離された圧縮画像データの圧縮を解凍し、元の並び順のフレーム単位の画像データを再生し、ビデオ／オーディオ出力処理部２４に出力すると共に、分離された圧縮オーディオデータの圧縮を解凍して、オーディオデータを再生し、ビデオ／オーディオ出力処理部２４に出力する。

ビデオ／オーディオ出力処理部２４は、Ｉ／Ｏポート３１５を通じて制御部３０の制御を受けて、出力すべき画像データおよびオーディオデータについての処理をする。そして、ビデオ／オーディオ出力処理部２４は、デジタルデータとしての画像データおよびオーディオデータは、Ｉ／Ｏポート３１５を通じて制御部３０に供給すると共に、Ｄ／Ａ変換してアナログ信号にし、出力端子２６Ｖおよび２６Ａに出力する。Ｉ／Ｏポート３１５を通じて制御部３０に入力された画像データによる再生画像は、ＬＣＤコントローラ３０６の制御に基づいて、ＬＣＤ３２の画面において再生表示される。

また、この例においては、ＧＰＳ受信機部６０がＩ／Ｏポート３１７を通じてシステムバス３０２に接続され、このＧＰＳ受信機部６０からの位置情報がＩ／Ｏポート３１７を通じて制御部３０に入力される。この位置情報は、記録時に、撮影された画像のデータに対応して記録される。

したがって、この例では、再生時には、再生画像には、撮影位置も表示することが可能である。また、記録された撮影時の位置情報を用いて、表示地図画面上に撮影時の道筋を表示することもできる。

なお、ＧＰＳ受信機部６０を設ける代わりに、通信手段を用いて、公衆基地局やネットワークから、位置情報を入手するように構成してもよい。

［データ圧縮および多重化処理について］
次に、ＤＳＰ２１におけるデータ圧縮および多重化の処理について、図２を参照して、さらに詳細に説明する。

すなわち、ＤＳＰ２１においては、撮像信号処理部１４からの画像データは、前述したように、撮像時の設定条件や制御条件に従って制御処理がなされた後、バッファ２０１を通じてビデオエンコード部２０２に供給される。

ビデオエンコード部２０２では、少なくとも１枚のＩピクチャと、複数枚のＰピクチャおよびＢピクチャからなるＧＯＰを構成し、このＧＯＰを、記録媒体としてのＤＶＤに対する書き込み単位として、圧縮処理するようにする。

すなわち、ビデオエンコード部２０２では、先ず、ピクチャ順並び換え部２０２１において、前述の図１５を用いて説明したように、ＧＯＰ内におけるピクチャ順の並び換えを行なう。

そして、次に、圧縮符号化部２０２２において、Ｉピクチャについては、フレーム内符号化処理を行なってデータ圧縮を行ない、Ｐピクチャについては、前方のＩピクチャまたはＰピクチャとの相関を利用したフレーム間予測符号化処理を行なってデータ圧縮を行ない、Ｂピクチャについては、前方および後方のＩピクチャまたはＰピクチャとの相関を利用したフレーム間予測符号化処理を行なってデータ圧縮を行なう。なお、Ｐピクチャについては、フレーム内符号化処理を行なう画像部分も存在する。

以上のようにして、圧縮符号化部２０２２において圧縮符号化処理が行なわれた画像データは、可変長符号化部２０２３においてハフマン符号などを用いた可変長符号化処理が行なわれた後、バッファ２０３を通じてマルチプレックス部（多重化部）２１１に供給される。

また、ＤＳＰ２１においては、入力オーディオ信号処理部１６からのオーディオデータは、撮像タイミングに同期して取り込まれてバッファ２０４を通じてオーディオエンコード部２０５に供給され、所定量のオーディオデータ（オーディオフレームと呼ばれる）を復号再生単位として、圧縮符号化される。圧縮符号化されたオーディオデータは、バッファ２０６を通じてマルチプレックス部（多重化部）２１１に供給される。

さらに、ＤＳＰ２１においては、Ｉ／Ｏポート３１３から入力された撮影時情報は、バッファ２０７を通じて付加情報処理部２０８に供給されて、画像のフレーム単位に付加する付加情報が生成される。そして、生成された付加情報は、バッファ２０９を通じてマルチプレックス部２１１に供給される。

マルチプレックス部２１１では、画像データ、オーディオデータ、付加情報のそれぞれをパケット化して、画像データ、オーディオデータ、付加情報を多重化する。この場合に、１または複数個のパケットデータにパックヘッダを付加してブロック化して、パックを構成する。このマルチプレックス部２１１からの多重化出力データは、ＤＶＤ信号処理部２２に出力され、書き込み／読み出し部２３により、上述したようにして、ＤＶＤ４０に書き込まれる。

なお、画像データとオーディオとの同期を取るために、ＭＰＥＧ方式においては、画像データあるいはオーディオデータの復号再生単位（画像データは、１フレーム単位、オーディオデータでは、オーディオフレーム単位）ごとに、タイムスタンプと呼ばれる管理情報が付加される。

このタイムスタンプの情報は、時刻管理情報発生部２１０からマルチプレックス部２１１に供給される。このタイムスタンプは、ＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ；システム時刻基準参照値）によって時間基準が与えられる。

タイムスタンプは、マルチプレックス部２１１において、パケットの中に復号再生単位の情報の先頭がある場合に、そのパケットヘッダに付加され、パケットの中に復号再生単位の情報の先頭がない場合には付加されない。

タイムスタンプには、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）と、ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）との２種類がある。

ＰＴＳは、復号再生単位の情報の再生出力の時刻管理情報である。すなわち、ＰＴＳは、復号再生単位の情報を、いつ再生出力するかの時刻管理情報である。

また、タイムスタンプＤＴＳは、復号再生単位の情報の復号の時刻管理情報である。これは、前述したように、ＭＰＥＧ方式では、ピクチャの並び順を符号化の際に並び換えることにより、再生出力順序と、復号順序とが異なることに対応して設けられたものである。

タイムスタンプＰＴＳとＤＴＳとが異なる場合には、両方のタイムスタンプがパケットヘッダに付加され、一致する場合には、タイムスタンプＰＴＳのみがパケットヘッダに付加される。

以上のように、タイムスタンプＰＴＳは、画像データのフレームの、元の並び順に対応するものであり、かつ、各フレームに１対１に対応する時刻管理情報である。オーディオデータについては、タイムスタンプＤＴＳは付加されず、タイムスタンプＰＴＳのみが付加される。

［付加情報の多重化の第１の例］
この第１の例は、ＤＶＤ−Ｖｉｄｅｏフォーマットによる記録時の場合である。ＤＶＤ−Ｖｉｄｅｏフォーマットによる光ディスク上における記録データの論理配置は、図３に示すようなものとなる。

すなわち、光ディスクの記録エリアは、図３（Ａ）に示すように、光ディスクの半径方向に見て、最内周側から、順に、リードインエリア、データゾーンエリア、リードアウトエリアに区分けされる。そして、データゾーンエリアに、管理情報および画像データ等のデータが記録される。

データゾーンエリアは、リードインエリア側から、順に、ＵＤＦ（Ｕｎｉｖｅｒｓａｌ Ｄｉｓｃ Ｆｏｒｍａｔ）エリア、ＶＭＧ（Ｖｉｄｅｏ ＭａｎａＧｅｒ）エリア、リアルタイムデータ記録エリアに区分けされる。ＵＤＦエリアおよびＶＭＧエリアは、光ディスクに記録された画像データ等のファイルを管理する管理用情報の記録エリアである。ＵＤＦエリアは、ＵＤＦ規格とＩＳＯ９６６０規格をサポートすることにより、コンピュータで光ディスクを読むことができるようにするためのものである。ＶＭＧエリアは、ＤＶＤ管理用情報の記録エリアである。

リアルタイムデータ記録エリアは、画像データやオーディオデータを記録するエリアであり、図３（Ｂ）に示すように、ＶＴＳ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ）と呼ばれるデータ群を単位として、データの記録がなされる。

ＶＴＳは、図３（Ｃ）に示すように、ＶＴＳＩ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ Ｉｎｆｏｒｍａｔｉｏｎ）と、ＶＴＳＭ＿ＶＯＢＳ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｓｅｔ Ｆｏｒ ｔｈｅ ＶＴＳＭ）と、ＶＴＳＴＴ＿ＶＯＢＳ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｓｅｔ Ｆｏｒ Ｔｉｔｌｅｓ ｉｎ ａ ＶＴＳ）と、ＶＴＳＩ＿ＢＵＰ（Ｂａｃｋｕｐ ｏｆ ＶＴＳＩ）とからなる。

ＶＴＳＴＴ＿ＶＯＢＳには、図３（Ｄ）に示すように、ＭＰＥＧ２−ＰＳフォーマットの圧縮データが、ＶＯＢＵ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｕｎｉｔ）と呼ばれる情報ブロックを読み書き単位として記録される。ＶＯＢＵ内には、画像データは、少なくとも１枚のＩピクチャを包含する１ＧＯＰが含まれ、オーディオデータは、当該１ＧＯＰに対応する情報が含まれる。つまり、光ディスクには、１ＧＯＰ単位でデータが読み書きされることに等しい。そして、この実施形態では、後述するように、ＶＯＢＵには、１ＧＯＰの画像データについての付加情報も含まれる。

ＶＴＳＩには、画像データ等の記録位置情報等の管理情報が記録される。また、ＶＴＳＭ＿ＶＯＢＳには、画像データ等のルートメニューが記録される。このＶＴＳＭ＿ＶＯＢＳはオプションである。さらに、ＶＴＳＩ＿ＢＵＰは、ＶＴＳＩのバックアップ情報である。

読み書き単位データＶＯＢＵは、図３（Ｅ）に示すように、複数個のパックＰＣＫから構成される。各パックＰＣＫは、１または複数個のパケットから構成することが可能であるが、この例では、１パックは１パケットからなるものとされている。ＤＶＤ−Ｖｉｄｅｏフォーマットでは、１パックは、２０４８バイト（１セクタに対応）と定められている。

この例の場合の１パックは、図３（Ｆ）に示すようなものとなる。すなわち、パックＰＣＫの先頭はパックヘッダとされる。そして、パックヘッダの次には、パケットヘッダが位置し、パケットヘッダに続いて、画像データやオーディオデータなどからなるパケットデータが位置する。パケットデータとして画像データが含められるパックは、ビデオパックと称する。パケットデータとしてオーディオデータが含められるパックは、オーディオパックと称する。この画像データやオーディオデータのパケットフォーマットは、プライベート１・パケットとされている。

なお、この明細書において、パケットデータとして画像データが含められるパックは、ビデオパックと称し、パケットデータとしてオーディオデータが含められるパックは、オーディオパックと称する。

各パックのパックヘッダ内には、前述した時間基準の情報ＳＣＲが含まれる。そして、パケットヘッダの先頭は、パケット開始コードとされると共に、このパケットヘッダ内には、ＰＴＳフラグ、ＤＴＳフラグなどのフラグ情報と、タイムスタンプＰＴＳ、ＤＴＳが含まれる。ＰＴＳフラグ、ＤＴＳフラグは、当該パケット内にタイムスタンプＰＴＳ，ＤＴＳが含まれるか否かを示すものである。前述したように、タイムスタンプＰＴＳ，ＤＴＳは、パケット内にピクチャの先頭が含まれる場合に、そのパケットヘッダ内に付加される。

以上のようなフォーマットで記録されている光ディスクがコンピュータによりアクセスされる場合には、ＵＤＦエリアの情報により所望のファイルが検索されて、再生される。また、上記光ディスクがＤＶＤプレーヤにより再生される場合には、ＵＤＦエリアの情報によりＶＭＧエリアの先頭が検索され、ＶＭＧエリアの情報により所望のタイトルが検索されて再生される。

例えばＤＶＤ−ＲＷ（ＤＶＤ Ｒｅ−Ｒｅｃｏｒｄａｂｌｅ）光ディスクにビデオデータを書き込む方式としては、Ｉｎｃｒｅｍｅｎｔａｌ Ｒｅｃｏｒｄｉｎｇ方式（以下、ＩＮＣ方式と呼ぶ）や、Ｒｅｓｔｒｉｃｔｅｄ Ｏｖｅｒｗｒｉｔｅ方式（以下、ＲＯＷ方式と呼ぶ）が使用される。

ここで、ＩＮＣ方式は、シーケンシャルにデータを記録する方式であり、ＲＯＷ方式は、上書き可能な光ディスクに適用される方式である。ただし、ＲＯＷ方式においても、未記録エリアにデータを記録する場合には、シーケンシャルにデータを記録する。

これらＩＮＣ方式およびＲＯＷ方式においては、リードインエリアの内周側においてＲＭＡ（Ｒｅｃｏｒｄｉｎｇ Ｍａｎａｇｅｍｅｎｔ Ａｒｅａ）により、記録エリアの予約など光ディスク全体の管理情報が保持されるようにされている。

前記ＩＮＣ方式、ＲＯＷ方式のいずれにおいても、ファイナライズ処理により、ＵＤＦエリア、ＶＭＧエリアを形成し、さらにリードインエリア、リードアウトエリアを形成し、これにより、再生専用のＤＶＤ−ＲＯＭで一般的に用いられるＤＶＤ−Ｖｉｄｅｏとの互換性が図られる。

次に、付加情報は、この例では、１ＶＯＢＵ分ごとに１パックの情報として多重化される。なお、以下の説明においては、付加情報がパケットデータとして含められるパックは、付加情報パックと称する。

この例では、ＧＯＰ内には、１枚のＩピクチャを含むものであるが、付加情報は、そのＩピクチャのフレームを撮像信号として取り込むときの撮影時の設定条件等の撮影時情報とされる。

そして、この例では、付加情報パック内の付加情報のパケットも、プライベート１・パケットの形式とされる。また、この例では、その付加情報のパケットには、対応するＩピクチャの画像データの先頭のビデオパックに付加されるタイムスタンプＰＴＳと同じタイムスタンプＰＴＳが含められる。

この付加情報のパックの多重化位置は、ＶＯＢＵ内の予め定められた位置とされる。定められた位置の例としては、Ｉピクチャの圧縮画像データのパック列の中（Ｉピクチャの先頭、末尾も含むものとする）とされる。通常、Ｉピクチャの画像データは、複数個のビデオパックに含められることになるが、付加情報のパックは、例えば、それらＩピクチャの複数個のビデオパックの先頭のビデオパックの前あるいは末尾のビデオパックの後が、多重化位置の例として挙げられる。

また、付加情報パックの多重化位置の例としては、Ｉピクチャの複数個のビデオパックの先頭や末尾ではなく、Ｉピクチャの画像データのビデオパックの先頭から数えて、特定の順位のパックの前または後ろであっても良い。さらには、ＶＯＢＵ単位で読み書きが行われるので、Ｉピクチャの近傍でなくとも、例えばＶＯＢＵ単位の最後尾の位置に付加情報パックを多重化するようにしてもよい。また、付加情報のパックは、ＶＯＢＵ内の中間の予め定められた位置に配置するようにしてもよい。

ただし、後述するように、変速再生時には、ＶＯＢＵ内で、Ｉピクチャ部分のみを抽出して画像再生するようにするので、以上のように、Ｉピクチャの先頭、末尾を含めたＩピクチャの中の予め定められた位置に付加情報パックを多重化することにより、当該ＶＯＢＵ内のＩピクチャのみの抽出の際に、付加情報を合わせて抽出して再生することが容易になる。

図４は、１ＧＯＰ分の画像データ、オーディオデータおよび付加情報について、それらの多重化処理を説明するための図である。この例では、１ＧＯＰは、１５フレーム（１５枚のピクチャ）で構成されるものとすると共に、Ｉピクチャの画像データについての撮影時情報が付加情報として多重化される。

図４（Ａ）は、バッファ２０１、２０４および２０７に入力される画像データ、オーディオデータおよび付加情報のストリームを示すものである。また、図４（Ｂ）は、マルチプレックス部２１１からのＭＰＥＧ−ＰＳフォーマットの１ＶＯＢＵ内のストリーム構造を示している。

図４（Ａ）の画像データストリームにおいて、Ｂ，Ｉ，Ｐは、フレーム単位の画像データをピクチャタイプをも考慮して示したものであり、ＩはＩピクチャを、ＢはＢピクチャを、ＰはＰピクチャを、それぞれ示している。また、図４（Ａ）のオーディオストリームにおけるＡは、各画像フレームに対応するオーディオデータを示している。

また、図４（Ａ）の付加情報ＡＲＩ＿ＤＡＴＡは、前述したように、この例では、１ＧＯＰ分の画像データ中のＩピクチャを取り込む際における撮影時情報からなる付加情報を示している。この例の場合、この付加情報ＡＲＩ＿ＤＡＴＡは、１ＧＯＰ期間の間では変わらないデータである。

図４（Ａ）に示されている画像データは、前述したように、ビデオエンコード部２０２において、ピクチャ順の並び換えがなされた後、圧縮符号化および可変長符号化されて、マルチプレックス部２１１に供給される。そして、このマルチプレックス部２１１において、各ピクチャの圧縮画像データは、図４（Ｂ）に示すように、１または複数個のビデオパックＶ＿ＰＣＫとされて多重化される。このとき、マルチプレックス部２１１では、各ピクチャの画像データには、再生出力の時間管理情報であるタイムスタンプＰＴＳが、各ピクチャの先頭が含まれるパケットのヘッダに含められるようにされている。

なお、図４（Ｂ）において、各ビデオパックＶ＿ＰＣＫの四角枠内のＩ，Ｂ，Ｐの記号は、当該画像パック内の圧縮画像データが、Ｉピクチャ、Ｂピクチャ、Ｐピクチャのうちの、いずれのピクチャタイプの画像データであるかを示している。

また、図４（Ａ）に示されているオーディオデータは、前述したように、オーディオエンコード部２０５において、ＭＰＥＧオーディオ圧縮された後、マルチプレックス部２１１に供給され、このマルチプレックス部２１１において、所定のデータ量ごとのオーディオパックＡ＿ＰＣＫとして、図４（Ｂ）に示すように、ビデオパックＶ＿ＰＣＫの間に多重化される。

マルチプレックス部２１１では、各オーディオデータについても、再生出力の時間管理情報であるタイムスタンプＰＴＳが、オーディオフレームごとにパケットのヘッダに含められるようにされている。なお、一つのパケットに複数フレーム分が含まれる場合には、その先頭のフレームについてのタイムスタンプＰＴＳがパケットヘッダに挿入される。

そして、図４（Ａ）に示す付加情報ＡＲＩ＿ＤＡＴＡは、付加情報処理部２０８で上述のような信号処理がなされた後、マルチプレックス部２１１に供給され、このマルチプレックス部２１１において、１ＧＯＰごとに１個の付加情報パックＡＲＩ＿ＰＣＫが形成される。そして、この付加情報パックＡＲＩ＿ＰＣＫは、図４（Ｂ）に示すように、この例では、ＶＯＢＵ内のＩピクチャの複数個の画像パックの先頭に多重化される。

前述したように、この付加情報パックＡＲＩ＿ＰＣＫには、付加情報ＡＲＩ＿ＤＡＴＡがパケット化されて含まれると共に、そのパケットヘッダ内には、同じＧＯＰ内のＩピクチャの先頭のパックのパケットに含められるタイムスタンプＰＴＳと同じタイムスタンプＰＴＳが含まれている。

なお、１ＧＯＰのデータが含まれるＶＯＢＵの先頭のパックＮＶ＿ＰＣＫは、ナビゲーションパックと呼ばれるもので、これには、データサーチインフォメーション（例えばジャンプ時にどのセクタまで飛ぶかを指示する制御情報）などの再生管理情報が含められている。図４（Ｂ）に示すように、付加情報パックＡＲＩ＿ＰＣＫは、ナビゲーションパックＮＶ＿ＰＣＫの直後に多重化されることになる。

［付加情報の多重化の第２の例］
この第２の例は、ＤＶＤ−Ｖｉｄｅｏ Ｒｅｃｏｒｄｉｎｇ （ＤＶＤ−ＶＲ）フォーマットによる記録時の場合である。このＤＶＤ−ＶＲフォーマットにおいても、ＶＯＢＵを構成する複数個のパックＰＣＫ（２０４８バイト）からなる構造が若干異なるのみで、その他は、前述したＤＶＤ−Ｖｉｄｅｏフォーマットの場合と同様である。すなわち、このＤＶＤ−ＶＲフォーマットにおけるＶＯＢＵ内のパックの構造を図５に示す。

すなわち、ＤＶＤ−ＶＲフォーマットにおけるＶＯＢＵの先頭には、ＲＤＩパックＲＤＩ＿ＰＣＫ（ＲＤＩ；Ｒｅａｌ−ｔｉｍｅ Ｄａｔａ Ｉｎｆｏｒｍａｔｉｏｎ）が配置され、その後に、ビデオパックＶ＿ＰＣＫおよびオーディオパックＡ＿ＰＣＫが配置される。

そして、先頭のパックＲＤＩ＿ＰＣＫは、図５に示すように、パックヘッダ、システムヘッダ、およびＲＤＩパケットで構成される。パックヘッダは、図３の場合と同様である。システムヘッダには、例えば、ビットレート、ビデオチャンネル数やオーディオチャネル数などの属性を識別子するためのデータや、ＭＰＥＧシステムを制御するための指令、例えばデ・マルチプレックス部（後述する再生系における多重化データを分解する手段）のバッファ領域の大きさ、サイズなどの制御データが含まれている。

システムヘッダの後には、例えば２００３バイト分で構成されるＲＤＩパケットが配置される。ＲＤＩパケットは、パケットヘッダと、サブストリームＩＤと、ＲＤＩ・データとからなる。サブストリームＩＤは、当該パケットがＲＤＩパケットであることを認識させる識別子である。

ＲＤＩ・データとしては、ＶＯＢＵの記録時間などを含む１６バイト分のＲＤＩ＿ＧＩ（Ｒｅａｌ−ｔｉｍｅ Ｄａｔａ Ｉｎｆｏｒｍａｔｉｏｎ Ｇｅｎｅｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれるデータと、ディスプレイの制御情報等を含む８バイト分のＤＣＩ＿ＣＣＩ（Ｄｉｓｐｌａｙ Ｃｏｎｔｒｏｌ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｐｙ Ｃｏｎｔｒｏｌ Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれるデータとが定義されている。そして、２００３バイトのＲＤＩ・データエリアの残りの１９７９バイト分のエリアは、フィールド名ＭＮＦＩ（Ｍａｎｕｆａｃｔｕｒｅｒ’ｓ Ｉｎｆｏｒｍａｔｉｏｎ）として、開発者（製造者）に開放されている。

第２の例においては、このフィールド名ＭＮＦＩのエリアに、上述の例と同様に、当該ＲＤＩパックが含まれるＶＯＢＵ内のＩピクチャの画像データについての付加情報ＡＲＩ＿ＤＡＴＡを配置するようにする。

ＲＤＩパックは、ＶＯＢＵ単位のデータを読み出すときに、必ず読み出す必要があるパックであり、このＲＤＩパック内に付加情報を含めて記録するようにすることにより、この第２の例の場合においても、第１の例と同様に、ノーマル速度再生の場合に限らず、変速（高速）再生の場合においても、付加情報を画像データなどと共に、抽出して再生することが容易である。

［付加情報ＡＲＩ＿ＤＡＴＡの例］
以上説明したＤＶＤ−Ｖｉｄｅｏフォーマットの場合のＡＲＩ＿ＰＣＫ内のＡＲＩ＿ＤＡＴＡおよびＤＶＤ−Ｖｉｄｅｏ Ｒｅｃｏｒｄｉｎｇフォーマットの場合のＲＤＩパック内のＡＲＩ＿ＤＡＴＡの一例を図６に示す。

図６において、ＲＢＰ（Ｒｅｆｅｒｅｎｃｅ Ｂｙｔｅ Ｐｏｓｉｔｉｏｎ）は、パケット内での相対バイト位置を示し、付加情報ＡＲＩ＿ＤＡＴＡの先頭を「０」としている。

付加情報ＡＲＩ＿ＤＡＴＡは、図６に示すように、追加記録識別子、アプリケーション情報、記録時間情報、カメラ情報からなる。

追加記録識別子は、パケット内データが付加情報（追加記録情報）であることを認識させるための識別子であり、追加記録情報データ識別子と、そのバージョン番号が記録される。

アプリケーション情報には、製品の製造元であるベンダー名、製品名であるプロダクト名、アプリケーションＩＤ、開発者用データ（Ｍａｎｕｆａｃｔｕｒｅｒ’ｓ Ｉｎｆｏｒｍａｔｉｏｎ Ｄａｔａ）が含まれる。

アプリケーションＩＤは、記録時の記録方式を識別するための情報であり、この例では、「００ｈ（ｈは１６進表示であることを示す。以下同じ）」は、ＤＶＤ−Ｖｉｄｅｏフォーマットでの記録であることを示し、「０１ｈ」は、ＤＶＤ−Ｖｉｄｅｏ Ｒｅｃｏｒｄｉｎｇフォーマットでの記録であることを示すものとされている。

開発者用データは、開発者が自由に使用できるエリアであり、例えば開発時のデバッグ用のデータが記録される。

次に、記録時間情報としては、当該付加情報が含まれるＶＯＢＵについての付加情報ＡＲＩ＿ＤＡＴＡの記録時のタイムゾーン（ＶＯＢＵ＿ＬＣＬ＿ＴＭ＿ＺＯＮＥ；フィールド名。以下同じ）と、付加情報ＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）とが記録される。

付加情報ＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）は、この例では、Ｉピクチャのフレームの撮影時間とされる。この例では、記録時間は、年、月、日、時、分、秒で記述される。

付加情報ＡＲＩ＿ＤＡＴＡの記録時のタイムゾーン（ＶＯＢＵ＿ＬＣＬ＿ＴＭ＿ＺＯＮＥ）は、付加情報ＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）に対するタイムゾーンを記録する。ここで、タイムゾーンとは、ユーザーが機器に設定したＵＴＣ（Ｃｏｏｒｄｉｎａｔｅｄ Ｕｎｉｖｅｒｓａｌ Ｔｉｍｅ）からのオフセット時間である。すなわち、記録装置を使用する国の時刻（ローカルタイム）に対応した時差である。

付加情報ＡＲＩ＿ＤＡＴＡの記録時間（ＶＯＢＵ＿ＲＥＣ＿ＴＭ）として、ユニバーサルタイム（全世界で時刻を記録する際に使用される公式の時刻）を用いることもでき、その場合には、付加情報ＡＲＩ＿ＤＡＴＡの記録時のタイムゾーン（ＶＯＢＵ＿ＬＣＬ＿ＴＭ＿ＺＯＮＥ）は、ゼロに設定される。

次に、カメラ情報として撮影時の設定条件などの情報が記録される。図６に示すように、カメラ情報としては、Ｆナンバー、露出時間、露出プログラム、露出プログラム拡張情報、露光補正値、ＡＧＣゲイン値、レンズ最小Ｆ値、フラッシュ、レンズ焦点距離、個別画像処理、ホワイトバランス、撮影シーンタイプ、フォーカスモード、被写体距離、手ぶれ補正、デジタルズーム倍率などの情報が含められている。

露出プログラム（ＥＸＰ＿ＰＲＧ）には、撮影時にカメラが使用した露出プログラムのクラスが記録される。露出プログラムのクラスとしては、指定無し（Ｎｏｔ Ｓｐｅｃｉｆｉｅｄ）、マニュアル、ノーマルプログラム、プリセットの４種とされる。

露出プログラム拡張情報（ＥＸＰ＿ＰＲＧ＿ＥＸ）には、撮影時にカメラが使用した露出プログラムのクラスがプリセットの場合の詳細情報を記録する。露出プログラムのクラスがプリセットでない場合には、指定無し（Ｎｏｔ Ｓｐｅｃｉｆｉｅｄ）とされる。露出プログラムのクラスがプリセットとされた場合には、ゲイン優先、シャッター優先、露出優先、のいずれかが設定される。

ＡＧＣゲイン値には、信号処理系におけるＡＧＣゲインの値が記録される。また、フラッシュ（ＦＬＳ）には、フラッシュ発光、非発光、赤目防止発光、強制発光などの撮影時のストロボの状態を記録する。

個別画像処理（ＣＳＴ＿ＲＥＮ）には、画像データに対して出力を考慮したレタリングなど、通常と異なる画像処理が施されていることが記録される。

ホワイトバランス（ＷＨＴ＿ＢＡＬ）には、撮影時に設定されたホワイトバランスの調整モードが記録される。ホワイトバランスの調整モードとしては、「自動」、「ホールド（ＨＯＬＤ）」、「マニュアル」、「ろうそく」、「白熱灯」、「低い色温度の蛍光灯」、「高い色温度の蛍光灯」、「日光」、「曇天」、「指定無し」などが設定可能とされている。

撮影シーンタイプ（ＳＣＮ＿ＣＡＰ＿ＴＹＰ）には、設定された撮影時の被写体種別が記録される。この例では、被写体種別としては、「標準」、「風景画」、「ポートレート」、「夜景」、「指定無し」が設定可能とされている。

フォーカスモード（ＦＣＳ＿ＭＯＤ）には、「自動フォーカス」、「マニュアルフォーカス」、「指定無し」などの、撮影時に設定されたフォーカスモードが記録される。

手ぶれ補正（ＩＭＧ＿ＳＴＢ）には、「手ぶれ補正オン」または「手ぶれ補正オフ」、「指定無し」など、手ぶれ補正機能が働いていたかどうかが記録される。

デジタルズーム倍率（ＤＩＧ＿ＺＯＭ）には、撮影時に使用されたデジタルズーム倍率が記録される。デジタルズームが使用されなかったときには、「００ｈ」が記録される。

位置情報（ＧＰＳ＿ＩＮＦＯ）には、ＧＰＳ受信機部６０からの（あるいは通信手段を通じて取得された）位置情報が記録される。

手ぶれ補正限界（ＳＴＢ＿ＬＩＭ）には、デジタルカメラの手ぶれが補正限界を超えている場合に、そのことを示すフラグが記録される。実際にデジタルカメラの手ぶれが補正限界を超えている場合には、このフラグとして「ＦＦ（１６進表示）」が記録される。

なお、付加情報ＡＲＩ＿ＤＡＴＡのフィールド内容変更に伴う追加記録情報バージョン（ＡＲＩ＿ＤＡＴ＿ＶＥＲ）の変更規則の例を以下に示す。
（１）カメラ情報フィールドの内容のみを追加・変更する場合は、バージョン番号の少数第２位をインクリメントする。
（２）記録時間情報以降のフィールド内容を追加・変更する場合は、バージョン番号の少数第１位をインクリメントする。
（３）付加情報ＡＲＩ＿ＤＡＴＡ全体の内容を追加・変更し、変更前データとの互換性が取れなくなる場合には、バージョン番号の整数値をインクリメントする。

［データ分離およびデータ圧縮解凍処理について］
次に、ＤＳＰ２１における画像データ、オーディオデータおよび付加情報の分離処理および画像データとオーディオデータの圧縮解凍処理について、図７を参照して説明する。

書き込み／読み出し部２３によりＤＶＤ４０から、ＶＯＢＵ単位で読み出されたデータは、デ・マルチプレックス部２２１において、画像データパックと、オーディオデータパックと、付加情報パックとに分離される。

デ・マルチプレックス部２２１では、それぞれのパックからパックヘッダおよびパケットヘッダを分離し、それらのヘッダ情報を制御部２２０に供給する。制御部２２０では、ヘッダ情報を解析し、タイムスタンプＰＴＳおよびＤＴＳを抽出して、画像データ、オーディオデータおよび付加情報のデコード処理および再生出力を制御する。

また、デ・マルチプレックス部２２１は、分離した画像データパックから抽出した圧縮画像データは、バッファ２２２を通じてビデオデコーダ部２２５に供給し、分離したオーディオデータパックから抽出した圧縮オーディオデータは、バッファ２２３を通じてオーディオデコーダ部２２６に供給し、分離した付加情報パックから抽出した付加情報はバッファ２２４を通じて付加情報デコーダ部２２７に供給する。

そして、ビデオデコーダ部２２５では、制御部２２０からの制御に従い、タイムスタンプＤＴＳに従った順序で、画像データの圧縮解凍処理を行なって、フレーム単位の画像データを復元し、バッファ２２８に出力する。そして、制御部２２０は、このバッファ２２８から、画像データパックに含まれていたタイムスタンプＰＴＳに従った順序で、フレーム単位の画像データを読み出して、ビデオ信号処理部２３１に供給するように制御する。

また、オーディオデコーダ部２２６では、制御部２２０からの制御に従い、順次にオーディオデータの圧縮解凍処理を行なって、オーディオデータを復元し、バッファ２２９に出力する。そして、制御部２２０は、このバッファ２２９から、オーディオデータパックに含まれていたタイムスタンプＰＴＳに従った順序で、オーディオデータを読み出して、オーディオ信号処理部２３２に供給するように制御する。

さらに、付加情報デコーダ部２２７では、制御部２２０からの制御に従い、１ＧＯＰ分の画像データについての付加情報ＡＲＩ＿ＤＡＴＡを再生し、バッファ２３０に出力する。この場合、付加情報デコーダ部２２７では、付加情報は、画像データの制御用情報Ａｖと、撮影年月日、時間やＦナンバー、レンズ焦点距離などの表示用情報Ａｄとを生成して、それぞれバッファ２３０に出力する。

そして、制御部２２０は、このバッファ２３０から、付加情報パックに含まれていたタイムスタンプＰＴＳに従ったタイミングで、１ＧＯＰ分の画像データについての付加情報を読み出すが、そのうちの画像データの制御用情報Ａｖは、ビデオ信号処理部２３１に、表示用情報Ａｄは、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）回路２３３に、それぞれ供給するように制御する。

そして、ビデオ信号処理部２３１では、画像データの制御用情報Ａｖに応じた画像データ処理がなされる。例えば、撮影時のオートホワイトバランス調整に応じた画像データ制御などが行なわれる。

表示用情報Ａｄは、撮影年月日、撮影時刻、Ｆナンバー、レンズ焦点距離などの表示情報であり、ＯＳＤ回路２３３を通じて合成部２３４に供給され、ビデオ信号処理部２３１からの画像データに合成される。この合成部２３４からの画像データがビデオ／オーディオ出力処理部２４を通じて制御部３０に供給され、ＬＣＤ３２の画面に表示される。

前述したように、この例では、付加情報パックは、Ｉピクチャと同じタイムスタンプＰＴＳが付加されているので、付加情報の表示用情報Ａｄは、対応するＩピクチャの画像から１ＧＯＰの画像のすべてのピクチャについて合成されてＬＣＤ３２の画面に表示される。

以上のようにして、この実施形態によれば、撮影された画像の読み書き単位であるＧＯＰごとに付加情報が多重化されることにより、当該付加情報に基づいて、前記読み書き単位の画像情報が制御されると共に、当該画像情報の表示画面に、撮影日時情報等の必要な付加情報表示がなされるものである。

なお、以上の実施形態は、付加情報に含まれる撮影時間の情報としては、ＶＯＢＵ、すなわち、１ＧＯＰについての撮影時間の情報としたが、例えばＩピクチャについての撮影時間の情報から、それに続く、Ｂピクチャ，Ｐピクチャの各フレームの撮影時間を計算して求め、その各フレーム単位の撮影時間を表示したり、編集時の管理情報として用いたりすることもできる。

［変速再生の説明］
上述のように構成された撮像装置の制御部３０のＲＯＭ３０３は、この実施形態では、変速再生を実現するためのプログラムを記憶している。以下、この変速再生について説明する。

この実施形態の変速再生においては、ＶＯＢＵ単位の情報のうちのＩピクチャのみを再生画像とすることにより実現する。すなわち、今、ノーマル再生速度を１倍速としたときに、任意のＮ倍の速度で再生するＮ倍速の再生をする場合には、この実施形態では、１ＶＯＢＵ当たりについて、Ｉピクチャの画像フレームのみを、１５／Ｎ回繰り返して表示するようにする。そして、この変速再生時にも、表示するＩピクチャの画面に、対応する付加情報による制御および対応する付加情報の表示を行なうようにする。

図８は、この実施形態における変速再生の仕組みを説明するための図である。前述したように、光ディスクに対する読み書き情報単位はＶＯＢＵであるので、この変速再生時にも、光ディスクからはＶＯＢＵ単位で情報は読み出されるが、図８（Ａ）に示すように、この変速再生時にデコードする画像データは、ＶＯＢＵのうちのＩピクチャの画像データのみとする。そして、この実施形態では、Ｉピクチャについての付加情報もこの変速再生時のデコード対象とする。

したがって、この実施形態における変速再生時においては、光ディスクからのＶＯＢＵ単位の情報のうちの、図８（Ａ）に示すように、付加情報パックＡＲＩ＿ＰＣＫおよびＩピクチャの画像データが含まれる複数個のビデオパックＶ＿ＰＣＫの範囲をデコードデータ抽出範囲とする。すなわち、この実施形態における変速再生時のデコードデータ抽出範囲には、付加情報パックが必ず含まれるようにする。

そして、図８（Ｂ）において網点を付して示すように、元のビデオストリームデータのうち、Ｉピクチャのみを、前述したように、倍速値Ｎに応じた回数、繰り返して表示すると共に、付加情報ＡＲＩ＿ＤＡＴＡをデコードして、撮影時間やＦナンバーなどの表示情報を、当該Ｉピクチャに重ねて表示し、また、付加情報ＡＲＩ＿ＤＡＴＡから生成された制御情報により、当該Ｉピクチャの画像データの制御を行なうようにする。

例えば、３倍速再生を行なった場合のＬＣＤ表示画面の変化を図９に、５倍速再生を行なう場合のＬＣＤ表示画面の変化を、図１０に、１５倍速再生を行なう場合のＬＣＤ表示画面の変化を図１１に示す。

すなわち、３倍速再生を行なう場合には、図９に示すように、ＶＯＢＵ単位の情報のうちから抽出してデコードしたＩピクチャを、１５／３＝５回（５フレーム）づつ、繰り返して再生することを、ＶＯＢＵ単位に繰り返す。そして、各Ｉピクチャには、図９に示すように、対応する付加情報の表示情報を重畳表示するようにする。

また、５倍速再生を行なう場合には、図１０に示すように、ＶＯＢＵ単位の情報のうちから抽出してデコードしたＩピクチャを、１５／５＝３回（３フレーム）づつ、繰り返して再生することを、ＶＯＢＵ単位に繰り返す。そして、各Ｉピクチャには、図１０に示すように、対応する付加情報の表示情報を重畳表示するようにする。

さらに、１５倍速再生を行なう場合には、図１１に示すように、ＶＯＢＵ単位の情報のうちから抽出してデコードおよび再生したＩピクチャを、１５／１５＝１回（１フレーム）づつ再生することを、ＶＯＢＵ単位に繰り返す。そして、各Ｉピクチャには、図１１に示すように、対応する付加情報の表示情報を重畳表示するようにする。

次に、以上説明した変速再生時における制御部３０での処理について説明する。図１２は、ＬＣＤコントローラ３０６における表示バッファメモリの構成を説明するための図である。この例におけるＬＣＤコントローラ３０６における表示バッファメモリ３０６０は、第１の表示バッファ３０６１および第２の表示バッファ３０６２との、２画面分の表示バッファを備える。表示バッファメモリ３０６０の入力側および出力側には、スイッチ回路３０６３および３０６４が設けられる。

そして、ＤＳＰ２１からの付加情報が合成された合成画像信号は、Ｄ／Ａ変換器３０６５によりアナログ画像データに変換された後、スイッチ回路３０６３により、第１の表示バッファ３０６１と第２の表示バッファ３０６２のいずれかに選択的に書き込まれる。

また、スイッチ回路３０６４により選択された、第１の表示バッファ３０６１と第２の表示バッファ３０６２のいずれかから読み出された合成画像信号は、ＬＣＤ３２に供給されて、その画面に表示されるようにされる。

そして、この場合、表示バッファメモリ３０６０の入力側および出力側に設けられるスイッチ回路３０６３および３０６４とがＣＰＵ３０１により切り替え制御されることにより、表示バッファメモリ３０６０の２つの表示バッファ３０６１および３０６２の一方から画像データが読み出されるとき、他方へは画像データが書き込まれるように構成されている。

次に、変速再生時の制御部３０の処理動作を、図１３のフローチャートを参照しながら説明する。

変速再生を行なおうとする場合には、ユーザーは、操作入力部３１を通じてＮ倍速のＮ値の設定を行なうと共に、変速再生の開始指示をする。Ｎ倍速のＮ値の設定は、例えば、予め定められた幾つかのＮ値から選択するようにする方法、直接、Ｎ値を入力する方法、回動つまみを回動することにより設定する方法のいずれでもよい。Ｎ値は、整数値ではなく、少数値であるようにしてもよい。

制御部３０は、上述のような操作入力部３１を通じたユーザーによる変速再生のＮ倍速のＮ値設定操作および変速再生開始指示に応じて、図１３のフローチャートをスタートさせる。

先ず、前記Ｎ倍速のＮ値を認識する（ステップＳ１０１）。次に、光ディスク４０からＶＯＢＵ単位でデータを取り込む（ステップＳ１０２）。次に、ＶＯＢＵ単位のデータのうちの、変速再生時のデコードデータ抽出範囲のデータ、つまり、付加情報パックＡＲＩ＿ＰＣＫおよびＩピクチャの画像データを含む複数個のビデオパックＶ＿ＰＣＫを抽出する（ステップＳ１０３）。

次に、抽出したデコードデータ抽出範囲のデータについて、付加情報パックＡＲＩ＿ＰＣＫとＩピクチャの画像データを含む複数のビデオパックＶ＿ＰＣＫとを分離して、付加情報パックＡＲＩ＿ＰＣＫのデータは、付加情報デコーダ部２２７に供給し、ビデオパックＶ＿ＰＣＫは、ビデオデコーダ部２２５に供給する（ステップＳ１０４）。

そして、ビデオデコーダ部２２５でＩピクチャの画像データを圧縮解凍して画像データを復元すると共に、付加情報デコーダ部２２７で付加情報をデコードして再生する（ステップＳ１０５）。次に、合成部２３４で復元されたＩピクチャの画像データに、前述したように再生された付加情報から生成された付加情報の表示用データを合成し、その合成した画像信号を、Ｄ／Ａ変換器３０６５を通じてアナログ信号に変換した後に、表示用バッファメモリ３０６０の第１および第２の表示バッファ３０６１および３０６２のうちの、画像フレームの書き込み側の表示バッファに書き込む（ステップＳ１０６）。

このとき、表示用バッファメモリ３０６０の第１および第２の表示バッファ３０６１および３０６２のうち、前記画像フレームの書き込み側の表示バッファではない方の表示バッファ（表示フレーム出力側）からは、前に書き込まれた画像データが、前記書き込みと並行して読み出されて、その再生画像がＬＣＤ３２の画面に表示されている。

そして、制御部３０のＣＰＵ３０１は、表示フレーム出力側の表示バッファからのＩピクチャに付加情報が合成された画像データが、１５／Ｎフレーム分、繰り返し読み出しされて再生されたか否か判別する（ステップＳ１０７）。

このステップＳ１０７で、表示フレーム出力側の表示バッファからのＩピクチャに付加情報が合成された画像データが、未だ、前記１５／Ｎフレーム分、繰り返し読み出されてはいないと判別したときには、操作入力部３１を通じた操作入力により変速再生の終了指示があったか否か判別し（ステップＳ１１０）、この変速再生の処理ルーチンを終了する。変速再生終了指示があったときには、この変速再生の処理ルーチンを終了する。

また、ステップＳ１１０で、変速再生終了指示がないと判別したときには、表示用バッファの表示フレーム出力側の表示バッファからのＩピクチャに付加情報が合成された画像データの読み出しを継続し（ステップＳ１１１）、ステップＳ１０７に戻る。

そして、ステップＳ１０７で、表示フレーム出力側の表示バッファからのＩピクチャに付加情報が合成された画像データが、前記１５／Ｎフレーム分、繰り返し読み出された再生されたと判別したときには、スイッチ回路３０６３および３０６４を切り換えて、表示用バッファメモリ３０６０の第１および第２の表示バッファ３０６１および３０６２の間で、画像フレーム書き込み側と、表示フレーム出力側とを切り換える（ステップＳ１０８）。

この切り換えにより、それまでに次に表示すべきＶＯＢＵからデコーダされたＩピクチャに付加情報が合成された画像データが書き込まれた表示バッファが、画像フレーム書き込み側から表示フレーム出力側に切り換わり、その再生画像がＬＣＤ３２の画面に表示されるようになる。

ステップＳ１０８の次には、ステップＳ１０９に進み、制御部３０は、次のＶＯＢＵ単位のデータを光ディスク４０から取り込むように制御する。そして、ステップＳ１０３に戻り、上述の動作を繰り返す。これにより、前述の図９〜図１１に例示したような変速再生がなされる。

なお、スイッチ回路３０６４からの表示画像データと同じ画像データが、画像信号出力端子２６Ｖからモニター受像機に供給されることにより、モニター受像機にも、図９〜図１１に示したのと同様の変速再生時の再生画像が表示される。

なお、再生しようとするＩピクチャが、当該Ｉピクチャに対応する付加情報ＡＲＩ＿ＤＡＴＡの手ぶれ補正限界フラグが立っている（［ＦＦ］となっている）ものである場合には、そのＩピクチャは、鮮明な画像となっていない可能性が高いので、そのＩピクチャは再生せずに、次のＩピクチャまでスキップするようにするようにしても良い。

［その他の変形例］
なお、上述の実施形態では、付加情報は、Ｉピクチャに対応して作成して、Ｉピクチャと同じタイムスタンプＰＴＳを付加情報パック内のプライベート１・パケット形式のパケット内に挿入したが、タイムスタンプＰＴＳは、付加情報パックには、付加しないようにしてもよい。

また、付加情報は、ＧＯＰ単位の画像データについてのものとすることができるので、特に、Ｉピクチャに対応するものとする必要はない。そのため、付加情報は、１ＧＯＰ内の所定位置のピクチャ、例えば中央位置のピクチャ（Ｂピクチャでも、Ｐピクチャでも良い）についてのものとするようにしてもよい。その場合には、付加情報パック内のプライベート１・パケット形式のパケット内には、タイムスタンプＰＴＳは付加しない。

また、以上の実施形態では、付加情報パックＡＲＩ＿ＰＣＫ内の付加情報ＡＲＩ＿ＤＡＴＡを含むパケットは、プライベート１・パケット形式ではなく、図１４（Ｃ）に示すようなプライベート２・パケットも使用可能である。

なお、この発明による記録方法および再生方法は、上述した撮像装置にのみ適用される場合に限られるものではなく、画像データやオーディオデータを圧縮して記録する種々の電子機器に適用可能であることは言うまでもない。その場合に、圧縮方式は、ＭＰＥＧ方式に限られるものではないことは、勿論である。

そして、記録媒体は、光ディスクに限られるものではなく、ハードディスクなどの磁気記録媒体やカード型メモリなどの半導体記録媒体であってもよい。

また、上述の実施形態では、付加情報から形成する制御用情報としては、画像データの制御用信号のみとしたが、１ＧＯＰ分のオーディオデータについても、付加情報を形成し、そのオーディオデータに関する付加情報から、オーディオデータの制御用信号を形成して、オーディオ信号処理部２３２においてオーディオデータの制御ができるように構成することもできる。

例えば、マイクロホン１５として、内蔵マイクロホンを用いたか、外部マイクロホンを用いたかにより、ＡＧＣ特性が変えられてオーディオデータが記録されるようにすると共に、内蔵マイクロホンを用いたか、外部マイクロホンを用いたかを示す情報を、付加情報ＡＲＩ＿ＤＡＴＡに含めるようにする。

そして、再生時には、その付加情報を用いて、オーディオデータについての制御信号を形成し、その制御信号により、オーディオ信号処理部２３２では、内蔵マイクロホンからの音声か、あるいは外部マイクロホンからの音声かに応じたオーディオデータ制御処理を行なうようにすることができる。

この発明による記録方法の実施形態が適用された撮像装置の構成例を示す図である。 図１におけるデータエンコードおよび多重化処理部分の構成例を説明するための図である。 ＤＶＤ−Ｖｉｄｅｏフォーマットによる光ディスク上の論理配置を示す図である。 この発明による記録方法の実施形態の要部の一例を説明するための図である。 この発明による記録方法の実施形態の要部の他の例を説明するための図である。 この発明による記録方法の実施形態により記録される付加情報の例を示す図である。 図１におけるデータ分離処理およびデータデコーダ部分の構成例を説明するための図である。 この発明による再生方法の実施形態を説明するための図である。 この発明による再生方法の実施形態を説明するための図である。 この発明による再生方法の実施形態を説明するための図である。 この発明による再生方法の実施形態を説明するための図である。 この発明による再生方法の実施形態を説明するための図である。 この発明による再生方法の実施形態を説明するためのフローチャートである。 この発明による記録方法の実施形態の他の例を説明するための図である。 ＭＰＥＧ方式におけるＧＯＰの構成を説明するための図である。

符号の説明

２０２…ビデオエンコード部、２０２１…ピクチャ順並び換え部、２０２２…圧縮符号化部、２０２３…可変長符号化部、２０８…付加情報処理部、２１１…マルチプレックス部、２２０…制御部、２２１…デ・マルチプレックス部、２２５…ビデオデコーダ部、２２６…オーディオデコーダ部、２２７…付加情報デコーダ部、２３１…ビデオ信号処理部、２３２…オーディオ信号処理部、２３３…ＯＳＤ回路、２３４…合成部

Claims (19)

1. 画像情報をデータ圧縮して記録媒体に記録する方法であって、前記圧縮された画像情報の、前記記録媒体に対する書き込みおよび読み出しの単位である読み書き単位の情報には、前記画像情報の１フレーム（または１フィールド）からなる復号再生単位の情報を複数単位分含むと共に付加情報を含み、少なくとも１個の前記復号再生単位の情報は、当該復号再生単位内の画像情報のみを用いて圧縮符号化したものとする記録方法であって、
   前記読み書き単位の情報は、所定のデータ量ごとにブロック化された複数個のブロックから構成されるものであると共に、
   前記付加情報は、前記画像情報の取得条件に関する情報を含むと共に、１個の前記ブロックから構成されるものであり、
   前記読み書き単位の情報内に、前記読み書き単位内の複数単位分の前記復号再生単位の情報についての前記付加情報を、前記圧縮された画像情報とは分離して抽出可能に多重化して記録する
   ことを特徴とする記録方法。
2. 請求項１に記載の記録方法において、
   前記付加情報のブロックは、前記読み書き単位内の予め定められたブロック位置に多重化して前記記録媒体に記録する
   ことを特徴とする記録方法。
3. 請求項１に記載の記録方法において、
   前記付加情報のブロックは、前記復号再生単位内の画像情報のみを用いて圧縮符号化された圧縮画像情報を含むブロック群の直前または直後のブロック位置に多重化して前記記録媒体に記録する
   ことを特徴とする記録方法。
4. 画像情報の１フレーム（または１フィールド）からなる復号再生単位の情報ごとに、前記復号再生単位内の画像情報のみを用いた圧縮符号化、および、前記復号再生単位の画像情報の前および／または後の復号再生単位の画像情報との相関を利用した圧縮符号化を行なうデータ圧縮手段と、
   前記画像情報についての付加情報を生成する付加情報生成手段と、
   前記データ圧縮手段で圧縮された前記復号再生単位の情報の複数単位分を記録媒体に対する書き込みおよび読み出しの単位である読み書き単位とし、当該読み書き単位内には、当該復号再生単位内の画像情報のみを用いて圧縮符号化した前記復号再生単位の情報を少なくとも１個含むようにすると共に前記付加情報を含み、、前記付加情報生成手段からの前記読み書き単位内の複数単位分の前記復号再生単位の情報についての付加情報を、前記圧縮された画像情報とは分離して抽出可能に多重化して記録する記録制御手段と、
   を備え、
   前記読み書き単位の情報は、所定のデータ量ごとにブロック化された複数個のブロックから構成されるものであると共に、
   前記付加情報は、前記画像情報の取得条件に関する情報を含むと共に、１個の前記ブロックから構成される
   ことを特徴とする記録装置。
5. 請求項４に記載の記録装置において、
   前記記録制御手段は、前記付加情報のブロックを、前記読み書き単位内の予め定められたブロック位置に多重化して前記記録媒体に記録する
   ことを特徴とする記録装置。
6. 請求項４に記載の記録装置において、
   前記記録制御手段は、前記付加情報のブロックを、前記復号再生単位内の画像情報のみを用いて圧縮符号化された圧縮画像情報を含むブロック群の直前または直後のブロック位置に多重化して前記記録媒体に記録する
   ことを特徴とする記録装置。
7. 画像情報がデータ圧縮されて記録されると共に、前記圧縮された画像情報の書き込みおよび読み出しの単位である読み書き単位の情報には、前記画像情報の１フレーム（または１フィールド）からなる復号再生単位の情報を複数単位分含むと共に付加情報を含み、少なくとも１個の前記復号再生単位の情報は、当該復号再生単位内の画像情報のみが用いられて圧縮符号化されたものが記録される記録媒体であって、前記読み書き単位の情報内に、前記読み書き単位内の複数単位分の前記復号再生単位の情報についての付加情報が、前記圧縮された画像情報とは分離して抽出可能に多重化されて記録されていると共に、前記読み書き単位の情報は、所定のデータ量ごとにブロック化された複数個のブロックから構成されるものであり、前記付加情報は、前記画像情報の取得条件に関する情報を含むと共に、１個の前記ブロックによって構成されている記録媒体の再生方法であって、
   前記記録媒体から前記読み書き単位の圧縮画像情報を読み出して、前記圧縮画像情報の圧縮を解凍し、前記復号再生単位の画像情報を再生出力すると共に、
   前記読み書き単位に含まれる前記付加情報を抽出し、対応する前記読み書き単位に含まれる前記復号再生単位の画像情報の再生出力に同期させて再生出力する
   ことを特徴とする再生方法。
8. 画像情報がデータ圧縮されて記録されると共に、前記圧縮された画像情報の書き込みおよび読み出しの単位である読み書き単位の情報には、前記画像情報の１フレーム（または１フィールド）からなる復号再生単位の情報を複数単位分含むと共に付加情報を含み、少なくとも１個の前記復号再生単位の情報は、当該復号再生単位内の画像情報のみが用いられて圧縮符号化されたものが記録される記録媒体であって、前記読み書き単位の情報内に、前記読み書き単位内の複数単位分の前記復号再生単位の情報についての付加情報が、前記圧縮された画像情報とは分離して抽出可能に多重化されて記録されていると共に、前記読み書き単位の情報は、所定のデータ量ごとにブロック化された複数個のブロックから構成されるものであり、前記付加情報は、前記画像情報の取得条件に関する情報を含むと共に、１個の前記ブロックによって構成されている記録媒体の再生方法であって、
   前記記録媒体から前記読み書き単位の圧縮画像情報を読み出して、前記圧縮画像情報の圧縮を解凍し、前記復号再生単位の画像情報を再生出力すると共に、
   前記読み書き単位に含まれる前記付加情報を抽出し、対応する前記読み書き単位に含まれる前記復号再生単位の画像情報の再生出力に同期させて再生し、当該再生した前記付加情報により、前記対応する前記読み書き単位に含まれる前記復号再生単位の画像情報を制御する
   ことを特徴とする再生方法。
9. 画像情報がデータ圧縮されて記録されると共に、前記圧縮された画像情報の書き込みおよび読み出しの単位である読み書き単位の情報には、前記画像情報の１フレーム（または１フィールド）からなる復号再生単位の情報を複数単位分含むと共に付加情報を含み、少なくとも１個の前記復号再生単位の情報は、当該復号再生単位内の画像情報のみが用いられて圧縮符号化されたものが記録される記録媒体であって、前記読み書き単位の情報内に、前記読み書き単位内の複数単位分の前記復号再生単位の情報についての付加情報が、前記圧縮された画像情報とは分離して抽出可能に多重化されて記録されていると共に、前記読み書き単位の情報は、所定のデータ量ごとにブロック化された複数個のブロックから構成されるものであり、前記付加情報は、前記画像情報の取得条件に関する情報を含むと共に、１個の前記ブロックによって構成されている記録媒体の再生方法であって、
   前記記録媒体から前記読み書き単位の圧縮画像情報を読み出し、当該読み出された前記圧縮画像情報のうちの、前記復号再生単位内の画像情報のみが用いられて圧縮符号化されている復号再生単位内符号化画像情報のみを圧縮解凍し、当該復号再生単位内符号化画像情報による画像情報を、前記読み書き単位に含まれる復号再生単位の数よりも少ない復号再生単位数分、繰り返して再生出力すると共に、
   前記読み書き単位に含まれる前記付加情報を抽出し、前記復号再生単位内符号化画像情報による画像情報の再生出力に同期させて再生出力する
   ことを特徴とする再生方法。
10. 請求項７、請求項８または請求項９のいずれかに記載の再生方法であって、
    前記付加情報のブロックは、前記読み書き単位内の予め定められたブロック位置に多重化されて前記記録媒体に記録されている
    ことを特徴とする再生方法。
11. 請求項７、請求項８または請求項９のいずれかに記載の再生方法であって、
    前記付加情報のブロックは、前記復号再生単位内の画像情報のみを用いて圧縮符号化された圧縮画像情報を含むブロック群の直前または直後のブロック位置に多重化されて前記記録媒体に記録されている
    ことを特徴とする再生方法。
12. 画像情報がデータ圧縮されて記録されると共に、前記圧縮された画像情報の書き込みおよび読み出しの単位である読み書き単位の情報には、前記画像情報の１フレーム（または１フィールド）からなる復号再生単位の情報を複数単位分含むと共に付加情報を含み、少なくとも１個の前記復号再生単位の情報は、当該復号再生単位内の画像情報のみが用いられて圧縮符号化されたものが記録される記録媒体であって、前記読み書き単位の情報内に、前記読み書き単位内の複数単位分の前記復号再生単位の情報についての付加情報が、前記圧縮された画像情報とは分離して抽出可能に多重化されて記録されていると共に、前記読み書き単位の情報は、所定のデータ量ごとにブロック化された複数個のブロックから構成されるものであり、前記付加情報は、前記画像情報の取得条件に関する情報を含むと共に、１個の前記ブロックによって構成されている記録媒体の再生装置であって、
    前記記録媒体から前記読み書き単位の圧縮画像情報を読み出す読み出し手段と、
    前記読み出し手段から、前記圧縮されている画像情報と前記付加情報とを分離する分離手段と、
    前記分離手段からの前記画像情報の圧縮を解凍する手段と、
    前記圧縮を解凍した画像情報について、前記復号再生単位の情報を再生出力する手段と、
    前記分離手段からの前記付加情報を、前記復号再生単位の情報の再生出力に同期させて再生出力する手段と、
    を備えることを特徴とする再生装置。
13. 画像情報がデータ圧縮されて記録されると共に、前記圧縮された画像情報の書き込みおよび読み出しの単位である読み書き単位の情報には、前記画像情報の１フレーム（または１フィールド）からなる復号再生単位の情報を複数単位分含むと共に付加情報を含み、少なくとも１個の前記復号再生単位の情報は、当該復号再生単位内の画像情報のみが用いられて圧縮符号化されたものが記録される記録媒体であって、前記読み書き単位の情報内に、前記読み書き単位内の複数単位分の前記復号再生単位の情報についての付加情報が、前記圧縮された画像情報とは分離して抽出可能に多重化されて記録されていると共に、前記読み書き単位の情報は、所定のデータ量ごとにブロック化された複数個のブロックから構成されるものであり、前記付加情報は、前記画像情報の取得条件に関する情報を含むと共に、１個の前記ブロックによって構成されている記録媒体の再生装置であって、
    前記記録媒体から前記読み書き単位の圧縮画像情報を読み出して、前記圧縮画像情報の圧縮を解凍し、前記復号再生単位の画像情報を再生出力すると共に、
    前記読み書き単位に含まれる前記付加情報を抽出し、対応する前記読み書き単位に含まれる前記復号再生単位の画像情報の再生出力に同期させて再生し、当該再生した前記付加情報により、前記対応する前記読み書き単位に含まれる前記復号再生単位の画像情報を制御する
    ことを特徴とする再生装置。
14. 画像情報がデータ圧縮されて記録されると共に、前記圧縮された画像情報の書き込みおよび読み出しの単位である読み書き単位の情報には、前記画像情報の１フレーム（または１フィールド）からなる復号再生単位の情報を複数単位分含むと共に付加情報を含み、少なくとも１個の前記復号再生単位の情報は、当該復号再生単位内の画像情報のみが用いられて圧縮符号化されたものが記録される記録媒体であって、前記読み書き単位の情報内に、前記読み書き単位内の複数単位分の前記復号再生単位の情報についての付加情報が、前記圧縮された画像情報とは分離して抽出可能に多重化されて記録されていると共に、前記読み書き単位の情報は、所定のデータ量ごとにブロック化された複数個のブロックから構成されるものであり、前記付加情報は、前記画像情報の取得条件に関する情報を含むと共に、１個の前記ブロックによって構成されている記録媒体の再生装置であって、
    前記記録媒体から前記読み書き単位の圧縮画像情報を読み出す読み出し手段と、
    前記読み出し手段から、前記圧縮されている画像情報と前記付加情報とを分離する分離手段と、
    前記分離手段からの前記圧縮画像情報のうちの、前記復号再生単位内の画像情報のみが用いられて圧縮符号化されている復号再生単位内符号化画像情報のみを圧縮解凍する手段と、
    前記圧縮を解凍した前記復号再生単位内符号化画像情報による画像情報を、前記読み書き単位に含まれる復号再生単位の数よりも少ない復号再生単位分、繰り返して再生出力する手段と、
    前記分離手段からの前記付加情報を、前記復号再生単位内符号化画像情報による画像情報の再生出力に同期させて再生出力する手段と、
    ことを特徴とする再生装置。
15. 請求項１２、請求項１３または請求項１４のいずれかに記載の再生装置であって、
    前記付加情報のブロックは、前記読み書き単位内の予め定められたブロック位置に多重化されて前記記録媒体に記録されている
    ことを特徴とする再生装置。
16. 請求項１２、請求項１３または請求項１４のいずれかに記載の再生装置であって、
    前記付加情報のブロックは、前記復号再生単位内の画像情報のみを用いて圧縮符号化された圧縮画像情報を含むブロック群の直前または直後のブロック位置に多重化されて前記記録媒体に記録されている
    ことを特徴とする再生装置。
17. 撮像素子と、
    前記撮像素子に被写体像を結像させるための撮像光学系と、
    前記撮像素子からの画像情報について、前記画像情報の１フレーム（または１フィールド）からなる復号再生単位の情報ごとに、前記復号再生単位内の画像情報のみを用いた圧縮符号化、および、前記復号再生単位の画像情報の前および／または後の復号再生単位の画像情報との相関を利用した圧縮符号化を行なうデータ圧縮手段と、
    前記撮像素子からの画像情報についての付加情報を生成する付加情報生成手段と、
    前記データ圧縮手段で圧縮された前記復号再生単位の情報の複数単位分を記録媒体に対する書き込みおよび読み出しの単位である読み書き単位とし、当該読み書き単位内には、当該復号再生単位内の画像情報のみを用いて圧縮符号化した前記復号再生単位の情報を少なくとも１個含むようにすると共に前記付加情報を含み、前記付加情報生成手段からの前記読み書き単位内の複数単位分の前記復号再生単位の情報についての付加情報を、前記圧縮された画像情報とは分離して抽出可能に多重化して記録する記録制御手段と、
    を備え、
    前記読み書き単位の情報は、所定のデータ量ごとにブロック化された複数個のブロックから構成されるものであると共に、
    前記付加情報は、前記画像情報の取得条件に関する情報を含むと共に、１個の前記ブロックから構成される
    ことを特徴とする撮像装置。
18. 請求項１７に記載の撮像装置において、
    前記記録制御手段は、前記付加情報のブロックを、前記読み書き単位内の予め定められたブロック位置に多重化して前記記録媒体に記録する
    ことを特徴とする撮像装置。
19. 請求項１７に記載の撮像装置において、
    前記読み書き単位の情報は、複数個のパケットからなるものであり、
    前記記録制御手段は、前記付加情報のブロックを、前記復号再生単位内の画像情報のみを用いて圧縮符号化された圧縮画像情報を含むブロック群の直前または直後のブロック位置に多重化して前記記録媒体に記録する
    ことを特徴とする撮像装置。

Images