以下、この発明による記録方法、再生方法および記録再生方法の実施形態を、記録媒体として例えば光ディスクを用いた撮像装置としてのデジタルカメラに適用した場合を例にとって、図を参照しながら説明する。
この例では、光ディスクとしてDVD−R(Digital Versatile Disc−Recordable)やDVD−RW(Digital Versatile Disc−ReWritable)などの書き込み可能な光ディスクを用いる場合である。そして、データ圧縮方式としては、MPEG2方式が用いられ、記録データは、MPEG2−PS(PS;Program Stream)の構成とされる。そして、光ディスクには、DVD−VideoフォーマットでMPEG2−PSの記録データが記録されるものとする。
図1は、実施形態のデジタルカメラの構成例を示すブロック図である。この例のデジタルカメラは、カメラ部10と、記録再生処理部20と、制御部30とからなる。
制御部30は、CPU(Central Processing Unit)301に対して、システムバス302を介して、プログラムROM(Read Only Memory)303と、ワークエリア用RAM(Random Access Memory)304と、操作入力部31を接続するための操作入力インターフェース305と、表示装置としてのLCD(Liquid Crystal Display)32を接続するためのLCDコントローラ306と、メモリ・カード50を装填するためのメモリ・カードインターフェース307と、USB(Universal Serial Bus)などの通信インターフェース308と、時計回路309と、I/Oポート310,311,312,313,314,315,316,317とが接続されて構成されている。
ROM303には、カメラ部10を制御するためのプログラムや、撮影した画像情報やマイクロホン15からの音声情報についての記録制御および再生制御、その他のプログラムが書き込まれている。
操作入力部31には、撮影モード、再生モードなどを切り換えるモード切り換えキー、ズーム調整キー、露出調整のためのキー、シャッターキー、動画撮影用キー、ホワイトバランス調整用キーなどの複数のキーが設けられている。
CPU301は、操作入力インターフェース305を通じて入力される操作入力部31からの操作信号を解析して、操作入力部31のいずれのキーが操作されたかを判別し、その判別結果に応じた制御処理を行なう。
LCD32には、CPU301の制御の下に、撮影時の被写体画像や撮影条件が表示されると共に、記録媒体から再生された再生画像や付加情報が表示される。
時計回路309は、図示を省略した基準クロック信号発生回路からのクロック信号を計測して、年、月、日、時間、分、秒を表わす時間情報を生成する。秒としては、画像のフレーム単位を計数することができるような小数点以下の精度の情報を発生するように、この時計回路309は構成されている。
この例のデジタルカメラは、記録データを光ディスク40に記録することができるほかに、メモリ・カード50にも記録できるように構成されている。その場合には、メモリ・カード50には、メモリ・カードインターフェース307を通じて圧縮データが記録される。
通信インターフェース308は、例えばこの例のデジタルカメラをパーソナルコンピュータに接続して、記録データやその他のデータのやり取りをする際に用いられる。
カメラ部10は、カメラ光学系11と、カメラコントロール部12と、撮像素子13と、撮像信号処理部14と、マイクロホン15と、入力オーディオ信号処理部16とから構成される。
カメラ光学系11は、図示を省略したが、被写体を撮像するためのレンズ群と、絞り調整機構、フォーカス調整機構、ズーム機構、シャッター機構、フラッシュ(ストロボ)機構などを備えると共に、手ぶれ補正機構を備えている。
手ぶれ補正機構は、ジャイロを備え、このジャイロにより検出された角速度情報ω(変化角度θ/秒)により手ぶれが検出され、当該検出された手ぶれ分を光学系の補正機構により補正する。この場合に、手ぶれの値が補正の限界を超えている場合には、そのことを示すフラグを立てるようにする。
すなわち、例えば所定時間間隔(例えば1/60秒間で8回)で、ジャイロからの角速度情報ωの入力を受け、この角速度情報ωを記録開始から時間積分する。そして、その積分値θが、所定の角度値、例えば5度を超えたときに、手ぶれ補正限界フラグを立てるようにする。なお、角速度情報ωは、基準位置から一方の方向にずれた場合には+ωとされ、他方の方向にずれた場合には−ωとされるので、+方向および−方向の両方向に、手ぶれ補正限界の検出の閾値、例えば±5度が設定される。
カメラコントロール部12は、制御部30のI/Oポート310を通じた制御信号を受けて、カメラ光学系11に供給する制御信号を生成する。そして、生成した制御信号をカメラ光学系11に供給して、ズーム制御、シャッター制御、露出制御などの制御を行なう。制御部30のI/Oポート310を通じた信号には、操作入力部31でのその時点での操作入力に応じた制御信号だけでなく、操作入力部31での操作入力に応じて予め設定された撮影条件に基づく制御信号が含まれる。
撮像素子13は、この例では、CCD(Charge Coupled Device)で構成され、その結像面に、カメラ光学系11を通じた像が結像される。そして、シャッター操作などのユーザー操作に応じて制御部30のI/Oポート311から発生する画像取り込みタイミング信号を受けて、結像面に結像されている被写体像を撮像信号に変換し、撮像信号処理部14に供給する。
撮像信号処理部14では、制御部30のI/Oポート312を通じた制御に基づいて、撮像信号についてのガンマ補正やAGC(Auto Gain Control)などの処理を行なうと共に、撮像信号をデジタル信号に変換する処理も行なう。
また、マイクロホン15により、撮影時の被写体周辺の音声が収集される。そして、このマイクロホン15からの音声信号が入力オーディオ信号処理部16に供給される。
入力オーディオ信号処理部16では、制御部30のI/Oポート312を通じた制御に基づいて、入力オーディオ信号についての補正やAGC(Auto Gain Control)などの処理を行なうと共に、オーディオ信号をデジタル信号に変換する処理も行なう。
図1では、図示を省略したが、この例のデジタルカメラにおいては、外部マイクロホン端子を備え、当該外部マイクロホン端子に外部マイクロホンが接続された場合には、入力オーディオ信号処理部16には、内蔵マイクロホン15ではなく、当該外部マイクロホンからのオーディオ信号が供給されるように、自動的に切り換えられるように構成されている。
そして、この例においては、入力オーディオ信号処理部16でのAGC処理は、内蔵マイクロホン15からのオーディオ信号が入力された場合と、外部マイクロホンからのオーディオ信号が入力された場合とでは、その特性の違いを考慮した処理がなされるようにされている。AGC処理の切り換えは、入力オーディオ信号処理部16へのオーディオ信号の入力切り換えに連動して行なわれるように構成されている。
記録再生処理部20は、DSP(Digital Signal Processor)21と、DVD信号処理部22と、書き込み/読み出し部23と、ビデオ/オーディオ出力処理部24とからなる。DSP21には、例えばSDRAM(Synchronous DRAM)からなるバッファメモリ25が接続されている。
DSP21には、撮像信号処理部14からのデジタル画像信号および入力オーディオ信号処理部16からのデジタルオーディオ信号が入力されると共に、制御部30のI/Oポート313を通じて、撮影時の情報が入力される。I/Oポート313を通じて入力される撮影時の情報には、フレーム単位の撮影時刻や、撮影条件情報が含まれる。
撮影時刻の情報としては、この例では、時計回路309からの時刻情報をその都度読み込んで用いる。しかし、動画の撮影開始時点で、時計回路309の時刻情報(撮影開始時刻)を取り込み、それ以降は、前記撮影開始時刻を基準にしたフレーム単位の相対時刻(フレーム番号でもよい)を撮影時刻として用いるようにしても良い。
また、撮影条件情報には、自動的に設定される情報およびユーザーにより設定される情報との両方を含み、例えば、露出制御情報、自動ホワイトバランス調整用情報、デジタルズーム倍率情報、手ぶれ補正情報、F値(Fナンバー)、露出時間、AGCゲイン値、レンズ焦点距離などの設定情報を含む。
なお、音声情報の取り込み手段として内蔵マイクロホン15を使用したか、あるいは外部マイクロホンを使用したかの情報を、撮影時の情報に含めるようにしてもよい。
上述した撮影時の情報は、付加情報として、この実施形態では、後述するように、GOP単位に生成されて記録されるようにされている。
DSP21は、I/Oポート313を通じたカメラ情報に基づき、撮像信号処理部14からのデジタル画像信号について、自動ホワイトバランス制御や、露出補正のための制御、デジタルズーム倍率に応じた制御などを行なう。そして、DSP21は、このような制御が加えられたデジタル画像信号と、入力オーディオ信号処理部16からのデジタルオーディオ信号とを、MPEG2方式によりデータ圧縮する。
また、DSP21は、入力された撮影時情報について、当該撮影時情報を付加情報として圧縮画像データや圧縮オーディオデータと共に記録するための付加情報処理を行なう。
DSP21は、さらに、圧縮した画像データと、圧縮したオーディオデータと、前述の付加情報とを、多重化して、MPEG−PSフォーマットに従ったデータ列となるようにする処理も行なう。
そして、DSP21からのMPEG−PSフォーマットのデータは、I/Oポート314を通じて制御部30の制御を受けるDVD信号処理部22の記録信号処理部を通じて書き込み/読み出し部23に供給され、この書き込み/読み出し部23により、DVD40に書き込まれる。書き込み/読み出し部23は、I/Oポート316を通じて制御部30の制御を受ける。
そして、書き込み/読み出し部23によってDVD40から読み出されたデータは、DVD信号処理部22の再生信号処理部を通じてDSP21に供給される。
DSP21では、多重化されている圧縮画像データと、圧縮オーディオデータと、付加情報とを分離する。そして、DSP21は、分離された圧縮画像データの圧縮を解凍し、元の並び順のフレーム単位の画像データを再生し、ビデオ/オーディオ出力処理部24に出力すると共に、分離された圧縮オーディオデータの圧縮を解凍して、オーディオデータを再生し、ビデオ/オーディオ出力処理部24に出力する。
ビデオ/オーディオ出力処理部24は、I/Oポート315を通じて制御部30の制御を受けて、出力すべき画像データおよびオーディオデータについての処理をする。そして、ビデオ/オーディオ出力処理部24は、デジタルデータとしての画像データおよびオーディオデータは、I/Oポート315を通じて制御部30に供給すると共に、D/A変換してアナログ信号にし、出力端子26Vおよび26Aに出力する。I/Oポート315を通じて制御部30に入力された画像データによる再生画像は、LCDコントローラ306の制御に基づいて、LCD32の画面において再生表示される。
また、この例においては、GPS受信機部60がI/Oポート317を通じてシステムバス302に接続され、このGPS受信機部60からの位置情報がI/Oポート317を通じて制御部30に入力される。この位置情報は、記録時に、撮影された画像のデータに対応して記録される。
したがって、この例では、再生時には、再生画像には、撮影位置も表示することが可能である。また、記録された撮影時の位置情報を用いて、表示地図画面上に撮影時の道筋を表示することもできる。
なお、GPS受信機部60を設ける代わりに、通信手段を用いて、公衆基地局やネットワークから、位置情報を入手するように構成してもよい。
[データ圧縮および多重化処理について]
次に、DSP21におけるデータ圧縮および多重化の処理について、図2を参照して、さらに詳細に説明する。
すなわち、DSP21においては、撮像信号処理部14からの画像データは、前述したように、撮像時の設定条件や制御条件に従って制御処理がなされた後、バッファ201を通じてビデオエンコード部202に供給される。
ビデオエンコード部202では、少なくとも1枚のIピクチャと、複数枚のPピクチャおよびBピクチャからなるGOPを構成し、このGOPを、記録媒体としてのDVDに対する書き込み単位として、圧縮処理するようにする。
すなわち、ビデオエンコード部202では、先ず、ピクチャ順並び換え部2021において、前述の図15を用いて説明したように、GOP内におけるピクチャ順の並び換えを行なう。
そして、次に、圧縮符号化部2022において、Iピクチャについては、フレーム内符号化処理を行なってデータ圧縮を行ない、Pピクチャについては、前方のIピクチャまたはPピクチャとの相関を利用したフレーム間予測符号化処理を行なってデータ圧縮を行ない、Bピクチャについては、前方および後方のIピクチャまたはPピクチャとの相関を利用したフレーム間予測符号化処理を行なってデータ圧縮を行なう。なお、Pピクチャについては、フレーム内符号化処理を行なう画像部分も存在する。
以上のようにして、圧縮符号化部2022において圧縮符号化処理が行なわれた画像データは、可変長符号化部2023においてハフマン符号などを用いた可変長符号化処理が行なわれた後、バッファ203を通じてマルチプレックス部(多重化部)211に供給される。
また、DSP21においては、入力オーディオ信号処理部16からのオーディオデータは、撮像タイミングに同期して取り込まれてバッファ204を通じてオーディオエンコード部205に供給され、所定量のオーディオデータ(オーディオフレームと呼ばれる)を復号再生単位として、圧縮符号化される。圧縮符号化されたオーディオデータは、バッファ206を通じてマルチプレックス部(多重化部)211に供給される。
さらに、DSP21においては、I/Oポート313から入力された撮影時情報は、バッファ207を通じて付加情報処理部208に供給されて、画像のフレーム単位に付加する付加情報が生成される。そして、生成された付加情報は、バッファ209を通じてマルチプレックス部211に供給される。
マルチプレックス部211では、画像データ、オーディオデータ、付加情報のそれぞれをパケット化して、画像データ、オーディオデータ、付加情報を多重化する。この場合に、1または複数個のパケットデータにパックヘッダを付加してブロック化して、パックを構成する。このマルチプレックス部211からの多重化出力データは、DVD信号処理部22に出力され、書き込み/読み出し部23により、上述したようにして、DVD40に書き込まれる。
なお、画像データとオーディオとの同期を取るために、MPEG方式においては、画像データあるいはオーディオデータの復号再生単位(画像データは、1フレーム単位、オーディオデータでは、オーディオフレーム単位)ごとに、タイムスタンプと呼ばれる管理情報が付加される。
このタイムスタンプの情報は、時刻管理情報発生部210からマルチプレックス部211に供給される。このタイムスタンプは、SCR(System Clock Reference;システム時刻基準参照値)によって時間基準が与えられる。
タイムスタンプは、マルチプレックス部211において、パケットの中に復号再生単位の情報の先頭がある場合に、そのパケットヘッダに付加され、パケットの中に復号再生単位の情報の先頭がない場合には付加されない。
タイムスタンプには、PTS(Presentation Time Stamp)と、DTS(Decoding Time Stamp)との2種類がある。
PTSは、復号再生単位の情報の再生出力の時刻管理情報である。すなわち、PTSは、復号再生単位の情報を、いつ再生出力するかの時刻管理情報である。
また、タイムスタンプDTSは、復号再生単位の情報の復号の時刻管理情報である。これは、前述したように、MPEG方式では、ピクチャの並び順を符号化の際に並び換えることにより、再生出力順序と、復号順序とが異なることに対応して設けられたものである。
タイムスタンプPTSとDTSとが異なる場合には、両方のタイムスタンプがパケットヘッダに付加され、一致する場合には、タイムスタンプPTSのみがパケットヘッダに付加される。
以上のように、タイムスタンプPTSは、画像データのフレームの、元の並び順に対応するものであり、かつ、各フレームに1対1に対応する時刻管理情報である。オーディオデータについては、タイムスタンプDTSは付加されず、タイムスタンプPTSのみが付加される。
[付加情報の多重化の第1の例]
この第1の例は、DVD−Videoフォーマットによる記録時の場合である。DVD−Videoフォーマットによる光ディスク上における記録データの論理配置は、図3に示すようなものとなる。
すなわち、光ディスクの記録エリアは、図3(A)に示すように、光ディスクの半径方向に見て、最内周側から、順に、リードインエリア、データゾーンエリア、リードアウトエリアに区分けされる。そして、データゾーンエリアに、管理情報および画像データ等のデータが記録される。
データゾーンエリアは、リードインエリア側から、順に、UDF(Universal Disc Format)エリア、VMG(Video ManaGer)エリア、リアルタイムデータ記録エリアに区分けされる。UDFエリアおよびVMGエリアは、光ディスクに記録された画像データ等のファイルを管理する管理用情報の記録エリアである。UDFエリアは、UDF規格とISO9660規格をサポートすることにより、コンピュータで光ディスクを読むことができるようにするためのものである。VMGエリアは、DVD管理用情報の記録エリアである。
リアルタイムデータ記録エリアは、画像データやオーディオデータを記録するエリアであり、図3(B)に示すように、VTS(Video Title Set)と呼ばれるデータ群を単位として、データの記録がなされる。
VTSは、図3(C)に示すように、VTSI(Video Title Set Information)と、VTSM_VOBS(Video Object Set For the VTSM)と、VTSTT_VOBS(Video Object Set For Titles in a VTS)と、VTSI_BUP(Backup of VTSI)とからなる。
VTSTT_VOBSには、図3(D)に示すように、MPEG2−PSフォーマットの圧縮データが、VOBU(Video Object Unit)と呼ばれる情報ブロックを読み書き単位として記録される。VOBU内には、画像データは、少なくとも1枚のIピクチャを包含する1GOPが含まれ、オーディオデータは、当該1GOPに対応する情報が含まれる。つまり、光ディスクには、1GOP単位でデータが読み書きされることに等しい。そして、この実施形態では、後述するように、VOBUには、1GOPの画像データについての付加情報も含まれる。
VTSIには、画像データ等の記録位置情報等の管理情報が記録される。また、VTSM_VOBSには、画像データ等のルートメニューが記録される。このVTSM_VOBSはオプションである。さらに、VTSI_BUPは、VTSIのバックアップ情報である。
読み書き単位データVOBUは、図3(E)に示すように、複数個のパックPCKから構成される。各パックPCKは、1または複数個のパケットから構成することが可能であるが、この例では、1パックは1パケットからなるものとされている。DVD−Videoフォーマットでは、1パックは、2048バイト(1セクタに対応)と定められている。
この例の場合の1パックは、図3(F)に示すようなものとなる。すなわち、パックPCKの先頭はパックヘッダとされる。そして、パックヘッダの次には、パケットヘッダが位置し、パケットヘッダに続いて、画像データやオーディオデータなどからなるパケットデータが位置する。パケットデータとして画像データが含められるパックは、ビデオパックと称する。パケットデータとしてオーディオデータが含められるパックは、オーディオパックと称する。この画像データやオーディオデータのパケットフォーマットは、プライベート1・パケットとされている。
なお、この明細書において、パケットデータとして画像データが含められるパックは、ビデオパックと称し、パケットデータとしてオーディオデータが含められるパックは、オーディオパックと称する。
各パックのパックヘッダ内には、前述した時間基準の情報SCRが含まれる。そして、パケットヘッダの先頭は、パケット開始コードとされると共に、このパケットヘッダ内には、PTSフラグ、DTSフラグなどのフラグ情報と、タイムスタンプPTS、DTSが含まれる。PTSフラグ、DTSフラグは、当該パケット内にタイムスタンプPTS,DTSが含まれるか否かを示すものである。前述したように、タイムスタンプPTS,DTSは、パケット内にピクチャの先頭が含まれる場合に、そのパケットヘッダ内に付加される。
以上のようなフォーマットで記録されている光ディスクがコンピュータによりアクセスされる場合には、UDFエリアの情報により所望のファイルが検索されて、再生される。また、上記光ディスクがDVDプレーヤにより再生される場合には、UDFエリアの情報によりVMGエリアの先頭が検索され、VMGエリアの情報により所望のタイトルが検索されて再生される。
例えばDVD−RW(DVD Re−Recordable)光ディスクにビデオデータを書き込む方式としては、Incremental Recording方式(以下、INC方式と呼ぶ)や、Restricted Overwrite方式(以下、ROW方式と呼ぶ)が使用される。
ここで、INC方式は、シーケンシャルにデータを記録する方式であり、ROW方式は、上書き可能な光ディスクに適用される方式である。ただし、ROW方式においても、未記録エリアにデータを記録する場合には、シーケンシャルにデータを記録する。
これらINC方式およびROW方式においては、リードインエリアの内周側においてRMA(Recording Management Area)により、記録エリアの予約など光ディスク全体の管理情報が保持されるようにされている。
前記INC方式、ROW方式のいずれにおいても、ファイナライズ処理により、UDFエリア、VMGエリアを形成し、さらにリードインエリア、リードアウトエリアを形成し、これにより、再生専用のDVD−ROMで一般的に用いられるDVD−Videoとの互換性が図られる。
次に、付加情報は、この例では、1VOBU分ごとに1パックの情報として多重化される。なお、以下の説明においては、付加情報がパケットデータとして含められるパックは、付加情報パックと称する。
この例では、GOP内には、1枚のIピクチャを含むものであるが、付加情報は、そのIピクチャのフレームを撮像信号として取り込むときの撮影時の設定条件等の撮影時情報とされる。
そして、この例では、付加情報パック内の付加情報のパケットも、プライベート1・パケットの形式とされる。また、この例では、その付加情報のパケットには、対応するIピクチャの画像データの先頭のビデオパックに付加されるタイムスタンプPTSと同じタイムスタンプPTSが含められる。
この付加情報のパックの多重化位置は、VOBU内の予め定められた位置とされる。定められた位置の例としては、Iピクチャの圧縮画像データのパック列の中(Iピクチャの先頭、末尾も含むものとする)とされる。通常、Iピクチャの画像データは、複数個のビデオパックに含められることになるが、付加情報のパックは、例えば、それらIピクチャの複数個のビデオパックの先頭のビデオパックの前あるいは末尾のビデオパックの後が、多重化位置の例として挙げられる。
また、付加情報パックの多重化位置の例としては、Iピクチャの複数個のビデオパックの先頭や末尾ではなく、Iピクチャの画像データのビデオパックの先頭から数えて、特定の順位のパックの前または後ろであっても良い。さらには、VOBU単位で読み書きが行われるので、Iピクチャの近傍でなくとも、例えばVOBU単位の最後尾の位置に付加情報パックを多重化するようにしてもよい。また、付加情報のパックは、VOBU内の中間の予め定められた位置に配置するようにしてもよい。
ただし、後述するように、変速再生時には、VOBU内で、Iピクチャ部分のみを抽出して画像再生するようにするので、以上のように、Iピクチャの先頭、末尾を含めたIピクチャの中の予め定められた位置に付加情報パックを多重化することにより、当該VOBU内のIピクチャのみの抽出の際に、付加情報を合わせて抽出して再生することが容易になる。
図4は、1GOP分の画像データ、オーディオデータおよび付加情報について、それらの多重化処理を説明するための図である。この例では、1GOPは、15フレーム(15枚のピクチャ)で構成されるものとすると共に、Iピクチャの画像データについての撮影時情報が付加情報として多重化される。
図4(A)は、バッファ201、204および207に入力される画像データ、オーディオデータおよび付加情報のストリームを示すものである。また、図4(B)は、マルチプレックス部211からのMPEG−PSフォーマットの1VOBU内のストリーム構造を示している。
図4(A)の画像データストリームにおいて、B,I,Pは、フレーム単位の画像データをピクチャタイプをも考慮して示したものであり、IはIピクチャを、BはBピクチャを、PはPピクチャを、それぞれ示している。また、図4(A)のオーディオストリームにおけるAは、各画像フレームに対応するオーディオデータを示している。
また、図4(A)の付加情報ARI_DATAは、前述したように、この例では、1GOP分の画像データ中のIピクチャを取り込む際における撮影時情報からなる付加情報を示している。この例の場合、この付加情報ARI_DATAは、1GOP期間の間では変わらないデータである。
図4(A)に示されている画像データは、前述したように、ビデオエンコード部202において、ピクチャ順の並び換えがなされた後、圧縮符号化および可変長符号化されて、マルチプレックス部211に供給される。そして、このマルチプレックス部211において、各ピクチャの圧縮画像データは、図4(B)に示すように、1または複数個のビデオパックV_PCKとされて多重化される。このとき、マルチプレックス部211では、各ピクチャの画像データには、再生出力の時間管理情報であるタイムスタンプPTSが、各ピクチャの先頭が含まれるパケットのヘッダに含められるようにされている。
なお、図4(B)において、各ビデオパックV_PCKの四角枠内のI,B,Pの記号は、当該画像パック内の圧縮画像データが、Iピクチャ、Bピクチャ、Pピクチャのうちの、いずれのピクチャタイプの画像データであるかを示している。
また、図4(A)に示されているオーディオデータは、前述したように、オーディオエンコード部205において、MPEGオーディオ圧縮された後、マルチプレックス部211に供給され、このマルチプレックス部211において、所定のデータ量ごとのオーディオパックA_PCKとして、図4(B)に示すように、ビデオパックV_PCKの間に多重化される。
マルチプレックス部211では、各オーディオデータについても、再生出力の時間管理情報であるタイムスタンプPTSが、オーディオフレームごとにパケットのヘッダに含められるようにされている。なお、一つのパケットに複数フレーム分が含まれる場合には、その先頭のフレームについてのタイムスタンプPTSがパケットヘッダに挿入される。
そして、図4(A)に示す付加情報ARI_DATAは、付加情報処理部208で上述のような信号処理がなされた後、マルチプレックス部211に供給され、このマルチプレックス部211において、1GOPごとに1個の付加情報パックARI_PCKが形成される。そして、この付加情報パックARI_PCKは、図4(B)に示すように、この例では、VOBU内のIピクチャの複数個の画像パックの先頭に多重化される。
前述したように、この付加情報パックARI_PCKには、付加情報ARI_DATAがパケット化されて含まれると共に、そのパケットヘッダ内には、同じGOP内のIピクチャの先頭のパックのパケットに含められるタイムスタンプPTSと同じタイムスタンプPTSが含まれている。
なお、1GOPのデータが含まれるVOBUの先頭のパックNV_PCKは、ナビゲーションパックと呼ばれるもので、これには、データサーチインフォメーション(例えばジャンプ時にどのセクタまで飛ぶかを指示する制御情報)などの再生管理情報が含められている。図4(B)に示すように、付加情報パックARI_PCKは、ナビゲーションパックNV_PCKの直後に多重化されることになる。
[付加情報の多重化の第2の例]
この第2の例は、DVD−Video Recording (DVD−VR)フォーマットによる記録時の場合である。このDVD−VRフォーマットにおいても、VOBUを構成する複数個のパックPCK(2048バイト)からなる構造が若干異なるのみで、その他は、前述したDVD−Videoフォーマットの場合と同様である。すなわち、このDVD−VRフォーマットにおけるVOBU内のパックの構造を図5に示す。
すなわち、DVD−VRフォーマットにおけるVOBUの先頭には、RDIパックRDI_PCK(RDI;Real−time Data Information)が配置され、その後に、ビデオパックV_PCKおよびオーディオパックA_PCKが配置される。
そして、先頭のパックRDI_PCKは、図5に示すように、パックヘッダ、システムヘッダ、およびRDIパケットで構成される。パックヘッダは、図3の場合と同様である。システムヘッダには、例えば、ビットレート、ビデオチャンネル数やオーディオチャネル数などの属性を識別子するためのデータや、MPEGシステムを制御するための指令、例えばデ・マルチプレックス部(後述する再生系における多重化データを分解する手段)のバッファ領域の大きさ、サイズなどの制御データが含まれている。
システムヘッダの後には、例えば2003バイト分で構成されるRDIパケットが配置される。RDIパケットは、パケットヘッダと、サブストリームIDと、RDI・データとからなる。サブストリームIDは、当該パケットがRDIパケットであることを認識させる識別子である。
RDI・データとしては、VOBUの記録時間などを含む16バイト分のRDI_GI(Real−time Data Information General Information)と呼ばれるデータと、ディスプレイの制御情報等を含む8バイト分のDCI_CCI(Display Control Information and Copy Control Information)と呼ばれるデータとが定義されている。そして、2003バイトのRDI・データエリアの残りの1979バイト分のエリアは、フィールド名MNFI(Manufacturer’s Information)として、開発者(製造者)に開放されている。
第2の例においては、このフィールド名MNFIのエリアに、上述の例と同様に、当該RDIパックが含まれるVOBU内のIピクチャの画像データについての付加情報ARI_DATAを配置するようにする。
RDIパックは、VOBU単位のデータを読み出すときに、必ず読み出す必要があるパックであり、このRDIパック内に付加情報を含めて記録するようにすることにより、この第2の例の場合においても、第1の例と同様に、ノーマル速度再生の場合に限らず、変速(高速)再生の場合においても、付加情報を画像データなどと共に、抽出して再生することが容易である。
[付加情報ARI_DATAの例]
以上説明したDVD−Videoフォーマットの場合のARI_PCK内のARI_DATAおよびDVD−Video Recordingフォーマットの場合のRDIパック内のARI_DATAの一例を図6に示す。
図6において、RBP(Reference Byte Position)は、パケット内での相対バイト位置を示し、付加情報ARI_DATAの先頭を「0」としている。
付加情報ARI_DATAは、図6に示すように、追加記録識別子、アプリケーション情報、記録時間情報、カメラ情報からなる。
追加記録識別子は、パケット内データが付加情報(追加記録情報)であることを認識させるための識別子であり、追加記録情報データ識別子と、そのバージョン番号が記録される。
アプリケーション情報には、製品の製造元であるベンダー名、製品名であるプロダクト名、アプリケーションID、開発者用データ(Manufacturer’s Information Data)が含まれる。
アプリケーションIDは、画像データの記録時の記録方式を識別するための情報であり、この例では、「00h(hは16進表示であることを示す。以下同じ)」は、DVD−Videoフォーマットでの記録であることを示し、「01h」は、DVD−Video Recordingフォーマットでの記録であることを示すものとされている。
開発者用データは、開発者が自由に使用できるエリアであり、例えば開発時のデバッグ用のデータが記録される。
次に、記録時間情報としては、当該付加情報が含まれるVOBUについての付加情報ARI_DATAの記録時のタイムゾーン(VOBU_LCL_TM_ZONE;フィールド名。以下同じ)と、付加情報ARI_DATAの記録時間(VOBU_REC_TM)とが記録される。
付加情報ARI_DATAの記録時間(VOBU_REC_TM)は、この例では、Iピクチャのフレームの撮影時間とされる。この例では、記録時間は、年、月、日、時、分、秒で記述される。
付加情報ARI_DATAの記録時のタイムゾーン(VOBU_LCL_TM_ZONE)は、付加情報ARI_DATAの記録時間(VOBU_REC_TM)に対するタイムゾーンを記録する。ここで、タイムゾーンとは、ユーザーが機器に設定したUTC(Coordinated Universal Time)からのオフセット時間である。すなわち、記録装置を使用する国の時刻(ローカルタイム)に対応した時差である。
付加情報ARI_DATAの記録時間(VOBU_REC_TM)として、ユニバーサルタイム(全世界で時刻を記録する際に使用される公式の時刻)を用いることもでき、その場合には、付加情報ARI_DATAの記録時のタイムゾーン(VOBU_LCL_TM_ZONE)は、ゼロに設定される。
次に、カメラ情報として撮影時の設定条件などの情報が記録される。図6に示すように、カメラ情報としては、Fナンバー、露出時間、露出プログラム、露出プログラム拡張情報、露光補正値、AGCゲイン値、レンズ最小F値、フラッシュ、レンズ焦点距離、個別画像処理、ホワイトバランス、撮影シーンタイプ、フォーカスモード、被写体距離、手ぶれ補正、デジタルズーム倍率などの情報が含められている。
露出プログラム(EXP_PRG)には、撮影時にカメラが使用した露出プログラムのクラスが記録される。露出プログラムのクラスとしては、指定無し(Not Specified)、マニュアル、ノーマルプログラム、プリセットの4種とされる。
露出プログラム拡張情報(EXP_PRG_EX)には、撮影時にカメラが使用した露出プログラムのクラスがプリセットの場合の詳細情報を記録する。露出プログラムのクラスがプリセットでない場合には、指定無し(Not Specified)とされる。露出プログラムのクラスがプリセットとされた場合には、ゲイン優先、シャッター優先、露出優先、のいずれかが設定される。
AGCゲイン値には、信号処理系におけるAGCゲインの値が記録される。また、フラッシュ(FLS)には、フラッシュ発光、非発光、赤目防止発光、強制発光などの撮影時のストロボの状態を記録する。
個別画像処理(CST_REN)には、画像データに対して出力を考慮したレタリングなど、通常と異なる画像処理が施されていることが記録される。
ホワイトバランス(WHT_BAL)には、撮影時に設定されたホワイトバランスの調整モードが記録される。ホワイトバランスの調整モードとしては、「自動」、「ホールド(HOLD)」、「マニュアル」、「ろうそく」、「白熱灯」、「低い色温度の蛍光灯」、「高い色温度の蛍光灯」、「日光」、「曇天」、「指定無し」などが設定可能とされている。
撮影シーンタイプ(SCN_CAP_TYP)には、設定された撮影時の被写体種別が記録される。この例では、被写体種別としては、「標準」、「風景画」、「ポートレート」、「夜景」、「指定無し」が設定可能とされている。
フォーカスモード(FCS_MOD)には、「自動フォーカス」、「マニュアルフォーカス」、「指定無し」などの、撮影時に設定されたフォーカスモードが記録される。
手ぶれ補正(IMG_STB)には、「手ぶれ補正オン」または「手ぶれ補正オフ」、「指定無し」など、手ぶれ補正機能が働いていたかどうかが記録される。
デジタルズーム倍率(DIG_ZOM)には、撮影時に使用されたデジタルズーム倍率が記録される。デジタルズームが使用されなかったときには、「00h」が記録される。
位置情報(GPS_INFO)には、GPS受信機部60からの(あるいは通信手段を通じて取得された)位置情報が記録される。
手ぶれ補正限界(STB_LIM)には、デジタルカメラの手ぶれが補正限界を超えている場合に、そのことを示すフラグが記録される。実際にデジタルカメラの手ぶれが補正限界を超えている場合には、このフラグとして「FF(16進表示)」が記録される。
なお、付加情報ARI_DATAのフィールド内容変更に伴う追加記録情報バージョン(ARI_DAT_VER)の変更規則の例を以下に示す。
(1)カメラ情報フィールドの内容のみを追加・変更する場合は、バージョン番号の少数第2位をインクリメントする。
(2)記録時間情報以降のフィールド内容を追加・変更する場合は、バージョン番号の少数第1位をインクリメントする。
(3)付加情報ARI_DATA全体の内容を追加・変更し、変更前データとの互換性が取れなくなる場合には、バージョン番号の整数値をインクリメントする。
[データ分離およびデータ圧縮解凍処理について]
次に、DSP21における画像データ、オーディオデータおよび付加情報の分離処理および画像データとオーディオデータの圧縮解凍処理について、図7を参照して説明する。
書き込み/読み出し部23によりDVD40から、VOBU単位で読み出されたデータは、デ・マルチプレックス部221において、画像データパックと、オーディオデータパックと、付加情報パックとに分離される。
デ・マルチプレックス部221では、それぞれのパックからパックヘッダおよびパケットヘッダを分離し、それらのヘッダ情報を制御部220に供給する。制御部220では、ヘッダ情報を解析し、タイムスタンプPTSおよびDTSを抽出して、画像データ、オーディオデータおよび付加情報のデコード処理および再生出力を制御する。
また、デ・マルチプレックス部221は、分離した画像データパックから抽出した圧縮画像データは、バッファ222を通じてビデオデコーダ部225に供給し、分離したオーディオデータパックから抽出した圧縮オーディオデータは、バッファ223を通じてオーディオデコーダ部226に供給し、分離した付加情報パックから抽出した付加情報はバッファ224を通じて付加情報デコーダ部227に供給する。
そして、ビデオデコーダ部225では、制御部220からの制御に従い、タイムスタンプDTSに従った順序で、画像データの圧縮解凍処理を行なって、フレーム単位の画像データを復元し、バッファ228に出力する。そして、制御部220は、このバッファ228から、画像データパックに含まれていたタイムスタンプPTSに従った順序で、フレーム単位の画像データを読み出して、ビデオ信号処理部231に供給するように制御する。
また、オーディオデコーダ部226では、制御部220からの制御に従い、順次にオーディオデータの圧縮解凍処理を行なって、オーディオデータを復元し、バッファ229に出力する。そして、制御部220は、このバッファ229から、オーディオデータパックに含まれていたタイムスタンプPTSに従った順序で、オーディオデータを読み出して、オーディオ信号処理部232に供給するように制御する。
さらに、付加情報デコーダ部227では、制御部220からの制御に従い、1GOP分の画像データについての付加情報ARI_DATAを再生し、バッファ230に出力する。この場合、付加情報デコーダ部227では、付加情報は、画像データの制御用情報Avと、撮影年月日、時間やFナンバー、レンズ焦点距離などの表示用情報Adとを生成して、それぞれバッファ230に出力する。
そして、制御部220は、このバッファ230から、付加情報パックに含まれていたタイムスタンプPTSに従ったタイミングで、1GOP分の画像データについての付加情報を読み出すが、そのうちの画像データの制御用情報Avは、ビデオ信号処理部231に、表示用情報Adは、OSD(On Screen Display)回路233に、それぞれ供給するように制御する。
そして、ビデオ信号処理部231では、画像データの制御用情報Avに応じた画像データ処理がなされる。例えば、撮影時のオートホワイトバランス調整に応じた画像データ制御などが行なわれる。
表示用情報Adは、撮影年月日、撮影時刻、Fナンバー、レンズ焦点距離などの表示情報であり、OSD回路233を通じて合成部234に供給され、ビデオ信号処理部231からの画像データに合成される。この合成部234からの画像データがビデオ/オーディオ出力処理部24を通じて制御部30に供給され、LCD32の画面に表示される。
前述したように、この例では、付加情報パックは、Iピクチャと同じタイムスタンプPTSが付加されているので、付加情報の表示用情報Adは、対応するIピクチャの画像から1GOPの画像のすべてのピクチャについて合成されてLCD32の画面に表示される。
以上のようにして、この実施形態によれば、撮影された画像の読み書き単位であるGOPごとに付加情報が多重化されることにより、当該付加情報に基づいて、前記読み書き単位の画像情報が制御されると共に、当該画像情報の表示画面に、撮影日時情報等の必要な付加情報表示がなされるものである。
なお、以上の実施形態は、付加情報に含まれる撮影時間の情報としては、VOBU、すなわち、1GOPについての撮影時間の情報としたが、例えばIピクチャについての撮影時間の情報から、それに続く、Bピクチャ,Pピクチャの各フレームの撮影時間を計算して求め、その各フレーム単位の撮影時間を表示したり、編集時の管理情報として用いたりすることもできる。
[変速再生の説明]
上述のように構成された撮像装置の制御部30のROM303は、この実施形態では、変速再生を実現するためのプログラムを記憶している。以下、この変速再生について説明する。
この実施形態の変速再生においては、VOBU単位の情報のうちのIピクチャのみを再生画像とすることにより実現する。すなわち、今、ノーマル再生速度を1倍速としたときに、任意のN倍の速度で再生するN倍速の再生をする場合には、この実施形態では、1VOBU当たりについて、Iピクチャの画像フレームのみを、15/N回繰り返して表示するようにする。そして、この変速再生時にも、表示するIピクチャの画面に、対応する付加情報による制御および対応する付加情報の表示を行なうようにする。
図8は、この実施形態における変速再生の仕組みを説明するための図である。前述したように、光ディスクに対する読み書き情報単位はVOBUであるので、この変速再生時にも、光ディスクからはVOBU単位で情報は読み出されるが、図8(A)に示すように、この変速再生時にデコードする画像データは、VOBUのうちのIピクチャの画像データのみとする。そして、この実施形態では、Iピクチャについての付加情報もこの変速再生時のデコード対象とする。
したがって、この実施形態における変速再生時においては、光ディスクからのVOBU単位の情報のうちの、図8(A)に示すように、付加情報パックARI_PCKおよびIピクチャの画像データが含まれる複数個のビデオパックV_PCKの範囲をデコードデータ抽出範囲とする。すなわち、この実施形態における変速再生時のデコードデータ抽出範囲には、付加情報パックが必ず含まれるようにする。
そして、図8(B)において網点を付して示すように、元のビデオストリームデータのうち、Iピクチャのみを、前述したように、倍速値Nに応じた回数、繰り返して表示すると共に、付加情報ARI_DATAをデコードして、撮影時間やFナンバーなどの表示情報を、当該Iピクチャに重ねて表示し、また、付加情報ARI_DATAから生成された制御情報により、当該Iピクチャの画像データの制御を行なうようにする。
例えば、3倍速再生を行なった場合のLCD表示画面の変化を図9に、5倍速再生を行なう場合のLCD表示画面の変化を、図10に、15倍速再生を行なう場合のLCD表示画面の変化を図11に示す。
すなわち、3倍速再生を行なう場合には、図9に示すように、VOBU単位の情報のうちから抽出してデコードしたIピクチャを、15/3=5回(5フレーム)づつ、繰り返して再生することを、VOBU単位に繰り返す。そして、各Iピクチャには、図9に示すように、対応する付加情報の表示情報を重畳表示するようにする。
また、5倍速再生を行なう場合には、図10に示すように、VOBU単位の情報のうちから抽出してデコードしたIピクチャを、15/5=3回(3フレーム)づつ、繰り返して再生することを、VOBU単位に繰り返す。そして、各Iピクチャには、図10に示すように、対応する付加情報の表示情報を重畳表示するようにする。
さらに、15倍速再生を行なう場合には、図11に示すように、VOBU単位の情報のうちから抽出してデコードおよび再生したIピクチャを、15/15=1回(1フレーム)づつ再生することを、VOBU単位に繰り返す。そして、各Iピクチャには、図11に示すように、対応する付加情報の表示情報を重畳表示するようにする。
次に、以上説明した変速再生時における制御部30での処理について説明する。図12は、LCDコントローラ306における表示バッファメモリの構成を説明するための図である。この例におけるLCDコントローラ306における表示バッファメモリ3060は、第1の表示バッファ3061および第2の表示バッファ3062との、2画面分の表示バッファを備える。表示バッファメモリ3060の入力側および出力側には、スイッチ回路3063および3064が設けられる。
そして、DSP21からの付加情報が合成された合成画像信号は、D/A変換器3065によりアナログ画像データに変換された後、スイッチ回路3063により、第1の表示バッファ3061と第2の表示バッファ3062のいずれかに選択的に書き込まれる。
また、スイッチ回路3064により選択された、第1の表示バッファ3061と第2の表示バッファ3062のいずれかから読み出された合成画像信号は、LCD32に供給されて、その画面に表示されるようにされる。
そして、この場合、表示バッファメモリ3060の入力側および出力側に設けられるスイッチ回路3063および3064がCPU301により切り替え制御されることにより、表示バッファメモリ3060の2つの表示バッファ3061および3062の一方から画像データが読み出されるとき、他方へは画像データが書き込まれるように構成されている。
次に、変速再生時の制御部30の処理動作を、図13のフローチャートを参照しながら説明する。
変速再生を行なおうとする場合には、ユーザーは、操作入力部31を通じてN倍速のN値の設定を行なうと共に、変速再生の開始指示をする。N倍速のN値の設定は、例えば、予め定められた幾つかのN値から選択するようにする方法、直接、N値を入力する方法、回動つまみを回動することにより設定する方法のいずれでもよい。N値は、整数値ではなく、少数値であるようにしてもよい。
制御部30は、上述のような操作入力部31を通じたユーザーによる変速再生のN倍速のN値設定操作および変速再生開始指示に応じて、図13のフローチャートをスタートさせる。
先ず、前記N倍速のN値を認識する(ステップS101)。次に、光ディスク40からVOBU単位でデータを取り込む(ステップS102)。次に、VOBU単位のデータのうちの、変速再生時のデコードデータ抽出範囲のデータ、つまり、付加情報パックARI_PCKおよびIピクチャの画像データを含む複数個のビデオパックV_PCKを抽出する(ステップS103)。
次に、抽出したデコードデータ抽出範囲のデータについて、付加情報パックARI_PCKとIピクチャの画像データを含む複数のビデオパックV_PCKとを分離して、付加情報パックARI_PCKのデータは、付加情報デコーダ部227に供給し、ビデオパックV_PCKは、ビデオデコーダ部225に供給する(ステップS104)。
そして、ビデオデコーダ部225でIピクチャの画像データを圧縮解凍して画像データを復元すると共に、付加情報デコーダ部227で付加情報をデコードして再生する(ステップS105)。次に、合成部234で復元されたIピクチャの画像データに、前述したように再生された付加情報から生成された付加情報の表示用データを合成し、その合成した画像信号を、D/A変換器3065を通じてアナログ信号に変換した後に、表示用バッファメモリ3060の第1および第2の表示バッファ3061および3062のうちの、画像フレームの書き込み側の表示バッファに書き込む(ステップS106)。
このとき、表示用バッファメモリ3060の第1および第2の表示バッファ3061および3062のうち、前記画像フレームの書き込み側の表示バッファではない方の表示バッファ(表示フレーム出力側)からは、前に書き込まれた画像データが、前記書き込みと並行して読み出されて、その再生画像がLCD32の画面に表示されている。
そして、制御部30のCPU301は、表示フレーム出力側の表示バッファからのIピクチャに付加情報が合成された画像データが、15/Nフレーム分、繰り返し読み出しされて再生されたか否か判別する(ステップS107)。
このステップS107で、表示フレーム出力側の表示バッファからのIピクチャに付加情報が合成された画像データが、未だ、前記15/Nフレーム分、繰り返し読み出されてはいないと判別したときには、操作入力部31を通じた操作入力により変速再生の終了指示があったか否か判別し(ステップS110)、この変速再生の処理ルーチンを終了する。変速再生終了指示があったときには、この変速再生の処理ルーチンを終了する。
また、ステップS110で、変速再生終了指示がないと判別したときには、表示用バッファの表示フレーム出力側の表示バッファからのIピクチャに付加情報が合成された画像データの読み出しを継続し(ステップS111)、ステップS107に戻る。
そして、ステップS107で、表示フレーム出力側の表示バッファからのIピクチャに付加情報が合成された画像データが、前記15/Nフレーム分、繰り返し読み出された再生されたと判別したときには、スイッチ回路3063および3064を切り換えて、表示用バッファメモリ3060の第1および第2の表示バッファ3061および3062の間で、画像フレーム書き込み側と、表示フレーム出力側とを切り換える(ステップS108)。
この切り換えにより、それまでに次に表示すべきVOBUからデコーダされたIピクチャに付加情報が合成された画像データが書き込まれた表示バッファが、画像フレーム書き込み側から表示フレーム出力側に切り換わり、その再生画像がLCD32の画面に表示されるようになる。
ステップS108の次には、ステップS109に進み、制御部30は、次のVOBU単位のデータを光ディスク40から取り込むように制御する。そして、ステップS103に戻り、上述の動作を繰り返す。これにより、前述の図9〜図11に例示したような変速再生がなされる。
なお、スイッチ回路3064からの表示画像データと同じ画像データが、画像信号出力端子26Vからモニター受像機に供給されることにより、モニター受像機にも、図9〜図11に示したのと同様の変速再生時の再生画像が表示される。
なお、再生しようとするIピクチャが、当該Iピクチャに対応する付加情報ARI_DATAの手ぶれ補正限界フラグが立っている([FF]となっている)ものである場合には、そのIピクチャは、鮮明な画像となっていない可能性が高いので、そのIピクチャは再生せずに、次のIピクチャまでスキップするようにするようにしても良い。
[その他の変形例]
なお、上述の実施形態では、付加情報は、Iピクチャに対応して作成して、Iピクチャと同じタイムスタンプPTSを付加情報パック内のプライベート1・パケット形式のパケット内に挿入したが、タイムスタンプPTSは、付加情報パックには、付加しないようにしてもよい。
また、付加情報は、GOP単位の画像データについてのものとすることができるので、特に、Iピクチャに対応するものとする必要はない。そのため、付加情報は、1GOP内の所定位置のピクチャ、例えば中央位置のピクチャ(Bピクチャでも、Pピクチャでも良い)についてのものとするようにしてもよい。その場合には、付加情報パック内のプライベート1・パケット形式のパケット内には、タイムスタンプPTSは付加しない。
また、以上の実施形態では、付加情報パックARI_PCK内の付加情報ARI_DATAを含むパケットは、プライベート1・パケット形式ではなく、図14(C)に示すようなプライベート2・パケットも使用可能である。
なお、この発明による記録方法および再生方法は、上述した撮像装置にのみ適用される場合に限られるものではなく、画像データやオーディオデータを圧縮して記録する種々の電子機器に適用可能であることは言うまでもない。その場合に、圧縮方式は、MPEG方式に限られるものではないことは、勿論である。
そして、記録媒体は、光ディスクに限られるものではなく、ハードディスクなどの磁気記録媒体やカード型メモリなどの半導体記録媒体であってもよい。
また、上述の実施形態では、付加情報から形成する制御用情報としては、画像データの制御用信号のみとしたが、1GOP分のオーディオデータについても、付加情報を形成し、そのオーディオデータに関する付加情報から、オーディオデータの制御用信号を形成して、オーディオ信号処理部232においてオーディオデータの制御ができるように構成することもできる。
例えば、マイクロホン15として、内蔵マイクロホンを用いたか、外部マイクロホンを用いたかにより、AGC特性が変えられてオーディオデータが記録されるようにすると共に、内蔵マイクロホンを用いたか、外部マイクロホンを用いたかを示す情報を、付加情報ARI_DATAに含めるようにする。
そして、再生時には、その付加情報を用いて、オーディオデータについての制御信号を形成し、その制御信号により、オーディオ信号処理部232では、内蔵マイクロホンからの音声か、あるいは外部マイクロホンからの音声かに応じたオーディオデータ制御処理を行なうようにすることができる。
202…ビデオエンコード部、2021…ピクチャ順並び換え部、2022…圧縮符号化部、2023…可変長符号化部、208…付加情報処理部、211…マルチプレックス部、220…制御部、221…デ・マルチプレックス部、225…ビデオデコーダ部、226…オーディオデコーダ部、227…付加情報デコーダ部、231…ビデオ信号処理部、232…オーディオ信号処理部、233…OSD回路、234…合成部