JP4765192B2 - 画像符号化装置および方法、画像復号化装置および方法、並びに記録媒体 - Google Patents
画像符号化装置および方法、画像復号化装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4765192B2 JP4765192B2 JP2001136505A JP2001136505A JP4765192B2 JP 4765192 B2 JP4765192 B2 JP 4765192B2 JP 2001136505 A JP2001136505 A JP 2001136505A JP 2001136505 A JP2001136505 A JP 2001136505A JP 4765192 B2 JP4765192 B2 JP 4765192B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- stream
- information
- video
- additional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像符号化装置および方法、画像復号化装置および方法、並びに記録媒体に関し、特に、再エンコードしてビデオストリームを記録、再生する装置に用いて好適な画像符号化装置および方法、画像復号化装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
ヨーロッパのDVB（Digital Video Broadcast）放送、アメリカのDTV（Digital Television）放送、日本のＢＳ（Broadcast Satellite）デジタル放送などのデジタルテレビジョン放送では、MPEG（Moving Picture Expert Group）２トランスポートストリームが用いられる。トランスポートストリームは、トランスポートパケットが連続したストリームであり、トランスポートパケットは、例えば、ビデオデータやオーディオデータがパケット化されたものである。１つのトランスポートパケットのデータ長は、１８８バイトである。
【０００３】
ところで、デジタルテレビジョン放送では、アナログテレビジョン放送とは異なり、マルチメディア符号化データを付加したサービスを提供することが可能である。このサービスでは、ビデオデータ、オーディオデータ、文字図形のデータ、静止画のデータなどのデータがマルチメディア符号化データにより関連付けられて送信される。マルチメディア符号化データには、例えば、日本のＢＳデジタル放送の場合、XML（Extensible Markup Language）ベースの符号化方式が用いられる。その詳細は、例えば、ARIB STD-B24 Data Coding and transmission Specification for digital broadcasting（ARIB STD-B24 デジタル放送におけるデータ放送符号化方式と伝送方式）などに開示されている。
【０００４】
ビデオデータ、オーディオデータ、文字図形のデータ、静止画のデータなどのデータは、それぞれトランスポートパケット化されて送信される。
【０００５】
図１を参照し、送信側と受信側とで授受されるデータおよびマルチメディア画面の合成例を説明する。図１（Ａ）に示すように、送信側は、ビデオデータ、ボタンＡ乃至Ｃを表示させるための文字図形データ、"ＸＹＺＡＢＣ．．．"といった文字を表示させるための文字データ、および、それらを関連付けるためのマルチメディア符号化データが、受信側に対して送信される。送信側とは、テレビジョン放送局などであるが、ここではさらに、放送局から送信されたデータを受信し、記録する記録装置（記録側）も含み、図１（Ａ）は、その記録装置から出力されるデータである場合も含むものとする。
【０００６】
マルチメディア符号化データには、ビデオデータ、文字図形データ、および文字データを、受信側にて合成して表示できるようなデータを含んでいる。すなわち、マルチメディア符号化データは、図１（Ｂ）に示すように、マルチメディアプレーン（テレビジョン受像機などの画像の表示領域）のサイズ（plane_height、plane_width）やビデオの表示サイズ（video_height、video_width）といったサイズに関するデータや、ビデオデータ、文字図形データ、および文字データのそれぞれのデータにより表示されるビデオ、文字図形、および文字の表示位置に関するデータを含むデータである。
【０００７】
受信側では、マルチメディア符号化データを基に、ビデオデータ、文字図形データ、および文字データを、それぞれ処理し、図１（Ｂ）に示したように、それぞれのデータに基づく画像が表示される。
【０００８】
ユーザは、このようにして表示された画面から、例えば、ボタンＡを操作すると、その操作に対応した情報が、ビデオの部分に表示されたりといったサービスや、画面下側に表示されている文字データからビデオの部分に表示されている事柄に関する情報を取得するといったサービスを受けることができる。
【０００９】
【発明が解決しようとする課題】
デジタルテレビジョン放送により放送されたトランスポートストリームのテレビジョンプログラムを、受信側でそのまま記録媒体などに記録すれば、画質や音声の品質を全く劣化させずに記録することが可能である。画質が劣化することを前提とし、限られた容量の記録媒体にできる限り長い時間のプログラムを記録する場合、受信されたビデオストリームを一度デコードした後、再エンコードすることによりビットレートを下げるといった処理が必要となる。
【００１０】
例えば、マルチメディア符号化データが付加されたテレビジョンプログラムのビデオストリームを、ビットレートを下げて記録するために再エンコードするとき、画像をサブサンプリングして画枠を変更することが考えられる。ところが、その際に、再エンコードして得られたビデオストリームとマルチメディア符号化データの関係に不整合が発生する場合があるといった課題があった。その不整合の例について図２を参照して説明する。
【００１１】
図２（Ａ）に示した例では、送信側（記録側）において、再エンコード時に、元のビデオの画枠よりも小さい画枠への変換処理が行われている。その為に、図２（Ｂ）に示したように、受信側（再生側）においては、ビデオの表示サイズや表示位置が変わってしまい、送信側が意図した表示画面（再エンコードする前のデータで表示される表示画面）とは異なった表示画面となってしまうといった課題があった。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、記録側においては、再エンコードしてビデオストリームを記録しても、不整合が発生しないような情報を生成し、その情報も合わせて記録するようにする。また、再生側においては、その情報を参照して再生することにより、画枠が小さくなるなどの不整合が発生しないようにすることを目的とする。
【００１３】
【課題を解決するための手段】
本発明の画像符号化装置は、少なくとも符号化ビデオデータを含む多重化ストリームを入力する入力手段と、前記入力手段により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離手段と、前記分離手段により分離された前記符号化ビデオストリームを復号する復号手段と、前記復号手段により復号されたビデオストリームをフォーマット変換して再符号化する再符号化手段と、前記再符号化手段により再符号化されたビデオストリームを表示する際に参照される付加情報を生成する生成手段と、前記生成手段により生成された前記付加情報を前記多重化ストリームとは別のデータとして符号化する符号化手段と、前記再符号化されたビデオストリーム、および前記付加情報を出力する出力手段とを備える。
【００１５】
前記生成手段により生成された付加情報を、前記再符号化手段により再符号化されたビデオストリームを含む多重化ストリームに多重化する多重化手段をさらに含むようにすることができる。
【００１８】
前記生成手段により生成される付加情報は、最初にビデオデータが生成されたときのオリジナルの画枠の情報と、オリジナルの画面アスペクト比のうち、少なくとも一方の情報を含むようにすることができる。
【００１９】
前記生成手段により生成される付加情報は、最初にビデオデータが生成されたときのオリジナルのビデオフォーマットと、再符号化後のビデオフォーマットの情報を含むようにすることができる。
【００２０】
前記生成手段により生成される付加情報は、最初にビデオデータが生成されたときのオリジナルの画面アスペクト比と、再符号化後の画面アスペクト比の情報を含むようにすることができる。
【００２１】
前記生成手段により生成される付加情報は、再符号化手段によりビデオストリームの画枠が変換されたか否かを示す情報、分離手段により分離された再符号化ビデオストリームが最初にビデオデータが生成されたときのオリジナルの画枠の情報、およびオリジナルの画面アスペクト比のうち、少なくとも１つの情報を含むようにすることができる。
【００２２】
本発明の画像符号化方法は、少なくとも符号化ビデオデータを含む多重化ストリームを入力する入力ステップと、前記入力ステップの処理により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離ステップと、前記分離ステップの処理により分離された前記符号化ビデオストリームを復号する復号ステップと、前記復号ステップの処理により復号されたビデオストリームをフォーマット変換して再符号化する再符号化ステップと、前記再符号化ステップの処理により再符号化されたビデオストリームを表示する際に参照される付加情報を生成する生成ステップと、前記生成ステップの処理により生成された前記付加情報を前記多重化ストリームとは別のデータとして符号化する符号化ステップと、前記再符号化されたビデオストリーム、および前記付加情報を出力する出力ステップとを含む。
【００２４】
前記生成ステップの処理により生成された付加情報を、前記再符号化ステップの処理により再符号化されたビデオストリームを含む多重化ストリームに多重化する多重化ステップをさらに含むようにすることができる。
【００２７】
前記生成ステップの処理により生成される付加情報は、最初にビデオデータが生成されたときのオリジナルの画枠の情報と、オリジナルの画面アスペクト比のうち、少なくとも一方の情報を含むようにすることができる。
【００２８】
前記生成ステップの処理により生成される付加情報は、最初にビデオデータが生成されたときのオリジナルのビデオフォーマットと、再符号化後のビデオフォーマットの情報を含むようにすることができる。
【００２９】
前記生成ステップの処理により生成される付加情報は、最初にビデオデータが生成されたときのオリジナルの画面アスペクト比と、再符号化後の画面アスペクト比の情報を含むようにすることができる。
【００３０】
前記生成ステップの処理により生成される付加情報は、再符号化ステップの処理によりビデオストリームの画枠が変換されたか否かを示す情報、分離ステップの処理により分離された符号化ビデオストリームが最初にビデオデータが生成されたときのオリジナルの画枠の情報、およびオリジナルの画面アスペクト比のうち、少なくとも１つの情報を含むようにすることができる。
【００３１】
本発明の第１の記録媒体のプログラムは、コンピュータに、少なくとも符号化ビデオデータを含む多重化ストリームを入力する入力ステップと、前記入力ステップの処理により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離ステップと、前記分離ステップの処理により分離された前記符号化ビデオストリームを復号する復号ステップと、前記復号ステップの処理により復号されたビデオストリームをフォーマット変換して再符号化する再符号化ステップと、前記再符号化ステップの処理により再符号化されたビデオストリームを表示する際に参照される付加情報を生成する生成ステップと、前記生成ステップの処理により生成された前記付加情報を前記多重化ストリームとは別のデータとして符号化する符号化ステップと、前記再符号化されたビデオストリーム、および前記付加情報を出力する出力ステップとを実行させるためのものである。
【００４１】
本発明の画像復号化装置は、少なくとも符号化ビデオストリームを含む多重化ストリームを入力する入力手段と、前記入力手段により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離手段と、前記分離された前記符号化ビデオストリームを復号化する復号化手段と、前記符号化ビデオストリームを表示する際に参照される付加情報が前記符号化ビデオストリームがフォーマット変換されて再符号化されたものであることを示す場合、前記復号化手段により復号化されて得られたビデオデータを、最初にビデオデータが生成されたときのオリジナルのビデオデータにフォーマット変換を施す処理手段とを備える。
【００４２】
前記付加情報は、前記多重化ストリームとは別のデータとして入力される。
【００４３】
前記付加情報は、前記多重化ストリーム内に多重化されて入力される。
【００４６】
前記付加情報は、前記オリジナルの画枠の情報と、前記オリジナルの画面アスペクト比のうち、少なくとも一方の情報を含むようにすることができる。
【００４７】
前記付加情報は、前記オリジナルのビデオフォーマットと、前記再符号化後のビデオフォーマットの情報を含むようにすることができる。
【００４８】
前記付加情報は、前記オリジナルの画面アスペクト比と、前記再符号化後の画面アスペクト比の情報を含むようにすることができる。
【００４９】
前記付加情報は、前記再符号化によりビデオストリームの画枠が変換されたか否かを示す情報、前記分離手段により分離された前記符号化ビデオストリームが最初にビデオデータが生成されたときの前記オリジナルの画枠の情報、および前記オリジナルの画面アスペクト比のうち、少なくとも１つの情報を含むようにすることができる。
【００５０】
本発明の画像復号化方法は、少なくとも符号化ビデオストリームを含む多重化ストリームを入力する入力ステップと、前記入力ステップの処理により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離ステップと、前記分離された前記符号化ビデオストリームを復号化する復号化ステップと、前記符号化ビデオストリームを表示する際に参照される付加情報が前記符号化ビデオストリームがフォーマット変換されて再符号化されたものであることを示す場合、前記復号化手段により復号化されて得られたビデオデータを、最初にビデオデータが生成されたときのオリジナルのビデオデータにフォーマット変換を施す処理ステップとを含む。
【００５１】
前記付加情報は、前記多重化ストリームとは別のデータとして入力されるようにすることができる。
【００５２】
前記付加情報は、前記多重化ストリーム内に多重化されて入力されるようにすることができる。
【００５５】
前記付加情報は、前記オリジナルの画枠の情報と、前記オリジナルの画面アスペクト比のうち、少なくとも一方の情報を含むようにすることができる。
【００５６】
前記付加情報は、前記オリジナルのビデオフォーマットと、前記再符号化後のビデオフォーマットの情報を含むようにすることができる。
【００５７】
前記付加情報は、前記オリジナルの画面アスペクト比と、前記再符号化後の画面アスペクト比の情報を含むようにすることができる。
【００５８】
前記付加情報は、前記再符号化によりビデオストリームの画枠が変換されたか否かを示す情報、前記分離手段により分離された前記符号化ビデオストリームが最初にビデオデータが生成されたときの前記オリジナルの画枠の情報、および前記オリジナルの画面アスペクト比のうち、少なくとも１つの情報を含むようにすることができる。
【００５９】
本発明の第２の記録媒体のプログラムは、コンピュータに、少なくとも符号化ビデオストリームを含む多重化ストリームを入力する入力ステップと、前記入力ステップの処理により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離ステップと、前記分離された前記符号化ビデオストリームを復号化する復号化ステップと、前記符号化ビデオストリームを表示する際に参照される付加情報が前記符号化ビデオストリームがフォーマット変換されて再符号化されたものであることを示す場合、前記復号化手段により復号化されて得られたビデオデータを、最初にビデオデータが生成されたときのオリジナルのビデオデータにフォーマット変換を施す処理ステップとを実行させるためのものである。
【００６６】
本発明の画像符号化装置、画像符号化方法、および第１の記録媒体のプログラムにおいては、少なくとも符号化ビデオデータを含む多重化ストリームが入力され、入力された多重化ストリームから符号化ビデオストリームが分離され、分離された符号化ビデオストリームが復号され、復号されたビデオストリームがフォーマット変換されて再符号化され、再符号化されたビデオストリームを表示する際に参照される付加情報が生成され、生成された付加情報が多重化ストリームとは別のデータとして符号化され、再符号化されたビデオストリーム、および付加情報が出力される。
【００６８】
本発明の画像復号化装置および画像復号化方法、並びに第２の記録媒体のプログラムにおいては、少なくとも符号化ビデオストリームを含む多重化ストリームが入力され、多重化ストリームから符号化ビデオストリームが分離され、分離された符号化ビデオストリームが復号化され、符号化ビデオストリームを表示する際に参照される付加情報が符号化ビデオストリームがフォーマット変換されて再符号化されたものであることを示す場合、復号化されて得られたビデオデータを、最初にビデオデータが生成されたときのオリジナルのビデオデータにフォーマット変換する処理が施される。
【００７１】
【発明の実施の形態】
以下に、本発明の実施の形態について、図面を参照して説明する。図３は、本発明を適用した記録装置１の一実施の形態の構成を示す図である。アンテナ等（不図示）により受信されたトランスポートストリームは、セレクタ１０に入力される。セレクタ１０には、端子１１から、ユーザから指定される番組番号（チャンネル番号）も入力される。セレクタ１０は、番組番号に基づいて、入力されたトランスポートストリームから、指定された番組を抜き出し、パーシャルトランスポートストリームを出力する。パーシャルトランスポートストリームは、デマルチプレクサ１２と解析部１３に入力される。
【００７２】
デマルチプレクサ１２に入力されたトランスポートストリームは、ビデオストリームと、それ以外のストリーム（オーディオ、静止画、文字図形データ、マルチメディア符号化データなどのデータで構成されるストリーム）に分離される。分離されたビデオストリームは、デコーダ１４に出力される。また、それ以外のストリームは、マルチプレクサ１６に出力される。デマルチプレクサ１２は、ビデオ以外のトランスポートパケットの他に、それらのトランスポートパケットの入力トランスポートストリームの中での出力タイミング情報も、マルチプレクサ１６に出力する。
【００７３】
デコーダ１４は、入力されたビデオストリームに対して、所定のデコード方式、例えば、MPEG２方式に基づきデコード処理を施し、ビデオデータをエンコーダ１５に出力する。また、デコーダ１４は、デコードする際に得られたビデオストリームのストリーム情報を、符号化コントローラ１８に出力する。
【００７４】
一方、解析部１３は、入力されたトランスポートストリームを解析することにより、ビデオ以外のストリームのストリーム情報、例えば、ビットレートなどの情報を取得し、符号化コントローラ１８に出力する。符号化コントローラ１８には、解析部１３から出力されたビデオ以外のストリームのストリーム情報、デコーダ１４から出力されたビデオストリーム情報、および、端子１９からストリームの記録ビットレートが入力される。符号化コントローラ１８は、これらのデータから、エンコーダ１５により行われるビデオデータのエンコードの条件を設定し、その設定された条件（符号化制御情報）をエンコーダ１５と符号化部２０に出力する。
【００７５】
符号化コントローラ１８は、例えば、ストリームの記録ビットレート（記録装置１の動作を制御する図示せぬ制御装置から端子１９を介して入力されるデータ）から、ビデオ以外のストリームのビットレートの合計値（解析部１３から入力されるデータ）を減算した値が、ビデオデータのエンコードに割り当てられるビットレートとし、そのビットレートで最適な画質となるように、ビットレート、画枠などの符号化制御情報を設定し、その設定した符号化制御情報を、エンコーダ１５と符号化部２０に出力する。この符号化制御情報の詳細については、図１５乃至図２０を参照して後述する。
【００７６】
なお、このストリームの記録ビットレートは、記録媒体に固定レートで記録する場合、その固定レートとなり、可変ビットレートで記録する場合、所定時間当たりの平均ビットレートとなる。ただし、この場合の可変ビットレートの最大値は、記録媒体が保証する最大記録ビットレート以下である必要がある。
【００７７】
エンコーダ１５は、デコーダ１４から出力されたビデオデータを符号化コントローラ１８から出力された符号化制御情報に基づいて符号化し（例えば、MPEG２方式に基づき符号化し）、マルチプレクサ１６に出力する。マルチプレクサ１６は、エンコーダ１５からのビデオストリームと、デマルチプレクサ１２からのビデオ以外のトランスポートストリームパケットと、当該ビデオ以外のトランスポートストリームパケットの出現タイミングの情報を入力するが、そのうちの出現タイミングの情報に基づいて、ビデオストリームとビデオ以外のトランスポートストリームパケットを多重化し、トランスポートストリームとして、アライバルタイムスタンプ付加部１７に出力する。
【００７８】
図４は、マルチプレクサ１６が行う、この場合の処理を模式的に表している。図４（Ａ）は、入力されたトランスポートストリームのパケットのタイミングを表している。この図において、灰色で示す部分はビデオパケットを示し、白色で示す部分はビデオ以外のストリームのパケットを示している。図４（Ａ）に示されるように、入力されたトランスポートストリームのパケットは連続しているが、エンコーダ１５により、ビデオデータが再エンコードされることにより、ビデオデータのデータ量が減少する。その結果、ビデオパケットの数が少なくなる。
【００７９】
マルチプレクサ１６は、図４（Ｂ）に示されるように、ビデオ以外のストリームのパケットのタイミングを変更せず、ビデオパケットのタイミングだけを元の状態（図４（Ａ）に示す状態）と異なるタイミングとする。
【００８０】
アライバルタイムスタンプ付加部１７は、図５に示されるように、入力されるトランスポートストリームのトランスポートストリームパケット（図５（Ａ））毎に、アライバルタイムスタンプを含むヘッダ（TP_extra_header）を付加してソースパケット（図５（Ｂ））を生成し、各ソースパケットを連続するように配置して（図５（Ｃ））書き込み部２１に出力する。アライバルタイムスタンプは、トランスポートストリームパケットがトランスポートストリームの中で出現するタイミングを表す情報である。書き込み部２１は、入力される連続したソースパケットからなるソースパケットストリームをファイル化し、記録媒体２２に記録する。なお、記録媒体２２は、どのような媒体のものでも良い。
【００８１】
書き込み部２１には、符号化部２０から出力される情報も入力される。符号化部２０は、符号化コントローラ１８からのビデオ符号化情報に基づいて、マルチメディア表示サブ情報を生成し、書き込み部２１に出力する。書き込み部２１に出力されるマルチメディア表示サブ情報は、ビデオストリームがトランスコードされる（デコーダ１４によりデコードされた後、再び、エンコーダ１５によりエンコードされる）ことにより、画枠サイズが変化したような場合でも、マルチメディアプレーン上でビデオの表示位置や表示サイズを、伝送側が意図した画面（再エンコードしなかった場合に表示されるであろう画面）と同じにするための情報であり、再生時に、マルチメディア符号化データと組み合わされて用いられる情報である。
【００８２】
ここで、具体的にマルチメディア表示サブ情報について説明する。図６に示すように、マルチメディア表示サブ情報は、ミスマッチフラグ（mismatch_MMinfo_flag）、再エンコードフラグ（Re_encoded_flag）、およびフレームサイズ変更フラグ（changd_frame_size_flag）の３つのフラグと、オリジナルの水平方向のサイズ（original_horizontal_size）とオリジナルの垂直方向のサイズ（original_vertical_size）をそれぞれ表す２つのサイズに関するデータ、並びにオリジナルの画面アスペクト比（original_display_aspect_ratio）により構成されている。
【００８３】
ミスマッチフラグは、ビデオとマルチメディア符号化データとの関係に不整合があるか否かを示すフラグである。再エンコードフラグは、記録時にビデオが再エンコードされているかどうかを示すフラグである。フレームサイズ変更フラグは、例えば、再エンコードされたことにより、ビデオの画枠が変更されたか否かを示すフラグである。オリジナルの水平方向のサイズは、再エンコードされる前の水平方向の画枠のサイズである。オリジナルの垂直方向のサイズは、再エンコードされる前の垂直方向の画枠のサイズである。オリジナルの画面アスペクト比は、再エンコードされる前のフレーム画面のアスペクト比を意味する。
【００８４】
なお、上述したマルチメディア表示サブ情報は、一例であり、図６に示した以外の情報を含めるようにしても良いし、また、逆に、図６に示した情報の一部を必要に応じ減らしても良い。
【００８５】
マルチメディア表示サブ情報の別の例を説明する。この例では、マルチメディア表示サブ情報は、図７に示すシンタクスのProgramInfoの中にストアされる。ProgramInfo()のシンタクスの中で、本発明に関係するフィールドについて説明する。
【００８６】
lengthは、このlengthフィールドの直後のバイトからProgramInfo()の最後のバイトまでのバイト数を示す。
【００８７】
num_of_program_sequencesは、AVストリームファイルの中にあるprogram-sequenceの数を示す。AVストリームファイルの中で本フォーマットが規定するところのプログラム内容が一定であるソースパケット列を、program-sequenceと呼ぶ。
【００８８】
SPN_program_sequence_startは、AVストリームファイル上でprogram-sequenceが開始するアドレスを示す。SPN_program_sequence_startは、ソースパケット番号を単位とする大きさであり、AVストリームファイルの最初のソースパケットから、ゼロを初期値としてカウントされる。
【００８９】
program_map_PIDは、そのprogram-sequenceに適用できるPMT(program map table)を持つトランスポートパケットのPIDの値である。
【００９０】
num_of_streams_in_psは、そのprogram-sequenceの中で定義されるエレメンタリーストリームの数を示す。
【００９１】
stream_PIDは、そのprogram-sequenceのprogram_map_PIDが参照するところのPMTの中で定義されているエレメンタリーストリームのに対するPIDの値を示す。
【００９２】
StreamCodingInfo() は、上記stream_PIDで指されるエレメンタリーストリームの情報を示す。
【００９３】
図８は、StreamCodingInfo()のシンタクスを示す。
lengthは、このlengthフィールドの直後のバイトからStreamCodingInfo()の最後のバイトまでのバイト数を示す。
【００９４】
stream_coding_typeは、このStreamCodingInfo()に対応するstream_PIDで指されるエレメンタリーストリームの符号化タイプを示す。値の意味を図９に示す。
【００９５】
stream_coding_typeの値が、0x02の場合、stream_PIDで指されるエレメンタリーストリームがビデオストリームであることを示す。
【００９６】
また、stream_coding_typeの値が、0x0A, 0x0B, 0x0Cまたは0x0Dの場合、stream_PIDで指されるエレメンタリーストリームがマルチメディア符号化データであることを示す。
【００９７】
また、stream_coding_typeの値が、0x06の場合、stream_PIDで指されるエレメンタリーストリームが字幕やテレテキストであることを示す。
【００９８】
video_formatは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームのビデオフォーマットを示す。値の意味を図１０に示す。
【００９９】
480i は、NTSCのスタンダードTV（720画素×480ラインのインタレースフレーム）のビデオ表示である。また、576iは、PALのスタンダードTV（720画素×576ラインのインタレースフレーム）のビデオ表示である。また、480pは、720画素×480ラインのプログレッシブフレームのビデオ表示である。また、1080iは、1920画素×1080ラインのインタレースフレームのビデオ表示である。また、720pは、1280画素×720ラインのプログレッシブフレームのビデオ表示である。
【０１００】
frame_rateは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームのフレームレートを示す。値の意味を図１１に示す。
【０１０１】
display_aspect_ratioは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームのディスプレイ・アスペクト・レシオを示す。値の意味を図１２に示す。
【０１０２】
original_video_format_flagは、このStreamCodingInfo()の中にoriginal_video_formatとoriginal_display_aspect_ratioが存在するかを示すフラグである。
【０１０３】
original_video_formatは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームが符号化される前のオリジナルのビデオフォーマットである。値の意味は、図１０と同じである。
【０１０４】
original_display_aspect_ratioは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームが符号化される前のオリジナルのディスプレイ・アスペクト・レシオである。値の意味は、図１２と同じである。
【０１０５】
ビデオストリームと共にマルチメディアデータストリーム（BMLストリーム, 字幕など）が多重化されているトランスポートストリームをトランス・コーディングする場合において、ビデオストリームは再エンコードされることによって、そのビデオフォーマットが変化し（例えば、1080iから480iへ変化する）、一方、マルチメディアデータストリームはオリジナルのストリームのままの内容を保つ場合を考える。この時、新しいビデオストリームとマルチメディアデータストリームの間に情報のミスマッチが生じる場合がある。例えば、マルチメディアデータストリームの表示に関するパラメータは、オリジナルのビデオストリームのビデオフォーマットを想定して決められているにもかかわらず、ビデオストリームの再エンコードによって、そのビデオフォーマットが変化した場合である。
【０１０６】
オリジナルのビデオストリームのビデオフォーマットは、video_formatと display_aspect_ratioにより示される。また、再エンコード後のビデオストリームのビデオフォーマットは、original_video_formatとoriginal_display_aspect_ratioにより示される。
【０１０７】
video_formatとoriginal_video_formatの値が違い、または／および、display_aspect_ratioとoriginal_display_aspect_ratioの値が違う場合、記録時にビデオの再エンコードによって、ビデオフォーマットが変更されたことを示す。
【０１０８】
また、stream_coding_typeがマルチメディア符号化データや字幕を示すstream_PIDがProgramInfoに含まれる場合、AVストリームファイル（トランスポートストリーム）の中にマルチメディアデータが多重化されていることを示す。
【０１０９】
そして、ProgramInfoが、記録時にビデオの再エンコードによって、ビデオフォーマットが変更されたことを示し、かつ、AVストリームファイルの中にマルチメディアデータが多重化されていることが示す時、AVストリームファイルのビデオストリーム（再エンコードしたもの）とマルチメディアデータ（オリジナルのもの）との間に表示のミスマッチがあると判断する。
【０１１０】
このような場合、original_video_formatとoriginal_display_aspect_ratioの、オリジナルのビデオストリームに関する情報が有効となる。再生装置は、上記の新しいビデオストリームとマルチメディアデータストリームから次のようにして、表示画像をつくる。
・ビデオストリームは、original_video_formatとoriginal_display_aspect_ratioで示されるビデオフォーマットにアップ・サンプリングされる。
・そのアップ・サンプリングされた画像とマルチメディアデータストリームが合成されて、正しい表示画像をつくる。
【０１１１】
符号化部２０により作成され、出力されたマルチメディア表示サブ情報は、書き込み部２１により記録媒体２２に記録されるが、アライバルタイムスタンプ付加部１７から出力されるソースパケットストリームファイルとは別のファイルとして記録される。ソースパケットストリームファイルとは別のファイルとしてマルチメディア表示サブ情報が書き込み部２１により記録媒体２２に記録される場合、符号化部２０からは、ファイル化されたマルチメディア表示サブ情報が出力される。
【０１１２】
図１３に、AVストリームとマルチメディア表示サブ情報の符号化処理のフローチャートを示す。
【０１１３】
ステップ５０で、記録装置１にマルチメディア符号化データを含む多重化ストリームの入力する。
【０１１４】
ステップ５１で、デマルチプレクサ１２が多重化ストリームからビデオストリームを分離する。
【０１１５】
ステップ５２で、エンコーダ１５がデコーダ１４でデコードされたビデオストリームを再エンコードする。
【０１１６】
ステップ５３で、マルチプレクサ１６が上記ビデオストリームとマルチメディア符号化データを多重化して、多重化ストリームを作成する。
【０１１７】
ステップ５４で、符号化部２０がマルチメディア表示サブ情報の作成する。
【０１１８】
上述した説明では、符号化コントローラ１８は、入力されたデータを基にビットレートや画枠などの情報を含む符号化制御情報を生成したが、他の符号化制御情報として、次に示すような情報を生成しても良い。すなわち、解析部１３により、入力されたトランスポートストリームを解析した結果、入力トランスポートストリームにマルチメディア符号化データが含まれていると解析された場合、符号化コントローラ１８は、エンコーダ１５によりエンコードが行われる際、元のビデオの画枠と同じサイズの画枠（再エンコードされる前の画枠）で再エンコードするよう指示する符号化制御情報を生成し、エンコーダ１５に対して出力するようにしても良い。
【０１１９】
そのようにした場合、エンコーダ１５は、入力された符号化制御情報に基づいてデコーダ１４からのビデオデータを元のビデオストリームの画枠と同じ値で再エンコードする。このような符号化制御情報を生成し、その符号化制御情報に基づく再エンコードを行う場合、再エンコードにより画枠が変更されることがないため、再エンコードして得られるビデオストリームと、マルチメディア符号化データとの関係に不整合が発生するようなことを防ぐことができる。
【０１２０】
または、符号化コントローラ１８が生成する符号化制御情報として、次に示すような情報を生成しても良い。すなわち、解析部１３により、入力されたトランスポートストリームを解析した結果、入力トランスポートストリームにマルチメディア符号化データが含まれていると解析された場合、符号化コントローラ１８は、エンコーダ１５によりエンコードが行われる際、元のビデオのビデオフォーマット（図１０で示すもの）と画面アスペクト比（図１２で示すもの）と同じ条件で再エンコードするよう指示する符号化制御情報を生成し、エンコーダ１５に対して出力するようにしても良い。
【０１２１】
そのようにした場合、エンコーダ１５は、入力された符号化制御情報に基づいてデコーダ１４からのビデオデータを元のビデオのビデオフォーマット（図１０で示すもの）と画面アスペクト比（図１２で示すもの）と同じ条件で再エンコードする。このような符号化制御情報を生成し、その符号化制御情報に基づく再エンコードを行う場合、再エンコードによりビデオフォーマットおよび画面アスペクト比が変更されることがないため、再エンコードして得られるビデオストリームと、マルチメディア符号化データとの関係に不整合が発生するようなことを防ぐことができる。
【０１２２】
図１４に、マルチメディア符号化データを含む多重化ストリームのビデオの再エンコードに制限をかける場合の符号化処理のフローチャートを示す。
【０１２３】
ステップ７０で、記録装置１へ多重化ストリームを入力する。
【０１２４】
ステップ７０で、デマルチプレクサ１２が多重化ストリームからビデオストリームを分離する。
【０１２５】
ステップ７０で、解析部１３はマルチメディア符号化データが含まれるかを調べる。マルチメディア符号化データが含まれる場合、ビデオストリームをビデオの表示フォーマットを変えないように再エンコードするように符号化制御情報をエンコーダ１５へ指示する。エンコーダ１５はその制御情報に基づいて、ビデオストリームを再エンコードする。
【０１２６】
ステップ７０で、マルチプレクサ１６は上記ビデオストリームを含む多重化ストリームを作成する。
【０１２７】
次に、図１５乃至図２０を参照して、符号化制御情報に基づく制御の例について説明する。
【０１２８】
いま、例えば、図１５に示されるように、セレクタ１０に入力されるトランスポートストリームは、一定のビットレートＲIを有しているものとする。ビデオストリームとビデオ以外のストリームは、それぞれ、可変ビットレートで符号化されている。図１５の例の場合、単位時間（例えば、GOP）Ａにおいては、ビデオストリームのビットレートはＲVAとされ、ビデオ以外の単位時間のビットレートはＲOAとされている。そして、単位時間Ｂにおいては、ビデオストリームのビットレートがＲVBとされ、ビデオ以外のストリームのビットレートがＲOBとされ、単位時間Ｃにおいては、ビデオストリームのビットレートがＲVCとされ、ビデオ以外のストリームのビットレートがＲOCとされている。
【０１２９】
いま、この図１５に示されているようなトランスポートストリームを再エンコードし、図１６に示されるように、固定のビットレートＳ（Ｓ＜ＲI）のトランスポートストリームとしてマルチプレクサ１６から出力するようにする場合、符号化コントローラ１８は、図１７のフローチャートに示される処理を実行する。
【０１３０】
最初に、ステップＳ１において、符号化コントローラ１８は、端子１９から、図示せぬ制御装置より入力される制御信号に基づいて、マルチプレクサ１６より出力するトランスポートストリームのビットレート（記録レート）をＳに設定する。次に、ステップＳ２において、符号化コントローラ１８は、ビデオ以外に記録するストリームを決定し、それらのストリームのビットレートの合計の最大値Ｄを計算する。
【０１３１】
最大値Ｄは、入力トランスポートストリームのストリーム仕様から判断される。例えば、ビデオ以外に、２本のオーディオストリームを記録する場合、日本のディジタルBS放送のストリーム仕様では、オーディオストリーム１本のビットレートの最大値は３８４Kbpsであるから、最大値Ｄは、３８４×２Kbpsとなる。
【０１３２】
次に、ステップＳ３において、符号化コントローラ１８は、ステップＳ１において設定された記録のためのビットレートＳから、ステップＳ２で計算された最大値Ｄを減算して得た値Ｃ（＝Ｓ−Ｄ）を、ビデオデータの再エンコードの割り当てビットレートとする。そして、ステップＳ４において、符号化コントローラ１８は、デコーダ１４より出力されるビデオストリーム情報から、ビデオストリームのビットレート、画枠といった符号化情報を解析する。
【０１３３】
次に、ステップＳ５に進み、符号化コントローラ１８は、ステップＳ３で計算された値Ｃと、ステップＳ４で解析されたビデオストリームの符号化情報に基づいて、最適な画質になるようにビデオの符号化パラメータ（ビデオ符号化制御情報）を決定する。
【０１３４】
例えば、図１６に示す例においては、値Ｓが、値ＲIの１／２とされている。いまの場合、ビデオ以外のストリームのビットレートは最大値Ｄとされ、この最大値Ｄが、そのまま、再符号化後の多重化ストリームのビデオ以外のストリームのビットレートとされる。
【０１３５】
そして、（Ｓ−Ｄ）の範囲内において最適な画質になるように、ビデオの符号化パラメータが決定される。画枠が制御される場合、例えば、７２０×４８０画素の画枠の水平方向を１／２にサブサンプリングして、３６０×４８０画素とされる。決定された符号化パラメータ（ビットレートや画角など）は、ビデオ符号化制御情報としてエンコーダ１５に供給される。
【０１３６】
そこで、エンコーダ１５は、ステップＳ６において、符号化コントローラ１８より供給されたビデオ符号化制御情報に基づいて、いま、処理対象とされている単位時間（いまの場合、単位時間Ａ）のビデオデータを再エンコードする。図１６の例においては、単位時間Ａでは、実際には、ビットレートＲOAは、最大値Ｄより小さいが、最大値Ｄは固定値とされるので、ビデオの割り当てビットレートは（Ｓ−Ｄ）となる。最大値Ｄは固定とされるため、ビデオの符号化に使えない無駄な部分Ｒsaが発生するが、そこには、スタッフィングビットが挿入される。
【０１３７】
次に、ステップＳ７に進み、符号化コントローラ１８は、再エンコードするストリームが終了したか否かを判定し、まだストリームが終了していない場合には、ステップＳ４に戻り、それ以降の処理を繰り返し実行する。
【０１３８】
そして、ステップＳ７において、符号化するストリームが終了したと判定された場合、処理は終了される。
【０１３９】
以上のようにして、図１６の例においては、単位時間Ｂにおいても、ビデオ以外のストリームのビットレートはＤとされ、ビデオストリームの割り当てビットレートは、固定ビットレートなので、Ｓ−Ｄとされる。そして、値Ｒsb（＝Ｓ−（Ｓ−Ｄ）−ＲOB＝Ｄ−ＲOB）には、スタッフィングビットが挿入される。
【０１４０】
単位時間Ｃにおいても、ビデオ以外のストリームのビットレートは、Ｄとされ、ビデオストリームの割り当てビットレートは、Ｓ−Ｄとされる。なお、この単位時間Ｃにおいては、Ｄ＝ＲOCであるので、スタッフィングビットは存在しない。
【０１４１】
このように、図１６の例においては、ビデオストリームが固定ビットレートで符号化される。
【０１４２】
図１８は、ビデオの再エンコードの割り当てビットレートを可変ビットレートとした場合の処理例を表している。最初に、ステップＳ２１において、符号化コントローラ１８は、端子１９からの入力に基づいて、記録レートＳを設定する。
次に、ステップＳ２２において、符号化コントローラ１８は、デコーダ１４からのビデオストリーム情報に基づいて、ビデオストリームの符号化情報を解析する。以上のステップＳ２１とステップＳ２２の処理は、図１７のステップＳ１とステップＳ４の処理と同様の処理である。
【０１４３】
次に、ステップＳ２３において、符号化コントローラ１８は、解析部１３の出力からビデオ以外のストリームの時間単位毎の合計ビットレートＢを計算する。
【０１４４】
次に、ステップＳ２４に進み、符号化コントローラ１８は、ステップＳ１で設定した値Ｓから、ステップＳ２３の処理で計算した値Ｂを減算して得た値Ｃ（＝Ｓ−Ｂ）をビデオの再エンコード割り当てビットレートとする。
【０１４５】
さらに、ステップＳ２５において、符号化コントローラ１８は、ステップＳ２４において得られた値Ｃと、ステップＳ２２の処理で得られたビデオストリームの符号化情報の解析結果に基づいて、最適な画質になるように、ビデオの符号化パラメータを決定する。決定された符号化パラメータは、エンコーダ１５に出力される。
【０１４６】
そして、ステップＳ２６において、エンコーダ１５は、ステップＳ２５の処理で決定された符号化パラメータに基づいて、現在の単位時間のビデオデータを再エンコードする。これにより、例えば、図１９に示されるように、ビデオ以外の単位時間のビットレートとして、Ｒoa（＝ＲOA）が確保された後、（Ｓ−Ｒoa）で規定されるビットレートＲvaにビデオストリームのビットレートが設定される。
【０１４７】
ステップＳ２７において、符号化コントローラ１８は、ストリームが終了したか否かを判定し、終了していない場合にはステップＳ２２に戻り、それ以降の処理を繰り返し実行する。ステップＳ２７において、ストリームが終了したと判定された場合、処理は終了される。
【０１４８】
このようにして、単位時間Ｂにおいては、ビデオ以外のストリームのビットレートＲob（＝Ｓ−ＲOB）が確保された後、残りのＲvb（＝Ｓ−Ｒob）がビデオストリームのビットレートとされる。単位時間Ｃにおいては、ビデオ以外のストリームのビットレートＲocを除くＲvc（＝Ｓ−ＲOC）にビデオストリームのビットレートが設定される。
【０１４９】
このように、この処理例においては、ビデオストリームのビットレートが可変ビットレートされ、スタッフィングビットが必要なくなるか、その量を少なくすることができ、より効率的にビデオストリームを符号化することができる。
【０１５０】
なお、以上においては、入力トランスポートストリームが固定ビットレートである場合を例としたが、例えば、図２０に示されるように、入力トランスポートストリームが可変ビットレートである場合にも、本発明を適用することが可能である。
【０１５１】
以上のようにして、必要に応じて、より低いビットレートで、記録媒体２２に、より長時間のコンテンツに対応するトランスポートストリームを記録することが可能となる。
【０１５２】
そして、オーディオデータ、静止画／文字図形データ、マルチメディア符号化データといった、ビデオ以外のデータの質が著しく劣化することを防止することができる。ビデオ以外のこれらのデータは、基本的に、ビデオデータに比べて、そのデータ量が少ないため、ビデオデータと同じ割合でビットレートを低下させると、相対的にビデオ以外のデータに対する影響は、ビデオデータに対する影響より大きくなるが、このような影響が出るのを防止することができる。
【０１５３】
次に、記録媒体２２に記録されたソースパケットストリームファイルの再生について説明する。図２１は、本発明を適用した再生装置の一実施の形態の構成を示す図である。記録媒体２２に記録されているソースパケットストリームファイルは、読み出し部３１により読み出される。読み出し部３１は、ソースパケットストリームとは別ファイルとして記録媒体２２に記録されているマルチメディア表示サブ情報も読み出す。
【０１５４】
読み出し部３１により読み出されたソースパケットストリームは、アライバルタイムスタンプ分離部３２に、マルチメディア表示サブ情報は、合成部３６に、それぞれ出力される。アライバルタイムスタンプ分離部３２は、基準クロックを内蔵しており、その基準クロックと、入力されたソースパケットストリームのソースパケットに付加されているアライバルタイムスタンプの値を比較し、両方の値が等しくなったときに、値が等しくなったアライバルタイムスタンプをもつソースパケットから、そのアライバルタイムスタンプを取り除き、トランスポートストリームパケットとして、デマルチプレクサ３３に出力する。
【０１５５】
デマルチプレクサ３３は、入力されたトランスポートストリームをビデオオーディオストリーム、マルチメディア符号化データ、および、文字図形／文字／静止画などのデータのストリームに分離する。分離されたデータの内、ビデオオーディオストリームは、AVデコーダ３４に、マルチメディア符号化データは、合成部３６に、文字図形／文字／静止画などのデータのストリームは、文字図形／静止画デコーダ３５に、それぞれ出力される。
【０１５６】
AVデコーダ３４は、入力されたビデオオーディオストリームをビデオデータとオーディオデータに分離し、それぞれをデコードした後、オーディオデータを図示されていないオーディオ再生装置に、ビデオデータを合成部３６に、それぞれ出力する。文字図形／静止画デコーダ３５は、入力された文字図形、文字、静止画などのデータのストリームをデコードし、デコードされた文字図形データ、文字データ、静止画データなどを合成部３６に出力する。
【０１５７】
合成部３６には、AVデコーダ３４からのビデオデータ、デマルチプレクサ３３から出力されたマルチメディア符号化データ、文字図形／静止画デコーダ３５から出力された文字図形／文字／静止画などのデータ、および読み出し部３１により読み出されたマルチメディア表示サブ情報が入力される。合成部３６は、入力されたマルチメディア表示サブ情報のミスマッチフラグ（図６）を検査することにより、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じているか否かを判断する。
【０１５８】
または、合成部３６は、図８のvideo_formatとoriginal_video_formatの値が違い、または／および、display_aspect_ratioとoriginal_display_aspect_ratioの値が違う場合、記録時にビデオの再エンコードによって、ビデオフォーマットが変更されたことを判断し、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていることを判断する。video_formatとoriginal_video_formatの値が同じであり、かつ、display_aspect_ratioとoriginal_display_aspect_ratioの値が同じである場合、入力ビデオ信号とマルチメディア符号化データとの関係にミスマッチはないと判断する。
【０１５９】
入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていることを示している場合、合成部３６はさらに、マルチメディア表示サブ情報のオリジナルの水平方向のサイズとオリジナルの垂直方向のサイズを参照するか、または、original_video_formatとoriginal_display_aspect_ratioを参照する。そして、入力されたビデオ信号を、その参照したサイズのフレームで表示されるようにスケール変換する。そして、マルチメディア符号化データに基づいて、スケール変換されたビデオ信号と他の文字図形データなどをマルチメディアプレーン上に合成したビデオ信号を、表示デバイスとしてのテレビジョン受像機（不図示）などに出力する。
【０１６０】
一方、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていないということを示している場合、合成部３６は、入力ビデオ信号のスケールを変更することなしに、他のデータとマルチメディアプレーン上に合成し、出力する。
【０１６１】
このように、マルチメディア表示サブ情報を記録時に記録し、再生時に用いることにより、送信側が意図した画面が受信側で表示される。図２２を参照して説明するに、送信側（記録側）で、再エンコードされたために、元のビデオの画枠よりも小さめの画枠に変更されてしまったとしても、マルチメディア表示サブ情報として、そのことを記録しておき、再生時に、その記録されたマルチメディア表示サブ情報を参照することにより、受信側（再生側）においては、ビデオと他のデータに不整合が生じることなく再エンコードしなかった場合に得られる画面が得られる。
【０１６２】
図２４にマルチメディア表示サブ情報を使用するAVストリームの再生処理のフローチャートを示す。
【０１６３】
ステップ６０で、マルチメディア符号化データを含む多重化ストリームを記録媒体から読み出し再生装置に入力する。
【０１６４】
ステップ６１で、マルチメディア表示サブ情報の入力する。この情報は、図２１の再生装置の場合は、記録媒体から読み出され、図２５の再生装置の場合は、多重化ストリームから分離する。
【０１６５】
ステップ６２で、多重化ストリームからビデオストリームを分離する。
【０１６６】
ステップ６３で、ビデオストリームをデコードする。
【０１６７】
ステップ６４で、ビデオとマルチメディア符号化データの間に表示のミスマッチがある場合、合成部３６はビデオをマルチメディア表示サブ情報に基づいてスケール変換処理する。
【０１６８】
ステップ６５で、合成部３６は上記処理した画像とマルチメディアデータを合成して表示画像を作成する。
【０１６９】
上述したように、マルチメディア表示サブ情報は、文字図形データやビデオ信号を含むソースパケットストリームファイルとは別のファイルとして記録媒体２２に記録するようにしても良いが、ソースパケットストリームファイルに埋め込んで記録媒体２２に記録するようにしても良い。ソースパケットストリームファイルにマルチメディア表示サブ情報を埋め込んで記録するようにした場合の記録装置１の構成を図２３に示す。
【０１７０】
図２３に示した記録装置１の構成を、図３に示した記録装置１の構成と比較するに、図２３に示した記録装置１では、符号化部２０から出力されたマルチメディア表示サブ情報は、マルチプレクサ１６に出力されるようになっている。マルチプレクサ１６では、入力されたマルチメディア表示サブ情報をトランスポートパケットを作成してソースパケットストリームファイルに埋め込み、アライバルタイムスタンプ付加部１７に出力する。マルチメディア表示サブ情報をトランスポートパケットとしてソースパケットストリームファイルに埋め込むのではなく、MPEGビデオストリームのユーザデータ領域に書き込むようにしても良い。
【０１７１】
なお、本実施の形態においては、ビデオデータを再エンコードする方法は、このような方法に限らず、入力されたビデオストリームをDCT領域上で変換して画枠などの符号化パラメータを変換するようにしても良い。
【０１７２】
このようにしてソースパケットストリームファイルにマルチメディア表示サブ情報を埋め込み、記録媒体２２に記録するようにした場合の再生装置３０の構成を図２５に示す。図２５に示した再生装置３０の構成を、図２１に示した再生装置３０の構成と比較するに、図２５に示した再生装置３０の構成では、読み出し部３１により読み出されるのは、ソースパケットストリームだけである。そして、読み出し部３１により読み出されたソースパケットストリームはアライバルタイムスタンプ分離部３２を介してデマルチプレクサ３３に入力される。
【０１７３】
デマルチプレクサ３３は、入力されたソースパケットストリームファイルから、マルチメディア表示サブ情報を取り出し、合成部３６に出力する。その他の構成は図５における場合と同様である。
【０１７４】
このように、ソースパケットストリームファイルにマルチメディア表示サブ情報を含めて記憶させるようにした場合も、伝送側が意図したビデオの画枠のサイズや表示位置が、受信側において得られるようになる。
【０１７５】
なお、本実施の形態においては、トランスポートストリームの場合を説明したが、本発明は、これに限らず、プログラムストリームなどの多重化ストリームなどにも適用することが可能である。
【０１７６】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、記録装置１（図示は省略するが、再生装置３０も同様である）は、図２６に示されるようなパーソナルコンピュータにより構成される。
【０１７７】
図２６において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記憶されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７８】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０１７９】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、ネットワークを介しての通信処理を行う。
【０１８０】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク１２１、光ディスク１２２、光磁気ディスク１２３、或いは半導体メモリ１２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０１８１】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１８２】
この記録媒体は、図２６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フロッピディスクを含む）、光ディスク１２２（CD-ROM（Compact Disk -Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク１２３（MD（Mini-Disk）を含む）、若しくは半導体メモリ１２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM１０２や記憶部１０８が含まれるハードディスクなどで構成される。
【０１８３】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８４】
【発明の効果】
以上の如く本発明の画像符号化装置、画像符号化方法、および第１の記録媒体のプログラムによれば、ビデオストリームを再符号化した際の不整合を、再生側において防ぐことができる。
【０１８７】
また、本発明の画像復号化装置、画像復号化方法、および第２の記録媒体のプログラムによれば、ビデオストリームを再符号化した際に不整合が生じるようなことを防ぐことができる。
【図面の簡単な説明】
【図１】マルチメディア符号化情報による表示画面について説明する図である。
【図２】 再エンコードされたときに生じる不整合について説明する図である。
【図３】本発明を適用した記録装置の一実施の形態の構成を示す図である。
【図４】図３のマルチプレクサの動作を説明する図である。
【図５】図３のアライバルタイムスタンプ付加部の処理を説明する図である。
【図６】マルチメディア表示サブ情報について説明する図である。
【図７】 ProgramInfo()のシンタクスの別例を示す図である。
【図８】 StreamCodingInfo()のシンタクスを示す図である。
【図９】 stream_coding_typeの意味を示す図である。
【図１０】 video_formatの意味を示す図である。
【図１１】 frame_rateの意味を示す図である。
【図１２】 display_aspect_ratioの意味を示す図である。
【図１３】 AVストリームとマルチメディア表示サブ情報の符号化処理を説明するフローチャートである。
【図１４】マルチメディア符号化データを含む多重化ストリームのビデオの再エンコードに制限をかける場合の符号化処理を説明するフローチャートである。
【図１５】入力トランスポートストリームを説明する図である。
【図１６】図１５のビデオストリームを再エンコードした後のトランスポートストリームの例を示す図である。
【図１７】図３の記録装置における記録レートの制御処理を説明するフローチャートである。
【図１８】図３の記録装置における他の記録レートの制御処理を説明するフローチャートである。
【図１９】ビデオストリームを再エンコードした後のトランスポートストリームの他の例を示す図である。
【図２０】入力トランスポートストリームの他の例を示す図である。
【図２１】本発明を適用した再生装置の一実施の形態の構成を示す図である。
【図２２】マルチメディア表示サブ情報を追加した場合の表示画面について説明する図である。
【図２３】本発明を適用した記録装置の他の構成を示す図である。
【図２４】 4‐マルチメディア表示サブ情報を使用するAVストリームの再生処理を説明するフローチャートである。
【図２５】本発明を適用した再生装置の他の構成を示す図である。
【図２６】媒体を説明する図である。
【符号の説明】
１ 記録装置， １１端子， １２ デマルチプレクサ， １３ 解析部， １４ デコーダ， １５ エンコーダ， １６ マルチプレクサ， １７ アライバルタイムスタンプ付加部， １８ 符号化コントローラ， １９ 端子， ２０ 符号化部， ２１ 書き込み部， ２２ 記録媒体， ３０ 再生装置，３１ 読み出し部， ３２ アライバルタイムスタンプ分離部， ３３ デマルチプレクサ， ３４ AVデコーダ， ３５ 文字図形／静止画デコーダ， ３６ 合成部
【発明の属する技術分野】
本発明は画像符号化装置および方法、画像復号化装置および方法、並びに記録媒体に関し、特に、再エンコードしてビデオストリームを記録、再生する装置に用いて好適な画像符号化装置および方法、画像復号化装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
ヨーロッパのDVB（Digital Video Broadcast）放送、アメリカのDTV（Digital Television）放送、日本のＢＳ（Broadcast Satellite）デジタル放送などのデジタルテレビジョン放送では、MPEG（Moving Picture Expert Group）２トランスポートストリームが用いられる。トランスポートストリームは、トランスポートパケットが連続したストリームであり、トランスポートパケットは、例えば、ビデオデータやオーディオデータがパケット化されたものである。１つのトランスポートパケットのデータ長は、１８８バイトである。
【０００３】
ところで、デジタルテレビジョン放送では、アナログテレビジョン放送とは異なり、マルチメディア符号化データを付加したサービスを提供することが可能である。このサービスでは、ビデオデータ、オーディオデータ、文字図形のデータ、静止画のデータなどのデータがマルチメディア符号化データにより関連付けられて送信される。マルチメディア符号化データには、例えば、日本のＢＳデジタル放送の場合、XML（Extensible Markup Language）ベースの符号化方式が用いられる。その詳細は、例えば、ARIB STD-B24 Data Coding and transmission Specification for digital broadcasting（ARIB STD-B24 デジタル放送におけるデータ放送符号化方式と伝送方式）などに開示されている。
【０００４】
ビデオデータ、オーディオデータ、文字図形のデータ、静止画のデータなどのデータは、それぞれトランスポートパケット化されて送信される。
【０００５】
図１を参照し、送信側と受信側とで授受されるデータおよびマルチメディア画面の合成例を説明する。図１（Ａ）に示すように、送信側は、ビデオデータ、ボタンＡ乃至Ｃを表示させるための文字図形データ、"ＸＹＺＡＢＣ．．．"といった文字を表示させるための文字データ、および、それらを関連付けるためのマルチメディア符号化データが、受信側に対して送信される。送信側とは、テレビジョン放送局などであるが、ここではさらに、放送局から送信されたデータを受信し、記録する記録装置（記録側）も含み、図１（Ａ）は、その記録装置から出力されるデータである場合も含むものとする。
【０００６】
マルチメディア符号化データには、ビデオデータ、文字図形データ、および文字データを、受信側にて合成して表示できるようなデータを含んでいる。すなわち、マルチメディア符号化データは、図１（Ｂ）に示すように、マルチメディアプレーン（テレビジョン受像機などの画像の表示領域）のサイズ（plane_height、plane_width）やビデオの表示サイズ（video_height、video_width）といったサイズに関するデータや、ビデオデータ、文字図形データ、および文字データのそれぞれのデータにより表示されるビデオ、文字図形、および文字の表示位置に関するデータを含むデータである。
【０００７】
受信側では、マルチメディア符号化データを基に、ビデオデータ、文字図形データ、および文字データを、それぞれ処理し、図１（Ｂ）に示したように、それぞれのデータに基づく画像が表示される。
【０００８】
ユーザは、このようにして表示された画面から、例えば、ボタンＡを操作すると、その操作に対応した情報が、ビデオの部分に表示されたりといったサービスや、画面下側に表示されている文字データからビデオの部分に表示されている事柄に関する情報を取得するといったサービスを受けることができる。
【０００９】
【発明が解決しようとする課題】
デジタルテレビジョン放送により放送されたトランスポートストリームのテレビジョンプログラムを、受信側でそのまま記録媒体などに記録すれば、画質や音声の品質を全く劣化させずに記録することが可能である。画質が劣化することを前提とし、限られた容量の記録媒体にできる限り長い時間のプログラムを記録する場合、受信されたビデオストリームを一度デコードした後、再エンコードすることによりビットレートを下げるといった処理が必要となる。
【００１０】
例えば、マルチメディア符号化データが付加されたテレビジョンプログラムのビデオストリームを、ビットレートを下げて記録するために再エンコードするとき、画像をサブサンプリングして画枠を変更することが考えられる。ところが、その際に、再エンコードして得られたビデオストリームとマルチメディア符号化データの関係に不整合が発生する場合があるといった課題があった。その不整合の例について図２を参照して説明する。
【００１１】
図２（Ａ）に示した例では、送信側（記録側）において、再エンコード時に、元のビデオの画枠よりも小さい画枠への変換処理が行われている。その為に、図２（Ｂ）に示したように、受信側（再生側）においては、ビデオの表示サイズや表示位置が変わってしまい、送信側が意図した表示画面（再エンコードする前のデータで表示される表示画面）とは異なった表示画面となってしまうといった課題があった。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、記録側においては、再エンコードしてビデオストリームを記録しても、不整合が発生しないような情報を生成し、その情報も合わせて記録するようにする。また、再生側においては、その情報を参照して再生することにより、画枠が小さくなるなどの不整合が発生しないようにすることを目的とする。
【００１３】
【課題を解決するための手段】
本発明の画像符号化装置は、少なくとも符号化ビデオデータを含む多重化ストリームを入力する入力手段と、前記入力手段により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離手段と、前記分離手段により分離された前記符号化ビデオストリームを復号する復号手段と、前記復号手段により復号されたビデオストリームをフォーマット変換して再符号化する再符号化手段と、前記再符号化手段により再符号化されたビデオストリームを表示する際に参照される付加情報を生成する生成手段と、前記生成手段により生成された前記付加情報を前記多重化ストリームとは別のデータとして符号化する符号化手段と、前記再符号化されたビデオストリーム、および前記付加情報を出力する出力手段とを備える。
【００１５】
前記生成手段により生成された付加情報を、前記再符号化手段により再符号化されたビデオストリームを含む多重化ストリームに多重化する多重化手段をさらに含むようにすることができる。
【００１８】
前記生成手段により生成される付加情報は、最初にビデオデータが生成されたときのオリジナルの画枠の情報と、オリジナルの画面アスペクト比のうち、少なくとも一方の情報を含むようにすることができる。
【００１９】
前記生成手段により生成される付加情報は、最初にビデオデータが生成されたときのオリジナルのビデオフォーマットと、再符号化後のビデオフォーマットの情報を含むようにすることができる。
【００２０】
前記生成手段により生成される付加情報は、最初にビデオデータが生成されたときのオリジナルの画面アスペクト比と、再符号化後の画面アスペクト比の情報を含むようにすることができる。
【００２１】
前記生成手段により生成される付加情報は、再符号化手段によりビデオストリームの画枠が変換されたか否かを示す情報、分離手段により分離された再符号化ビデオストリームが最初にビデオデータが生成されたときのオリジナルの画枠の情報、およびオリジナルの画面アスペクト比のうち、少なくとも１つの情報を含むようにすることができる。
【００２２】
本発明の画像符号化方法は、少なくとも符号化ビデオデータを含む多重化ストリームを入力する入力ステップと、前記入力ステップの処理により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離ステップと、前記分離ステップの処理により分離された前記符号化ビデオストリームを復号する復号ステップと、前記復号ステップの処理により復号されたビデオストリームをフォーマット変換して再符号化する再符号化ステップと、前記再符号化ステップの処理により再符号化されたビデオストリームを表示する際に参照される付加情報を生成する生成ステップと、前記生成ステップの処理により生成された前記付加情報を前記多重化ストリームとは別のデータとして符号化する符号化ステップと、前記再符号化されたビデオストリーム、および前記付加情報を出力する出力ステップとを含む。
【００２４】
前記生成ステップの処理により生成された付加情報を、前記再符号化ステップの処理により再符号化されたビデオストリームを含む多重化ストリームに多重化する多重化ステップをさらに含むようにすることができる。
【００２７】
前記生成ステップの処理により生成される付加情報は、最初にビデオデータが生成されたときのオリジナルの画枠の情報と、オリジナルの画面アスペクト比のうち、少なくとも一方の情報を含むようにすることができる。
【００２８】
前記生成ステップの処理により生成される付加情報は、最初にビデオデータが生成されたときのオリジナルのビデオフォーマットと、再符号化後のビデオフォーマットの情報を含むようにすることができる。
【００２９】
前記生成ステップの処理により生成される付加情報は、最初にビデオデータが生成されたときのオリジナルの画面アスペクト比と、再符号化後の画面アスペクト比の情報を含むようにすることができる。
【００３０】
前記生成ステップの処理により生成される付加情報は、再符号化ステップの処理によりビデオストリームの画枠が変換されたか否かを示す情報、分離ステップの処理により分離された符号化ビデオストリームが最初にビデオデータが生成されたときのオリジナルの画枠の情報、およびオリジナルの画面アスペクト比のうち、少なくとも１つの情報を含むようにすることができる。
【００３１】
本発明の第１の記録媒体のプログラムは、コンピュータに、少なくとも符号化ビデオデータを含む多重化ストリームを入力する入力ステップと、前記入力ステップの処理により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離ステップと、前記分離ステップの処理により分離された前記符号化ビデオストリームを復号する復号ステップと、前記復号ステップの処理により復号されたビデオストリームをフォーマット変換して再符号化する再符号化ステップと、前記再符号化ステップの処理により再符号化されたビデオストリームを表示する際に参照される付加情報を生成する生成ステップと、前記生成ステップの処理により生成された前記付加情報を前記多重化ストリームとは別のデータとして符号化する符号化ステップと、前記再符号化されたビデオストリーム、および前記付加情報を出力する出力ステップとを実行させるためのものである。
【００４１】
本発明の画像復号化装置は、少なくとも符号化ビデオストリームを含む多重化ストリームを入力する入力手段と、前記入力手段により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離手段と、前記分離された前記符号化ビデオストリームを復号化する復号化手段と、前記符号化ビデオストリームを表示する際に参照される付加情報が前記符号化ビデオストリームがフォーマット変換されて再符号化されたものであることを示す場合、前記復号化手段により復号化されて得られたビデオデータを、最初にビデオデータが生成されたときのオリジナルのビデオデータにフォーマット変換を施す処理手段とを備える。
【００４２】
前記付加情報は、前記多重化ストリームとは別のデータとして入力される。
【００４３】
前記付加情報は、前記多重化ストリーム内に多重化されて入力される。
【００４６】
前記付加情報は、前記オリジナルの画枠の情報と、前記オリジナルの画面アスペクト比のうち、少なくとも一方の情報を含むようにすることができる。
【００４７】
前記付加情報は、前記オリジナルのビデオフォーマットと、前記再符号化後のビデオフォーマットの情報を含むようにすることができる。
【００４８】
前記付加情報は、前記オリジナルの画面アスペクト比と、前記再符号化後の画面アスペクト比の情報を含むようにすることができる。
【００４９】
前記付加情報は、前記再符号化によりビデオストリームの画枠が変換されたか否かを示す情報、前記分離手段により分離された前記符号化ビデオストリームが最初にビデオデータが生成されたときの前記オリジナルの画枠の情報、および前記オリジナルの画面アスペクト比のうち、少なくとも１つの情報を含むようにすることができる。
【００５０】
本発明の画像復号化方法は、少なくとも符号化ビデオストリームを含む多重化ストリームを入力する入力ステップと、前記入力ステップの処理により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離ステップと、前記分離された前記符号化ビデオストリームを復号化する復号化ステップと、前記符号化ビデオストリームを表示する際に参照される付加情報が前記符号化ビデオストリームがフォーマット変換されて再符号化されたものであることを示す場合、前記復号化手段により復号化されて得られたビデオデータを、最初にビデオデータが生成されたときのオリジナルのビデオデータにフォーマット変換を施す処理ステップとを含む。
【００５１】
前記付加情報は、前記多重化ストリームとは別のデータとして入力されるようにすることができる。
【００５２】
前記付加情報は、前記多重化ストリーム内に多重化されて入力されるようにすることができる。
【００５５】
前記付加情報は、前記オリジナルの画枠の情報と、前記オリジナルの画面アスペクト比のうち、少なくとも一方の情報を含むようにすることができる。
【００５６】
前記付加情報は、前記オリジナルのビデオフォーマットと、前記再符号化後のビデオフォーマットの情報を含むようにすることができる。
【００５７】
前記付加情報は、前記オリジナルの画面アスペクト比と、前記再符号化後の画面アスペクト比の情報を含むようにすることができる。
【００５８】
前記付加情報は、前記再符号化によりビデオストリームの画枠が変換されたか否かを示す情報、前記分離手段により分離された前記符号化ビデオストリームが最初にビデオデータが生成されたときの前記オリジナルの画枠の情報、および前記オリジナルの画面アスペクト比のうち、少なくとも１つの情報を含むようにすることができる。
【００５９】
本発明の第２の記録媒体のプログラムは、コンピュータに、少なくとも符号化ビデオストリームを含む多重化ストリームを入力する入力ステップと、前記入力ステップの処理により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離ステップと、前記分離された前記符号化ビデオストリームを復号化する復号化ステップと、前記符号化ビデオストリームを表示する際に参照される付加情報が前記符号化ビデオストリームがフォーマット変換されて再符号化されたものであることを示す場合、前記復号化手段により復号化されて得られたビデオデータを、最初にビデオデータが生成されたときのオリジナルのビデオデータにフォーマット変換を施す処理ステップとを実行させるためのものである。
【００６６】
本発明の画像符号化装置、画像符号化方法、および第１の記録媒体のプログラムにおいては、少なくとも符号化ビデオデータを含む多重化ストリームが入力され、入力された多重化ストリームから符号化ビデオストリームが分離され、分離された符号化ビデオストリームが復号され、復号されたビデオストリームがフォーマット変換されて再符号化され、再符号化されたビデオストリームを表示する際に参照される付加情報が生成され、生成された付加情報が多重化ストリームとは別のデータとして符号化され、再符号化されたビデオストリーム、および付加情報が出力される。
【００６８】
本発明の画像復号化装置および画像復号化方法、並びに第２の記録媒体のプログラムにおいては、少なくとも符号化ビデオストリームを含む多重化ストリームが入力され、多重化ストリームから符号化ビデオストリームが分離され、分離された符号化ビデオストリームが復号化され、符号化ビデオストリームを表示する際に参照される付加情報が符号化ビデオストリームがフォーマット変換されて再符号化されたものであることを示す場合、復号化されて得られたビデオデータを、最初にビデオデータが生成されたときのオリジナルのビデオデータにフォーマット変換する処理が施される。
【００７１】
【発明の実施の形態】
以下に、本発明の実施の形態について、図面を参照して説明する。図３は、本発明を適用した記録装置１の一実施の形態の構成を示す図である。アンテナ等（不図示）により受信されたトランスポートストリームは、セレクタ１０に入力される。セレクタ１０には、端子１１から、ユーザから指定される番組番号（チャンネル番号）も入力される。セレクタ１０は、番組番号に基づいて、入力されたトランスポートストリームから、指定された番組を抜き出し、パーシャルトランスポートストリームを出力する。パーシャルトランスポートストリームは、デマルチプレクサ１２と解析部１３に入力される。
【００７２】
デマルチプレクサ１２に入力されたトランスポートストリームは、ビデオストリームと、それ以外のストリーム（オーディオ、静止画、文字図形データ、マルチメディア符号化データなどのデータで構成されるストリーム）に分離される。分離されたビデオストリームは、デコーダ１４に出力される。また、それ以外のストリームは、マルチプレクサ１６に出力される。デマルチプレクサ１２は、ビデオ以外のトランスポートパケットの他に、それらのトランスポートパケットの入力トランスポートストリームの中での出力タイミング情報も、マルチプレクサ１６に出力する。
【００７３】
デコーダ１４は、入力されたビデオストリームに対して、所定のデコード方式、例えば、MPEG２方式に基づきデコード処理を施し、ビデオデータをエンコーダ１５に出力する。また、デコーダ１４は、デコードする際に得られたビデオストリームのストリーム情報を、符号化コントローラ１８に出力する。
【００７４】
一方、解析部１３は、入力されたトランスポートストリームを解析することにより、ビデオ以外のストリームのストリーム情報、例えば、ビットレートなどの情報を取得し、符号化コントローラ１８に出力する。符号化コントローラ１８には、解析部１３から出力されたビデオ以外のストリームのストリーム情報、デコーダ１４から出力されたビデオストリーム情報、および、端子１９からストリームの記録ビットレートが入力される。符号化コントローラ１８は、これらのデータから、エンコーダ１５により行われるビデオデータのエンコードの条件を設定し、その設定された条件（符号化制御情報）をエンコーダ１５と符号化部２０に出力する。
【００７５】
符号化コントローラ１８は、例えば、ストリームの記録ビットレート（記録装置１の動作を制御する図示せぬ制御装置から端子１９を介して入力されるデータ）から、ビデオ以外のストリームのビットレートの合計値（解析部１３から入力されるデータ）を減算した値が、ビデオデータのエンコードに割り当てられるビットレートとし、そのビットレートで最適な画質となるように、ビットレート、画枠などの符号化制御情報を設定し、その設定した符号化制御情報を、エンコーダ１５と符号化部２０に出力する。この符号化制御情報の詳細については、図１５乃至図２０を参照して後述する。
【００７６】
なお、このストリームの記録ビットレートは、記録媒体に固定レートで記録する場合、その固定レートとなり、可変ビットレートで記録する場合、所定時間当たりの平均ビットレートとなる。ただし、この場合の可変ビットレートの最大値は、記録媒体が保証する最大記録ビットレート以下である必要がある。
【００７７】
エンコーダ１５は、デコーダ１４から出力されたビデオデータを符号化コントローラ１８から出力された符号化制御情報に基づいて符号化し（例えば、MPEG２方式に基づき符号化し）、マルチプレクサ１６に出力する。マルチプレクサ１６は、エンコーダ１５からのビデオストリームと、デマルチプレクサ１２からのビデオ以外のトランスポートストリームパケットと、当該ビデオ以外のトランスポートストリームパケットの出現タイミングの情報を入力するが、そのうちの出現タイミングの情報に基づいて、ビデオストリームとビデオ以外のトランスポートストリームパケットを多重化し、トランスポートストリームとして、アライバルタイムスタンプ付加部１７に出力する。
【００７８】
図４は、マルチプレクサ１６が行う、この場合の処理を模式的に表している。図４（Ａ）は、入力されたトランスポートストリームのパケットのタイミングを表している。この図において、灰色で示す部分はビデオパケットを示し、白色で示す部分はビデオ以外のストリームのパケットを示している。図４（Ａ）に示されるように、入力されたトランスポートストリームのパケットは連続しているが、エンコーダ１５により、ビデオデータが再エンコードされることにより、ビデオデータのデータ量が減少する。その結果、ビデオパケットの数が少なくなる。
【００７９】
マルチプレクサ１６は、図４（Ｂ）に示されるように、ビデオ以外のストリームのパケットのタイミングを変更せず、ビデオパケットのタイミングだけを元の状態（図４（Ａ）に示す状態）と異なるタイミングとする。
【００８０】
アライバルタイムスタンプ付加部１７は、図５に示されるように、入力されるトランスポートストリームのトランスポートストリームパケット（図５（Ａ））毎に、アライバルタイムスタンプを含むヘッダ（TP_extra_header）を付加してソースパケット（図５（Ｂ））を生成し、各ソースパケットを連続するように配置して（図５（Ｃ））書き込み部２１に出力する。アライバルタイムスタンプは、トランスポートストリームパケットがトランスポートストリームの中で出現するタイミングを表す情報である。書き込み部２１は、入力される連続したソースパケットからなるソースパケットストリームをファイル化し、記録媒体２２に記録する。なお、記録媒体２２は、どのような媒体のものでも良い。
【００８１】
書き込み部２１には、符号化部２０から出力される情報も入力される。符号化部２０は、符号化コントローラ１８からのビデオ符号化情報に基づいて、マルチメディア表示サブ情報を生成し、書き込み部２１に出力する。書き込み部２１に出力されるマルチメディア表示サブ情報は、ビデオストリームがトランスコードされる（デコーダ１４によりデコードされた後、再び、エンコーダ１５によりエンコードされる）ことにより、画枠サイズが変化したような場合でも、マルチメディアプレーン上でビデオの表示位置や表示サイズを、伝送側が意図した画面（再エンコードしなかった場合に表示されるであろう画面）と同じにするための情報であり、再生時に、マルチメディア符号化データと組み合わされて用いられる情報である。
【００８２】
ここで、具体的にマルチメディア表示サブ情報について説明する。図６に示すように、マルチメディア表示サブ情報は、ミスマッチフラグ（mismatch_MMinfo_flag）、再エンコードフラグ（Re_encoded_flag）、およびフレームサイズ変更フラグ（changd_frame_size_flag）の３つのフラグと、オリジナルの水平方向のサイズ（original_horizontal_size）とオリジナルの垂直方向のサイズ（original_vertical_size）をそれぞれ表す２つのサイズに関するデータ、並びにオリジナルの画面アスペクト比（original_display_aspect_ratio）により構成されている。
【００８３】
ミスマッチフラグは、ビデオとマルチメディア符号化データとの関係に不整合があるか否かを示すフラグである。再エンコードフラグは、記録時にビデオが再エンコードされているかどうかを示すフラグである。フレームサイズ変更フラグは、例えば、再エンコードされたことにより、ビデオの画枠が変更されたか否かを示すフラグである。オリジナルの水平方向のサイズは、再エンコードされる前の水平方向の画枠のサイズである。オリジナルの垂直方向のサイズは、再エンコードされる前の垂直方向の画枠のサイズである。オリジナルの画面アスペクト比は、再エンコードされる前のフレーム画面のアスペクト比を意味する。
【００８４】
なお、上述したマルチメディア表示サブ情報は、一例であり、図６に示した以外の情報を含めるようにしても良いし、また、逆に、図６に示した情報の一部を必要に応じ減らしても良い。
【００８５】
マルチメディア表示サブ情報の別の例を説明する。この例では、マルチメディア表示サブ情報は、図７に示すシンタクスのProgramInfoの中にストアされる。ProgramInfo()のシンタクスの中で、本発明に関係するフィールドについて説明する。
【００８６】
lengthは、このlengthフィールドの直後のバイトからProgramInfo()の最後のバイトまでのバイト数を示す。
【００８７】
num_of_program_sequencesは、AVストリームファイルの中にあるprogram-sequenceの数を示す。AVストリームファイルの中で本フォーマットが規定するところのプログラム内容が一定であるソースパケット列を、program-sequenceと呼ぶ。
【００８８】
SPN_program_sequence_startは、AVストリームファイル上でprogram-sequenceが開始するアドレスを示す。SPN_program_sequence_startは、ソースパケット番号を単位とする大きさであり、AVストリームファイルの最初のソースパケットから、ゼロを初期値としてカウントされる。
【００８９】
program_map_PIDは、そのprogram-sequenceに適用できるPMT(program map table)を持つトランスポートパケットのPIDの値である。
【００９０】
num_of_streams_in_psは、そのprogram-sequenceの中で定義されるエレメンタリーストリームの数を示す。
【００９１】
stream_PIDは、そのprogram-sequenceのprogram_map_PIDが参照するところのPMTの中で定義されているエレメンタリーストリームのに対するPIDの値を示す。
【００９２】
StreamCodingInfo() は、上記stream_PIDで指されるエレメンタリーストリームの情報を示す。
【００９３】
図８は、StreamCodingInfo()のシンタクスを示す。
lengthは、このlengthフィールドの直後のバイトからStreamCodingInfo()の最後のバイトまでのバイト数を示す。
【００９４】
stream_coding_typeは、このStreamCodingInfo()に対応するstream_PIDで指されるエレメンタリーストリームの符号化タイプを示す。値の意味を図９に示す。
【００９５】
stream_coding_typeの値が、0x02の場合、stream_PIDで指されるエレメンタリーストリームがビデオストリームであることを示す。
【００９６】
また、stream_coding_typeの値が、0x0A, 0x0B, 0x0Cまたは0x0Dの場合、stream_PIDで指されるエレメンタリーストリームがマルチメディア符号化データであることを示す。
【００９７】
また、stream_coding_typeの値が、0x06の場合、stream_PIDで指されるエレメンタリーストリームが字幕やテレテキストであることを示す。
【００９８】
video_formatは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームのビデオフォーマットを示す。値の意味を図１０に示す。
【００９９】
480i は、NTSCのスタンダードTV（720画素×480ラインのインタレースフレーム）のビデオ表示である。また、576iは、PALのスタンダードTV（720画素×576ラインのインタレースフレーム）のビデオ表示である。また、480pは、720画素×480ラインのプログレッシブフレームのビデオ表示である。また、1080iは、1920画素×1080ラインのインタレースフレームのビデオ表示である。また、720pは、1280画素×720ラインのプログレッシブフレームのビデオ表示である。
【０１００】
frame_rateは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームのフレームレートを示す。値の意味を図１１に示す。
【０１０１】
display_aspect_ratioは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームのディスプレイ・アスペクト・レシオを示す。値の意味を図１２に示す。
【０１０２】
original_video_format_flagは、このStreamCodingInfo()の中にoriginal_video_formatとoriginal_display_aspect_ratioが存在するかを示すフラグである。
【０１０３】
original_video_formatは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームが符号化される前のオリジナルのビデオフォーマットである。値の意味は、図１０と同じである。
【０１０４】
original_display_aspect_ratioは、このStreamCodingInfo()に対応するstream_PIDで指されるビデオストリームが符号化される前のオリジナルのディスプレイ・アスペクト・レシオである。値の意味は、図１２と同じである。
【０１０５】
ビデオストリームと共にマルチメディアデータストリーム（BMLストリーム, 字幕など）が多重化されているトランスポートストリームをトランス・コーディングする場合において、ビデオストリームは再エンコードされることによって、そのビデオフォーマットが変化し（例えば、1080iから480iへ変化する）、一方、マルチメディアデータストリームはオリジナルのストリームのままの内容を保つ場合を考える。この時、新しいビデオストリームとマルチメディアデータストリームの間に情報のミスマッチが生じる場合がある。例えば、マルチメディアデータストリームの表示に関するパラメータは、オリジナルのビデオストリームのビデオフォーマットを想定して決められているにもかかわらず、ビデオストリームの再エンコードによって、そのビデオフォーマットが変化した場合である。
【０１０６】
オリジナルのビデオストリームのビデオフォーマットは、video_formatと display_aspect_ratioにより示される。また、再エンコード後のビデオストリームのビデオフォーマットは、original_video_formatとoriginal_display_aspect_ratioにより示される。
【０１０７】
video_formatとoriginal_video_formatの値が違い、または／および、display_aspect_ratioとoriginal_display_aspect_ratioの値が違う場合、記録時にビデオの再エンコードによって、ビデオフォーマットが変更されたことを示す。
【０１０８】
また、stream_coding_typeがマルチメディア符号化データや字幕を示すstream_PIDがProgramInfoに含まれる場合、AVストリームファイル（トランスポートストリーム）の中にマルチメディアデータが多重化されていることを示す。
【０１０９】
そして、ProgramInfoが、記録時にビデオの再エンコードによって、ビデオフォーマットが変更されたことを示し、かつ、AVストリームファイルの中にマルチメディアデータが多重化されていることが示す時、AVストリームファイルのビデオストリーム（再エンコードしたもの）とマルチメディアデータ（オリジナルのもの）との間に表示のミスマッチがあると判断する。
【０１１０】
このような場合、original_video_formatとoriginal_display_aspect_ratioの、オリジナルのビデオストリームに関する情報が有効となる。再生装置は、上記の新しいビデオストリームとマルチメディアデータストリームから次のようにして、表示画像をつくる。
・ビデオストリームは、original_video_formatとoriginal_display_aspect_ratioで示されるビデオフォーマットにアップ・サンプリングされる。
・そのアップ・サンプリングされた画像とマルチメディアデータストリームが合成されて、正しい表示画像をつくる。
【０１１１】
符号化部２０により作成され、出力されたマルチメディア表示サブ情報は、書き込み部２１により記録媒体２２に記録されるが、アライバルタイムスタンプ付加部１７から出力されるソースパケットストリームファイルとは別のファイルとして記録される。ソースパケットストリームファイルとは別のファイルとしてマルチメディア表示サブ情報が書き込み部２１により記録媒体２２に記録される場合、符号化部２０からは、ファイル化されたマルチメディア表示サブ情報が出力される。
【０１１２】
図１３に、AVストリームとマルチメディア表示サブ情報の符号化処理のフローチャートを示す。
【０１１３】
ステップ５０で、記録装置１にマルチメディア符号化データを含む多重化ストリームの入力する。
【０１１４】
ステップ５１で、デマルチプレクサ１２が多重化ストリームからビデオストリームを分離する。
【０１１５】
ステップ５２で、エンコーダ１５がデコーダ１４でデコードされたビデオストリームを再エンコードする。
【０１１６】
ステップ５３で、マルチプレクサ１６が上記ビデオストリームとマルチメディア符号化データを多重化して、多重化ストリームを作成する。
【０１１７】
ステップ５４で、符号化部２０がマルチメディア表示サブ情報の作成する。
【０１１８】
上述した説明では、符号化コントローラ１８は、入力されたデータを基にビットレートや画枠などの情報を含む符号化制御情報を生成したが、他の符号化制御情報として、次に示すような情報を生成しても良い。すなわち、解析部１３により、入力されたトランスポートストリームを解析した結果、入力トランスポートストリームにマルチメディア符号化データが含まれていると解析された場合、符号化コントローラ１８は、エンコーダ１５によりエンコードが行われる際、元のビデオの画枠と同じサイズの画枠（再エンコードされる前の画枠）で再エンコードするよう指示する符号化制御情報を生成し、エンコーダ１５に対して出力するようにしても良い。
【０１１９】
そのようにした場合、エンコーダ１５は、入力された符号化制御情報に基づいてデコーダ１４からのビデオデータを元のビデオストリームの画枠と同じ値で再エンコードする。このような符号化制御情報を生成し、その符号化制御情報に基づく再エンコードを行う場合、再エンコードにより画枠が変更されることがないため、再エンコードして得られるビデオストリームと、マルチメディア符号化データとの関係に不整合が発生するようなことを防ぐことができる。
【０１２０】
または、符号化コントローラ１８が生成する符号化制御情報として、次に示すような情報を生成しても良い。すなわち、解析部１３により、入力されたトランスポートストリームを解析した結果、入力トランスポートストリームにマルチメディア符号化データが含まれていると解析された場合、符号化コントローラ１８は、エンコーダ１５によりエンコードが行われる際、元のビデオのビデオフォーマット（図１０で示すもの）と画面アスペクト比（図１２で示すもの）と同じ条件で再エンコードするよう指示する符号化制御情報を生成し、エンコーダ１５に対して出力するようにしても良い。
【０１２１】
そのようにした場合、エンコーダ１５は、入力された符号化制御情報に基づいてデコーダ１４からのビデオデータを元のビデオのビデオフォーマット（図１０で示すもの）と画面アスペクト比（図１２で示すもの）と同じ条件で再エンコードする。このような符号化制御情報を生成し、その符号化制御情報に基づく再エンコードを行う場合、再エンコードによりビデオフォーマットおよび画面アスペクト比が変更されることがないため、再エンコードして得られるビデオストリームと、マルチメディア符号化データとの関係に不整合が発生するようなことを防ぐことができる。
【０１２２】
図１４に、マルチメディア符号化データを含む多重化ストリームのビデオの再エンコードに制限をかける場合の符号化処理のフローチャートを示す。
【０１２３】
ステップ７０で、記録装置１へ多重化ストリームを入力する。
【０１２４】
ステップ７０で、デマルチプレクサ１２が多重化ストリームからビデオストリームを分離する。
【０１２５】
ステップ７０で、解析部１３はマルチメディア符号化データが含まれるかを調べる。マルチメディア符号化データが含まれる場合、ビデオストリームをビデオの表示フォーマットを変えないように再エンコードするように符号化制御情報をエンコーダ１５へ指示する。エンコーダ１５はその制御情報に基づいて、ビデオストリームを再エンコードする。
【０１２６】
ステップ７０で、マルチプレクサ１６は上記ビデオストリームを含む多重化ストリームを作成する。
【０１２７】
次に、図１５乃至図２０を参照して、符号化制御情報に基づく制御の例について説明する。
【０１２８】
いま、例えば、図１５に示されるように、セレクタ１０に入力されるトランスポートストリームは、一定のビットレートＲIを有しているものとする。ビデオストリームとビデオ以外のストリームは、それぞれ、可変ビットレートで符号化されている。図１５の例の場合、単位時間（例えば、GOP）Ａにおいては、ビデオストリームのビットレートはＲVAとされ、ビデオ以外の単位時間のビットレートはＲOAとされている。そして、単位時間Ｂにおいては、ビデオストリームのビットレートがＲVBとされ、ビデオ以外のストリームのビットレートがＲOBとされ、単位時間Ｃにおいては、ビデオストリームのビットレートがＲVCとされ、ビデオ以外のストリームのビットレートがＲOCとされている。
【０１２９】
いま、この図１５に示されているようなトランスポートストリームを再エンコードし、図１６に示されるように、固定のビットレートＳ（Ｓ＜ＲI）のトランスポートストリームとしてマルチプレクサ１６から出力するようにする場合、符号化コントローラ１８は、図１７のフローチャートに示される処理を実行する。
【０１３０】
最初に、ステップＳ１において、符号化コントローラ１８は、端子１９から、図示せぬ制御装置より入力される制御信号に基づいて、マルチプレクサ１６より出力するトランスポートストリームのビットレート（記録レート）をＳに設定する。次に、ステップＳ２において、符号化コントローラ１８は、ビデオ以外に記録するストリームを決定し、それらのストリームのビットレートの合計の最大値Ｄを計算する。
【０１３１】
最大値Ｄは、入力トランスポートストリームのストリーム仕様から判断される。例えば、ビデオ以外に、２本のオーディオストリームを記録する場合、日本のディジタルBS放送のストリーム仕様では、オーディオストリーム１本のビットレートの最大値は３８４Kbpsであるから、最大値Ｄは、３８４×２Kbpsとなる。
【０１３２】
次に、ステップＳ３において、符号化コントローラ１８は、ステップＳ１において設定された記録のためのビットレートＳから、ステップＳ２で計算された最大値Ｄを減算して得た値Ｃ（＝Ｓ−Ｄ）を、ビデオデータの再エンコードの割り当てビットレートとする。そして、ステップＳ４において、符号化コントローラ１８は、デコーダ１４より出力されるビデオストリーム情報から、ビデオストリームのビットレート、画枠といった符号化情報を解析する。
【０１３３】
次に、ステップＳ５に進み、符号化コントローラ１８は、ステップＳ３で計算された値Ｃと、ステップＳ４で解析されたビデオストリームの符号化情報に基づいて、最適な画質になるようにビデオの符号化パラメータ（ビデオ符号化制御情報）を決定する。
【０１３４】
例えば、図１６に示す例においては、値Ｓが、値ＲIの１／２とされている。いまの場合、ビデオ以外のストリームのビットレートは最大値Ｄとされ、この最大値Ｄが、そのまま、再符号化後の多重化ストリームのビデオ以外のストリームのビットレートとされる。
【０１３５】
そして、（Ｓ−Ｄ）の範囲内において最適な画質になるように、ビデオの符号化パラメータが決定される。画枠が制御される場合、例えば、７２０×４８０画素の画枠の水平方向を１／２にサブサンプリングして、３６０×４８０画素とされる。決定された符号化パラメータ（ビットレートや画角など）は、ビデオ符号化制御情報としてエンコーダ１５に供給される。
【０１３６】
そこで、エンコーダ１５は、ステップＳ６において、符号化コントローラ１８より供給されたビデオ符号化制御情報に基づいて、いま、処理対象とされている単位時間（いまの場合、単位時間Ａ）のビデオデータを再エンコードする。図１６の例においては、単位時間Ａでは、実際には、ビットレートＲOAは、最大値Ｄより小さいが、最大値Ｄは固定値とされるので、ビデオの割り当てビットレートは（Ｓ−Ｄ）となる。最大値Ｄは固定とされるため、ビデオの符号化に使えない無駄な部分Ｒsaが発生するが、そこには、スタッフィングビットが挿入される。
【０１３７】
次に、ステップＳ７に進み、符号化コントローラ１８は、再エンコードするストリームが終了したか否かを判定し、まだストリームが終了していない場合には、ステップＳ４に戻り、それ以降の処理を繰り返し実行する。
【０１３８】
そして、ステップＳ７において、符号化するストリームが終了したと判定された場合、処理は終了される。
【０１３９】
以上のようにして、図１６の例においては、単位時間Ｂにおいても、ビデオ以外のストリームのビットレートはＤとされ、ビデオストリームの割り当てビットレートは、固定ビットレートなので、Ｓ−Ｄとされる。そして、値Ｒsb（＝Ｓ−（Ｓ−Ｄ）−ＲOB＝Ｄ−ＲOB）には、スタッフィングビットが挿入される。
【０１４０】
単位時間Ｃにおいても、ビデオ以外のストリームのビットレートは、Ｄとされ、ビデオストリームの割り当てビットレートは、Ｓ−Ｄとされる。なお、この単位時間Ｃにおいては、Ｄ＝ＲOCであるので、スタッフィングビットは存在しない。
【０１４１】
このように、図１６の例においては、ビデオストリームが固定ビットレートで符号化される。
【０１４２】
図１８は、ビデオの再エンコードの割り当てビットレートを可変ビットレートとした場合の処理例を表している。最初に、ステップＳ２１において、符号化コントローラ１８は、端子１９からの入力に基づいて、記録レートＳを設定する。
次に、ステップＳ２２において、符号化コントローラ１８は、デコーダ１４からのビデオストリーム情報に基づいて、ビデオストリームの符号化情報を解析する。以上のステップＳ２１とステップＳ２２の処理は、図１７のステップＳ１とステップＳ４の処理と同様の処理である。
【０１４３】
次に、ステップＳ２３において、符号化コントローラ１８は、解析部１３の出力からビデオ以外のストリームの時間単位毎の合計ビットレートＢを計算する。
【０１４４】
次に、ステップＳ２４に進み、符号化コントローラ１８は、ステップＳ１で設定した値Ｓから、ステップＳ２３の処理で計算した値Ｂを減算して得た値Ｃ（＝Ｓ−Ｂ）をビデオの再エンコード割り当てビットレートとする。
【０１４５】
さらに、ステップＳ２５において、符号化コントローラ１８は、ステップＳ２４において得られた値Ｃと、ステップＳ２２の処理で得られたビデオストリームの符号化情報の解析結果に基づいて、最適な画質になるように、ビデオの符号化パラメータを決定する。決定された符号化パラメータは、エンコーダ１５に出力される。
【０１４６】
そして、ステップＳ２６において、エンコーダ１５は、ステップＳ２５の処理で決定された符号化パラメータに基づいて、現在の単位時間のビデオデータを再エンコードする。これにより、例えば、図１９に示されるように、ビデオ以外の単位時間のビットレートとして、Ｒoa（＝ＲOA）が確保された後、（Ｓ−Ｒoa）で規定されるビットレートＲvaにビデオストリームのビットレートが設定される。
【０１４７】
ステップＳ２７において、符号化コントローラ１８は、ストリームが終了したか否かを判定し、終了していない場合にはステップＳ２２に戻り、それ以降の処理を繰り返し実行する。ステップＳ２７において、ストリームが終了したと判定された場合、処理は終了される。
【０１４８】
このようにして、単位時間Ｂにおいては、ビデオ以外のストリームのビットレートＲob（＝Ｓ−ＲOB）が確保された後、残りのＲvb（＝Ｓ−Ｒob）がビデオストリームのビットレートとされる。単位時間Ｃにおいては、ビデオ以外のストリームのビットレートＲocを除くＲvc（＝Ｓ−ＲOC）にビデオストリームのビットレートが設定される。
【０１４９】
このように、この処理例においては、ビデオストリームのビットレートが可変ビットレートされ、スタッフィングビットが必要なくなるか、その量を少なくすることができ、より効率的にビデオストリームを符号化することができる。
【０１５０】
なお、以上においては、入力トランスポートストリームが固定ビットレートである場合を例としたが、例えば、図２０に示されるように、入力トランスポートストリームが可変ビットレートである場合にも、本発明を適用することが可能である。
【０１５１】
以上のようにして、必要に応じて、より低いビットレートで、記録媒体２２に、より長時間のコンテンツに対応するトランスポートストリームを記録することが可能となる。
【０１５２】
そして、オーディオデータ、静止画／文字図形データ、マルチメディア符号化データといった、ビデオ以外のデータの質が著しく劣化することを防止することができる。ビデオ以外のこれらのデータは、基本的に、ビデオデータに比べて、そのデータ量が少ないため、ビデオデータと同じ割合でビットレートを低下させると、相対的にビデオ以外のデータに対する影響は、ビデオデータに対する影響より大きくなるが、このような影響が出るのを防止することができる。
【０１５３】
次に、記録媒体２２に記録されたソースパケットストリームファイルの再生について説明する。図２１は、本発明を適用した再生装置の一実施の形態の構成を示す図である。記録媒体２２に記録されているソースパケットストリームファイルは、読み出し部３１により読み出される。読み出し部３１は、ソースパケットストリームとは別ファイルとして記録媒体２２に記録されているマルチメディア表示サブ情報も読み出す。
【０１５４】
読み出し部３１により読み出されたソースパケットストリームは、アライバルタイムスタンプ分離部３２に、マルチメディア表示サブ情報は、合成部３６に、それぞれ出力される。アライバルタイムスタンプ分離部３２は、基準クロックを内蔵しており、その基準クロックと、入力されたソースパケットストリームのソースパケットに付加されているアライバルタイムスタンプの値を比較し、両方の値が等しくなったときに、値が等しくなったアライバルタイムスタンプをもつソースパケットから、そのアライバルタイムスタンプを取り除き、トランスポートストリームパケットとして、デマルチプレクサ３３に出力する。
【０１５５】
デマルチプレクサ３３は、入力されたトランスポートストリームをビデオオーディオストリーム、マルチメディア符号化データ、および、文字図形／文字／静止画などのデータのストリームに分離する。分離されたデータの内、ビデオオーディオストリームは、AVデコーダ３４に、マルチメディア符号化データは、合成部３６に、文字図形／文字／静止画などのデータのストリームは、文字図形／静止画デコーダ３５に、それぞれ出力される。
【０１５６】
AVデコーダ３４は、入力されたビデオオーディオストリームをビデオデータとオーディオデータに分離し、それぞれをデコードした後、オーディオデータを図示されていないオーディオ再生装置に、ビデオデータを合成部３６に、それぞれ出力する。文字図形／静止画デコーダ３５は、入力された文字図形、文字、静止画などのデータのストリームをデコードし、デコードされた文字図形データ、文字データ、静止画データなどを合成部３６に出力する。
【０１５７】
合成部３６には、AVデコーダ３４からのビデオデータ、デマルチプレクサ３３から出力されたマルチメディア符号化データ、文字図形／静止画デコーダ３５から出力された文字図形／文字／静止画などのデータ、および読み出し部３１により読み出されたマルチメディア表示サブ情報が入力される。合成部３６は、入力されたマルチメディア表示サブ情報のミスマッチフラグ（図６）を検査することにより、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じているか否かを判断する。
【０１５８】
または、合成部３６は、図８のvideo_formatとoriginal_video_formatの値が違い、または／および、display_aspect_ratioとoriginal_display_aspect_ratioの値が違う場合、記録時にビデオの再エンコードによって、ビデオフォーマットが変更されたことを判断し、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていることを判断する。video_formatとoriginal_video_formatの値が同じであり、かつ、display_aspect_ratioとoriginal_display_aspect_ratioの値が同じである場合、入力ビデオ信号とマルチメディア符号化データとの関係にミスマッチはないと判断する。
【０１５９】
入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていることを示している場合、合成部３６はさらに、マルチメディア表示サブ情報のオリジナルの水平方向のサイズとオリジナルの垂直方向のサイズを参照するか、または、original_video_formatとoriginal_display_aspect_ratioを参照する。そして、入力されたビデオ信号を、その参照したサイズのフレームで表示されるようにスケール変換する。そして、マルチメディア符号化データに基づいて、スケール変換されたビデオ信号と他の文字図形データなどをマルチメディアプレーン上に合成したビデオ信号を、表示デバイスとしてのテレビジョン受像機（不図示）などに出力する。
【０１６０】
一方、入力ビデオ信号とマルチメディア符号化データとの関係に不整合が生じていないということを示している場合、合成部３６は、入力ビデオ信号のスケールを変更することなしに、他のデータとマルチメディアプレーン上に合成し、出力する。
【０１６１】
このように、マルチメディア表示サブ情報を記録時に記録し、再生時に用いることにより、送信側が意図した画面が受信側で表示される。図２２を参照して説明するに、送信側（記録側）で、再エンコードされたために、元のビデオの画枠よりも小さめの画枠に変更されてしまったとしても、マルチメディア表示サブ情報として、そのことを記録しておき、再生時に、その記録されたマルチメディア表示サブ情報を参照することにより、受信側（再生側）においては、ビデオと他のデータに不整合が生じることなく再エンコードしなかった場合に得られる画面が得られる。
【０１６２】
図２４にマルチメディア表示サブ情報を使用するAVストリームの再生処理のフローチャートを示す。
【０１６３】
ステップ６０で、マルチメディア符号化データを含む多重化ストリームを記録媒体から読み出し再生装置に入力する。
【０１６４】
ステップ６１で、マルチメディア表示サブ情報の入力する。この情報は、図２１の再生装置の場合は、記録媒体から読み出され、図２５の再生装置の場合は、多重化ストリームから分離する。
【０１６５】
ステップ６２で、多重化ストリームからビデオストリームを分離する。
【０１６６】
ステップ６３で、ビデオストリームをデコードする。
【０１６７】
ステップ６４で、ビデオとマルチメディア符号化データの間に表示のミスマッチがある場合、合成部３６はビデオをマルチメディア表示サブ情報に基づいてスケール変換処理する。
【０１６８】
ステップ６５で、合成部３６は上記処理した画像とマルチメディアデータを合成して表示画像を作成する。
【０１６９】
上述したように、マルチメディア表示サブ情報は、文字図形データやビデオ信号を含むソースパケットストリームファイルとは別のファイルとして記録媒体２２に記録するようにしても良いが、ソースパケットストリームファイルに埋め込んで記録媒体２２に記録するようにしても良い。ソースパケットストリームファイルにマルチメディア表示サブ情報を埋め込んで記録するようにした場合の記録装置１の構成を図２３に示す。
【０１７０】
図２３に示した記録装置１の構成を、図３に示した記録装置１の構成と比較するに、図２３に示した記録装置１では、符号化部２０から出力されたマルチメディア表示サブ情報は、マルチプレクサ１６に出力されるようになっている。マルチプレクサ１６では、入力されたマルチメディア表示サブ情報をトランスポートパケットを作成してソースパケットストリームファイルに埋め込み、アライバルタイムスタンプ付加部１７に出力する。マルチメディア表示サブ情報をトランスポートパケットとしてソースパケットストリームファイルに埋め込むのではなく、MPEGビデオストリームのユーザデータ領域に書き込むようにしても良い。
【０１７１】
なお、本実施の形態においては、ビデオデータを再エンコードする方法は、このような方法に限らず、入力されたビデオストリームをDCT領域上で変換して画枠などの符号化パラメータを変換するようにしても良い。
【０１７２】
このようにしてソースパケットストリームファイルにマルチメディア表示サブ情報を埋め込み、記録媒体２２に記録するようにした場合の再生装置３０の構成を図２５に示す。図２５に示した再生装置３０の構成を、図２１に示した再生装置３０の構成と比較するに、図２５に示した再生装置３０の構成では、読み出し部３１により読み出されるのは、ソースパケットストリームだけである。そして、読み出し部３１により読み出されたソースパケットストリームはアライバルタイムスタンプ分離部３２を介してデマルチプレクサ３３に入力される。
【０１７３】
デマルチプレクサ３３は、入力されたソースパケットストリームファイルから、マルチメディア表示サブ情報を取り出し、合成部３６に出力する。その他の構成は図５における場合と同様である。
【０１７４】
このように、ソースパケットストリームファイルにマルチメディア表示サブ情報を含めて記憶させるようにした場合も、伝送側が意図したビデオの画枠のサイズや表示位置が、受信側において得られるようになる。
【０１７５】
なお、本実施の形態においては、トランスポートストリームの場合を説明したが、本発明は、これに限らず、プログラムストリームなどの多重化ストリームなどにも適用することが可能である。
【０１７６】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、記録装置１（図示は省略するが、再生装置３０も同様である）は、図２６に示されるようなパーソナルコンピュータにより構成される。
【０１７７】
図２６において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記憶されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７８】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０１７９】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、ネットワークを介しての通信処理を行う。
【０１８０】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク１２１、光ディスク１２２、光磁気ディスク１２３、或いは半導体メモリ１２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０１８１】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１８２】
この記録媒体は、図２６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フロッピディスクを含む）、光ディスク１２２（CD-ROM（Compact Disk -Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク１２３（MD（Mini-Disk）を含む）、若しくは半導体メモリ１２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM１０２や記憶部１０８が含まれるハードディスクなどで構成される。
【０１８３】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８４】
【発明の効果】
以上の如く本発明の画像符号化装置、画像符号化方法、および第１の記録媒体のプログラムによれば、ビデオストリームを再符号化した際の不整合を、再生側において防ぐことができる。
【０１８７】
また、本発明の画像復号化装置、画像復号化方法、および第２の記録媒体のプログラムによれば、ビデオストリームを再符号化した際に不整合が生じるようなことを防ぐことができる。
【図面の簡単な説明】
【図１】マルチメディア符号化情報による表示画面について説明する図である。
【図２】 再エンコードされたときに生じる不整合について説明する図である。
【図３】本発明を適用した記録装置の一実施の形態の構成を示す図である。
【図４】図３のマルチプレクサの動作を説明する図である。
【図５】図３のアライバルタイムスタンプ付加部の処理を説明する図である。
【図６】マルチメディア表示サブ情報について説明する図である。
【図７】 ProgramInfo()のシンタクスの別例を示す図である。
【図８】 StreamCodingInfo()のシンタクスを示す図である。
【図９】 stream_coding_typeの意味を示す図である。
【図１０】 video_formatの意味を示す図である。
【図１１】 frame_rateの意味を示す図である。
【図１２】 display_aspect_ratioの意味を示す図である。
【図１３】 AVストリームとマルチメディア表示サブ情報の符号化処理を説明するフローチャートである。
【図１４】マルチメディア符号化データを含む多重化ストリームのビデオの再エンコードに制限をかける場合の符号化処理を説明するフローチャートである。
【図１５】入力トランスポートストリームを説明する図である。
【図１６】図１５のビデオストリームを再エンコードした後のトランスポートストリームの例を示す図である。
【図１７】図３の記録装置における記録レートの制御処理を説明するフローチャートである。
【図１８】図３の記録装置における他の記録レートの制御処理を説明するフローチャートである。
【図１９】ビデオストリームを再エンコードした後のトランスポートストリームの他の例を示す図である。
【図２０】入力トランスポートストリームの他の例を示す図である。
【図２１】本発明を適用した再生装置の一実施の形態の構成を示す図である。
【図２２】マルチメディア表示サブ情報を追加した場合の表示画面について説明する図である。
【図２３】本発明を適用した記録装置の他の構成を示す図である。
【図２４】 4‐マルチメディア表示サブ情報を使用するAVストリームの再生処理を説明するフローチャートである。
【図２５】本発明を適用した再生装置の他の構成を示す図である。
【図２６】媒体を説明する図である。
【符号の説明】
１ 記録装置， １１端子， １２ デマルチプレクサ， １３ 解析部， １４ デコーダ， １５ エンコーダ， １６ マルチプレクサ， １７ アライバルタイムスタンプ付加部， １８ 符号化コントローラ， １９ 端子， ２０ 符号化部， ２１ 書き込み部， ２２ 記録媒体， ３０ 再生装置，３１ 読み出し部， ３２ アライバルタイムスタンプ分離部， ３３ デマルチプレクサ， ３４ AVデコーダ， ３５ 文字図形／静止画デコーダ， ３６ 合成部
Claims (28)
- 少なくとも符号化ビデオデータを含む多重化ストリームを入力する入力手段と、
前記入力手段により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離手段と、
前記分離手段により分離された前記符号化ビデオストリームを復号する復号手段と、
前記復号手段により復号されたビデオストリームをフォーマット変換して再符号化する再符号化手段と、
前記再符号化手段により再符号化されたビデオストリームを表示する際に参照される付加情報を生成する生成手段と、
前記生成手段により生成された前記付加情報を前記多重化ストリームとは別のデータとして符号化する符号化手段と、
前記再符号化されたビデオストリーム、および前記付加情報を出力する出力手段と
を備える画像符号化装置。 - 前記生成手段により生成された前記付加情報を、前記再符号化手段により再符号化されたビデオストリームを含む多重化ストリームに多重化する多重化手段を
さらに含む請求項１に記載の画像符号化装置。 - 前記生成手段により生成される前記付加情報は、最初にビデオデータが生成されたときのオリジナルの画枠の情報と、前記オリジナルの画面アスペクト比のうち、少なくとも一方の情報を含む
請求項１に記載の画像符号化装置。 - 前記生成手段により生成される前記付加情報は、最初にビデオデータが生成されたときのオリジナルのビデオフォーマットと、前記再符号化後のビデオフォーマットの情報を含む
請求項１に記載の画像符号化装置。 - 前記生成手段により生成される前記付加情報は、最初にビデオデータが生成されたときのオリジナルの画面アスペクト比と、前記再符号化後の画面アスペクト比の情報を含む
請求項１に記載の画像符号化装置。 - 前記生成手段により生成される前記付加情報は、前記再符号化手段によりビデオストリームの画枠が変換されたか否かを示す情報、前記分離手段により分離された前記符号化ビデオストリームが最初にビデオデータが生成されたときのオリジナルの画枠の情報、および前記オリジナルの画面アスペクト比のうち、少なくとも１つの情報を含む
請求項１に記載の画像符号化装置。 - 少なくとも符号化ビデオデータを含む多重化ストリームを入力する入力ステップと、
前記入力ステップの処理により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離ステップと、
前記分離ステップの処理により分離された前記符号化ビデオストリームを復号する復号ステップと、
前記復号ステップの処理により復号されたビデオストリームをフォーマット変換して再符号化する再符号化ステップと、
前記再符号化ステップの処理により再符号化されたビデオストリームを表示する際に参照される付加情報を生成する生成ステップと、
前記生成ステップの処理により生成された前記付加情報を前記多重化ストリームとは別のデータとして符号化する符号化ステップと、
前記再符号化されたビデオストリーム、および前記付加情報を出力する出力ステップと
を含む画像符号化方法。 - 前記生成ステップの処理により生成された前記付加情報を、前記再符号化ステップの処理により再符号化されたビデオストリームを含む多重化ストリームに多重化する多重化ステップを
さらに含む請求項７に記載の画像符号化方法。 - 前記生成ステップの処理により生成される前記付加情報は、最初にビデオデータが生成されたときのオリジナルの画枠の情報と、前記オリジナルの画面アスペクト比のうち、少なくとも一方の情報を含む
請求項７に記載の画像符号化方法。 - 前記生成ステップの処理により生成される前記付加情報は、最初にビデオデータが生成されたときのオリジナルのビデオフォーマットと、前記再符号化後のビデオフォーマットの情報を含む
請求項７に記載の画像符号化方法。 - 前記生成ステップの処理により生成される前記付加情報は、最初にビデオデータが生成されたときのオリジナルの画面アスペクト比と、前記再符号化後の画面アスペクト比の情報を含む
請求項７に記載の画像符号化方法。 - 前記生成ステップの処理により生成される前記付加情報は、前記再符号化ステップの処理によりビデオストリームの画枠が変換されたか否かを示す情報、前記分離ステップの処理により分離された前記符号化ビデオストリームが最初にビデオデータが生成されたときのオリジナルの画枠の情報、および前記オリジナルの画面アスペクト比のうち、少なくとも１つの情報を含む
請求項７に記載の画像符号化方法。 - コンピュータに、
少なくとも符号化ビデオデータを含む多重化ストリームを入力する入力ステップと、
前記入力ステップの処理により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離ステップと、
前記分離ステップの処理により分離された前記符号化ビデオストリームを復号する復号ステップと、
前記復号ステップの処理により復号されたビデオストリームをフォーマット変換して再符号化する再符号化ステップと、
前記再符号化ステップの処理により再符号化されたビデオストリームを表示する際に参照される付加情報を生成する生成ステップと、
前記生成ステップの処理により生成された前記付加情報を前記多重化ストリームとは別のデータとして符号化する符号化ステップと、
前記再符号化されたビデオストリーム、および前記付加情報を出力する出力ステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 少なくとも符号化ビデオストリームを含む多重化ストリームを入力する入力手段と、
前記入力手段により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離手段と、
前記分離された前記符号化ビデオストリームを復号化する復号化手段と、
前記符号化ビデオストリームを表示する際に参照される付加情報が前記符号化ビデオストリームがフォーマット変換されて再符号化されたものであることを示す場合、前記復号化手段により復号化されて得られたビデオデータを、最初にビデオデータが生成されたときのオリジナルのビデオデータにフォーマット変換を施す処理手段と
を備える画像復号化装置。 - 前記付加情報は、前記多重化ストリームとは別のデータとして入力される
請求項１４に記載の画像復号化装置。 - 前記付加情報は、前記多重化ストリーム内に多重化されて入力される
請求項１４に記載の画像復号化装置。 - 前記付加情報は、前記オリジナルの画枠の情報と、前記オリジナルの画面アスペクト比のうち、少なくとも一方の情報を含む
請求項１４に記載の画像復号化装置。 - 前記付加情報は、前記オリジナルのビデオフォーマットと、前記再符号化後のビデオフォーマットの情報を含む
請求項１４に記載の画像復号化装置。 - 前記付加情報は、前記オリジナルの画面アスペクト比と、前記再符号化後の画面アスペクト比の情報を含む
請求項１４に記載の画像復号化装置。 - 前記付加情報は、前記再符号化によりビデオストリームの画枠が変換されたか否かを示す情報、前記分離手段により分離された前記符号化ビデオストリームが最初にビデオデータが生成されたときの前記オリジナルの画枠の情報、および前記オリジナルの画面アスペクト比のうち、少なくとも１つの情報を含む
請求項１４に記載の画像復号化装置。 - 少なくとも符号化ビデオストリームを含む多重化ストリームを入力する入力ステップと、
前記入力ステップの処理により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離ステップと、
前記分離された前記符号化ビデオストリームを復号化する復号化ステップと、
前記符号化ビデオストリームを表示する際に参照される付加情報が前記符号化ビデオストリームがフォーマット変換されて再符号化されたものであることを示す場合、前記復号化手段により復号化されて得られたビデオデータを、最初にビデオデータが生成されたときのオリジナルのビデオデータにフォーマット変換を施す処理ステップと
を含む画像復号化方法。 - 前記付加情報は、前記多重化ストリームとは別のデータとして入力される
請求項２１に記載の画像復号化方法。 - 前記付加情報は、前記多重化ストリーム内に多重化されて入力される
請求項２１に記載の画像復号化方法。 - 前記付加情報は、前記オリジナルの画枠の情報と、前記オリジナルの画面アスペクト比のうち、少なくとも一方の情報を含む
請求項２１に記載の画像復号化方法。 - 前記付加情報は、前記オリジナルのビデオフォーマットと、前記再符号化後のビデオフォーマットの情報を含む
請求項２１に記載の画像復号化方法。 - 前記付加情報は、前記オリジナルの画面アスペクト比と、前記再符号化後の画面アスペクト比の情報を含む
請求項２１に記載の画像復号化方法。 - 前記付加情報は、前記再符号化によりビデオストリームの画枠が変換されたか否かを示す情報、前記分離手段により分離された前記符号化ビデオストリームが最初にビデオデータが生成されたときの前記オリジナルの画枠の情報、および前記オリジナルの画面アスペクト比のうち、少なくとも１つの情報を含む
請求項２１に記載の画像復号化方法。 - コンピュータに、
少なくとも符号化ビデオストリームを含む多重化ストリームを入力する入力ステップと、
前記入力ステップの処理により入力された前記多重化ストリームから前記符号化ビデオストリームを分離する分離ステップと、
前記分離された前記符号化ビデオストリームを復号化する復号化ステップと、
前記符号化ビデオストリームを表示する際に参照される付加情報が前記符号化ビデオストリームがフォーマット変換されて再符号化されたものであることを示す場合、前記復号化手段により復号化されて得られたビデオデータを、最初にビデオデータが生成されたときのオリジナルのビデオデータにフォーマット変換を施す処理ステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001136505A JP4765192B2 (ja) | 2000-06-02 | 2001-05-07 | 画像符号化装置および方法、画像復号化装置および方法、並びに記録媒体 |
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000165298 | 2000-06-02 | ||
| JP2000165298 | 2000-06-02 | ||
| JP2000-165298 | 2000-06-02 | ||
| JP2001001031 | 2001-01-09 | ||
| JP2001001031 | 2001-01-09 | ||
| JP2001-1031 | 2001-01-09 | ||
| JP2001136505A JP4765192B2 (ja) | 2000-06-02 | 2001-05-07 | 画像符号化装置および方法、画像復号化装置および方法、並びに記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011092191A Division JP5516488B2 (ja) | 2000-06-02 | 2011-04-18 | 画像符号化装置および方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002281463A JP2002281463A (ja) | 2002-09-27 |
| JP4765192B2 true JP4765192B2 (ja) | 2011-09-07 |
Family
ID=27343604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001136505A Expired - Lifetime JP4765192B2 (ja) | 2000-06-02 | 2001-05-07 | 画像符号化装置および方法、画像復号化装置および方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4765192B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7577333B2 (en) * | 2001-08-04 | 2009-08-18 | Samsung Electronics Co., Ltd. | Method and apparatus for recording and reproducing video data, and information storage medium in which video data is recorded by the same |
| KR20040000290A (ko) | 2002-06-24 | 2004-01-03 | 엘지전자 주식회사 | 고밀도 광디스크의 멀티 경로 데이터 스트림 관리방법 |
| CN101350215B (zh) | 2002-06-24 | 2012-08-29 | Lg电子株式会社 | 记录和再现用于视频数据的再现的数据结构的方法及装置 |
| JP4903998B2 (ja) * | 2002-10-15 | 2012-03-28 | エルジー エレクトロニクス インコーポレイティド | 記録された複数のグラフィックストリームの再生を管理するためのデータ構造を有する記録媒体、それによる記録及び再生方法及び装置 |
| JP4492700B2 (ja) * | 2004-06-15 | 2010-06-30 | トムソン ライセンシング | コンテンツ情報の更新の方法、装置およびストレージ媒体 |
| JP5188033B2 (ja) * | 2006-04-24 | 2013-04-24 | 株式会社日立製作所 | 記録再生装置、送出装置及び伝送システム。 |
| JP5400009B2 (ja) * | 2010-09-27 | 2014-01-29 | ルネサスエレクトロニクス株式会社 | トランスコード装置及びトランコード方法並びにプログラム |
| KR20150090025A (ko) * | 2012-11-27 | 2015-08-05 | 엘지전자 주식회사 | 신호 송수신 장치 및 신호 송수신 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3591025B2 (ja) * | 1995-01-31 | 2004-11-17 | ソニー株式会社 | 画像情報処理装置 |
| JP3191856B2 (ja) * | 1995-06-30 | 2001-07-23 | 日本ビクター株式会社 | 情報蓄積出力装置 |
| JPH11285002A (ja) * | 1998-02-02 | 1999-10-15 | Sony Corp | 動画像符号化装置及び動画像符号化方法 |
| JP3724205B2 (ja) * | 1998-03-10 | 2005-12-07 | ソニー株式会社 | 復号装置および方法、並びに記録媒体 |
-
2001
- 2001-05-07 JP JP2001136505A patent/JP4765192B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002281463A (ja) | 2002-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5516488B2 (ja) | 画像符号化装置および方法、並びに記録媒体 | |
| KR100711328B1 (ko) | 데이터 처리 장치 및 방법 | |
| US20020057366A1 (en) | Decoder device and receiver using the same | |
| US7305173B2 (en) | Decoding device and decoding method | |
| JP2002524985A (ja) | ビデオ信号送信 | |
| JP4724919B2 (ja) | 記録装置および記録方法、再生装置および再生方法、並びに記録媒体 | |
| US6345388B1 (en) | Method and apparatus for transmitting and receiving television signal | |
| JP2003500946A (ja) | 符号化された画像を送信及び受信する方法及び装置 | |
| JP4765192B2 (ja) | 画像符号化装置および方法、画像復号化装置および方法、並びに記録媒体 | |
| US8224148B2 (en) | Decoding apparatus and decoding method | |
| EP3905702A1 (en) | Transmission device, transmission method, encoding device, encoding method, receiving device, and receiving method | |
| JP5211615B2 (ja) | 映像・音声信号伝送方法及びその伝送装置 | |
| KR100601603B1 (ko) | Ｍｐｅｇ 데이터 재생량 표시 방법 및 그 장치 | |
| KR101158435B1 (ko) | 이동통신 단말기와 우선순위 정보 데이터를 이용한 방송시스템 및 이를 이용한 방송 방법 | |
| JP3671969B2 (ja) | データ多重方法及び多重データ復号方法 | |
| JP2001346162A (ja) | 多重化ストリーム変換装置および方法、並びに記録媒体 | |
| JPH11289520A (ja) | デコーダ装置及びこれを用いた受信機 | |
| JP2004207831A (ja) | デジタル放送送受信方法と装置及び進行状況字幕送信装置と進行状況画面送信装置並びにコンピュータ・ソフトウエア | |
| JP2008010997A (ja) | 情報処理装置、情報処理方法及び半導体集積回路 | |
| JPH1118066A (ja) | 映像データ送信方法および映像データ再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110517 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110530 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4765192 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |