JP3709835B2 - 符号量変換方法及び装置 - Google Patents
符号量変換方法及び装置 Download PDFInfo
- Publication number
- JP3709835B2 JP3709835B2 JP2001340583A JP2001340583A JP3709835B2 JP 3709835 B2 JP3709835 B2 JP 3709835B2 JP 2001340583 A JP2001340583 A JP 2001340583A JP 2001340583 A JP2001340583 A JP 2001340583A JP 3709835 B2 JP3709835 B2 JP 3709835B2
- Authority
- JP
- Japan
- Prior art keywords
- packet
- data
- code amount
- video
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Time-Division Multiplex Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の要素符号化データをパケット多重化して作成した多重化符号化データの符号量を変換する符号量変換方法及び装置に関する。
【０００２】
【従来の技術】
符号量変換装置の従来例として、例えば特開２０００−２４４８７２号公報に示されたものが知られている。この装置は、符号化信号のビットレートを任意に変更でき、かつこのビットレートの変更により生じる入力時と再符号化時との時間のずれを最小限に抑え、画質の劣化等の防止を図ることを目的とし、ビデオ要素データ信号に対し、可変長符号の一部を削除する処理を行い、この削除された信号を、任意のビットレートで再度符号化信号に復元するとともに、トランスポートストリーム信号に含まれる時間基準信号であるＰＣＲ信号を抽出し、このＰＣＲ信号の内容を、ビデオ要素データ信号の符号削除処理及び復元処理に伴いビット系列が増減した状態に応じた内容に書き替える処理を行う。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記の従来の装置では、何らかの手法で要素データ符号量を変更すると、それに伴うビット系列の変化によってＰＣＲ信号の書き換えや、再多重化の必要があり、ハードウエアで実現する場合には回路規模が複雑化し、ソフトウェアで実現する場合にはアルゴリズムが複雑化し、ステップ数が増加する。そのため、コストの大幅な増加を避けることはできなかった。
【０００４】
また、トランスポートストリームの編集接続などを行う場合、ＭＰＥＧ２オーディオやＡＣ−３などは固定レートであるので問題が発生することは少ないが、ＭＰＥＧ３オーディオやＡＡＣ（Advanced Audio Coding）などのオーディオやＭＰＥＧビデオは可変長符号化されていて、編集繋ぎを行う際には、要素デコーダのバッファ（ビデオではＶＢＶ（Video Buffer Verifier）、ＡＡＣではadts_buffer fullness）の繋がりに矛盾のないように要素データの符号量の微調整の必要性がある。その際、要素デコーダのバッファで欠落が起きないように要素符号化データの符号量を、繋ぎ位置の後半の要素符号化データのデコーダバッファの開始占有値より、大きい値になるように（符号量を小さくしてオーバフロー側にするように）制御することが重要であるが、このような機能を実現する簡単な方法が従来存在しなかった。
【０００５】
本発明は上述した点に着目してなされたものであり、多重化符号化データに含まれる要素符号化データの符号量を削減する場合に必要とされる処理を低減することができ、しかも多重化符号化データの編集時においても特別な制御を必要としない符号量変換方法及び装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、複数のピクチャタイプで符号化されたビデオデータのパケットを含む複数の要素符号化データをパケット多重化して作成した多重化符号化データの符号量を変換する符号量変換方法であって、前記複数の要素符号化データに含まれるビデオデータの前記ピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除して、前記ビデオデータの符号量を前記ピクチャタイプ毎に削減すると共に、前記ピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除した前記ビデオデータの各ピクチャタイプの残りのパケットの位置と、前記ビデオパケット以外の前記複数の要素符号化データのパケットの位置とが変化しないように、前記ビデオデータの前記ピクチャタイプ毎に削減した符号量に応じて、どの要素符号化データにも属さない無効データパケットを挿入することを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の符号量変換方法において、前記ビデオデータの時間関連情報は変更しないことを特徴とする。
【０００８】
請求項３に記載の発明は、複数のピクチャタイプで符号化されたビデオデータのパケットを含む複数の要素符号化データをパケット多重化して作成した多重化符号化データの符号量を変換する符号量変換装置であって、前記複数の要素符号化データに含まれるビデオデータの前記ピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除して、前記ビデオデータの符号量を前記ピクチャタイプ毎に削減する符号量削減手段と、前記ピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除した前記ビデオデータの各ピクチャタイプの残りのパケットの位置と、前記ビデオパケット以外の前記複数の要素符号化データのパケットの位置とが変化しないように、前記ビデオデータの前記ピクチャタイプ毎に削減した符号量に応じて、どの要素符号化データにも属さない無効データパケットを挿入する無効データ挿入手段とを備えることを特徴とする。
【０００９】
請求項４に記載の発明は、請求項３に記載の符号量変換装置において、前記符号量削減手段は、前記ビデオデータの時間関連情報は変更しないことを特徴とする。
【００１０】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
先ず本実施形態で使用されているＭＰＥＧビデオ（ビデオ符号化方式）及びＭＰＥＧシステム（オーディオビデオ多重化方式）について、図４〜図８を参照して説明する。
【００１１】
ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会合同技術委員会１／専門部会２、現在のＳＣ２９）に設立された動画像符号化標準を検討する組織の名称（Moving Pictures Expert Group）の略称である。ＭＰＥＧ１ビデオ（ＭＰＥＧフェーズ１）は１．５Ｍｂｐｓ程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたＪＰＥＧと、ＩＳＤＮのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＴＵ−Ｔ ＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＯ／ＩＥＣ １１１７２として成立している。
【００１２】
ＭＰＥＧ２（ＭＰＥＧフェーズ２）ビデオは通信や放送などの多様なアプリケーションに対応できるように汎用標準を目的として、１９９４年１１月ＩＳＯ／ＩＥＣ １３８１８−２、Ｈ．２６２として成立している。ＭＰＥＧ２システムは同時期に１３８１８−１、Ｈ．２２２．０として成立している。
【００１３】
ＭＰＥＧ２ビデオは幾つかの技術を組み合わせて作成されている。ＭＰＥＧ２ビデオ規格に準拠した符号化を行う一般的な符号化装置は、例えば図４に示すように構成される。この装置は、加算器２１、ＤＣＴ（離散コサイン変換）器２２、量子化器２３、ＶＬＣ（可変長符号化）器２４、バッファ２５、符号量制御器２６、逆量子化器２７、逆ＤＣＴ器２８、加算器２９、画像メモリ３０、及び動き補償器３１とを備えている。
【００１４】
入力画像は、動き補償予測器３１で復号化した画像との差分を取ることで時間冗長部分が削減される。予測の方向は、過去、未来、両方からの３モード存在する。またこれらは１６画素×１６画素のマクロブロックごとに切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。過去からの予測モードと、予測をしないでそのマクロブロックを独立で符号化するモードの２モード存在するのがＰピクチャである。また未来からの予測モード、過去からの予測モード、両方からの予測モード、及び独立で符号化するモードの４モード存在するのがＢピクチャである。そして全てのマクロブロックを独立で符号化するのがＩピクチャである。
【００１５】
動き補償は、動き領域をマクロブロックごとにパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣ（Motion Compensation）モードとともにマクロブロックの付加情報として伝送される。Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Group Of Picture）といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度でＧＯＰが構成される。
【００１６】
加算器２１から出力される差分画像はＤＣＴ器２２において直交変換が行われる。ＤＣＴ（Discrete Cosine Transform）とは余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧではマクロブロックを４分割した８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。
【００１７】
ＤＣＴされた画像データ（ＤＣＴ係数）は量子化器２３で量子化が行われる。量子化は量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラ倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算する。デコーダで逆量子化するときは量子化値を乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。
【００１８】
量子化されたデータはＶＬＣ器２４で可変長符号化される。量子化された値のうち直流（ＤＣ）成分については、予測符号化のひとつであるＤＰＣＭ（Differential Pulse Code Modulation）が使用される。また交流（ＡＣ）成分については、低域から高域にジグザグスキャンを行い、ゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。
【００１９】
可変長符号化されたデータは一時バッファ２５に蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器２６に送信され、目標符号量に対する発生符号量の誤差符号量を量子化器にフィードバックして量子化スケールを調整することで符号量制御される。量子化された画像データは逆量子化器２７にて逆量子化、逆ＤＣＴ器２８にて逆ＤＣＴ（逆離散コサイン変換）される。逆ＤＣＴ器２８から出力される画像データは、加算器２９に入力され、動き補償予測器器３１から出力される差分画像データと加算される。そして一時、画像メモリ３０に蓄えられたのち、動き補償予測器３１入力され、差分画像を計算するためのリファレンスの復号化画像として使用される。
【００２０】
図５は、符号化データの復号化を行う一般的な復号化装置の構成を示すブロック図である。この装置は、バッファ４１、ＶＬＤ（可変長復号化）器４２、逆量子化器４３、逆ＤＣＴ器４４、加算器４５、画像メモリ４６、及び動き補償予測器４７とを備えている。
【００２１】
符号化されたストリームはバッファ４１によりバッファリングされ、バッファ４１からのデータはＶＬＤ器４２に入力される。ＶＬＤ器４２では可変長復号化が行われ、直流（ＤＣ）成分および交流（ＡＣ）成分が出力させる。交流（ＡＣ）成分データは低域から高域にジグザクスキャンの順で８×８のマトリックスに配置する。このデータは逆量子化器４３に入力され、量子化マトリックスにて逆量子化される。逆量子化されたデータは、逆ＤＣＴ器４４に入力され、逆ＤＣＴされ、画像データ（復号化データ）として出力される。また、復号化データは一時、画像メモリ４６に蓄えられたのち、動き補償予測器４７において、差分画像を計算するためのリファレンスの復号化画像として使用される。
【００２２】
ＭＰＥＧシステムはＭＰＥＧビデオ及びオーディオなどで符号化されビットストリームを、１個のビットストリームに多重化し、同期を確保しながら再生する方式を規定したものである。システムで規定されている内容は大きく分けて次の５点である。
１）複数の符号化されたビットストリームの同期再生
２）複数の符号化されたビットストリームの単一ビットストリームヘの多重化
３）再生開始時のバッファの初期化
４）連続的なバッファの管理
５）復号や再生などの時刻の確定
【００２３】
ＭＰＥＧシステムで多重化を行うには情報をパケット化する必要がある。パケットによる多重化とは、例えばビデオと、オーディオとを多重化する場合、各々をパケットと呼ばれる適当な長さのストリームに分割し、ヘッダなどの付加情報を付けて、適宜、ビデオとオーディオのパケットを切り替えて時分割伝送する方式である。ヘッダにはビデオやオーディオなどを識別するための情報や、同期のための時間情報が格納されている。パケット長は伝送媒体やアプリケーションに依存し、ＡＴＭ（Asynchronous Transfer Mode）のように５３バイトから、光ディスクのように４Ｋバイトと長いものまで存在している。ＭＰＥＧでは、パケット長は可変で任意に指定できるようになっている。
【００２４】
データはパケット化され、さらにパック化される。１パックは数パケットで構成されている。各パックの先頭部分にはpack_start_codeやＳＣＲ（System Clock Referance）、パケットの先頭部分にはstream_idやタイムスタンプが記述されている。タイムスタンプにはオーディオ、ビデオなどの同期をとる時間情報が記述されており、ＤＴＳ（Decoding Time Stamp）、ＰＴＳ（Presentation Time Stamp）の２種類が存在する。ＰＣＲ（Program Clock Reference）は２７ＭＨｚの時間精度で記述されており、デコーダの基準クロックは、ＰＣＲにロックされる。
【００２５】
ＤＴＳはそのパケットデータ内の最初のアクセスユニット（ビデオなら１ピクチャ、オーディオなら例えば１１５２サンプル）のデコード開始時刻を示し、ＰＴＳは表示（再生）開始時刻を示している。
【００２６】
図６はパケットストリームから、ビデオデータ及びオーディデータをデコードする装置の一般的な構成を示すブロック図である。この装置は、システムデータをデコードするシステムデコーダ５１と、オーディオデータをデコードするオーディオデコーダ５２と、ビデオデータデコードするビデオデコーダ５３と、ＰＣＲに同期した２７ＭＨｚの基準クロックを生成するクロック制御部５４と、基準クロックと、ＤＴＳ及びＰＴＳとの比較を行う比較部５５と、オーディオデータ用メモリ５６と、ビデオデータ用メモリ５７とを備えている。
【００２７】
比較部５５は、ＰＣＲでロックした共通の基準クロックを常に監視し、ＤＴＳやＰＴＳの時刻と一致したときに、デコードや表示を行うように、メモリ５６，５７を制御するしくみになっている。多重化されたデータが各デコーダでバッファリングされ、同期した表示を行うための仮想的なデコーダをＳＴＤ（System Target Decoder）と呼び、このＳＴＤがオーバフローやアンダフローを起こさないように多重化されていなければならない。
【００２８】
また、ＭＰＥＧシステムには、大きく分けてＴＳ（Transport Stream）とＰＳ（Program Stream）が存在する。これらはＰＥＳ（Packetized Elementary Stream）、およびその他の必要な情報を含むパケットから構成されている。ＰＥＳは両ストリーム間の変換を可能とするための中間ストリームとして規定されていて、ＭＰＥＧで符号化されたビデオデータ、オーディオデータの他、プライベートストリームなどをパケット化したものである。
【００２９】
ＰＳは共通の基準時間を有するプログラムのビデオ及びオーディオの多重化をすることが可能である。パケットレイヤはＰＥＳとよばれ、この構造は図７に示すように、後述するＴＳと共用して用いられ、これらの相互互換性を可能とする。ＰＳのＳＴＤモデルでは、ストリームはＰＥＳパケット内のstream_idによってスイッチされる。
【００３０】
ＴＳもＰＳと同じように共通の基準時間を有するプログラムのビデオ及びオーディオの多重化をすることが可能であるが、ＴＳはさらに異なる基準時間を有する通信や放送などのマルチプログラムの多重化を可能としている。ＴＳはＡＴＭセル長や誤り訂正符号化する場合を考慮し、１８８バイトの固定長パケットで構成されており、エラーが存在する系でも使用できるように考慮されている。ＴＳパケット自体の構造はそれほど複雑ではないが、マルチプログラムのストリームであるため、その運用は複雑である。
【００３１】
ＰＳと比べて特徴的なのはＴＳパケットが上位構造であるにも関わらず、ＰＥＳパケットより（通常は）短く、ＰＥＳパケットを分割してＴＳパケットに乗せて伝送する点である。ＴＳのＳＴＤモデルでは、ストリームはＴＳパケット内のＰＩＤ（パケットＩＤ）によってスイッチされる。
【００３２】
ＭＰＥＧシステムのＴＳには、その多重化されている番組の情報に関するパケットがどのＰＩＤであるのかを指示する仕組みがある。それを図８を参照して説明する。まずＴＳパケット群の中からＰＩＤ＝０のものを探す。それはＰＡＴ（Program Association Table）と呼ばれる情報パケットで、そのパケットの中にはプログラムナンバＰＲに対応する情報ＰＩＤがリンクされた形で記述されている。次に目的のプログラムナンバＰＲに対応するＰＩＤのパケットを読みに行くとＰＭＴ（Program Map Table）と呼ばれる情報パケットがあり、そのパケットの中にはそのプログラムナンバＰＲに対応する番組のビデオパケットのＰＩＤと、オーディオパケットのＰＩＤの情報が記述されている。
ＰＡＴとＰＭＴのことをＰＳＩ（Program Specific Information）と呼び、目的の番組のチャンネルにアクセス（エントリ）することが可能な情報体系になっている。
【００３３】
次に本発明の概念を図１を用いて説明する。
図１（１）の状態は、ＭＰＥＧトランスポートストリームのパケット化されたデータの状態を示している。Ｖと記載されているパケットはビデオパケット、Ａと記載されているパケットはオーディオのパケット、Ｓと記載されているパケットはシステムで使用されるＰＡＴやＰＭＴなどの情報パケットである。おのおのＭＰＥＧ２システムのルールに準拠した形で記録されている。
【００３４】
これらのうち、本実施形態では、特定の要素データパケットとしてビデオパケットを選択する。一般的にオーディオはＭＰＥＧオーディオやＡＣ３など固定レート符号化の場合が多く、符号量を調整する対象となるのは可変長符号化されているＭＰＥＧビデオである場合が多いからである。特定したビデオパケットには、ハッチングが施されている。これらの全体を示した状態が同図（２）に示されている。このビデオパケットだけを集めた状態が同図（３）に示されている。このビデオパケットの中身は、同図（４）に示すように、始めがＩピクチャであり、次にＢピクチャが２枚、そのあとにＰピクチャが１枚、と続いてくのが典型的な例である。これらのピクチャの１枚もしくは複数のピクチャにおいて符号量を削減する。削減された状態が同図（５）に示されている。各ピクチャの符号量はそれぞれ小さくなっているが、先頭の位置は変えないことが特徴である。
【００３５】
その状態でパケット化したものが同図（６）に示されている。符号量が減少した部分にはＭＰＥＧで規定されているＮＵＬＬパケット（無効データ）を挿入する。これはＰＩＤ＝０ｘ１ＦＦＦという予め決められたＰＩＤを用いて、どの要素データにも属さないデータとして記述することができるものである。このＮＵＬＬパケットには、クロスハッチングが施されている。この状態を全体で表現したものが同図（７）である。同図（７）を拡大したものが同図（８）である。同図（８）において、ＮＵＬＬパケットには「Ｎ」が表示されている。結果的にＶパケットの一部がＮＵＬＬパケットに変化し、それ以外の要素データパケットは位置も符号量も変化しない。したがって、それぞれの要素パケットに記載されているＰＣＲクロック情報やタイムスタンプ情報は変更する必要が無い。
【００３６】
ＭＰＥＧシステムの規定ではＰＣＲクロック情報は１００ｍｓｅｃに一度は記録されている。また、ビデオパケットにはアクセスユニット（フレームやフィールドのピクチャ単位）の先頭のＰＥＳヘッダが存在するパケットにＰＴＳやＤＴＳが記述されている。オーディオパケットには１つもしくは複数のオーディオフレームをＰＥＳでパッキングしたその先頭のＰＥＳヘッダが存在するパケットにＰＴＳが記載されている。これらのクロック情報、及びタイムスタンプ情報といった時間関連情報は、パケットの位置が変更されない限り付け替える必要はない。したがって再多重化する場合に必要となる、非常に複雑なＰＣＲやタイムスタンプ情報を書き換える処理を行う必要がない。
【００３７】
図２は、図１の参照して説明した処理を実行する符号量変換装置の構成の一例を示すブロック図である。この装置は、全体的な制御を行うＣＰＵ１１と、符号量を削減する特定要素データを指示する特定要素データ指示器１２と、ＴＳパケットを一時的に格納するＴＳパケットメモリ１４と、ＴＳパケットメモリ１４へのデータの入出力を管理する入出力メモリ管理器１３と、指示された特定要素データを分離する特定要素データ分離器１５と、分離された特定要素データの符号量を削減する符号量削減器１６と、削減された符号量をパケット数に換算して算出する削減量カウンタ１７と、削減された符号量に相当する無効パケットを挿入する無効パケット挿入器１８とを備えている。
【００３８】
入力ＴＳデータは、入出力メモリ管理器１３を介してＴＳパケットメモリ１４に記憶される。ここでのＴＳパケットメモリ１４は、ビデオデータ１ＧＯＰ分程度が含まれたＴＳデータを格納できることが望ましい。ビデオデータは後述するビデオデータの削減方法にも依存するが、単純に再符号化する場合には、予測符号化のリセットタイミングであるＩピクチャからのＧＯＰ単位が扱いやすいからである。ＧＯＰが独立していない場合、すなわち、境界のＢピクチャが双方のＧＯＰにまたがって予測されている場合（ＧＯＰのclosed_gop=0の場合）には、一つ前のＧＯＰの最後のリファレンスピクチャを復号化して、図示せぬ画像再符号化用メモリなどに保持しておくことが必要になる場合がある。
【００３９】
一方装置の全体的な制御を行うＣＰＵ１１から特定要素データ指示器１２に、符号量を削減すべき特定要素データを指示する命令を出す。特定要素データ指示器１２は、命令を受けたら、ＴＳパケットメモリ１４に記憶されているＴＳデータの要素の中から、符号量を変更すべきデータを指示するための信号を特定要素データ分離器１５へ伝送する。特定要素データ分離器１５では、特定すべきデータをＴＳパケットメモリ１４から抜き出して、符号量削減器１６へ伝送する。符号量削減器１６は、ＣＰＵ１１から符号量をどの程度削減するかを指示する信号を受信する。削減量は例えば、「１ＧＯＰで１０％減らす」という割合の情報を８ビットの情報として−１２８％から＋１２７％で伝送しても良い。もしくはｎバイト（ビット）削減するという直接符号量を所定のビット数で伝送しても良い。
【００４０】
符号量削減器１６では、特定要素の種類分、再符号化装置が装備されている。ここではＭＰＥＧビデオが選択されているのでＭＰＥＧビデオの符号量削減を行う。具体的な削減方法は、例えば本発明者による特開平１１−２３４６７７号公報に詳細に記載されているように、ＶＬＣ符号を削除してもよいし、対象となる符号化データを復号し、その復号データを入力として再符号化するようにしてもよい。符号量削減器１６は、符号量を削減した要素データを無効パケット挿入器１８へ伝送すると同時に、実際に削減した符号量を削減量カウンタ１７に伝送する。削減量カウンタ１７ではビデオパケットについてはアクセスユニット（フレームやフィールドのピクチャ単位）単位での削減量を加算することにより、またオーディオパケットについては１つもしくは複数のオーディオフレームをＰＥＳでパッキングしたＰＥＳ単位での削減量を加算することにより、総削減量を算出し、その総削減量（バイト）を１８４バイトで除算することより、必要な無効パケット数を算出する。そしてその無効パケット数を無効パケット挿入器１８へ伝送する。ＴＳパケットは図３に示すように構成されており、ペイロードの１８４バイトが実効上のＮＵＬＬデータ領域である。そのエリアで伝送される要素符号化データの量が、削減されたと計算するので、１８４バイトで除算してパケット数を求める。無効パケット挿入器１８により無効パケットが挿入されたＴＳストリームは、ＴＳパケットメモリ１４に一時記憶され、入出力メモリ管理器１３を介して出力ＴＳデータとして出力される。
【００４１】
以上のように本実施形態では、特定の要素符号化データ（例えばビデオ符号化データ）の符号量を削減し、削減したデータ量に対応する数のＮＵＬＬパケットを挿入するようにしたので、従来技術のようにＰＣＲの書き換え処理や再多重化処理を行う必要がなく、コストの上昇を抑えることができる。また、ＴＳの編集時においても符号量の微調整は不要となる。
【００４２】
なお、上述した実施形態では、ＴＳデータは１ＧＯＰごとに符号量削減を行うようにしたが、１ピクチャ単位で行っても、数ＧＯＰ単位で行っても、それ以外の単位であっても良い。ＴＳデータは記録されている形態であっても、通信、放送などあらゆる伝送媒体を経由してデータを送受信する形態であってもよい。
【００４３】
【発明の効果】
以上詳述したように本発明によれば、ビデオデータの符号量が、そのビデオデータのピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除することにより、ピクチャタイプ毎に削減され、ピクチャタイプ毎に先頭のパケット以外の一部のパケットが削除された各ピクチャタイプの残りのパケットの位置と、ビデオパケット以外の複数の要素符号化データのパケットの位置とが変化しないように、ビデオデータのピクチャタイプ毎に削減した符号量に応じて、どの要素符号化データにも属さない無効データパケットが挿入されるので、ビデオデータの符号量を削減する場合に必要とされる処理を低減することができ、しかも多重化符号化データの編集時においても特別な制御を不要とすることができる。
【図面の簡単な説明】
【図１】本発明の概要を説明するための図である。
【図２】本発明の一実施形態にかかる符号量変換装置の構成を示すブロック図である。
【図３】トランスポートストリームパケットの構成を示す図である。
【図４】一般的な画像データの符号化装置の構成を示す図である。
【図５】一般的な画像データの復号化装置の構成を示す図である。
【図６】多重化パケットストリームの復号化装置の構成を示すブロック図である。
【図７】トランスポートストリームの構成を示す図である。
【図８】多重化された情報から必要な情報パケットを抽出するための仕組みを説明するための図である。
【符号の説明】
１１ ＣＰＵ
１２ 特定要素データ指示器
１３ 入出力メモリ管理器
１４ ＴＳパケットメモリ
１５ 特定要素データ分離器
１６ 符号量削減器（符号量削減手段）
１７ 削減量カウンタ
１８ 無効パケット挿入器（無効データ挿入手段）
【発明の属する技術分野】
本発明は、複数の要素符号化データをパケット多重化して作成した多重化符号化データの符号量を変換する符号量変換方法及び装置に関する。
【０００２】
【従来の技術】
符号量変換装置の従来例として、例えば特開２０００−２４４８７２号公報に示されたものが知られている。この装置は、符号化信号のビットレートを任意に変更でき、かつこのビットレートの変更により生じる入力時と再符号化時との時間のずれを最小限に抑え、画質の劣化等の防止を図ることを目的とし、ビデオ要素データ信号に対し、可変長符号の一部を削除する処理を行い、この削除された信号を、任意のビットレートで再度符号化信号に復元するとともに、トランスポートストリーム信号に含まれる時間基準信号であるＰＣＲ信号を抽出し、このＰＣＲ信号の内容を、ビデオ要素データ信号の符号削除処理及び復元処理に伴いビット系列が増減した状態に応じた内容に書き替える処理を行う。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記の従来の装置では、何らかの手法で要素データ符号量を変更すると、それに伴うビット系列の変化によってＰＣＲ信号の書き換えや、再多重化の必要があり、ハードウエアで実現する場合には回路規模が複雑化し、ソフトウェアで実現する場合にはアルゴリズムが複雑化し、ステップ数が増加する。そのため、コストの大幅な増加を避けることはできなかった。
【０００４】
また、トランスポートストリームの編集接続などを行う場合、ＭＰＥＧ２オーディオやＡＣ−３などは固定レートであるので問題が発生することは少ないが、ＭＰＥＧ３オーディオやＡＡＣ（Advanced Audio Coding）などのオーディオやＭＰＥＧビデオは可変長符号化されていて、編集繋ぎを行う際には、要素デコーダのバッファ（ビデオではＶＢＶ（Video Buffer Verifier）、ＡＡＣではadts_buffer fullness）の繋がりに矛盾のないように要素データの符号量の微調整の必要性がある。その際、要素デコーダのバッファで欠落が起きないように要素符号化データの符号量を、繋ぎ位置の後半の要素符号化データのデコーダバッファの開始占有値より、大きい値になるように（符号量を小さくしてオーバフロー側にするように）制御することが重要であるが、このような機能を実現する簡単な方法が従来存在しなかった。
【０００５】
本発明は上述した点に着目してなされたものであり、多重化符号化データに含まれる要素符号化データの符号量を削減する場合に必要とされる処理を低減することができ、しかも多重化符号化データの編集時においても特別な制御を必要としない符号量変換方法及び装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、複数のピクチャタイプで符号化されたビデオデータのパケットを含む複数の要素符号化データをパケット多重化して作成した多重化符号化データの符号量を変換する符号量変換方法であって、前記複数の要素符号化データに含まれるビデオデータの前記ピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除して、前記ビデオデータの符号量を前記ピクチャタイプ毎に削減すると共に、前記ピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除した前記ビデオデータの各ピクチャタイプの残りのパケットの位置と、前記ビデオパケット以外の前記複数の要素符号化データのパケットの位置とが変化しないように、前記ビデオデータの前記ピクチャタイプ毎に削減した符号量に応じて、どの要素符号化データにも属さない無効データパケットを挿入することを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の符号量変換方法において、前記ビデオデータの時間関連情報は変更しないことを特徴とする。
【０００８】
請求項３に記載の発明は、複数のピクチャタイプで符号化されたビデオデータのパケットを含む複数の要素符号化データをパケット多重化して作成した多重化符号化データの符号量を変換する符号量変換装置であって、前記複数の要素符号化データに含まれるビデオデータの前記ピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除して、前記ビデオデータの符号量を前記ピクチャタイプ毎に削減する符号量削減手段と、前記ピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除した前記ビデオデータの各ピクチャタイプの残りのパケットの位置と、前記ビデオパケット以外の前記複数の要素符号化データのパケットの位置とが変化しないように、前記ビデオデータの前記ピクチャタイプ毎に削減した符号量に応じて、どの要素符号化データにも属さない無効データパケットを挿入する無効データ挿入手段とを備えることを特徴とする。
【０００９】
請求項４に記載の発明は、請求項３に記載の符号量変換装置において、前記符号量削減手段は、前記ビデオデータの時間関連情報は変更しないことを特徴とする。
【００１０】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
先ず本実施形態で使用されているＭＰＥＧビデオ（ビデオ符号化方式）及びＭＰＥＧシステム（オーディオビデオ多重化方式）について、図４〜図８を参照して説明する。
【００１１】
ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会合同技術委員会１／専門部会２、現在のＳＣ２９）に設立された動画像符号化標準を検討する組織の名称（Moving Pictures Expert Group）の略称である。ＭＰＥＧ１ビデオ（ＭＰＥＧフェーズ１）は１．５Ｍｂｐｓ程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたＪＰＥＧと、ＩＳＤＮのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＴＵ−Ｔ ＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＯ／ＩＥＣ １１１７２として成立している。
【００１２】
ＭＰＥＧ２（ＭＰＥＧフェーズ２）ビデオは通信や放送などの多様なアプリケーションに対応できるように汎用標準を目的として、１９９４年１１月ＩＳＯ／ＩＥＣ １３８１８−２、Ｈ．２６２として成立している。ＭＰＥＧ２システムは同時期に１３８１８−１、Ｈ．２２２．０として成立している。
【００１３】
ＭＰＥＧ２ビデオは幾つかの技術を組み合わせて作成されている。ＭＰＥＧ２ビデオ規格に準拠した符号化を行う一般的な符号化装置は、例えば図４に示すように構成される。この装置は、加算器２１、ＤＣＴ（離散コサイン変換）器２２、量子化器２３、ＶＬＣ（可変長符号化）器２４、バッファ２５、符号量制御器２６、逆量子化器２７、逆ＤＣＴ器２８、加算器２９、画像メモリ３０、及び動き補償器３１とを備えている。
【００１４】
入力画像は、動き補償予測器３１で復号化した画像との差分を取ることで時間冗長部分が削減される。予測の方向は、過去、未来、両方からの３モード存在する。またこれらは１６画素×１６画素のマクロブロックごとに切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。過去からの予測モードと、予測をしないでそのマクロブロックを独立で符号化するモードの２モード存在するのがＰピクチャである。また未来からの予測モード、過去からの予測モード、両方からの予測モード、及び独立で符号化するモードの４モード存在するのがＢピクチャである。そして全てのマクロブロックを独立で符号化するのがＩピクチャである。
【００１５】
動き補償は、動き領域をマクロブロックごとにパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣ（Motion Compensation）モードとともにマクロブロックの付加情報として伝送される。Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Group Of Picture）といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度でＧＯＰが構成される。
【００１６】
加算器２１から出力される差分画像はＤＣＴ器２２において直交変換が行われる。ＤＣＴ（Discrete Cosine Transform）とは余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧではマクロブロックを４分割した８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。
【００１７】
ＤＣＴされた画像データ（ＤＣＴ係数）は量子化器２３で量子化が行われる。量子化は量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラ倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算する。デコーダで逆量子化するときは量子化値を乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。
【００１８】
量子化されたデータはＶＬＣ器２４で可変長符号化される。量子化された値のうち直流（ＤＣ）成分については、予測符号化のひとつであるＤＰＣＭ（Differential Pulse Code Modulation）が使用される。また交流（ＡＣ）成分については、低域から高域にジグザグスキャンを行い、ゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。
【００１９】
可変長符号化されたデータは一時バッファ２５に蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器２６に送信され、目標符号量に対する発生符号量の誤差符号量を量子化器にフィードバックして量子化スケールを調整することで符号量制御される。量子化された画像データは逆量子化器２７にて逆量子化、逆ＤＣＴ器２８にて逆ＤＣＴ（逆離散コサイン変換）される。逆ＤＣＴ器２８から出力される画像データは、加算器２９に入力され、動き補償予測器器３１から出力される差分画像データと加算される。そして一時、画像メモリ３０に蓄えられたのち、動き補償予測器３１入力され、差分画像を計算するためのリファレンスの復号化画像として使用される。
【００２０】
図５は、符号化データの復号化を行う一般的な復号化装置の構成を示すブロック図である。この装置は、バッファ４１、ＶＬＤ（可変長復号化）器４２、逆量子化器４３、逆ＤＣＴ器４４、加算器４５、画像メモリ４６、及び動き補償予測器４７とを備えている。
【００２１】
符号化されたストリームはバッファ４１によりバッファリングされ、バッファ４１からのデータはＶＬＤ器４２に入力される。ＶＬＤ器４２では可変長復号化が行われ、直流（ＤＣ）成分および交流（ＡＣ）成分が出力させる。交流（ＡＣ）成分データは低域から高域にジグザクスキャンの順で８×８のマトリックスに配置する。このデータは逆量子化器４３に入力され、量子化マトリックスにて逆量子化される。逆量子化されたデータは、逆ＤＣＴ器４４に入力され、逆ＤＣＴされ、画像データ（復号化データ）として出力される。また、復号化データは一時、画像メモリ４６に蓄えられたのち、動き補償予測器４７において、差分画像を計算するためのリファレンスの復号化画像として使用される。
【００２２】
ＭＰＥＧシステムはＭＰＥＧビデオ及びオーディオなどで符号化されビットストリームを、１個のビットストリームに多重化し、同期を確保しながら再生する方式を規定したものである。システムで規定されている内容は大きく分けて次の５点である。
１）複数の符号化されたビットストリームの同期再生
２）複数の符号化されたビットストリームの単一ビットストリームヘの多重化
３）再生開始時のバッファの初期化
４）連続的なバッファの管理
５）復号や再生などの時刻の確定
【００２３】
ＭＰＥＧシステムで多重化を行うには情報をパケット化する必要がある。パケットによる多重化とは、例えばビデオと、オーディオとを多重化する場合、各々をパケットと呼ばれる適当な長さのストリームに分割し、ヘッダなどの付加情報を付けて、適宜、ビデオとオーディオのパケットを切り替えて時分割伝送する方式である。ヘッダにはビデオやオーディオなどを識別するための情報や、同期のための時間情報が格納されている。パケット長は伝送媒体やアプリケーションに依存し、ＡＴＭ（Asynchronous Transfer Mode）のように５３バイトから、光ディスクのように４Ｋバイトと長いものまで存在している。ＭＰＥＧでは、パケット長は可変で任意に指定できるようになっている。
【００２４】
データはパケット化され、さらにパック化される。１パックは数パケットで構成されている。各パックの先頭部分にはpack_start_codeやＳＣＲ（System Clock Referance）、パケットの先頭部分にはstream_idやタイムスタンプが記述されている。タイムスタンプにはオーディオ、ビデオなどの同期をとる時間情報が記述されており、ＤＴＳ（Decoding Time Stamp）、ＰＴＳ（Presentation Time Stamp）の２種類が存在する。ＰＣＲ（Program Clock Reference）は２７ＭＨｚの時間精度で記述されており、デコーダの基準クロックは、ＰＣＲにロックされる。
【００２５】
ＤＴＳはそのパケットデータ内の最初のアクセスユニット（ビデオなら１ピクチャ、オーディオなら例えば１１５２サンプル）のデコード開始時刻を示し、ＰＴＳは表示（再生）開始時刻を示している。
【００２６】
図６はパケットストリームから、ビデオデータ及びオーディデータをデコードする装置の一般的な構成を示すブロック図である。この装置は、システムデータをデコードするシステムデコーダ５１と、オーディオデータをデコードするオーディオデコーダ５２と、ビデオデータデコードするビデオデコーダ５３と、ＰＣＲに同期した２７ＭＨｚの基準クロックを生成するクロック制御部５４と、基準クロックと、ＤＴＳ及びＰＴＳとの比較を行う比較部５５と、オーディオデータ用メモリ５６と、ビデオデータ用メモリ５７とを備えている。
【００２７】
比較部５５は、ＰＣＲでロックした共通の基準クロックを常に監視し、ＤＴＳやＰＴＳの時刻と一致したときに、デコードや表示を行うように、メモリ５６，５７を制御するしくみになっている。多重化されたデータが各デコーダでバッファリングされ、同期した表示を行うための仮想的なデコーダをＳＴＤ（System Target Decoder）と呼び、このＳＴＤがオーバフローやアンダフローを起こさないように多重化されていなければならない。
【００２８】
また、ＭＰＥＧシステムには、大きく分けてＴＳ（Transport Stream）とＰＳ（Program Stream）が存在する。これらはＰＥＳ（Packetized Elementary Stream）、およびその他の必要な情報を含むパケットから構成されている。ＰＥＳは両ストリーム間の変換を可能とするための中間ストリームとして規定されていて、ＭＰＥＧで符号化されたビデオデータ、オーディオデータの他、プライベートストリームなどをパケット化したものである。
【００２９】
ＰＳは共通の基準時間を有するプログラムのビデオ及びオーディオの多重化をすることが可能である。パケットレイヤはＰＥＳとよばれ、この構造は図７に示すように、後述するＴＳと共用して用いられ、これらの相互互換性を可能とする。ＰＳのＳＴＤモデルでは、ストリームはＰＥＳパケット内のstream_idによってスイッチされる。
【００３０】
ＴＳもＰＳと同じように共通の基準時間を有するプログラムのビデオ及びオーディオの多重化をすることが可能であるが、ＴＳはさらに異なる基準時間を有する通信や放送などのマルチプログラムの多重化を可能としている。ＴＳはＡＴＭセル長や誤り訂正符号化する場合を考慮し、１８８バイトの固定長パケットで構成されており、エラーが存在する系でも使用できるように考慮されている。ＴＳパケット自体の構造はそれほど複雑ではないが、マルチプログラムのストリームであるため、その運用は複雑である。
【００３１】
ＰＳと比べて特徴的なのはＴＳパケットが上位構造であるにも関わらず、ＰＥＳパケットより（通常は）短く、ＰＥＳパケットを分割してＴＳパケットに乗せて伝送する点である。ＴＳのＳＴＤモデルでは、ストリームはＴＳパケット内のＰＩＤ（パケットＩＤ）によってスイッチされる。
【００３２】
ＭＰＥＧシステムのＴＳには、その多重化されている番組の情報に関するパケットがどのＰＩＤであるのかを指示する仕組みがある。それを図８を参照して説明する。まずＴＳパケット群の中からＰＩＤ＝０のものを探す。それはＰＡＴ（Program Association Table）と呼ばれる情報パケットで、そのパケットの中にはプログラムナンバＰＲに対応する情報ＰＩＤがリンクされた形で記述されている。次に目的のプログラムナンバＰＲに対応するＰＩＤのパケットを読みに行くとＰＭＴ（Program Map Table）と呼ばれる情報パケットがあり、そのパケットの中にはそのプログラムナンバＰＲに対応する番組のビデオパケットのＰＩＤと、オーディオパケットのＰＩＤの情報が記述されている。
ＰＡＴとＰＭＴのことをＰＳＩ（Program Specific Information）と呼び、目的の番組のチャンネルにアクセス（エントリ）することが可能な情報体系になっている。
【００３３】
次に本発明の概念を図１を用いて説明する。
図１（１）の状態は、ＭＰＥＧトランスポートストリームのパケット化されたデータの状態を示している。Ｖと記載されているパケットはビデオパケット、Ａと記載されているパケットはオーディオのパケット、Ｓと記載されているパケットはシステムで使用されるＰＡＴやＰＭＴなどの情報パケットである。おのおのＭＰＥＧ２システムのルールに準拠した形で記録されている。
【００３４】
これらのうち、本実施形態では、特定の要素データパケットとしてビデオパケットを選択する。一般的にオーディオはＭＰＥＧオーディオやＡＣ３など固定レート符号化の場合が多く、符号量を調整する対象となるのは可変長符号化されているＭＰＥＧビデオである場合が多いからである。特定したビデオパケットには、ハッチングが施されている。これらの全体を示した状態が同図（２）に示されている。このビデオパケットだけを集めた状態が同図（３）に示されている。このビデオパケットの中身は、同図（４）に示すように、始めがＩピクチャであり、次にＢピクチャが２枚、そのあとにＰピクチャが１枚、と続いてくのが典型的な例である。これらのピクチャの１枚もしくは複数のピクチャにおいて符号量を削減する。削減された状態が同図（５）に示されている。各ピクチャの符号量はそれぞれ小さくなっているが、先頭の位置は変えないことが特徴である。
【００３５】
その状態でパケット化したものが同図（６）に示されている。符号量が減少した部分にはＭＰＥＧで規定されているＮＵＬＬパケット（無効データ）を挿入する。これはＰＩＤ＝０ｘ１ＦＦＦという予め決められたＰＩＤを用いて、どの要素データにも属さないデータとして記述することができるものである。このＮＵＬＬパケットには、クロスハッチングが施されている。この状態を全体で表現したものが同図（７）である。同図（７）を拡大したものが同図（８）である。同図（８）において、ＮＵＬＬパケットには「Ｎ」が表示されている。結果的にＶパケットの一部がＮＵＬＬパケットに変化し、それ以外の要素データパケットは位置も符号量も変化しない。したがって、それぞれの要素パケットに記載されているＰＣＲクロック情報やタイムスタンプ情報は変更する必要が無い。
【００３６】
ＭＰＥＧシステムの規定ではＰＣＲクロック情報は１００ｍｓｅｃに一度は記録されている。また、ビデオパケットにはアクセスユニット（フレームやフィールドのピクチャ単位）の先頭のＰＥＳヘッダが存在するパケットにＰＴＳやＤＴＳが記述されている。オーディオパケットには１つもしくは複数のオーディオフレームをＰＥＳでパッキングしたその先頭のＰＥＳヘッダが存在するパケットにＰＴＳが記載されている。これらのクロック情報、及びタイムスタンプ情報といった時間関連情報は、パケットの位置が変更されない限り付け替える必要はない。したがって再多重化する場合に必要となる、非常に複雑なＰＣＲやタイムスタンプ情報を書き換える処理を行う必要がない。
【００３７】
図２は、図１の参照して説明した処理を実行する符号量変換装置の構成の一例を示すブロック図である。この装置は、全体的な制御を行うＣＰＵ１１と、符号量を削減する特定要素データを指示する特定要素データ指示器１２と、ＴＳパケットを一時的に格納するＴＳパケットメモリ１４と、ＴＳパケットメモリ１４へのデータの入出力を管理する入出力メモリ管理器１３と、指示された特定要素データを分離する特定要素データ分離器１５と、分離された特定要素データの符号量を削減する符号量削減器１６と、削減された符号量をパケット数に換算して算出する削減量カウンタ１７と、削減された符号量に相当する無効パケットを挿入する無効パケット挿入器１８とを備えている。
【００３８】
入力ＴＳデータは、入出力メモリ管理器１３を介してＴＳパケットメモリ１４に記憶される。ここでのＴＳパケットメモリ１４は、ビデオデータ１ＧＯＰ分程度が含まれたＴＳデータを格納できることが望ましい。ビデオデータは後述するビデオデータの削減方法にも依存するが、単純に再符号化する場合には、予測符号化のリセットタイミングであるＩピクチャからのＧＯＰ単位が扱いやすいからである。ＧＯＰが独立していない場合、すなわち、境界のＢピクチャが双方のＧＯＰにまたがって予測されている場合（ＧＯＰのclosed_gop=0の場合）には、一つ前のＧＯＰの最後のリファレンスピクチャを復号化して、図示せぬ画像再符号化用メモリなどに保持しておくことが必要になる場合がある。
【００３９】
一方装置の全体的な制御を行うＣＰＵ１１から特定要素データ指示器１２に、符号量を削減すべき特定要素データを指示する命令を出す。特定要素データ指示器１２は、命令を受けたら、ＴＳパケットメモリ１４に記憶されているＴＳデータの要素の中から、符号量を変更すべきデータを指示するための信号を特定要素データ分離器１５へ伝送する。特定要素データ分離器１５では、特定すべきデータをＴＳパケットメモリ１４から抜き出して、符号量削減器１６へ伝送する。符号量削減器１６は、ＣＰＵ１１から符号量をどの程度削減するかを指示する信号を受信する。削減量は例えば、「１ＧＯＰで１０％減らす」という割合の情報を８ビットの情報として−１２８％から＋１２７％で伝送しても良い。もしくはｎバイト（ビット）削減するという直接符号量を所定のビット数で伝送しても良い。
【００４０】
符号量削減器１６では、特定要素の種類分、再符号化装置が装備されている。ここではＭＰＥＧビデオが選択されているのでＭＰＥＧビデオの符号量削減を行う。具体的な削減方法は、例えば本発明者による特開平１１−２３４６７７号公報に詳細に記載されているように、ＶＬＣ符号を削除してもよいし、対象となる符号化データを復号し、その復号データを入力として再符号化するようにしてもよい。符号量削減器１６は、符号量を削減した要素データを無効パケット挿入器１８へ伝送すると同時に、実際に削減した符号量を削減量カウンタ１７に伝送する。削減量カウンタ１７ではビデオパケットについてはアクセスユニット（フレームやフィールドのピクチャ単位）単位での削減量を加算することにより、またオーディオパケットについては１つもしくは複数のオーディオフレームをＰＥＳでパッキングしたＰＥＳ単位での削減量を加算することにより、総削減量を算出し、その総削減量（バイト）を１８４バイトで除算することより、必要な無効パケット数を算出する。そしてその無効パケット数を無効パケット挿入器１８へ伝送する。ＴＳパケットは図３に示すように構成されており、ペイロードの１８４バイトが実効上のＮＵＬＬデータ領域である。そのエリアで伝送される要素符号化データの量が、削減されたと計算するので、１８４バイトで除算してパケット数を求める。無効パケット挿入器１８により無効パケットが挿入されたＴＳストリームは、ＴＳパケットメモリ１４に一時記憶され、入出力メモリ管理器１３を介して出力ＴＳデータとして出力される。
【００４１】
以上のように本実施形態では、特定の要素符号化データ（例えばビデオ符号化データ）の符号量を削減し、削減したデータ量に対応する数のＮＵＬＬパケットを挿入するようにしたので、従来技術のようにＰＣＲの書き換え処理や再多重化処理を行う必要がなく、コストの上昇を抑えることができる。また、ＴＳの編集時においても符号量の微調整は不要となる。
【００４２】
なお、上述した実施形態では、ＴＳデータは１ＧＯＰごとに符号量削減を行うようにしたが、１ピクチャ単位で行っても、数ＧＯＰ単位で行っても、それ以外の単位であっても良い。ＴＳデータは記録されている形態であっても、通信、放送などあらゆる伝送媒体を経由してデータを送受信する形態であってもよい。
【００４３】
【発明の効果】
以上詳述したように本発明によれば、ビデオデータの符号量が、そのビデオデータのピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除することにより、ピクチャタイプ毎に削減され、ピクチャタイプ毎に先頭のパケット以外の一部のパケットが削除された各ピクチャタイプの残りのパケットの位置と、ビデオパケット以外の複数の要素符号化データのパケットの位置とが変化しないように、ビデオデータのピクチャタイプ毎に削減した符号量に応じて、どの要素符号化データにも属さない無効データパケットが挿入されるので、ビデオデータの符号量を削減する場合に必要とされる処理を低減することができ、しかも多重化符号化データの編集時においても特別な制御を不要とすることができる。
【図面の簡単な説明】
【図１】本発明の概要を説明するための図である。
【図２】本発明の一実施形態にかかる符号量変換装置の構成を示すブロック図である。
【図３】トランスポートストリームパケットの構成を示す図である。
【図４】一般的な画像データの符号化装置の構成を示す図である。
【図５】一般的な画像データの復号化装置の構成を示す図である。
【図６】多重化パケットストリームの復号化装置の構成を示すブロック図である。
【図７】トランスポートストリームの構成を示す図である。
【図８】多重化された情報から必要な情報パケットを抽出するための仕組みを説明するための図である。
【符号の説明】
１１ ＣＰＵ
１２ 特定要素データ指示器
１３ 入出力メモリ管理器
１４ ＴＳパケットメモリ
１５ 特定要素データ分離器
１６ 符号量削減器（符号量削減手段）
１７ 削減量カウンタ
１８ 無効パケット挿入器（無効データ挿入手段）
Claims (4)
- 複数のピクチャタイプで符号化されたビデオデータのパケットを含む複数の要素符号化データをパケット多重化して作成した多重化符号化データの符号量を変換する符号量変換方法であって、
前記複数の要素符号化データに含まれるビデオデータの前記ピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除して、前記ビデオデータの符号量を前記ピクチャタイプ毎に削減すると共に、
前記ピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除した前記ビデオデータの各ピクチャタイプの残りのパケットの位置と、前記ビデオパケット以外の前記複数の要素符号化データのパケットの位置とが変化しないように、前記ビデオデータの前記ピクチャタイプ毎に削減した符号量に応じて、どの要素符号化データにも属さない無効データパケットを挿入することを特徴とする符号量変換方法。 - 前記ビデオデータの時間関連情報は変更しないことを特徴とする請求項１に記載の符号量変換方法。
- 複数のピクチャタイプで符号化されたビデオデータのパケットを含む複数の要素符号化データをパケット多重化して作成した多重化符号化データの符号量を変換する符号量変換装置であって、
前記複数の要素符号化データに含まれるビデオデータの前記ピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除して、前記ビデオデータの符号量を前記ピクチャタイプ毎に削減する符号量削減手段と、
前記ピクチャタイプ毎に先頭のパケット以外の一部のパケットを削除した前記ビデオデータの各ピクチャタイプの残りのパケットの位置と、前記ビデオパケット以外の前記複数の要素符号化データのパケットの位置とが変化しないように、前記ビデオデータの前記ピクチャタイプ毎に削減した符号量に応じて、どの要素符号化データにも属さない無効データパケットを挿入する無効データ挿入手段とを備えることを特徴とする符号量変換装置。 - 前記符号量削減手段は、前記ビデオデータの時間関連情報は変更しないことを特徴とする請求項３に記載の符号量変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001340583A JP3709835B2 (ja) | 2001-11-06 | 2001-11-06 | 符号量変換方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001340583A JP3709835B2 (ja) | 2001-11-06 | 2001-11-06 | 符号量変換方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003143017A JP2003143017A (ja) | 2003-05-16 |
| JP3709835B2 true JP3709835B2 (ja) | 2005-10-26 |
Family
ID=19154761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001340583A Expired - Lifetime JP3709835B2 (ja) | 2001-11-06 | 2001-11-06 | 符号量変換方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3709835B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006140632A (ja) * | 2004-11-10 | 2006-06-01 | Pioneer Electronic Corp | データレート変換装置、データレート変換方法、データレート変換プログラム、および、そのプログラムが記録された情報記録媒体 |
| JP4514618B2 (ja) * | 2005-02-03 | 2010-07-28 | 株式会社日立製作所 | デジタル放送受信装置 |
| JP2008091965A (ja) * | 2006-09-29 | 2008-04-17 | Leader Electronics Corp | Ｄｖｂ−ｈ信号のビットレート変換装置及び方法 |
| JP5400009B2 (ja) * | 2010-09-27 | 2014-01-29 | ルネサスエレクトロニクス株式会社 | トランスコード装置及びトランコード方法並びにプログラム |
-
2001
- 2001-11-06 JP JP2001340583A patent/JP3709835B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003143017A (ja) | 2003-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0862837B1 (en) | Method and apparatus for statistical -multiplexing programs using decoder buffer fullness | |
| US6654421B2 (en) | Apparatus, method and computer program product for transcoding a coded multiplexed sound and moving picture sequence | |
| US8131135B2 (en) | MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method | |
| WO1997019561A9 (en) | Method and apparatus for multiplexing video programs | |
| JP4092681B2 (ja) | Ｍｐｅｇ記録装置、再生装置及び伝送装置 | |
| JP3709835B2 (ja) | 符号量変換方法及び装置 | |
| JP3748234B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP3469866B2 (ja) | 符号化ビデオピクチャのデータストリームのビットレートを変化させる方法 | |
| JP4148200B2 (ja) | Ｍｐｅｇ画像データ記録装置及びｍｐｅｇ画像データ記録方法 | |
| JP4192861B2 (ja) | Ｍｐｅｇ画像データ記録装置及びｍｐｅｇ画像データ記録方法 | |
| JP3748243B2 (ja) | Ｍｐｅｇデータ記録装置 | |
| JP3748240B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP3748242B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP3748241B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP3748244B2 (ja) | Ｍｐｅｇデータ記録装置 | |
| JP3748245B2 (ja) | Ｍｐｅｇデータ記録装置 | |
| JP2006054530A (ja) | Ｍｐｅｇ画像データ記録装置及びｍｐｅｇ画像データ記録方法 | |
| JP2007325304A (ja) | Ｍｐｅｇデータ記録再生方法 | |
| JP2004297829A (ja) | Ｍｐｅｇデータ再生装置 | |
| JP2008005520A (ja) | Ｍｐｅｇデータ記録再生装置 | |
| JP2005198349A (ja) | 記録媒体 | |
| JP2004289872A (ja) | Ｍｐｅｇデータ再生装置 | |
| JP2004289871A (ja) | Ｍｐｅｇデータ再生方法 | |
| JP2004254347A (ja) | Ｍｐｅｇデータ再生方法 | |
| JP2008005521A (ja) | Ｍｐｅｇデータ記録再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040330 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050502 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050629 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050719 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050801 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3709835 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080819 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090819 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090819 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100819 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100819 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110819 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120819 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120819 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120819 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120819 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130819 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |