JP4426689B2 - 動画像符号化方式の変換方法及びその装置 - Google Patents
動画像符号化方式の変換方法及びその装置 Download PDFInfo
- Publication number
- JP4426689B2 JP4426689B2 JP2000047698A JP2000047698A JP4426689B2 JP 4426689 B2 JP4426689 B2 JP 4426689B2 JP 2000047698 A JP2000047698 A JP 2000047698A JP 2000047698 A JP2000047698 A JP 2000047698A JP 4426689 B2 JP4426689 B2 JP 4426689B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- data
- intra
- encoding
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、ある符号化方式で記録された動画像データを他の符号化方式の動画像データに変換するための方法及び装置に関する。
【0002】
【従来の技術】
近年、音声、画像、その他のデータを統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、例えば、新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。
【0003】
一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合1文字当たりの情報量は1〜2バイトであるのに対し、音声の場合1秒当たり64kb(電話品質)、さらに動画については1秒当たり100Mb(現行テレビ受信品質)以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。
【0004】
例えば、テレビ電話は、64kbps〜1.5Mbpsの伝送速度を持つサービス総合ディジタル網(ISDN:Integrated Services Digital Network)によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。
【0005】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU−T(国際電気通信連合 電気通信標準化部門)で国際標準化されたH.261規格やH.263規格の動画圧縮技術が用いられている。
【0006】
また、MPEG規格の情報圧縮技術によると、通常のテレビ放送動画データが2〜15Mbpsに圧縮される。
【0007】
ここで、MPEG(Moving Picture Experts Group)とは、世界標準化機構(International Organization for Standardization、 ISO)の音声・動画符号化の標準化を進めてきた作業グループ(ISO/IEC JTC1/SC29/WG11)を指すが、同時にこのグループが定めたデータ圧縮の国際規格をも意味する。現在、MPEGによって、物体単位で符号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG4が規格化されつつある。
【0008】
このように、複数の動画像符号化標準が用いられようとしているが、今後の課題に符号化データ(以後、ビットストリームとよぶ)に互換性がないことが挙げられる。
【0009】
例えばMPEG4に基づく復号化器はH.263ビットストリームは復号できるとの規定はあるが、上記したH.261、H.263、MPEG2、MPEG4の符号化方式間では、一般的にビットストリームに互換性がない(すなわち、異なる方式に基づく符号化器と復号化器を対として用いることができない)。
【0010】
このために、異なる符号化方式に基づくビットストリームを変換する装置(以後、トランスコーダーとよぶ)が必要になっている。
【0011】
図1にトランスコーダーの概念図を示す。ここでは異なる符号化方式をA、Bとし、方式Aによる復号化器101と方式Bによる符号化器103をフレームメモリおよび画像変換部102を介して接続している。
【0012】
例えば、方式Aと方式BをそれぞれMPEG2(画像サイズ704×480画素)、H.263(画像サイズ360×288画素)と考えてみる。画像サイズが異なるものの、一度、ビットストリームを画像に変換して、再度符号化するため変換を行うことができる。
【0013】
ところで、上記したH.261、H.263、MPEG2、MPEG4の符号化方式は、いずれも動き補償離散コサイン変換(Motion-Compensated Discrete Cosine Transformation)符号化方式(MC-DCT符号化と以後略す)が共通の枠組みとして用いている。MC-DCT符号化方式では画像を16×16画素からなるマクロブロックと呼ばれるブロックに分割し、連続する画像(フレーム)間でマクロブロックの差分が最小となる移動量(動きベクトル)を計算し、その差分を離散コサイン変換(DCT)符号化を行う。
【0014】
フレーム間差分最小となるよう動きベクトルを求め冗長性を除いた差分画像を得る作業は動き補償と呼ばれる。DCTは動き補償された画像(差分画像)に残る空間的冗長性を除くために用いられる。
【0015】
なお、最初のフレームは、他のフレームとの差分符号化が行えないため、DCTのみを用いて符号化される。これをIピクチャとよぶ。MC-DCT符号化される一般フレームをPピクチャとよぶ。
【0016】
以上のMC-DCT符号化方式が符号化方式A、Bに用いられるとすると図1の復号化時に動き情報やDCT係数量子化などMC-DCT符号化時の副次的情報(以後、サイド情報とよぶ)を得ることができ、再符号化時の計算効率や符号化効率(画質と符号量)を向上させることが期待できる。
【0017】
このサイド情報を利用したトランスコーダーの従来例として、特開平10−271494号公報に開示されている動画符号変換装置がある。
【0018】
この概念を図2に示す。図1に示すトランスコーダーにおける方式AをMPEG2、方式BをH.263と置くと図2の202から203の構成に相当する。
【0019】
本従来例では、MC-DCT方式を二つの符号化方式が共通の枠組みとしてもつことから、MPEG2復号時に得られた動きベクトルをスケーリング(画像サイズの比を乗じて絶対値を変換)することにより、H.263の符号化時に、動きベクトル探索を省略することが可能になっている。
【0020】
図2に示した従来例では、サイド情報に動きベクトルを取り、MPEG2の復号時に得られた情報を利用して再符号化の計算効率を向上させている。
【0021】
【発明が解決しようとする課題】
しかし、実際のトランスコーダーを構成するに当たり、動きベクトルの再利用以外に検討すべき課題は多い。
【0022】
実際の符号化器では、その出力ビットストリームのデータ量を調整するためにレート制御とよぶ機構が必須である。
【0023】
通常、出力側にデータ発生量の変動を吸収する出力バッファを設けておき、その出力バッファに滞留したデータ量(以後、バッファ充填量とよぶ)に応じて符号量を調整する。
【0024】
MC-DCT符号化方式では、通常、この符号量調整はDCT係数の量子化精度を可変とすることで行う(精度を細かくとれば、画質が向上する代わりに発生符号量が増大し、粗くとれば、その逆となる)。
【0025】
図3にトランスコーダーの課題を示す概念図を示す。
【0026】
出力バッファ304の先には通信路または蓄積媒体がある。今、固定のデータ速度を持つ通信路を仮定すると、出力バッファからは一定速度でビットストリームが出力される。方式Bによる符号化器303はバッファ304のデータが枯渇(アンダーフロー)しないように、また氾濫(オーバーフロー)しないように発生符号量を調整(レート制御)しなければならない。一方で、再符号化の画質向上のためには、量子化、符号化モードなど符号化手順に関するサイド情報の利用が必要である。一般的に述べれば、方式Bによる符号化器を方式Aによる符号化手順と独立に動作させると、Aにより生じる画質損失に加えて方式Bによる画質損失が重畳される。例えば、方式Aによるビットストリームが、10フレーム/秒で符号化されているとする。
【0027】
これの再生結果を方式Bにより15フレーム/秒で独立に再符号化すると、方式Aの符号化時刻と一致する方式Bのフレームは3フレームに一フレームだけとなる。すなわち他の2フレームは復号化間隔が元の動画像と一致しない。このため、B方式の復号化結果は、フレームレートを高くしたにもかかわらず方式Aの画質を維持できないばかりか、悪くなることが危惧される。
【0028】
これは、DCT係数の量子化にも言える。方式Aの量子化を1/2による丸めとする。再量子化による累積誤差を防ぐ意味で、方式Bの量子化も同じく1/2とするほうが、対符号量の意味で最も望ましい。トランスコーダーにおけるフレームレートの変換、DCT係数の再量子化、画像サイズの変換はいずれも、広い意味で動画像の“再量子化”を行う作業である。この再量子化は、図3において方式Aによる復号化器301に従属するように方式Bによる符号化器303を動作させることが望ましい。
【0029】
以上、まとめるとレート制御を行うには、方式Bによる符号化器303は、出力バッファ304の充填量を観察しながら、再量子化を制御できるよう復号化器301と独立に動作させる方が良い。一方で、広義の再量子化による画質低下を抑えるためには、方式Bによる符号化器303は、方式Aによる復号化器301に従属させて動作させる方が良い。ところが、トランスコーダーに関する従来技術は、動きベクトルスケーリングによる再符号化などサイド情報利用による計算効率向上の観点から開発されており、レート制御と再量子化による画質低下抑圧を両立させる技術は開示されていない。
【0030】
本発明は、かかる点に鑑み、動画像符号化方式を変換する際に画質劣化を抑えながらレート制御を行う方法及び装置を提供することを目的とする。
【0031】
【課題を解決するための手段】
本発明の第1の態様は、フレーム内符号化モードとフレーム間差分符号化モードの組み合わせからなる第1の動画像符号化方式によって生成された第1データ系列を、同じくフレーム内符号化モードとフレーム間差分符号化モードの組み合わせからなる第2の動画像符号化方式によって生成される第2データ系列に、データ先頭から逐次的に変換する方法/装置であって、
1.第1データ系列から1フレーム分のデータを読み出し、さらに後続フレームの符号化モードを先読みし記録する
2.前記先読みされた後続フレームの符号化モードがフレーム内符号化である場合は、第2の動画像符号化方式に変換された第2データ系列の発生符号量に応じて現フレームの符号化を行わないか、あるいは、発生符号量を減ずる制御を行う。そして、第1データ系列中に存在するフレーム内符号化モードで符号化されたデータを、優先的に第2データ系列に変換する。
【0032】
このような方法/装置によれば、後続フレームの符号化モードを先読みし記録し、このモードに応じて方式変換時の符号量に応じて現フレームの符号量を制御することによって、'I'フレームの符号化時にオーバーフローを生じさせない安定した符号化が行える。
【0033】
第1の態様において、後続フレームの符号化モードがフレーム内符号化である場合、前記第2データ系列の発生符号量が所定値以上であれば、前記現フレームを破棄して前記後続フレームへスキップする。これにより、現フレームが破棄されるので後続の'I'フレームの符号化時にはオーバーフローを生じさせないようにすることができる。
【0034】
また、第1の態様において、第2の動画像符号化方式によって生成される前記第2データ系列を出力バッファに書き込み、前記第2データ系列の発生符号量として前記出力バッファのバッファ充填量を使用する。これにより、オーバーフローを生じさせないようにする直接の対象である出力バッファのバッファ充填量を直接モニタして発生符号量を制御できる。
【0035】
また、第1の態様において、前記第1のデータ系列から1符号化単位のデータを読出した際に、その1符号化単位のデータ量を記録し、前記記録されたデータ量に係数を乗じた値を、前記1符号化単位毎に第2データ系列の発生符号量の目標値として決める。そして、前記第2の動画像符号化方式により前記1符号化単位のデータから前記第2データ系列を生成する際に、前記第2データ系列の発生符号量が前記目標値に近づくようにレート制御する。これにより、第1データ系列を構成する各符号化単位の間でのデータ量の比が、対応する第2データ系列を構成する各符号化単位の間でのデータ量の比に近づけられるので、第1の動画像符号化方式で符号化した際の符号化単位間での符号発生量の比を保存したまま第2の動画像符号化方式に変換できる。
【0036】
また、第1の態様において、前記第1のデータ系列からデータを読み出した際に、前記第1の動画像符号化方式において当該データを量子化した際の量子化幅を取得し、前記現フレームを前記第2の動画像符号化方式により符号化する際に前記第2データ系列の発生符号量を調節する場合、前記第2の動画像符号化方式における量子化幅を、前記取得された量子化幅の整数倍に変更する。これにより、第1の動画像符号化方式において当該データを量子化した際の量子化幅の整数倍の量子化幅にて量子化されるので、変換前後で量子化特性をある程度保存する事ができ効率的で且つ画質劣化の少ない変換を実現できる。
【0037】
また、第1の態様において、前記現フレームを前記第2の動画像符号化方式により符号化し、且つ前記第2データ系列の発生符号量を調節する場合、前記第2の動画像符号化方式における量子化幅を変更する。これにより、最初にインター・イントラ制御を行い、それでも量子化幅の変更が必要な場合には量子化幅を制御して発生符号量を制御するので、符号化方式の独立動作と量子化特性の保存といった2つの方針を最大限満足する設計が可能となる。
【0038】
本発明の第2の態様は、第1の動画像符号化方式によって生成された第1データ系列を第2の動画像符号化方式によって生成される第2データ系列に、データ先頭からフレームあるいはフレームを分割して得られる部分画像を符号化単位毎に逐次的に変換する方法/装置であって、
1.第1データ系列から1符号化単位のデータを読み出した際、その1符号化単位のデータ量を記録する
2.1符号化単位を第2の動画像符号化方式に変換する際に第2データ系列の発生符号量の目標値を前記データ量に所定の係数を乗じた値に定める。そして、第1データ系列を構成する各符号化単位のデータ量の比が、第2データ系列を構成する各符号化単位のデータ量の比に近づくよう制御する。
【0039】
このような方法/装置によれば、元画像データの1フレーム分のデータ量を記録し、これを第2の動画像符号化方式に変換する際に発生符号量の目標値を前記データ量に所定の係数を乗じた値に定めることにより、元来のレート制御に忠実な再符号化が行え、再量子化による累積誤差による画質低下を抑制することができる。
【0040】
第2の態様において、1符号化単位は、1フレーム又は複数フレームで構成されることが望ましい。これにより、1符号化単位は任意のフレーム数で構成されるので設計自由度を確保できる。
【0041】
本発明の第3の態様は、フレーム内符号化モードとフレーム間差分符号化モードをブロック単位の切り替えで行う第1の動画像符号化方式によって生成された第1データ系列を、同じくフレーム内符号化モードとフレーム間差分符号化モードをブロック単位の切り替えで行う第2の動画像符号化方式によって生成される第2データ系列に、データ先頭から逐次的に変換する方法/装置であって、
第2データ系列の発生符号量が目標となる符号量に達しない場合は、第2の動画像方式においてフレーム内符号化モードをより多く選択する。
【0042】
このような方法/装置によれば、出力バッファに余裕があるとき、イントラ符号化モードを挿入することにより調整する。これにより量子化特性を変更しなくてもレート制御が行え、再量子化による画質劣化を抑えることができる。
【0043】
第3の態様において、前記第1のデータ系列から1ブロック単位のデータを読出した際に、その1ブロック単位のデータ量を記録し、前記ブロック単位毎に前記記録されたデータ量に係数を乗じた値を第2データ系列の発生符号量の目標値として使用することが望ましい。
【0044】
また、第3の態様において、前記第1のデータ系列からデータを読み出した際に、前記第1の動画像符号化方式において当該データを量子化した際の量子化幅を取得し、現フレームを前記第2の動画像符号化方式により符号化する際に前記第2データ系列の発生符号量を調節する場合、前記第2の動画像符号化方式における量子化幅を、前記取得された量子化幅の整数倍に変更することが望ましい。
【0045】
また、第3の態様において、前記ブロック単位は、フレーム単位又はマクロブロック単位である。
【0046】
また、第3の態様において、動き補償されたブロック間差分の輝度分散を、フレーム内符号化モードがより多く選択されるように再定義して、フレーム内符号化モードによって符号化されるブロック数を増加させる用にしても良い。
【0047】
また、第3の態様において、動領域に属するマクロブロックのイントラリフレッシュの間隔を短縮して、フレーム内符号化モードによって符号化されるブロック数を増加させるようにしてもよい。
【0048】
本発明の第4の態様は、フレーム内符号化モードとフレーム間差分符号化モードをブロック単位の切り替えで行う第1の動画像符号化方式によって生成された第1データ系列を、同じくフレーム内符号化モードとフレーム間差分符号化モードをブロック単位の切り替えで行う第2の動画像符号化方式によって生成される第2データ系列に、データ先頭から逐次的に変換する方法/装置であって、
第2データ系列の発生符号量が目標となる符号量を越える場合は、第2の動画像方式においてフレーム間符号化モードをより多く選択する。
【0049】
このような方法/装置によれば、出力バッファに余裕が無いときは、インター符号化モードを挿入することにより調整する。これにより量子化特性を変更しなくてもレート制御が行え、再量子化による画質劣化を押さえることができる。
【0050】
また、第4の態様において、前記第1のデータ系列から1ブロック単位のデータを読出した際に、その1ブロック単位のデータ量を記録し、前記ブロック単位毎に前記記録されたデータ量に係数を乗じた値を第2データ系列の発生符号量の目標値として使用することが望ましい。
【0051】
また、第4の態様において、前記第1のデータ系列からデータを読み出した際に、前記第1の動画像符号化方式において当該データを量子化した際の量子化幅を取得し、現フレームを前記第2の動画像符号化方式により符号化する際に前記第2データ系列の発生符号量を調節する場合、前記第2の動画像符号化方式における量子化幅を、前記取得された量子化幅の整数倍に変更することが望ましい。
【0052】
本発明の第5の態様は、量子化により情報損失を伴う第1の不可逆動画像符号化方式によって生成された第1データ系列をおなじく量子化により情報損失を伴う第2の不可逆動画像符号化方式によって生成される第2データ系列に逐次的に変換する方法/装置であって、
1.第1データ系列からデータを読み出した際、量子化幅を記録する
2.第2データ系列の発生符号量を調節する際、前記記録された量子化幅の整数倍に量子化幅を変更する。
【0053】
このような方法/装置によれば、レート制御を量子化幅の変更により行うとき、変更を整数倍にとることにより、再量子化による画質劣化を抑えることができる。
【0054】
さらに、上記第1,2,3,4,5の態様と同等の処理をコンピュータに実行させるプログラムを、コンピュータによる機械読取り可能な記録媒体に格納した態様も本発明の1つの態様に含む。
【0055】
【発明の実施の形態】
実施例として、ITU-T H.261勧告に基づく動画像符号化方式で符号化されたビットストリームをISO MPEG-4標準に基づく動画像符号化方式のビットストリームへ変換すること、およびその逆を考える。いずれもMC-DCT方式に基づく代表的な符号化方式であり、その詳細はITU−T勧告H.261 文書(H.261 Recommendation、 LINE TRANSMISSION OF NON-TELEPHONE SIGNALS 03/1993)とISO標準化文書(文書番号ISO/IEC JTC1/SC29/WG11 N2502文書名 INFORMATION TECHNOLOGY -GENERIC CODING OF AUDIO-VISUAL OBJECTS Part 2: Visual ISO/IEC 14496-2、発行年 10/1998)に記載されている。また標準化には規定されていないH.261符号化器の動作の参考としてCCITT(現在ITU-T)SG15 Working Party 15/4、Specialists Group on Coding for Visual Telephony Document 525、Description of Ref. Model8 (RM8)、June 1989を用いる。
【0056】
はじめにH.261のデータ構造を説明する。
【0057】
図4はH.261の画像データ構成を示している。符号化される画像はQCIF(Quarter Common Interface Format)とよばれ、横176画素、縦144画素であるとする。H.261においても画像を16×16画素のマクロブロックに分割する。マクロブロック単位で動き補償が行われるが、DCT符号化はマクロブロックを構成するDCTブロックで行われる。DCTブロックの大きさは8×8画素であり、輝度について4ブロック、色差については、解像度が輝度の縦横それぞれ1/2であることから、1ブロックづつとなり計6DCTブロックでマクロブロックを構成する。マクロブロックを3行集めたものをGOB(Group of Block)とよぶ。
【0058】
図5にH.261に基づいて符号化されたデータの構成を示す。理解のため、ビットストリームを4階層に分けて説明する。まずビットストリームは、ピクチャ(フレームと同義)の繰り返しである。PSC(Picture Start Code、フレーム開始符号)から始まり、TR(Temporal Reference、フレーム番号)が続く。そしてPTYPE(Picture Type、タイプ情報)がある。H.261ではPTYPEには画像サイズや再生モードが示されており、後述するそのフレームがフレーム内符号化(イントラ符号化)されているのか、フレーム間符号化(インター符号化)されているのかの情報はない。その後にGOBレイヤーの繰り返し(QCIFの場合3回)となる。
【0059】
GOBレイヤーの先頭はGBSC(GOB Start Code):GOB開始符号から始まり、GN(GOB Number、GOB番号)が続き、GQUANT(量子化特性情報)が送られる。H.261ではDCT係数の量子化はインター符号化に関しては1から31のインデックスで示される量子化幅で行われる。イントラ符号化に関しては、インデックス8に相当する1種類のみである。
【0060】
GQUANTにより、当該GOBのDCT係数量子化幅が指示される。GOBレイヤーの最後はマクロブロックデータの繰り返しとなる。マクロブロックのデータはMBA(Macro Block Address、マクロブロックアドレス)で始まる。これは有効な符号を含むマクロブロックの位置を相対的に示している。MC-DCT符号化では、静止領域では動きベクトルもDCT係数も送らずとも画像が再現できる。
【0061】
そこではマクロブロックの情報は送らなくてもよい。これはマクロブロックスキップとよばれ、そのためにMBAが必要となっている。MTYPE(タイプ情報)は、マクロブロックがフレーム間符号化されているか、フレーム内符号化されているかの指示に用いられる。H、261を除くMC-DCT符号化では、フレーム単位のイントラ/インター切り替えの他に、マクロブロック単位で、イントラ/インターの切り替えが行うのが一般的である。
【0062】
また同時にMTYPEには、ループフィルターが当該マクロブロックに施されているか、否かの情報も含まれている。ループフィルターはH.261特有の(他の符号化標準にはない)処理で、動き補償後の予測画像に局所平均によるフィルタを施す。場合により予測効率が向上するため、適応的に利用される。MQUANT(量子化特性)は、GQUANTにより、当該GOBのDCT係数量子化幅が定められるが、これをマクロブロック単位で、量子化幅を変更する必要が生じた場合に送られる。MVD (Motion Vector Data)は動き補償に用いられる動きベクトルである。CBP(Coded Block Pattern)は有意ブロックパターンを表す。
【0063】
計6DCTブロックのうち、DCT後の係数が量子化の結果全て零のものは送る必要がない。そこで、CBPにより、非零の係数をもつブロックのみを指定してDCT係数を伝送する。
【0064】
次にMPEG-4標準について説明する。
【0065】
MPEG-4にはプロファイルとよぶ応用により使用する機能の切り分けがなされている。ここで、変換の対象とするのは最も簡単なシンプルプロファイルである。
図6はMPEG4の画像データ構成を示している。H.261では画像サイズはQCIFおよびその縦横2倍サイズのCIF(Common Interface Format)画像と定められていたが、MPEG4では任意であり、画像サイズが16の倍数であるとの制約もない。また、MPEG4では画素のアスペクト比(1画素を矩形と見たときの縦横の比率)も任意である。H.261では4:3となっている。
【0066】
そこで、簡単のため、ここでは扱う画像のサイズをすべてH.261に合わせる。
MPEG4では、GOBの代わりにVideo Packetとよぶ構造が定義されている。GOBが画像を固定された矩形に分割して得られることに対して、Video Packetの開始位置はマクロブロック単位で任意である。他のDCTブロックの構成はH.261とほぼ同じであるため図6から省略する。
【0067】
MPEG4では、1フレームあるいはピクチャに相当する画像をVideo Object Planeとよんでいる。以後、これをVOPと略す。
【0068】
まずVSC(VOP Start Code、VOP開始符号)から始まり、VTYPE(vop#coding#type)により、そのフレームがフレーム内符号化(イントラ符号化)されているのか、フレーム間符号化(インター符号化)されているのかが分かる。H.261ではTR(Temporal Reference)によりフレーム番号として、時間表示をしたが、MPEG-4では、詳細は引用文献に述べられているため省略するが基準フレームからの経過時間としてMTB(module#time#base)により秒単位の粒度で、VTI(vop#time#increment)により秒未満の粒度で時間を直接指示する。VQAUNTは量子化特性情報であり、H.261のGQUANTに相当するが、画像全体の量子化幅を指定する。RSM(Resync Marke、再同期符号)はVideo Packetの先頭に付され、伝送誤りに際して、再同期が迅速に行えるようになっている。Video Packetヘッダーには、再同期後に必要なVOPに関する情報が収められている。
【0069】
マクロブロックデータの構成は、NCD(Not Coded、無効フラグ)から始まる。H.261ではMBAにより、次の有効マクロブロックへの相対アドレスとして無効マクロブロックをスキップしたが、MPEG4では1ビットのフラグを立てることにより、無効マクロブロックを表現する。MCBPC(macroblock type and the coded block pattern for crominance、マクロブロック情報)は、MTYPEと同様、イントラ/インターの切り替えを行うために用いられる。
【0070】
ただし、MPEG4にはループフィルタがないため、この表示は含まれない。一方で、信号のDCTブロックの有効/無効パターンがMCBPCでは示される。すなわちH.261のCBPのうち、色差信号に関する情報が含まれる。輝度DCTブロックの有効/無効パターンについてはCBPY(輝度有意ブロックパターン)によりマクロブロックを構成する輝度4ブロックのパターンを表す。
【0071】
DQUANTは、DCT係数の量子化幅をマクロブロック単位で変更する場合に用いられる。MQUANTと異なり、±2の範囲で増減値が指示される。MVD(動きベクトル情報)は、動き補償に用いられる動きベクトルである。H.261の精度は整数画素単位であったが、MPEG4では半画素(0.5画素)単位であることが異なる。DCT係数ブロックの構成はほぼH.261と同じである。
【0072】
以上、まとめるとH.261と最も単純な構成のMPEG4はMC-DCTの枠組みを共有し、データ構成も表現方法(符号化の文法)は異なるもののデータに多くの互換性がある。H.261とMPEG4の符号化方式変換上の大きな相違は以下となる。
【0073】
動き補償
H.261:整数精度+ループフィルタ
MPEG4:半画素精度
F値とよぶスケーリングにより探索範囲が変更可能
動きベクトルがマクロブロック当たり4個存在するモードあり、
DCT係数量子化
H.261、MPEG4とも同じ量子化幅をもつ線形量子化.
ただし、イントラ符号化モードの直流成分については、MPEG4では非線形量子化のモードがあり.
H.261のイントラ符号は、量子化インデックス8に固定.
以上の相違から、トランスコーダーは、DCT係数をそのまま転記するような構成はとれず、図3に示すように、方式A(この場合H.261またはMPEG4)を方式B(MPEG4あるいはH.261)に変換する際、フレームメモリ302を介在させ、一度画像データに復号したのち、再符号化する方式または装置とする。
【0074】
この際、サイド情報として図8に示すトランスコーダ中間データを考える。
【0075】
図8中、メモリへの格納先を示したのは後で示す実施例の構成との対応をとるためである。
【0076】
以下に、各データの意味を説明する。
【0077】
これまで説明したデータ構成からH.261とMPEG4共通の中間データとして用いることができる。
【0078】
* 次フレーム符号化モード NPTYPE= ['I'、 'P'、'U']
方式Aのデコード中先読みにより求める。MPEG4であればVTYPE、H.261であれば、'U':不定となる。
【0079】
* 現フレーム符号化量 Pcontent (単位 Kbits)
方式Aの1フレームデコードにより求める。
【0080】
1フレーム終了後に再符号化を行う場合は、1フレーム分のデータ量に相当する。再符号化を元画像復号途中からはじめる場合は、当該フレーム開始からその時刻までデータ量となる。
【0081】
* 現フレーム符号化モード PTYPE = ['I'、 'P']
‘I'はイントラ符号化、'P'はインター符号化を表す。H.261ではすべてのマクロブロックがイントラ符号化であれば、'I'そうでなければ'P'である。これは、後述のPREDi、jから判定できる。
【0082】
* 現フレーム番号 TR (整数値)
MPEG4からは、MTBとVTIより求める。
【0083】
* 有効無効フラグ CDij = [0、1、'U']
マクロブロックの有効:0、無効:1を表す。i、jは、マクロブロックの水平・垂直位置を表す。'U'は、不定の場合を表す。
【0084】
例えばA方式のPピクチャをB方式でIピクチャで再符号化する場合などは不定とする。
【0085】
* ブロック有効無効フラグ CBPi、j、k = [0、1、'U']
DCTブロックの有効・無効を表す。MPEG4からは MCBPCとCBPYから定まる。
【0086】
Y×4、Cr×1、Cb×1 であるので、 kは 0〜5の値をとる。
【0087】
* 量子化スケール QUANTi、j = [1、〜、 31、 'U']
マクロブロック単位の量子化幅を示すインデックス
* 符号化モード MTYPEi、j = ['I'、 'P'、 'U']
マクロブロック単位のイントラ・インターの符号化モードを表す。'U'は不定を示す。
【0088】
* 動きベクトル (MVXi、j、 MVYi、j) 値は [-15、〜、 15、 'U']
動きベクトルの水平、垂直絶対値を整数精度で示す。H.261が整数精度であるので、それに合わせる。
【0089】
* イントラ間隔 PERIODi、j = [0、99]の整数値
MC-DCT方式では、フレーム間DCT演算の精度が累積され符号化・復号化間で演算のミスマッチがおこる。
【0090】
このために、132符号化フレーム間隔以内にマクロブロックをイントラ符号化しなければならない。
【0091】
これをイントラリフレッシュとよぶ。このイントラリフレッシュを周期的に行うためのカウンターである。初期値は0とする。
【0092】
* 動領域フラグ MOVi、j =[0、1、 'U']
そのマクロブロックが動領域に含まれているか否かを示すフラグ。'1'で動領域であるとする。
【0093】
実施例では (MVXi、j、 MVYi、j)の要素のうちいずれかでも絶対値が1以上であれば動領域とする。
【0094】
以上、H.261、 MPEG4のデータ構成を説明した上で、第1の実施例と第2の実施例に共通したフローチャートを図9に説明する。
【0095】
まずはじめに、初期化により、PERIODi、jは全てのI、jについて0に設定する。このデータはマクロブロック単位のイントラ・インター制御に関する。
【0096】
次に、方式A(H.261またはMPEG4)画像の再構成および中間データの生成ステップにより、再生画像と中間データ NPTYPE、Pcontent、PTYPE、TR、CDi,j、CBPi,j,k、QUANTi,j、MTYPEi,j、(MVXi,j、 MVYi,j)、MOVi,jが生成される。
【0097】
ここで全実施例を通してトランスコーダーの基本方針は以下のとおりである。
基本方針1:方式A復号化の際に生成されたサイド情報のうち、PTYPE、TR、CDi,j、CBPi,j,k、QUANTi,j、MTYPEi,jは基本的に全て方式Bの符号化モードに移して使う。これにより、再量子化による累積画質劣化を防ぐことができる。
【0098】
ただし、方式A復号化の際に生成されたサイド情報のうち一部はレート制御のために変更する。変更のやり方に付いては後述する。
【0099】
基本方針2:動きベクトル情報(MVXi,j、MVYi,j)は、方式Bにおける再符号化の際に参考情報として用いられる。すなわち、動きベクトル情報の値が確定している場合は、その近傍でマクロブロック間の差分が最小となる位置を動きベクトルとして再探索するのに使われる。'U'である場合は、(0、0)から探索する。
【0100】
図9において、中間データを生成した後、条件分岐にはいる。
現在のフレームの符号化モードが、インター符号化で、次フレームの符号化モードがイントラ符号化であり、かつ現在のバッファ充填量(図中、Bcontent)が、
Pcontent(当該フレームの累積データ量)>バッファ容量の半分
であれば、現入力フレームを廃棄して符号化をとりやめ、次フレームをイントラ符号化する。
【0101】
また、次フレームを強制的にイントラ符号化する指示が復号側から与えられた場合も同様である。エラーが発生した場合は、復号側から次フレームを強制的にイントラ符号化する指示が与えられる。
【0102】
MC-DCT符号化において、Iピクチャとよばれるイントラ符号化されたフレームは重要である。なぜならば、以後のインター符号化モードで符号化されたフレームは、これなくしては復号できないからである。一方で、出力バッファの容量に余裕がない場合、上記した基本方針1に従って再符号化を行っているとIピクチャの再符号化時に出力バッファがオーバーフローするおそれが生じる。出力バッファがオーバーフローによってIピクチャが符号化されない事態が生じると画質劣化が生じる。
【0103】
そこで、現入力フレームに続く後続フレームのNPTYPEを先読みし、後続フレームのNPTYPEと現在のバッファ充填量(Bcontent)とを勘案して方式Bにおける符号化処理を切り替えるようにした。すなわち、後続フレームがIピクチャであり、且つIピクチャの再符号化時に出力バッファがオーバーフローする可能性が有れば、現入力フレーム(Pピクチャ)を破棄して、再符号化される後続フレームのIピクチャのために出力バッファの容量を確保する。この概念を示したのが図9である。
【0104】
なお、H.261では、イントラ/インター符号化のモード表示がフレーム先頭にないため、図9の条件分岐はMPEG4→H.261の場合のみ適用できる。
【0105】
図9において、条件分岐において'NO'であれば(H.261→MPEG4変換では常に'NO'である)イントラ・インター符号化モード制御に入る。この制御以降の処理についてH.261からMPEG4への変換方法を実施例1、MPEG4からH.261への変換方法を実施例2として説明する。
【0106】
実施例1は、図9、図10、図11に示したフローチャートに基づいた変換が実行される。図9中の太枠で囲んだ処理ステップのうち、イントラ・インター符号化モード制御(S1)は、図10に示すフローチャートにしたがって実行され、レート制御用マクロブロック単位の符号化情報の変更(S2)は図11に示すフローチャートにしたがって実行される。
【0107】
ここで、レート制御に関する条件としてH.261の符号化速度は64Kbps、MPEG4の符号化速度も同じく64Kbpsとする。また出力バッファのバッファサイズは、6.4kbitとする。
【0108】
図10に記されたイントラ・インター符号化モード制御では、H.261のデータ系列からMPEG-4のデータ系列へ変換する際、動領域に属するマクロブロックのうちリフレッシュ間隔が上位であるN(本実施例では3)個のマクロブロックを強制的にイントラ符号化モードに変更する。
【0109】
以上の処理により、動領域のマクロブロックを中心にイントラリフレッシュが行われるので、MPEG-4のビットストリームの耐エラー特性が改善される。これは、静止画領域に伝送誤りが生じた場合、前フレームの結果をコピーすることにより救われ、動領域では画質劣化となることが理由である。
【0110】
図11は、インターモードであると判断されたマクロブロックに対する再符号化の処理ステップを示している。動き予測は、トランスコーダーの基本方針2に示した処理を実行する。
【0111】
この際、動き補償されたブロック間差分の輝度分散をVAR、入力画像のブロック内輝度分散をVARORとして計算する。
【0112】
H.261符号化器のモデルとして典型的なRM8(前記した引用文献に記載)では、このVARとVARORを用いてマクロブロックの符号化モードをイントラ/インター判定している。具体的には、VAR < 64、すなわちフレーム間差分の信号電力が絶対的に小さい場合、またはVAR < VAROR、すなわちフレーム間差分の信号電力がフレーム内信号電力よりも小さい場合は、インター符号化が行われる。
【0113】
インター符号化の際には、バッファ充填量(Bcontent)が予定符号量に近づくように符合発生量を調節するレート制御が行われる。本実施例は、予定符号量を下式に基づいて計算している。
【0114】
予定符号量=Pcontent×(MPEG-4符号化速度/H.261符号化速度)×現在のマクロブロック処理数/総数
本実施例では符号化速度はともに64kbpsであるので、(MPEG4符号化速度/H.261符号化速度)=1である。
【0115】
このように、予定符号量(言い換えれば目標符号量)を、Pcontentを元に計算することにより、H.261の量子化制御をなるべく保存しつつ、元来おこなわれたレート制御をも実現できる。例えば、方式Aのデータ系列を構成する各符号化単位間でのデータ量の比に、方式Bのデータ系列を構成する各符号化単位間でのデータ量の比が近づくようにレート制御されることになる。その結果、方式Aのデータ系列を構築した際のコンセプトが変換後の方式Bのデータ系列においても保存されることになる。
【0116】
また、VARに乗じる係数rは下式に基づいて計算している。
r=max(1.0,予定符号量/発生符号量)
このため、VARは発生符号量が予定符号量を下回っているとき、1より大きくなる。したがって、VAR= VAR*rとすることにより、出力バッファの容量に余裕がある場合(発生符合量が予定符号量を下回っているとき)は、VARを大くしてイントラ符号化モードがより多く選択されるようにモードを制御する。なお、VARは動き補償されたブロック間差分の画素2乗平均(輝度分散)のことであり、フレーム間差分の信号電力を示す。また、VAROR入力画像のブロック内の2乗画素平均(輝度分散)のことであり、フレーム内信号電力を示す。
【0117】
一般の符号化器制御では、ビットレートに余裕がある場合は量子化幅を小さくして画質を向上させるが、本発明のような方式変換符号化の場合は、前述したとおり量子化特性をなるべく変えないことが望ましいので、量子化幅の変更は最小限に抑えてイントラ符号化モードのフレーム(Iピクチャ)の数を増やしている。これにより、パケット落ちなどの障害に対して耐エラー特性が増す。一般的にMPEG-4がH.261よりも符号化効率が良いとされているため、同じ符号化速度の変換では、出力バッファの充填量に余裕がある範囲でイントラ符号化モードをとるよう制御することは以上のような利点がある。
【0118】
また、図11に示すフローチャートの最終ステップは、QUANTi、jの制御である。RM8では、64Kbpsの場合、量子化幅を下式にて求めている。
【0119】
量子化幅= 2× int(バッファ充填量[bit]/ 200) + 2
上式に基づいて量子化幅を制御すれば、バッファ充填量が増えれば量子化幅が大きくなり、発生符号量が減少するフィードバック制御が実現される。
【0120】
本実施例では、量子化誤差の累積と発生ビット量の関係を考慮して、以下のように量子化幅を変更する。
バッファ充填量 >バッファ容量の70%の場合
量子化幅 = QUANTi、j ×2
バッファ充填量 >バッファ容量の80%の場合
量子化幅 = QUANTi、j ×3
バッファ充填量 >バッファ容量の90%の場合
量子化幅 = QUANTi、j ×4
とする。
【0121】
ただし、MPEG4では、隣接するマクロブロックではQUANTi、jの値は最大2までの変更しか許されていないため、変更幅は最大2に制限する。
【0122】
このように、最初に符号化モードを制御してバッファ充填量を目標符号量に近づける制御を行い、それでも量子化特性(量子化幅)を変更する必要があれば、方式Aにおける量子化幅の整数倍になるように方式Bにおける量子化幅を設定する。
【0123】
以上、第1の実施例を述べた。方式変更前の量子化特性を保存しつつ、レート制御を行う方法の一例が実現されている。
【0124】
なお、出力バッファに余裕があるとき、VAR値の再定義によりイントラマクロブロックを増やす方法を述べたが、これとは別に、動領域に属するマクロブロックのイントラリフレッシュの値Nを加減するようにしてもよい。
【0125】
次に、第2の実施例を説明する。
【0126】
第2の実施例は、MPEG4からH.261への変換方法であり、図9、図12、図13を示したフローチャートに基づいて変換動作が実行される。
【0127】
図9中の太枠で囲んだ処理ステップのうち、イントラ・インター符号化モード制御は、図12内のフローチャートにしたがって実行され、レート制御用マクロブロック単位の符号化情報の変更は図13内のフローチャートにしたがって実行される。
【0128】
理解を容易にするため第1の実施例との相違を中心に説明する。
【0129】
ここでは、MPEG4がH.261よりも符号化効率が良いが、エラー耐性を高めるために、マクロブロックが必要以上にイントラ符号化されていると仮定している。
【0130】
図12に示したイントラ・インター符号化モードの制御では、イントラマクロブロックの中でPERIODi,jが最大のもの、またはPERIODi,jがマクロブロック総数(99)を越えるものを除いて、符号化モードを'U'(不定)としている。このように、現フレームの符号化モードがフレーム間差分符号化モードの場合であっても、最小限のイントラマクロブロックを残して、それ以外は符号化モードを'U'(不定)とする。この結果、次のステップ(図13)で再度インター符号化される機会が生じる。
【0131】
ここで、符号化効率が良い方式Bから相対的に符号化効率の悪い方式Aへ変換する場合、方式Bのデーア系列に含まれている全てのIピクチャ(イントラ符号化画像)を方式Aのデータ系列に変換すると、Pピクチャ(インター符号化画像)に比べてIピクチャはデータ量が多いので出力バッファがオーバーする可能性がある。本実施例は量子化幅を制御することなくバッファオーバーフローを回避するために、イントラ符号化されるマクロブロックの数を減させている。相対的にインター符号化されるマクロブロックの数を増加させている。
【0132】
図13に示したイントラ/インター判定は、RM8で述べられているVARとVARORを用いた一般的な判定法である。図13の最終ステップであるQUANTi,j制御は、第1の実施例と同一であるので説明は省略する。
【0133】
第2の実施例によれば、一般的に符号化効率がMPEG-4に比べて劣ると言われるH.261への方式変換を、イントラマクロブロックをインターマクロブロックへモード変更することにより、他のマクロブロックについて量子化幅を制御せずともバッファオーバーフローを避けることができる。
【0134】
次に、画像符号変換装置の実施例を2つ述べる。図14は第3、第4の実施例に共通するトランスコーダーの概念図であり、図9の方法を装置化したものである。
【0135】
フレーム符号化モードメモリ406、動きベクトルメモリ407、マクロブロック符号化モードメモリ408、レート制御情報メモリ409には、図8記載の中間データが格納される。図9に記載された制御は符号化器制御部405で実現される。この制御信号をうけてフレーム符号化モード変更部410、マクロブロック符号化モード変更部411がそれぞれ、変更を行う。
【0136】
この図は、符号化器制御部405の制御信号が特別にない限り、PTYPE、TR、CDi、j、CBPi、j、k、QUANTi、j、MTYPEi、jの情報がそのまま方式Bによる符号化器に伝えられる構成を示している。
図14を詳細化し、第1の方法実施例に対応する装置実施例を第3の実施例として図15に示す。図15中、501は可変長復号化部、502は逆量子化処理を行う逆量子化部、503は逆DCT処理を行う逆DCT部、504は加算器、505はフレームメモリ、506は動き補償の処理を行う動き補償部、507はループフィルタであり、H.261の復号化器を構成する。復号化された画像はフレームメモリ505を介して、MPEG4符号化器に伝えられる。
【0137】
508は減算器、509はDCT演算を行うDCT部、510はDCT係数を量子化する量子化部、511は逆量子化を行う逆量子化部、512は逆DCT演算を行う逆DCT部、513は加算器、514はフレームメモリ、515は動き予測及び動き補償の処理を行う動き予測・動き補償部、516は可変長符号化部、517は出力バッファであり、MPEG4符号化器を構成する。
【0138】
518はMPEG4レート制御部であり、図9、10、11の制御を実現している。中間データはレート制御情報メモリ519、マクロブロック符号化モードメモリ520、フレーム符号化モードメモリ521に記憶され、この中で、PTYPE、TR、CDi、j、CBPi、j、k、QUANTi、j、MTYPEi、jの情報をうけてMPEG4符号化器が制御される。より具体的にはブロックモード変更部522がマクロブロックの符号化モードを変更し、イントラ・インターモード変更部が、PTYPEとMTYPEの情報を元に、予測符号化を制御する。
【0139】
なお、図の簡略化のため示さないが、モード情報は、可変長符号化部516で多重化され出力バッファに送出される。
次に第4の実施例を図16を用いて説明する。
【0140】
第4の実施例は第3の実施例と逆のMPEG-4からH.261への変換を行う。図16中、601は可変長復号化部、602は逆量子化部、603は逆DCT部、604は加算器、605はフレームメモリ、606は動き補償部であり、MPEG4の復号化器を構成する。
【0141】
復号化された画像はフレームメモリ605を介して、H.261符号化器に伝えられる。
【0142】
607は減算器、608はDCT部、609は量子化部、610は逆量子化部、611は逆DCT部、612は加算器、613はフレームメモリ、614は動き予測・動き補償部、615はループフィルタ、616は可変長符号化部、617は出力バッファであり、H.261符号化器を構成する。618はH.261レート制御部であり、図9、12、13の制御を実現している。中間データはレート制御情報メモリ619、マクロブロック符号化モードメモリ620、フレーム符号化モードメモリ621に記憶され、この中で、PTYPE、TR、CDi、j、CBPi、j、k、QUANTi、j、MTYPEi、jの情報をうけてH.261符号化器が制御される。
より具体的にはブロックモード変更部622がマクロブロックの符号化モードを変更し、イントラ・インターモード変更部が、PTYPEとMTYPEの情報を元に、予測符号化を制御する。なお、図の簡略化のため示さないが、モード情報は、可変長符号化部623で多重化され出力バッファに送出される。
【0143】
本発明を実施するコンピュータをプログラムするために使用できる命令を含む記録媒体であるコンピュータプログラム製品が本発明の範囲に含まれる。この記録媒体は、フロッピーディスク、光ディスク、CD−ROM及び磁気ディスクなどのディスク、ROM,RAM,EPROM、EEPROM、磁気又は光カードなどであるが、特にこれらに限定されない。また、このプログラムを記録媒体に記録して世界各地の端末に移送する、あるいはインターネット等の通信回線を経由して転送(暗号化して配信)することにより、コンピュータや携帯情報端末で実現することも考えられる。
【0144】
【発明の効果】
以上詳記したように本発明に係る動画像符号変換方法/装置によれば、次フレームの符号化モードを先読みし記録し、このモードに応じて方式変換時の符号量に応じて現フレームの符号量を制御することによって、'I'フレームの符号化時にオーバーフローを生じさせない安定した符号化が行える。
【0145】
また本発明に係る動画像符号変換方法/装置によれば、元画像データの1フレーム分のデータ量を記録し、これを第2の動画像符号化方式に変換する際に発生符号量の目標値を前記データ量に所定の係数を乗じた値に定めることにより、元来のレート制御に忠実な再符号化が行え、再量子化による累積誤差による画質低下を抑制することができる。
【0146】
また本発明に係る動画像符号変換方法/装置によれば、出力バッファに余裕があるとき、イントラ符号化モードを挿入することにより調整する。これにより量子化特性を変更しなくてもレート制御が行え、再量子化による画質劣化を押さえることができる。
【0147】
また本発明に係る画像符号変換方法/装置によれば、出力バッファに余裕が無いときは、インター符号化モードを挿入することにより調整する。これにより量子化特性を変更しなくてもレート制御が行え、再量子化による画質劣化を押さえることができる。
【0148】
また本発明に係る画像符号変換方法/装置によれば、レート制御を量子化幅の変更により行うとき、変更を整数倍にとることにより、再量子化による画質劣化を押さえることができる。
【図面の簡単な説明】
【図1】トランスコーダの概念図
【図2】従来例の符号変換装置を示す図
【図3】トランスコーダの課題を示す概念図
【図4】 H.261の画像データ構成図
【図5】 H.261の画像データ構成図
【図6】 MPEG4ビジュアルシンプルプロファイルの画像データ構成図
【図7】 MPEG4ビジュアルシンプルプロファイルのデータ構成図
【図8】トランスコーダ中間データを示す図
【図9】トランスコーダ全系フローチャート
【図10】 H.261→MPEG4変換時のイントラ・インター符号化モード制御部分のフローチャート
【図11】 H.261→MPEG4変換時のレート制御用マクロブロック単位符号化情報変更部分のフローチャート
【図12】 MPEG4→H.261変換時のイントラ・インター符号化モード制御部分のフローチャート
【図13】 MPEG4→H.261変換時のレート制御用マクロブロック単位符号化情報変更部分のフローチャート
【図14】本発明によるトランスコーダの概念図
【図15】 H.261→MPEG4トランスコーダーを示す図
【図16】 MPEG4→H.261トランスコーダーを示す図
【符号の説明】
101 方式Aによる復号化器
102 フレームメモリ/画像変換部
103 方式Bによる符号化器
202 MPEG2復号化器
203 画像変換部
204 H.263符号化器
205 動きベクトルスケーリング部
301 方式Aによる復号化器
302 フレームメモリ/画像変換部
303 方式Bによる符号化器
304 出力バッファ
401 方式Aによる復号化器
402 フレームメモリ/画像変換部
403 方式Bによる符号化器
404 出力バッファ
405 符号化器制御部
406 フレーム符号化モードメモリ
407 動きベクトルメモリ
408 マクロブロック符号化モードメモリ
409 レート制御情報メモリ
410 フレーム符号化モード変更部
411 マクロブロック符号化モード変更部
501 可変長復号化部
502 逆量子化部
503 逆DCT部
504 加算器
505 フレームメモリ
506 動き補償部
507 ループフィルタ
508 減算器
509 DCT部
510 量子化部
511 逆量子化部
512 逆DCT部
513 加算器
514 フレームメモリ
515 動き予測・動き補償部
516 可変長符号化部
517 出力バッファ
518 MPEG4レート制御部
519 レート制御情報メモリ
520 マクロブロック符号化モードメモリ
521 フレーム符号化モードメモリ
522 ブロックモード変更部
523 イントラ・インターモード変更部
524 動きベクトルメモリ
601 可変長復号化部
602 逆量子化部
603 逆DCT部
604 加算器
605 フレームメモリ
606 動き補償部
607 減算器
608 DCT部
609 量子化部
610 逆量子化部
611 逆DCT部
612 加算器
613 フレームメモリ
614 動き予測・動き補償部
615 ループフィルタ
616 可変長符号化部
617 出力バッファ
618 MPEG4レート制御部
619 レート制御情報メモリ
620 マクロブロック符号化モードメモリ
621 フレーム符号化モードメモリ
622 ブロックモード変更部
623 イントラ・インターモード変更部
624 動きベクトルメモリ
Claims (21)
- フレーム内符号化モードとフレーム間差分符号化モードの組み合わせからなる第1の動画像符号化方式によって生成された第1データ系列を、フレーム内符号化モードとフレーム間差分符号化モードの組み合わせからなる第2の動画像符号化方式によって生成される第2データ系列に変換する動画像符号化方式の変換方法であって、
現フレームの後に続く後続フレームの符号化モードを前記第1データ系列から先読みするステップと、
先読みされた前記後続フレームの符号化モードがフレーム内符号化であるか否か判断するステップと、
前記後続フレームの符号化モードがフレーム内符号化である場合、前記第2データ系列の発生符号量に応じて、前記現フレームを前記第2の動画像符号化方式により符号化するか否か決めるステップとを有する動画像符号化方式の変換方法。 - 前記後続フレームの符号化モードがフレーム内符号化で、前記第2データ系列の発生符号量に応じて、前記現フレームを符号化しない場合は、前記現フレームを破棄して前記後続フレームへスキップすることを特徴とする請求項1記載の動画像符号化方式の変換方法。
- 更に、前記第2の動画像符号化方式によって生成される前記第2データ系列を出力バッファに書き込み、前記出力バッファのバッファ充填量を前記第2データ系列の発生符号量として求めるステップを有することを特徴とする請求項2記載の動画像符号化方式の変換方法。
- 前記第1のデータ系列から1符号化単位のデータを読出した際に、その1符号化単位のデータ量を記録するステップと、
前記記録されたデータ量に係数を乗じた値を、前記1符号化単位毎に第2データ系列の発生符号量の目標値として決めるステップと、
前記第2の動画像符号化方式により前記1符号化単位のデータから前記第2データ系列を生成する際に、前記第2データ系列の発生符号量が前記目標値に近づくようにレート制御するステップとを有することを特徴とする請求項1記載の動画像符号化方式の変換方法。 - 前記第1のデータ系列からデータを読み出した際に、前記第1の動画像符号化方式において当該データを量子化した際の量子化幅を取得するステップと、
前記現フレームを前記第2の動画像符号化方式により符号化する際に前記第2データ系列の発生符号量を調節する場合、前記第2の動画像符号化方式における量子化幅を、前記取得された量子化幅の整数倍に変更するステップとを有する請求項1記載の動画像符号化方式の変換方法。 - 前記現フレームを前記第2の動画像符号化方式により符号化し、且つ前記第2データ系列の発生符号量を調節する場合、前記第2の動画像符号化方式における量子化幅を変更することを特徴とする請求項1記載の動画像符号化方式の変換方法。
- フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第1の動画像符号化方式によって生成された第1データ系列を、フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第2の動画像符号化方式によって生成される第2データ系列に変換する動画像符号化方式の変換方法であって、
前記第2データ系列の発生符号量が目標値に達しない場合は、量子化特性を保存しつつ、前記第2の動画像符号化方式においてフレーム内符号化モードによって符号化されるブロック数を増加させることを特徴とする動画像符号化方式の変換方法。 - 前記第1のデータ系列から1ブロック単位のデータを読出した際に、その1ブロック単位のデータ量を記録するステップと、
前記ブロック単位毎に前記記録されたデータ量に係数を乗じた値を第2データ系列の発生符号量の目標値として使用するステップとを有する請求項7記載の動画像符号化方式の変換方法。 - 前記第1のデータ系列からデータを読み出した際に、前記第1の動画像符号化方式において当該データを量子化した際の量子化幅を取得するステップと、
現フレームを前記第2の動画像符号化方式により符号化する際に前記第2データ系列の発生符号量を調節する場合、前記第2の動画像符号化方式における量子化幅を、前記取得された量子化幅の整数倍に変更するステップとを有する請求項7記載の動画像符号化方式の変換方法。 - 前記ブロック単位は、フレーム単位又はマクロブロック単位であることを特徴とする請求項7記載の動画像符号化方式の変換方法。
- 動き補償されたブロック間差分の輝度分散を、フレーム内符号化モードがより多く選択されるように再定義して、フレーム内符号化モードによって符号化されるブロック数を増加させることを特徴とする請求項7記載の動画像符号化方式の変換方法。
- 動領域に属するマクロブロックのイントラリフレッシュの間隔を短縮して、フレーム内符号化モードによって符号化されるブロック数を増加させることを特徴とする請求項7記載の動画像符号化方式の変換方法。
- フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第1の動画像符号化方式によって生成された第1データ系列を、フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第2の動画像符号化方式によって生成される第2データ系列に変換する動画像符号化方式の変換方法であって、
前記第2データ系列の発生符号量が目標値を越える場合は、量子化特性を保存しつつ、前記第2の動画像符号化方式においてフレーム間符号化モードによって符号化されるブロック数を増加させることを特徴とする動画像符号化方式の変換方法。 - 前記第1のデータ系列から1ブロック単位のデータを読出した際に、その1ブロック単位のデータ量を記録するステップと、
前記ブロック単位毎に前記記録されたデータ量に係数を乗じた値を第2データ系列の発生符号量の目標値として使用するステップとを有する請求項13記載の動画像符号化方式の変換方法。 - 前記第1のデータ系列からデータを読み出した際に、前記第1の動画像符号化方式において当該データを量子化した際の量子化幅を取得するステップと、
現フレームを前記第2の動画像符号化方式により符号化する際に前記第2データ系列の発生符号量を調節する場合、前記第2の動画像符号化方式における量子化幅を、前記取得された量子化幅の整数倍に変更するステップとを有する請求項13記載の動画像符号化方式の変換方法。 - フレーム内符号化モードとフレーム間差分符号化モードとの組み合わせからなる第1の動画像符号化方式によって生成された第1データ系列を、同じくフレーム内符号化モードとフレーム間差分符号化モードとの組み合わせからなる第2の動画像符号化方式によって生成される第2データ系列に変換する動画像符号化変換装置であって、
現フレームの後に続く後続フレームの符号化モードを前記第1データ系列から先読みする手段と、
先読みされた前記後続フレームの符号化モードがフレーム内符号化であるか否か判断する手段と、
前記後続フレームの符号化モードがフレーム内符号化である場合、前記第2データ系列の発生符号量に応じて、前記現フレームを前記第2の動画像符号化方式により符号化するか否か決める手段とを具備することを特徴とする動画像符号化変換装置。 - フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第1の動画像符号化方式によって生成された第1データ系列を、フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第2の動画像符号化方式によって生成される第2データ系列に変換する動画像符号化変換装置であって、前記第2データ系列の発生符号量が目標値に達しない場合は、量子化特性を保存しつつ、前記第2の動画像符号化方式においてフレーム内符号化モードによって符号化されるブロック数を増加させる機構を有する動画像符号化変換装置。
- フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第1の動画像符号化方式によって生成された第1データ系列を、フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第2の動画像符号化方式によって生成される第2データ系列に変換する動画像符号化変換装置であって、
前記第2データ系列の発生符号量が目標値を越える場合は、量子化特性を保存しつつ、前記第2の動画像符号化方式においてフレーム間符号化モードによって符号化されるブロック数を増加させる機構を有する動画像符号化変換装置。 - フレーム内符号化モードとフレーム間差分符号化モードの組み合わせからなる第1の動画像符号化方式によって生成された第1データ系列を、フレーム内符号化モードとフレーム間差分符号化モードの組み合わせからなる第2の動画像符号化方式によって生成される第2データ系列に変換するプログラムを、コンピュータにより読取り可能に格納した記録媒体であって、
前記プログラムは、
現フレームの後に続く後続フレームの符号化モードを前記第1データ系列から先読みする手順、
先読みされた前記後続フレームの符号化モードがフレーム内符号化であるか否か判断する手順、
前記後続フレームの符号化モードがフレーム内符号化である場合、前記第2データ系列の発生符号量に応じて、前記現フレームを前記第2の動画像符号化方式により符号化するか否か決める手順、を含む記録媒体。 - フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第1の動画像符号化方式によって生成された第1データ系列を、フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第2の動画像符号化方式によって生成される第2データ系列に変換するプログラムを、コンピュータにより読取り可能に格納した記録媒体であって、
前記プログラムは、
前記第2データ系列の発生符号量が目標値に達しない場合は、量子化特性を保存しつつ、前記第2の動画像符号化方式においてフレーム内符号化モードによって符号化されるブロック数を増加させる手順を含む記録媒体。 - フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第1の動画像符号化方式によって生成された第1データ系列を、フレーム内符号化モードとフレーム間差分符号化モードとをブロック単位で切り替える第2の動画像符号化方式によって生成される第2データ系列に変換するプログラムを、コンピュータにより読取り可能に格納した記録媒体であって、
前記プログラムは、
前記第2データ系列の発生符号量が目標値を越える場合は、量子化特性を保存しつつ、前記第2の動画像符号化方式においてフレーム間符号化モードによって符号化されるブロック数を増加させる手順を含む記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000047698A JP4426689B2 (ja) | 1999-02-25 | 2000-02-24 | 動画像符号化方式の変換方法及びその装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11-47613 | 1999-02-25 | ||
JP4761399 | 1999-02-25 | ||
JP2000047698A JP4426689B2 (ja) | 1999-02-25 | 2000-02-24 | 動画像符号化方式の変換方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000312363A JP2000312363A (ja) | 2000-11-07 |
JP4426689B2 true JP4426689B2 (ja) | 2010-03-03 |
Family
ID=26387782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000047698A Expired - Fee Related JP4426689B2 (ja) | 1999-02-25 | 2000-02-24 | 動画像符号化方式の変換方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4426689B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002247588A (ja) * | 2001-02-21 | 2002-08-30 | Sony Corp | 動きベクトル変換方法及び変換装置 |
JP2003052054A (ja) * | 2001-08-07 | 2003-02-21 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4193406B2 (ja) | 2002-04-16 | 2008-12-10 | 三菱電機株式会社 | 映像データ変換装置および映像データ変換方法 |
JP4806515B2 (ja) | 2003-05-19 | 2011-11-02 | 株式会社日立製作所 | 符号化装置、これを用いたビデオカメラ装置及び符号化方法 |
US20050229231A1 (en) * | 2004-03-31 | 2005-10-13 | Lippincott Louis A | Converter-assisted video encoder |
US7502514B2 (en) * | 2004-11-15 | 2009-03-10 | Smith Micro Software, Inc. | System and method for lossless compression of already compressed files |
WO2006093306A1 (ja) * | 2005-03-03 | 2006-09-08 | Pioneer Corporation | 画像符号化方式変換装置及び方法 |
KR101517406B1 (ko) | 2008-07-09 | 2015-05-04 | 삼성전자주식회사 | 부호화 방식 결정 방법 및 장치 |
JP5240230B2 (ja) * | 2010-04-22 | 2013-07-17 | 株式会社日立製作所 | トランスコーダ、記録装置及びトランスコード方法 |
-
2000
- 2000-02-24 JP JP2000047698A patent/JP4426689B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000312363A (ja) | 2000-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6625211B1 (en) | Method and apparatus for transforming moving picture coding system | |
JP4571489B2 (ja) | ビデオ符号化システムにおける量子化器パラメータを表示するための方法および装置 | |
US8374236B2 (en) | Method and apparatus for improving the average image refresh rate in a compressed video bitstream | |
JP5128865B2 (ja) | ビデオ伝送におけるビットストリーム間の切換 | |
JP3920356B2 (ja) | ビデオコーディング | |
JPH07322269A (ja) | ビデオデータを有するビットストリームを符号変換する方法および装置 | |
US6961377B2 (en) | Transcoder system for compressed digital video bitstreams | |
JP2001160967A (ja) | 画像符号化方式変換装置及び符号化レート変換装置 | |
US7826529B2 (en) | H.263/MPEG video encoder for efficiently controlling bit rates and method of controlling the same | |
JP4426689B2 (ja) | 動画像符号化方式の変換方法及びその装置 | |
US7079578B2 (en) | Partial bitstream transcoder system for compressed digital video bitstreams | |
JP3818819B2 (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 | |
JP4292659B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
JP3197868B2 (ja) | 画像符号化方法、イントラ符号化制御方法及びデータ記録媒体 | |
Xin | Improved standard-conforming video transcoding techniques | |
KR100932727B1 (ko) | 비디오 스트림 전환 장치 및 방법 | |
JP2002218470A (ja) | 画像符号化データのレート変換方法、及び画像符号化レート変換装置 | |
JP4292658B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
WO2004030367A1 (ja) | 動画像データストリームの変換装置及び方法 | |
JPH0646411A (ja) | 画像符号化装置 | |
Bonuccelli et al. | „Video Transcoding Techniques in Mobile Systems “ | |
Bhaskaran et al. | The H. 261 Video Coding Standard | |
KR20040031948A (ko) | 동영상 디코딩 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091211 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |