JP4517495B2 - 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法 - Google Patents
画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法 Download PDFInfo
- Publication number
- JP4517495B2 JP4517495B2 JP2000344490A JP2000344490A JP4517495B2 JP 4517495 B2 JP4517495 B2 JP 4517495B2 JP 2000344490 A JP2000344490 A JP 2000344490A JP 2000344490 A JP2000344490 A JP 2000344490A JP 4517495 B2 JP4517495 B2 JP 4517495B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- quantization scale
- compression information
- image compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 63
- 238000000034 method Methods 0.000 title claims description 60
- 238000013139 quantization Methods 0.000 claims description 109
- 230000006835 compression Effects 0.000 claims description 101
- 238000007906 compression Methods 0.000 claims description 101
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 description 30
- 239000000872 buffer Substances 0.000 description 17
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000006731 degradation reaction Methods 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000015556 catabolic process Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010885 neutral beam injection Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法に関し、特に、離散コサイン変換等の直交変換と動き補償とによって圧縮された画像情報（ビットストリーム）を衛星放送、ケーブルＴＶ、インターネット等のネットワークメディアを介して受信する際、あるいは、光ディスク及び光磁気ディスク等の記録媒体上で処理する際に用いられる画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法に関するものである。
【０００２】
【従来の技術】
近年、画像情報をディジタルデータとして取り扱い、その際、画像情報特有の冗長性を利用し、効率の高い情報の伝送及び蓄積を目的とした、例えば離散コサイン変換等の直交変換と動き補償により圧縮する方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ（Moving Picture Experts Group：動画像符号化専門家会合）によって標準化されているＭＰＥＧ２は、汎用画像符号化方式としてＩＳＯ／ＩＥＣ １３８１８−２に定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅している。そのためＭＰＥＧ２は、プロフェッショナル用途からコンシューマ用途まで、広範なアプリケーションに今後とも用いられるものと予想される。
【０００４】
このようなＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓの符号量（以下、ビットレートと記す。）を、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓのビットレートを割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１よりも低いビットレート、つまり、より高い圧縮率の符号化方式には対応していなかった。ところが携帯端末の普及とともに、今後より高い圧縮率の符号化方式のニーズは高まると予想されたことからＭＰＥＧ４符号化方式の標準化が行われ、画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２として国際標準に承認されている。
【０００６】
ところで、ディジタル放送に対応するように一旦符号化されたＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）を携帯端末等で処理するためには、より低いビットレートのＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記す。）に変換することが要求される。
【０００７】
かかる要求に応える画像情報変換装置（トランスコーダ）として、“Field-to-Frame Transcoding with Spatial and Temporal Downsampling”（Susie J Wee,John G.Apostlopoulos,and Nick Feamster,ICIP'99、これを以下、文献１と呼ぶ）において、図４示す装置が提案されている。
【０００８】
図４に示す画像情報変換装置１００は、ピクチャタイプ判別部１０１と、ＭＰＥＧ２画像情報（Ｉ／Ｐピクチャ）復号化部１０２と、間引き部１０３と、ビデオメモリ１０４と、ＭＰＥＧ４画像情報（Ｉ／Ｐ−ＶＯＰ）符号化部１０５と、動きベクトル合成部１０６と、動きベクトル検出部１０７とを備えている。ここで、ＭＰＥＧ４におけるＶＯＰ（Video Object Plane）とは、ＭＰＥＧ２におけるフレームに相当するものである。
【０００９】
まず、ピクチャタイプ判別部１０１は、飛び越し走査のＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）における各フレームのデータを入力し、ＭＰＥＧ２画像情報（以下、Ｉ／Ｐピクチャと記す。）に関するものか、Ｂピクチャに関するものであるかを判別する。ピクチャタイプ判別部１０１は、前者のみを後続のＭＰＥＧ２画像情報復号化部１０２へと出力する。
【００１０】
ＭＰＥＧ２画像情報復号化部１０２における処理は、通常のＭＰＥＧ２画像情報復号化部と同様であるが、Ｂピクチャに関するデータはピクチャタイプ判別部１０１において廃棄されるため、ＭＰＥＧ２画像情報復号化部１０２における機能としてはＩ／Ｐピクチャのみを復号可能であればよい。
【００１１】
間引き部１０３は、ＭＰＥＧ２画像情報復号化部１０２からの画像値を入力し、水平方向に１／２の間引き処理を施し、垂直方向に第１フィールド、も
しくは第２フィールドのどちらか一方のデータのみを残し、他方を廃棄する処理を施すことによって、入力した画像情報の１／４の大きさを持つ順次走査画像を生成する。
【００１２】
ところで、例えば、ＭＰＥＧ２画像情報復号化部１０２から入力したＭＰＥＧ２ビットストリームがＮＴＳＣ（National Television System Committee）の規格に準拠した画像、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き部１０３における間引き処理後の画枠は３６０×２４０画素になる。ところが、後続のＭＰＥＧ４画像情報符号化部１０５において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、間引き部１０３は、さらに、そのための画素の補填または廃棄を行う。すなわち、上記の場合においては、例えば、水平方向の右端、もしくは左端の８ラインを廃棄して３５２×２４０画素とする。
【００１３】
間引き部１０３によって生成された順次走査画像は、ビデオメモリ１０４に蓄積された後、ＭＰＥＧ４画像情報符号化部１０５によって符号化処理が施され、ＭＰＥＧ４ビットストリームとして出力される。
【００１４】
入力となるＭＰＥＧ２ビットストリーム中の動きベクトル情報は、動きベクトル合成部１０６に供給されて、間引き後の画像情報に対する動きベクトルにマッピングされる。
【００１５】
動きベクトル検出部１０７は、動きベクトル合成部１０６において合成された動きベクトル値に基づいて、高精度の動きベクトルを検出する。
【００１６】
文献１に示される画像情報変換装置１００は、入力されたＭＰＥＧ２ビットストリームの１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４ビットストリームを生成する装置である。すなわち、例えば入力となるＭＰＥＧ２ビットストリームがＮＴＳＣ規格に準拠している場合、出力されるＭＰＥＧ４ビットストリームは、ＳＩＦサイズ（３５２×２４０）となっている。画像情報変換装置１００は、間引き部１０３における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【００１７】
さらに、また、画像情報変換装置１００は、ＭＰＥＧ２画像情報復号化部１０２における処理として、水平方向、垂直方向それぞれについて入力したＭＰＥＧ２ビットストリーム内の８次の離散コサイン変換係数のうちのすべてを用いた復号処理を行うほか、水平方向のみ、あるいは水平方向、垂直方向ともに８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら復号処理に伴う演算量とビデオメモリ容量とを削減している。
【００１８】
ところで、図４に示した画像情報変換装置１００においては、ＭＰＥＧ４画像情報符号化部１０５における符号量制御がＭＰＥＧ４ビットストリームにおける画質を決定する大きな要因となる。ＩＳＯ／ＩＥＣ １４４９６−２においては、符号量制御の方式は、特に規定されておらず、各ベンダがアプリケーションに応じて演算量及び出力画質の観点から最適と考えられる方式を用いることができる。以下では、代表的な符号量制御方式として、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ０４００）に規定されている方式について説明する。
【００１９】
符号量制御の動作は、目標符号量（ターゲットビットレート）、及びＧＯＰ（Group Of Pictures）構成を入力変数として、まず、第１ステップとして各ピクチャヘのビット配分を行い、次に、仮想バッファを用いたレート制御を行い、最後に、視覚特性を考慮したマクロブロック毎の適応量子化を行う。この符号量制御の動作を図５に示す。
【００２０】
ステップＳ１０１において、ＭＰＥＧ４画像情報符号化部１０５は、ＧＯＰ内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含め、まだ復号化されていないピクチャに対して割り当てられるビット量（以下、これをＲとする）に基づいて配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。この際、以下に述べる２つの仮定を用いて各ピクチャヘの符号量割り当てを行う。
【００２１】
まず第１に、各ピクチャを符号化する際に用いる平均量子化スケールコードと発生符号量との積は、画面が変化しない限りピクチャタイプ毎に一定値となると仮定する。そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを示す変数Ｘｉ、Ｘｐ、及びＸｂ（grobal complexity measure）を以下に示す式（１）乃至（３）により更新する。
【００２２】
【数１】
【００２３】
ここでＳｉ、Ｓｐ、及びＳｂは、ピクチャ符号化時の発生符号ビット量であり、Ｑｉ、Ｑｐ、及びＱｂは、ピクチャ符号化時の平均量子化スケールコードである。また、初期値は、目標符号量（ターゲットビットレート）ｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、以下に示す式（４）乃至（６）で表される値とする。
【００２４】
【数２】
【００２５】
第２に、Ｉピクチャの量子化スケールコードを基準としたＰ、Ｂピクチャの量子化スケールコードの比率Ｋｐ、Ｋｂが式（７）に定めた値となる場合に常に全体の画質が最適化されると仮定する。
【００２６】
【数３】
【００２７】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ及びＰピクチャの量子化スケールコードの常に１．４倍である。これは、ＢピクチャをＩ及びＰピクチャに比較して多少粗めに符号化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善され、これを参照するＢピクチャの画質も改善されることを想定している。
【００２８】
上記２つの仮定より、ＧＯＰの各ピクチャに対する割り当てビット量（Ｔｉ，Ｔｐ，Ｔｂ）は、式（８）乃至（１０）に示す値とする。
【００２９】
【数４】
【００３０】
ここで、Ｎｐ及びＮｂは、ＧＯＰ内でまだ符号化されていないＰ，Ｂピクチャの枚数である。
【００３１】
このようにして求めた割当符号量に基づいて、各ピクチャをステップＳ１０１及び１０２にしたがってって符号化する毎にＧＯＰ内の未符号化ピクチャに対して割り当てられるビット量Ｒを、以下に示す式（１１）によって更新する。
【００３２】
【数５】
【００３３】
また、ＧＯＰの最初のピクチャを符号化する際には、式（１２）によりＲを更新する。式（１２）において、Ｎは、ＧＯＰ内のピクチャ数を表している。シーケンスの最初におけるＲの初期値は、０とする。
【００３４】
【数６】
【００３５】
ステップＳ１０２では、ステップＳ１０１において式（８）乃至（１０）により求められた各ピクチャに対する割当ビット量（Ｔｉ，Ｔｐ，Ｔｂ）と、実際の発生符号量を一致させるため、各ピクチャ毎に独立に設定した３種類の仮想バッファの容量に基づいて、量子化スケールコードをマクロブロック単位のフィードバック制御で求める。まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を式（１３）乃至（１５）によって求める。
【００３６】
【数７】
【００３７】
式（１３）乃至（１５）において、ｄ０ ｉ、ｄ０ ｐ、及びｄ０ ｂは、各仮想バッファの初期占有量を示し、Ｂｊは、ピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量を示し、ＭＢ＿ｃｎｔは、１ピクチャ内のマクロブロック数を示している。各ピクチャ符号化終了時の仮想バッファ占有量（ｄＭＢ＿ｃｎｔ ｉ，ｄＭＢ＿ｃｎｔ ｐ，ｄＭＢ＿ｃｎｔ ｂ）は、それぞれ同一のピクチャタイプであり、次のピクチャに対する仮想バッファ占有量の初期値（ｄ０ ｉ，ｄ０ ｐ，ｄ０ ｂ）として用いられる。
【００３８】
次に、ｊ番目のマクロブロックに対する量子化スケールコードを式（１６）により計算する。
【００３９】
【数８】
【００４０】
式（１６）において、ｒは、リアクションパラメータと呼ばれるフィードバックループの応答を制御する変数であり、続いて示す式（１７）により与えられる。
【００４１】
【数９】
【００４２】
なお、符号化開始時における仮想バッファの初期値は、式（１８）乃至（２０）に示す値である。
【００４３】
【数１０】
【００４４】
ステップＳ１０３では、ステップＳ１０２で求められた量子化スケールコードを視覚的に劣化の目立ちやすい平坦部において、より細かく量子化し、比較的劣化の目立ちにくい絵柄の複雑な部分で粗く量子化するように各マクロブロック毎のアクティビィティと呼ばれる変数によって変化させている。
【００４５】
アクティビティは、原画の輝度信号画素値を用い、フレーム離散コサイン変換モードにおける４個のブロックと、フィールド離散コサイン変換モードにおける４個のブロックとの、合計８ブロックの画素値を用いて、以下に示す式（２１）で与えられる。
【００４６】
【数１１】
【００４７】
ここで、Ｐｋは、原画の輝度信号ブロック内画素値である。式（２１）において最小値を採るのは、マクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
【００４８】
さらに、以下に示す式（２２）により、その値が０．５〜２の範囲である正規化アクティビティＮａｃｔｊを求める。
【００４９】
【数１２】
【００５０】
式（２２）において、ａｖｇ−ａｃｔは、直前に符号化したピクチャでのａｃｔｊの平均値を示している。
【００５１】
視覚特性を考慮した量子化スケールコードｍｑｕａｎｔｊは、ステップＳ１０２で得られた量子化スケールコードＱｊに基づいて、以下に示す式（２３）で与えられる。
【００５２】
【数１３】
【００５３】
ところで、「ＭＰＥＧ圧縮効率の理論解析とその符号量制御への応用」（信学技報、ＩＥ−９５，ＤＳＰ９５−１０，１９９５年５月、以下、これを文献２と記す。）にも記述されているように、Ｔｅｓｔ Ｍｏｄｅｌ５で定められている符号量制御方式は、ＭＰＥＧ２画像符号化部において、必ずしも良好な画質を与えるものではない。
【００５４】
文献２では、特に、良好な画質を与えるためのＧＯＰ内における各フレーム毎の最適な符号量配分を与える手法として、以下の方式を提案している。
【００５５】
ＮＩ，ＮＰ，及びＮＢをＧＯＰ内においてまだ符号化されていないＩ，Ｐ及びＢピクチャの枚数とし、これらに割り当てられる符号量をＲＩ，ＲＰ，ＲＢとすれば、以下の式（２４）に示すような固定レート条件が成立する。
【００５６】
【数１４】
【００５７】
それぞれのフレームにおける量子化ステップサイズをＱＩ，ＱＰ，ＱＢとし、ｍを量子化ステップサイズと再生誤差分散を関係付ける次数とすれば、すなわち、量子化ステップサイズをｍ乗したものの平均値の最小化が再生誤差分散を最低にすると仮定すれば、以下に示す式（２５）を最小にすることによって、ＧＯＰ内における各フレーム毎の最適な符号量配分を与える。
【００５８】
【数１５】
【００５９】
なお、それぞれのフレームにおける平均ＱスケールＱ、及び符号量Ｒは、Ｔｅｓｔ Ｍｏｄｅｌ５においても用いられる媒体変数としての各フレームのコンプレキシティＸと、以下に示す式（２６）のように関係付けられる。
【００６０】
【数１６】
【００６１】
したがって、式（２４）の拘束条件の下で式（２６）を考慮に入れて、式（２５）を最小にするようなＲＩ，ＲＰ，ＲＢをラグランジェの未定乗数法を用いて算出すると、最適なＲＩ，ＲＰ，ＲＢとして、以下に示す式（２７）乃至（２９）のような値が求められる。
【００６２】
【数１７】
【００６３】
α＝１として、式（２７）乃至（２９）と、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５で定められた符号量制御方式における上述の式（８）乃至（９）との関係は、以下の通りである。すなわち、式（２７）乃至（２９）は、符号量制御の媒介変数であるＫｐ，Ｋｂを各フレームのコンプレキシティＸＩ，ＸＰ、ＸＢに応じて、以下に示す式（３０）のように適応的に算出している。
【００６４】
【数１８】
【００６５】
文献２では、１／（１＋ｍ）の値として、０．６〜１．２程度に設定することで良好な画質が得られることが示されている。
【００６６】
【発明が解決しようとする課題】
ところが、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５において定められた上記符号量制御方式には、以下の制限のあることが知られている。
【００６７】
第１の制限は、図５におけるステップＳ１０１は、シーンチェンジに対応できず、また、シーンチェンジ後にステップＳ１０３で用いる媒介変数ａｖｇ＿ａｃｔが間違った値となるということである。また、第２の制限は、ＭＰＥＧ２及びＭＰＥＧ４において規定されているＶＢＶ（Video Buffer Verifier）の拘束条件を満たす保証がないことである。
【００６８】
したがって、実際、符号量制御を行う場合には、これらの制限に対する対策が必要となる。
【００６９】
また、式（１８）では、最初のＩ−ＶＯＰにおける参照量子化スケールの初期値を１０としているが、この初期値は、絵柄とビットレートによっては必ずしも適切な値であるとは限らない。特に、ＳＩＦ，ＱＳＩＦといった画像では、マクロブロックの数が少ないため、符号量制御のフィードバックループが安定するまでに数ＶＯＰを要することもある。そのため、Video Object初期における画質劣化が参照量子化スケールの初期値に起因する場合がある。
【００７０】
そこで本発明は、このような従来の実情に鑑みて提案されたものであり、ＭＰＥＧ２画像圧縮情報から抽出される情報に基づいてＭＰＥＧ４画像符号化における符号量制御を行う際、初期値設定に伴う画質劣化を回避する画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法を提供することを目的とする。
【００７１】
【課題を解決するための手段】
本発明にかかる画像情報変換装置は、第１の画像圧縮情報を第２の画像圧縮情報に変換する画像情報変換装置であって、上記第１の画像圧縮情報と上記第１の画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り手段と、上記受け取り手段により受け取られた平均量子化スケールを用いて、上記第２の画像圧縮情報に変換する際の参照量子化スケールの初期値を決定する量子化スケール決定手段と、上記量子化スケール決定手段により決定された参照量子化スケールの初期値と上記第２の画像圧縮情報に変換する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記第２の画像圧縮情報を画像内符号化画像として変換する際の仮想バッファ占有量の初期値を決定する決定手段と、上記決定手段により決定された仮想バッファ占有量の初期値に従って、上記受け取り手段により受け取られた上記第１の画像圧縮情報を上記第２の画像圧縮情報に変換する変換手段とを備えることにより、上述した課題を解決する。
【００７２】
また、本発明にかかる画像情報変換方法は、第１の画像圧縮情報を第２の画像圧縮情報に変換する画像情報変換方法であって、上記第１の画像圧縮情報と上記第１の画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り工程と、上記受け取り工程により受け取られた平均量子化スケールを用いて、上記第２の画像圧縮情報に変換する際の参照量子化スケールの初期値を決定する量子化スケール決定工程と、上記量子化スケール決定工程により決定された参照量子化スケールの初期値と上記第２の画像圧縮情報に変換する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記第２の画像圧縮情報を画像内符号化画像として変換する際の仮想バッファ占有量の初期値を決定する決定工程と、上記決定工程により決定された仮想バッファ占有量の初期値に従って、上記受け取り工程により受け取られた上記第１の画像圧縮情報を上記第２の画像圧縮情報に変換する変換工程とを備えることにより、上述した課題を解決する。
【００７３】
ここで、第１の画像圧縮情報から抽出される情報として、第１の画像圧縮情報の最初の画像内符号化画像における平均量子化スケールを用いることがあげられる。
【００７４】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態について具体的に説明する。
【００７５】
本発明にかかる画像情報変換装置は、入力されるＭＰＥＧ２画像圧縮情報から抽出される情報に基づいて、ＭＰＥＧ４画像符号化を行う際の参照量子化スケールの初期値を算出し、これを用いて仮想バッファ占有量の初期値を算出することで、参照量子化スケールが不適切な値であることに起因する画質劣化を回避するものである。
【００７６】
本発明の第１の実施の形態として、図１に示す画像情報変換装置１は、ピクチャタイプ判別部１０、圧縮情報解析部１１、ＭＰＥＧ２画像情報復号化部１２、間引き部１３、ビデオメモリ１４、ＭＰＥＧ４画像情報（Ｉ／Ｐ−ＶＯＰ）符号化部１５、動きベクトル合成部１６、動きベクトル検出部１７、情報バッファ１８、コンプレキシティ算出部１９とを備えている。
【００７７】
ピクチャタイプ判別部１０は、飛び越し走査のＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）における各フレームのデータを入力し、画像内符号化画像（以下、Ｉピクチャと記す。）、画像間予測符号化画像（以下、Ｐピクチャと記す。）、双方向予測符号化画像（以下、Ｂピクチャと記す。）の何れのピクチャに関するものであるかを判別する。ピクチャタイプ判別部１０は、Ｉピクチャ及びＰピクチャ（以下、Ｉ／Ｐピクチャと記す。）に関する情報は、後段の圧縮情報解析部１２に伝送するが、Ｂピクチャに関する情報は破棄する。
【００７８】
圧縮情報解析部１１は、復号処理に用いられた量子化スケールのフレーム全体にわたる平均値Ｑと、ＭＰＥＧ２ビットストリームにおいて当該フレームに割り当てられた総符号量（ビット数）Ｂとを解析し、必要な情報を情報バッファ１８に伝送する。
【００７９】
情報バッファ１８は、ＭＰＥＧ２ビットストリームにおけるＩ／Ｐピクチャの発生符号量（ビット数）及び平均量子化スケールを蓄積する。
【００８０】
コンプレキシティ算出装置１９は、情報バッファ１８に格納されたフレーム毎の情報Ｑ及びＢから、ＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記す。）の各ＶＯＰに対するコンプレキシティＸの推定値を上述した式（２０）により算出する。
【００８１】
ＭＰＥＧ２画像情報復号化部１２は、ＭＰＥＧ２ビットストリームにおけるＩ／Ｐピクチャに関する情報の復号処理を行う。ＭＰＥＧ２画像情報復号化部１２は、通常のＭＰＥＧ２画像情報復号化部と同様であるが、Ｂピクチャに関するデータは、ピクチャタイプ判別部１０において廃棄されるため、ＭＰＥＧ２画像情報復号化部１２は、少なくともＩ／Ｐピクチャを復号可能であればよい。
【００８２】
間引き部１３は、ＭＰＥＧ２画像情報復号化部１２からの画像値を入力し、水平方向に１／２の間引き処理を施し、垂直方向に第１フィールド、もしくは第２フィールドのどちらか一方のデータのみを残し、他方を廃棄する処理を施すことによって、入力した画像情報の１／４の大きさを持つ順次走査画像を生成する。
【００８３】
ところで、例えば、ＭＰＥＧ２画像情報復号化部１２から入力したＭＰＥＧ２ビットストリームがＮＴＳＣ（National Television System Committee）の規格に準拠した画像、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き部１３における間引き処理後の画枠は３６０×２４０画素になる。ところが、後続のＭＰＥＧ４画像情報符号化部１５において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、間引き部１３は、さらに、そのための画素の補填または廃棄を行う。すなわち、上記の場合においては、例えば、水平方向の右端、もしくは左端の８ラインを廃棄して３５２×２４０画素とする。ここで、ＭＰＥＧ４画像情報をＩ／Ｐ−ＶＯＰと記すものとする。ＶＯＰ（Video Object Plane）は、ＭＰＥＧ２におけるフレームに相当するものである。
【００８４】
間引き部１３によって生成された順次走査画像は、ビデオメモリ１４に蓄積された後、ＭＰＥＧ４画像情報符号化部１５によって符号化処理が施され、ＭＰＥＧ４ビットストリームとして出力される。
【００８５】
入力となるＭＰＥＧ２ビットストリーム中の動きベクトル情報は、動きベクトル合成部１６に供給されて、間引き後の画像情報に対する動きベクトルにマッピングされる。
【００８６】
動きベクトル検出部１７は、動きベクトル合成部１６において合成された動きベクトル値に基づいて、高精度の動きベクトルを検出する。
【００８７】
画像情報変換装置１は、入力されたＭＰＥＧ２ビットストリームの１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４ビットストリームを生成する装置である。すなわち、例えば入力となるＭＰＥＧ２ビットストリームがＮＴＳＣ規格に準拠している場合、出力されるＭＰＥＧ４ビットストリームは、ＳＩＦサイズ（３５２×２４０）となっている。画像情報変換装置１は、間引き部１３における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【００８８】
さらに、また、画像情報変換装置１は、ＭＰＥＧ２画像情報復号化部１２における処理として、水平方向、垂直方向それぞれについて入力したＭＰＥＧ２ビットストリーム内の８次の離散コサイン変換係数のうちのすべてを用いた復号処理を行うほか、水平方向のみ、あるいは水平方向、垂直方向ともに８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら復号処理に伴う演算量とビデオメモリ容量とを削減している。
【００８９】
圧縮情報解析部１１において、復号処理に用いられた量子化スケールのフレーム全体にわたる平均値Ｑ、及びＭＰＥＧ２ビットストリームにおいて、当該フレームに割り当てられた総符号量（ビット数）Ｂは、情報バッファ１８に格納される。
【００９０】
コンプレキシティ算出部１９においては、情報バッファ１８に格納されたフレーム毎の情報Ｑ及びＢから、当該フレームに対するコンプレキシティＸを以下の式（３１）により算出する。
【００９１】
【数１９】
【００９２】
上述の式（３１）によって算出された当該フレームに対するコンプレキシティＸは、１ＧＯＶ分バッファリングされた後、ＭＰＥＧ４画像情報符号化部１５に符号量制御のための媒介変数として伝送される。このため、１ＧＯＶ分の遅延が必要となる。この遅延は遅延バッファを用いて実現される。
【００９３】
以下では、式（３１）において算出されたＧＯＶ内の各フレームに対するコンプレキシティＸがＭＰＥＧ４画像情報符号化部１５においてどの様に用いられるかについて述べる。なお、以下では、ピクチャタイプ判別部１０が装置内に存在せず、フレームレートの変換を行わない場合も考慮することにする。
【００９４】
式（３０）によって求められたＫｐ、Ｋｂは、Ｉ−ＶＯＰに対する理想的な平均量子化スケールＱｉ＿ｉｄｅａｌに対するＰ−ＶＯＰ／Ｂ−ＶＯＰに対する理想的な平均量子化スケールＱｐ＿ｉｄｅａｌとＱｂ＿ｉｄｅａｌとの比が、以下の式（３２）であることである。
【００９５】
【数２０】
【００９６】
ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５においては、式（３０）のように適応的にＫｐ、Ｋｂを算出することを行わず、式（７）に示したような固定値を用いている。
【００９７】
式（３０）及び式（３２）から、任意のＶＯＰ１と、任意のＶＯＰ２とに対するコンプレキシティをそれぞれＸ１，Ｘ２とし、理想的な量子化スケールをＱ１＿ｉｄｅａｌ、Ｑ２＿ｉｄｅａｌとすれば、以下の式（３３）に示すようになる。
【００９８】
【数２１】
【００９９】
あるいはまた、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５のように式（７）に示した固定値を用いたい場合には、式（３３）に代えて以下の式（３４）を用いればよい。
【０１００】
【数２２】
【０１０１】
ここで、ＧＯＶ内の未符号化されたＶＯＰに対して割り当てられる総符号量（ビット数）をＲとし、Ｒが各ＶＯＰに対して、Ｒ１、Ｒ２、・・・、Ｒｎと割り当てられるとき、当該ＧＯＶに対する画質が最適化されるものとする。このとき、ＲとＲ１、Ｒ２、・・・、Ｒｎの間には、以下の式（３５）に示す関係式が成り立つ。
【０１０２】
【数２３】
【０１０３】
任意のＶＯＰｋに対する平均量子化スケールＱｋ、割当符号量Ｒｋ，コンプレキシティＸｋの間には、以下に示す式（３６）で表される関係が成り立つ。
【０１０４】
【数２４】
【０１０５】
ここで、式（３６）を考慮して、式（３５）を変形すると以下に示す式（３７）を得る。
【０１０６】
【数２５】
【０１０７】
式（３７）において、Ｋ（Ｘ１，Ｘ２）は、式（３３）に示した値を用いても、式（３４）に示した値を用いてもよいが、前者の方が画像に応じたより最適な符号量配分を実現することが可能である。
【０１０８】
その際、１／（１＋ｍ）の値を１．０と設定することで、指数演算を行うことが不要となるため、高速な実行が可能となる。また、１／（１＋ｍ）の値を１．０以外に設定する場合にも、予めテーブルを持ち、これを参照して指数演算を行うことで高速な実行が可能となる。
【０１０９】
式（３７）における各ＶＯＰに対するコンプレキシティＸｋは、ＭＰＥＧ４画像符号化によるものであるが、ＭＰＥＧ２画像符号化による各フレームに対するコンプレキシティと、ＭＰＥＧ４画像符号化による各フレームに対するコンプレキシティが等しいと仮定すれば、コンプレキシティ算出装置１７に格納されたＸｋを用いることで、式（３７）によって当該ＶＯＰに対する目標符号量を算出することを可能としている。
【０１１０】
図２に、画像情報変換装置１が目標符号量を算出する際の処理フローを示す。
【０１１１】
ステップＳ１において、ＭＰＥＧ２画像情報復号化部１２は、ＧＯＰ内の各フレームに対する平均量子化スケールＱ、及び割当符号量（ビット数）Ｂを抽出する。
【０１１２】
ステップＳ２において、コンプレキシティ算出部１９は、コンプレキシティＸを算出する。
【０１１３】
続いて、ステップＳ３において、ＭＰＥＧ４画像情報符号化部１５は、コンプレキシティＸに応じた目標符号量（ターゲットビットレート）の算出を行う。
【０１１４】
ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５では、ＧＯＰ内におけるＩ，Ｐ，Ｂピクチャに対するコンプレキシティＸｉ、Ｘｐ、Ｘｂは、一定であると仮定しているが、実際には、ＧＯＰ内にシーンチェンジを含む場合やＧＯＰ内で背景が著しく変化する場合等はこの仮定が成り立たず、安定した符号量制御の妨げとなり、画質劣化の要因ともなる。図１に示した画像情報変換装置１によれば、入力されたＭＰＥＧ２ビットストリームにおける各フレームに対するコンプレキシティに基づいた符号量制御を行うため、画質劣化を引き起こすことなく、安定した符号量制御を行うことを可能としている。
【０１１５】
続いて、本発明の第２の実施の形態として示す画像情報変換装置２を、図３を参照にして具体的に説明する。
【０１１６】
図３に示す画像情報変換装置２は、ピクチャタイプ判別部２０と、圧縮画像解析部２１と、ＭＰＥＧ２画像情報復号化部２２と、間引き部２３と、ビデオメモリ２４と、ＭＰＥＧ４画像情報符号化部２５と、動きベクトル合成部２６と、動きベクトル検出部２７と、情報バッファ２８と、コンプレキシティ算出部２９と、初期参照量子化スケール決定部３０とを備えている。
【０１１７】
ピクチャタイプ判別部２０は、飛び越し走査のＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）における各フレームのデータを入力し、ＭＰＥＧ２画像情報（以下、Ｉ／Ｐピクチャと記す。）に関するものか、Ｂピクチャに関するものであるかを判別する。ピクチャタイプ判別部２０は、Ｉ／Ｐピクチャに関する情報は後段の圧縮画像解析部２１に伝送するが、Ｂピクチャに関する情報は破棄する。
【０１１８】
圧縮情報解析部２１は、復号処理に用いられた量子化スケールのフレーム全体にわたる平均値Ｑと、ＭＰＥＧ２ビットストリームにおいて当該フレームに割り当てられた総符号量（ビット数）Ｂとを解析し、必要な情報を情報バッファ２８に伝送する。
【０１１９】
情報バッファ２８は、ＭＰＥＧ２ビットストリームにおけるＩ／Ｐピクチャの発生符号量（ビット数）及び平均量子化スケールを蓄積する。
【０１２０】
コンプレキシティ算出装置２０は、情報バッファ２８に格納されたフレーム毎の情報Ｑ及びＢから、ＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記す。）の各ＶＯＰに対するコンプレキシティＸの推定値を上述した式（２０）により算出する。
【０１２１】
ＭＰＥＧ２画像情報復号化部２２は、ＭＰＥＧ２ビットストリームにおけるＩ／Ｐピクチャに関する情報の復号処理を行う。ＭＰＥＧ２画像情報復号化部２２は、通常のＭＰＥＧ２画像情報復号化部と同様であるが、Ｂピクチャに関するデータは、ピクチャタイプ判別部２０において廃棄されるため、ＭＰＥＧ２画像情報復号化部１２は、少なくともＩ／Ｐピクチャを復号可能であればよい。
【０１２２】
間引き部２３は、ＭＰＥＧ２画像情報復号化部２２からの画像値を入力し、水平方向に１／２の間引き処理を施し、垂直方向に第１フィールド、もしくは第２フィールドのどちらか一方のデータのみを残し、他方を廃棄する処理を施すことによって、入力した画像情報の１／４の大きさを持つ順次走査画像を生成する。
【０１２３】
ところで、例えば、ＭＰＥＧ２画像情報復号化部２２から入力したＭＰＥＧ２ビットストリームがＮＴＳＣ（National Television System Committee）の規格に準拠した画像、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き部２３における間引き処理後の画枠は３６０×２４０画素になる。ところが、後続のＭＰＥＧ４画像情報符号化部１５において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、間引き部１３は、さらに、そのための画素の補填または廃棄を行う。すなわち、上記の場合においては、例えば、水平方向の右端、もしくは左端の８ラインを廃棄して３５２×２４０画素とする。ここで、ＭＰＥＧ４画像情報をＩ／Ｐ−ＶＯＰと記すものとする。ＶＯＰ（Video Object Plane）は、ＭＰＥＧ２におけるフレームに相当するものである。
【０１２４】
間引き部２３によって生成された順次走査画像は、ビデオメモリ１４に蓄積された後、ＭＰＥＧ４画像情報符号化部２５によって符号化処理が施され、ＭＰＥＧ４ビットストリームとして出力される。
【０１２５】
入力となるＭＰＥＧ２ビットストリーム中の動きベクトル情報は、動きベクトル合成部２６に供給されて、間引き後の画像情報に対する動きベクトルにマッピングされる。
【０１２６】
動きベクトル検出部２７は、動きベクトル合成部２６において合成された動きベクトル値に基づいて、高精度の動きベクトルを検出する。
【０１２７】
画像情報変換装置２は、入力されたＭＰＥＧ２ビットストリームの１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４ビットストリームを生成する装置である。すなわち、例えば入力となるＭＰＥＧ２ビットストリームがＮＴＳＣ規格に準拠している場合、出力されるＭＰＥＧ４ビットストリームは、ＳＩＦサイズ（３５２×２４０）となっている。画像情報変換装置２は、間引き部１３における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【０１２８】
さらに、また、画像情報変換装置２は、ＭＰＥＧ２画像情報復号化部２２における処理として、水平方向、垂直方向それぞれについて入力したＭＰＥＧ２ビットストリーム内の８次の離散コサイン変換係数のうちのすべてを用いた復号処理を行うほか、水平方向のみ、あるいは水平方向、垂直方向ともに８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら復号処理に伴う演算量とビデオメモリ容量とを削減している。
【０１２９】
初期参照量子化スケール決定部３０は、まず、予め定められたＭＰＥＧ２ビットストリーム、ＭＰＥＧ４ビットストリームに含まれるマクロブロックの個数、情報バッファ２８に格納されたＭＰＥＧ２ビットストリームの第１番目のＩピクチャに割り当てられた符号量（ビット数）、平均量子化スケールＱＭＰＥＧ２， Ｉ０、及びＭＰＥＧ４画像情報符号化部２５において算出されるＭＰＥＧ４ビットストリームの第１番目のＩ−ＶＯＰに対する目標符号量（ターゲットビット）から参照量子化スケールの初期値を決定し、仮想バッファ占有量の初期値の算出を行う。
【０１３０】
以上のような画像情報変換装置２は、以下に示すようにして、出力となるＭＰＥＧ４ビットストリームの最初のＩ−ＶＯＰに対する参照量子化スケールの初期値ｒｅｆＱＩ０を決定する。
【０１３１】
第１の方法は、画像情報変換装置２に入力されるＭＰＥＧ２ビットストリーム及び画像情報変換装置２から出力されるＭＰＥＧ４ビットストリームのビットレートをｂｉｔ＿ｒａｔｅＭＰＥＧ２、ｂｉｔ＿ｒａｔｅＭＰＥＧ４、フレームレートをｆｒａｍｅ＿ｒａｔｅＭＰＥＧ２、ｆｒａｍｅ＿ｒａｔｅＭＰＥＧ４として、以下に示す式（３８）によって参照量子化スケールの初期値ｒｅｆＱＩ０を表す方法である。
【０１３２】
【数２６】
【０１３３】
式（３８）において、１／２とするのは、ＭＰＥＧ２における量子化スケールコード６２がＭＰＥＧ４量子化スケールコード３１に相当するためである。
【０１３４】
第２の方法は、入力となるＭＰＥＧ２ビットストリームの最初のＩピクチャに割り当てられた符号量（ビット数）をＢＭＰＥＧ２，Ｉ０とし、式（８）乃至（１０）、もしくは式（３７）によって計算される、出力されるＭＰＥＧ４ビットストリームの最初の１−ＶＯＰに対する目標符号量（ターゲットビット）をＴＩ０とし、入力となるＭＰＥＧ２ビットストリームの１フレームあたり、及び出力となるＭＰＥＧ４ビットストリームの１ＶＯＰあたりに含まれるマクロブロックの個数をそれぞれＭＢ＿ｃｎｔＭＰＥＧ２、ＭＢ＿ｃｎｔＭＰＥＧ４として、以下に示す式（３９）によって参照量子化スケールの初期値ｒｅｆＱＩ０を表す方法である。
【０１３５】
【数２７】
【０１３６】
以上示した式（３８）及び（３９）において、ＭＰＥＧ４符号化における量子化スケールは、１から３１の整数値以外の値を取ることができない。そのため、式（３８）もしくは（３９）で計算されるｒｅｆＱＩ０に対し、１から３１の整数値で最も近い値を、その後の処理で用いるｒｅｆＱＩ０として採用する。
【０１３７】
Ｉ−ＶＯＰに対する仮想バッファ占有量の初期値ｄ０ ｉは、以下に示す式（４０）を用いて求められる。
【０１３８】
【数２８】
【０１３９】
以下では、ピクチャタイプ判別部２０を用いて、Ｂピクチャを破棄し、フレームレートの変換を行わない場合も考慮する。このとき、Ｐ／Ｂ−ＶＯＰに対する仮想バッファ占有量の初期値ｄ０ ｐ、ｄ０ ｂは、以下に示す何れの方法を用いて算出してもよい。
【０１４０】
まず、第１の方法は、式（４０）において求められたｄ０ ｉに対して、Ｋｐ及びＫｂを上述の式（７）で与えられる定数としたとき、以下に示す式（４１）のように算出する方法である。
【０１４１】
【数２９】
【０１４２】
続いて第２の方法は、式（３８）と同様に、まず、ｒｅｆＱＰ０、ｒｅｆＱＢ０を以下に示す式（４２）及び（４３）のように算出する。
【０１４３】
【数３０】
【０１４４】
あるいは式（３９）と同様に、ｒｅｆＱＰ０，ｒｅｆＱＢ０を以下に示す式（４４）及び式（４５）のように算出する。
【０１４５】
【数３１】
【０１４６】
そして、上記ｒｅｆＱＰ０及びｒｅｆＱＢ０を用いて、仮想バッファ占有量の初期値ｄ０ ｐ、ｄ０ ｂを以下に示す式（４６）及び（４７）のように算出する。
【０１４７】
【数３２】
【０１４８】
以上詳細に説明したように、画像情報変換装置２は、初期参照量子化スケール決定部３０において、入力されたＭＰＥＧ２ビットストリーム（ビットストリーム）から抽出される情報に基づいてＭＰＥＧ４画像符号化を行う際の参照量子化スケールの初期値を算出し、これを用いて仮想バッファ占有量の初期値を算出することによって、参照量子化スケールが不適切な値であることに起因する画質劣化を回避することが可能である。
【０１４９】
なお、上記初期参照量子化スケール決定部３０は、参照量子化スケールの初期値の決定する際、情報バッファに格納されたＭＰＥＧ２ビットストリームにおける第１番目のＩピクチャに対する平均量子化スケールコード及びＭＰＥＧ２ビットストリーム、並びにＭＰＥＧ４ビットストリームのフレームレート及びビットレートから決定してもよい。
【０１５０】
また、上述の説明では、ＭＰＥＧ２ビットストリームを入力し、ＭＰＥＧ４ビットストリームを出力する場合について示したが、入力及び出力ともこの場合に限らず、画像圧縮情報は、例えばＭＰＥＧ−１やＨ．２６３等の画像圧縮情報であってもよい。
【０１５１】
【発明の効果】
以上詳細に説明したように、本発明にかかる画像情報変換装置は、第１の画像圧縮情報を入力し、第２の画像圧縮情報を出力する画像情報変換装置であって、第１の画像圧縮情報及び第２の画像圧縮情報は、少なくとも画像内符号化画像と画像間予測符号化画像とを有し、第１の画像圧縮情報から抽出される情報を用いて第２の画像圧縮情報の画像内符号化画像を生成するときの参照量子化スケールの初期値を決定し、第２の画像圧縮情報の最初の画像内符号化画像を生成するときの参照量子化スケールの初期値に基づいて画像内符号化画像に対する仮想バッファ占有量の初期値を決定する量子化スケール決定手段を備える。
【０１５２】
ここで、第１の画像圧縮情報から抽出される情報として、第１の画像圧縮情報の最初の画像内符号化画像における平均量子化スケールを用いることがあげられる。
【０１５３】
したがって、本発明にかかる画像情報変換装置は、飛び越し走査のＭＰＥＧ２画像圧縮情報に基づいて、ＭＰＥＧ４符号化における符号量制御を行う際の参照量子化スケールコードの初期値を決定し、これを用いて仮想バッファ占有量の初期値を算出することによって、参照量子化スケールコードの初期値設定に伴う画像劣化を回避した状態で順次操作のＭＰＥＧ４ビットストリームを出力することを可能にする。
【０１５４】
また、本発明にかかる画像情報変換方法は、第１の画像圧縮情報を入力し、第２の画像圧縮情報を出力する画像情報変換方法であって、第１の画像圧縮情報及び第２の画像圧縮情報は、少なくとも画像内符号化画像と画像間予測符号化画像とを有し、第１の画像圧縮情報から抽出される情報を用いて第２の画像圧縮情報の画像内符号化画像を生成するときの参照量子化スケールの初期値を決定し、第２の画像圧縮情報の最初の画像内符号化画像を生成するときの参照量子化スケールの初期値に基づいて画像内符号化画像に対する仮想バッファ占有量の初期値を決定する。
【０１５５】
ここで、第１の画像圧縮情報から抽出される情報として、第１の画像圧縮情報の最初の画像内符号化画像における平均量子化スケールを用いることがあげられる。
【０１５６】
したがって、本発明にかかる画像情報変換方法は、飛び越し走査のＭＰＥＧ２画像圧縮情報に基づいて、ＭＰＥＧ４符号化における符号量制御を行う際の参照量子化スケールコードの初期値を決定し、これを用いて仮想バッファ占有量の初期値を算出することによって、参照量子化スケールコードの初期値設定に伴う画像劣化を回避した状態で順次操作のＭＰＥＧ４ビットストリームを出力することを可能にする。
【図面の簡単な説明】
【図１】本発明の実施の形態として示す画像情報変換装置の構成を示すブロック図である。
【図２】本発明の実施の形態として示す画像情報変換装置が画像情報を変換する動作を示すフローチャートである。
【図３】本発明の実施の形態として示す画像情報変換装置の構成を示すブロック図である。
【図４】従来の画像情報変換装置の構成を示すブロック図である。
【図５】ＭＰＥＧ４画像情報符号化部が、ＭＰＥＧ２画像情報復号化部で抽出される各フレームに対するコンプレキシティＸを用いて、符号量制御を行う処理を示すフローチャートである。
【符号の説明】
１，２ 画像情報変換装置、１０，２０ ピクチャタイプ判別部、１１，２１圧縮情報解析部、１２，２２ ＭＰＥＧ２画像情報復号化部、１３，２３ 間引き部、１４，２４ ビデオメモリ、１５，２５ ＭＰＥＧ４画像情報符号化部、１６，２６ 動きベクトル合成部、１７，２７ 動きベクトル検出部、１８，２８ 情報バッファ、１９，２９ コンプレキシティ算出部、３０ 初期量子化スケール決定部
【発明の属する技術分野】
本発明は、画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法に関し、特に、離散コサイン変換等の直交変換と動き補償とによって圧縮された画像情報（ビットストリーム）を衛星放送、ケーブルＴＶ、インターネット等のネットワークメディアを介して受信する際、あるいは、光ディスク及び光磁気ディスク等の記録媒体上で処理する際に用いられる画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法に関するものである。
【０００２】
【従来の技術】
近年、画像情報をディジタルデータとして取り扱い、その際、画像情報特有の冗長性を利用し、効率の高い情報の伝送及び蓄積を目的とした、例えば離散コサイン変換等の直交変換と動き補償により圧縮する方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ（Moving Picture Experts Group：動画像符号化専門家会合）によって標準化されているＭＰＥＧ２は、汎用画像符号化方式としてＩＳＯ／ＩＥＣ １３８１８−２に定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅している。そのためＭＰＥＧ２は、プロフェッショナル用途からコンシューマ用途まで、広範なアプリケーションに今後とも用いられるものと予想される。
【０００４】
このようなＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓの符号量（以下、ビットレートと記す。）を、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓのビットレートを割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１よりも低いビットレート、つまり、より高い圧縮率の符号化方式には対応していなかった。ところが携帯端末の普及とともに、今後より高い圧縮率の符号化方式のニーズは高まると予想されたことからＭＰＥＧ４符号化方式の標準化が行われ、画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２として国際標準に承認されている。
【０００６】
ところで、ディジタル放送に対応するように一旦符号化されたＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）を携帯端末等で処理するためには、より低いビットレートのＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記す。）に変換することが要求される。
【０００７】
かかる要求に応える画像情報変換装置（トランスコーダ）として、“Field-to-Frame Transcoding with Spatial and Temporal Downsampling”（Susie J Wee,John G.Apostlopoulos,and Nick Feamster,ICIP'99、これを以下、文献１と呼ぶ）において、図４示す装置が提案されている。
【０００８】
図４に示す画像情報変換装置１００は、ピクチャタイプ判別部１０１と、ＭＰＥＧ２画像情報（Ｉ／Ｐピクチャ）復号化部１０２と、間引き部１０３と、ビデオメモリ１０４と、ＭＰＥＧ４画像情報（Ｉ／Ｐ−ＶＯＰ）符号化部１０５と、動きベクトル合成部１０６と、動きベクトル検出部１０７とを備えている。ここで、ＭＰＥＧ４におけるＶＯＰ（Video Object Plane）とは、ＭＰＥＧ２におけるフレームに相当するものである。
【０００９】
まず、ピクチャタイプ判別部１０１は、飛び越し走査のＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）における各フレームのデータを入力し、ＭＰＥＧ２画像情報（以下、Ｉ／Ｐピクチャと記す。）に関するものか、Ｂピクチャに関するものであるかを判別する。ピクチャタイプ判別部１０１は、前者のみを後続のＭＰＥＧ２画像情報復号化部１０２へと出力する。
【００１０】
ＭＰＥＧ２画像情報復号化部１０２における処理は、通常のＭＰＥＧ２画像情報復号化部と同様であるが、Ｂピクチャに関するデータはピクチャタイプ判別部１０１において廃棄されるため、ＭＰＥＧ２画像情報復号化部１０２における機能としてはＩ／Ｐピクチャのみを復号可能であればよい。
【００１１】
間引き部１０３は、ＭＰＥＧ２画像情報復号化部１０２からの画像値を入力し、水平方向に１／２の間引き処理を施し、垂直方向に第１フィールド、も
しくは第２フィールドのどちらか一方のデータのみを残し、他方を廃棄する処理を施すことによって、入力した画像情報の１／４の大きさを持つ順次走査画像を生成する。
【００１２】
ところで、例えば、ＭＰＥＧ２画像情報復号化部１０２から入力したＭＰＥＧ２ビットストリームがＮＴＳＣ（National Television System Committee）の規格に準拠した画像、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き部１０３における間引き処理後の画枠は３６０×２４０画素になる。ところが、後続のＭＰＥＧ４画像情報符号化部１０５において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、間引き部１０３は、さらに、そのための画素の補填または廃棄を行う。すなわち、上記の場合においては、例えば、水平方向の右端、もしくは左端の８ラインを廃棄して３５２×２４０画素とする。
【００１３】
間引き部１０３によって生成された順次走査画像は、ビデオメモリ１０４に蓄積された後、ＭＰＥＧ４画像情報符号化部１０５によって符号化処理が施され、ＭＰＥＧ４ビットストリームとして出力される。
【００１４】
入力となるＭＰＥＧ２ビットストリーム中の動きベクトル情報は、動きベクトル合成部１０６に供給されて、間引き後の画像情報に対する動きベクトルにマッピングされる。
【００１５】
動きベクトル検出部１０７は、動きベクトル合成部１０６において合成された動きベクトル値に基づいて、高精度の動きベクトルを検出する。
【００１６】
文献１に示される画像情報変換装置１００は、入力されたＭＰＥＧ２ビットストリームの１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４ビットストリームを生成する装置である。すなわち、例えば入力となるＭＰＥＧ２ビットストリームがＮＴＳＣ規格に準拠している場合、出力されるＭＰＥＧ４ビットストリームは、ＳＩＦサイズ（３５２×２４０）となっている。画像情報変換装置１００は、間引き部１０３における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【００１７】
さらに、また、画像情報変換装置１００は、ＭＰＥＧ２画像情報復号化部１０２における処理として、水平方向、垂直方向それぞれについて入力したＭＰＥＧ２ビットストリーム内の８次の離散コサイン変換係数のうちのすべてを用いた復号処理を行うほか、水平方向のみ、あるいは水平方向、垂直方向ともに８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら復号処理に伴う演算量とビデオメモリ容量とを削減している。
【００１８】
ところで、図４に示した画像情報変換装置１００においては、ＭＰＥＧ４画像情報符号化部１０５における符号量制御がＭＰＥＧ４ビットストリームにおける画質を決定する大きな要因となる。ＩＳＯ／ＩＥＣ １４４９６−２においては、符号量制御の方式は、特に規定されておらず、各ベンダがアプリケーションに応じて演算量及び出力画質の観点から最適と考えられる方式を用いることができる。以下では、代表的な符号量制御方式として、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ０４００）に規定されている方式について説明する。
【００１９】
符号量制御の動作は、目標符号量（ターゲットビットレート）、及びＧＯＰ（Group Of Pictures）構成を入力変数として、まず、第１ステップとして各ピクチャヘのビット配分を行い、次に、仮想バッファを用いたレート制御を行い、最後に、視覚特性を考慮したマクロブロック毎の適応量子化を行う。この符号量制御の動作を図５に示す。
【００２０】
ステップＳ１０１において、ＭＰＥＧ４画像情報符号化部１０５は、ＧＯＰ内の各ピクチャに対する割り当てビット量を、割り当て対象ピクチャを含め、まだ復号化されていないピクチャに対して割り当てられるビット量（以下、これをＲとする）に基づいて配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。この際、以下に述べる２つの仮定を用いて各ピクチャヘの符号量割り当てを行う。
【００２１】
まず第１に、各ピクチャを符号化する際に用いる平均量子化スケールコードと発生符号量との積は、画面が変化しない限りピクチャタイプ毎に一定値となると仮定する。そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを示す変数Ｘｉ、Ｘｐ、及びＸｂ（grobal complexity measure）を以下に示す式（１）乃至（３）により更新する。
【００２２】
【数１】
ここでＳｉ、Ｓｐ、及びＳｂは、ピクチャ符号化時の発生符号ビット量であり、Ｑｉ、Ｑｐ、及びＱｂは、ピクチャ符号化時の平均量子化スケールコードである。また、初期値は、目標符号量（ターゲットビットレート）ｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、以下に示す式（４）乃至（６）で表される値とする。
【００２４】
【数２】
第２に、Ｉピクチャの量子化スケールコードを基準としたＰ、Ｂピクチャの量子化スケールコードの比率Ｋｐ、Ｋｂが式（７）に定めた値となる場合に常に全体の画質が最適化されると仮定する。
【００２６】
【数３】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ及びＰピクチャの量子化スケールコードの常に１．４倍である。これは、ＢピクチャをＩ及びＰピクチャに比較して多少粗めに符号化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善され、これを参照するＢピクチャの画質も改善されることを想定している。
【００２８】
上記２つの仮定より、ＧＯＰの各ピクチャに対する割り当てビット量（Ｔｉ，Ｔｐ，Ｔｂ）は、式（８）乃至（１０）に示す値とする。
【００２９】
【数４】
ここで、Ｎｐ及びＮｂは、ＧＯＰ内でまだ符号化されていないＰ，Ｂピクチャの枚数である。
【００３１】
このようにして求めた割当符号量に基づいて、各ピクチャをステップＳ１０１及び１０２にしたがってって符号化する毎にＧＯＰ内の未符号化ピクチャに対して割り当てられるビット量Ｒを、以下に示す式（１１）によって更新する。
【００３２】
【数５】
また、ＧＯＰの最初のピクチャを符号化する際には、式（１２）によりＲを更新する。式（１２）において、Ｎは、ＧＯＰ内のピクチャ数を表している。シーケンスの最初におけるＲの初期値は、０とする。
【００３４】
【数６】
ステップＳ１０２では、ステップＳ１０１において式（８）乃至（１０）により求められた各ピクチャに対する割当ビット量（Ｔｉ，Ｔｐ，Ｔｂ）と、実際の発生符号量を一致させるため、各ピクチャ毎に独立に設定した３種類の仮想バッファの容量に基づいて、量子化スケールコードをマクロブロック単位のフィードバック制御で求める。まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を式（１３）乃至（１５）によって求める。
【００３６】
【数７】
式（１３）乃至（１５）において、ｄ０ ｉ、ｄ０ ｐ、及びｄ０ ｂは、各仮想バッファの初期占有量を示し、Ｂｊは、ピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量を示し、ＭＢ＿ｃｎｔは、１ピクチャ内のマクロブロック数を示している。各ピクチャ符号化終了時の仮想バッファ占有量（ｄＭＢ＿ｃｎｔ ｉ，ｄＭＢ＿ｃｎｔ ｐ，ｄＭＢ＿ｃｎｔ ｂ）は、それぞれ同一のピクチャタイプであり、次のピクチャに対する仮想バッファ占有量の初期値（ｄ０ ｉ，ｄ０ ｐ，ｄ０ ｂ）として用いられる。
【００３８】
次に、ｊ番目のマクロブロックに対する量子化スケールコードを式（１６）により計算する。
【００３９】
【数８】
式（１６）において、ｒは、リアクションパラメータと呼ばれるフィードバックループの応答を制御する変数であり、続いて示す式（１７）により与えられる。
【００４１】
【数９】
なお、符号化開始時における仮想バッファの初期値は、式（１８）乃至（２０）に示す値である。
【００４３】
【数１０】
ステップＳ１０３では、ステップＳ１０２で求められた量子化スケールコードを視覚的に劣化の目立ちやすい平坦部において、より細かく量子化し、比較的劣化の目立ちにくい絵柄の複雑な部分で粗く量子化するように各マクロブロック毎のアクティビィティと呼ばれる変数によって変化させている。
【００４５】
アクティビティは、原画の輝度信号画素値を用い、フレーム離散コサイン変換モードにおける４個のブロックと、フィールド離散コサイン変換モードにおける４個のブロックとの、合計８ブロックの画素値を用いて、以下に示す式（２１）で与えられる。
【００４６】
【数１１】
ここで、Ｐｋは、原画の輝度信号ブロック内画素値である。式（２１）において最小値を採るのは、マクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
【００４８】
さらに、以下に示す式（２２）により、その値が０．５〜２の範囲である正規化アクティビティＮａｃｔｊを求める。
【００４９】
【数１２】
式（２２）において、ａｖｇ−ａｃｔは、直前に符号化したピクチャでのａｃｔｊの平均値を示している。
【００５１】
視覚特性を考慮した量子化スケールコードｍｑｕａｎｔｊは、ステップＳ１０２で得られた量子化スケールコードＱｊに基づいて、以下に示す式（２３）で与えられる。
【００５２】
【数１３】
ところで、「ＭＰＥＧ圧縮効率の理論解析とその符号量制御への応用」（信学技報、ＩＥ−９５，ＤＳＰ９５−１０，１９９５年５月、以下、これを文献２と記す。）にも記述されているように、Ｔｅｓｔ Ｍｏｄｅｌ５で定められている符号量制御方式は、ＭＰＥＧ２画像符号化部において、必ずしも良好な画質を与えるものではない。
【００５４】
文献２では、特に、良好な画質を与えるためのＧＯＰ内における各フレーム毎の最適な符号量配分を与える手法として、以下の方式を提案している。
【００５５】
ＮＩ，ＮＰ，及びＮＢをＧＯＰ内においてまだ符号化されていないＩ，Ｐ及びＢピクチャの枚数とし、これらに割り当てられる符号量をＲＩ，ＲＰ，ＲＢとすれば、以下の式（２４）に示すような固定レート条件が成立する。
【００５６】
【数１４】
それぞれのフレームにおける量子化ステップサイズをＱＩ，ＱＰ，ＱＢとし、ｍを量子化ステップサイズと再生誤差分散を関係付ける次数とすれば、すなわち、量子化ステップサイズをｍ乗したものの平均値の最小化が再生誤差分散を最低にすると仮定すれば、以下に示す式（２５）を最小にすることによって、ＧＯＰ内における各フレーム毎の最適な符号量配分を与える。
【００５８】
【数１５】
なお、それぞれのフレームにおける平均ＱスケールＱ、及び符号量Ｒは、Ｔｅｓｔ Ｍｏｄｅｌ５においても用いられる媒体変数としての各フレームのコンプレキシティＸと、以下に示す式（２６）のように関係付けられる。
【００６０】
【数１６】
したがって、式（２４）の拘束条件の下で式（２６）を考慮に入れて、式（２５）を最小にするようなＲＩ，ＲＰ，ＲＢをラグランジェの未定乗数法を用いて算出すると、最適なＲＩ，ＲＰ，ＲＢとして、以下に示す式（２７）乃至（２９）のような値が求められる。
【００６２】
【数１７】
α＝１として、式（２７）乃至（２９）と、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５で定められた符号量制御方式における上述の式（８）乃至（９）との関係は、以下の通りである。すなわち、式（２７）乃至（２９）は、符号量制御の媒介変数であるＫｐ，Ｋｂを各フレームのコンプレキシティＸＩ，ＸＰ、ＸＢに応じて、以下に示す式（３０）のように適応的に算出している。
【００６４】
【数１８】
文献２では、１／（１＋ｍ）の値として、０．６〜１．２程度に設定することで良好な画質が得られることが示されている。
【００６６】
【発明が解決しようとする課題】
ところが、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５において定められた上記符号量制御方式には、以下の制限のあることが知られている。
【００６７】
第１の制限は、図５におけるステップＳ１０１は、シーンチェンジに対応できず、また、シーンチェンジ後にステップＳ１０３で用いる媒介変数ａｖｇ＿ａｃｔが間違った値となるということである。また、第２の制限は、ＭＰＥＧ２及びＭＰＥＧ４において規定されているＶＢＶ（Video Buffer Verifier）の拘束条件を満たす保証がないことである。
【００６８】
したがって、実際、符号量制御を行う場合には、これらの制限に対する対策が必要となる。
【００６９】
また、式（１８）では、最初のＩ−ＶＯＰにおける参照量子化スケールの初期値を１０としているが、この初期値は、絵柄とビットレートによっては必ずしも適切な値であるとは限らない。特に、ＳＩＦ，ＱＳＩＦといった画像では、マクロブロックの数が少ないため、符号量制御のフィードバックループが安定するまでに数ＶＯＰを要することもある。そのため、Video Object初期における画質劣化が参照量子化スケールの初期値に起因する場合がある。
【００７０】
そこで本発明は、このような従来の実情に鑑みて提案されたものであり、ＭＰＥＧ２画像圧縮情報から抽出される情報に基づいてＭＰＥＧ４画像符号化における符号量制御を行う際、初期値設定に伴う画質劣化を回避する画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法を提供することを目的とする。
【００７１】
【課題を解決するための手段】
本発明にかかる画像情報変換装置は、第１の画像圧縮情報を第２の画像圧縮情報に変換する画像情報変換装置であって、上記第１の画像圧縮情報と上記第１の画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り手段と、上記受け取り手段により受け取られた平均量子化スケールを用いて、上記第２の画像圧縮情報に変換する際の参照量子化スケールの初期値を決定する量子化スケール決定手段と、上記量子化スケール決定手段により決定された参照量子化スケールの初期値と上記第２の画像圧縮情報に変換する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記第２の画像圧縮情報を画像内符号化画像として変換する際の仮想バッファ占有量の初期値を決定する決定手段と、上記決定手段により決定された仮想バッファ占有量の初期値に従って、上記受け取り手段により受け取られた上記第１の画像圧縮情報を上記第２の画像圧縮情報に変換する変換手段とを備えることにより、上述した課題を解決する。
【００７２】
また、本発明にかかる画像情報変換方法は、第１の画像圧縮情報を第２の画像圧縮情報に変換する画像情報変換方法であって、上記第１の画像圧縮情報と上記第１の画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り工程と、上記受け取り工程により受け取られた平均量子化スケールを用いて、上記第２の画像圧縮情報に変換する際の参照量子化スケールの初期値を決定する量子化スケール決定工程と、上記量子化スケール決定工程により決定された参照量子化スケールの初期値と上記第２の画像圧縮情報に変換する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記第２の画像圧縮情報を画像内符号化画像として変換する際の仮想バッファ占有量の初期値を決定する決定工程と、上記決定工程により決定された仮想バッファ占有量の初期値に従って、上記受け取り工程により受け取られた上記第１の画像圧縮情報を上記第２の画像圧縮情報に変換する変換工程とを備えることにより、上述した課題を解決する。
【００７３】
ここで、第１の画像圧縮情報から抽出される情報として、第１の画像圧縮情報の最初の画像内符号化画像における平均量子化スケールを用いることがあげられる。
【００７４】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態について具体的に説明する。
【００７５】
本発明にかかる画像情報変換装置は、入力されるＭＰＥＧ２画像圧縮情報から抽出される情報に基づいて、ＭＰＥＧ４画像符号化を行う際の参照量子化スケールの初期値を算出し、これを用いて仮想バッファ占有量の初期値を算出することで、参照量子化スケールが不適切な値であることに起因する画質劣化を回避するものである。
【００７６】
本発明の第１の実施の形態として、図１に示す画像情報変換装置１は、ピクチャタイプ判別部１０、圧縮情報解析部１１、ＭＰＥＧ２画像情報復号化部１２、間引き部１３、ビデオメモリ１４、ＭＰＥＧ４画像情報（Ｉ／Ｐ−ＶＯＰ）符号化部１５、動きベクトル合成部１６、動きベクトル検出部１７、情報バッファ１８、コンプレキシティ算出部１９とを備えている。
【００７７】
ピクチャタイプ判別部１０は、飛び越し走査のＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）における各フレームのデータを入力し、画像内符号化画像（以下、Ｉピクチャと記す。）、画像間予測符号化画像（以下、Ｐピクチャと記す。）、双方向予測符号化画像（以下、Ｂピクチャと記す。）の何れのピクチャに関するものであるかを判別する。ピクチャタイプ判別部１０は、Ｉピクチャ及びＰピクチャ（以下、Ｉ／Ｐピクチャと記す。）に関する情報は、後段の圧縮情報解析部１２に伝送するが、Ｂピクチャに関する情報は破棄する。
【００７８】
圧縮情報解析部１１は、復号処理に用いられた量子化スケールのフレーム全体にわたる平均値Ｑと、ＭＰＥＧ２ビットストリームにおいて当該フレームに割り当てられた総符号量（ビット数）Ｂとを解析し、必要な情報を情報バッファ１８に伝送する。
【００７９】
情報バッファ１８は、ＭＰＥＧ２ビットストリームにおけるＩ／Ｐピクチャの発生符号量（ビット数）及び平均量子化スケールを蓄積する。
【００８０】
コンプレキシティ算出装置１９は、情報バッファ１８に格納されたフレーム毎の情報Ｑ及びＢから、ＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記す。）の各ＶＯＰに対するコンプレキシティＸの推定値を上述した式（２０）により算出する。
【００８１】
ＭＰＥＧ２画像情報復号化部１２は、ＭＰＥＧ２ビットストリームにおけるＩ／Ｐピクチャに関する情報の復号処理を行う。ＭＰＥＧ２画像情報復号化部１２は、通常のＭＰＥＧ２画像情報復号化部と同様であるが、Ｂピクチャに関するデータは、ピクチャタイプ判別部１０において廃棄されるため、ＭＰＥＧ２画像情報復号化部１２は、少なくともＩ／Ｐピクチャを復号可能であればよい。
【００８２】
間引き部１３は、ＭＰＥＧ２画像情報復号化部１２からの画像値を入力し、水平方向に１／２の間引き処理を施し、垂直方向に第１フィールド、もしくは第２フィールドのどちらか一方のデータのみを残し、他方を廃棄する処理を施すことによって、入力した画像情報の１／４の大きさを持つ順次走査画像を生成する。
【００８３】
ところで、例えば、ＭＰＥＧ２画像情報復号化部１２から入力したＭＰＥＧ２ビットストリームがＮＴＳＣ（National Television System Committee）の規格に準拠した画像、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き部１３における間引き処理後の画枠は３６０×２４０画素になる。ところが、後続のＭＰＥＧ４画像情報符号化部１５において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、間引き部１３は、さらに、そのための画素の補填または廃棄を行う。すなわち、上記の場合においては、例えば、水平方向の右端、もしくは左端の８ラインを廃棄して３５２×２４０画素とする。ここで、ＭＰＥＧ４画像情報をＩ／Ｐ−ＶＯＰと記すものとする。ＶＯＰ（Video Object Plane）は、ＭＰＥＧ２におけるフレームに相当するものである。
【００８４】
間引き部１３によって生成された順次走査画像は、ビデオメモリ１４に蓄積された後、ＭＰＥＧ４画像情報符号化部１５によって符号化処理が施され、ＭＰＥＧ４ビットストリームとして出力される。
【００８５】
入力となるＭＰＥＧ２ビットストリーム中の動きベクトル情報は、動きベクトル合成部１６に供給されて、間引き後の画像情報に対する動きベクトルにマッピングされる。
【００８６】
動きベクトル検出部１７は、動きベクトル合成部１６において合成された動きベクトル値に基づいて、高精度の動きベクトルを検出する。
【００８７】
画像情報変換装置１は、入力されたＭＰＥＧ２ビットストリームの１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４ビットストリームを生成する装置である。すなわち、例えば入力となるＭＰＥＧ２ビットストリームがＮＴＳＣ規格に準拠している場合、出力されるＭＰＥＧ４ビットストリームは、ＳＩＦサイズ（３５２×２４０）となっている。画像情報変換装置１は、間引き部１３における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【００８８】
さらに、また、画像情報変換装置１は、ＭＰＥＧ２画像情報復号化部１２における処理として、水平方向、垂直方向それぞれについて入力したＭＰＥＧ２ビットストリーム内の８次の離散コサイン変換係数のうちのすべてを用いた復号処理を行うほか、水平方向のみ、あるいは水平方向、垂直方向ともに８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら復号処理に伴う演算量とビデオメモリ容量とを削減している。
【００８９】
圧縮情報解析部１１において、復号処理に用いられた量子化スケールのフレーム全体にわたる平均値Ｑ、及びＭＰＥＧ２ビットストリームにおいて、当該フレームに割り当てられた総符号量（ビット数）Ｂは、情報バッファ１８に格納される。
【００９０】
コンプレキシティ算出部１９においては、情報バッファ１８に格納されたフレーム毎の情報Ｑ及びＢから、当該フレームに対するコンプレキシティＸを以下の式（３１）により算出する。
【００９１】
【数１９】
上述の式（３１）によって算出された当該フレームに対するコンプレキシティＸは、１ＧＯＶ分バッファリングされた後、ＭＰＥＧ４画像情報符号化部１５に符号量制御のための媒介変数として伝送される。このため、１ＧＯＶ分の遅延が必要となる。この遅延は遅延バッファを用いて実現される。
【００９３】
以下では、式（３１）において算出されたＧＯＶ内の各フレームに対するコンプレキシティＸがＭＰＥＧ４画像情報符号化部１５においてどの様に用いられるかについて述べる。なお、以下では、ピクチャタイプ判別部１０が装置内に存在せず、フレームレートの変換を行わない場合も考慮することにする。
【００９４】
式（３０）によって求められたＫｐ、Ｋｂは、Ｉ−ＶＯＰに対する理想的な平均量子化スケールＱｉ＿ｉｄｅａｌに対するＰ−ＶＯＰ／Ｂ−ＶＯＰに対する理想的な平均量子化スケールＱｐ＿ｉｄｅａｌとＱｂ＿ｉｄｅａｌとの比が、以下の式（３２）であることである。
【００９５】
【数２０】
ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５においては、式（３０）のように適応的にＫｐ、Ｋｂを算出することを行わず、式（７）に示したような固定値を用いている。
【００９７】
式（３０）及び式（３２）から、任意のＶＯＰ１と、任意のＶＯＰ２とに対するコンプレキシティをそれぞれＸ１，Ｘ２とし、理想的な量子化スケールをＱ１＿ｉｄｅａｌ、Ｑ２＿ｉｄｅａｌとすれば、以下の式（３３）に示すようになる。
【００９８】
【数２１】
あるいはまた、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５のように式（７）に示した固定値を用いたい場合には、式（３３）に代えて以下の式（３４）を用いればよい。
【０１００】
【数２２】
ここで、ＧＯＶ内の未符号化されたＶＯＰに対して割り当てられる総符号量（ビット数）をＲとし、Ｒが各ＶＯＰに対して、Ｒ１、Ｒ２、・・・、Ｒｎと割り当てられるとき、当該ＧＯＶに対する画質が最適化されるものとする。このとき、ＲとＲ１、Ｒ２、・・・、Ｒｎの間には、以下の式（３５）に示す関係式が成り立つ。
【０１０２】
【数２３】
任意のＶＯＰｋに対する平均量子化スケールＱｋ、割当符号量Ｒｋ，コンプレキシティＸｋの間には、以下に示す式（３６）で表される関係が成り立つ。
【０１０４】
【数２４】
ここで、式（３６）を考慮して、式（３５）を変形すると以下に示す式（３７）を得る。
【０１０６】
【数２５】
式（３７）において、Ｋ（Ｘ１，Ｘ２）は、式（３３）に示した値を用いても、式（３４）に示した値を用いてもよいが、前者の方が画像に応じたより最適な符号量配分を実現することが可能である。
【０１０８】
その際、１／（１＋ｍ）の値を１．０と設定することで、指数演算を行うことが不要となるため、高速な実行が可能となる。また、１／（１＋ｍ）の値を１．０以外に設定する場合にも、予めテーブルを持ち、これを参照して指数演算を行うことで高速な実行が可能となる。
【０１０９】
式（３７）における各ＶＯＰに対するコンプレキシティＸｋは、ＭＰＥＧ４画像符号化によるものであるが、ＭＰＥＧ２画像符号化による各フレームに対するコンプレキシティと、ＭＰＥＧ４画像符号化による各フレームに対するコンプレキシティが等しいと仮定すれば、コンプレキシティ算出装置１７に格納されたＸｋを用いることで、式（３７）によって当該ＶＯＰに対する目標符号量を算出することを可能としている。
【０１１０】
図２に、画像情報変換装置１が目標符号量を算出する際の処理フローを示す。
【０１１１】
ステップＳ１において、ＭＰＥＧ２画像情報復号化部１２は、ＧＯＰ内の各フレームに対する平均量子化スケールＱ、及び割当符号量（ビット数）Ｂを抽出する。
【０１１２】
ステップＳ２において、コンプレキシティ算出部１９は、コンプレキシティＸを算出する。
【０１１３】
続いて、ステップＳ３において、ＭＰＥＧ４画像情報符号化部１５は、コンプレキシティＸに応じた目標符号量（ターゲットビットレート）の算出を行う。
【０１１４】
ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５では、ＧＯＰ内におけるＩ，Ｐ，Ｂピクチャに対するコンプレキシティＸｉ、Ｘｐ、Ｘｂは、一定であると仮定しているが、実際には、ＧＯＰ内にシーンチェンジを含む場合やＧＯＰ内で背景が著しく変化する場合等はこの仮定が成り立たず、安定した符号量制御の妨げとなり、画質劣化の要因ともなる。図１に示した画像情報変換装置１によれば、入力されたＭＰＥＧ２ビットストリームにおける各フレームに対するコンプレキシティに基づいた符号量制御を行うため、画質劣化を引き起こすことなく、安定した符号量制御を行うことを可能としている。
【０１１５】
続いて、本発明の第２の実施の形態として示す画像情報変換装置２を、図３を参照にして具体的に説明する。
【０１１６】
図３に示す画像情報変換装置２は、ピクチャタイプ判別部２０と、圧縮画像解析部２１と、ＭＰＥＧ２画像情報復号化部２２と、間引き部２３と、ビデオメモリ２４と、ＭＰＥＧ４画像情報符号化部２５と、動きベクトル合成部２６と、動きベクトル検出部２７と、情報バッファ２８と、コンプレキシティ算出部２９と、初期参照量子化スケール決定部３０とを備えている。
【０１１７】
ピクチャタイプ判別部２０は、飛び越し走査のＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）における各フレームのデータを入力し、ＭＰＥＧ２画像情報（以下、Ｉ／Ｐピクチャと記す。）に関するものか、Ｂピクチャに関するものであるかを判別する。ピクチャタイプ判別部２０は、Ｉ／Ｐピクチャに関する情報は後段の圧縮画像解析部２１に伝送するが、Ｂピクチャに関する情報は破棄する。
【０１１８】
圧縮情報解析部２１は、復号処理に用いられた量子化スケールのフレーム全体にわたる平均値Ｑと、ＭＰＥＧ２ビットストリームにおいて当該フレームに割り当てられた総符号量（ビット数）Ｂとを解析し、必要な情報を情報バッファ２８に伝送する。
【０１１９】
情報バッファ２８は、ＭＰＥＧ２ビットストリームにおけるＩ／Ｐピクチャの発生符号量（ビット数）及び平均量子化スケールを蓄積する。
【０１２０】
コンプレキシティ算出装置２０は、情報バッファ２８に格納されたフレーム毎の情報Ｑ及びＢから、ＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記す。）の各ＶＯＰに対するコンプレキシティＸの推定値を上述した式（２０）により算出する。
【０１２１】
ＭＰＥＧ２画像情報復号化部２２は、ＭＰＥＧ２ビットストリームにおけるＩ／Ｐピクチャに関する情報の復号処理を行う。ＭＰＥＧ２画像情報復号化部２２は、通常のＭＰＥＧ２画像情報復号化部と同様であるが、Ｂピクチャに関するデータは、ピクチャタイプ判別部２０において廃棄されるため、ＭＰＥＧ２画像情報復号化部１２は、少なくともＩ／Ｐピクチャを復号可能であればよい。
【０１２２】
間引き部２３は、ＭＰＥＧ２画像情報復号化部２２からの画像値を入力し、水平方向に１／２の間引き処理を施し、垂直方向に第１フィールド、もしくは第２フィールドのどちらか一方のデータのみを残し、他方を廃棄する処理を施すことによって、入力した画像情報の１／４の大きさを持つ順次走査画像を生成する。
【０１２３】
ところで、例えば、ＭＰＥＧ２画像情報復号化部２２から入力したＭＰＥＧ２ビットストリームがＮＴＳＣ（National Television System Committee）の規格に準拠した画像、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、間引き部２３における間引き処理後の画枠は３６０×２４０画素になる。ところが、後続のＭＰＥＧ４画像情報符号化部１５において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、間引き部１３は、さらに、そのための画素の補填または廃棄を行う。すなわち、上記の場合においては、例えば、水平方向の右端、もしくは左端の８ラインを廃棄して３５２×２４０画素とする。ここで、ＭＰＥＧ４画像情報をＩ／Ｐ−ＶＯＰと記すものとする。ＶＯＰ（Video Object Plane）は、ＭＰＥＧ２におけるフレームに相当するものである。
【０１２４】
間引き部２３によって生成された順次走査画像は、ビデオメモリ１４に蓄積された後、ＭＰＥＧ４画像情報符号化部２５によって符号化処理が施され、ＭＰＥＧ４ビットストリームとして出力される。
【０１２５】
入力となるＭＰＥＧ２ビットストリーム中の動きベクトル情報は、動きベクトル合成部２６に供給されて、間引き後の画像情報に対する動きベクトルにマッピングされる。
【０１２６】
動きベクトル検出部２７は、動きベクトル合成部２６において合成された動きベクトル値に基づいて、高精度の動きベクトルを検出する。
【０１２７】
画像情報変換装置２は、入力されたＭＰＥＧ２ビットストリームの１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４ビットストリームを生成する装置である。すなわち、例えば入力となるＭＰＥＧ２ビットストリームがＮＴＳＣ規格に準拠している場合、出力されるＭＰＥＧ４ビットストリームは、ＳＩＦサイズ（３５２×２４０）となっている。画像情報変換装置２は、間引き部１３における動作の変更を行うことで、これ以外の画枠、例えば上記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画像に変換することも可能である。
【０１２８】
さらに、また、画像情報変換装置２は、ＭＰＥＧ２画像情報復号化部２２における処理として、水平方向、垂直方向それぞれについて入力したＭＰＥＧ２ビットストリーム内の８次の離散コサイン変換係数のうちのすべてを用いた復号処理を行うほか、水平方向のみ、あるいは水平方向、垂直方向ともに８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら復号処理に伴う演算量とビデオメモリ容量とを削減している。
【０１２９】
初期参照量子化スケール決定部３０は、まず、予め定められたＭＰＥＧ２ビットストリーム、ＭＰＥＧ４ビットストリームに含まれるマクロブロックの個数、情報バッファ２８に格納されたＭＰＥＧ２ビットストリームの第１番目のＩピクチャに割り当てられた符号量（ビット数）、平均量子化スケールＱＭＰＥＧ２， Ｉ０、及びＭＰＥＧ４画像情報符号化部２５において算出されるＭＰＥＧ４ビットストリームの第１番目のＩ−ＶＯＰに対する目標符号量（ターゲットビット）から参照量子化スケールの初期値を決定し、仮想バッファ占有量の初期値の算出を行う。
【０１３０】
以上のような画像情報変換装置２は、以下に示すようにして、出力となるＭＰＥＧ４ビットストリームの最初のＩ−ＶＯＰに対する参照量子化スケールの初期値ｒｅｆＱＩ０を決定する。
【０１３１】
第１の方法は、画像情報変換装置２に入力されるＭＰＥＧ２ビットストリーム及び画像情報変換装置２から出力されるＭＰＥＧ４ビットストリームのビットレートをｂｉｔ＿ｒａｔｅＭＰＥＧ２、ｂｉｔ＿ｒａｔｅＭＰＥＧ４、フレームレートをｆｒａｍｅ＿ｒａｔｅＭＰＥＧ２、ｆｒａｍｅ＿ｒａｔｅＭＰＥＧ４として、以下に示す式（３８）によって参照量子化スケールの初期値ｒｅｆＱＩ０を表す方法である。
【０１３２】
【数２６】
式（３８）において、１／２とするのは、ＭＰＥＧ２における量子化スケールコード６２がＭＰＥＧ４量子化スケールコード３１に相当するためである。
【０１３４】
第２の方法は、入力となるＭＰＥＧ２ビットストリームの最初のＩピクチャに割り当てられた符号量（ビット数）をＢＭＰＥＧ２，Ｉ０とし、式（８）乃至（１０）、もしくは式（３７）によって計算される、出力されるＭＰＥＧ４ビットストリームの最初の１−ＶＯＰに対する目標符号量（ターゲットビット）をＴＩ０とし、入力となるＭＰＥＧ２ビットストリームの１フレームあたり、及び出力となるＭＰＥＧ４ビットストリームの１ＶＯＰあたりに含まれるマクロブロックの個数をそれぞれＭＢ＿ｃｎｔＭＰＥＧ２、ＭＢ＿ｃｎｔＭＰＥＧ４として、以下に示す式（３９）によって参照量子化スケールの初期値ｒｅｆＱＩ０を表す方法である。
【０１３５】
【数２７】
以上示した式（３８）及び（３９）において、ＭＰＥＧ４符号化における量子化スケールは、１から３１の整数値以外の値を取ることができない。そのため、式（３８）もしくは（３９）で計算されるｒｅｆＱＩ０に対し、１から３１の整数値で最も近い値を、その後の処理で用いるｒｅｆＱＩ０として採用する。
【０１３７】
Ｉ−ＶＯＰに対する仮想バッファ占有量の初期値ｄ０ ｉは、以下に示す式（４０）を用いて求められる。
【０１３８】
【数２８】
以下では、ピクチャタイプ判別部２０を用いて、Ｂピクチャを破棄し、フレームレートの変換を行わない場合も考慮する。このとき、Ｐ／Ｂ−ＶＯＰに対する仮想バッファ占有量の初期値ｄ０ ｐ、ｄ０ ｂは、以下に示す何れの方法を用いて算出してもよい。
【０１４０】
まず、第１の方法は、式（４０）において求められたｄ０ ｉに対して、Ｋｐ及びＫｂを上述の式（７）で与えられる定数としたとき、以下に示す式（４１）のように算出する方法である。
【０１４１】
【数２９】
続いて第２の方法は、式（３８）と同様に、まず、ｒｅｆＱＰ０、ｒｅｆＱＢ０を以下に示す式（４２）及び（４３）のように算出する。
【０１４３】
【数３０】
あるいは式（３９）と同様に、ｒｅｆＱＰ０，ｒｅｆＱＢ０を以下に示す式（４４）及び式（４５）のように算出する。
【０１４５】
【数３１】
そして、上記ｒｅｆＱＰ０及びｒｅｆＱＢ０を用いて、仮想バッファ占有量の初期値ｄ０ ｐ、ｄ０ ｂを以下に示す式（４６）及び（４７）のように算出する。
【０１４７】
【数３２】
以上詳細に説明したように、画像情報変換装置２は、初期参照量子化スケール決定部３０において、入力されたＭＰＥＧ２ビットストリーム（ビットストリーム）から抽出される情報に基づいてＭＰＥＧ４画像符号化を行う際の参照量子化スケールの初期値を算出し、これを用いて仮想バッファ占有量の初期値を算出することによって、参照量子化スケールが不適切な値であることに起因する画質劣化を回避することが可能である。
【０１４９】
なお、上記初期参照量子化スケール決定部３０は、参照量子化スケールの初期値の決定する際、情報バッファに格納されたＭＰＥＧ２ビットストリームにおける第１番目のＩピクチャに対する平均量子化スケールコード及びＭＰＥＧ２ビットストリーム、並びにＭＰＥＧ４ビットストリームのフレームレート及びビットレートから決定してもよい。
【０１５０】
また、上述の説明では、ＭＰＥＧ２ビットストリームを入力し、ＭＰＥＧ４ビットストリームを出力する場合について示したが、入力及び出力ともこの場合に限らず、画像圧縮情報は、例えばＭＰＥＧ−１やＨ．２６３等の画像圧縮情報であってもよい。
【０１５１】
【発明の効果】
以上詳細に説明したように、本発明にかかる画像情報変換装置は、第１の画像圧縮情報を入力し、第２の画像圧縮情報を出力する画像情報変換装置であって、第１の画像圧縮情報及び第２の画像圧縮情報は、少なくとも画像内符号化画像と画像間予測符号化画像とを有し、第１の画像圧縮情報から抽出される情報を用いて第２の画像圧縮情報の画像内符号化画像を生成するときの参照量子化スケールの初期値を決定し、第２の画像圧縮情報の最初の画像内符号化画像を生成するときの参照量子化スケールの初期値に基づいて画像内符号化画像に対する仮想バッファ占有量の初期値を決定する量子化スケール決定手段を備える。
【０１５２】
ここで、第１の画像圧縮情報から抽出される情報として、第１の画像圧縮情報の最初の画像内符号化画像における平均量子化スケールを用いることがあげられる。
【０１５３】
したがって、本発明にかかる画像情報変換装置は、飛び越し走査のＭＰＥＧ２画像圧縮情報に基づいて、ＭＰＥＧ４符号化における符号量制御を行う際の参照量子化スケールコードの初期値を決定し、これを用いて仮想バッファ占有量の初期値を算出することによって、参照量子化スケールコードの初期値設定に伴う画像劣化を回避した状態で順次操作のＭＰＥＧ４ビットストリームを出力することを可能にする。
【０１５４】
また、本発明にかかる画像情報変換方法は、第１の画像圧縮情報を入力し、第２の画像圧縮情報を出力する画像情報変換方法であって、第１の画像圧縮情報及び第２の画像圧縮情報は、少なくとも画像内符号化画像と画像間予測符号化画像とを有し、第１の画像圧縮情報から抽出される情報を用いて第２の画像圧縮情報の画像内符号化画像を生成するときの参照量子化スケールの初期値を決定し、第２の画像圧縮情報の最初の画像内符号化画像を生成するときの参照量子化スケールの初期値に基づいて画像内符号化画像に対する仮想バッファ占有量の初期値を決定する。
【０１５５】
ここで、第１の画像圧縮情報から抽出される情報として、第１の画像圧縮情報の最初の画像内符号化画像における平均量子化スケールを用いることがあげられる。
【０１５６】
したがって、本発明にかかる画像情報変換方法は、飛び越し走査のＭＰＥＧ２画像圧縮情報に基づいて、ＭＰＥＧ４符号化における符号量制御を行う際の参照量子化スケールコードの初期値を決定し、これを用いて仮想バッファ占有量の初期値を算出することによって、参照量子化スケールコードの初期値設定に伴う画像劣化を回避した状態で順次操作のＭＰＥＧ４ビットストリームを出力することを可能にする。
【図面の簡単な説明】
【図１】本発明の実施の形態として示す画像情報変換装置の構成を示すブロック図である。
【図２】本発明の実施の形態として示す画像情報変換装置が画像情報を変換する動作を示すフローチャートである。
【図３】本発明の実施の形態として示す画像情報変換装置の構成を示すブロック図である。
【図４】従来の画像情報変換装置の構成を示すブロック図である。
【図５】ＭＰＥＧ４画像情報符号化部が、ＭＰＥＧ２画像情報復号化部で抽出される各フレームに対するコンプレキシティＸを用いて、符号量制御を行う処理を示すフローチャートである。
【符号の説明】
１，２ 画像情報変換装置、１０，２０ ピクチャタイプ判別部、１１，２１圧縮情報解析部、１２，２２ ＭＰＥＧ２画像情報復号化部、１３，２３ 間引き部、１４，２４ ビデオメモリ、１５，２５ ＭＰＥＧ４画像情報符号化部、１６，２６ 動きベクトル合成部、１７，２７ 動きベクトル検出部、１８，２８ 情報バッファ、１９，２９ コンプレキシティ算出部、３０ 初期量子化スケール決定部
Claims (11)
- 第１の画像圧縮情報を第２の画像圧縮情報に変換する画像情報変換装置であって、
上記第１の画像圧縮情報と上記第１の画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り手段と、
上記受け取り手段により受け取られた平均量子化スケールを用いて、上記第２の画像圧縮情報に変換する際の参照量子化スケールの初期値を決定する量子化スケール決定手段と、
上記量子化スケール決定手段により決定された参照量子化スケールの初期値と上記第２の画像圧縮情報に変換する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記第２の画像圧縮情報を画像内符号化画像として変換する際の仮想バッファ占有量の初期値を決定する決定手段と、
上記決定手段により決定された仮想バッファ占有量の初期値に従って、上記受け取り手段により受け取られた上記第１の画像圧縮情報を上記第２の画像圧縮情報に変換する変換手段と
を備える画像情報変換装置。 - 上記第１の画像圧縮情報及び上記第２の画像圧縮情報は、少なくとも画像内符号化画像と画像間予測符号化画像とを有し、上記画像間予測符号化画像は、前方予測符号化画像と双方向予測符号化画像とからなり、
上記画像内符号化画像に対する仮想バッファ占有量の初期値と、第１の定数との積の演算により、上記前方予測符号化画像に対する仮想バッファ占有量の初期値を求め、
上記前方予測符号化画像に対する仮想バッファ占有量の初期値と、第２の定数との積の演算により、上記双方向予測符号化画像に対する仮想バッファ占有量の初期値を求める請求項１記載の画像情報変換装置。 - 上記第２の画像圧縮情報の符号量に対する上記第１の画像圧縮情報の符号量の割合と、上記第１の画像圧縮情報のフレームレートに対する上記第２の画像圧縮情報のフレームレートの割合と、上記第１の画像圧縮情報の最初の画像内符号化画像における平均量子化スケールとの積の演算により、上記第２の画像圧縮情報の最初の画像内符号化画像を生成するときの参照量子化スケールの初期値を求める請求項１記載の画像情報変換装置。
- 上記第２の画像圧縮情報の符号化に使用される量子化スケールを表す整数のうち上記演算による値に最も近い整数を上記第２の画像圧縮情報の最初の画像内符号化画像を生成するときの参照量子化スケールの初期値とする請求項３記載の画像情報変換装置。
- 上記第２の画像圧縮情報の最初の画像内符号化画像の目標符号量に対する上記第１の画像圧縮情報の最初の画像内符号化画像に割り当てられた符号量の割合と、上記第１の画像圧縮情報の１フレームあたりに含まれる所定の符号化単位の個数に対する上記第２の画像圧縮情報の１フレームあたりに含まれる所定の符号化単位の個数の割合と、上記第１の画像圧縮情報の最初の画像内符号化画像における平均量子化スケールとの積の演算により、上記第２の画像圧縮情報の最初の画像内符号化画像に対する参照量子化スケールの初期値を求める請求項１記載の画像情報変換装置。
- 上記第２の画像圧縮情報の符号化に使用される量子化スケールを表す整数のうち上記演算による値に最も近い整数を上記第２の画像圧縮情報の最初の画像内符号化画像を生成するときの参照量子化スケールの初期値とする請求項５記載の画像情報変換装置。
- 上記第１の画像圧縮情報は、ＭＰＥＧ−２規格に準じて符号化された情報である請求項１記載の画像情報変換装置。
- 上記第２の画像圧縮情報は、ＭＰＥＧ−４規格に準じて符号化された情報である請求項１記載の画像情報変換装置。
- 第１の画像圧縮情報を第２の画像圧縮情報に変換する画像情報変換方法であって、
上記第１の画像圧縮情報と上記第１の画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り工程と、
上記受け取り工程により受け取られた平均量子化スケールを用いて、上記第２の画像圧縮情報に変換する際の参照量子化スケールの初期値を決定する量子化スケール決定工程と、
上記量子化スケール決定工程により決定された参照量子化スケールの初期値と上記第２の画像圧縮情報に変換する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記第２の画像圧縮情報を画像内符号化画像として変換する際の仮想バッファ占有量の初期値を決定する決定工程と、
上記決定工程により決定された仮想バッファ占有量の初期値に従って、上記受け取り工程により受け取られた上記第１の画像圧縮情報を上記第２の画像圧縮情報に変換する変換工程と
を備える画像情報変換方法。 - 画像圧縮情報を復号して得られる画像情報を符号化する符号化装置において、
上記画像情報と上記画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り手段と、
上記受け取り手段により受け取られた平均量子化スケールを用いて、上記受け取り手段により受け取られた画像情報を符号化する際の参照量子化スケールの初期値を決定する量子化スケール決定手段と、
上記量子化スケール決定手段により決定された参照量子化スケールの初期値と上記受け取り手段により受け取られた画像情報を符号化する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記受け取り手段により受け取られた画像情報を画像内符号化画像として符号化する際の仮想バッファ占有量の初期値を決定する決定手段と、
上記決定手段により決定された仮想バッファ占有量の初期値に従って、上記受け取り手段により受け取られた画像情報を符号化する符号化手段と
を備える符号化装置。 - 画像圧縮情報を復号して得られる画像情報を符号化する符号化方法において、
上記画像情報と上記画像圧縮情報の画像内符号化画像における平均量子化スケールとを受け取る受け取り工程と、
上記受け取り工程により受け取られた平均量子化スケールを用いて、上記受け取り工程により受け取られた画像情報を符号化する際の参照量子化スケールの初期値を決定する量子化スケール決定工程と、
上記量子化スケール決定工程により決定された参照量子化スケールの初期値と上記受け取り工程により受け取られた画像情報を符号化する際に使用する量子化スケールを表す整数の最大値とを乗算した値と、ビットレートとピクチャレートとの比に基づく変数と、の比率に従って、上記受け取り工程により受け取られた画像情報を画像内符号化画像として符号化する際の仮想バッファ占有量の初期値を決定する決定工程と、
上記決定工程により決定された仮想バッファ占有量の初期値に従って、上記受け取り工程により受け取られた画像情報を符号化する符号化工程と
を備える符号化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000344490A JP4517495B2 (ja) | 2000-11-10 | 2000-11-10 | 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法 |
| US09/986,436 US6950468B2 (en) | 2000-11-10 | 2001-11-08 | Image formation conversion apparatus and image information conversion method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000344490A JP4517495B2 (ja) | 2000-11-10 | 2000-11-10 | 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002152727A JP2002152727A (ja) | 2002-05-24 |
| JP4517495B2 true JP4517495B2 (ja) | 2010-08-04 |
Family
ID=18818678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000344490A Expired - Fee Related JP4517495B2 (ja) | 2000-11-10 | 2000-11-10 | 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6950468B2 (ja) |
| JP (1) | JP4517495B2 (ja) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002152759A (ja) * | 2000-11-10 | 2002-05-24 | Sony Corp | 画像情報変換装置および画像情報変換方法 |
| US7602847B1 (en) | 2001-03-27 | 2009-10-13 | Vixs Systems, Inc. | Device and method for compression of a video stream |
| US8107524B2 (en) * | 2001-03-30 | 2012-01-31 | Vixs Systems, Inc. | Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network |
| US20070053428A1 (en) * | 2001-03-30 | 2007-03-08 | Vixs Systems, Inc. | Managed degradation of a video stream |
| US7675972B1 (en) | 2001-07-30 | 2010-03-09 | Vixs Systems, Inc. | System and method for multiple channel video transcoding |
| US6959348B1 (en) * | 2001-07-30 | 2005-10-25 | Vixs Systems, Inc. | Method and system for accessing data |
| US7139330B1 (en) | 2001-10-31 | 2006-11-21 | Vixs Systems, Inc. | System for signal mixing and method thereof |
| US7596127B1 (en) | 2001-10-31 | 2009-09-29 | Vixs Systems, Inc. | System for allocating data in a communications system and method thereof |
| US7106715B1 (en) | 2001-11-16 | 2006-09-12 | Vixs Systems, Inc. | System for providing data to multiple devices and method thereof |
| US7403564B2 (en) * | 2001-11-21 | 2008-07-22 | Vixs Systems, Inc. | System and method for multiple channel video transcoding |
| US7356079B2 (en) | 2001-11-21 | 2008-04-08 | Vixs Systems Inc. | Method and system for rate control during video transcoding |
| US7165180B1 (en) | 2001-11-27 | 2007-01-16 | Vixs Systems, Inc. | Monolithic semiconductor device for preventing external access to an encryption key |
| US7310679B1 (en) | 2002-04-29 | 2007-12-18 | Vixs Systems Inc. | Method and system for transmitting video content while preventing other transmissions in a contention-based network |
| US7120253B2 (en) | 2002-05-02 | 2006-10-10 | Vixs Systems, Inc. | Method and system for protecting video data |
| JP4275358B2 (ja) * | 2002-06-11 | 2009-06-10 | 株式会社日立製作所 | 画像情報変換装置およびビットストリーム変換機ならびに画像情報変換送信方法 |
| JP4354402B2 (ja) * | 2002-07-11 | 2009-10-28 | パナソニック株式会社 | Ａｖデータ変換装置および方法 |
| US20040141555A1 (en) * | 2003-01-16 | 2004-07-22 | Rault Patrick M. | Method of motion vector prediction and system thereof |
| US7408989B2 (en) * | 2003-01-16 | 2008-08-05 | Vix5 Systems Inc | Method of video encoding using windows and system thereof |
| US7606305B1 (en) | 2003-02-24 | 2009-10-20 | Vixs Systems, Inc. | Method and system for transcoding video data |
| US7133452B1 (en) | 2003-02-24 | 2006-11-07 | Vixs Systems, Inc. | Method and system for transcoding video data |
| US7327784B2 (en) * | 2003-02-24 | 2008-02-05 | Vixs Systems, Inc. | Method and system for transcoding video data |
| US7130350B1 (en) | 2003-02-28 | 2006-10-31 | Vixs Systems, Inc. | Method and system for encoding and decoding data in a video stream |
| US20040247030A1 (en) * | 2003-06-09 | 2004-12-09 | Andre Wiethoff | Method for transcoding an MPEG-2 video stream to a new bitrate |
| US7739105B2 (en) | 2003-06-13 | 2010-06-15 | Vixs Systems, Inc. | System and method for processing audio frames |
| US7277101B2 (en) | 2003-09-29 | 2007-10-02 | Vixs Systems Inc | Method and system for scaling images |
| US7668396B2 (en) | 2003-09-29 | 2010-02-23 | Vixs Systems, Inc. | Method and system for noise reduction in an image |
| US7675970B2 (en) * | 2004-01-12 | 2010-03-09 | General Instrument Corporation | Method and apparatus for processing a bitstream in a digital video transcoder |
| US7406598B2 (en) * | 2004-02-17 | 2008-07-29 | Vixs Systems Inc. | Method and system for secure content distribution |
| JP4528043B2 (ja) * | 2004-07-12 | 2010-08-18 | 株式会社日立製作所 | 映像信号変換装置、変換方法及びこれを用いた映像信号記録装置 |
| US7421048B2 (en) * | 2005-01-20 | 2008-09-02 | Vixs Systems, Inc. | System and method for multimedia delivery in a wireless environment |
| US7609766B2 (en) | 2005-02-08 | 2009-10-27 | Vixs Systems, Inc. | System of intra-picture complexity preprocessing |
| US8949920B2 (en) | 2005-03-17 | 2015-02-03 | Vixs Systems Inc. | System and method for storage device emulation in a multimedia processing system |
| US7400869B2 (en) * | 2005-03-22 | 2008-07-15 | Vixs Systems Inc. | System and method for adaptive DC offset compensation in wireless transmissions |
| US8385427B2 (en) * | 2005-04-15 | 2013-02-26 | Apple Inc. | Reduced resolution video decode |
| US7707485B2 (en) | 2005-09-28 | 2010-04-27 | Vixs Systems, Inc. | System and method for dynamic transrating based on content |
| US20070112826A1 (en) * | 2005-11-10 | 2007-05-17 | Vixs Systems, Inc. | Multimedia transcoding based on remaining storage capacity |
| US8131995B2 (en) * | 2006-01-24 | 2012-03-06 | Vixs Systems, Inc. | Processing feature revocation and reinvocation |
| KR101422006B1 (ko) * | 2007-09-17 | 2014-07-23 | 엘지전자 주식회사 | 데이터의 인코딩/디코딩 방법, 데이터의 검출방법 및데이터의 기록/재생 방법 |
| US20150036753A1 (en) * | 2012-03-30 | 2015-02-05 | Sony Corporation | Image processing device and method, and recording medium |
| US9307235B2 (en) * | 2012-12-03 | 2016-04-05 | Vixs Systems, Inc. | Video encoding system with adaptive hierarchical B-frames and method for use therewith |
| US9743091B2 (en) * | 2012-12-17 | 2017-08-22 | Lg Electronics Inc. | Method for encoding/decoding image, and device using same |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09512410A (ja) * | 1995-02-15 | 1997-12-09 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ビデオ信号の符号変換方法および装置 |
| JP2000261800A (ja) * | 1999-03-11 | 2000-09-22 | Nec Corp | 動画像可変ビットレート符号化方法および装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6674911B1 (en) * | 1995-09-14 | 2004-01-06 | William A. Pearlman | N-dimensional data compression using set partitioning in hierarchical trees |
| US6085223A (en) * | 1995-10-20 | 2000-07-04 | Ncr Corporation | Method and apparatus for providing database information to non-requesting clients |
| US5930786A (en) * | 1995-10-20 | 1999-07-27 | Ncr Corporation | Method and apparatus for providing shared data to a requesting client |
| US6480539B1 (en) * | 1999-09-10 | 2002-11-12 | Thomson Licensing S.A. | Video encoding method and apparatus |
| US6647061B1 (en) * | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
-
2000
- 2000-11-10 JP JP2000344490A patent/JP4517495B2/ja not_active Expired - Fee Related
-
2001
- 2001-11-08 US US09/986,436 patent/US6950468B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09512410A (ja) * | 1995-02-15 | 1997-12-09 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ビデオ信号の符号変換方法および装置 |
| JP2000261800A (ja) * | 1999-03-11 | 2000-09-22 | Nec Corp | 動画像可変ビットレート符号化方法および装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020106022A1 (en) | 2002-08-08 |
| US6950468B2 (en) | 2005-09-27 |
| JP2002152727A (ja) | 2002-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4517495B2 (ja) | 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法 | |
| US7421023B2 (en) | Image information conversion apparatus and image information conversion method | |
| JP3979897B2 (ja) | 映像圧縮ビットストリームのトランスコーディング方法 | |
| US20050243919A1 (en) | Picture encoding system conversion device and encoding rate conversion device | |
| JP2005526457A (ja) | ビデオ・トランスコーダ | |
| JP2005260935A (ja) | 圧縮ビデオ・ビットストリームにおいて平均イメージ・リフレッシュ・レートを増加させる方法及び装置 | |
| JP2001145113A (ja) | 画像情報変換装置及び方法 | |
| JPH10336670A (ja) | 画像伝送装置および画像伝送方法、提供媒体 | |
| JP4517453B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP2000236547A (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4517475B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP2002125227A (ja) | 画像情報変換装置及び方法 | |
| JP4608801B2 (ja) | 画像情報変換装置及び方法 | |
| JP4517465B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP4292659B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4517468B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| US7012959B2 (en) | Picture information conversion method and apparatus | |
| JP2001346214A (ja) | 画像情報変換装置及び方法 | |
| JP3652889B2 (ja) | 映像符号化方法、映像符号化装置、記録媒体、及び映像通信システム | |
| JP4505992B2 (ja) | 画像情報変換装置及び方法 | |
| JP2004147104A (ja) | 動画像符号化装置 | |
| JP4507418B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP2001339720A (ja) | 画像情報変換装置及び方法 | |
| JP4292658B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP2003259376A (ja) | 動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100427 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100510 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |