JP3807157B2 - 符号化装置及び符号化方法 - Google Patents
符号化装置及び符号化方法 Download PDFInfo
- Publication number
- JP3807157B2 JP3807157B2 JP18059899A JP18059899A JP3807157B2 JP 3807157 B2 JP3807157 B2 JP 3807157B2 JP 18059899 A JP18059899 A JP 18059899A JP 18059899 A JP18059899 A JP 18059899A JP 3807157 B2 JP3807157 B2 JP 3807157B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- code amount
- encoded
- block
- macroblock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Description
【０００１】
【発明の属する技術分野】
本発明は、予め圧縮符号化された例えばビデオ信号の１次符号化ビットストリームをデータ量が削減するように再符号化して２次符号化ビットストリームを生成する符号化装置及び符号化方法に関し、特に、１次符号化ビットストリームのブロック毎の符号量、量子化係数を使用した画像複雑度を算出し、その値によってブロック毎の目標符号量を設定し、その目標符号量に適合するように再符号化を行うことで、１次符号化ビットストリームの符号量制御装置の影響を抑えた画質が均一な２次符号化ビットストリームを作成可能とした符号化装置及び符号化方法に関する。
【０００２】
【従来の技術】
従来より、ディジタル画像処理システムやディジタル画像サービスシステムにおいて画像情報を伝送・蓄積する場合は、その画像情報を符号化することによって情報量を低減し、その情報量を低減した符号化ビットストリームを伝送・蓄積することが行われる。
【０００３】
一方、近年は、予め画像を圧縮符号化した１次符号化ビットストリームから画像情報を復号し、それをより高い圧縮率等の異なる符号化条件にて再符号化した２次符号化ビットストリームを生成して伝送・蓄積するアプリケーションが増加している。
【０００４】
例えば、画像情報を放送するような場合においては、画像素材の収集、テレビ局間の１次分配、家庭への２次分配等、編集処理を交えながらのディジタル信号の縦列的な伝送、すなわち１つの画像を複数回処理する階層的な伝送が行われつつあり、さらに放送形態が多様化するに従って、この階層的な伝送と異なる、より自由度の高い伝送方式が普及するものと思われる。
【０００５】
また、画像データベース等に格納されライブラリとしての利用が見込まれるビデオクリップは、多くのユーザからビデオソースが提供されると同時に、多くのユーザがこれを利用し、かつ編集を交えて反復的に伝送・蓄積されるようになると考えられる。
【０００６】
このように符号化及び復号を複数回行う従来の縦列接続符号化システムにおいては、単一回の符号化及び復号を行うシステムをそのまま縦列接続することにより、再符号化を行うようになされている。このため、再符号化時にもその再符号化装置毎に独立のパラメータを用いた符号化を行うこととなり、対象画像の符号化履歴については全く考慮されていなかった。すなわち例えば、従来は、再符号化時に、その再符号化装置のみにおける圧縮率等のみを考慮した処理が行われていた。
【０００７】
また、再符号化の別の応用例としては、ディジタルＶＤＲ（ビデオ・ディスク・レコーダー）上での再生記録を挙げることができる。この応用例の場合、ビデオストリームは、ある放送品質（例えば標準品位ビデオ「ＮＴＳＣ程度」に対しては６Ｍｂｐｓ、高品位ビデオ「ハイビジョン程度」に対しては２４Ｍｂｐｓのレートに対応する品位）でユーザの家庭に放送される。つまり、これらビデオストリームの提供を受けたユーザは、ディジタルＶＤＲの再符号化機能を用いて、現在の家庭用ビデオテープコーダーである例えばＶＨＳ方式レコーダの拡張再生ＥＰモード（長時間モード）に類似する、低下した符号化レートでそのビデオデータを記録し、より多量のビデオプログラムを低品質でディジタルＶＤＲに記録するような例が考えられる。
【０００８】
しかしながら、再符号化の際には、元の信号中の、より高品位の情報ができるだけ活用されるべきであり、より低いビットレートで得られた新しい信号の画質もできるだけ高品位であることが必要である。すなわち、符号化及び復号を複数回繰り返すようなシステムにおいても、望ましくは、その複数回の符号化及び復号により得られる信号の画質を、例えば元のビデオソースを低下したレートで１回のみ符号化することによって作成された信号の画質に、できる限り近づける必要がある。
【０００９】
図５には、予め符号化された１次符号化ビットストリームを復号し、データ量を減少させるように再符号化して２次符号化ビットストリームを生成する、従来の再符号化装置の概略構成例を示す。
【００１０】
なお、この図５の例では、再符号化装置の全般的な動作を示すため、主要な機能素子だけが図示されている。例えば、圧縮ビデオ信号には種々の形のデータが含まれ、それらのデータ中、一部だけが量子化される。他のデータは、再量子化又は再符号化装置を迂回させられ、マルチプレクサ１０６において再符号化されたデータともう一度多重化される。なお、マルチプレクサ１０６が上記機能を実行するために必要であることは一般に公知であり、マルチプレクサ１０６の多重化機能についても公知であるため、ここではその説明を省略している。
【００１１】
この図５において、符号化ビデオ入力端子１００には、既に圧縮又は符号化された１次符号化ビットストリームが入力される。すなわち、当該１次符号化ビットストリームは、この図５に示す再符号化装置にて再符号化されるべき信号である。
【００１２】
ここで、この再符号化されるべき１次符号化ビットストリームは、ブロック符号化された信号であると想定する。すなわち、符号化前の各々の画像は、複数のブロック又はマクロブロックに分割され、ブロック毎又はマクロブロック毎に所定の圧縮符号化手法にて圧縮されており、したがって、符号化ビデオ入力端子１００には、そのように少なくとも部分的に符号化されたブロック又はマクロブロックのストリームが供給されている。また、各々のマクロブロックのデータ中の少なくとも一部分は、量子化され、可変長で符号化されていることとする。なお、上記の圧縮符号化手法の代表的例としては、いわゆるＭＰＥＧ１方式やＭＰＥＧ２方式等を挙げることができる。
【００１３】
符号化ビデオ入力端子１００に入力された上述の１次符号化ビットストリームは、可変長復号を行う可変長復号器（ＶＬＤ）１０１に供給される。なお、この図５の例では、ビットストリームに含まれる動きベクトル及びその他の量子化されていない符号語を、次段の回路（逆量子化器（Ｑ−１）１０３、量子化器（Ｑ）１０４、可変長符号化器（ＶＬＣ）１０５）に送らずに迂回するようにした構成を示しているが、例えばそれら次段の回路（逆量子化器１０３、量子化器１０４、可変長符号化器１０５）が再符号化装置によって変えられるべきではない信号成分に対し反応しないよう条件付けることができる場合には、実際上、それら動きベクトル及び他の量子化されていない符号語を、それら次段の回路（逆量子化器１０３、量子化器１０４、可変長符号化器１０５）を通過させるようにしても良い。可変長復号器１０１にて可変長復号化された符号語は、遅延器１０２にて所定時間遅延された後、逆量子化器１０３に送られる。
【００１４】
当該逆量子化器１０３では、可変長復号化された符号語を逆量子化することにより、圧縮処理の際に量子化された信号成分を復元する。この逆量子化器１０３にて逆量子化された信号成分は、量子化器１０４に送られる。
【００１５】
量子化器１０４では、レート制御器１０９の制御下、逆量子化器１０３から供給された信号成分を量子化（再量子化）する。このときのレート制御器１０９は、所望の低下したレートと適合して再符号化された２次符号化ビットストリームを生成するように調整されている。すなわち、この例の場合のレート制御器１０９による再符号化の制御は、１次符号化ビットストリームに対する元の圧縮符号化処理よりも粗い各々の符号語の量子化信号が得られるように、量子化器１０４に対して量子化値をレート制御器１０９から供給することによって行われる。量子化器１０４にて再度量子化された符号語は、可変長符号化器（ＶＬＣ）１０５に送られる。
【００１６】
可変長符号化器１０５では、再量子化された符号語を可変長符号化し、その可変長符号化処理後の符号語をマルチプレクサ１０６に供給する。
【００１７】
マルチプレクサ１０６では、可変長符号化処理後の符号語と、アナライザ１１０を介することで再量子化を受けなかった信号成分とをマルチプレクスして、再度フォーマット化した信号を生成する。この再度フォーマット化された信号は、レートバッファ１０７に送られる。
【００１８】
再度フォーマット化された信号は、一般的にバースト的な信号であり、レートバッファ１０７では、このバースト的な信号を一定レートの信号に変換する。なお、このときのレートバッファ１０７には、量子化器１０４が一定レートの信号を発生するよう条件付けるために、レートバッファを制御する制御信号を供給する占有モニターを備えている。当該レートバッファ１０７にて一定レートとなされた信号は、この図５の再符号化装置により再符号化された２次符号化ビットストリームとして、符号化ビデオ出力端子１０８から出力される。
【００１９】
ところで、ＭＰＥＧ方式によるビデオ圧縮の場合、量子化には、量子化値のマトリックスと量子化係数を必要とする。量子化値のマトリックスは、心理視覚的なパラメータに従って定められる。また、量子化値のマトリックスは、画素のブロックを表わす係数のブロック内の各離散コサイン変換（ＤＣＴ）の各々の値を有し、マトリックスは、通常、フレーム内の全てのマクロブロックを量子化するため共通に使用される。一方、量子化係数は、マクロブロックに固有である。すなわち、各量子化係数は、その量子化係数が割り当てられたマクロブロックだけに適合する。また、量子化係数は、マトリックスが各々のマクロブロックを量子化するため使用される前に、マトリックス内の全ての量子化値を重み付けするため使用される。なお、以下の説明で、量子化パラメータの発生とは、一般的に上記量子化係数の発生を意味する。
【００２０】
図６のフローチャートを参考にして、図５の再符号化装置での処理をさらに詳細に説明する。
【００２１】
先ず、再符号化装置は、ステップＳ１００の処理として、１次符号化ビットストリームから新しいピクチャー（フレーム）を取得する。
【００２２】
次に、アナライザ１１０は、ステップＳ１０１の処理として、後述するようにＡＣ離散コサイン変換係数に加えて、各々のフレームに対し全符号化ビットΣ（ＴＢ）を計数する。
【００２３】
また、再符号化装置では、ステップＳ１０２の処理として、可変長復号化器１０１にてフレームの可変長復号化と解析を行う。
【００２４】
ここで、可変長復号化器１０１は、可変長符号化されていない符号語に対して透過性であり、可変長符号化されていない符号語をそのまま通過させる。例えば、ＭＰＥＧ方式の信号中の可変長符号化された符号語は確定した境界をもたないため、可変長復号化器１０１は、各々の符号語の境界を定め、タイプを用いて符号語を識別する。可変長復号化器１０１で解析された可変長符号化されていない符号語は、実際には復号化されず、ステップＳ１０３の処理として、識別子が付けられ遅延器１０２に格納される。また、解析された可変長符号化されていない符号語は、アナライザ１１０に供給される。
【００２５】
アナライザ１１０のプロフィル作成部１１１は、上記例の場合、各々の圧縮フレーム（またはフィールド又は画像等）全体のマクロブロックに対し、ＡＣ離散コサイン変換（ＤＣＴ）係数のプロフィルを生成する。
【００２６】
すなわち、アナライザ１１０のプロフィル作成部１１１は、先ず、ステップＳ１０５の処理として、マクロブロックに基づいてＡＣ離散コサイン変換係数ビットの現在の和を発生し、マクロブロックの番号で識別された各々の和を、ステップＳ１０４の処理として、メモリ１１２に格納する。
【００２７】
ここで、フレーム（ピクチャー）内の１番目のマクロブロックＭＢ１に対する和は、この１番目のマクロブロックＭＢ１内のＡＣ離散コサイン変換に対応する当該１番目のマクロブロックＭＢ１内の全ビットの和（ΣＭＢAC１）である。また、フレーム内の２番目までのマクロブロックＭＢ２に対する和は、１番目のマクロブロックＭＢ１における前記和（ΣＭＢAC１）と、２番目のマクロブロックＭＢ２内のＡＣ離散コサイン変換に対応する当該２番目のマクロブロックＭＢ２内の全ビットの和（ΣＭＢAC２）との加算された値となる。さらに、フレーム内の３番目までのマクロブロックＭＢ３に対する和は、１番目のマクロブロックＭＢ１における（ΣＭＢAC１）と、２番目のマクロブロックＭＢ２における和（ΣＭＢAC２）と、３番目のマクロブロックＭＢ３内のＡＣ離散コサイン変換に対応する当該３番目のマクロブロックＭＢ３内の全ビットの和（ΣＭＢAC３）との加算された値、すなわち、（ΣＭＢAC１）＋（ΣＭＢAC２）＋（ΣＭＢAC３）の値( ΣΣＭＢ AC ３ )である。
フレーム内の４番目以降の各マクロブロックまでの和についても上述同様である。図７には、再符号化されるフレーム内のｉ番目のマクロブロック番号ＭＢｉと共に、そのｉ番目のマクロブロック番号ＭＢｉまでの和（ΣΣＭＢACｉ）を縦座標とするグラフ（プロフィルと表わされている）を示している。従って、図７において、上記したプロフィルは、ＡＣ離散コサイン変換係数ビットをｉ番目のマクロブロック番号ＭＢｉまで累積した状態を示したものである。
【００２８】
また、上記ＡＣ離散コサイン変換係数に加えて、アナライザ１１０では、ステップＳ１０１の処理として、各々のフレームに対し全符号化ビットΣ（ＴＢ）を計数する。
【００２９】
そして、アナライザ１１０は、ステップＳ１０６の処理として、各々のフレームに対する全マクロブロックの分析が終了したか否か判断し、全マクロブロックを分析したならば、ステップＳ１０８の処理として、フレーム当たりのＡＣ離散コサイン変換の新しい目標値ＴＶACを、以下の式（１）に示す関係に従って計算する。
【００３０】
ＴＶAC＝（ΣΣＭＢAC last）−％×Σ（ＴＢ）−ＢEXCESS （１）
なお、式（１）中、（ΣΣＭＢAC last）は、ＡＣ離散コサイン変換係数のマクロブロックの最後（ last ）までの和であり、フレーム内のＡＣ離散コサイン変換ビットの総データ量に対応する。また、式（１）中のΣ（ＴＢ）はフレームの全符号化ビットであり、式（１）中のＢEXCESSは前のフレームの発生符号量と目標符号量の差を表わしている。さらに、式（１）中の％は、符号化ビットストリームのレートを縮小する割合であり、例えば８Ｍｂｐｓの１次符号化ビットストリームＰを４Ｍｂｐｓの２次符号化ビットストリームＳに再符号化するとき、量子化係数に依存しない符号量（量子化係数非依存の符号量）が２．０Ｍｂｐｓとすると、再符号化されるべき１次符号化ビットフレームＰの量子化係数依存の符号量は、６．０Ｍｂｐｓとなる。したがって、再符号化した結果の２次符号化ビットストリームＳは、４−２＝２Ｍｂｐｓとなり、量子化係数依存の符号量は６Ｍｂｐｓから２Ｍｂｐｓに減少させることとなる。したがって、式（１）中の％は、次式（２）のようになる。
【００３１】
％＝（１−２／６）＝２／３ （２）
次に、アナライザ１１０は、ステップＳ１０９の処理として、ＡＣ離散コサイン変換ビットのプロフィルを、式（３）に示す係数ratioによってスケーリングする。
【００３２】
ratio＝ＴＶAC／ΣΣＭＢAC last （３）
当該スケーリングは、図７に示された線形にスケーリングされたプロフィルを得るため、各々の和（ΣＭＢACｉ）を各々の係数ratioで乗算することにより行われる。すなわち、スケーリングは、式（４）により行われる。
【００３３】
ＴＶACｉ＝ratio＊ΣΣＭＢACｉ （４）
なお、式（４）中のＴＶACｉはｉ番目のマクロブロックＭＢｉまでの目標符号量である。
【００３４】
次に、各々の和（ΣΣＭＢACｉ）は、次式（５）のように、メモリ１１２でスケーリングされた和と置き換えられる。
【００３５】
ＴＶAC ｉ＝ＴＶAC／ΣΣＭＢAC last＊ΣΣＭＢAC ｉ （５）
図５の再符号化装置において、上述したようにプロフィルがスケーリングされた後、各々の解析された可変長符号化されていない符号語は、一度にマクロブロック単位でメモリ１１２から出し入れされる。また、ＡＣ離散コサイン変換されていない符号語はマルチプレクサ１０６に送られ、マルチプレクサ１０６は本質的に出力を再度組み立てる。
【００３６】
また、アナライザ１１０は符号語をレートバッファ１０７に送るようメモリ１１２を条件付けし、マクロブロック当たり制限された量の符号語を受け入れるようレートバッファ１０７を条件付ける。
【００３７】
最終的に求められた最終マクロブロックまでの目標符号量ＴＶAC lastは、現在のフレームの再量子化のためのレート制御器１０９に供給される。
【００３８】
また、可変長復号器１０１にて可変長復号化され、遅延器１０２に一旦蓄積された信号は、当該遅延器１０２からアクセスされ、ステップＳ１１０の処理として逆量子化器１０３にて逆量子化され、さらに上述したように計算された目標符号量ＴＶAC lastを利用するレート制御器１０９の制御下で、ステップＳ１１１の処理として当該目標符号量ＴＶAC lastに合うように、量子化器１０４によって再量子化され、さらに可変長符号化器１０５にて可変長符号化される。
【００３９】
ここで、量子化器１０４における再量子化にて用いられる量子化係数Ｑは以下のようにして設定される。
【００４０】
図５の再符号化装置では、ステップＳ１１２の処理として、ｉ番目のマクロブロックＭＢｉの量子化係数の評価値（ＱNｉ）を設定する。ここで、ｉ番目のマクロブロックＭＢｉに対する新しい量子化係数ＱNｉは、式（６）で表される係数となる。
【００４１】
ＱNｉ＝ＱMBin／（１−％） （６）
なお、ＱMBinは入力された量子化係数である。この式（６）は、量子化係数と発生符号量が反比例の関係であると仮定した場合である。
【００４２】
図６の再符号化装置では、ステップＳ１１２の処理にてｉ番目のマクロブロックＭＢｉの量子化係数の評価値（ＱNｉ）を取得した後、ステップＳ１１３の処理として、量子化されていないマクロブロックを遅延器１０２からアクセスする。
【００４３】
次に、ステップＳ１１４の処理として、図６の再符号化装置の量子化器１０４では、前記評価された量子化係数（ＱNｉ）を用い、当該ｉ番目のマクロブロックＭＢｉを量子化する。
【００４４】
次に、ステップＳ１１５の処理として、図６の再符号化装置の可変長符号化器１０５では、量子化器１０４にて量子化されたマクロブロックを可変長符号化する。
【００４５】
次に、図６の再符号化装置では、ステップＳ１１６の処理として、マクロブロックに対する新しい全ビットΣＭＢACinを加算し、再量子化されたマクロブロックの符号語をステップＳ１１７の処理として再組立する。さらに、ビットの和ΣＭＢACinは、再量子化され記録された符号化ビットストリームの現在のマクロブロックのプロフィル値Σ（ΣＭＢACin）を形成するため、先に量子化されたマクロブロックのビットの和と加算される。
【００４６】
次に、ステップＳ１１９の処理として、新しいプロフィル値Σ（ΣＭＢACin）と元のスケーリングされたプロフィル値Σ（ΣＭＢACｉ）の差は、次式（７）によりビット誤差の値ΔＥを作成するために計算される。
【００４７】
誤差ΔＥ＝ΣΣＭＢACｉ−ΣΣＭＢACin （７）
次に、ステップＳ１２０の処理として、ビット誤差ΔＥは、閾値ΔＥTHと比較される。このステップＳ１２０での比較において、ビット誤差ΔＥが閾値ΔＥTHよりも大きい場合は、ステップＳ１２１の処理として新しい量子化係数ＱNｉが計算される。当該新しい量子化係数ＱNｉは、一例として以下式（８）の関係に従って計算される。
【００４８】
ＱNｉ＝ＱNｉ＋ｓｇｎ（ΔＥ） （８）
なお、式（８）中のＱNｉは、ｉ番目のマクロブロックに対し使用された最後の量子化係数に対応し、最初のパスでＱNｉと等しく、また式中のｓｇｎ（ΔＥ）は、ビット誤差ΔＥが正及び負である場合にそれぞれ±１と一致する。すなわち、式（８）に基づいてＱNｉ＝ＱMBin／（１−％）のように計算されたＱNｉに対して、式（９），（１０）となる。
【００４９】
ΔＥ＜０：ＱNｉ＝ＱNｉ＋１ （９）
ΔＥ＞０：ＱNｉ＝ＱNｉ−１ （１０）
ステップＳ１２１の処理後、ｉ番目のマクロブロックＭＢｉは、ステップＳ１１３の処理としてもう一度遅延器１０２からアクセスされ、新しい量子化係数ＱNｉを使用して再量子化される。ステップＳ１１３からステップＳ１２１は、誤差ΔＥが閾値ΔＥTHより小さくなるまで繰り返される。
【００５０】
一方、ステップＳ１２０においてビット誤差ΔＥが閾値ΔＥTHよりも小さいと判定された場合は、ステップＳ１２２の処理として、フレーム内の全てのマクロブロックが再量子化されたかどうかを判定するためチェックされる。このステップＳ１２２にて、フレーム内の全てのマクロブロックが再量子化されていないと判定された場合は、ステップＳ１１８の処理として、ｉ番目のマクロブロックの番号（インデックスｉ）が１ずつ増加され、ステップＳ１１２の処理に戻り、ｉ＋１番目のマクロブロックＭＢｉ＋１についての再量子化処理が開始される。
【００５１】
また、ステップＳ１２２にてフレーム内の全てのマクロブロックが再量子化されたと判定された場合、当該再符号化装置の処理はステップＳ１００に飛び、次のフレームの処理が開始される。
【００５２】
【発明が解決しようとする課題】
ところで、上述した従来の再符号化装置において、再量子化を行うとき、元の１次符号化ビットストリームが最適な方法で符号量配分され符号化されている場合には問題は少ないが、必ずしも最適な符号量配分で符号化されたかどうかはわからない。なぜならば、先の１次符号化の時に、ビット発生量に伴って、ある制限された転送レートに制御するため、量子化係数によるレート制御を受け、本来画質を均一にするべき量子化係数とは異なる量子化係数で符号化されている場合が考えられるためである。したがって、レート制御のために画質を一定（略々ピクチャー内量子化スケール一定）にできず、その結果、再符号化した場合には、圧縮に伴う符号化ひずみが顕著になる場合がある。
【００５３】
本発明は、上述の課題に鑑みてなされたものであり、圧縮符号化される以前の画像データが存在しない１次符号化ビットストリーム、言い換えると、圧縮符号化された画像データが存在する１次符号化ビットストリームについて再符号化を行う場合に、画質が均一になるような最適なピクチャー内符号量配分を行い、画質劣化の少ない再符号化後の２次符号化ビットストリームを作成することを可能とする、符号化装置及び符号化方法の提供を目的とする。
【００５４】
【課題を解決するための手段】
請求項１に記載の本発明に係る符号化装置は、上述の課題を解決するために、符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成する符号化装置において、
少なくとも所定単位分の１次符号化ビットストリームを取り込むビットストリーム取り込み手段と、
前記所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求める符号化難易度演算手段と、
前記ブロック毎に求めた前記符号化難易度を所定番目のブロックまで累積した値を前記所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め設定した前記所定単位内の目標符号量とを乗算して、前記所定番目のブロックの目標符号量を求めるようにスケーリングして、前記所定単位内の目標符号量に対して各ブロックの目標符号量を配分するスケーリング手段とを有する。
【００５５】
請求項２に記載の本発明に係る符号化方法は、上述の課題を解決するために、符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成する符号化方法において、
少なくとも所定単位分の１次符号化ビットストリームを取り込むビットストリーム取り込みステップと、
前記所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求める符号化難易度演算ステップと、
前記ブロック毎に求めた前記符号化難易度を所定番目のブロックまで累積した値を前記所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め設定した前記所定単位内の目標符号量とを乗算して、前記所定番目のブロックの目標符号量を求めるようにスケーリングして、前記所定単位内の目標符号量に対して各ブロックの目標符号量を配分するスケーリングステップとを有する。
【００５６】
【発明の実施の形態】
以下に本発明に係る符号化装置及び符号化方法について、図面を参照して詳細に説明する。
尚、本発明に係る符号化装置に対して実施の形態では再符号化装置と呼称して説明を行う。
【００５７】
図１には、予め符号化された１次符号化ビットストリームを復号し、データ量を減少させるように再符号化して２次符号化ビットストリームを生成する、本発明実施の形態の再符号化装置の概略構成例を示す。
【００５８】
なお、この図１の例では、前述の図５に示した従来例と同様に、再符号化装置の全般的な動作を示すために、主要な機能素子だけが図示されている。すなわち例えば、圧縮ビデオ信号には種々の形のデータが含まれ、それらのデータ中、一部だけが量子化されるが、他のデータは、再量子化又は再符号化装置を迂回させられ、マルチプレクサ１６において再符号化されたデータともう一度多重化される。マルチプレクサ１６の機能については公知であるため、ここではその説明を省略している。
【００５９】
この図１において、符号化ビデオ入力端子１０には、既に圧縮又は符号化された１次符号化ビットストリームが入力される。当該１次符号化ビットストリームは、この図１に示す再符号化装置にて再符号化されるべき信号である。また、本実施の形態においては、当該再符号化されるべき１次符号化ビットストリームを、ブロック符号化された信号であると想定する。すなわち、符号化前の各々の画像は、複数のブロック又はマクロブロックに分割され、ブロック毎又はマクロブロック毎に所定の圧縮符号化手法にて圧縮されている。したがって、符号化ビデオ入力端子１０には、そのように少なくとも部分的に符号化されたブロック又はマクロブロックのストリームが供給されている。また、各々のマクロブロックのデータ中の少なくとも一部分は、量子化され、可変長で符号化されている。なお、本実施の形態においても、上記の圧縮符号化手法の代表的例としては、いわゆるＭＰＥＧ１方式やＭＰＥＧ２方式等を挙げることができる。
【００６０】
符号化ビデオ入力端子１０に入力された上述の１次符号化ビットストリームは、可変長復号を行う可変長復号器（ＶＬＤ）１１に供給される。なお、この図１の例では、１次符号化ビットストリームに含まれる動きベクトル及びその他の量子化されていない符号語を、次段の回路（逆量子化器（Ｑ−１）１３、量子化器（Ｑ）１４、可変長符号化器（ＶＬＣ）１５）に送らずに迂回するようにした構成を示しているが、例えばそれら次段の回路（逆量子化器１３、量子化器１４、可変長符号化器１５）が再符号化装置によって変えられるべきではない信号成分に対し反応しないよう条件付けることができる場合には、実際上、それら動きベクトル及び他の量子化されていない符号語を、それら次段の回路（逆量子化器１３、量子化器１４、可変長符号化器１５）を通過させるようにしても良い。可変長復号器１１にて可変長復号化された符号語は、遅延器１２にて所定時間遅延された後、逆量子化器１３に送られる。
【００６１】
当該逆量子化器１３では、可変長復号化された符号語を逆量子化することにより、圧縮処理で量子化された信号成分を復元する。この逆量子化器１３にて逆量子化された信号成分は、量子化器１４に送られる。
【００６２】
量子化器１４では、レート制御器１９の制御下、逆量子化器１３から供給された信号成分を量子化（再量子化）する。このときのレート制御器１９は、所望の低下したレートと適合して再符号化された２次符号化ビットストリームを生成するように調整されている。すなわち、この例の場合のレート制御器１９による再符号化の制御は、１次符号化ビットストリームに対する元の圧縮符号化処理よりも粗い各々の符号語の量子化信号が得られるように、量子化器１４に対して量子化値をレート制御器１９から供給することによって行われる。このような制御がなされた量子化器１４にて再度量子化された符号語は、可変長符号化器（ＶＬＣ）１５に送られる。
【００６３】
可変長符号化器１５では、再量子化された符号語を可変長符号化し、その可変長符号化処理後の符号語をマルチプレクサ１６に供給する。
【００６４】
マルチプレクサ１６では、可変長符号化処理後の符号語と、アナライザ１１を介することで再量子化を受けなかった信号成分とをマルチプレクスして、再度フォーマット化した信号を生成する。この再度フォーマット化された信号は、レートバッファ１７に送られる。
【００６５】
ここで、再度フォーマット化された信号は、一般的にバースト的な信号であり、レートバッファ１７では、このバースト的な信号を一定レートの信号に変換する。なお、このときのレートバッファ１７には、量子化器１４が一定レートの信号を発生するよう条件付けるために、レートバッファ１７を制御する制御信号を供給する占有モニターを備えている。当該レートバッファ１７にて一定レートとなされた信号は、この図１に示す本実施の形態の再符号化装置により再符号化された２次符号化ビットストリームとして、符号化ビデオ出力端子１８から出力されることになる。
【００６６】
以上説明した再符号化装置の基本的な動作は、前述した図５の例と略々同じであるが、本実施の形態の再符号化装置の場合は、アナライザ２０におけるピクチャー（フレーム）内プロフィル作成部２１における動作が異なる。
【００６７】
すなわち、アナライザ２０のプロフィル作成部２１では、ピクチャー（フレーム）の目標符号量ＴＶACを前述した式（１）の関係に従った計算により求めるが、本実施の形態の再符号化装置の場合は、さらにピクチャータイプ毎（例えばＭＰＥＧにおけるＩピクチャー（Intra-coded picture），Ｐピクチャー（Predictive-coded picture），Ｂピクチャー（Bidirectionally predictive-coded picture）毎）に最低目標符号量ＴＢmin(typ)を設定する。
【００６８】
ここで、フレーム当たりのＡＣ離散コサイン変換の目標符号量ＴＶACが例えば非常に小さな値を取るとき（例えば静止画に近いとき等）、レート制御器１９の制御応答が良くなり、小さな符号量誤差でも量子化係数が変動し、発振し易くなるが、本実施の形態では、当該ピクチャータイプ毎の最低目標符号量ＴＢmin(typ)によって、発振を防ぐようにしている。なお、最低目標符号量は、簡略化してピクチャータイプ別に分けないものを設定するようにしてもよい。
【００６９】
上述したように、本実施の形態の場合は、ピクチャータイプ毎の最低目標符号量ＴＢmin(typ)を用いることで、ピクチャーの目標符号量ＴＶACは、次式（１１）のようになる。
【００７０】
ＴＶAC＝ＭＩＮ（ＴＶAC，ＴＢmin(typ)） （１１）
なお、この式（１１）におけるＭＩＮ（Ａ，Ｂ）は、Ａ，Ｂの小さい値を返す関数である。例えば、Ａ＞Ｂならば、ＭＩＮ（Ａ，Ｂ）はＢの値を返すことを表す。
【００７１】
前述した図５の従来例の再符号化装置のアナライザ１１０のプロフィル作成部１１１では、量子化係数に非依存のＡＣ係数によってピクチャー（フレーム）内プロフィルを作成していたが、本発明実施の形態のアナライザ２０のプロフィル作成部２１では、元の１次符号化ビットストリームのマクロブロック毎の発生符号量ΣＭＢACｉとピクチャー内量子化係数Ｑｉの積のべき乗を用いる。つまり、本実施の形態のアナライザ２０では、次式（１２）のような、ｉ番目のマクロブロックＭＢｉの符号化難易度Ｘｉを用いる。
【００７２】
Ｘｉ＝（ΣＭＢACｉ＊Ｑｉ）α （１２）
なお、式（１２）のαは（０＜α≦１）である。
【００７３】
本実施の形態の再符号化装置において、このようなことを行う理由について以下に説明する。
【００７４】
一般に、ｉ番目のマクロブロックＭＢｉにおいて、前記和（ΣＭＢACｉ）の小さなマクロブロックは符号化が易しく、また、量子化係数Ｑｉが小さいマクロブロックＭＢｉも同様に符号化が易しい。一方、一般的に符号化が難しいマクロブロックＭＢｉほど符号化歪みは人間の視覚に感知し難いことが知られている。したがって、前記和ΣＭＢACｉまたは量子化係数Ｑｉが大きくなると、そのマクロブロックＭＢｉの目標符号量は余り大きくなくて良いことになる。そこで、ＡＣ離散コサイン変換係数の目標符号量ＴＶACがあまり大きくならないような関数を用いることが必要である。
【００７５】
本発明実施の形態では、当該関数の一例として、式（１２）の符号化難易度Ｘｉを用いているが、さらに、次式（１３）等の図２に示すような対数関数的に人間の感覚に合致した関数を用いることが望ましい。
【００７６】
Ｘｉ＝ＬＯＧ（ΣＭＢACｉ＊Ｑｉ＋Ｂ）＋Ａ （１３）
なお、式（１３）のＡ，Ｂは定数である。
【００７７】
つまり、本発明実施の形態の再符号化装置のアナライザ２０では、ピクチャーの目標符号量ＴＶACを、各々のマクロブロック毎に符号化難易度Ｘｉをピクチャー内の全てのマクロブロックの符号化難易度の総和でスケーリングする。
【００７８】
すなわち、ｉ番目までのマクロブロックＭＢｉの目標符号量ΣＴＭＢｉ＝（ＴＶACｉ）は、次式（１４）のようになる。
【００７９】
ΣＴＭＢｉ＝（ＴＶACｉ）＝ΣＸｉ＊ＴＶAC／ΣＸlast （１４）
次に、図３のフローチャートを参考にして、本発明の第１の実施の形態の再符号化装置での処理をさらに詳細に説明する。
【００８０】
先ず、再符号化装置は、ステップＳ１０の処理として、１次符号化ビットストリームから新しいピクチャー（フレーム）を取得する。次に、アナライザ２０は、ステップＳ１１の処理として、ＡＣ離散コサイン変換係数に加えて、各々のピクチャー（フレーム）に対して全符号化ビットΣ（ＴＢ）を計数する。さらに、再符号化装置では、ステップＳ１２の処理として、可変長復号化器１１にてフレームの可変長復号化と解析を行う。
【００８１】
なお、可変長復号化器１１は、可変長符号化されていない符号語に対して透過性であり、可変長符号化されていない符号語をそのまま通過させる。例えば、ＭＰＥＧ方式の信号中の可変長符号化された符号語は確定した境界をもたないため、可変長復号化器１１は各々の符号語の境界を定め、タイプを用いて符号語を識別する。符号語は、実際には復号化されず、可変長復号化器１１で解析された可変長符号化されていない符号語は、ステップＳ１３の処理として、識別子が付けられ遅延器１２に格納される。
【００８２】
解析された可変長符号化されていない符号語は、アナライザ２０に供給される。アナライザ２０は、ステップＳ１５の処理として、前記式（１２）又は式（１３）によって、符号化難易度Ｘｉを計算し、さらにステップＳ１４の処理として、その符号化難易度Ｘｉの合計ΣＸｉを求めてメモリ２２に記憶せる。
【００８３】
次に、アナライザ２０では、ステップＳ１６の処理として、各々のピクチャーに対する全マクロブックが分析されたか否かを判定し、全マクロブロックが分析されたと判定した場合はステップＳ１８の処理に進む。
【００８４】
ステップＳ１８の処理に進むと、アナライザ２０のプロフィル作成部２１は、ピクチャー当たりのＡＣ離散コサイン変換の目標符号量ＴＶACを前記式（１）と式（１１）から求める。
【００８５】
次に、アナライザ２０は、ステップＳ１９の処理として、符号化難易度の合計ΣＸｉとピクチャー当たりのＡＣ離散コサイン変換の目標符号量ＴＶACから、ＡＣ離散コサイン変換係数累積ビット数のプロフィルをスケーリングする。図４には、本実施の形態の場合のプロフィルを示す。
【００８６】
続いて、本実施の形態の再符号化装置では、ステップＳ２０の処理として、逆量子化器１３において逆量子化がなされ、次に、ステップＳ２１の処理として、量子化器１４において、記録された信号がスケーリングされたプロフィルと適合するよう再量子化がなされ、さらに可変長符号化器１５において可変長符号化がなされる。
【００８７】
ここで、再量子化処理における量子化係数について、詳細に説明すると、本実施の形態の再符号化装置では、ステップＳ２２の処理として、ｉ番目のマクロブロックＭＢｉに対して新しい量子化係数ＱNｉを評価する。本実施の形態では、当該量子化係数の評価値を多数の方法（例えば第１〜第５の方法）を使用して求める。
【００８８】
すなわち、量子化係数の評価値を得るための第１の方法では、新しい量子化係数ＱNｉがｉ番のマクロブロックＭＢｉの元の量子化係数を表わす場合、前述の従来例の場合と同様に、当該新しい量子化係数ＱNｉを前記式（６）にて計算する。これは量子化係数と発生符号量が反比例の関係であると仮定した場合である。
【００８９】
また、評価値を得るための第２の方法では、量子化係数に依存するＡＣ離散コサイン変換係数の符号量を用いて、次式（１５）により、量子化係数ＱNｉを計算する。
【００９０】
ＱNｉ＝ＱMB in／（ＴＶAC／ΣΣＭＢAC last） （１５）
評価値を得るための第３の方法では、ｉ番目のマクロブロックの一つ前（ｉ−１）のマクロブロックＭＢｉ−１の量子化係数をＱNｉ−１とした場合に、新しい量子化係数として、単にｉ番目のマクロブロックの量子化係数ＱNｉとしてその一つ前のマクロブロックＭＢｉ−１の量子化係数ＱNｉ−１を使用する。すなわち、ＱNｉ＝ＱNｉ−１を使用する。なお、その後は、後述するステップＳ２９〜ステップＳ３２の処理により、新しい量子化係数ＱNｉを設定する。
【００９１】
評価値を得るための第４の方法では、最も直前のピクチャーに対応するマクロブロックに対して計算された最終的な量子化係数ＱN lastを使用する。
【００９２】
評価値を得るための第５の方法では、最も直前の同じ符号化構造（例えばＭＰＥＧ方式のＩ，Ｐ，Ｂのピクチャーのいずれか）を持ったピクチャーに対して計算された最終的な量子化係数ＱN lastを、新しい量子化係数ＱNｉとして使用する。
【００９３】
本実施の形態の再符号化装置では、ステップＳ２２において、上述した第１〜第５の方法のうち、何れかの方法で新しい量子化係数ＱNｉを求める。
【００９４】
次に、本実施の形態の再符号化装置は、ステップＳ２２においてｉ番目のマクロブロックＭＢｉの新しい量子化係数の評価値（ＱNｉ）の取得後、ステップＳ２３の処理として、量子化されていないマクロブロックを遅延器１２からアクセスする。
【００９５】
すなわち、本実施の形態の再符号化装置の量子化器１４では、ステップＳ２４の処理として、当該ｉ番目のマクロブロックＭＢｉを、上述したように評価された量子化係数ＱNｉを用いて量子化する。
【００９６】
次に、本実施の形態の再符号化装置の可変長符号化器１５では、ステップＳ２５の処理として、再量子化後のマクロブロックを可変長符号化する。
【００９７】
その後、再符号化装置では、ステップＳ２６の処理として、マクロブロックに対する新しい画像の符号化複雑度Ｘｉ＝（ΣＭＢACｉ＊Ｑｉ）αを加算し、さらにステップＳ２７の処理として、再量子化されたマクロブロックの符号語を再組立する。
【００９８】
このとき、再符号化装置では、ステップＳ２９の処理として、次式（１６）により、新しいプロフィル値Σ（ΣＭＢAC in）ｉと元のスケーリングされたプロフィル値ΣＴＭＢｉとの差をビット誤差ΔＥとして作成する。
【００９９】
ΔＥ＝ΣＴＭＢｉ−Σ（ΣＭＢAC in）ｉ （１６）
このように求めたビット誤差ΔＥは、次にステップＳ３０の処理において、閾値ΔＥTHと比較される。このステップＳ３０の比較において、ビット誤差ΔＥが閾値ΔＥTHよりも大きい場合は、ステップＳ３２に処理として、新しい量子化係数ＱNｉを計算する。この新しい量子化係数ＱNｉは、前述した式（８）に従って計算される。
【０１００】
この時、前記式（８）中のＱNｉはｉ番目のマクロブロックＭＢｉに対し使用された最後の量子化係数に対応し、最初のパスでＱNｉと等しく、ｓｇｎ（ΔＥ）はビット誤差ΔＥが正及び負である場合に各々±１と一致する。すなわち、前記式（９）のように計算されたＱNｉに対して、ＱNｉ±１となる。
【０１０１】
その後、ｉ番目のマクロブロックＭＢｉは、ステップＳ２２の処理としてもう一度遅延器１２からアクセスされ、新しい量子化係数ＱNｉを使用して再量子化がなされる。なお、ステップＳ２３からステップＳ３２までは、ビット誤差ΔＥが閾値ΔＥTHより小さくなるまで繰り返される。あるいは、ステップＳ３１での制限繰り返し回数（リトライ回数）内で繰り返し制限を付けても良い。
【０１０２】
一方、ステップＳ３０においてビット誤差ΔＥが閾値ΔＥTHよりも小さいと判定された場合は、本実施の形態の再符号化装置では、ステップＳ３３の処理として、ピクチャー内の全てのマクロブロックが再量子化されたかどうかを判定するためチェックを行う。このステップＳ３３でのチェックの結果、ピクチャー内の全てのマクロブロックが再量子化されていないと判定された場合は、ステップＳ２８の処理として、ｉ番目のマクロブロックの番号（インデックスｉ）が１ずつ増加され、ステップＳ２２の処理に戻り、ｉ＋１番目のマクロブロックＭＢｉ＋１についての再量子化処理が開始される。
【０１０３】
また、ステップＳ３３でのチェックの結果、ピクチャー内の全てのマクロブロックが再量子化されたと判定された場合、本実施の形態の再符号化装置の処理はステップＳ１０の処理に戻り、次のピクチャーの処理を開始する。
【０１０４】
なお、上述した本実施の形態の再符号化装置での処理は、図４に示すプロフィルを正確に追従し、量子化係数ＱMB inの変化を殆ど許容しない傾向がある。また、量子化係数は、１ピクチャーの間非常に均一となる。また、特定のマクロブロックに引き続く処理パスの各々に対し、上記マクロブロックの前の処理パスの間に再組立されたデータは捨てられ、最終的なパスの再組立されたデータだけが保持されることになる。
【０１０５】
次に、本発明の第２の実施の形態の再符号化装置での処理について説明する。
【０１０６】
本発明の第２の実施の形態では、図３のフローチャートのステップＳ３０〜ステップＳ３２を省略した例である。
【０１０７】
すなわち当該第２の実施の形態では、次式（１７）に示す、前のピクチャーの発生符号量と目標符号量の差の最終的な値ＢAC EXCESSを、次のピクチャーへＢAC EXCESSとして、次の目標符号量に加算する。または、誤差を未来の複数のピクチャーに伝播させてもよい。
【０１０８】
ＢAC EXCESS＝ΔＥlast＝ＴＶAC−Σ（ΣＭＢAC in） （１７） 次に、本発明の第３の実施の形態の再符号化装置での処理について説明する。
【０１０９】
本発明の第３の実施の形態では、Ｎピクチャー分の１次符号化ビットストリームを受信して、Ｎピクチャーの１次符号化ビットストリームを解析し、１ピクチャー分の目標符号量ＴＶACに、ＢAC EXCESSをＮピクチャー分の目標符号量ＴＶAC Nで割った値を配分する。すなわち、本発明の第３の実施の形態では、Ｎ個のピクチャーの各ピクチャー目標符号量がそれぞれＴＶAC 0，ＴＶAC 1，ＴＶAC 2，・・・，ＴＶAC Nであるとし、次に符号化するピクチャーについて前述した演算により求められる目標符号量をＴＶAC 0とした場合、この第３の実施の形態では、当該次に再符号化するピクチャーの目標符号量として、次式（１８）のＴＶACを求める。
【０１１０】
ＴＶAC＝ＴＶAC 0＋ＢAC EXCESS／Σ（ＴＶAC N） （１８）
この結果、当該第３の実施の形態では、１ピクチャーの誤差の伝播を分散させることができ、画質の急激な変化を抑えることが可能となる。
【０１１１】
以上説明したように、本発明の各実施の形態の再符号化装置によれば、再符号化時の符号量発生プロフィル作成の際に、予め圧縮符号化された１次符号化ビットストリームがピクチャー内ブロック毎に最適な符号量配分が行われていない場合においても適切な量子化係数の設定を行なうことができ、画質劣化の少ない２次符号化ビットストリームを作成できる。
【０１１２】
【発明の効果】
請求項１及び請求項２記載の本発明に係る符号化装置及び符号化方法によれば、符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成するにあたって、少なくとも所定単位分の１次符号化ビットストリームを取り込み、所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求め、更に、ブロック毎に求めた符号化難易度を所定番目のブロックまで累積した値を所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め設定した所定単位内の目標符号量とを乗算して、所定番目のブロックの目標符号量を求めるようにスケーリングして、所定単位内の目標符号量に対して各ブロックの目標符号量を配分しているので、圧縮符号化される以前の画像データが存在しない１次符号化ビットストリーム、言い換えると、圧縮符号化された画像データが存在する１次符号化ビットストリームについて再符号化を行う場合に、品質の劣化が少ない２次符号化ビットストリームを作成することが可能である。
【図面の簡単な説明】
【図１】 本発明実施の形態の再符号化装置の概略構成を示すブロック図である。
【図２】 本実施の形態の再符号化装置において用いる、対数関数的に人間の感覚に合致した符号化難易度の関数についての説明に用いる図である。
【図３】 本発明の第１の実施の形態の再符号化装置での処理の流れを示すフローチャートである。
【図４】 本発明実施の形態の再符号化装置のアナライザのプロフィル作成部が作成するプロフィルの説明に用いる図である。
【図５】 従来の再符号化装置の概略構成を示すブロック図である。
【図６】 従来の再符号化装置での処理の流れを示すフローチャートである。
【図７】 従来の再符号化装置のアナライザのプロフィル作成部が作成するプロフィルの説明に用いる図である。
【符号の説明】
１０…符号化ビデオ入力端子、１１…可変長復号器、１３…逆量子化器、１４…量子化器、１５…可変長符号化器、１６…マルチプレクサ、１７…レートバッファ、１８…符号化ビデオ出力端子、１９…レート制御器、２０…アナライザ、２１…プロフィル作成部、２２…メモリ。
【発明の属する技術分野】
本発明は、予め圧縮符号化された例えばビデオ信号の１次符号化ビットストリームをデータ量が削減するように再符号化して２次符号化ビットストリームを生成する符号化装置及び符号化方法に関し、特に、１次符号化ビットストリームのブロック毎の符号量、量子化係数を使用した画像複雑度を算出し、その値によってブロック毎の目標符号量を設定し、その目標符号量に適合するように再符号化を行うことで、１次符号化ビットストリームの符号量制御装置の影響を抑えた画質が均一な２次符号化ビットストリームを作成可能とした符号化装置及び符号化方法に関する。
【０００２】
【従来の技術】
従来より、ディジタル画像処理システムやディジタル画像サービスシステムにおいて画像情報を伝送・蓄積する場合は、その画像情報を符号化することによって情報量を低減し、その情報量を低減した符号化ビットストリームを伝送・蓄積することが行われる。
【０００３】
一方、近年は、予め画像を圧縮符号化した１次符号化ビットストリームから画像情報を復号し、それをより高い圧縮率等の異なる符号化条件にて再符号化した２次符号化ビットストリームを生成して伝送・蓄積するアプリケーションが増加している。
【０００４】
例えば、画像情報を放送するような場合においては、画像素材の収集、テレビ局間の１次分配、家庭への２次分配等、編集処理を交えながらのディジタル信号の縦列的な伝送、すなわち１つの画像を複数回処理する階層的な伝送が行われつつあり、さらに放送形態が多様化するに従って、この階層的な伝送と異なる、より自由度の高い伝送方式が普及するものと思われる。
【０００５】
また、画像データベース等に格納されライブラリとしての利用が見込まれるビデオクリップは、多くのユーザからビデオソースが提供されると同時に、多くのユーザがこれを利用し、かつ編集を交えて反復的に伝送・蓄積されるようになると考えられる。
【０００６】
このように符号化及び復号を複数回行う従来の縦列接続符号化システムにおいては、単一回の符号化及び復号を行うシステムをそのまま縦列接続することにより、再符号化を行うようになされている。このため、再符号化時にもその再符号化装置毎に独立のパラメータを用いた符号化を行うこととなり、対象画像の符号化履歴については全く考慮されていなかった。すなわち例えば、従来は、再符号化時に、その再符号化装置のみにおける圧縮率等のみを考慮した処理が行われていた。
【０００７】
また、再符号化の別の応用例としては、ディジタルＶＤＲ（ビデオ・ディスク・レコーダー）上での再生記録を挙げることができる。この応用例の場合、ビデオストリームは、ある放送品質（例えば標準品位ビデオ「ＮＴＳＣ程度」に対しては６Ｍｂｐｓ、高品位ビデオ「ハイビジョン程度」に対しては２４Ｍｂｐｓのレートに対応する品位）でユーザの家庭に放送される。つまり、これらビデオストリームの提供を受けたユーザは、ディジタルＶＤＲの再符号化機能を用いて、現在の家庭用ビデオテープコーダーである例えばＶＨＳ方式レコーダの拡張再生ＥＰモード（長時間モード）に類似する、低下した符号化レートでそのビデオデータを記録し、より多量のビデオプログラムを低品質でディジタルＶＤＲに記録するような例が考えられる。
【０００８】
しかしながら、再符号化の際には、元の信号中の、より高品位の情報ができるだけ活用されるべきであり、より低いビットレートで得られた新しい信号の画質もできるだけ高品位であることが必要である。すなわち、符号化及び復号を複数回繰り返すようなシステムにおいても、望ましくは、その複数回の符号化及び復号により得られる信号の画質を、例えば元のビデオソースを低下したレートで１回のみ符号化することによって作成された信号の画質に、できる限り近づける必要がある。
【０００９】
図５には、予め符号化された１次符号化ビットストリームを復号し、データ量を減少させるように再符号化して２次符号化ビットストリームを生成する、従来の再符号化装置の概略構成例を示す。
【００１０】
なお、この図５の例では、再符号化装置の全般的な動作を示すため、主要な機能素子だけが図示されている。例えば、圧縮ビデオ信号には種々の形のデータが含まれ、それらのデータ中、一部だけが量子化される。他のデータは、再量子化又は再符号化装置を迂回させられ、マルチプレクサ１０６において再符号化されたデータともう一度多重化される。なお、マルチプレクサ１０６が上記機能を実行するために必要であることは一般に公知であり、マルチプレクサ１０６の多重化機能についても公知であるため、ここではその説明を省略している。
【００１１】
この図５において、符号化ビデオ入力端子１００には、既に圧縮又は符号化された１次符号化ビットストリームが入力される。すなわち、当該１次符号化ビットストリームは、この図５に示す再符号化装置にて再符号化されるべき信号である。
【００１２】
ここで、この再符号化されるべき１次符号化ビットストリームは、ブロック符号化された信号であると想定する。すなわち、符号化前の各々の画像は、複数のブロック又はマクロブロックに分割され、ブロック毎又はマクロブロック毎に所定の圧縮符号化手法にて圧縮されており、したがって、符号化ビデオ入力端子１００には、そのように少なくとも部分的に符号化されたブロック又はマクロブロックのストリームが供給されている。また、各々のマクロブロックのデータ中の少なくとも一部分は、量子化され、可変長で符号化されていることとする。なお、上記の圧縮符号化手法の代表的例としては、いわゆるＭＰＥＧ１方式やＭＰＥＧ２方式等を挙げることができる。
【００１３】
符号化ビデオ入力端子１００に入力された上述の１次符号化ビットストリームは、可変長復号を行う可変長復号器（ＶＬＤ）１０１に供給される。なお、この図５の例では、ビットストリームに含まれる動きベクトル及びその他の量子化されていない符号語を、次段の回路（逆量子化器（Ｑ−１）１０３、量子化器（Ｑ）１０４、可変長符号化器（ＶＬＣ）１０５）に送らずに迂回するようにした構成を示しているが、例えばそれら次段の回路（逆量子化器１０３、量子化器１０４、可変長符号化器１０５）が再符号化装置によって変えられるべきではない信号成分に対し反応しないよう条件付けることができる場合には、実際上、それら動きベクトル及び他の量子化されていない符号語を、それら次段の回路（逆量子化器１０３、量子化器１０４、可変長符号化器１０５）を通過させるようにしても良い。可変長復号器１０１にて可変長復号化された符号語は、遅延器１０２にて所定時間遅延された後、逆量子化器１０３に送られる。
【００１４】
当該逆量子化器１０３では、可変長復号化された符号語を逆量子化することにより、圧縮処理の際に量子化された信号成分を復元する。この逆量子化器１０３にて逆量子化された信号成分は、量子化器１０４に送られる。
【００１５】
量子化器１０４では、レート制御器１０９の制御下、逆量子化器１０３から供給された信号成分を量子化（再量子化）する。このときのレート制御器１０９は、所望の低下したレートと適合して再符号化された２次符号化ビットストリームを生成するように調整されている。すなわち、この例の場合のレート制御器１０９による再符号化の制御は、１次符号化ビットストリームに対する元の圧縮符号化処理よりも粗い各々の符号語の量子化信号が得られるように、量子化器１０４に対して量子化値をレート制御器１０９から供給することによって行われる。量子化器１０４にて再度量子化された符号語は、可変長符号化器（ＶＬＣ）１０５に送られる。
【００１６】
可変長符号化器１０５では、再量子化された符号語を可変長符号化し、その可変長符号化処理後の符号語をマルチプレクサ１０６に供給する。
【００１７】
マルチプレクサ１０６では、可変長符号化処理後の符号語と、アナライザ１１０を介することで再量子化を受けなかった信号成分とをマルチプレクスして、再度フォーマット化した信号を生成する。この再度フォーマット化された信号は、レートバッファ１０７に送られる。
【００１８】
再度フォーマット化された信号は、一般的にバースト的な信号であり、レートバッファ１０７では、このバースト的な信号を一定レートの信号に変換する。なお、このときのレートバッファ１０７には、量子化器１０４が一定レートの信号を発生するよう条件付けるために、レートバッファを制御する制御信号を供給する占有モニターを備えている。当該レートバッファ１０７にて一定レートとなされた信号は、この図５の再符号化装置により再符号化された２次符号化ビットストリームとして、符号化ビデオ出力端子１０８から出力される。
【００１９】
ところで、ＭＰＥＧ方式によるビデオ圧縮の場合、量子化には、量子化値のマトリックスと量子化係数を必要とする。量子化値のマトリックスは、心理視覚的なパラメータに従って定められる。また、量子化値のマトリックスは、画素のブロックを表わす係数のブロック内の各離散コサイン変換（ＤＣＴ）の各々の値を有し、マトリックスは、通常、フレーム内の全てのマクロブロックを量子化するため共通に使用される。一方、量子化係数は、マクロブロックに固有である。すなわち、各量子化係数は、その量子化係数が割り当てられたマクロブロックだけに適合する。また、量子化係数は、マトリックスが各々のマクロブロックを量子化するため使用される前に、マトリックス内の全ての量子化値を重み付けするため使用される。なお、以下の説明で、量子化パラメータの発生とは、一般的に上記量子化係数の発生を意味する。
【００２０】
図６のフローチャートを参考にして、図５の再符号化装置での処理をさらに詳細に説明する。
【００２１】
先ず、再符号化装置は、ステップＳ１００の処理として、１次符号化ビットストリームから新しいピクチャー（フレーム）を取得する。
【００２２】
次に、アナライザ１１０は、ステップＳ１０１の処理として、後述するようにＡＣ離散コサイン変換係数に加えて、各々のフレームに対し全符号化ビットΣ（ＴＢ）を計数する。
【００２３】
また、再符号化装置では、ステップＳ１０２の処理として、可変長復号化器１０１にてフレームの可変長復号化と解析を行う。
【００２４】
ここで、可変長復号化器１０１は、可変長符号化されていない符号語に対して透過性であり、可変長符号化されていない符号語をそのまま通過させる。例えば、ＭＰＥＧ方式の信号中の可変長符号化された符号語は確定した境界をもたないため、可変長復号化器１０１は、各々の符号語の境界を定め、タイプを用いて符号語を識別する。可変長復号化器１０１で解析された可変長符号化されていない符号語は、実際には復号化されず、ステップＳ１０３の処理として、識別子が付けられ遅延器１０２に格納される。また、解析された可変長符号化されていない符号語は、アナライザ１１０に供給される。
【００２５】
アナライザ１１０のプロフィル作成部１１１は、上記例の場合、各々の圧縮フレーム（またはフィールド又は画像等）全体のマクロブロックに対し、ＡＣ離散コサイン変換（ＤＣＴ）係数のプロフィルを生成する。
【００２６】
すなわち、アナライザ１１０のプロフィル作成部１１１は、先ず、ステップＳ１０５の処理として、マクロブロックに基づいてＡＣ離散コサイン変換係数ビットの現在の和を発生し、マクロブロックの番号で識別された各々の和を、ステップＳ１０４の処理として、メモリ１１２に格納する。
【００２７】
ここで、フレーム（ピクチャー）内の１番目のマクロブロックＭＢ１に対する和は、この１番目のマクロブロックＭＢ１内のＡＣ離散コサイン変換に対応する当該１番目のマクロブロックＭＢ１内の全ビットの和（ΣＭＢAC１）である。また、フレーム内の２番目までのマクロブロックＭＢ２に対する和は、１番目のマクロブロックＭＢ１における前記和（ΣＭＢAC１）と、２番目のマクロブロックＭＢ２内のＡＣ離散コサイン変換に対応する当該２番目のマクロブロックＭＢ２内の全ビットの和（ΣＭＢAC２）との加算された値となる。さらに、フレーム内の３番目までのマクロブロックＭＢ３に対する和は、１番目のマクロブロックＭＢ１における（ΣＭＢAC１）と、２番目のマクロブロックＭＢ２における和（ΣＭＢAC２）と、３番目のマクロブロックＭＢ３内のＡＣ離散コサイン変換に対応する当該３番目のマクロブロックＭＢ３内の全ビットの和（ΣＭＢAC３）との加算された値、すなわち、（ΣＭＢAC１）＋（ΣＭＢAC２）＋（ΣＭＢAC３）の値( ΣΣＭＢ AC ３ )である。
フレーム内の４番目以降の各マクロブロックまでの和についても上述同様である。図７には、再符号化されるフレーム内のｉ番目のマクロブロック番号ＭＢｉと共に、そのｉ番目のマクロブロック番号ＭＢｉまでの和（ΣΣＭＢACｉ）を縦座標とするグラフ（プロフィルと表わされている）を示している。従って、図７において、上記したプロフィルは、ＡＣ離散コサイン変換係数ビットをｉ番目のマクロブロック番号ＭＢｉまで累積した状態を示したものである。
【００２８】
また、上記ＡＣ離散コサイン変換係数に加えて、アナライザ１１０では、ステップＳ１０１の処理として、各々のフレームに対し全符号化ビットΣ（ＴＢ）を計数する。
【００２９】
そして、アナライザ１１０は、ステップＳ１０６の処理として、各々のフレームに対する全マクロブロックの分析が終了したか否か判断し、全マクロブロックを分析したならば、ステップＳ１０８の処理として、フレーム当たりのＡＣ離散コサイン変換の新しい目標値ＴＶACを、以下の式（１）に示す関係に従って計算する。
【００３０】
ＴＶAC＝（ΣΣＭＢAC last）−％×Σ（ＴＢ）−ＢEXCESS （１）
なお、式（１）中、（ΣΣＭＢAC last）は、ＡＣ離散コサイン変換係数のマクロブロックの最後（ last ）までの和であり、フレーム内のＡＣ離散コサイン変換ビットの総データ量に対応する。また、式（１）中のΣ（ＴＢ）はフレームの全符号化ビットであり、式（１）中のＢEXCESSは前のフレームの発生符号量と目標符号量の差を表わしている。さらに、式（１）中の％は、符号化ビットストリームのレートを縮小する割合であり、例えば８Ｍｂｐｓの１次符号化ビットストリームＰを４Ｍｂｐｓの２次符号化ビットストリームＳに再符号化するとき、量子化係数に依存しない符号量（量子化係数非依存の符号量）が２．０Ｍｂｐｓとすると、再符号化されるべき１次符号化ビットフレームＰの量子化係数依存の符号量は、６．０Ｍｂｐｓとなる。したがって、再符号化した結果の２次符号化ビットストリームＳは、４−２＝２Ｍｂｐｓとなり、量子化係数依存の符号量は６Ｍｂｐｓから２Ｍｂｐｓに減少させることとなる。したがって、式（１）中の％は、次式（２）のようになる。
【００３１】
％＝（１−２／６）＝２／３ （２）
次に、アナライザ１１０は、ステップＳ１０９の処理として、ＡＣ離散コサイン変換ビットのプロフィルを、式（３）に示す係数ratioによってスケーリングする。
【００３２】
ratio＝ＴＶAC／ΣΣＭＢAC last （３）
当該スケーリングは、図７に示された線形にスケーリングされたプロフィルを得るため、各々の和（ΣＭＢACｉ）を各々の係数ratioで乗算することにより行われる。すなわち、スケーリングは、式（４）により行われる。
【００３３】
ＴＶACｉ＝ratio＊ΣΣＭＢACｉ （４）
なお、式（４）中のＴＶACｉはｉ番目のマクロブロックＭＢｉまでの目標符号量である。
【００３４】
次に、各々の和（ΣΣＭＢACｉ）は、次式（５）のように、メモリ１１２でスケーリングされた和と置き換えられる。
【００３５】
ＴＶAC ｉ＝ＴＶAC／ΣΣＭＢAC last＊ΣΣＭＢAC ｉ （５）
図５の再符号化装置において、上述したようにプロフィルがスケーリングされた後、各々の解析された可変長符号化されていない符号語は、一度にマクロブロック単位でメモリ１１２から出し入れされる。また、ＡＣ離散コサイン変換されていない符号語はマルチプレクサ１０６に送られ、マルチプレクサ１０６は本質的に出力を再度組み立てる。
【００３６】
また、アナライザ１１０は符号語をレートバッファ１０７に送るようメモリ１１２を条件付けし、マクロブロック当たり制限された量の符号語を受け入れるようレートバッファ１０７を条件付ける。
【００３７】
最終的に求められた最終マクロブロックまでの目標符号量ＴＶAC lastは、現在のフレームの再量子化のためのレート制御器１０９に供給される。
【００３８】
また、可変長復号器１０１にて可変長復号化され、遅延器１０２に一旦蓄積された信号は、当該遅延器１０２からアクセスされ、ステップＳ１１０の処理として逆量子化器１０３にて逆量子化され、さらに上述したように計算された目標符号量ＴＶAC lastを利用するレート制御器１０９の制御下で、ステップＳ１１１の処理として当該目標符号量ＴＶAC lastに合うように、量子化器１０４によって再量子化され、さらに可変長符号化器１０５にて可変長符号化される。
【００３９】
ここで、量子化器１０４における再量子化にて用いられる量子化係数Ｑは以下のようにして設定される。
【００４０】
図５の再符号化装置では、ステップＳ１１２の処理として、ｉ番目のマクロブロックＭＢｉの量子化係数の評価値（ＱNｉ）を設定する。ここで、ｉ番目のマクロブロックＭＢｉに対する新しい量子化係数ＱNｉは、式（６）で表される係数となる。
【００４１】
ＱNｉ＝ＱMBin／（１−％） （６）
なお、ＱMBinは入力された量子化係数である。この式（６）は、量子化係数と発生符号量が反比例の関係であると仮定した場合である。
【００４２】
図６の再符号化装置では、ステップＳ１１２の処理にてｉ番目のマクロブロックＭＢｉの量子化係数の評価値（ＱNｉ）を取得した後、ステップＳ１１３の処理として、量子化されていないマクロブロックを遅延器１０２からアクセスする。
【００４３】
次に、ステップＳ１１４の処理として、図６の再符号化装置の量子化器１０４では、前記評価された量子化係数（ＱNｉ）を用い、当該ｉ番目のマクロブロックＭＢｉを量子化する。
【００４４】
次に、ステップＳ１１５の処理として、図６の再符号化装置の可変長符号化器１０５では、量子化器１０４にて量子化されたマクロブロックを可変長符号化する。
【００４５】
次に、図６の再符号化装置では、ステップＳ１１６の処理として、マクロブロックに対する新しい全ビットΣＭＢACinを加算し、再量子化されたマクロブロックの符号語をステップＳ１１７の処理として再組立する。さらに、ビットの和ΣＭＢACinは、再量子化され記録された符号化ビットストリームの現在のマクロブロックのプロフィル値Σ（ΣＭＢACin）を形成するため、先に量子化されたマクロブロックのビットの和と加算される。
【００４６】
次に、ステップＳ１１９の処理として、新しいプロフィル値Σ（ΣＭＢACin）と元のスケーリングされたプロフィル値Σ（ΣＭＢACｉ）の差は、次式（７）によりビット誤差の値ΔＥを作成するために計算される。
【００４７】
誤差ΔＥ＝ΣΣＭＢACｉ−ΣΣＭＢACin （７）
次に、ステップＳ１２０の処理として、ビット誤差ΔＥは、閾値ΔＥTHと比較される。このステップＳ１２０での比較において、ビット誤差ΔＥが閾値ΔＥTHよりも大きい場合は、ステップＳ１２１の処理として新しい量子化係数ＱNｉが計算される。当該新しい量子化係数ＱNｉは、一例として以下式（８）の関係に従って計算される。
【００４８】
ＱNｉ＝ＱNｉ＋ｓｇｎ（ΔＥ） （８）
なお、式（８）中のＱNｉは、ｉ番目のマクロブロックに対し使用された最後の量子化係数に対応し、最初のパスでＱNｉと等しく、また式中のｓｇｎ（ΔＥ）は、ビット誤差ΔＥが正及び負である場合にそれぞれ±１と一致する。すなわち、式（８）に基づいてＱNｉ＝ＱMBin／（１−％）のように計算されたＱNｉに対して、式（９），（１０）となる。
【００４９】
ΔＥ＜０：ＱNｉ＝ＱNｉ＋１ （９）
ΔＥ＞０：ＱNｉ＝ＱNｉ−１ （１０）
ステップＳ１２１の処理後、ｉ番目のマクロブロックＭＢｉは、ステップＳ１１３の処理としてもう一度遅延器１０２からアクセスされ、新しい量子化係数ＱNｉを使用して再量子化される。ステップＳ１１３からステップＳ１２１は、誤差ΔＥが閾値ΔＥTHより小さくなるまで繰り返される。
【００５０】
一方、ステップＳ１２０においてビット誤差ΔＥが閾値ΔＥTHよりも小さいと判定された場合は、ステップＳ１２２の処理として、フレーム内の全てのマクロブロックが再量子化されたかどうかを判定するためチェックされる。このステップＳ１２２にて、フレーム内の全てのマクロブロックが再量子化されていないと判定された場合は、ステップＳ１１８の処理として、ｉ番目のマクロブロックの番号（インデックスｉ）が１ずつ増加され、ステップＳ１１２の処理に戻り、ｉ＋１番目のマクロブロックＭＢｉ＋１についての再量子化処理が開始される。
【００５１】
また、ステップＳ１２２にてフレーム内の全てのマクロブロックが再量子化されたと判定された場合、当該再符号化装置の処理はステップＳ１００に飛び、次のフレームの処理が開始される。
【００５２】
【発明が解決しようとする課題】
ところで、上述した従来の再符号化装置において、再量子化を行うとき、元の１次符号化ビットストリームが最適な方法で符号量配分され符号化されている場合には問題は少ないが、必ずしも最適な符号量配分で符号化されたかどうかはわからない。なぜならば、先の１次符号化の時に、ビット発生量に伴って、ある制限された転送レートに制御するため、量子化係数によるレート制御を受け、本来画質を均一にするべき量子化係数とは異なる量子化係数で符号化されている場合が考えられるためである。したがって、レート制御のために画質を一定（略々ピクチャー内量子化スケール一定）にできず、その結果、再符号化した場合には、圧縮に伴う符号化ひずみが顕著になる場合がある。
【００５３】
本発明は、上述の課題に鑑みてなされたものであり、圧縮符号化される以前の画像データが存在しない１次符号化ビットストリーム、言い換えると、圧縮符号化された画像データが存在する１次符号化ビットストリームについて再符号化を行う場合に、画質が均一になるような最適なピクチャー内符号量配分を行い、画質劣化の少ない再符号化後の２次符号化ビットストリームを作成することを可能とする、符号化装置及び符号化方法の提供を目的とする。
【００５４】
【課題を解決するための手段】
請求項１に記載の本発明に係る符号化装置は、上述の課題を解決するために、符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成する符号化装置において、
少なくとも所定単位分の１次符号化ビットストリームを取り込むビットストリーム取り込み手段と、
前記所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求める符号化難易度演算手段と、
前記ブロック毎に求めた前記符号化難易度を所定番目のブロックまで累積した値を前記所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め設定した前記所定単位内の目標符号量とを乗算して、前記所定番目のブロックの目標符号量を求めるようにスケーリングして、前記所定単位内の目標符号量に対して各ブロックの目標符号量を配分するスケーリング手段とを有する。
【００５５】
請求項２に記載の本発明に係る符号化方法は、上述の課題を解決するために、符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成する符号化方法において、
少なくとも所定単位分の１次符号化ビットストリームを取り込むビットストリーム取り込みステップと、
前記所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求める符号化難易度演算ステップと、
前記ブロック毎に求めた前記符号化難易度を所定番目のブロックまで累積した値を前記所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め設定した前記所定単位内の目標符号量とを乗算して、前記所定番目のブロックの目標符号量を求めるようにスケーリングして、前記所定単位内の目標符号量に対して各ブロックの目標符号量を配分するスケーリングステップとを有する。
【００５６】
【発明の実施の形態】
以下に本発明に係る符号化装置及び符号化方法について、図面を参照して詳細に説明する。
尚、本発明に係る符号化装置に対して実施の形態では再符号化装置と呼称して説明を行う。
【００５７】
図１には、予め符号化された１次符号化ビットストリームを復号し、データ量を減少させるように再符号化して２次符号化ビットストリームを生成する、本発明実施の形態の再符号化装置の概略構成例を示す。
【００５８】
なお、この図１の例では、前述の図５に示した従来例と同様に、再符号化装置の全般的な動作を示すために、主要な機能素子だけが図示されている。すなわち例えば、圧縮ビデオ信号には種々の形のデータが含まれ、それらのデータ中、一部だけが量子化されるが、他のデータは、再量子化又は再符号化装置を迂回させられ、マルチプレクサ１６において再符号化されたデータともう一度多重化される。マルチプレクサ１６の機能については公知であるため、ここではその説明を省略している。
【００５９】
この図１において、符号化ビデオ入力端子１０には、既に圧縮又は符号化された１次符号化ビットストリームが入力される。当該１次符号化ビットストリームは、この図１に示す再符号化装置にて再符号化されるべき信号である。また、本実施の形態においては、当該再符号化されるべき１次符号化ビットストリームを、ブロック符号化された信号であると想定する。すなわち、符号化前の各々の画像は、複数のブロック又はマクロブロックに分割され、ブロック毎又はマクロブロック毎に所定の圧縮符号化手法にて圧縮されている。したがって、符号化ビデオ入力端子１０には、そのように少なくとも部分的に符号化されたブロック又はマクロブロックのストリームが供給されている。また、各々のマクロブロックのデータ中の少なくとも一部分は、量子化され、可変長で符号化されている。なお、本実施の形態においても、上記の圧縮符号化手法の代表的例としては、いわゆるＭＰＥＧ１方式やＭＰＥＧ２方式等を挙げることができる。
【００６０】
符号化ビデオ入力端子１０に入力された上述の１次符号化ビットストリームは、可変長復号を行う可変長復号器（ＶＬＤ）１１に供給される。なお、この図１の例では、１次符号化ビットストリームに含まれる動きベクトル及びその他の量子化されていない符号語を、次段の回路（逆量子化器（Ｑ−１）１３、量子化器（Ｑ）１４、可変長符号化器（ＶＬＣ）１５）に送らずに迂回するようにした構成を示しているが、例えばそれら次段の回路（逆量子化器１３、量子化器１４、可変長符号化器１５）が再符号化装置によって変えられるべきではない信号成分に対し反応しないよう条件付けることができる場合には、実際上、それら動きベクトル及び他の量子化されていない符号語を、それら次段の回路（逆量子化器１３、量子化器１４、可変長符号化器１５）を通過させるようにしても良い。可変長復号器１１にて可変長復号化された符号語は、遅延器１２にて所定時間遅延された後、逆量子化器１３に送られる。
【００６１】
当該逆量子化器１３では、可変長復号化された符号語を逆量子化することにより、圧縮処理で量子化された信号成分を復元する。この逆量子化器１３にて逆量子化された信号成分は、量子化器１４に送られる。
【００６２】
量子化器１４では、レート制御器１９の制御下、逆量子化器１３から供給された信号成分を量子化（再量子化）する。このときのレート制御器１９は、所望の低下したレートと適合して再符号化された２次符号化ビットストリームを生成するように調整されている。すなわち、この例の場合のレート制御器１９による再符号化の制御は、１次符号化ビットストリームに対する元の圧縮符号化処理よりも粗い各々の符号語の量子化信号が得られるように、量子化器１４に対して量子化値をレート制御器１９から供給することによって行われる。このような制御がなされた量子化器１４にて再度量子化された符号語は、可変長符号化器（ＶＬＣ）１５に送られる。
【００６３】
可変長符号化器１５では、再量子化された符号語を可変長符号化し、その可変長符号化処理後の符号語をマルチプレクサ１６に供給する。
【００６４】
マルチプレクサ１６では、可変長符号化処理後の符号語と、アナライザ１１を介することで再量子化を受けなかった信号成分とをマルチプレクスして、再度フォーマット化した信号を生成する。この再度フォーマット化された信号は、レートバッファ１７に送られる。
【００６５】
ここで、再度フォーマット化された信号は、一般的にバースト的な信号であり、レートバッファ１７では、このバースト的な信号を一定レートの信号に変換する。なお、このときのレートバッファ１７には、量子化器１４が一定レートの信号を発生するよう条件付けるために、レートバッファ１７を制御する制御信号を供給する占有モニターを備えている。当該レートバッファ１７にて一定レートとなされた信号は、この図１に示す本実施の形態の再符号化装置により再符号化された２次符号化ビットストリームとして、符号化ビデオ出力端子１８から出力されることになる。
【００６６】
以上説明した再符号化装置の基本的な動作は、前述した図５の例と略々同じであるが、本実施の形態の再符号化装置の場合は、アナライザ２０におけるピクチャー（フレーム）内プロフィル作成部２１における動作が異なる。
【００６７】
すなわち、アナライザ２０のプロフィル作成部２１では、ピクチャー（フレーム）の目標符号量ＴＶACを前述した式（１）の関係に従った計算により求めるが、本実施の形態の再符号化装置の場合は、さらにピクチャータイプ毎（例えばＭＰＥＧにおけるＩピクチャー（Intra-coded picture），Ｐピクチャー（Predictive-coded picture），Ｂピクチャー（Bidirectionally predictive-coded picture）毎）に最低目標符号量ＴＢmin(typ)を設定する。
【００６８】
ここで、フレーム当たりのＡＣ離散コサイン変換の目標符号量ＴＶACが例えば非常に小さな値を取るとき（例えば静止画に近いとき等）、レート制御器１９の制御応答が良くなり、小さな符号量誤差でも量子化係数が変動し、発振し易くなるが、本実施の形態では、当該ピクチャータイプ毎の最低目標符号量ＴＢmin(typ)によって、発振を防ぐようにしている。なお、最低目標符号量は、簡略化してピクチャータイプ別に分けないものを設定するようにしてもよい。
【００６９】
上述したように、本実施の形態の場合は、ピクチャータイプ毎の最低目標符号量ＴＢmin(typ)を用いることで、ピクチャーの目標符号量ＴＶACは、次式（１１）のようになる。
【００７０】
ＴＶAC＝ＭＩＮ（ＴＶAC，ＴＢmin(typ)） （１１）
なお、この式（１１）におけるＭＩＮ（Ａ，Ｂ）は、Ａ，Ｂの小さい値を返す関数である。例えば、Ａ＞Ｂならば、ＭＩＮ（Ａ，Ｂ）はＢの値を返すことを表す。
【００７１】
前述した図５の従来例の再符号化装置のアナライザ１１０のプロフィル作成部１１１では、量子化係数に非依存のＡＣ係数によってピクチャー（フレーム）内プロフィルを作成していたが、本発明実施の形態のアナライザ２０のプロフィル作成部２１では、元の１次符号化ビットストリームのマクロブロック毎の発生符号量ΣＭＢACｉとピクチャー内量子化係数Ｑｉの積のべき乗を用いる。つまり、本実施の形態のアナライザ２０では、次式（１２）のような、ｉ番目のマクロブロックＭＢｉの符号化難易度Ｘｉを用いる。
【００７２】
Ｘｉ＝（ΣＭＢACｉ＊Ｑｉ）α （１２）
なお、式（１２）のαは（０＜α≦１）である。
【００７３】
本実施の形態の再符号化装置において、このようなことを行う理由について以下に説明する。
【００７４】
一般に、ｉ番目のマクロブロックＭＢｉにおいて、前記和（ΣＭＢACｉ）の小さなマクロブロックは符号化が易しく、また、量子化係数Ｑｉが小さいマクロブロックＭＢｉも同様に符号化が易しい。一方、一般的に符号化が難しいマクロブロックＭＢｉほど符号化歪みは人間の視覚に感知し難いことが知られている。したがって、前記和ΣＭＢACｉまたは量子化係数Ｑｉが大きくなると、そのマクロブロックＭＢｉの目標符号量は余り大きくなくて良いことになる。そこで、ＡＣ離散コサイン変換係数の目標符号量ＴＶACがあまり大きくならないような関数を用いることが必要である。
【００７５】
本発明実施の形態では、当該関数の一例として、式（１２）の符号化難易度Ｘｉを用いているが、さらに、次式（１３）等の図２に示すような対数関数的に人間の感覚に合致した関数を用いることが望ましい。
【００７６】
Ｘｉ＝ＬＯＧ（ΣＭＢACｉ＊Ｑｉ＋Ｂ）＋Ａ （１３）
なお、式（１３）のＡ，Ｂは定数である。
【００７７】
つまり、本発明実施の形態の再符号化装置のアナライザ２０では、ピクチャーの目標符号量ＴＶACを、各々のマクロブロック毎に符号化難易度Ｘｉをピクチャー内の全てのマクロブロックの符号化難易度の総和でスケーリングする。
【００７８】
すなわち、ｉ番目までのマクロブロックＭＢｉの目標符号量ΣＴＭＢｉ＝（ＴＶACｉ）は、次式（１４）のようになる。
【００７９】
ΣＴＭＢｉ＝（ＴＶACｉ）＝ΣＸｉ＊ＴＶAC／ΣＸlast （１４）
次に、図３のフローチャートを参考にして、本発明の第１の実施の形態の再符号化装置での処理をさらに詳細に説明する。
【００８０】
先ず、再符号化装置は、ステップＳ１０の処理として、１次符号化ビットストリームから新しいピクチャー（フレーム）を取得する。次に、アナライザ２０は、ステップＳ１１の処理として、ＡＣ離散コサイン変換係数に加えて、各々のピクチャー（フレーム）に対して全符号化ビットΣ（ＴＢ）を計数する。さらに、再符号化装置では、ステップＳ１２の処理として、可変長復号化器１１にてフレームの可変長復号化と解析を行う。
【００８１】
なお、可変長復号化器１１は、可変長符号化されていない符号語に対して透過性であり、可変長符号化されていない符号語をそのまま通過させる。例えば、ＭＰＥＧ方式の信号中の可変長符号化された符号語は確定した境界をもたないため、可変長復号化器１１は各々の符号語の境界を定め、タイプを用いて符号語を識別する。符号語は、実際には復号化されず、可変長復号化器１１で解析された可変長符号化されていない符号語は、ステップＳ１３の処理として、識別子が付けられ遅延器１２に格納される。
【００８２】
解析された可変長符号化されていない符号語は、アナライザ２０に供給される。アナライザ２０は、ステップＳ１５の処理として、前記式（１２）又は式（１３）によって、符号化難易度Ｘｉを計算し、さらにステップＳ１４の処理として、その符号化難易度Ｘｉの合計ΣＸｉを求めてメモリ２２に記憶せる。
【００８３】
次に、アナライザ２０では、ステップＳ１６の処理として、各々のピクチャーに対する全マクロブックが分析されたか否かを判定し、全マクロブロックが分析されたと判定した場合はステップＳ１８の処理に進む。
【００８４】
ステップＳ１８の処理に進むと、アナライザ２０のプロフィル作成部２１は、ピクチャー当たりのＡＣ離散コサイン変換の目標符号量ＴＶACを前記式（１）と式（１１）から求める。
【００８５】
次に、アナライザ２０は、ステップＳ１９の処理として、符号化難易度の合計ΣＸｉとピクチャー当たりのＡＣ離散コサイン変換の目標符号量ＴＶACから、ＡＣ離散コサイン変換係数累積ビット数のプロフィルをスケーリングする。図４には、本実施の形態の場合のプロフィルを示す。
【００８６】
続いて、本実施の形態の再符号化装置では、ステップＳ２０の処理として、逆量子化器１３において逆量子化がなされ、次に、ステップＳ２１の処理として、量子化器１４において、記録された信号がスケーリングされたプロフィルと適合するよう再量子化がなされ、さらに可変長符号化器１５において可変長符号化がなされる。
【００８７】
ここで、再量子化処理における量子化係数について、詳細に説明すると、本実施の形態の再符号化装置では、ステップＳ２２の処理として、ｉ番目のマクロブロックＭＢｉに対して新しい量子化係数ＱNｉを評価する。本実施の形態では、当該量子化係数の評価値を多数の方法（例えば第１〜第５の方法）を使用して求める。
【００８８】
すなわち、量子化係数の評価値を得るための第１の方法では、新しい量子化係数ＱNｉがｉ番のマクロブロックＭＢｉの元の量子化係数を表わす場合、前述の従来例の場合と同様に、当該新しい量子化係数ＱNｉを前記式（６）にて計算する。これは量子化係数と発生符号量が反比例の関係であると仮定した場合である。
【００８９】
また、評価値を得るための第２の方法では、量子化係数に依存するＡＣ離散コサイン変換係数の符号量を用いて、次式（１５）により、量子化係数ＱNｉを計算する。
【００９０】
ＱNｉ＝ＱMB in／（ＴＶAC／ΣΣＭＢAC last） （１５）
評価値を得るための第３の方法では、ｉ番目のマクロブロックの一つ前（ｉ−１）のマクロブロックＭＢｉ−１の量子化係数をＱNｉ−１とした場合に、新しい量子化係数として、単にｉ番目のマクロブロックの量子化係数ＱNｉとしてその一つ前のマクロブロックＭＢｉ−１の量子化係数ＱNｉ−１を使用する。すなわち、ＱNｉ＝ＱNｉ−１を使用する。なお、その後は、後述するステップＳ２９〜ステップＳ３２の処理により、新しい量子化係数ＱNｉを設定する。
【００９１】
評価値を得るための第４の方法では、最も直前のピクチャーに対応するマクロブロックに対して計算された最終的な量子化係数ＱN lastを使用する。
【００９２】
評価値を得るための第５の方法では、最も直前の同じ符号化構造（例えばＭＰＥＧ方式のＩ，Ｐ，Ｂのピクチャーのいずれか）を持ったピクチャーに対して計算された最終的な量子化係数ＱN lastを、新しい量子化係数ＱNｉとして使用する。
【００９３】
本実施の形態の再符号化装置では、ステップＳ２２において、上述した第１〜第５の方法のうち、何れかの方法で新しい量子化係数ＱNｉを求める。
【００９４】
次に、本実施の形態の再符号化装置は、ステップＳ２２においてｉ番目のマクロブロックＭＢｉの新しい量子化係数の評価値（ＱNｉ）の取得後、ステップＳ２３の処理として、量子化されていないマクロブロックを遅延器１２からアクセスする。
【００９５】
すなわち、本実施の形態の再符号化装置の量子化器１４では、ステップＳ２４の処理として、当該ｉ番目のマクロブロックＭＢｉを、上述したように評価された量子化係数ＱNｉを用いて量子化する。
【００９６】
次に、本実施の形態の再符号化装置の可変長符号化器１５では、ステップＳ２５の処理として、再量子化後のマクロブロックを可変長符号化する。
【００９７】
その後、再符号化装置では、ステップＳ２６の処理として、マクロブロックに対する新しい画像の符号化複雑度Ｘｉ＝（ΣＭＢACｉ＊Ｑｉ）αを加算し、さらにステップＳ２７の処理として、再量子化されたマクロブロックの符号語を再組立する。
【００９８】
このとき、再符号化装置では、ステップＳ２９の処理として、次式（１６）により、新しいプロフィル値Σ（ΣＭＢAC in）ｉと元のスケーリングされたプロフィル値ΣＴＭＢｉとの差をビット誤差ΔＥとして作成する。
【００９９】
ΔＥ＝ΣＴＭＢｉ−Σ（ΣＭＢAC in）ｉ （１６）
このように求めたビット誤差ΔＥは、次にステップＳ３０の処理において、閾値ΔＥTHと比較される。このステップＳ３０の比較において、ビット誤差ΔＥが閾値ΔＥTHよりも大きい場合は、ステップＳ３２に処理として、新しい量子化係数ＱNｉを計算する。この新しい量子化係数ＱNｉは、前述した式（８）に従って計算される。
【０１００】
この時、前記式（８）中のＱNｉはｉ番目のマクロブロックＭＢｉに対し使用された最後の量子化係数に対応し、最初のパスでＱNｉと等しく、ｓｇｎ（ΔＥ）はビット誤差ΔＥが正及び負である場合に各々±１と一致する。すなわち、前記式（９）のように計算されたＱNｉに対して、ＱNｉ±１となる。
【０１０１】
その後、ｉ番目のマクロブロックＭＢｉは、ステップＳ２２の処理としてもう一度遅延器１２からアクセスされ、新しい量子化係数ＱNｉを使用して再量子化がなされる。なお、ステップＳ２３からステップＳ３２までは、ビット誤差ΔＥが閾値ΔＥTHより小さくなるまで繰り返される。あるいは、ステップＳ３１での制限繰り返し回数（リトライ回数）内で繰り返し制限を付けても良い。
【０１０２】
一方、ステップＳ３０においてビット誤差ΔＥが閾値ΔＥTHよりも小さいと判定された場合は、本実施の形態の再符号化装置では、ステップＳ３３の処理として、ピクチャー内の全てのマクロブロックが再量子化されたかどうかを判定するためチェックを行う。このステップＳ３３でのチェックの結果、ピクチャー内の全てのマクロブロックが再量子化されていないと判定された場合は、ステップＳ２８の処理として、ｉ番目のマクロブロックの番号（インデックスｉ）が１ずつ増加され、ステップＳ２２の処理に戻り、ｉ＋１番目のマクロブロックＭＢｉ＋１についての再量子化処理が開始される。
【０１０３】
また、ステップＳ３３でのチェックの結果、ピクチャー内の全てのマクロブロックが再量子化されたと判定された場合、本実施の形態の再符号化装置の処理はステップＳ１０の処理に戻り、次のピクチャーの処理を開始する。
【０１０４】
なお、上述した本実施の形態の再符号化装置での処理は、図４に示すプロフィルを正確に追従し、量子化係数ＱMB inの変化を殆ど許容しない傾向がある。また、量子化係数は、１ピクチャーの間非常に均一となる。また、特定のマクロブロックに引き続く処理パスの各々に対し、上記マクロブロックの前の処理パスの間に再組立されたデータは捨てられ、最終的なパスの再組立されたデータだけが保持されることになる。
【０１０５】
次に、本発明の第２の実施の形態の再符号化装置での処理について説明する。
【０１０６】
本発明の第２の実施の形態では、図３のフローチャートのステップＳ３０〜ステップＳ３２を省略した例である。
【０１０７】
すなわち当該第２の実施の形態では、次式（１７）に示す、前のピクチャーの発生符号量と目標符号量の差の最終的な値ＢAC EXCESSを、次のピクチャーへＢAC EXCESSとして、次の目標符号量に加算する。または、誤差を未来の複数のピクチャーに伝播させてもよい。
【０１０８】
ＢAC EXCESS＝ΔＥlast＝ＴＶAC−Σ（ΣＭＢAC in） （１７） 次に、本発明の第３の実施の形態の再符号化装置での処理について説明する。
【０１０９】
本発明の第３の実施の形態では、Ｎピクチャー分の１次符号化ビットストリームを受信して、Ｎピクチャーの１次符号化ビットストリームを解析し、１ピクチャー分の目標符号量ＴＶACに、ＢAC EXCESSをＮピクチャー分の目標符号量ＴＶAC Nで割った値を配分する。すなわち、本発明の第３の実施の形態では、Ｎ個のピクチャーの各ピクチャー目標符号量がそれぞれＴＶAC 0，ＴＶAC 1，ＴＶAC 2，・・・，ＴＶAC Nであるとし、次に符号化するピクチャーについて前述した演算により求められる目標符号量をＴＶAC 0とした場合、この第３の実施の形態では、当該次に再符号化するピクチャーの目標符号量として、次式（１８）のＴＶACを求める。
【０１１０】
ＴＶAC＝ＴＶAC 0＋ＢAC EXCESS／Σ（ＴＶAC N） （１８）
この結果、当該第３の実施の形態では、１ピクチャーの誤差の伝播を分散させることができ、画質の急激な変化を抑えることが可能となる。
【０１１１】
以上説明したように、本発明の各実施の形態の再符号化装置によれば、再符号化時の符号量発生プロフィル作成の際に、予め圧縮符号化された１次符号化ビットストリームがピクチャー内ブロック毎に最適な符号量配分が行われていない場合においても適切な量子化係数の設定を行なうことができ、画質劣化の少ない２次符号化ビットストリームを作成できる。
【０１１２】
【発明の効果】
請求項１及び請求項２記載の本発明に係る符号化装置及び符号化方法によれば、符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成するにあたって、少なくとも所定単位分の１次符号化ビットストリームを取り込み、所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求め、更に、ブロック毎に求めた符号化難易度を所定番目のブロックまで累積した値を所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め設定した所定単位内の目標符号量とを乗算して、所定番目のブロックの目標符号量を求めるようにスケーリングして、所定単位内の目標符号量に対して各ブロックの目標符号量を配分しているので、圧縮符号化される以前の画像データが存在しない１次符号化ビットストリーム、言い換えると、圧縮符号化された画像データが存在する１次符号化ビットストリームについて再符号化を行う場合に、品質の劣化が少ない２次符号化ビットストリームを作成することが可能である。
【図面の簡単な説明】
【図１】 本発明実施の形態の再符号化装置の概略構成を示すブロック図である。
【図２】 本実施の形態の再符号化装置において用いる、対数関数的に人間の感覚に合致した符号化難易度の関数についての説明に用いる図である。
【図３】 本発明の第１の実施の形態の再符号化装置での処理の流れを示すフローチャートである。
【図４】 本発明実施の形態の再符号化装置のアナライザのプロフィル作成部が作成するプロフィルの説明に用いる図である。
【図５】 従来の再符号化装置の概略構成を示すブロック図である。
【図６】 従来の再符号化装置での処理の流れを示すフローチャートである。
【図７】 従来の再符号化装置のアナライザのプロフィル作成部が作成するプロフィルの説明に用いる図である。
【符号の説明】
１０…符号化ビデオ入力端子、１１…可変長復号器、１３…逆量子化器、１４…量子化器、１５…可変長符号化器、１６…マルチプレクサ、１７…レートバッファ、１８…符号化ビデオ出力端子、１９…レート制御器、２０…アナライザ、２１…プロフィル作成部、２２…メモリ。
Claims (2)
- 符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成する符号化装置において、
少なくとも所定単位分の１次符号化ビットストリームを取り込むビットストリーム取り込み手段と、
前記所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求める符号化難易度演算手段と、
前記ブロック毎に求めた前記符号化難易度を所定番目のブロックまで累積した値を前記所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め設定した前記所定単位内の目標符号量とを乗算して、前記所定番目のブロックの目標符号量を求めるようにスケーリングして、前記所定単位内の目標符号量に対して各ブロックの目標符号量を配分するスケーリング手段とを有することを特徴とする符号化装置。 - 符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成する符号化方法において、
少なくとも所定単位分の１次符号化ビットストリームを取り込むビットストリーム取り込みステップと、
前記所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求める符号化難易度演算ステップと、
前記ブロック毎に求めた前記符号化難易度を所定番目のブロックまで累積した値を前記所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め設定した前記所定単位内の目標符号量とを乗算して、前記所定番目のブロックの目標符号量を求めるようにスケーリングして、前記所定単位内の目標符号量に対して各ブロックの目標符号量を配分するスケーリングステップとを有することを特徴とする符号化方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18059899A JP3807157B2 (ja) | 1999-06-25 | 1999-06-25 | 符号化装置及び符号化方法 |
| EP20000113032 EP1067797A3 (en) | 1999-06-25 | 2000-06-21 | Coding apparatus for recoding coded bit streams |
| US09/599,396 US6683989B1 (en) | 1999-06-25 | 2000-06-22 | Coding apparatus for recoding coded bit streams |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18059899A JP3807157B2 (ja) | 1999-06-25 | 1999-06-25 | 符号化装置及び符号化方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004379541A Division JP4038774B2 (ja) | 2004-12-28 | 2004-12-28 | 符号化装置及び符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001016580A JP2001016580A (ja) | 2001-01-19 |
| JP3807157B2 true JP3807157B2 (ja) | 2006-08-09 |
Family
ID=16086071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18059899A Expired - Lifetime JP3807157B2 (ja) | 1999-06-25 | 1999-06-25 | 符号化装置及び符号化方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6683989B1 (ja) |
| EP (1) | EP1067797A3 (ja) |
| JP (1) | JP3807157B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4107544B2 (ja) * | 2000-10-23 | 2008-06-25 | 三菱電機株式会社 | 画像信号の再符号化装置 |
| JP4505992B2 (ja) * | 2001-01-09 | 2010-07-21 | ソニー株式会社 | 画像情報変換装置及び方法 |
| KR100892974B1 (ko) * | 2002-11-27 | 2009-04-10 | 엘지전자 주식회사 | 고밀도 광디스크의 멀티 경로 데이터 스트림 관리방법 |
| JP4788250B2 (ja) | 2005-09-08 | 2011-10-05 | ソニー株式会社 | 動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体 |
| JP4788251B2 (ja) * | 2005-09-08 | 2011-10-05 | ソニー株式会社 | 動画像信号の符号化装置 |
| JP2008204568A (ja) * | 2007-02-21 | 2008-09-04 | Matsushita Electric Ind Co Ltd | 記録装置 |
| US8885977B2 (en) * | 2009-04-30 | 2014-11-11 | Apple Inc. | Automatically extending a boundary for an image to fully divide the image |
| KR101482542B1 (ko) | 2010-07-22 | 2015-01-14 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 이미지 데이터와 디스플레이의 비디오 범위들 사이의 맵핑을 위한 시스템, 장치 및 방법들 |
| JP5848993B2 (ja) * | 2012-03-06 | 2016-01-27 | 株式会社メガチップス | 画像処理装置 |
| JP5412588B2 (ja) * | 2013-01-30 | 2014-02-12 | 株式会社メガチップス | トランスコーダ |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5231484A (en) * | 1991-11-08 | 1993-07-27 | International Business Machines Corporation | Motion video compression system with adaptive bit allocation and quantization |
| NL9301358A (nl) * | 1993-08-04 | 1995-03-01 | Nederland Ptt | Transcodeerinrichting. |
| US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| US5781237A (en) * | 1994-03-25 | 1998-07-14 | Matsushita Electric Industrial Co., Ltd. | Video coding apparatus and video coding method |
| US5687095A (en) * | 1994-11-01 | 1997-11-11 | Lucent Technologies Inc. | Video transmission rate matching for multimedia communication systems |
| US5889561A (en) | 1994-11-04 | 1999-03-30 | Rca Thomson Licensing Corporation | Method and apparatus for scaling a compressed video bitstream |
| DE69607696T2 (de) * | 1995-02-15 | 2000-10-19 | Koninkl Philips Electronics Nv | Vorrichtung und verfahren zur transkodierung von videosignalen |
| JP4388598B2 (ja) * | 1995-02-22 | 2009-12-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 伝送チャネルを介して複数のビデオプログラムを同時に送信するシステム |
| US6151360A (en) * | 1995-04-28 | 2000-11-21 | Sony Corporation | Method for encoding video signal using statistical information |
| JP4223571B2 (ja) * | 1995-05-02 | 2009-02-12 | ソニー株式会社 | 画像符号化方法及び装置 |
| JPH10164581A (ja) * | 1996-12-03 | 1998-06-19 | Sony Corp | 画像信号符号化方法及び装置、信号記録媒体 |
-
1999
- 1999-06-25 JP JP18059899A patent/JP3807157B2/ja not_active Expired - Lifetime
-
2000
- 2000-06-21 EP EP20000113032 patent/EP1067797A3/en not_active Withdrawn
- 2000-06-22 US US09/599,396 patent/US6683989B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1067797A2 (en) | 2001-01-10 |
| EP1067797A3 (en) | 2004-09-29 |
| US6683989B1 (en) | 2004-01-27 |
| JP2001016580A (ja) | 2001-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7301999B2 (en) | Quantization method and system for video MPEG applications and computer program product therefor | |
| Ribas-Corbera et al. | Rate control in DCT video coding for low-delay communications | |
| JP4454049B2 (ja) | 圧縮ビデオのビットストリームのスケーリング方法及び装置 | |
| US6522693B1 (en) | System and method for reencoding segments of buffer constrained video streams | |
| KR100197385B1 (ko) | 버퍼 엠프티/필 룩어헤드 비트 할당기를 구비한 모션 비디오 압축 시스템 | |
| KR970003789B1 (ko) | 비디오 부호기의 전송율을 제어하기 위한 비트 할당 방법 | |
| JP4196726B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| CN108574841B (zh) | 一种基于自适应量化参数的编码方法及装置 | |
| JP3244399B2 (ja) | 圧縮動画像符号信号の情報量変換回路、及び方法 | |
| JP3807157B2 (ja) | 符号化装置及び符号化方法 | |
| JP3519673B2 (ja) | 動画データ作成装置及び動画符号化装置 | |
| US5822005A (en) | Pre-oddification | |
| JP2006295449A (ja) | レート変換方法及びレート変換装置 | |
| JP2005072742A (ja) | 符号化装置及び符号化方法 | |
| JP4224778B2 (ja) | ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム | |
| JP4114210B2 (ja) | 映像データ圧縮装置およびその方法 | |
| US6549671B1 (en) | Picture data encoding apparatus with bit amount adjustment | |
| JPH08251596A (ja) | 動画像符号化／復号化装置 | |
| JP4038774B2 (ja) | 符号化装置及び符号化方法 | |
| JP4081727B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録装置および記録方法 | |
| JP4421734B2 (ja) | 符号化データ変換方法，及びデータ記録媒体 | |
| JP4032446B2 (ja) | 映像データ圧縮装置およびその方法 | |
| JP2005012249A (ja) | 画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラム | |
| JP3963296B2 (ja) | 動画像の伝送レート変換装置 | |
| EP0784407B1 (en) | Transform coefficient select method and apparatus for transform coding system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050603 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060425 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060508 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3807157 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090526 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |