JP4407249B2 - データ処理装置およびその方法と符号化装置、その方法及びプログラム - Google Patents
データ処理装置およびその方法と符号化装置、その方法及びプログラム Download PDFInfo
- Publication number
- JP4407249B2 JP4407249B2 JP2003388259A JP2003388259A JP4407249B2 JP 4407249 B2 JP4407249 B2 JP 4407249B2 JP 2003388259 A JP2003388259 A JP 2003388259A JP 2003388259 A JP2003388259 A JP 2003388259A JP 4407249 B2 JP4407249 B2 JP 4407249B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- data
- bit rate
- encoded data
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
このような規格の符号化装置では、画像の局所的な情報を利用することにより、効率の良い符号化を実現している。
画像には、画像中で複雑な部分は、他の部分よりも量子化を粗くして符号化しても、肉眼では画質劣化が認識され難いという性質がある。
このような画像の複雑度の情報は、アクティビティ(activity)と呼ばれている。
従来の符号化装置では、量子化対象の画像データのアクティビティを算出し、当該アクティビティに基づいて、量子化スケールを規定する量子化スケールを各ピクチャ毎に生成している。すなわち、各ピクチャ毎に、当該ピクチャに割り当てるビット量を決定している。
ところで、符号化装置が生成した符号化データは、復号装置において、バッファCPB(Coded Picture Buffer)に蓄積された後に、符号化データを構成するピクチャが所定のピクチャレートで復号部に順に供給されて復号される。
ここで、バッファCPBから復号部に1つのピクチャが供給されることによりバッファCPBのデータ蓄積量が減少する量は、当該ピクチャのデータ量、すなわち当該ピクチャの量子化パレメータに依存する。
従って、符号化装置は、復号装置のバッファCPBがオーバーフローおよびアンダーフローしないように、上記量子化スケールを決定する必要がある。
以下、上述した問題を解決するための本実施形態の画像処理装置およびその方法と符号化装置について説明する。
図1は、本実施形態の画像処理システム1の全体構成図である。
図1に示すように、画像処理システム1は、符号化装置2および復号装置3を有する。 符号化装置2は、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮した符号化データED(ビットストリーム)を生成し、当該符号化データEDを変調した後に、衛星放送波、ケーブルTV網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
復号装置3は、例えば、符号化装置2から受信した符号化データEDを復調した後に、バッファCPBに格納し、バッファCPB(本発明の記憶回路)から読み出した符号化データEDを復号部4に供給し、復号部4において上記符号化時の直交変換の逆変換と動き補償によって復号した画像データを生成して利用する。
ここで、バッファCPBから復号部4に1つのピクチャが供給されることによりバッファCPBのデータ蓄積量が減少する量は、当該ピクチャのデータ量、すなわち当該ピクチャの量子化パラメータに依存する。
符号化装置2は、後述するように、復号装置3のバッファCPBがオーバーフローおよびアンダーフローしないように、上記量子化スケールを決定する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
画像処理システム1は、符号化装置2における量子化スケールの算出方法に特徴を有している。
符号化装置2が発明の符号化装置に対応している。
図2は、図1に示す符号化装置2の構成図である。
図2に示すように、符号化装置2は、例えば、A/D変換回路22、画面並べ替え回路23、演算回路24、直交変換回路25、量子化回路26、可逆符号化回路27、バッファ28、逆量子化回路29、逆直交変換回路30、フレームメモリ31、アクティビティ算出回路33、Q算出回路34、動き予測・補償回路32、デブロックフィルタ37を有する。
A/D変換回路22は、入力されたアナログの輝度信号Y、色差信号Pb,Prから構成される画像信号をデジタルの画像信号に変換し、これを画面並べ替え回路23に出力する。
画面並べ替え回路23は、A/D変換回路22から入力した画像信号内のフレーム画像信号を、そのピクチャタイプI,P,BからなるGOP(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えた画像データS23(本発明の被処理データ)を演算回路24、動き予測・補償回路32およびアクティビティ算出回路33に出力する。
また、演算回路24は、画像データS23がイントラ(Intra) 符号化される場合には、画像データS23を画像データS24として直交変換回路25に出力する。
直交変換回路25は、画像データS24に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ(例えばDCT係数信号)S25を生成し、これを量子化回路26に出力する。
量子化回路26は、Q算出回路34から入力した量子化スケールMBQで、画像データS25をマクロブロックMB単位で量子化して画像データS26を生成し、これを可逆符号化回路27および逆量子化回路29に出力する。
このとき、可逆符号化回路27は、動き予測・補償回路32から入力した動きベクトルMVあるいはその差分を符号化して符号化データEDのヘッダデータ内に格納する。
バッファ28に格納された符号化データEDは、Q算出回路34に出力されると共に、例えば、変調等された後に図1に示す復号装置3に送信される。
逆量子化回路29は、JVT規格に基づいて、量子化処理を行う。
逆直交変換回路30は、量子化され、デブロックフィルタ37でブロック歪みが除去された画像データに上記直交変換の逆変換を施して生成した画像データをフレームメモリ31に格納する。
なお、動き予測・補償回路32は、Q算出回路34からのマクロブロックMBの量子化スケールMBQを基にマクロブロックタイプを決定し、当該決定したマクロブロックタイプで規定されるブロックを単位として、動き予測・補償処理を行う。
動き予測・補償回路32は、動きベクトルMVを可逆符号化回路27に出力し、予測画像データS32aを演算回路24に出力する。
具体的には、アクティビティ算出回路33は、各マクロブロックMB、あるいは当該マクロブロックMB内に規定された所定のブロックを単位として、当該単位としたブロック内の画素データの平均値を算出する。
そして、アクティビティ算出回路33は、上記単位としたブロック内の各画素データと、上記算出した平均値の差分の自乗和を基に、上記マクロブロックMBのアクティビティ値ACTを算出し、これをQ算出回路34に出力する。
上記アクティビティ値ACTは、マクロブロックMBの画像が複雑になるに従って値が大きくなる。
また、Q算出回路34は、上記算出した量子化スケールPicQを基に、各ピクチャを構成する各マクロブロックMBの量子化スケールMBQを算出し、これを量子化回路26および動き予測・補償回路32に出力する。
以下、Q算出回路34が、符号化データEDを基に量子化スケールPicQを算出する方法を説明する。
Q算出回路34は、図1に示す復号装置3のバッファCPBの状態を考慮しながら、バッファCPBに記憶される符号化データEDのデータ量が適切な値(初期値InitialCpb)に近づくように、各ピクチャの量子化スケールPicQ、すなわち各ピクチャのデータ量を制御する。
ここで、バッファCPBから単位時間に読み出されて復号部4に供給されるピクチャの数はピクチャレートによって規定される一定数であるため、各ピクチャのデータ量をQ算出回路34で制御することで、バッファCPBに記憶されている符号化データEDのデータ量(バッファ蓄積量)を制御できる。
図3は、符号化データEDを基に量子化スケールMBQを生成する部分に関する図2に示すQ算出回路34の構成図である。
図3に示すように、Q算出回路34は、例えば、MBR測定回路10、CPBOC算出回路11、LT調整量算出回路12、ST調整量算出回路13、CTBR算出回路14、遅延回路15、PicQ制御回路16およびMBQ制御回路17を有する。
図3において、MBR測定回路10が第1および第3のの発明の特定回路に対応し、PicQ制御回路16が第1および第3の発明の量子化制御回路に対応している。
また、CPBOC算出回路11が第1の発明の指標生成回路に対応し、LT調整量算出回路12、ST調整量算出回路13およびCTBR算出回路14が第1の発明の目標算出回路に対応している。
MBR測定回路10は、図2に示すバッファ28から入力した符号化データEDを基に、符号化データEDを構成する各ピクチャの平均的なビット量(データ量)を示す測定ビットレートCMBR(本実施形態の特定回路が特定するビットレート)を算出し、これをPicQ制御回路16に出力する。
測定ビットレートCMBRは、図1に示す復号装置3において、符号化データEDがバッファCPBから読み出されて復号部4に出力されるビットレートを示している。
図4は、MBR測定回路10の処理を説明するためのフローチャートである。
ステップST1:
MBR測定回路10は、過去に入力した符号化データEDを構成するIピクチャの平均ビット量AveIPicBitを算出する。
ステップST2:
MBR測定回路10は、過去に入力した符号化データEDを構成するPピクチャの平均ビット量AvePPicBitを算出する。
ステップST3:
MBR測定回路10は、ステップST1で算出したAveIPicBit、ステップST2で算出したAvePPicBitを基に、下記式(1)により、測定ビットレートCMBRを算出する。
CMBR=PicR*(AveIPicBit+AvePPicBit*PPicNumInGop)/TotalPicNumInGop …(1)
また、PPicNumInGopは、(TotalPicNumInGop−1)を示している。
CPBOC算出回路11は、バッファ28からの符号化データEDを基に、復号装置3のバッファCPBに記憶されている符号化データEDのデータ量(蓄積データ量)を示す指標データCPBOCを算出する。
CPBOC算出回路11は、指標データCPBOCをLT調整量算出回路12およびST調整量算出回路13に出力する。
〔LT調整量算出回路12〕
LT調整量算出回路12は、CPBOC算出回路11からの指標データCPBOCを基に、後述する目標ビットレートCTBRの調整量LTAJを算出する。
ここで、調整量LTAJは、目標ビットレートCTBRが負にならないように調整するためのものである。
図5は、LT調整量算出回路12の処理を説明するためのフローチャートである。
ステップST11:
LT調整量算出回路12は、バッファ28からの符号化データEDの累積ビット量を検出する。
また、LT調整量算出回路12は、符号化装置2の外部から指定された最終目標ビットレートFTBR(本発明の最終目標ビットレート)と、符号化装置2による符号化開始からの時間とを乗算して予定発生ビット量を算出する。
そして、LT調整量算出回路12は、上記検出した累積ビット量と、上記算出した予定発生ビット量との差分を示す差分データDVを生成する。
LT調整量算出回路12は、最終目標ビットレートFTBRに1/2を乗じてデータMaxΔBRを算出する。
ステップST13:
LT調整量算出回路12は、ステップST11で生成した差分データDVと、ステップST12で算出したデータMaxΔBRとを基に、下記式(2)により、目標ビットレートCTBRの調整量LTAJを算出する。
なお、下記式(2)において、Span、GainおよびMinΔBRは予め設定された定数である。
LTAJ=MaxΔBR/〔1+exp{(−DV+(MaxΔBR*Span/2))*Gain}〕−MinΔBR …(2)
図6において、「Aのプロットは本実施形態に対応し、「B」のプロットはLTAJ=DV/Spanにより求めたものである。
図6に示すように、調整量LTAJは、指標データCPBOCが初期値InitialCpb以上の場合に正の値を示す、すなわち目標ビットレートCTBRを上げる向きに調整する値を持つ。
また、調整量LTAJは、指標データCPBOCが初期値InitialCpb未満の場合に負の値を示す、すなわち目標ビットレートCTBRを下げる向きに調整する値を持つ。
また、調整量LTAJは、図6に示すように、指標データCPBOCが所定の値(例えば、800000)以下になっても、所定の値(例えば、約−190000)より小さくならないように規定される。これにより、目標ビットレートCTBRが負になることが回避される。
上述した調整量LTAJの特性は、LT調整量算出回路12が上記式(2)により、目標ビットレートCTBRの調整量LTAJを算出することによって実現される。
ST調整量算出回路13は、CPBOC算出回路11からの指標データCPBOCを基に、目標ビットレートCTBRの調整量STAJを算出する。
ここで、調整量STAJは、指標データCPBOCを、初期値InitialCpbに戻すように作用する。
図7は、ST調整量算出回路13の処理を説明するためのフローチャートである。
ステップST21:
ST調整量算出回路13は、CPBOC算出回路11から入力した指標データCPBOCを用いて、下記式(3)により、データCpbScaleを算出する。
CpbScale=−((Scale*(InitCpb−CPBOC)+CPBOC)/((InitCpb−CPBOC)+Scale*CPBOC))
…(3)
図8に示すように、データCpbScaleは、指標データCPBOCが初期値InitialCpb以上の場合に正の値を示す、すなわち目標ビットレートCTBRを上げる向きに調整する値を持つ。
また、データCpbScaleは、指標データCPBOCが初期値InitialCpb未満の場合に負の値を示す、すなわち目標ビットレートCTBRを下げる向きに調整する値を持つ。
また、データCpbScaleは、図8に示すように、指標データCPBOCが所定の値(例えば、180000)以下になると、急峻にその値を小さくする。
これにより、上述した復号装置のバッファCPBがアンダフローすることを回避する。
上述したデータCpbScaleの特性は、ST調整量算出回路13が上記式(3)により、データCpbScaleを算出することによって実現される。
ST調整量算出回路13は、ステップST21で算出したデータCpbScaleと、入力した最終目標ビットレートFTBRとを下記式(4)により乗算して調整量STAJを算出する。
STAJ=FTBR*CpbScale …(4)
CTBR算出回路14は、入力した最終目標ビットレートFTBRと、LT調整量算出回路12から入力した調整量LTAJと、ST調整量算出回路13から入力した調整量STAJとを下記式(5)により加算して目標ビットレートCTBRを算出する。
CTBR算出回路14は、目標ビットレートCTBRをPicQ制御回路16に出力する。
CTBR=FTBR+LTAJ+STAJ …(5)
遅延回路15は、PicQ制御回路16から入力したピクチャのQスケールQPicを1ピクチャに相当する時間だけ遅延させてPicQ制御回路16に出力する。
PicQ制御回路16は、ピクチャのQスケールQPic(本発明の量子化スケール)を算出(決定)し、これを遅延回路15およびMBQ制御回路17に出力する。
PicQ制御回路16は、MBR測定回路10から入力した測定ビットレートCMBRと、CTBR算出回路14から入力した目標ビットレートCTBRとを基に、QスケールQPicを以下のように算出する。
具体的には、PicQ制御回路16は、測定ビットレートCMBRを目標ビットレートCTBRに近づけるように、QスケールQPicを算出する。
ステップST31:
PicQ制御回路16は、MBR測定回路10から入力した測定ビットレートCMBRと、CTBR算出回路14から入力した目標ビットレートCTBRとを用いて、下記式(6)により、データPRO_PARTを算出する。
式(6)内のKpは、応答性を調整するための係数であり、例えば、測定ビットレートCMBR、目標ビットレートCTBRおよび指標データCPBOCなどを用いて規定される。当該応答性を低くすることで、量子化スケールの変動を抑制することができる。
PRO_PART=Kp*(CMBR/CTBR−1) …(6)
PicQ制御回路16は、MBR測定回路10から入力した測定ビットレートCMBRと、CTBR算出回路14から入力した目標ビットレートCTBRとを用いて、下記式(7)により、データDV_PARTを算出する。
式(7)内のKdは、応答性を良くするための係数である。
また、nはピクチャの番号を示している。CMBR〔n−1〕は、CMBR〔n〕に対応するピクチャの1つ前のピクチャのCMBRを示している。
DV_PART=Kd*(CMBR〔n〕−CMBR〔n−1〕)
…(7)
PicQ制御回路16は、前回算出した量子化スケールQPic〔n−1〕と、ステップST31で算出したデータPRO_PARTと、ステップST32で算出したデータDV_PARTとを用いて、下記式(8)により、量子化スケールQPic〔n〕を算出する。
QPic〔n〕=QPic〔n−1〕*(1+PRO_PART+DV_PART)
…(8)
MBQ制御回路17は、PicQ制御回路16から入力したピクチャの量子化スケールPicQを基に、当該ピクチャ内の各マクロブロックMBの量子化スケールMBQを算出し、これを図2に示す量子化回路26および動き予測・補償回路32に出力する。
図10は、図3に示すQ算出回路34の全体動作について説明するためのフローチャートである。
ステップST41:
図3に示すQ算出回路34のMBR測定回路10が、図4を用いて説明した手順で測定ビットレートCMBRを算出する。
ステップST42:
図3に示すCPBOC算出回路11、LT調整量算出回路12、ST調整量算出回路13およびCTBR算出回路14が、図5、図7および図9を用いて説明した手順で目標ビットレートCTBRを算出する。
すなわち、図11に示すようにLT調整量算出回路12が調整量LTAJを算出し(ST51)、ST調整量算出回路13が調整量STAJを算出し(ST52)、これを用いてCTBR算出回路14が目標ビットレートCTBRを算出する(ST52)。
Q算出回路34は、処理対象のピクチャがシーンチェンジ後の最初のピクチャであるか否かを判断し、最初のピクチャであると判断するとステップST44に進み、そうでない場合にはステップST45に進む。
Q算出回路34は、図2に示すアクティビティ算出回路33からのアクティビティACTを基に、処理対象のピクチャの各マクロブロックMBの量子化スケールMBQを算出し、これを量子化回路26および動き予測・補償回路32に出力する。すなわち、Q算出回路34は、従来と同じ手法で量子化スケールを算出する。
Q算出回路34は、ステップST41で算出した測定ビットレートCMBRおよびステップST42で算出した目標ビットレートCTBRとを基に、図9を用いて説明したように、各ピクチャの量子化スケールQPicを算出し、その後、各マクロブロックMBの量子化スケールMBQを算出し、これを量子化回路26および動き予測・補償回路32に出力する。
入力となる画像信号は、まず、A/D変換回路22においてデジタル信号に変換される。次に、出力となる画像圧縮情報のGOP構造に応じ、画面並べ替え回路23において画像データの並べ替えが行われる。
そして、アクティビティ算出回路33において、アクティビティACTが生成され、これがQ算出回路34に出力される。
Q算出回路34は、アクティビティ算出回路33からのアクティビティACTと、バッファ28からの符号化データEDとを基に前述したように、量子化スケールMBQを算出し、これを量子化回路26および動き予測・補償回路32に出力する。
直交変換回路25の出力となる変換係数は、量子化回路26において量子化処理され、画像データS25として可逆符号化回路27に出力される。
量子化回路26は、Q算出回路34から入力した量子化スケールMBQに基づいて、量子化スケールQPを基に画像データS25を量子化する。
可逆符号化回路27は、画像データS26に可変長符号化、算術符号化等の可逆符号化を施して符号化データEDを生成し、これをバッファ28に出力する。
同時に、量子化回路26からの画像データS26は、逆量子化回路29に入力され、さらに逆直交変換回路30において逆直交変換処理が施されて、復号された画像データとなり、その画像データがフレームメモリ31に蓄積される。
そして、動き予測・補償回路32において、参照画像の画像データS31を用いて、動きベクトルMVおよび予測画像データS32aが生成される。
そして、可逆符号化回路27において、動きベクトルMVが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像データのヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像データと同様である。
そのため、符号化装置2によれば、復号装置3のバッファCPBのオーバーフローおよびアンダーフローを回避でき、復号部4で復号された画像の品質を向上できる。
また、符号化装置2によれば、図4を用いて説明したように、MBR測定回路10において、複数のピクチャの平均ビット量を基に測定ビットレートCMBRを算出し、これを基に目標ビットレートCTBRを算出する。そのため、各ピクチャのビット量の差異により、各ピクチャの量子化スケールMBQが大幅に変動することを回避できる。
また、符号化装置2によれば、復号部4の処理負担の均一化できる。これにより、復号後の画質を向上できる。
また、符号化装置2によれば、上記式(8)に示すように、PicQ制御回路16がフィードバックにより、量子化スケールQPicを算出する。これによっても、量子化スケールQPicの時間的な急激な変動を抑えることができる。
また、符号化装置2によれば、上記式(6)内のKpを調整することにより、量子化スケールの急激な変動を抑制することができる。これによっても、復号部4の処理負担の均一化できる。これにより、復号後の画質を向上できる。
Claims (10)
- 被処理データを量子化して符号化する場合に、前記量子化の量子化スケールを決定するデータ処理装置であって、
前記符号化により得られた符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する特定回路と、
前記符号化データを基に、前記符号化データの復号側に設けられ復号に供するために前記符号化データを記憶する記憶回路のデータ蓄積量を特定するための指標となる指標データを生成する指標生成回路と、
前記ビットレートの目標値を示す目標ビットレートを算出する目標算出回路であって、前記指標生成回路が生成した前記指標データが、所定の量からなる前記記憶回路の適正なデータ蓄積量よりも大きいときは前記算出すべき目標ビットレートが上がるように調整し、当該所定の量からなる記憶回路の適正なデータ蓄積量よりも小さいときは前記算出すべき目標ビットレートが下がるように調整する目標算出回路と、
前記特定回路が特定した前記ビットレートが、前記目標算出回路が算出した前記目標ビットレートに近づくように、前記量子化スケールを制御する量子化制御回路と
を有するデータ処理装置。 - 前記特定回路は、前記復号側において前記復号に供するために前記記憶回路から読み出される前記符号化データの前記ビットレートを特定する
請求項1に記載のデータ処理装置。 - 前記特定回路は、過去の前記符号化データ内のピクチャの平均ビット量と、前記ピクチャのピクチャレートとを基に、前記符号化データのビットレートを特定する
請求項2に記載のデータ処理装置。 - 前記符号化データが動画の複数のピクチャで構成される場合に、
前記量子化制御回路は、前記複数のピクチャの前記量子化スケールを制御する
請求項1に記載のデータ処理装置。 - 前記量子化制御回路は、処理対象の前記ピクチャがシーンチェンジ後の最初の前記ピクチャでない場合に、前記特定回路が特定した前記ビットレートを基に、前記量子化スケールを制御し、
処理対象の前記ピクチャがシーンチェンジ後の最初の前記ピクチャである場合に、前記被処理データの複雑度を基に、前記量子化スケールを制御する
請求項1に記載のデータ処理装置。 - 前記量子化制御回路は、前記特定回路が特定した前記ビットレートと前記目標算出回路が算出した前記目標ビットレートとの比と、前回決定した前記量子化スケールとを基に、新たな前記量子化スケールを決定して前記制御を行う
請求項1に記載のデータ処理装置。 - 被処理データを量子化して符号化する場合に、前記量子化の量子化スケールを決定するデータ処理方法であって、
前記符号化により得られた符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する第1の工程と、
前記符号化データを基に、前記符号化データの復号側に設けられ復号に供するために前記符号化データを記憶する記憶回路のデータ蓄積量を特定するための指標となる指標データを生成する第2の工程と、
前記ビットレートの目標値を示す目標ビットレートを算出する工程であって、前記第2の工程で生成した前記指標データが、所定の量からなる前記記憶回路の適正なデータ蓄積量よりも大きいときは前記算出すべき目標ビットレートが上がるように調整し、当該所定の量からなる記憶回路の適正なデータ蓄積量よりも小さいときは前記算出すべき目標ビットレートが下がるように調整する第3の工程と、
前記第1の工程で特定した前記ビットレートが、前記第3の工程で算出した前記目標ビットレートに近づくように、前記量子化スケールを制御する第4の工程と
を有するデータ処理方法。 - 量子化スケールを算出する量子化スケール算出回路と、
前記量子化スケール算出回路が算出した前記量子化スケールを基に、被処理データを量子化する量子化回路と、
前記量子化回路の量子化結果を符号化して符号化データを生成する符号化回路と
を有し、
前記量子化スケール算出回路は、
前記符号化回路が生成した前記符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する特定回路と、
前記符号化データを基に、前記符号化データの復号側に設けられ復号に供するために前記符号化データを記憶する記憶回路のデータ蓄積量を特定するための指標となる指標データを生成する指標生成回路と、
前記ビットレートの目標値を示す目標ビットレートを算出する目標算出回路であって、前記指標生成回路が生成した前記指標データが、所定の量からなる前記記憶回路の適正なデータ蓄積量よりも大きいときは前記算出すべき目標ビットレートが上がるように調整し、当該所定の量からなる記憶回路の適正なデータ蓄積量よりも小さいときは前記算出すべき目標ビットレートが下がるように調整する目標算出回路と、
前記特定回路が特定した前記ビットレートが、前記目標算出回路が算出した前記目標ビットレートに近づくように、前記量子化スケールを制御する量子化制御回路と
を有する符号化装置。 - 量子化スケールを算出し、前記算出した前記量子化スケールを基に、被処理データを量子化し、前記量子化結果を符号化して符号化データを生成する符号化方法であって、
前記符号化により得られた符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する第1の工程と、
前記符号化データを基に、前記符号化データの復号側に設けられ復号に供するために前記符号化データを記憶する記憶回路のデータ蓄積量を特定するための指標となる指標データを生成する第2の工程と、
前記ビットレートの目標値を示す目標ビットレートを算出する工程であって、前記第2の工程で生成した前記指標データが、所定の量からなる前記記憶回路の適正なデータ蓄積量よりも大きいときは前記算出すべき目標ビットレートが上がるように調整し、当該所定の量からなる記憶回路の適正なデータ蓄積量よりも小さいときは前記算出すべき目標ビットレートが下がるように調整する第3の工程と、
前記第1の工程で特定した前記ビットレートが、前記第3の工程で算出した前記目標ビットレートに近づくように、前記量子化スケールを制御する第4の工程と
を有する符号化方法。 - 量子化スケールを算出する量子化スケール算出回路と、前記量子化スケール算出回路が算出した前記量子化スケールを基に、被処理データを量子化する量子化回路と、前記量子化回路の量子化結果を符号化して符号化データを生成する符号化回路とを有する符号化装置に実行させるプログラムであって、
前記符号化により得られた符号化データを基に、当該符号化データが復号時に復号に供されるビットレートを特定する第1の手順と、
前記符号化データを基に、前記符号化データの復号側に設けられ復号に供するために前記符号化データを記憶する記憶回路のデータ蓄積量を特定するための指標となる指標データを生成する第2の手順と、
前記ビットレートの目標値を示す目標ビットレートを算出する手順であって、前記第2の手順で生成した前記指標データが、所定の量からなる前記記憶回路の適正なデータ蓄積量よりも大きいときは前記算出すべき目標ビットレートが上がるように調整し、当該所定の量からなる記憶回路の適正なデータ蓄積量よりも小さいときは前記算出すべき目標ビットレートが下がるように調整する第3の手順と、
前記第1の手順で特定した前記ビットレートが、前記第3の手順で算出した前記目標ビットレートに近づくように、前記量子化スケールを制御する第4の手順と
を前記量子化スケール算出回路に実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003388259A JP4407249B2 (ja) | 2003-11-18 | 2003-11-18 | データ処理装置およびその方法と符号化装置、その方法及びプログラム |
US10/989,709 US7801214B2 (en) | 2003-11-18 | 2004-11-16 | Method and apparatus for controlling encoding rate and quantization scales |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003388259A JP4407249B2 (ja) | 2003-11-18 | 2003-11-18 | データ処理装置およびその方法と符号化装置、その方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005151344A JP2005151344A (ja) | 2005-06-09 |
JP4407249B2 true JP4407249B2 (ja) | 2010-02-03 |
Family
ID=34649758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003388259A Expired - Fee Related JP4407249B2 (ja) | 2003-11-18 | 2003-11-18 | データ処理装置およびその方法と符号化装置、その方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7801214B2 (ja) |
JP (1) | JP4407249B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005311559A (ja) * | 2004-04-20 | 2005-11-04 | Sony Corp | データ処理装置およびその方法と符号化装置 |
JP2006313950A (ja) * | 2005-05-06 | 2006-11-16 | Hitachi Ltd | 画像符号化装置、及び画像符号化方法 |
JP4517963B2 (ja) * | 2005-07-15 | 2010-08-04 | ソニー株式会社 | 符号化装置、符号化方法、プログラムおよび記録媒体 |
KR100724134B1 (ko) * | 2006-01-09 | 2007-06-04 | 삼성전자주식회사 | 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치 |
WO2011142279A1 (ja) | 2010-05-13 | 2011-11-17 | シャープ株式会社 | 符号化装置、復号装置、およびデータ構造 |
US9591302B2 (en) | 2012-07-02 | 2017-03-07 | Microsoft Technology Licensing, Llc | Use of chroma quantization parameter offsets in deblocking |
US9414054B2 (en) | 2012-07-02 | 2016-08-09 | Microsoft Technology Licensing, Llc | Control and use of chroma quantization parameter values |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04255190A (ja) | 1991-02-07 | 1992-09-10 | Hitachi Ltd | 画像データ圧縮装置 |
JPH1075452A (ja) | 1996-08-30 | 1998-03-17 | Sony Corp | 映像データ圧縮装置およびその方法 |
US6094455A (en) * | 1996-09-25 | 2000-07-25 | Matsushita Electric Industrial Co., Ltd. | Image compression/encoding apparatus and system with quantization width control based on bit generation error |
US5751378A (en) * | 1996-09-27 | 1998-05-12 | General Instrument Corporation | Scene change detector for digital video |
JPH10164588A (ja) | 1996-11-26 | 1998-06-19 | Sony Corp | 映像信号符号化方法、映像信号符号化装置及び記録媒体 |
US6961375B1 (en) * | 1997-02-06 | 2005-11-01 | Sony Corporation | Picture coding device and method, picture transmitting device and method and recording medium |
JP2000152228A (ja) | 1998-11-11 | 2000-05-30 | Sony Corp | 高能率符号化装置 |
-
2003
- 2003-11-18 JP JP2003388259A patent/JP4407249B2/ja not_active Expired - Fee Related
-
2004
- 2004-11-16 US US10/989,709 patent/US7801214B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005151344A (ja) | 2005-06-09 |
US20050129112A1 (en) | 2005-06-16 |
US7801214B2 (en) | 2010-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7792193B2 (en) | Image encoding/decoding method and apparatus therefor | |
US7292632B2 (en) | Method and apparatus for transforming moving picture coding system | |
KR101518358B1 (ko) | 비디오 코딩에서 프레임 복잡성, 버퍼 레벨 및 인트라 프레임들의 위치를 이용하는 버퍼 기반의 비율 제어 | |
JP4247680B2 (ja) | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 | |
JP5472105B2 (ja) | 画像処理装置及び画像処理方法 | |
US20070025441A1 (en) | Method, module, device and system for rate control provision for video encoders capable of variable bit rate encoding | |
JP2002514023A (ja) | 圧縮映像のブリージングアーチファクトを低減する方法および装置 | |
KR101282193B1 (ko) | 칼만 필터와 fir 필터를 사용한 동영상 인코더에서의 비트율 제어 방법 | |
WO2006098226A1 (ja) | 符号化装置および符号化装置を備えた動画像記録システム | |
JP2001145113A (ja) | 画像情報変換装置及び方法 | |
KR20050074286A (ko) | 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화프로그램 | |
JP2012034213A (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
US20050243917A1 (en) | H.263/MPEG video encoder using average histogram difference and method for controlling the same | |
KR20050024732A (ko) | 효율적인 비트율 제어를 위한 h.263/mpeg 비디오인코더 및 그 제어 방법 | |
JP4561508B2 (ja) | 画像処理装置、画像処理方法およびそのプログラム | |
JP4407249B2 (ja) | データ処理装置およびその方法と符号化装置、その方法及びプログラム | |
KR100708182B1 (ko) | 동영상 부호화기의 비트율 제어 장치 및 방법 | |
JP4747494B2 (ja) | データ処理装置およびその方法と符号化装置 | |
JP4736619B2 (ja) | 画像処理装置および画像処理方法 | |
KR20040007818A (ko) | 동영상 부호화를 위한 dct연산량 조절 방법 및 그 장치 | |
JP4277530B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
KR20060132761A (ko) | 데이터 처리 장치 및 그 방법과 부호화 장치 | |
JP2001148852A (ja) | 画像情報変換装置及び画像情報変換方法 | |
JP4517963B2 (ja) | 符号化装置、符号化方法、プログラムおよび記録媒体 | |
JP3922581B2 (ja) | 可変転送レート符号化方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091020 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091102 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |