JP5132390B2 - 動画像符号化装置及びその制御方法、コンピュータプログラム - Google Patents

動画像符号化装置及びその制御方法、コンピュータプログラム Download PDF

Info

Publication number
JP5132390B2
JP5132390B2 JP2008088260A JP2008088260A JP5132390B2 JP 5132390 B2 JP5132390 B2 JP 5132390B2 JP 2008088260 A JP2008088260 A JP 2008088260A JP 2008088260 A JP2008088260 A JP 2008088260A JP 5132390 B2 JP5132390 B2 JP 5132390B2
Authority
JP
Japan
Prior art keywords
quantization
parameter
code amount
target code
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008088260A
Other languages
English (en)
Other versions
JP2009246513A (ja
Inventor
雅司 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008088260A priority Critical patent/JP5132390B2/ja
Publication of JP2009246513A publication Critical patent/JP2009246513A/ja
Application granted granted Critical
Publication of JP5132390B2 publication Critical patent/JP5132390B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像符号化装置及びその制御方法、コンピュータプログラムに関する。
近年、ディジタル信号処理、LSIの高集積化、高速化などの進歩により、動画像や静止画像、音声等、大量のディジタル情報を高能率符号化し、記録媒体への記録及び通信媒体による伝送を行うことが可能になってきている。このような技術を応用し、テレビ放送や、ディジタルビデオカメラの映像をストリームに変換できる動画像符号化装置の開発が行われている。
画像符号化の規格として近年、MPEGやITU−Tによって策定された H.264等が注目されている。これらの画像符号化の処理は、原画像(画像)をブロックと呼ばれる所定の領域に分割し、この分割したブロックを単位にして動き補償予測や直交変換処理や量子化処理を施すものである。
H.264方式の圧縮手順の内容については標準規格書に詳しく開示されているので詳しい説明は省略する。また、H.264の圧縮手順について開示したその他の先行文献も存在する(例えば、特許文献1参照)。
このような動画像符号化装置で生成される符号量は、画像自体の特性である空間周波数特性やシーン及び量子化スケール値(量子化ステップ値)に応じて大きく異なる場合が多い。このような符号化特性を有する動画像符号化装置を実現する上で良好な画質の復号画像を得ることができるようにするための重要な技術が符号量制御である。
この符号量制御アルゴリズムの1つとして、TM5(Test Model 5)が一般的に使用されている。このTM5による符号量制御アルゴリズムは、以下に説明する3つのステップから構成され、GOP(Group Of Picture)毎にビットレートが一定になるように以下に挙げる3ステップで符号量が制御される。
[STEP1]
今から符号化を行うピクチャの目標符号量を決定する。現在のGOPにおいて利用可能な符号量であるRgopが以下の(1)式により演算される。
Rgop = (ni+np+nb)*(bits_rate/picture_rate) ・・・(1)
ここで、ni,np,nbはそれぞれI、P、Bピクチャの現GOPにおける残りのピクチャ数であり、bits_rateは目標ビットレート、picture_rateはピクチャレートを表す。 更に、I、P、Bピクチャ毎に符号化結果からピクチャの複雑度を以下の(2)式で求めている。
Xi = Ri*Qi
Xp = Rp*Qp ・・・(2)
Xb = Rb*Qb
ここで、Xi、Xp、Xbはコンプレキシティ(Complexity)とも呼ばれる。また、Ri、Rp及びRbはそれぞれI、P、Bピクチャを符号化した結果得られる符号量である。さらに、Qi、Qp及びQbはそれぞれI、P、Bピクチャ内のすべてのマクロブロックにおける量子化スケールの平均値である。式(1)及び式(2)から、I、P、Bピクチャそれぞれについての目標符号量Ti、Tp及びTbは、以下の(3)式で求めることができる。
Ti= max{(Rgop/(1+ ((Np*Xp)/(Xi*Kp)) + ((Nb*Xb)/(Xi*Kb)))) , (bit_rate/(8*picture_rate))}
Tp=max{(Rgop/(Np+ (Nb*Kp*Xb)/(Kb*Xp))) , (bit_rate/(8*picture_rate))} ・・・(3)
Tb=max{(Rgop/(Nb+ (Np*Kb*Xp)/(Kp*Xb))) , (bit_rate/(8*picture_rate))}
ただし、Np及びNbは現GOP内のそれぞれP及びBピクチャの残りの枚数、また定数Kp=1.0及びKb=1.4である。
[STEP2]
I、P及びBピクチャ毎に3つの仮想バッファを使用し、式(3)で求めた目標符号量と発生符号量との差分を管理する。仮想バッファのデータ蓄積量をフィードバックし、そのデータ蓄積量に基づいて実際の発生符号量が目標符号量に近づくように、次に符号化するマクロブロックについて、量子化スケール(量子化ステップ)の参照値が設定される。
例えば、現在のピクチャタイプがPピクチャの場合には、目標符号量と発生符号量との差分は、次の(4)式に従う演算処理により求めることができる。
dp,j = dp,0 + Bp,j-1 −((Tp*(j-1))/MB_cnt) ・・・(4)
ここで、添字jはピクチャ内のマクロブロックの番号であり、dp,0は仮想バッファの初期フルネスを示し、Bp,jはj番目のマクロブロックまでの総符号量、MB_cntはピクチャ内のマクロブロック数を示す。
次にdp,j(以後、「dj」と記載する。) を用いて、j番目のマクロブロックにおける量子化スケールの参照値を求めると、(5)式のようになる。
Qj = (dj*31) / r ・・・(5)
ここで、r = 2*bits_rate/picture_rate ・・・(6)
である。rは、reaction parameter(反応パラメータ)と呼ばれる。
[STEP3]
視覚特性、即ち、復号画像の画質が良好になるように、符号化対象のマクロブロックの空間アクティビティに基づいて、量子化スケールを最終的に決定する処理を実行する。
ACTj = 1+ min(vblk1, vblk2,……,vblk8) ・・・(7)
(7)式中において、vblk1〜vblk4はフレーム構造のマクロブロックにおける8x8のサブブロックにおける空間アクティビティを示す。また、vblk5〜vblk8はフィールド構造のマクロブロックにおける8x8サブブロックの空間アクティビティを示す。ここで、空間アクティビチィの演算は次の(8)、(9)式により求めることが可能である。
vblk = Σ(Pi−Pbar)2 ・・・(8)
Pbar = (1/64 )* ΣPi ・・・(9)
ここで、Piはi番目のマクロブロックにおける画素値であり、式(8)、(9)中のΣはi=1〜64の演算である。次に(7)式で求めたACTjを以下の(10)式によって正規化を行う。
N_ACTj = (2*ACTj +AVG_ACT)/ (ACTj + AVG_ACT) ・・・(10)
ここで、AVG_ACTは以前に符号化したピクチャにおけるACTjの参照値であり、最終的に量子化スケール(量子化ステップ)MQUANTjは以下の(11)式により求められる。 MQUANTj = Qj * N_ACTj ・・・(11)
以上のTM5のアルゴリズムによれば、STEP1の処理によりIピクチャに対して多くの符号量を割り当ており、更にピクチャ内においては視覚的に劣化の目立ちやすい平坦部(空間アクティビティが低い)に符号量が多く配分されるようになる。
また、MPEG等の規格を用いた動画像符号化装置では、符号化された画像データを復号する画像復号化装置の持つ入力バッファの容量を破綻させないことを検証するために、画像復号化装置側の入力バッファを動画像符号化装置側から仮想的に考えた復号化保証用バッファを想定する。すなわちMPEGでは、VBV(Video Buffering Verifier)バッファ、H.264ではCPB(Coded Picture Buffer)を想定する。そして、このバッファのデータ占有量が許容値をオーバーフローまたはアンダーフローすなわち破綻しないように、動画像符号化装置における符号化データの発生量を制御している。
図3を用いてVBVバッファの説明を行う。図3は、縦軸にVBVバッファの占有量を示し、横軸は、時間を示している。図3の300がバッファの最大値を示している。一方301はバッファの最小値を示している。線分302の傾きはビットレートを示し、該線分の位置はVBVバッファにおけるデータ占有量を示している。
また時刻ti、tb1、tb2、tpでは1ピクチャ分のデータがVBVバッファから読み出されたことにより、VBVバッファのデータ占有量が減少していることを示している。時刻tiでは、Iピクチャが、時刻tb1及びtb2ではBピクチャが時刻tpでは、Pピクチャが読み出されていることを示している。
バッファの占有量が最大値300を超えた場合は、オーバーフロー、逆にバッファの占有量が最小値301を下回った場合はアンダーフローと呼び、これらの現象が起きたときVBVバッファが破綻したことになる。
時刻303は、所定のデータ占有量の範囲を超えるデータをもったピクチャがVBVバッファから読み出され、VBVバッファにアンダーフローが発生した場合を示している。上述したように目標符号量を定め、VBVバッファが破綻しないように制御しているが、ピクチャの複雑さや、動きの激しさによって実際の発生符号量が目標符号量を上回った場合にアンダーフローを起こす場合がある。アンダーフローが起きると、該ピクチャを復号するためのデータが不足するので画像を復号できないことを意味する。
このようにVBVバッファが破綻し、復号できない状態を回避するための破綻回避策として、たとえば、VBVバッファの占有量を見て破綻する可能性がある場合には、残りのブロックを全てスキップブロックにして発生符号量を抑える方法がある。
この状況を図4を用いて説明する。図4の縦軸はあるピクチャの発生符号量を示している。横軸は、該ピクチャ内に含まれるマクロブロックの数を示している。400は、該ピクチャの目標符号量を示している。
401は該ピクチャの総マクロブロック数である。即ち、全てのマクロブロックを符号化した時に、発生符号量が目標符号量400に近づくように制御しながら動画像符号化装置は符号化を行っている。402は、該ピクチャに割り当てられた目標符号量をマクロブロック単位に振り分けた場合の、積算値を表している。画柄の複雑さに応じてマクロブロック毎に割り当てられる目標符号量が異なるためこのような直線にはならないが、説明を簡単にするため直線で示している。
403は、符号化がピクチャ内の最後のマクロブロックを符号化する前に発生符号量が目標符号量を大きく上回り、かつVBVバッファのアンダーフロー限界値との差分が小さくなったマクロブロックを示している。このとき、VBVバッファを破綻させないように破綻回避処理が実行され、残りのマクロブロック404は全てスキップブロックになり符号量が抑えられ、VBVバッファのアンダーフローを防ぐことができる。
特開2006−217180号公報
しかしながら、従来の方法では、バッファが破綻する可能性がある場合でも、そうでない場合でも量子化パラメータの制御方法は同じであった。そのため、バッファが破綻する可能性がある場合には、例えばピクチャの中央部から右下端まで全てスキップブロックになるといった現象が起こることがあった。破綻は回避できるが、ピクチャの大部分がスキップブロックになり、画質が著しく劣化するという問題があった。
そこで本発明では、バッファが破綻する可能性があり破綻回避処理が起こりやすい場合に、ピクチャ全体の発生符号量を該ピクチャの目標符号量近傍に収めて該ピクチャの符号化を終了可能とすることを目的とする。
上記課題を解決するための、一つの側面に対応する本発明は、動画像符号化装置であって、
入力画像データを量子化パラメータに基づき量子化する量子化手段と、
前記量子化手段による量子化結果をエントロピー符号化し、符号化データを生成する符号化手段と、
前記符号化データを記憶するバッファ手段と、
前記バッファ手段の占有量を監視する監視手段と、
前記符号化手段における目標符号量と発生符号量との差分と、反応パラメータとに基づき前記量子化パラメータを決定して、前記量子化手段を制御する制御手段と
を備え、
前記監視手段は、前記占有量に基づいて、前記反応パラメータの指定を含む制御信号を前記制御手段に出力し、
前記制御手段は、前記制御信号に含まれる前記反応パラメータの指定に従い、前記量子化パラメータを決定し
前記監視手段は、前記占有量が前記バッファ手段の容量に対して所定の割合を有する場合に、前記量子化パラメータの前記差分の変化に対する感度を低下させるために、前記反応パラメータを第1の反応パラメータに指定する前記制御信号を、前記制御手段に出力するか、或いは、
前記監視手段は、前記占有量が第1の閾値以下の値を有する場合に、前記量子化パラメータの前記差分の変化に対する感度を上昇させるために、前記反応パラメータを第2の反応パラメータに指定する前記制御信号を、前記制御手段に出力することを特徴とする。
上記課題を解決するための、他の側面に対応する本発明は、動画像符号化装置であって、
入力画像データを量子化パラメータに基づき量子化する量子化手段と、
前記量子化手段による量子化結果をエントロピー符号化し、符号化データを生成する符号化手段と、
前記符号化データを記憶するバッファ手段と、
前記バッファ手段の占有量を監視する監視手段と、
前記占有量に基づき前記符号化手段において生成される前記符号化データの目標符号量を生成する目標符号量生成手段と、
前記目標符号量と前記符号化手段における発生符号量との差分と、反応パラメータとに基づき前記量子化パラメータを決定して、前記量子化手段を制御する制御手段と
を備え、
前記目標符号量生成手段は、前記占有量と前記目標符号量との少なくともいずれかに基づいて、前記反応パラメータの指定を含む制御信号を前記制御手段に出力し、
前記制御手段は、前記制御信号に含まれる前記反応パラメータの指定に従い、前記量子化パラメータを決定し、
前記目標符号量生成手段は、前記目標符号量と第2の閾値とを比較し、前記目標符号量が前記第2の閾値以下の場合には、前記量子化パラメータの前記差分の変化に対する感度を低下させるために、前記反応パラメータを第1の反応パラメータに指定する前記制御信号を前記制御手段に出力し、前記目標符号量が前記第2の閾値より大きい場合には、前記量子化パラメータの前記差分の変化に対する感度を上昇させるために、前記反応パラメータを第2の反応パラメータに指定する前記制御信号を前記制御手段に出力するか、或いは、
前記目標符号量生成手段は、前記占有量と前記目標符号量とに基づき、前記符号化手段における発生符号量が前記目標符号量を上回った場合に、前記バッファ手段がアンダーフローする可能性があるか否かを判定し、前記アンダーフローの可能性があると判定した場合には、前記量子化パラメータの前記差分の変化に対する感度を上昇させるために、前記反応パラメータを第2の反応パラメータに指定する前記制御信号を前記制御手段に出力することを特徴とする。
本発明によれば、バッファが破綻する可能性があり破綻回避処理が起こりやすい場合に、ピクチャ全体の発生符号量を該ピクチャの目標符号量近傍に収めて該ピクチャの符号化を終了させることができる。これにより、バッファを破綻させることなく、VBVバッファの破綻回避処理の実行タイミングを遅らせる、もしくはバッファの破綻回避処理の実行を抑え、画像の著しい劣化を防止することができる。
以下、発明の実施形態を添付図面を参照して説明する。
[第1の実施形態]
図1は発明の第1の実施形態に対応する動画像符号化装置の概略的な構成を示す図である。動画像符号化装置10は、量子化部100、エントロピー符号化部101、バッファ部102、バッファ監視部103、量子化制御部104とを含む。なお、図1に示す動画像符号化装置10の構成は、本願発明の説明のために必要な最低限の構成要素を示したものであって、動画像符号化装置10は図1に示す以外に他の構成要素、例えば、直交変換処理を行う直交変換部等を含んで構成することができる。
動画像符号化装置10において、量子化部100は、入力画像データを量子化する。エントロピー符号化部101は、量子化部100での量子化結果の画像データをエントロピー符号化する。バッファ部102は符号化された画像データを蓄積する。バッファ監視部103は、バッファ部102の占有量を監視する。量子化制御部104は、エントロピー符号化部101とバッファ監視部103からの信号を入力し、量子化パラメータを決定する。
量子化部100に入力されるデータD10は、例えば不図示の前段のブロックにおいて、直交変換などの処理が施されている。量子化部100は、量子化制御部104から与えられる量子化スケール値(量子化ステップ値)D17を用いて量子化を行い、量子化変換係数D11をエントロピー符号化部101に出力する。
エントロピー符号化部101には、量子化部100から入力された量子化変換係数D11のエントロピー符号化を行う。該エントロピー符号化は例えば、MPEGではVLC(Variable Length Code)の符号化方式により行うことができる。その他、H.264ではCAVLC(Context−based Adaptive VLC)やCABAC(Context−based Adptive Binary Arithmetic Coding)などがある。
エントロピー符号化された符号化データD12はバッファ部102に出力され、該バッファ部102に蓄積される。また、エントロピー符号化により生成された符号量D16の情報は、該エントロピー符号化部101から量子化制御部104に出力される。該符号量D16を主力するタイミングは、例えばマクロブロック単位でも良いし、スライス単位、ピクチャ単位でも良い。
バッファ部102は、符号化データD12を蓄積する記憶装置である。バッファ監視部103は、バッファ部102の占有量を監視し、不図示の上位ブロックから与えられた閾値と比較し、占有量が閾値を超えた場合、制御信号D15を量子化制御部104に出力する。
以下、図2を参照してバッファ監視部103の動作説明する。図2は、縦軸にバッファ部102のバッファ占有量を示している。横軸は時間を示している。点線200は、バッファ部102の容量の最大値を示している。点線201はバッファ監視部103に与えられるバッファの占有量の第1の閾値を示している。
折れ線203は、バッファ占有量の値を示しており、右斜め上方向の傾きはビットレートに対応する。また、時刻t22で示すようなバッファ占有量が定期的に落ち込んでいる箇所は、バッファに格納された符号化データがデコーダにより読み出されたことを示している。このデコーダによる読み出しは、所定のタイミングにより定期的に行われることとなっている。
時刻t21は、例えば、比較的符号量が多いIピクチャの符号化データを該バッファ部に蓄積し終えた時刻を示している。バッファ監視部103は、バッファ部102のバッファ占有量が多いか否かを判定する。このときの判定基準は、例えば、バッファ占有量が、バッファ部102の容量に対して所定の割合以上を有するか否かに基づくことができる。当該所定の割合としては、例えば、最大値200の5割とすることができる。なお、ここで示す割合は、一例であって例えば6割、7割、或いはそれ以上であっても良い。当該判定基準によれば、時刻t21における該バッファの占有量が多いと判定される。このように該バッファ監視部103が、該バッファ部の占有量が多いと判定した場合には、量子化制御部104に対して、制御感度を低くするための第1の制御命令を含む制御信号D15を出力する。具体的に、後述する第1の反応パラメータr1の指定を含む制御信号D15を出力する。
これにより、制御感度が低下し(第1の制御感度)発生符号量が増加するので、バッファからの読み出しデータ量が多くなって結果としてバッファの占有量が減少することとなる。よって、オーバーフローを防止することができる。
ここで、制御感度とは、発生符号量と目標符号量との差分の変化に対する量子化パラメータの感度のことをいう。即ち、制御感度が低いとは、差分の変化に対して量子化パラメータが変化しにくく、差分が小さい状態では量子化パラメータが変化しづらいことを意味する。この場合、量子化パラメータは小さいままであるので、発生符号量は増える方向に働くこととなる。一方、制御感度が高いとは、差分の変化に対して量子化パラメータが変化し易く、差分が小さい状態でも量子化パラメータが変化することを意味する。この場合、量子化パラメータが大きくなりやすいので、発生符号量は減る方向に働くこととなる。
次に、時刻t23は、あるピクチャ全ての符号化データが該バッファに蓄積された時刻である。その時刻t23の時に、該バッファの占有量が該第1の閾値以下の値となっている。バッファの占有量が下がってきていると言うことは、次に符号化するピクチャの発生符号量が大きかった場合(例えば、Iピクチャの場合)に、符号化データの蓄積が読み出しのタイミングに間に合わなければ、アンダーフローが発生することとなる。そこで、バッファ監視部103はバッファ部102の占有量が該閾値以下になった場合は、アンダーフローする可能性があると認識し、量子化制御部104に対して、制御感度を上昇させるための第2の制御命令を含む制御信号D15を出力する。具体的に、後述する第2の反応パラメータr2の指定を含む制御信号D15を出力する。
これにより、制御感度が高まり(第2の制御感度)発生符号量が減少するので、符号化データ読み出しのタイミングでは、読み出すべき符号化データがバッファに蓄積されているので、アンダーフローを防ぐことができる。
量子化制御部104には、エントロピー符号化部101から符号量が入力され、バッファ監視部103から制御信号D15が入力される。量子化制御部104は、入力される制御信号D15に応じて、制御感度を変化させる。量子化制御部104が設定する制御感度の違いによる発生符号量の違いを図5を用いて説明する。
図5(a)は、第1の制御感度におけるマクロブロック毎の目標符号量と発生符号量の関係を示している。図5(b)は、第1の制御感度よりも高い第2の制御感度におけるマクロブロック毎の目標符号量と発生符号量の関係を示している。500及び503は、符号化中のピクチャに割り当てられた目標符号量をマクロブロック単位に振り分けた場合の、積算値を表している。501及び504は発生符号量を示している。502及び505は、該目標符号量と該発生符号量との差分値を示している。
図5(a)に示すように、第1の制御感度では、目標符号量と発生符号量との差分値が所定の差分値502と一致した場合に、量子化スケール値(量子化ステップ値)が大きくなるように量子化パラメータを変化させている。これにより発生符号量が抑えられ、目標符号量との差分が小さくなるように制御が行われる。
これに対して図5(b)に示すように、第2の制御感度では、目標符号量と発生符号量との差分値が所定の差分値505と一致した場合に、量子化スケール値(量子化ステップ値)が大きくなるように量子化パラメータを変化させている。制御感度を高めた場合、差分値505は差分値502よりも小さくなる。よって、量子化パラメータの変化する頻度は、図5(a)の場合と比べて高くなる。
制御感度は、例えば再度以下に引用する(5)式の反応パラメータ(reaction parameter)rを変化させることにより変更することができる。
Qj = (dj*31) / r ・・・(5)
ここで、Qjは、量子化スケール値、djは目標符号量と発生符号量との差分値、rは反応パラメータである。この(5)式によれば、rの値を大きくしたり、小さくしたりすることにより、量子化スケール値の値を制御することができる。例えば、第1の制御感度においてはrを第1の反応パラメータr1とし、第2の制御感度においてはrを第2の反応パラメータr2とする。このとき、r1>r2の関係が成立する。
このような反応パラメータの関係によれば、第1の制御感度と第2の制御感度では、同一の差分値であっても演算により得られる量子化スケール値が異なり、第1の制御感度の方が、第2の制御感度よりも量子化スケール値が小さくなる。このことは、第1の制御感度の場合は、第2の制御感度の場合よりも発生符号量が増えることを意味する。
このようにして制御感度を高めたい場合には、反応パラメータrの値を小さく(r1→r2)すればよい。これにより、差分値505(フルネスdj)が差分値502よりも小さい値でも量子化パラメータを変化させることが可能である。
以上の制御を行うことで、VBVバッファが破綻する可能性がある場合、符号化中のピクチャの発生符号量を目標符号量に近づけることができるので破綻回避処理を実行させる必要が低減され、VBVバッファの破綻も防止できる。
以上図1、図5に示したブロック図及び、制御方法に従った処理を実行することにより、破綻回避処理を低減することができ、破綻回避処理が実行された場合でも画像の著しい劣化を防止することが可能になる。
[第2の実施形態]
次に、発明の第2の実施形態を説明する。図6は、発明の第2の実施形態に対応する動画像符号化装置の概略的な構成を示す図である。
動画像符号化装置60は、量子化部600、エントロピー符号化部601、バッファ部602、バッファ監視部603、目標符号量生成部604、量子化制御部605とを含む。なお、図6に示す動画像符号化装置60の構成は、本願発明の説明のために必要な最低限の構成要素を示したものであって、動画像符号化装置60は図6に示す以外に他の構成要素、例えば、直交変換処理を行う直交変換部等を含んで構成することができる。
なお、量子化部600、エントロピー符号化部601及びバッファ部602は、第1の実施形態における量子化部100、エントロピー符号化部101及びバッファ部102と同様の動作を行うのでここでは詳細な説明は省略する。
バッファ監視部603は、バッファ部602の占有量を監視する。監視するタイミングはマクロブロック単位やピクチャ単位である。該占有量D60を目標符号量生成部604に入力する。
目標符号量生成部604は、次に符号化するピクチャの目標符号量を決定する。該目標符号量の決定方法は、上述したTM5(Test Model 5)と同じ方法で決定しても良い。該目標符号量生成部604で決定したピクチャの目標符号量D61は量子化制御部605に入力される。
量子化制御部605には、目標符号量生成部604から、次に符号化するピクチャの目標符号量D61が入力され、エントロピー符号化部601で符号化した結果生ずる発生符号量が該目標符号量に近づくように量子化パラメータを決定する。決定された量子化パラメータD62は量子化部600に出力される。
以下、図7を参照して、量子化制御部605における制御を説明する。図7の縦軸はバッファ部602の占有量を示している。横軸は時間を示している。以下では、Iピクチャの符号化を行う場合を例として説明する。
時刻t71は、Iピクチャ処理を開始する時点である。この時点において量子化制御部605には、目標符号量生成部604よりIピクチャの目標符号量D61と、バッファ占有量D60の情報が提供される。
目標符号量生成部604より通知された占有量D60に対応する値が図7の点701で示される値に対応する。占有量の値701を「Br」とする。また、目標符号量D61は太線707で示す長さに相当し、この時の目標符号量の値707を「Dt」とする。処理対象のIピクチャは時刻t71で処理が開始され、点線702、703で示すようにバッファ部602に符号化データが格納される。格納完了時のバッファ占有量は点704に示す通りであり、時刻t73でそこから目標符号量Dtが読み出されることとなる。
なお、時刻t72において、Iピクチャ以前に処理された他のピクチャ(例えば、Bピクチャ)の符号化データがバッファ部602から読み出される。なお、このとき読み出されるデータ量706は、エントロピー符号化部601から既に量子化制御部605に対して通知(D63)されているので、既知である。ここでは、この読み出しデータのデータ量706を「Db」とする。また、バッファ部602への書込速度を「Ws」とする。
以上によれば、時刻t73において、目標符号量に相当する符号化データがバッファ部602から削除された後のバッファの占有量705の値Bdは、以下のように求めることができる。
Bd=Br+Bs×(t73−t71)−(Db+Dt)
本実施形態では、Bdの大きさに基づいて、制御感度を変化させることができる。例えば、Bdがバッファの占有量の最小値に近い値を有する場合には、実際の発生符号量が目標符号量を上回った場合にアンダーフローを起こす可能性が高い。そこで、このような場合は、該制御感度を第2の制御感度とし、図5に示した制御を行うことでバッファの破綻を防止する。例えば、制御感度は上述した反応パラメータrをr2として、発生符号量を抑える方向に制御を行う。
なお、Bdがアンダーフローを引き起こす程に低い値か否かは、例えば、予め定めておいた一定値との比較により判定することができる。即ち、Bdの値が一定値以下の場合には、アンダーフローを引き起こす可能性があるとして、制御感度を第2の制御感度とする。また、Bdの値が一定値より大きい場合には、制御感度を第1の制御感度とする。
また、その他にも、目標符号量D61の値自体を所定の第2の閾値と比較し、比較結果に応じて制御感度を設定しても良い。例えば、目標符号量D61が第2の閾値よりも大きい場合には、制御感度を高くして第2の制御感度とすることができる。これにより、発生符号量が目標符号量を上回って更に大きい値になることを防止して、バッファーの破綻を防止することができる。また、目標符号量D61が第2の閾値以下の場合には、制御感度を低下させて第1の制御感度とすることができる。
なお、第1の実施形態と同様に、バッファ部602の占有量の値に基づいて、制御感度を変更しても良い。
以上、図6、図7に示したブロック図及び、制御方法に従った処理を実行することにより、破綻回避処理を低減することができ、破綻回避処理が実行された場合でも画像の著しい劣化を防止することが可能になる。
このような制御を行うことで、VBVバッファが破綻する可能性がある場合、符号化中のピクチャの発生符号量を目標符号量に近づけることができるので、破綻回避処理を実行させる必要が低減されVBVバッファの破綻も防止できる。
[その他の実施形態]
なお、以上の実施形態において、反応パラメータ、閾値、制御感度について、「第1の」、「第2の」との文言を利用したが、これは単に複数の概念を互いに区別するために用いたものであって、それ以上の意図はない。
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
発明の第1の実施形態に対応する動画像符号化装置の構成の一例を示すブロック図である。 発明の第1の実施形態に対応するバッファ監視部103の動作を説明するための、バッファ部102の占有量の遷移を示すグラフである。 従来のバッファの占有量の遷移を示すグラフである。 発生符号量と破綻回避処理の関係を示すグラフである。 発明の第1の実施形態に対応する量子化制御部104が設定する制御感度の違いによる発生符号量の違いを説明するための図である。 発明の第2の実施形態に対応する動画像符号化の構成の一例を示すブロック図である。 発明の第2の実施形態における量子化制御部605における制御を説明するためのグラフである。
符号の説明
100 量子化部
101 エントロピー符号化部
102 バッファ部
103 バッファ監視部
104 量子化制御部

Claims (9)

  1. 動画像符号化装置であって、
    入力画像データを量子化パラメータに基づき量子化する量子化手段と、
    前記量子化手段による量子化結果をエントロピー符号化し、符号化データを生成する符号化手段と、
    前記符号化データを記憶するバッファ手段と、
    前記バッファ手段の占有量を監視する監視手段と、
    前記符号化手段における目標符号量と発生符号量との差分と、反応パラメータとに基づき前記量子化パラメータを決定して、前記量子化手段を制御する制御手段と
    を備え、
    前記監視手段は、前記占有量に基づいて、前記反応パラメータの指定を含む制御信号を前記制御手段に出力し、
    前記制御手段は、前記制御信号に含まれる前記反応パラメータの指定に従い、前記量子化パラメータを決定し、
    前記監視手段は、前記占有量が前記バッファ手段の容量に対して所定の割合を有する場合に、前記量子化パラメータの前記差分の変化に対する感度を低下させるために、前記反応パラメータを第1の反応パラメータに指定する前記制御信号を、前記制御手段に出力することを特徴とする動画像符号化装置。
  2. 動画像符号化装置であって、
    入力画像データを量子化パラメータに基づき量子化する量子化手段と、
    前記量子化手段による量子化結果をエントロピー符号化し、符号化データを生成する符号化手段と、
    前記符号化データを記憶するバッファ手段と、
    前記バッファ手段の占有量を監視する監視手段と、
    前記符号化手段における目標符号量と発生符号量との差分と、反応パラメータとに基づき前記量子化パラメータを決定して、前記量子化手段を制御する制御手段と
    を備え、
    前記監視手段は、前記占有量に基づいて、前記反応パラメータの指定を含む制御信号を前記制御手段に出力し、
    前記制御手段は、前記制御信号に含まれる前記反応パラメータの指定に従い、前記量子化パラメータを決定し、
    前記監視手段は、前記占有量が第1の閾値以下の値を有する場合に、前記量子化パラメータの前記差分の変化に対する感度を上昇させるために、前記反応パラメータを第2の反応パラメータに指定する前記制御信号を、前記制御手段に出力することを特徴とする動画像符号化装置。
  3. 動画像符号化装置であって、
    入力画像データを量子化パラメータに基づき量子化する量子化手段と、
    前記量子化手段による量子化結果をエントロピー符号化し、符号化データを生成する符号化手段と、
    前記符号化データを記憶するバッファ手段と、
    前記バッファ手段の占有量を監視する監視手段と、
    前記占有量に基づき前記符号化手段において生成される前記符号化データの目標符号量を生成する目標符号量生成手段と、
    前記目標符号量と前記符号化手段における発生符号量との差分と、反応パラメータとに基づき前記量子化パラメータを決定して、前記量子化手段を制御する制御手段と
    を備え、
    前記目標符号量生成手段は、前記占有量と前記目標符号量との少なくともいずれかに基づいて、前記反応パラメータの指定を含む制御信号を前記制御手段に出力し、
    前記制御手段は、前記制御信号に含まれる前記反応パラメータの指定に従い、前記量子化パラメータを決定し、
    前記目標符号量生成手段は、前記目標符号量と第2の閾値とを比較し、
    前記目標符号量が前記第2の閾値以下の場合には、前記量子化パラメータの前記差分の変化に対する感度を低下させるために、前記反応パラメータを第1の反応パラメータに指定する前記制御信号を前記制御手段に出力し、
    前記目標符号量が前記第2の閾値より大きい場合には、前記量子化パラメータの前記差分の変化に対する感度を上昇させるために、前記反応パラメータを第2の反応パラメータに指定する前記制御信号を前記制御手段に出力する
    ことを特徴とする動画像符号化装置。
  4. 動画像符号化装置であって、
    入力画像データを量子化パラメータに基づき量子化する量子化手段と、
    前記量子化手段による量子化結果をエントロピー符号化し、符号化データを生成する符号化手段と、
    前記符号化データを記憶するバッファ手段と、
    前記バッファ手段の占有量を監視する監視手段と、
    前記占有量に基づき前記符号化手段において生成される前記符号化データの目標符号量を生成する目標符号量生成手段と、
    前記目標符号量と前記符号化手段における発生符号量との差分と、反応パラメータとに基づき前記量子化パラメータを決定して、前記量子化手段を制御する制御手段と
    を備え、
    前記目標符号量生成手段は、前記占有量と前記目標符号量との少なくともいずれかに基づいて、前記反応パラメータの指定を含む制御信号を前記制御手段に出力し、
    前記制御手段は、前記制御信号に含まれる前記反応パラメータの指定に従い、前記量子化パラメータを決定し、
    前記目標符号量生成手段は、前記占有量と前記目標符号量とに基づき、前記符号化手段における発生符号量が前記目標符号量を上回った場合に、前記バッファ手段がアンダーフローする可能性があるか否かを判定し、
    前記アンダーフローの可能性があると判定した場合には、前記量子化パラメータの前記差分の変化に対する感度を上昇させるために、前記反応パラメータを第2の反応パラメータに指定する前記制御信号を前記制御手段に出力する
    ことを特徴とする動画像符号化装置。
  5. 入力画像データを量子化パラメータに基づき量子化する量子化手段と、
    前記量子化手段による量子化結果をエントロピー符号化し、符号化データを生成する符号化手段と、
    前記符号化データを記憶するバッファ手段と、
    前記バッファ手段の占有量を監視する監視手段と、
    前記符号化手段における目標符号量と発生符号量との差分と、反応パラメータとに基づき前記量子化パラメータを決定して、前記量子化手段を制御する制御手段と
    を備える動画像符号化装置の制御方法であって、
    前記監視手段が、前記占有量に基づいて、前記反応パラメータの指定を含む制御信号を前記制御手段に出力する出力工程と、
    前記制御手段が、前記制御信号に含まれる前記反応パラメータの指定に従い、前記量子化パラメータを決定する決定工程と
    を備え
    前記出力工程において、前記監視手段は、前記占有量が前記バッファ手段の容量に対して所定の割合を有する場合に、前記量子化パラメータの前記差分の変化に対する感度を低下させるために、前記反応パラメータを第1の反応パラメータに指定する前記制御信号を、前記制御手段に出力することを特徴とする動画像符号化装置の制御方法。
  6. 入力画像データを量子化パラメータに基づき量子化する量子化手段と、
    前記量子化手段による量子化結果をエントロピー符号化し、符号化データを生成する符号化手段と、
    前記符号化データを記憶するバッファ手段と、
    前記バッファ手段の占有量を監視する監視手段と、
    前記符号化手段における目標符号量と発生符号量との差分と、反応パラメータとに基づき前記量子化パラメータを決定して、前記量子化手段を制御する制御手段と
    を備える動画像符号化装置の制御方法であって、
    前記監視手段が、前記占有量に基づいて、前記反応パラメータの指定を含む制御信号を前記制御手段に出力する出力工程と、
    前記制御手段が、前記制御信号に含まれる前記反応パラメータの指定に従い、前記量子化パラメータを決定する決定工程と
    を備え、
    前記出力工程において、前記監視手段は、前記占有量が第1の閾値以下の値を有する場合に、前記量子化パラメータの前記差分の変化に対する感度を上昇させるために、前記反応パラメータを第2の反応パラメータに指定する前記制御信号を、前記制御手段に出力することを特徴とする動画像符号化装置の制御方法。
  7. 入力画像データを量子化パラメータに基づき量子化する量子化手段と、
    前記量子化手段による量子化結果をエントロピー符号化し、符号化データを生成する符号化手段と、
    前記符号化データを記憶するバッファ手段と、
    前記バッファ手段の占有量を監視する監視手段と、
    前記占有量に基づき前記符号化手段において生成される前記符号化データの目標符号量を生成する目標符号量生成手段と、
    前記目標符号量と前記符号化手段における発生符号量との差分と、反応パラメータとに基づき前記量子化パラメータを決定して、前記量子化手段を制御する制御手段と
    を備える動画像符号化装置の制御方法であって、
    前記目標符号量生成手段が、前記占有量と前記目標符号量との少なくともいずれかに基づいて、前記反応パラメータの指定を含む制御信号を前記制御手段に出力する出力工程と、
    前記制御手段が、前記制御信号に含まれる前記反応パラメータの指定に従い、前記量子化パラメータを決定する決定工程と
    を備え、
    前記出力工程において、前記目標符号量生成手段は、前記目標符号量と第2の閾値とを比較し、
    前記目標符号量が前記第2の閾値以下の場合には、前記量子化パラメータの前記差分の変化に対する感度を低下させるために、前記反応パラメータを第1の反応パラメータに指定する前記制御信号を前記制御手段に出力し、
    前記目標符号量が前記第2の閾値より大きい場合には、前記量子化パラメータの前記差分の変化に対する感度を上昇させるために、前記反応パラメータを第2の反応パラメータに指定する前記制御信号を前記制御手段に出力することを特徴とする動画像符号化装置の制御方法。
  8. 入力画像データを量子化パラメータに基づき量子化する量子化手段と、
    前記量子化手段による量子化結果をエントロピー符号化し、符号化データを生成する符号化手段と、
    前記符号化データを記憶するバッファ手段と、
    前記バッファ手段の占有量を監視する監視手段と、
    前記占有量に基づき前記符号化手段において生成される前記符号化データの目標符号量を生成する目標符号量生成手段と、
    前記目標符号量と前記符号化手段における発生符号量との差分と、反応パラメータとに基づき前記量子化パラメータを決定して、前記量子化手段を制御する制御手段と
    を備える動画像符号化装置の制御方法であって、
    前記目標符号量生成手段が、前記占有量と前記目標符号量との少なくともいずれかに基づいて、前記反応パラメータの指定を含む制御信号を前記制御手段に出力する出力工程と、
    前記制御手段が、前記制御信号に含まれる前記反応パラメータの指定に従い、前記量子化パラメータを決定する決定工程と
    を備え、
    前記出力工程において、前記目標符号量生成手段は、前記占有量と前記目標符号量とに基づき、前記符号化手段における発生符号量が前記目標符号量を上回った場合に、前記バッファ手段がアンダーフローする可能性があるか否かを判定し、
    前記アンダーフローの可能性があると判定した場合には、前記量子化パラメータの前記差分の変化に対する感度を上昇させるために、前記反応パラメータを第2の反応パラメータに指定する前記制御信号を前記制御手段に出力する
    ことを特徴とする動画像符号化装置の制御方法。
  9. コンピュータを、請求項1乃至のいずれか1項に記載の動画像符号化装置として機能させるためのコンピュータプログラム。
JP2008088260A 2008-03-28 2008-03-28 動画像符号化装置及びその制御方法、コンピュータプログラム Expired - Fee Related JP5132390B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008088260A JP5132390B2 (ja) 2008-03-28 2008-03-28 動画像符号化装置及びその制御方法、コンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008088260A JP5132390B2 (ja) 2008-03-28 2008-03-28 動画像符号化装置及びその制御方法、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2009246513A JP2009246513A (ja) 2009-10-22
JP5132390B2 true JP5132390B2 (ja) 2013-01-30

Family

ID=41307980

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008088260A Expired - Fee Related JP5132390B2 (ja) 2008-03-28 2008-03-28 動画像符号化装置及びその制御方法、コンピュータプログラム

Country Status (1)

Country Link
JP (1) JP5132390B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3038066B2 (ja) * 1991-11-25 2000-05-08 オリンパス光学工業株式会社 画像符号化装置
JPH06205393A (ja) * 1993-01-08 1994-07-22 Nippon Steel Corp 動画像符号化情報発生量制御装置
JP3173369B2 (ja) * 1996-04-25 2001-06-04 松下電器産業株式会社 画像圧縮符号化装置
JPH10164588A (ja) * 1996-11-26 1998-06-19 Sony Corp 映像信号符号化方法、映像信号符号化装置及び記録媒体
JP3858520B2 (ja) * 1999-06-22 2006-12-13 日本ビクター株式会社 動画像符号化装置及びその方法
JP2006345064A (ja) * 2005-06-07 2006-12-21 Oki Electric Ind Co Ltd 符号化装置および符号化方法
JP2007020216A (ja) * 2006-09-11 2007-01-25 Sony Corp 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法

Also Published As

Publication number Publication date
JP2009246513A (ja) 2009-10-22

Similar Documents

Publication Publication Date Title
US9369720B2 (en) Image coding apparatus and image coding method
US9179149B2 (en) Video encoding control method, video encoding apparatus, and video encoding program
JP5267655B2 (ja) 画像符号化装置、画像符号化制御方法および画像符号化プログラム
JPWO2008142956A1 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
JP2005515732A (ja) 計算量制約データ圧縮における動的制御
JP3907875B2 (ja) 符号化レート制御装置及び情報符号化装置
JP4795223B2 (ja) 画像処理装置
JP4179917B2 (ja) 動画像符号化装置及び方法
JP5078852B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5111128B2 (ja) 符号化装置、符号化装置の制御方法及びコンピュータプログラム
JP5132390B2 (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム
JP4492777B2 (ja) 動画像符号化装置
US20120163449A1 (en) Image processing apparatus and method
JP2005045736A (ja) 画像信号符号化方法及び装置、符号化制御装置並びにプログラム
JP4254784B2 (ja) 動画像符号化装置、方法及びプログラム
WO2020024160A1 (zh) 视频处理设备和方法
JP4857243B2 (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
JP5006763B2 (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
JP6985899B2 (ja) 画像符号化装置及びその制御方法並びにプログラム
JP7450078B1 (ja) 映像符号化装置、および、映像符号化方法
JP5244479B2 (ja) 画像符号化装置及び画像符号化方法
JP4510696B2 (ja) 画像処理装置及び画像処理方法
JP2005080004A (ja) 動画像符号化装置
JP4293112B2 (ja) 画像符号化装置と方法
JP4343745B2 (ja) 映像符号化演算量制御方法,映像符号化演算量制御装置,映像符号化演算量制御プログラムおよびそのプログラム記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120319

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121009

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121106

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5132390

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees