JP4443940B2 - 画像符号化装置 - Google Patents
画像符号化装置 Download PDFInfo
- Publication number
- JP4443940B2 JP4443940B2 JP2004009464A JP2004009464A JP4443940B2 JP 4443940 B2 JP4443940 B2 JP 4443940B2 JP 2004009464 A JP2004009464 A JP 2004009464A JP 2004009464 A JP2004009464 A JP 2004009464A JP 4443940 B2 JP4443940 B2 JP 4443940B2
- Authority
- JP
- Japan
- Prior art keywords
- information generation
- generation amount
- gop
- image
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
したがって、画像信号の高能率符号化を実施して、その符号化データを一定速度の伝送路を通して伝送する場合や、転送速度が一定のパッケージメディアに記録・再生する場合には、その符号化データの情報発生量の平滑化が必須となる。
ただし、符号化データの情報発生量を一律に平滑化を行うと、動きの大きい画像に係る符号化データの情報発生量が必要以上に減少して表示画像が劣化する。
具体的には、画像符号化装置は、固定ビットレート(CBR:Constant Bit Rate)の符号化を実施するに際して、画像信号を構成するフレーム間の変化量や符号化特性に応じて、フレーム単位の情報発生量の目標値を設定する。
そして、各フレームの符号化データの情報発生量が目標値と一致するように、画像信号を符号化する際に実施する量子化のステップ幅を制御するようにしている(例えば、特許文献1参照)。
また、情報発生量決定手段が、上記特徴量を用いてGOP単位の符号化難易度を判定し、現在のGOPの符号化難易度と1つ前のGOPの符号化難易度が等しい場合には、現在のGOPの目標情報発生量として、既に決定している目標情報発生量の代わりに、1つ前のGOPの実際の情報発生量を使用するように構成したので、現在のGOPの目標情報発生量の推定精度を高めることができる効果がある。
図1はこの発明の実施の形態1による画像符号化装置を示す構成図であり、図において、減算器1は入力画像の画像信号と動き補償回路8により生成された予測信号との誤差を求め、その予測誤差信号を出力する。直交変換回路2は減算器1から出力された予測誤差信号に例えば離散コサイン変換などの直交変換を施して、その変換係数を出力する。量子化回路3は直交変換回路2から出力された変換係数を量子化する。なお、減算器1、直交変換回路2及び量子化回路3から直交変換手段が構成されている。
動き補償回路8はフレームメモリ7に格納された参照画像信号と入力画像の画像信号から動き補償予測を実施して予測信号を生成する。なお、動き補償回路8は予測信号生成手段を構成している。
可変長符号化回路9は量子化回路3により量子化された変換係数等を可変長符号化し、その符号化データを多重化してバッファ10に格納する。バッファ10は可変長符号化回路9によって格納されている符号化データを一定速度で伝送する。なお、可変長符号化回路9及びバッファ10から可変長符号化手段が構成されている。
情報発生量推定回路14は画像特徴抽出回路11により抽出された特徴量等に応じてGOP単位の目標情報発生量を決定する。なお、画像特徴抽出回路11、予測誤差信号累積回路12、情報発生量累積回路13及び情報発生量推定回路14から情報発生量決定手段が構成されている。
図2はこの発明の実施の形態1による画像符号化装置の情報発生量推定回路14の処理内容を示すフローチャートである。
まず、減算器1は、入力画像の画像信号と動き補償回路8により生成された予測信号との誤差を求め、その予測誤差信号を直交変換回路2に出力する。
直交変換回路2は、減算器1から予測誤差信号を受けると、例えば離散コサイン変換などの直交変換を予測誤差信号に施して、その変換係数を量子化回路3に出力する。
量子化回路3は、直交変換回路2から変換係数を受けると、その変換係数を量子化し、量子化後の変換係数を逆量子化回路4と可変長符号化回路9に出力する。
逆直交変換回路5は、逆量子化回路4から逆量子化後の変換係数を受けると、例えば逆離散コサイン変換などの逆直交変換を逆量子化後の変換係数に施して、その予測誤差信号を復号する。
加算器6は、逆直交変換回路5により復号された予測誤差信号と動き補償回路8により生成された予測信号を加算して参照画像信号を生成し、その参照画像信号をフレームメモリ7に格納する。
その際、動き補償回路8は、動き補償予測の予測結果から得られる最小歪と入力画像の分散値とから、可変長符号化回路9がフレーム内符号化を実施すべきか、フレーム間符号化を実施すべきかを決定する。
動き補償回路8は、可変長符号化回路9がフレーム内符号化を実施すべきであると認定すると、フレーム内符号化を指示する符号化方式指示信号を可変長符号化回路9に出力すると同時に、予測信号として“0”を可変長符号化回路9に出力する。
一方、可変長符号化回路9がフレーム間符号化を実施すべきであると認定すると、フレーム間符号化を指示する符号化方式指示信号を可変長符号化回路9に出力すると同時に、その予測信号を可変長符号化回路9に出力する。
バッファ10は、可変長符号化回路9によって格納されている符号化データを一定速度で伝送する。
具体的には、画像特徴抽出回路11は、時間的に連続して入力される画像信号、即ち、時間的に連続している2つのフレーム間の差分値絶対値和を特徴量として演算する。
また、各フレームの信号に対するHPF(High Pass Filter)、LPF(Low Pass Filter)、BPF(Band Pass Filter)などのフィルタリング演算を実施し、その演算結果をフレームの特徴量とする。
画像特徴抽出回路11は、最新のフレームから(N−1)前のフレームまでのNフレーム分の特徴量を保持し、新しいフレームが入力される毎に特徴量を更新する。
一般的には、GOPを構成するフレームの枚数が15であり、15フレーム分の画像信号を保持するメモリが必要となる。
しかし、この実施の形態1の画像特徴抽出回路11では、GOPを構成する先頭のフレームから順番に、3フレーム分の画像信号を保持し、3フレーム分の画像信号をGOPの代表値として使用するようにしている。
これにより、最小の遅延で(Nフレーム分遅延させることなく)、符号化開始後の最初のGOPから正確に情報発生量の目標値を推定することが可能となる。また、2番目のGOP目からは、その1つ前のGOPでの予測誤差信号の累算値と、実際の情報発生量とを基にして、より正確な情報発生量を推定することが可能となる。
情報発生量累積回路13は、可変長符号化回路9により可変長符号化された符号化データのデータ量を情報発生量として入力し、GOPを構成する各フレームの情報発生量を保持する。
また、情報発生量累積回路13は、各フレームの情報発生量の累積値や平均値を算出するとともに、ピクチャタイプ毎の情報発生量の平均値を算出する。
具体的には、次のようにしてGOP単位の目標情報発生量を決定する。
図3において、横軸は確率変数であるフレーム間差分値絶対値和、縦軸は確率密度f(p)を表している。
このとき、Dif(k)は下記の式(1)を満足するように設定されている。Dif(k)はステップ関数である。
ただし、複数の区間で頻度f(p)が等しい場合は、SAD1、SAD2、SAD3の平均値に対応する区間に割当てられているDif(k)を特定する。
情報発生量推定回路14は、上記のようにして、Dif(k)を特定すると、そのDif(k)を現在のGOPの符号化難易度Df(m)として、ステップST2の処理に移行する。
ただし、mは0以上の整数であり、符号化開始からm番目のGOPであることを示している。
即ち、情報発生量推定回路14は、予測誤差信号累算回路12から1つ前のGOPの予測誤差信号の累算値MC_Df(m−1)を入力して、この予測誤差信号の累算値MC_Df(m−1)と符号化難易度Df(m−1)の割合を求め、下記に示すように、その割合を現在のGOPの符号化難易度Df(m)に線形な補正を加えるようにする。
Df(m)←Coeff1×MC_Df(m−1)×Df(m)/Df(m−1)
+Coeff2 (2)
ここで、Coeff1、Coeff2は補正係数である。また、Df(m−1)は、1つ前のGOPの符号化難易度を式(2)で求めた時点の値であり、次に説明する輝度高域成分の累算値による補正分は含んでいない。
即ち、情報発生量推定回路14は、GOPの先頭から連続する3フレームにおける輝度高域成分累算値の平均値HPを求め、その平均値HPが閾値TH1より小さければ、定数add1を現在のGOPの符号化難易度Df(m)に加える補正を行う。
また、その平均値HPが閾値TH1より大きいが、閾値TH2より小さければ、定数add2を現在のGOPの符号化難易度Df(m)に加える補正を行う。
また、その平均値HPが閾値TH2より大きい場合、定数add3を現在のGOPの符号化難易度Df(m)に加える補正を行う。ただし、add1>add1>add3である。
Df(m) ← Df(m) + add1
else if (HP < TH2)
Df(m) ← Df(m) + add2
else
Df(m) ← Df(m) + add3
TR=Df(m)×CRT×N (3)
ただし、CRTは画像シーケンス全体において想定される平均レート、または、バッファ10の状態を考慮した値とする。NはGOPを構成するフレームの枚数である。
TR=Gen(m−1) (4)
なお、現在のGOPの符号化難易度Df(m)と1つ前のGOPの符号化難易度Df(m−1)が等しくない場合は、ステップST4で算出した情報発生量の目標値TRがそのまま使用される。
ただし、現在のGOPの符号化が開始され、1ピクチャの符号化が終了して、情報発生量累積回路13から実際の情報発生量が得られると、その目標値の平均値AVE(I)、AVE(P)、AVE(B)を更新する。
情報発生量推定回路14は、1つ前のGOPに係るPRAVEが、現在のGOPに係るAVEより小さい場合、そのピクチャタイプにおいては、フレーム単位の情報発生量の目標値Tとして、1つ前のGOPに係るPRAVEを設定する(ステップST9)。
一方、現在のGOPに係るAVEが、1つ前のGOPに係るPRAVEより小さい場合、そのピクチャタイプにおいては、フレーム単位の情報発生量の目標値Tとして、現在のGOPに係るAVEを設定する(ステップST10)。
あるいは、直交変換回路2や逆直交変換回路5の画像変換領域(例えば、周波数成分に変換する画像内のブロックサイズ)や、動き補償回路8の動き探索範囲などを制御する。
1GOP分の処理が終了するまで、ステップST8〜ST11の処理を繰り返し実施する(ステップST12)。
この実施の形態1によれば、1つ前のGOPの情報発生量を考慮して、現在のGOPの目標情報発生量を補正するように構成したので、現在のGOPの目標情報発生量の推定精度を高めることができる効果を奏する。
上記実施の形態1では、特に言及していないが、双方向予測符号化フレームであるB−ピクチャの2つ目以降のフレームの目標情報発生量については、情報発生量推定回路14が1つ前のフレームの実際の情報発生量を使用するようにしてもよい。
このように、1つ前のB−ピクチャと同じ目標情報発生量を割当てる理由は、最終的な情報発生量は、直交変換回路2が予測誤差信号に離散コサイン変換などの直交変換を施して、量子化回路3がその変換係数を量子化し、可変長符号化回路9が量子化後の変換係数を可変長符号化したものであるため、連続するフレームの予測誤差信号の値が近くても、最終的な情報発生量が大きく変動して画質が劣化することがあるからである。
上記実施の形態1では、特に言及していないが、現在のGOPに対して特殊処理が実施されていないにも拘わらず、複数のフレーム間の差分値絶対値和の変動量が基準変動量を上回る場合、情報発生量推定回路14が最新のフレーム間の差分値絶対値和を用いて、そのGOPにおける未符号化部分のフレームの目標情報発生量を補正するようにしてもよい。
上記実施の形態1では、情報発生量推定回路14がGOPの先頭3フレームのフレーム間差分値絶対値和を用いてGOPの符号化難易度を判定するが、この実施の形態3では、情報発生量推定回路14が入力されるすべてのフレームのフレーム間差分値絶対値和を算出し、それらのフレーム間差分値絶対値和を用いて、各フレームの符号化難易度を判定することにより、符号化中に各フレームの情報発生量を補正するようにする。
この場合、式(2)の補正は行わず、フレーム間差分値絶対値和のみを用いた符号化難易度で補正する。即ち、GOPの符号化難易度Df(m)に対して、現在符号化しようとしている時点で最新の3フレーム分のフレーム間差分値絶対値和からDf’(m)を求め、GOPにおける未符号化部分のフレームに割当てる目標情報発生量を式(5)を用いて再計算する。
TR=Df’(m)×CRT×(N−n) (5)
ただし、nは既に符号化されたフレームの枚数である。
Claims (4)
- 入力画像の画像信号と予測信号の誤差を求め、その誤差信号を直交変換して、その変換係数を量子化する直交変換手段と、上記直交変換手段により量子化された変換係数を逆量子化し、逆量子化後の変換係数を逆直交変換して誤差信号を復号し、その誤差信号と上記予測信号を加算して参照画像信号を生成する参照画像生成手段と、上記参照画像生成手段により生成された参照画像信号と上記入力画像の画像信号から動き補償予測を実施して上記予測信号を生成する予測信号生成手段と、上記直交変換手段により量子化された変換係数を可変長符号化し、その符号化データを伝送する可変長符号化手段とを備えた画像符号化装置において、上記入力画像の画像信号を構成する複数のフレームのうち、時間的に連続している2つのフレーム間の差分値絶対値和を特徴量として抽出し、その特徴量に応じて複数のフレームからなるGOP単位の目標情報発生量を決定する情報発生量決定手段と、上記情報発生量決定手段により決定されたGOP単位の目標情報発生量にしたがって上記直交変換手段の動作パラメータを制御する制御手段とを設け、上記情報発生量決定手段が、上記特徴量を用いてGOP単位の符号化難易度を判定し、現在のGOPの符号化難易度と1つ前のGOPの符号化難易度が等しい場合には、現在のGOPの目標情報発生量として、既に決定している目標情報発生量の代わりに、1つ前のGOPの実際の情報発生量を使用することを特徴とする画像符号化装置。
- 情報発生量決定手段がGOP単位の目標情報発生量からピクチャタイプ毎のフレーム単位の目標情報発生量を求め、制御手段が上記情報発生量決定手段により決定されたピクチャタイプ毎のフレーム単位の目標情報発生量にしたがって上記直交変換手段の量子化ステップ幅を制御することを特徴とする請求項1の画像符号化装置。
- 情報発生量決定手段は、現在のGOPに係るピクチャタイプ毎のフレーム単位の目標情報発生量が、1つ前のGOPに係るピクチャタイプ毎のフレーム単位の実際の情報発生量より大きい場合、現在のGOPに係るピクチャタイプ毎のフレーム単位の目標情報発生量として、1つ前のGOPに係るピクチャタイプ毎のフレーム単位の実際の情報発生量を使用することを特徴とする請求項2記載の画像符号化装置。
- 情報発生量決定手段は、双方向予測符号化フレームであるB−ピクチャの2つ目以降のフレームの目標情報発生量として、1つ前のフレームの実際の情報発生量を使用することを特徴とする請求項2記載の画像符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004009464A JP4443940B2 (ja) | 2004-01-16 | 2004-01-16 | 画像符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004009464A JP4443940B2 (ja) | 2004-01-16 | 2004-01-16 | 画像符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005204158A JP2005204158A (ja) | 2005-07-28 |
JP4443940B2 true JP4443940B2 (ja) | 2010-03-31 |
Family
ID=34822503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004009464A Expired - Fee Related JP4443940B2 (ja) | 2004-01-16 | 2004-01-16 | 画像符号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4443940B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100111163A1 (en) * | 2006-09-28 | 2010-05-06 | Hua Yang | Method for p-domain frame level bit allocation for effective rate control and enhanced video encoding quality |
EP2232873B1 (en) * | 2007-12-19 | 2012-03-21 | Dolby Laboratories Licensing Corporation | Adaptive motion estimation |
-
2004
- 2004-01-16 JP JP2004009464A patent/JP4443940B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005204158A (ja) | 2005-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100974025B1 (ko) | 레이트-왜곡 특징들을 사용하는 비디오 코딩을 위한 2 패스레이트 제어 기술들 | |
EP2250813B1 (en) | Method and apparatus for predictive frame selection supporting enhanced efficiency and subjective quality | |
KR101329860B1 (ko) | 효과적인 레이트 제어 및 비디오 인코딩 품질의 향상을 위한 ρ-도메인 프레임 레벨 비트 할당 방법 | |
JP2002010259A (ja) | 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体 | |
US6922442B2 (en) | Apparatus and method of encoding moving picture signal | |
US6823008B2 (en) | Video bitrate control method and device for digital video recording | |
JP2002514023A (ja) | 圧縮映像のブリージングアーチファクトを低減する方法および装置 | |
JP3907875B2 (ja) | 符号化レート制御装置及び情報符号化装置 | |
JP2000201354A (ja) | 動画像符号化装置 | |
US9071846B2 (en) | Moving picture encoding method and apparatus for performing a multi-frame motion prediction with reference to a plurality of picture frames | |
JP2001251629A (ja) | シーン特性検出型動画像符号化装置 | |
US20080187052A1 (en) | Video coding device, video recording device, video coding method, and video coding program | |
JP2001054110A (ja) | 信号処理装置、信号処理方法及びコンピュータプログラム製品 | |
US8442113B2 (en) | Effective rate control for video encoding and transcoding | |
JP2004514352A (ja) | Mpeg−2スケーラブル復号器内の複雑さの動的な適応 | |
JP4644097B2 (ja) | 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。 | |
US9185420B2 (en) | Moving image coding apparatus and moving image coding method | |
KR101391397B1 (ko) | 부호량 제어 방법 및 장치 | |
JP4443940B2 (ja) | 画像符号化装置 | |
KR20040007818A (ko) | 동영상 부호화를 위한 dct연산량 조절 방법 및 그 장치 | |
JP2000041240A (ja) | 可変ビットレート符号化装置および方法 | |
JP2005045736A (ja) | 画像信号符号化方法及び装置、符号化制御装置並びにプログラム | |
JPH11196424A (ja) | 画像処理装置および方法、並びに提供媒体 | |
JP2011239255A (ja) | 映像符号化方法,映像符号化装置および映像符号化プログラム | |
JPH11196423A (ja) | 画像処理装置および方法、並びに提供媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061207 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071016 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080714 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100105 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100113 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |