JP4695016B2 - 動画像符号化方法，装置，プログラムおよびその記録媒体 - Google Patents
動画像符号化方法，装置，プログラムおよびその記録媒体 Download PDFInfo
- Publication number
- JP4695016B2 JP4695016B2 JP2006132231A JP2006132231A JP4695016B2 JP 4695016 B2 JP4695016 B2 JP 4695016B2 JP 2006132231 A JP2006132231 A JP 2006132231A JP 2006132231 A JP2006132231 A JP 2006132231A JP 4695016 B2 JP4695016 B2 JP 4695016B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- quantization parameter
- frame
- value
- fluctuation range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は，フレーム画像信号に対して画面内または画面間予測を行い，その予測残差信号に対して直交変換を施し，その変換係数に対して量子化を行う動画像符号化技術に関し，特に，フレーム間の画質変動をあらかじめ定めた許容変動幅以内に抑制する動画像符号化方法，装置，プログラムおよびその記録媒体に関する。
Ｈ．２６４／ＡＶＣをはじめとする従来の動画像標準符号化方式では，画面内または画面間予測の残差信号に対する量子化パラメータは外生的に与えられる。例えば，Ｈ．２６４／ＡＶＣの参照ソフトウェアであるＪＭ（非特許文献１，非特許文献２参照）の場合，その値は，ＧＯＰのサイズや予測参照の構造などの条件には依らず，ピクチャタイプ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）に応じて割り当てられる。また，符号化対象フレームの量子化パラメータの値は，被参照フレームの量子化パラメータの値よりも大きくとられることが一般的である。これは，被参照フレームより高画質にすることによって，予測残差を低減し，シーケンス全体に対する符号化効率の向上を目的としている。
時間当たりの平均発生符号量を一定とし，かつ画質変動を抑制することを目的とした動画像符号化方式として，特許文献１に記載されたものがある。この動画像符号化方式では，符号化処理のバッファメモリ蓄積量または発生符号量の状態変化から次のフレームに用いる量子化パラメータを制御している。
特開平５−１４８７６号公報
"Text Description of Joint Model Reference Encoding Methods and Decoding Concealment Methods ", Joint Video Team of ISO/IEC MPEG and ITU-T VCEG
"Revised H.264/MPEG-4 AVC Reference Software Manual"，ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6 ，October ，2005
前述のとおり，従来の動画像標準符号化方式の参照ソフトウェアにおける量子化パラメータ（ＱＰ）の適応処理の単位はピクチャタイプ単位であり，ＱＰ制御の自由度がピクチャタイプに制限される。すなわち，非特許文献１，２に示されるような従来の動画像標準符号化方式では，量子化パラメータの値は，ピクチャタイプに対応する自由度しか保持していない。また，その値の設定では，時間的な画質変動の影響を考慮しておらず，レート歪み特性の向上を重視する概念がデータに依らずに一律に適用されている。このような設定方法では，フレームごとに均一の画質を達成するとは限らず，フレーム間の大きな画質変動を発生させる可能性がある。こうした画質変動は，主観画質低下の大きな原因となる。特に，ＧＯＰサイズを大きくとり，予測参照構造が多段になるような場合においては，画質変動が顕著に現れるようになる。
したがって，フレーム間の画質変動を抑制するためには，以下の２点を考慮する必要がある。
・ピクチャタイプよりもより細かい単位で量子化パラメータを割り当てる。
・量子化パラメータの値を適応的に変化させる。
・ピクチャタイプよりもより細かい単位で量子化パラメータを割り当てる。
・量子化パラメータの値を適応的に変化させる。
上記特許文献１に記載された技術では，主目的が発生符号量の均一化であるため，量子化パラメータの制御を画質の制御に直結させていない。すなわち，符号量一定の条件下において，量子化パラメータの切り替え回数の多さを画質変動の大きさとして判定しているため，符号量が可変の状況下では，画質変動の抑制精度が粗くなり，画質のより正確な調整を行うことができない。
本発明はかかる事情に鑑みてなされたものであって，動画像符号化処理において，量子化パラメータと画質との関係を定式化した数学モデルを利用することによって，フレーム間の画質変動が小さくなるようにフレーム単位で量子化パラメータを自動設定し符号化を行う動画像符号化器の設計法を確立することを目的とする。
本発明は，上記課題を解決するため，フレーム画像信号に対して，画面内または画面間予測を行い，その予測残差信号に対して直交変換を施し，その変換係数に対して量子化を行う動画像符号化において，１フレームの符号化に対して量子化パラメータを逐次更新して繰り返し符号化処理を行うことにより，フレーム間の画質変動をあらかじめ定めた許容変動幅以内に抑制することを特徴とし，また，その許容変動幅を，符号化対象フレーム全体の動きの変化量を解析し，解析した動きの変化量に基づいてフレームごとに適応的に定めることを特徴とする。
また，上記発明において，量子化パラメータの更新を行う際，外部から与えられる補正値を用いて，その値を直前の符号化処理に利用された量子化パラメータに加算することにより，量子化パラメータの値の更新を行うことを特徴とする。
または，上記発明において，量子化パラメータの更新を行う際，それまでの符号化処理に利用した量子化パラメータの値と符号化の結果算出される画質を表す値（ＰＳＮＲ）との関係性を線形近似した直線式を利用することにより，量子化パラメータの値の更新を行うことを特徴とする。
本発明により，ＧＯＰサイズ，予測参照構造，データの特性に依存することなく，シーケンス全体を通して，フレーム間のＰＳＮＲの変動を抑制することができる。これにより画質が向上する。
［処理概要］
本発明の実施形態の処理の概要を示す。本実施形態では，あらかじめ目標とする画質を設定する。画質の尺度として，Peak Signal to Noise Ratio（ＰＳＮＲ）を用いる。したがって，画質目標としては，ＰＳＮＲの目標値が設定される。また，目標値からの許容変動幅も定める。この値は，符号化対象フレームのフレーム全体の動きの特性を解析し，その特性に合わせてフレームごとに一意に決定する。
本発明の実施形態の処理の概要を示す。本実施形態では，あらかじめ目標とする画質を設定する。画質の尺度として，Peak Signal to Noise Ratio（ＰＳＮＲ）を用いる。したがって，画質目標としては，ＰＳＮＲの目標値が設定される。また，目標値からの許容変動幅も定める。この値は，符号化対象フレームのフレーム全体の動きの特性を解析し，その特性に合わせてフレームごとに一意に決定する。
本実施形態では，符号化処理を量子化パラメータを変更して１フレームに対して繰り返し行い，目標とするＰＳＮＲとの誤差が小さくなる量子化パラメータをフレームごとに算出する。この繰り返し処理は，
・ＰＳＮＲの目標値との誤差が変動の許容範囲以内に収まる，
・あらかじめ定めた最大繰り返し符号化処理回数まで繰り返されている，
・更新された量子化パラメータで既に符号化を行っている，
といういずれかの判定条件を満たせば終了となる。上記の判定条件を満たさなければ，量子化パラメータの更新を行い，符号化処理を繰り返す。１フレームに対して，この繰り返し処理が終了すると，次の符号化対象フレームに移動し，再度同様に繰り返し符号化処理を行う。シーケンスに含まれるフレームの符号化がすべて完了するまで行う。
・ＰＳＮＲの目標値との誤差が変動の許容範囲以内に収まる，
・あらかじめ定めた最大繰り返し符号化処理回数まで繰り返されている，
・更新された量子化パラメータで既に符号化を行っている，
といういずれかの判定条件を満たせば終了となる。上記の判定条件を満たさなければ，量子化パラメータの更新を行い，符号化処理を繰り返す。１フレームに対して，この繰り返し処理が終了すると，次の符号化対象フレームに移動し，再度同様に繰り返し符号化処理を行う。シーケンスに含まれるフレームの符号化がすべて完了するまで行う。
以降，本発明の実施形態に係る符号化処理を詳説する。
［処理詳細］
はじめに，説明に用いる記号を整理する。目標値として与えたＰＳＮＲの値をＳＮt とおく。符号化対象フレームのフレーム順をｉとするとき，その符号化対象フレームをＦi として表す。また，フレームＦi に対してｎ回目（ｎ≧１）の符号化処理に利用する量子化パラメータをＱi,n ，そのＱi,n を用いて符号化した結果得られるＰＳＮＲの値をＳＮi,n とする。
はじめに，説明に用いる記号を整理する。目標値として与えたＰＳＮＲの値をＳＮt とおく。符号化対象フレームのフレーム順をｉとするとき，その符号化対象フレームをＦi として表す。また，フレームＦi に対してｎ回目（ｎ≧１）の符号化処理に利用する量子化パラメータをＱi,n ，そのＱi,n を用いて符号化した結果得られるＰＳＮＲの値をＳＮi,n とする。
フレームＦi におけるＰＳＮＲの許容変動幅の値をεi とする。
〔許容変動幅の決定〕
はじめに，符号化対象フレームＦi における許容変動幅εi の値を，次のようにして算出する。フレーム全体の動きの大きさの特性を解析し，その特性として動きの変化量を示すパラメータを出力する。動きの大きい箇所は画質の変動が認知されにくく，反対に静止部分では認知されやすい。したがって，動きの大きさに合わせて適応的に画質の許容変動幅を決定することが効果的であると考えられる。解析によって算出された動きの変化量パラメータを，外部より与えられる動きの変化量と許容変動幅の関係を定めた関数または条件式に代入することにより，許容変動幅をフレームごとに一意に算出する。
はじめに，符号化対象フレームＦi における許容変動幅εi の値を，次のようにして算出する。フレーム全体の動きの大きさの特性を解析し，その特性として動きの変化量を示すパラメータを出力する。動きの大きい箇所は画質の変動が認知されにくく，反対に静止部分では認知されやすい。したがって，動きの大きさに合わせて適応的に画質の許容変動幅を決定することが効果的であると考えられる。解析によって算出された動きの変化量パラメータを，外部より与えられる動きの変化量と許容変動幅の関係を定めた関数または条件式に代入することにより，許容変動幅をフレームごとに一意に算出する。
＜動きの変化量を示すパラメータの一例＞
動きの変化量を示すパラメータの一例としては，下記の文献において提案されているグローバル動きパラメータの値の適用が考えられる。
・参考文献：動画像符号化におけるグローバル動き補償法，上倉一人，渡辺裕，電子情報通信学会論文誌B-I ，Vol.J76-B-I ，No.12 ，pp.944-952 ，1993。
動きの変化量を示すパラメータの一例としては，下記の文献において提案されているグローバル動きパラメータの値の適用が考えられる。
・参考文献：動画像符号化におけるグローバル動き補償法，上倉一人，渡辺裕，電子情報通信学会論文誌B-I ，Vol.J76-B-I ，No.12 ，pp.944-952 ，1993。
以降，繰り返し符号化処理の終了判定および量子化パラメータの更新方法を詳説する。以下の，３つの終了判定を満たすとき，そのフレームの符号化を終了し，次の符号化対象フレームの符号化に移る。
《終了判定１》 目標値とＰＳＮＲの差分による判定
符号化対象フレームＦi における符号化結果ＳＮi,n の値と目標値ＳＮt との誤差値が，許容変動幅εi より小さい，つまり
｜ＳＮi,n −ＳＮt ｜＜εi (1)
が成立するとき，そのフレームの符号化は終了し，次のフレームの符号化に移る。
符号化対象フレームＦi における符号化結果ＳＮi,n の値と目標値ＳＮt との誤差値が，許容変動幅εi より小さい，つまり
｜ＳＮi,n −ＳＮt ｜＜εi (1)
が成立するとき，そのフレームの符号化は終了し，次のフレームの符号化に移る。
《終了判定２》 符号化処理回数による判定
式(1) が成立しない場合には，量子化パラメータの更新を行う。ただし，このとき符号化対象フレームＦi の符号化処理回数ｎが最大繰り返し符号化処理回数Ｎmax と等しければ，同フレームの符号化は終了し，次のフレームの符号化ヘ移る。この場合，ｎ回の符号化結果の中で最もＳＮt に近いＰＳＮＲが得られる符号化ストリームを出力する。最大繰り返し符号化処理回数Ｎmax の値は，外部から与えられる。
式(1) が成立しない場合には，量子化パラメータの更新を行う。ただし，このとき符号化対象フレームＦi の符号化処理回数ｎが最大繰り返し符号化処理回数Ｎmax と等しければ，同フレームの符号化は終了し，次のフレームの符号化ヘ移る。この場合，ｎ回の符号化結果の中で最もＳＮt に近いＰＳＮＲが得られる符号化ストリームを出力する。最大繰り返し符号化処理回数Ｎmax の値は，外部から与えられる。
〔量子化パラメータの更新方法〕
量子化パラメータの更新方法としては２種類考えられる。どちらを適用するかは，更新時点における符号化処理回数ｎの値，および外部から与えられる判定条件によって決定される。
量子化パラメータの更新方法としては２種類考えられる。どちらを適用するかは，更新時点における符号化処理回数ｎの値，および外部から与えられる判定条件によって決定される。
（更新方法１） 補正値の加算による更新
量子化パラメータの更新は，次式によって行う。補正値ξ（＞０）を用意し，ＱＰi,n に加算したものをＱＰi,n+1 とする（初期値ＱＰ1 の値は，外部から与えられる）。
量子化パラメータの更新は，次式によって行う。補正値ξ（＞０）を用意し，ＱＰi,n に加算したものをＱＰi,n+1 とする（初期値ＱＰ1 の値は，外部から与えられる）。
・ＳＮi,n ≧ＳＮt のとき， ＱＰi,n+1 ＝ｒｏｕｎｄ（ＱＰi,n ＋ξ）
・ＳＮi,n ＜ＳＮt のとき， ＱＰi,n+1 ＝ｒｏｕｎｄ（ＱＰi,n −ξ） (2)
ここで，ｒｏｕｎｄは四捨五入による整数精度への丸め処理を指す。このξは更新の都度，外部より与えられる。
・ＳＮi,n ＜ＳＮt のとき， ＱＰi,n+1 ＝ｒｏｕｎｄ（ＱＰi,n −ξ） (2)
ここで，ｒｏｕｎｄは四捨五入による整数精度への丸め処理を指す。このξは更新の都度，外部より与えられる。
＜補正値ξの一例＞
このξの一例としては，
ξ＝｜ＳＮi,n −ＳＮt ｜ (3)
が考えられる。この補正値の導出は，以下のような根拠に基づく。
このξの一例としては，
ξ＝｜ＳＮi,n −ＳＮt ｜ (3)
が考えられる。この補正値の導出は，以下のような根拠に基づく。
直交変換後の変換係数信号が一様分布で近似できると仮定する。その条件下，量子化ステップ幅Ｑstepで量子化を行った場合，量子化歪みＤとＱstepとの関係は，
Ｄ＝Ｑstep 2 ／１２ (4)
となる。一方，ＡＶＣ（ＳＶＣ）における量子化ステップ幅Ｑstepと量子化パラメータＱＰとの関係は，
Ｑstep＝α・２QP/6 (5)
として示される。ここで，αはデータによらない定数である。
Ｄ＝Ｑstep 2 ／１２ (4)
となる。一方，ＡＶＣ（ＳＶＣ）における量子化ステップ幅Ｑstepと量子化パラメータＱＰとの関係は，
Ｑstep＝α・２QP/6 (5)
として示される。ここで，αはデータによらない定数である。
この式(4) および式(5) を用いて，ＳＮとＱＰとの関係性を導出すると，
ＳＮ＝１０・ log10（β／Ｄ）
＝１０・ log10｛（１２β／α2 ）・２-QP/3 ｝
＝１０・ log10（１２β／α2 ）−（１０／３）・ log10２・ＱＰ
≒１０・ log10（１２β／α2 ）−ＱＰ (6)
として表現される。ここで，βは画像信号のビット深度に応じた定数である。
ＳＮ＝１０・ log10（β／Ｄ）
＝１０・ log10｛（１２β／α2 ）・２-QP/3 ｝
＝１０・ log10（１２β／α2 ）−（１０／３）・ log10２・ＱＰ
≒１０・ log10（１２β／α2 ）−ＱＰ (6)
として表現される。ここで，βは画像信号のビット深度に応じた定数である。
この関係式により，直交変換後の変換係数信号が一様分布で近似できる場合には，目標値ＳＮt を実現する量子化パラメータＱＰt は，
・ＳＮi,n ≧ＳＮt のとき，
ＱＰt ＝ｒｏｕｎｄ（ＱＰi,n ＋（ＳＮi,n −ＳＮt ））
・ＳＮi,n ＜ＳＮt のとき，
ＱＰt ＝ｒｏｕｎｄ（ＱＰi,n −（ＳＮi,n −ＳＮt ）） (7)
として見積もられる。
・ＳＮi,n ≧ＳＮt のとき，
ＱＰt ＝ｒｏｕｎｄ（ＱＰi,n ＋（ＳＮi,n −ＳＮt ））
・ＳＮi,n ＜ＳＮt のとき，
ＱＰt ＝ｒｏｕｎｄ（ＱＰi,n −（ＳＮi,n −ＳＮt ）） (7)
として見積もられる。
（更新方法２）ＰＳＮＲと量子化パラメータの関係に対する線形近似に基づく更新
量子化パラメータの更新を以下のように行う。ただし，本更新方法の適用は，ｎ≧２の場合に限る。
量子化パラメータの更新を以下のように行う。ただし，本更新方法の適用は，ｎ≧２の場合に限る。
ｎ回の符号化によって得られたＱＰi,m とＳＮi,m （ｍ＝１，... ，ｎ）のデータ群に対して，線形近似を行い，近似直線の直線パラメータを出力する。最小２乗法による近似方法がその一つに挙げられる。仮にここで，得られた近似直線を，
ＳＮ＝ａ・ＱＰ＋ｂ (8)
とする。このとき，次の符号化で用いる量子化パラメータは，式(8) の近似式に基づき，次式により得られる。
ＳＮ＝ａ・ＱＰ＋ｂ (8)
とする。このとき，次の符号化で用いる量子化パラメータは，式(8) の近似式に基づき，次式により得られる。
ＱＰi,n+1 ＝ｒｏｕｎｄ（（ＳＮt −ｂ）／ａ） (9)
《終了判定３》 更新後の量子化パラメータ値による判定
上に記した２種類の方法により量子化パラメータは更新される。ただし，更新された量子化パラメータの値を用いて，既に符号化を行っていた場合には，そのフレームの繰り返し処理を終了し，ｎ回の符号化結果の中で最もＳＮt に近いＰＳＮＲが得られるストリームを出力する。補正値もしくは線形近似によって算出される量子化パラメータが既出である場合，この時点で終了とする。更新後の値で符号化を行っていない場合には，繰り返し処理の起点に戻り，更新後の値を用いた符号化処理に入る。
《終了判定３》 更新後の量子化パラメータ値による判定
上に記した２種類の方法により量子化パラメータは更新される。ただし，更新された量子化パラメータの値を用いて，既に符号化を行っていた場合には，そのフレームの繰り返し処理を終了し，ｎ回の符号化結果の中で最もＳＮt に近いＰＳＮＲが得られるストリームを出力する。補正値もしくは線形近似によって算出される量子化パラメータが既出である場合，この時点で終了とする。更新後の値で符号化を行っていない場合には，繰り返し処理の起点に戻り，更新後の値を用いた符号化処理に入る。
［処理の流れ］
本発明の実施例に係る処理について図面を参照して説明する。図１は，本発明の実施例の処理フローチャートである。
本発明の実施例に係る処理について図面を参照して説明する。図１は，本発明の実施例の処理フローチャートである。
ステップ１０１：フレーム画像信号を読み込み，フレーム全体の動きの変化量を解析し，外部から与えられる動きの変化量と許容変動幅の関係を定めた関数または条件式にしたがって許容変動幅を決定し，その値を出力する。
ステップ１０２：符号化処理回数を１にリセットし，その値をレジスタに書き込む。
ステップ１０３：外部から与えられる量子化パラメータの初期値を読み込み，その値をレジスタに書き込む。
ステップ１０４：フレーム画像信号を読み込み，レジスタに書き込まれている最新の量子化パラメータの値を用いて，ＪＳＶＭに実装されている符号化処理を行い，符号化ストリームをレジスタに書き込む。
ステップ１０５：ステップ１０４で出力された符号化ストリームを入力として，符号化器内のローカルデコーダによって復号処理を行い，復号信号を出力する。
ステップ１０６：ステップ１０５で出力された復号信号に対して算出されるＰＳＮＲの値を入力として，目標値として外部から入力されたＰＳＮＲの値との比較を行う。外部から入力される許容変動幅以内にこの両者の差分が収まっているか否かの判定処理を行い，真の場合はステップ１１１の処理に移り，偽の場合はステップ１０７の処理に移る。ＰＳＮＲの値はレジスタに書き込む。
ステップ１０７：符号化対象となっている１フレームに対して既に行われた符号化処理の回数を入力として，外部から入力される最大繰り返し符号化処理回数の値と等しいか否かの判定処理を行い，真の場合はステップ１１１の処理に移り，偽の場合はステップ１０８の処理に移る。
ステップ１０８：符号化対象となっている１フレームに対して既に行われた符号化処理の回数を入力として，外部から与えられる設定条件に従って量子化パラメータの更新を行い，更新後の値をレジスタに書き出す。本処理の詳細は図２に示す（後述）。
ステップ１０９：ステップ１０８によって算出される更新後の量子化パラメータの値を入力として，その値によって既に符号化対象フレームの符号化処理を行っているか否かの判定処理を行い，真の場合はステップ１１１の処理に移り，偽の場合はステップ１１０の処理に移る。
ステップ１１０：符号化処理回数を１増加させ，ステップ１０４の処理に移る。
ステップ１１１：レジスタに書き込まれている既に行われた符号化済み結果のＰＳＮＲの値の中で，目標値とするＰＳＮＲの値に最も近い結果を算出する符号化ストリームを出力する。
ステップ１１２：符号化対象フレームのフレーム番号を入力として，すべてのフレームの符号化が終了しているか否かの判定処理を行い，真の場合は１ＧＯＰ内の符号化処理は終了であり，偽の場合は次符号化対象フレームに移り，ステップ１０１の処理を行う。
以上のように，本実施の形態では，１フレームにおいて量子化パラメータを逐次更新して符号化する繰り返し処理を行い，ＰＳＮＲ目標値からの許容変動幅に収まるＰＳＮＲを算出する量子化パラメータ（ＱＰ）の値を，フレームごとに求める（ステップ１０４〜１１０の処理で実現）。
また，繰り返し処理における量子化パラメータの更新の方法には，例えば一般的な動画像において成立する量子化パラメータとＰＳＮＲとの間の線形性を利用する（ステップ１０８の処理で実現）。
次に，ステップ１０８の処理の詳細を図２を用いて説明する。
ステップ２０１：符号化対象フレームの符号化処理回数が１回目であるか否かの判定処理を行い，真の場合はステップ２０５の処理に移り，偽の場合はステップ２０２の処理に移る。
ステップ２０２：外部から与えられる量子化パラメータの更新方法の設定条件に従い，その更新方法が線形近似を利用するものであるか否かの判定処理を行い，真の場合はステップ２０３の処理に移り，偽の場合はステップ２０５の処理に移る。
ステップ２０３：レジスタに格納されている既に行われた符号化処理に利用された量子化パラメータと算出されたＰＳＮＲの値のデータ群を入力として，両データの間の関係性を線形近似し，その近似直線のパラメータを出力する。
ステップ２０４：ステップ２０３で算出された近似直線のパラメータを入力として，目標値として外部から与えられたＰＳＮＲの値に対応する量子化パラメータの値を，近似直線上において算出し，その算出結果を更新後の量子化パラメータとしてレジスタに書き込む。
ステップ２０５：外部から与えられる量子化パラメータの補正値を，直前の符号化で利用した量子化パラメータに加算し，その加算結果を更新後の量子化パラメータとしてレジスタに書き込む。
ステップ２０６：ステップ２０４または２０５の処理によって算出された実数精度の更新後の量子化パラメータの値を，四捨五入による丸め処理によって整数精度に変換し，その変換値を最終的な更新後の量子化パラメータの値として出力する。
［処理装置］
本発明の符号化装置の実施例を図３に示す。
本発明の符号化装置の実施例を図３に示す。
フレーム動き解析部３０１：フレーム画像信号を入力として，フレーム全体の動き特性の解析を行うことにより，動きの変化量パラメータを算出し，その値を動き変化量記憶部３０２に書き込む。
許容変動幅算出部３０３：動き変化量記憶部３０２から動きの変化量パラメータを読み出し，外部から与えられる動きの変化量と許容変動幅の関係を定めた関数または条件式にしたがって許容変動幅を決定し，その値を許容変動幅記憶部３０９に書き込む。
量子化パラメータ記憶部３０４：符号化対象フレームの符号化処理回数が１回目である場合には，外部より与えられる量子化パラメータの初期値を，２回目以降である場合には，量子化パラメータ比較部３１５の出力より与えられる更新後の量子化パラメータの値を入力として，その値をレジスタに書き込む。
フレーム符号化処理部３０５：フレーム画像信号を入力として，ＪＳＶＭに実装されている符号化処理を行い，符号化ストリームをＰＳＮＲ算出部３０６および符号化ストリーム記憶部３１６に出力する。符号化処理は，量子化パラメータ記憶部３０４から読み出された最新の量子化パラメータを利用して行う。また，符号化対象フレームに対して行われた符号化処理回数をカウントして，そのカウント値を既符号化処理回数記憶部３１２に書き込む。
ＰＳＮＲ算出部３０６：フレーム符号化処理部３０５で出力された符号化ストリームを入力として，ＪＳＶＣの規格に従った復号処理を行い，原信号との比較を行うことにより，復号信号のＰＳＮＲの値を算出し，その値をＰＳＮＲ記憶部３０７に書き出す。本処理の詳細は図４に示す（後述）。
ＰＳＮＲ目標値記憶部３０８：外部から与えられるＰＳＮＲの目標値を入力として，その値をレジスタに書き込む。
ＰＳＮＲ比較部３１０：ＰＳＮＲ記憶部３０７から最新の符号化結果であるＰＳＮＲの値を読み出し，ＰＳＮＲ目標値記憶部３０８から読み出されるＰＳＮＲの目標値との誤差が許容変動幅記憶部３０９から読み出される許容変動幅以内であるか否かの判定処理を行い，真の場合は出力符号化ストリーム選択部３１７に符号化ストリームの出力を命令する制御信号を出力し，偽の場合は既符号化処理回数比較部３１３の処理に移る。
最大繰り返し符号化処理回数記憶部３１１：外部から与えられる最大繰り返し符号化処理回数の値を入力として，その値をレジスタに書き込む。
既符号化処理回数比較部３１３：現在の符号化回数を既符号化処理回数記憶部３１２から読み出し，最大繰り返し符号化処理回数記憶部３１１から読み出される最大繰り返し符号化処理回数と等しいか否かの判定処理を行い，真の場合は出力符号化ストリーム選択部３１７に符号化ストリームの出力を命令する制御信号を出力し，偽の場合は量子化パラメータ更新部３１４の処理に移る。
量子化パラメータ更新部３１４：最新の量子化パラメータの値を量子化パラメータ記憶部３０４から読み出し，式(2) ，式(9) のいずれかの算出方法に従って量子化パラメータの更新を行い，更新後の量子化パラメータの値を出力する。本処理の詳細は図５に示す（後述）。
量子化パラメータ比較部３１５：量子化パラメータ更新部３１４の処理により出力された更新後の量子化パラメータの値が，量子化パラメータ記憶部３０４に蓄積されている既符号化で利用した量子化パラメータの値に同じものが含まれているか否かの判定処理を行い，真の場合は出力符号化ストリーム選択部３１７に符号化ストリームの出力を命令する制御信号を出力し，偽の場合はその値を最新の量子化パラメータの値として量子化パラメータ記憶部３０４に書き込む。
出力符号化ストリーム選択部３１７：ＰＳＮＲ比較部３１０，既符号化処理回数比較部３１３，量子化パラメータ比較部３１５のいずれかの処理から出力される制御信号を入力として，ＰＳＮＲ記憶部３０７に収められているＰＳＮＲの値の中で，目標値として外部から与えられるＰＳＮＲの値に最も近い値を探索する。そして，そのＰＳＮＲの値を達成する再構成画像を復号できる符号化ストリームを，符号化ストリーム記憶部３１６から読み出し，出力する。
ＰＳＮＲ算出部３０６の構成例を，図４に示す。
フレーム復号処理部４０１：フレーム符号化処理部３０５から出力された符号化ストリームを入力として，ＪＳＶＣの規格に従った復号処理を行い，その復号信号をフレーム復号信号記憶部４０２に書き込む。
ＰＳＮＲ計算部４０３：フレーム復号信号記憶部４０２に書き込まれた復号信号を読み出し，原信号と比較を行うことにより，復号信号のＰＳＮＲを算出し，その値をＰＳＮＲ記憶部３０７に書き込む。
量子化パラメータ更新部３１４の構成例を，図５に示す。
量子化パラメータ更新方法判定部５０１：外部から与えられる量子化パラメータの更新方法に関する制御信号を入力として，線形近似による更新方法を行うか否かの判定処理を行い，真の場合は線形近似式算出部５０３の処理に移り，偽の場合は量子化パラメータ算出部（補正値加算型）５０２の処理に移る。
量子化パラメータ算出部（補正値加算型）５０２：外部から与えられる量子化パラメータの補正値の値を入力として，その補正値を直前の符号化で利用した量子化パラメータの値に加算し，量子化パラメータ丸め処理部５０６に出力する。
線形近似式算出部５０３：既符号化処理に使用された量子化パラメータと，符号化結果として算出されたＰＳＮＲのデータ群に対して線形近似を行い，算出される近似直線のパラメータを近似直線パラメータ記憶部５０４に書き込む。
量子化パラメータ算出部（線形近似予測型）５０５：近似直線パラメータ記憶部５０４に書き込まれたパラメータによって構成される直線式に対して，目標値として外部から与えられるＰＳＮＲの値を代入し，そのＰＳＮＲの値に対応する量子化パラメータを算出し，量子化パラメータ丸め処理部５０６に出力する。
量子化パラメータ丸め処理部５０６：量子化パラメータ算出部（補正値加算型）５０２もしくは量子化パラメータ算出部（線形近似予測型）５０５より出力された実数精度の更新後の量子化パラメータの値に対して，四捨五入による丸め処理によって整数精度に変換し，その変換値を最終的な更新後の量子化パラメータの値として，量子化パラメータ比較部３１５に出力する。
以上のような手段を用いることにより，本発明では，符号化において，シーケンス全体を通して，フレーム間の画質（ＰＳＮＲ）変動を抑制することができる。全てのフレームのＰＳＮＲが，与えたＰＳＮＲの目標値とその値からの変動幅以内に収まることにより，シーケンス全体での主観画質が向上する。
以上説明した動画像符号化方法の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
３０１ フレーム動き解析部
３０２ 動き変化量記憶部
３０３ 許容変動幅算出部
３０４ 量子化パラメータ記憶部
３０５ フレーム符号化処理部
３０６ ＰＳＮＲ算出部
３０７ ＰＳＮＲ記憶部
３０８ ＰＳＮＲ目標値記憶部
３０９ 許容変動幅記憶部
３１０ ＰＳＮＲ比較部
３１１ 最大繰り返し符号化処理回数記憶部
３１２ 既符号化処理回数記憶部
３１３ 既符号化処理回数比較部
３１４ 量子化パラメータ更新部
３１５ 量子化パラメータ比較部
３１６ 符号化ストリーム記憶部
３１７ 出力符号化ストリーム選択部
４０１ フレーム復号処理部
４０２ フレーム復号信号記憶部
４０３ ＰＳＮＲ計算部
５０１ 量子化パラメータ更新方法判定部
５０２ 量子化パラメータ算出部（補正値加算型）
５０３ 線形近似式算出部
５０４ 近似直線パラメータ記憶部
５０５ 量子化パラメータ算出部（線形近似予測型）
５０６ 量子化パラメータ丸め処理部
３０２ 動き変化量記憶部
３０３ 許容変動幅算出部
３０４ 量子化パラメータ記憶部
３０５ フレーム符号化処理部
３０６ ＰＳＮＲ算出部
３０７ ＰＳＮＲ記憶部
３０８ ＰＳＮＲ目標値記憶部
３０９ 許容変動幅記憶部
３１０ ＰＳＮＲ比較部
３１１ 最大繰り返し符号化処理回数記憶部
３１２ 既符号化処理回数記憶部
３１３ 既符号化処理回数比較部
３１４ 量子化パラメータ更新部
３１５ 量子化パラメータ比較部
３１６ 符号化ストリーム記憶部
３１７ 出力符号化ストリーム選択部
４０１ フレーム復号処理部
４０２ フレーム復号信号記憶部
４０３ ＰＳＮＲ計算部
５０１ 量子化パラメータ更新方法判定部
５０２ 量子化パラメータ算出部（補正値加算型）
５０３ 線形近似式算出部
５０４ 近似直線パラメータ記憶部
５０５ 量子化パラメータ算出部（線形近似予測型）
５０６ 量子化パラメータ丸め処理部
Claims (6)
- フレーム画像信号に対して画面内または画面間予測を行い，その予測残差信号に対して直交変換を施し，その変換係数に対して量子化を行う動画像符号化方法において，
符号化対象フレーム全体の動きの変化量を解析し，解析した動きの変化量に基づいて量子化パラメータを更新するか否かの判定に用いる許容変動幅をフレームごとに適応的に定める過程と，
１フレームの符号化にあたって量子化パラメータを設定する過程と，
設定された量子化パラメータを用いて符号化対象フレームを符号化する符号化処理過程と，
符号化によって生成された符号化ストリームを復号し，復号した画像信号の画質を表す値と所定の画質を表す値の目標値との差が，前記許容変動幅以内であるかどうかを判定する判定処理過程と，
前記差が許容変動幅以内でない場合に，量子化パラメータを更新し，前記符号化処理過程と前記判定処理過程とを繰り返す過程と，
前記差が許容変動幅以内になった場合，または前記符号化対象フレームの符号化を所定の回数以上繰り返した場合に，当該フレームの符号化ストリームを出力する過程とを有する
ことを特徴とする動画像符号化方法。 - 請求項１記載の動画像符号化方法において，
前記量子化パラメータの更新を行う際に，外部から与えられる補正値を用いて，その値を直前の符号化処理に利用された量子化パラメータに加算することにより，量子化パラメータの値の更新を行う
ことを特徴とする動画像符号化方法。 - 請求項１記載の動画像符号化方法において，
前記量子化パラメータの更新を行う際に，それまでの符号化処理に利用した量子化パラメータの値と符号化の結果算出される画質を表す値との関係性を線形近似した直線式を利用することにより，量子化パラメータの値の更新を行う
ことを特徴とする動画像符号化方法。 - フレーム画像信号に対して画面内または画面間予測を行い，その予測残差信号に対して直交変換を施し，その変換係数に対して量子化を行う動画像符号化装置において，
符号化対象フレーム全体の動きの変化量を解析する手段と，
解析した動きの変化量に基づいて量子化パラメータを更新するか否かの判定に用いる許容変動幅をフレームごとに適応的に決定して記憶する手段と，
設定された量子化パラメータを記憶する手段と，
前記量子化パラメータを用いて符号化対象フレームを符号化するフレーム符号化処理手段と，
符号化によって生成された符号化ストリームを記憶する手段と，
前記符号化ストリームを復号し，復号した画像信号の画質を表す値を算出する手段と，
所定の画質を表す値の目標値を記憶する手段と，
算出された画像信号の画質を表す値と前記画質を表す値の目標値との差が前記許容変動幅以内であるかどうかを判定する手段と，
前記差が許容変動幅以内でない場合に，前記量子化パラメータを記憶する手段に記憶された量子化パラメータを更新し，再度，前記フレーム符号化処理手段に符号化対象フレームを符号化させる手段と，
前記差が許容変動幅以内になった場合，または前記符号化対象フレームの符号化を所定の回数以上繰り返した場合に，前記符号化ストリームを記憶する手段に記憶された符号化ストリームのうち前記差が最も小さい符号化ストリームを選択して出力する手段とを備える
ことを特徴とする動画像符号化装置。 - 請求項１から請求項３までのいずれか１項に記載された動画像符号化方法を，コンピュータに実行させるための動画像符号化プログラム。
- 請求項１から請求項３までのいずれか１項に記載された動画像符号化方法を，コンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006132231A JP4695016B2 (ja) | 2006-05-11 | 2006-05-11 | 動画像符号化方法，装置，プログラムおよびその記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006132231A JP4695016B2 (ja) | 2006-05-11 | 2006-05-11 | 動画像符号化方法，装置，プログラムおよびその記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007306277A JP2007306277A (ja) | 2007-11-22 |
| JP4695016B2 true JP4695016B2 (ja) | 2011-06-08 |
Family
ID=38839846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006132231A Expired - Fee Related JP4695016B2 (ja) | 2006-05-11 | 2006-05-11 | 動画像符号化方法，装置，プログラムおよびその記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4695016B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2101503A1 (en) * | 2008-03-11 | 2009-09-16 | British Telecommunications Public Limited Company | Video coding |
| KR101221984B1 (ko) | 2011-07-05 | 2013-01-15 | 고려대학교 산학협력단 | 영상압축성능을 고려한 멀티코어 프로세서용 영상압축방법 및 그 기록매체 |
| US10356405B2 (en) * | 2013-11-04 | 2019-07-16 | Integrated Device Technology, Inc. | Methods and apparatuses for multi-pass adaptive quantization |
| CN113938685B (zh) * | 2021-09-26 | 2023-04-11 | 中国科学院计算技术研究所 | 面向大规模图像存储的认知型软件可调整图像编码装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05219496A (ja) * | 1992-02-06 | 1993-08-27 | Olympus Optical Co Ltd | 画像符号化装置及び動画像符号化装置 |
| JPH07203430A (ja) * | 1993-12-28 | 1995-08-04 | Sharp Corp | 画像符号化装置 |
| JPH08162965A (ja) * | 1994-12-12 | 1996-06-21 | Nec Corp | デジタル画像圧縮装置 |
| JPH08172634A (ja) * | 1994-10-17 | 1996-07-02 | Sony Corp | 量子化装置および量子化方法 |
| JPH09191458A (ja) * | 1996-01-10 | 1997-07-22 | Nippon Columbia Co Ltd | 動画像圧縮符号化方法及びその装置 |
| JP2004032361A (ja) * | 2002-06-26 | 2004-01-29 | Victor Co Of Japan Ltd | 映像符号化装置 |
-
2006
- 2006-05-11 JP JP2006132231A patent/JP4695016B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05219496A (ja) * | 1992-02-06 | 1993-08-27 | Olympus Optical Co Ltd | 画像符号化装置及び動画像符号化装置 |
| JPH07203430A (ja) * | 1993-12-28 | 1995-08-04 | Sharp Corp | 画像符号化装置 |
| JPH08172634A (ja) * | 1994-10-17 | 1996-07-02 | Sony Corp | 量子化装置および量子化方法 |
| JPH08162965A (ja) * | 1994-12-12 | 1996-06-21 | Nec Corp | デジタル画像圧縮装置 |
| JPH09191458A (ja) * | 1996-01-10 | 1997-07-22 | Nippon Columbia Co Ltd | 動画像圧縮符号化方法及びその装置 |
| JP2004032361A (ja) * | 2002-06-26 | 2004-01-29 | Victor Co Of Japan Ltd | 映像符号化装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007306277A (ja) | 2007-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9912947B2 (en) | Content adaptive impairments compensation filtering for high efficiency video coding | |
| USRE46777E1 (en) | Quantization for hybrid video coding | |
| JP4901772B2 (ja) | 動画像符号化方法及び動画像符号化装置 | |
| US7925108B2 (en) | Encoding device and dynamic image recording system having the encoding device | |
| US8634462B2 (en) | Quantization for hybrid video coding | |
| US20060209952A1 (en) | Image encoding/decoding method and apparatus therefor | |
| US8891892B2 (en) | Image encoding method using adaptive preprocessing scheme | |
| ZA200403131B (en) | Global motion compensation for video pictures | |
| KR20100113448A (ko) | 화상 부호화 방법 및 화상 복호 방법 | |
| KR20100027384A (ko) | 예측 모드 결정 방법 및 장치 | |
| KR101621854B1 (ko) | Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치 | |
| CA2312359A1 (en) | Apparatus, method and computer program product for transcoding a coded moving picture sequence | |
| JP2004032718A (ja) | フェーディング推定／補償によりビデオフレームを処理するシステムおよび方法 | |
| JP4695016B2 (ja) | 動画像符号化方法，装置，プログラムおよびその記録媒体 | |
| JP2023542029A (ja) | 低ビット精度のニューラルネットワーク（ｎｎ）に基づくクロスコンポーネント予測のための方法、機器、及びコンピュータプログラム | |
| KR20140068137A (ko) | 인트라 인코딩된 이미지 블록들을 위한 적응적 양자화 | |
| KR100708182B1 (ko) | 동영상 부호화기의 비트율 제어 장치 및 방법 | |
| JP4130617B2 (ja) | 動画像符号化方法および動画像符号化装置 | |
| KR102532484B1 (ko) | 적어도 하나의 이미지를 나타내는 데이터 스트림을 인코딩 및 디코딩하는 방법 및 장치 | |
| US8582639B2 (en) | Methods and devices for data compression using adaptive reconstruction levels | |
| JPH09294267A (ja) | 画像圧縮符号化装置 | |
| WO2021262419A1 (en) | Adaptive quantizer design for video coding | |
| Lie et al. | Two-pass rate-distortion optimized rate control technique for H. 264/AVC video | |
| US8971393B2 (en) | Encoder | |
| JP2008245201A (ja) | 符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080529 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080801 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100331 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100706 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100713 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100813 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110222 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110224 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |