JP4033292B2 - 動画像符号化のための量子化制御方式 - Google Patents
動画像符号化のための量子化制御方式 Download PDFInfo
- Publication number
- JP4033292B2 JP4033292B2 JP2002164776A JP2002164776A JP4033292B2 JP 4033292 B2 JP4033292 B2 JP 4033292B2 JP 2002164776 A JP2002164776 A JP 2002164776A JP 2002164776 A JP2002164776 A JP 2002164776A JP 4033292 B2 JP4033292 B2 JP 4033292B2
- Authority
- JP
- Japan
- Prior art keywords
- macroblock
- parameter
- degree
- picture
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化のための量子化制御方式に関し、特に、ビットレートが制限された映像配信サービスなどにおいても画像全体の主観画質を向上させることができる動画像符号化のための量子化制御方式に関するものである。
【０００２】
【従来の技術】
動画像符号化の国際標準であるＭＰＥＧ−２の符号化検証モデルＴｅｓｔ Ｍｏｄｅｌ５［１］においては、図６にその概念を示すよう、マクロブロックごとの発生ビット数を入力し、目標符号化ビット数を出力する仮想バッファを導入し、発生ビット数の目標符号化ビット数に対する過不足をこの仮想バッファに蓄積し、量子化制御にフィードバックする。
【０００３】
ここではマクロブロック（16×16画素）ごとの重み係数、すなわち視覚感度ｗ（ｋ）を下記（１）式により算出し、量子化パラメータを、視覚感度ｗ（ｋ）と仮想バッファの占有量ｄとを用いて下記（２）式により算出する。なお、ピクチャの目標ビット数をＴ、ピクチャ内マクロブロック数をＭＢcntとすると、目標符号化ビット数は、Ｔ／ＭＢcntで表される。
量子化パラメータ＝占有量ｄ×視覚感度ｗ（ｋ） ・・・（２）
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来技術においては、（１）式から明らかなように、基本的に視覚感度をマクロブロックの輝度分散のみに基づいて決定しており、マクロブロックごとの重み付けが動画像に対する人間の視覚感度に対応した最適なものには必ずしもなっていないという問題がある。
【０００５】
また、マクロブロックを構成する8×8画素のブロックの輝度分散のうちの最も小さい輝度分散ａｃｋ（ｋ）を用いてマクロブロックの視覚感度ｗ（ｋ）を算出しているため、精細領域中に平坦ブロックが単独で存在する場合に、算出した視覚感度は、平坦ブロックを含むマクロブロックとそれを含まないマクロブロックとで大きく異なり、性質がほぼ等しいと考えられる精細領域どうしの視覚感度が大きく変動するという問題がある。
【０００６】
また、これにより算出した量子化パラメータを用いて量子化制御を行うと、単独で存在する平坦ブロックを含むマクロブロックは、ノイズがあまり目立たないにもかかわらず量子化が精細に行われ、それに対して多くのビット数が配分されるため、最適なビット配分がなされているとは言えない。
【０００７】
本発明の目的は、動画像に対する人間の視覚特性を高精度に表す視覚優先度に基づいてビット配分を最適にすることができ、その結果、制限されたビット数で画像全体の主観画質を向上させることができる動画像符号化のための量子化制御方式を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
前記した課題を解決するために、本発明は、入力されるピクチャ単位に、各マクロブロックを構成するブロックごとの輝度分散値を決定する輝度分散値決定手段と、前記輝度分散値に基づいて各マクロブロックごとに、輝度分散の度合いを示すテクスチャ属性パラメータを算出するテクスチャ属性パラメータ算出手段と、ピクチャ内の各オブジェクトについて人間が注視する度合いを、該オブジェクトに含まれるマクロブロックの動き量の平均、マクロブロックごとに動きが散乱している度合い、該オブジェクトがピクチャ内で目立つ度合いの少なくとも一つの指標を用いて数値化することによりオブジェクトごとの注視度を算出する注視度算出手段と、前記テクスチャ属性パラメータを前記注視度で除算することにより、各マクロブロックごとに、動画像に対する人間の視覚特性を表す視覚優先度パラメータを算出する視覚優先度パラメータ算出手段と、前記視覚優先度パラメータを当該ピクチャに対する平均量子化パラメータで除算することにより量子化パラメータを算出する量子化パラメータ算出手段とを備えた点に第１の特徴がある。
【０００９】
また、本発明は、前記テクスチャ属性パラメータ算出手段が、マクロブロックを構成するブロックごとの輝度分散値の内の最低値以外の輝度分散値、あるいはマクロブロックを構成するブロックごとの輝度分散値の平均値を用いて当該マクロブロックのテクスチャ属性パラメータを算出する点に第２の特徴がある。
【００１０】
また、本発明は、前記最低値以外の輝度分散値が、２番目に小さい輝度分散値である点に第３の特徴がある。
【００１１】
また、本発明は、前記テクスチャ属性パラメータ算出手段が、ピクチャ内オブジェクトの境界に位置するマクロブロックのテクスチャ属性パラメータについては隣接マクロブロックのテクスチャ属性パラメータおよびオブジェクトごとの注視度により修正する点に第４の特徴がある。
【００１２】
さらに、本発明は、前記オブジェクトごとの注視度が、該オブジェクトに含まれるマクロブロックの動き量の平均、マクロブロックごとに動きが散乱している度合い、該オブジェクトがピクチャ内で目立つ度合いの少なくとも一つの指標を用いて定義されたものである点に第５の特徴がある。
【００１３】
第１の特徴によれば、マクロブロックごとのテクスチャ属性パラメータをオブジェクトごとの注視度で除算することにより、各マクロブロックごとに、動画像に対する人間の視覚特性を表す視覚優先度パラメータを算出しているため、マクロブロックの輝度分散のみに基づいて視覚感度を算出するものに較べて人間の視覚特性により適合した量子化を行うことができ、画像全体の主観画質を向上させることができる。
【００１４】
また、第２および第３の特徴によれば、精細なマクロブロック中に平坦なブロックが単独に存在する場合でも不必要にビットが消費されることがなくなり、ビット配分を最適化できる。
【００１５】
さらに、第４の特徴によれば、色の変化の大きい部分やエッジ部を人間の視覚特性に対応して鮮明にすることができる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る量子化制御方式が適用される動画像符号化装置の一例のブロック構成図である。同図において、減算器１１は、入力画像ａから動き補償予測部１２で得られた予測画像を減算し、予測誤差信号を生成する。この予測誤差信号は、ＤＣＴ（直交変換）部１３において、例えば8×8画素のブロック単位でＤＣＴ係数に変換される。
【００１７】
量子化部１４は、量子化制御部１５からの量子化パラメータに従ってＤＣＴ係数を量子化する。量子化制御部１５は、前処理部１６から入力されるオブジェクトごとへのクラスタリング結果およびオブジェクトごとの注視度、当該ピクチャ（画面）について設定された目標誤差電力に基づいて量子化パラメータを算出する。量子化部１４の出力は、可変長符号化（ＶＬＣ）部１５で可変長符号化された後、動きベクトル情報と共に多重化されてバッファに一時的に蓄えられる。
【００１８】
また、量子化部１４からの出力は、逆量子化部１８で逆量子化され、逆ＤＣＴ部１９で予測誤差信号に再生され、加算器２０で動き補償予測部１２からの予測画像と加算される。この加算により得れらた復号画像は、フレームメモリ２１に蓄積される。
【００１９】
動き検出部２２は、順次入力される入力画像ａにもとづいて画像の動きを検出し、動きベクトル情報を出力する。この画像の動きは、例えば16×16画素のマクロブロックを単位として検出される。動き補償予測部１２は、フレームメモリ２１に蓄積された復号画像と動き検出部２２からの動きベクトル情報とにより予測画像を生成し、減算器１１と加算器２０に出力する。なお、切換スイッチ部２３は、動画像シーケンスの最初やシーン・チェンジなどでフレーム間予測を行わないように切り変えるものである。このときにはフレーム内予測を行うのが普通である。
【００２０】
図２は、本発明に係る量子化制御方式の一実施形態の処理フローを示し、図１の量子化制御部１５での処理である。この量子化制御方式は、入力画像、ピクチャ内オブジェクトを構成するマクロブロックグループ（以下、ＭＢグループと記し、これをｊで識別する。）へのクラスタリング結果およびＭＢグループごとの注視度ｖ（ｊ）、ピクチャについて設定された目標量子化誤差電力Ｄを入力とし、マクロブロック（これをｋで識別する。）ごとの量子化パラメータＱ（ｋ）を算出する。量子化パラメータＱ（ｋ）は、マクロブロックレイヤでのビット配分を決定するために量子化部１４（図１）に与えられる。
【００２１】
まず、ピクチャ内のオブジェクトに対応して、マクロブロックをＭＢグループへグループ化（クラスタリング）する処理、ＭＢグループごとの注視度ｖ（ｊ）を取得する処理について説明する。この処理は、前処理部１６（図１）で行われる。
【００２２】
マクロブロックのＭＢグループへのグループ化は、ピクチャレイヤでマクロブロックをその属性に基づいてグループ化することにより行われる。このグループ化は、ピクチャ内オブジェクトを抽出することと言える。このグループ化のための基準とする属性（分類基準値）は、マクロブロックごとの輝度成分、色差成分、動き量のうちの少なくとも一つ指標を用いて定義することができる。この処理により、例えば人物、車両、背景、あるいはそれらが画像特徴にしたがってさらに区分された部分ごとにマクロブロックをグループ化できる。
【００２３】
図３は、動き量と２つの色差成分Ｐｂ、Ｐｒ（0〜255レベル）とからなる３次元座標を分類基準値とする例を示し、ピクチャ内の各マクロブロックについて動き量および色差成分Ｐｂ、Ｐｒを求めてこの３次元座標上にプロットし、３次元座標位置の近いマクロブロックを同一グループとしてグループ化する。例えば、動き量を２段階に分け、色差成分Ｐｂ、Ｐｒをそれぞれ５段階に分ければ、マクロブロックを最大５０種類の属性のものにグループ化することができる。
【００２４】
なお、色差成分Ｐｂ、Ｐｒは、マクロブロックにおける各色差成分の平均値とすればよく、マクロブロックの動き量は、まず、再生順における直前のフレームを参照してマクロブロックの動きベクトルＶｆ（ｋ）を求め、次に、この動きベクトルＶｆ（ｋ）に対してパンやズームなどのカメラ操作に起因する成分を除くグローバル動き補正を行ってオブジェクトに特化した動きのみを示す補正ベクトルＶｇ（ｋ）を求め、その絶対値｜Ｖｇ（ｋ）｜を動き量とすることにより求めることができる。
【００２５】
注視度ｖ（ｊ）は、ピクチャ内の各部分について人間が注視する度合いを表すものであり、一般にピクチャ内のオブジェクトごとに異なっていると考えられる。したがって、前記のようにして得られたＭＢグループについて適当な指標を用いて数値化することによりオブジェクトごとの注視度ｖ（ｊ）を得ることができる。
【００２６】
人間の動視力特性は、その部分のピクチャ内での動きや周囲との差異などに関係するため、注視度ｖ（ｊ）を得るに際しての指標を、オブジェクトに含まれるマクロブロックの動き量の平均Ｌ（ｊ）、オブジェクト内でマクロブロックごとに動きが散乱している度合Ｒ（ｊ）、オブジェクトがピクチャ内で目立つ度合いＫ（ｊ）のうちの少なくとも一つとすることができる。
【００２７】
前記３つの指標Ｌ（ｊ）、Ｒ（ｊ）、Ｋ（ｊ）を用いて注視度ｖ（ｊ）を算出する場合には、オブジェクトに含まれるマクロブロックの動き量の平均Ｌ（ｊ）を、グローバル補正前の動き量Ｖｆ（ｋ）の絶対値｜Ｖｆ（ｋ）｜のＭＢグループ内平均を求めることにより算出する。
【００２８】
また、オブジェクト内でマクロブロックごとに動きが散乱している度合Ｒ（ｊ）を、同一ＭＢグループ内の全マクロブロックについて、同一ＭＢブロックに含まれる隣接マクロブロック（これをｋ′で識別する。）に対するＶｇ（ｋ）の散乱度Ｒ（ｊ，ｋ）を下記（３）式に従い算出した上で、ＭＢグループ内平均を求めることにより算出する。
ここで、Ｖｇｘ、Ｖｇｙは、Ｖｇのそれぞれｘ軸方向成分、ｙ軸方向成分を表す。
【００２９】
また、当該オブジェクトがピクチャ内で目立つ度合いＫ（ｊ）を、当該オブジェクトの希少性Ｋａ（ｊ）と異質性Ｋｂ（ｊ）とから算出する。希少性Ｋａ（ｊ）は、ＭＢグループ内の平均動き量、平均色差成分によりオブジェクトをマクロブロックの分類基準値に基づいて、例えば５０種類に分類し、それら分類されたもののピクチャ内での発生頻度を表すヒストグラムを求め、発生頻度が小さいものほど値が大きくなるようにされたものとして定義される。
【００３０】
また、異質性Ｋｂ（ｊ）は、異なるＭＢグループと隣接するポイント（これをｐで識別する。）において、ＭＢグループ間での分類基準値の差Ｋｂ（ｊ，ｐ）を求め、この差Ｋｂ（ｊ，ｐ）のＭＢグループ内平均を求めることにより算出できる。
【００３１】
オブジェクトがピクチャ内で目立つ度合いＫ（ｊ）は、前記のようにして算出した希少性Ｋａ（ｊ）と異質性Ｋｂ（ｊ）とから下記（４）、（５）式により算出できる。ただし、関数Ｓは、引数とする関数の出力を平滑化するために導入するシグモイド関数である。
Ｓ（Ｋａ（ｊ））×Ｓ（Ｋｂ（ｊ））＞１ の場合
Ｋ（ｊ）＝Ｓ（Ｋａ（ｊ））×Ｓ（Ｋｂ（ｊ））・・・（４）
それ以外の場合 Ｋ（ｊ）＝１ ・・・（５）
【００３２】
各オブジェクトについての注視度ｖ（ｊ）は、前記のようにして算出した３つの指標Ｌ（ｊ）、Ｒ（ｊ）、Ｋ（ｊ）を用いて下記（６）式により算出できる。
ｖ（ｊ）＝Ｓ（Ｋ（ｊ））／（Ｓ（Ｌ（ｊ））×Ｓ（Ｒ（ｊ）））・・・（６）
【００３３】
これにより算出した注視度ｖ（ｊ）は、動きが小さく、動きの散乱が小さく、ピクチャ内で目立っているオブジェクトに対して大きな値となり、人間の動視力特性および注視特性に合ったものとなる。
【００３４】
次に、量子化制御について図２のフローに従って順に説明する。まず、マクロブロックを構成する、例えば8×8画素のブロック（これをｌで識別する。）の輝度分散値ｃｌｖ（ｌ）を決定する（Ｓ１）。この輝度分散値ｃｌｖ（ｌ）としては、当該ブロック及びその上下左右に隣接する４ブロックの計５ブロックの輝度分散値をそれぞれ算出し、それらにランク オーダ フィルタ（rank order filter）を適用し、最低値以外の輝度分散値、例えば２番目に小さな値を抽出したものを補正された輝度分散値として適用する。なお、各ブロックについての補正された輝度分散値として最小値を抽出すると、単独の孤立した平坦ブロックの輝度分散値が適用されてしまうため、前記のように最低値以外の輝度分散値、例えば２番目に小さな値を適用することが好ましい。
【００３５】
次に、ブロックごとの輝度分散値ｃｌｖ（ｌ）に基づいてマクロブロックのテクスチャ属性パラメータｔ（ｋ）を算出する（Ｓ２）。テクスチャ属性パラメータｔ（ｋ）は、ＭＢグループあるいはマクロブロックに属するブロックの輝度分散値ｃｌｖ（ｌ）の平均値あるいは最小値Ａ（ｋ）を求め、これをシグモイド関数Ｓに適用することにより下記（７）式で求めることができる。
ｔ（ｋ）＝Ｓ（Ａ（ｋ）） ・・・（７）
【００３６】
なお、飛び越し走査により動画像が再生されるものである場合には、図４に示すように、フレームにおけるブロックの輝度分散ａｘ，ｙ以外に、当該フレームを構成する第１フィールドおよび第２フィールドのブロックにおける輝度分散ｂｘ，ｙにフィルタを適用してそれぞれ、例えば２番目に小さな値ａ′０，０、・・・を抽出し、それらを含めた輝度分散の内の最小値あるいは平均値を当該マクロブロックの補正輝度分散値Ａ（ｋ）とすることが好ましい。
【００３７】
ここで、ＭＢグループどうしの境界に位置するマクロブロックでは、隣接するＭＢグループの属性が混在している可能性が高い。さらに、そのようなマクロブロックは、人間は色の変化が大きい部分あるいはエッジ部を注視する傾向がある、という部分に該当する可能性が高い。そのため、このような領域では、視覚優先度を高くすることにより主観画質の向上が期待できる。そこで、先に前処理部で得られた、ピクチャ内のオブジェクトを構成するマクロブロックグループへのクラスタリング結果を用いてマクロブロックがＭＢグループの境界に位置するか否かを調べ（Ｓ３）、境界に位置するマクロブロックＢＭＢに対しては、図５に示すように、次の操作を施す。
【００３８】
まず、ＢＭＢおよびその上下左右に隣接する４つのマクロブロックのオブジェクト注視度ｖ（ｊ０）の最大値をｖｍａｘ、ＢＭＢおよびその上下左右に隣接する４つのマクロブロックのテクスチャ属性パラメータｔ（ｋ）の最小値をｔｍｉｎとしたとき（Ｓ４）、これら最大値ｖｍａｘおよび最小値ｔｍｉｎを用いてＢＭＢのテクスチャ属性ｔ（ｋ）を下記（８）式により修正する（Ｓ５）。
ｔ（ｋ）＝（ｖ（ｊ０）／ｖｍａｘ）×ｔｍｉｎ ・・・（８）
【００３９】
次に、視覚優先度パラメータｗ（ｋ）を、前記（６）、（７）あるいは（８）式で求めたｖ（ｊ）およびｔ（ｋ）を用いて下記（９）式によりを算出する（Ｓ６）。
ｗ（ｋ）＝ｔ（ｋ）／ｖ（ｊ） ・・・（９）
この視覚優先度パラメータｗ（ｋ）は、マクロブロックごとの量子化パラメータＱ（ｋ）を算出（Ｓ７）するために使用される。
【００４０】
量子化パラメータＱ（ｋ）は、ピクチャ単位で設定された当該ピクチャの目標量子化誤差電力Ｄに近づけるべく、当該ピクチャに対する平均量子化パラメータＱＡＶＥ（ｉ）を設定した後、下記（１０）式により求めることができる。
Ｑ（ｋ）＝ｗ（ｋ）／ＱＡＶＥ（ｉ） ・・・（１０）
【００４１】
なお、ピクチャレイヤでの目標量子化誤差電力Dの設定については、本出願人による既出願（特願2001-370521号）の明細書中に記載しているので、詳細な説明は省略するが、その概略は、ピクチャごとの割り当てビット数とＤＣＴ計数の分散の関数であるレート−歪みの関係式からピクチャごとの量子化誤差電力を算出し、算出された量子化誤差電力に基づいて目標量子化誤差電力を設定するというものである。
【００４２】
以上のようにして算出した量子化パラメータＱ（ｋ）を用いて量子化を行い、ビット配分を行うことにより、視覚優先度パラメータｗ（ｋ）の変動が平均量子化パラメータＱＡＶＥ（ｉ）の設定により吸収されるため、視覚優先度パラメータｗ（ｋ）を正規化する必要がない。
【００４３】
以上、本発明の実施形態について説明したが、本発明は、種々に変更および修正が可能である。例えば、オブジェクトの抽出、すなわちマクロブロックのグループ化に際し、分類基準により分類されたＭＢグループの面積が小さい場合、上下左右方向で隣接する、分類基準値の近い隣接ＭＢグループを、ＭＢグループの面積が予め決められた面積を上回るまで統合して最終的なＭＢグループとすることができ、これによれば算出される視覚優先度を劣化させることなく処理を軽減することができる。
【００４４】
また、オブジェクトに含まれるマクロブロックの動き量の平均Ｌ（ｊ）を算出するに際し、他のものから極端に異なっている動き量を算出から除外するようにすることにより、ノイズなどの影響をなくすことができる。
【００４５】
【発明の効果】
以上に詳細に説明したように、本発明によれば、符号化に先立ってピクチャ内のオブジェクトおよびマクロブロックの構成を高精度に解析することができ、符号化部にてピクチャ内の局所的なビット配分を最適化できる。これにより視覚的に目立たない領域での劣化はあるものの、視覚的に目立つ領域での符号化性能の向上が顕著であるため、画像全体の主観画質を向上することができる。
【００４６】
動画像符号化を用いた映像伝送サービスにおいては、殆ど量子化が行われているため、本発明は、映像伝送サービスに広く適用可能である。
【図面の簡単な説明】
【図１】 本発明に係る前処理部と動画像符号化部を備えた動画像符号化装置の一例のブロック構成図である。
【図２】 図１の前処理部における処理の一実施形態のフロー図である。
【図３】 オブジェクト抽出のための分類基準の説明図である。
【図４】 テクスチャ属性パラメータの決定の原理説明図である。
【図５】 境界に位置するマクロブロックに対する操作の説明図である。
【図６】 MPEG-2の符号化検証モデルTest Model5[1]の概念図である。
【符号の説明】
１１・・・減算器、１２・・・動き補償予測部、１３・・・ＤＣＴ部、１４・・・量子化部、１５・・・量子化制御部、１６・・・前処理部、１７・・・ＶＬＣ、１８・・・逆量子化部、１９・・・逆ＤＣＴ部、２０・・・加算器、２１・・・フレームメモリ、２２・・・動き検出部、２３・・・切換スイッチ部
【発明の属する技術分野】
本発明は、動画像符号化のための量子化制御方式に関し、特に、ビットレートが制限された映像配信サービスなどにおいても画像全体の主観画質を向上させることができる動画像符号化のための量子化制御方式に関するものである。
【０００２】
【従来の技術】
動画像符号化の国際標準であるＭＰＥＧ−２の符号化検証モデルＴｅｓｔ Ｍｏｄｅｌ５［１］においては、図６にその概念を示すよう、マクロブロックごとの発生ビット数を入力し、目標符号化ビット数を出力する仮想バッファを導入し、発生ビット数の目標符号化ビット数に対する過不足をこの仮想バッファに蓄積し、量子化制御にフィードバックする。
【０００３】
ここではマクロブロック（16×16画素）ごとの重み係数、すなわち視覚感度ｗ（ｋ）を下記（１）式により算出し、量子化パラメータを、視覚感度ｗ（ｋ）と仮想バッファの占有量ｄとを用いて下記（２）式により算出する。なお、ピクチャの目標ビット数をＴ、ピクチャ内マクロブロック数をＭＢcntとすると、目標符号化ビット数は、Ｔ／ＭＢcntで表される。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来技術においては、（１）式から明らかなように、基本的に視覚感度をマクロブロックの輝度分散のみに基づいて決定しており、マクロブロックごとの重み付けが動画像に対する人間の視覚感度に対応した最適なものには必ずしもなっていないという問題がある。
【０００５】
また、マクロブロックを構成する8×8画素のブロックの輝度分散のうちの最も小さい輝度分散ａｃｋ（ｋ）を用いてマクロブロックの視覚感度ｗ（ｋ）を算出しているため、精細領域中に平坦ブロックが単独で存在する場合に、算出した視覚感度は、平坦ブロックを含むマクロブロックとそれを含まないマクロブロックとで大きく異なり、性質がほぼ等しいと考えられる精細領域どうしの視覚感度が大きく変動するという問題がある。
【０００６】
また、これにより算出した量子化パラメータを用いて量子化制御を行うと、単独で存在する平坦ブロックを含むマクロブロックは、ノイズがあまり目立たないにもかかわらず量子化が精細に行われ、それに対して多くのビット数が配分されるため、最適なビット配分がなされているとは言えない。
【０００７】
本発明の目的は、動画像に対する人間の視覚特性を高精度に表す視覚優先度に基づいてビット配分を最適にすることができ、その結果、制限されたビット数で画像全体の主観画質を向上させることができる動画像符号化のための量子化制御方式を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
前記した課題を解決するために、本発明は、入力されるピクチャ単位に、各マクロブロックを構成するブロックごとの輝度分散値を決定する輝度分散値決定手段と、前記輝度分散値に基づいて各マクロブロックごとに、輝度分散の度合いを示すテクスチャ属性パラメータを算出するテクスチャ属性パラメータ算出手段と、ピクチャ内の各オブジェクトについて人間が注視する度合いを、該オブジェクトに含まれるマクロブロックの動き量の平均、マクロブロックごとに動きが散乱している度合い、該オブジェクトがピクチャ内で目立つ度合いの少なくとも一つの指標を用いて数値化することによりオブジェクトごとの注視度を算出する注視度算出手段と、前記テクスチャ属性パラメータを前記注視度で除算することにより、各マクロブロックごとに、動画像に対する人間の視覚特性を表す視覚優先度パラメータを算出する視覚優先度パラメータ算出手段と、前記視覚優先度パラメータを当該ピクチャに対する平均量子化パラメータで除算することにより量子化パラメータを算出する量子化パラメータ算出手段とを備えた点に第１の特徴がある。
【０００９】
また、本発明は、前記テクスチャ属性パラメータ算出手段が、マクロブロックを構成するブロックごとの輝度分散値の内の最低値以外の輝度分散値、あるいはマクロブロックを構成するブロックごとの輝度分散値の平均値を用いて当該マクロブロックのテクスチャ属性パラメータを算出する点に第２の特徴がある。
【００１０】
また、本発明は、前記最低値以外の輝度分散値が、２番目に小さい輝度分散値である点に第３の特徴がある。
【００１１】
また、本発明は、前記テクスチャ属性パラメータ算出手段が、ピクチャ内オブジェクトの境界に位置するマクロブロックのテクスチャ属性パラメータについては隣接マクロブロックのテクスチャ属性パラメータおよびオブジェクトごとの注視度により修正する点に第４の特徴がある。
【００１２】
さらに、本発明は、前記オブジェクトごとの注視度が、該オブジェクトに含まれるマクロブロックの動き量の平均、マクロブロックごとに動きが散乱している度合い、該オブジェクトがピクチャ内で目立つ度合いの少なくとも一つの指標を用いて定義されたものである点に第５の特徴がある。
【００１３】
第１の特徴によれば、マクロブロックごとのテクスチャ属性パラメータをオブジェクトごとの注視度で除算することにより、各マクロブロックごとに、動画像に対する人間の視覚特性を表す視覚優先度パラメータを算出しているため、マクロブロックの輝度分散のみに基づいて視覚感度を算出するものに較べて人間の視覚特性により適合した量子化を行うことができ、画像全体の主観画質を向上させることができる。
【００１４】
また、第２および第３の特徴によれば、精細なマクロブロック中に平坦なブロックが単独に存在する場合でも不必要にビットが消費されることがなくなり、ビット配分を最適化できる。
【００１５】
さらに、第４の特徴によれば、色の変化の大きい部分やエッジ部を人間の視覚特性に対応して鮮明にすることができる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る量子化制御方式が適用される動画像符号化装置の一例のブロック構成図である。同図において、減算器１１は、入力画像ａから動き補償予測部１２で得られた予測画像を減算し、予測誤差信号を生成する。この予測誤差信号は、ＤＣＴ（直交変換）部１３において、例えば8×8画素のブロック単位でＤＣＴ係数に変換される。
【００１７】
量子化部１４は、量子化制御部１５からの量子化パラメータに従ってＤＣＴ係数を量子化する。量子化制御部１５は、前処理部１６から入力されるオブジェクトごとへのクラスタリング結果およびオブジェクトごとの注視度、当該ピクチャ（画面）について設定された目標誤差電力に基づいて量子化パラメータを算出する。量子化部１４の出力は、可変長符号化（ＶＬＣ）部１５で可変長符号化された後、動きベクトル情報と共に多重化されてバッファに一時的に蓄えられる。
【００１８】
また、量子化部１４からの出力は、逆量子化部１８で逆量子化され、逆ＤＣＴ部１９で予測誤差信号に再生され、加算器２０で動き補償予測部１２からの予測画像と加算される。この加算により得れらた復号画像は、フレームメモリ２１に蓄積される。
【００１９】
動き検出部２２は、順次入力される入力画像ａにもとづいて画像の動きを検出し、動きベクトル情報を出力する。この画像の動きは、例えば16×16画素のマクロブロックを単位として検出される。動き補償予測部１２は、フレームメモリ２１に蓄積された復号画像と動き検出部２２からの動きベクトル情報とにより予測画像を生成し、減算器１１と加算器２０に出力する。なお、切換スイッチ部２３は、動画像シーケンスの最初やシーン・チェンジなどでフレーム間予測を行わないように切り変えるものである。このときにはフレーム内予測を行うのが普通である。
【００２０】
図２は、本発明に係る量子化制御方式の一実施形態の処理フローを示し、図１の量子化制御部１５での処理である。この量子化制御方式は、入力画像、ピクチャ内オブジェクトを構成するマクロブロックグループ（以下、ＭＢグループと記し、これをｊで識別する。）へのクラスタリング結果およびＭＢグループごとの注視度ｖ（ｊ）、ピクチャについて設定された目標量子化誤差電力Ｄを入力とし、マクロブロック（これをｋで識別する。）ごとの量子化パラメータＱ（ｋ）を算出する。量子化パラメータＱ（ｋ）は、マクロブロックレイヤでのビット配分を決定するために量子化部１４（図１）に与えられる。
【００２１】
まず、ピクチャ内のオブジェクトに対応して、マクロブロックをＭＢグループへグループ化（クラスタリング）する処理、ＭＢグループごとの注視度ｖ（ｊ）を取得する処理について説明する。この処理は、前処理部１６（図１）で行われる。
【００２２】
マクロブロックのＭＢグループへのグループ化は、ピクチャレイヤでマクロブロックをその属性に基づいてグループ化することにより行われる。このグループ化は、ピクチャ内オブジェクトを抽出することと言える。このグループ化のための基準とする属性（分類基準値）は、マクロブロックごとの輝度成分、色差成分、動き量のうちの少なくとも一つ指標を用いて定義することができる。この処理により、例えば人物、車両、背景、あるいはそれらが画像特徴にしたがってさらに区分された部分ごとにマクロブロックをグループ化できる。
【００２３】
図３は、動き量と２つの色差成分Ｐｂ、Ｐｒ（0〜255レベル）とからなる３次元座標を分類基準値とする例を示し、ピクチャ内の各マクロブロックについて動き量および色差成分Ｐｂ、Ｐｒを求めてこの３次元座標上にプロットし、３次元座標位置の近いマクロブロックを同一グループとしてグループ化する。例えば、動き量を２段階に分け、色差成分Ｐｂ、Ｐｒをそれぞれ５段階に分ければ、マクロブロックを最大５０種類の属性のものにグループ化することができる。
【００２４】
なお、色差成分Ｐｂ、Ｐｒは、マクロブロックにおける各色差成分の平均値とすればよく、マクロブロックの動き量は、まず、再生順における直前のフレームを参照してマクロブロックの動きベクトルＶｆ（ｋ）を求め、次に、この動きベクトルＶｆ（ｋ）に対してパンやズームなどのカメラ操作に起因する成分を除くグローバル動き補正を行ってオブジェクトに特化した動きのみを示す補正ベクトルＶｇ（ｋ）を求め、その絶対値｜Ｖｇ（ｋ）｜を動き量とすることにより求めることができる。
【００２５】
注視度ｖ（ｊ）は、ピクチャ内の各部分について人間が注視する度合いを表すものであり、一般にピクチャ内のオブジェクトごとに異なっていると考えられる。したがって、前記のようにして得られたＭＢグループについて適当な指標を用いて数値化することによりオブジェクトごとの注視度ｖ（ｊ）を得ることができる。
【００２６】
人間の動視力特性は、その部分のピクチャ内での動きや周囲との差異などに関係するため、注視度ｖ（ｊ）を得るに際しての指標を、オブジェクトに含まれるマクロブロックの動き量の平均Ｌ（ｊ）、オブジェクト内でマクロブロックごとに動きが散乱している度合Ｒ（ｊ）、オブジェクトがピクチャ内で目立つ度合いＫ（ｊ）のうちの少なくとも一つとすることができる。
【００２７】
前記３つの指標Ｌ（ｊ）、Ｒ（ｊ）、Ｋ（ｊ）を用いて注視度ｖ（ｊ）を算出する場合には、オブジェクトに含まれるマクロブロックの動き量の平均Ｌ（ｊ）を、グローバル補正前の動き量Ｖｆ（ｋ）の絶対値｜Ｖｆ（ｋ）｜のＭＢグループ内平均を求めることにより算出する。
【００２８】
また、オブジェクト内でマクロブロックごとに動きが散乱している度合Ｒ（ｊ）を、同一ＭＢグループ内の全マクロブロックについて、同一ＭＢブロックに含まれる隣接マクロブロック（これをｋ′で識別する。）に対するＶｇ（ｋ）の散乱度Ｒ（ｊ，ｋ）を下記（３）式に従い算出した上で、ＭＢグループ内平均を求めることにより算出する。
【００２９】
また、当該オブジェクトがピクチャ内で目立つ度合いＫ（ｊ）を、当該オブジェクトの希少性Ｋａ（ｊ）と異質性Ｋｂ（ｊ）とから算出する。希少性Ｋａ（ｊ）は、ＭＢグループ内の平均動き量、平均色差成分によりオブジェクトをマクロブロックの分類基準値に基づいて、例えば５０種類に分類し、それら分類されたもののピクチャ内での発生頻度を表すヒストグラムを求め、発生頻度が小さいものほど値が大きくなるようにされたものとして定義される。
【００３０】
また、異質性Ｋｂ（ｊ）は、異なるＭＢグループと隣接するポイント（これをｐで識別する。）において、ＭＢグループ間での分類基準値の差Ｋｂ（ｊ，ｐ）を求め、この差Ｋｂ（ｊ，ｐ）のＭＢグループ内平均を求めることにより算出できる。
【００３１】
オブジェクトがピクチャ内で目立つ度合いＫ（ｊ）は、前記のようにして算出した希少性Ｋａ（ｊ）と異質性Ｋｂ（ｊ）とから下記（４）、（５）式により算出できる。ただし、関数Ｓは、引数とする関数の出力を平滑化するために導入するシグモイド関数である。
Ｓ（Ｋａ（ｊ））×Ｓ（Ｋｂ（ｊ））＞１ の場合
Ｋ（ｊ）＝Ｓ（Ｋａ（ｊ））×Ｓ（Ｋｂ（ｊ））・・・（４）
それ以外の場合 Ｋ（ｊ）＝１ ・・・（５）
【００３２】
各オブジェクトについての注視度ｖ（ｊ）は、前記のようにして算出した３つの指標Ｌ（ｊ）、Ｒ（ｊ）、Ｋ（ｊ）を用いて下記（６）式により算出できる。
ｖ（ｊ）＝Ｓ（Ｋ（ｊ））／（Ｓ（Ｌ（ｊ））×Ｓ（Ｒ（ｊ）））・・・（６）
【００３３】
これにより算出した注視度ｖ（ｊ）は、動きが小さく、動きの散乱が小さく、ピクチャ内で目立っているオブジェクトに対して大きな値となり、人間の動視力特性および注視特性に合ったものとなる。
【００３４】
次に、量子化制御について図２のフローに従って順に説明する。まず、マクロブロックを構成する、例えば8×8画素のブロック（これをｌで識別する。）の輝度分散値ｃｌｖ（ｌ）を決定する（Ｓ１）。この輝度分散値ｃｌｖ（ｌ）としては、当該ブロック及びその上下左右に隣接する４ブロックの計５ブロックの輝度分散値をそれぞれ算出し、それらにランク オーダ フィルタ（rank order filter）を適用し、最低値以外の輝度分散値、例えば２番目に小さな値を抽出したものを補正された輝度分散値として適用する。なお、各ブロックについての補正された輝度分散値として最小値を抽出すると、単独の孤立した平坦ブロックの輝度分散値が適用されてしまうため、前記のように最低値以外の輝度分散値、例えば２番目に小さな値を適用することが好ましい。
【００３５】
次に、ブロックごとの輝度分散値ｃｌｖ（ｌ）に基づいてマクロブロックのテクスチャ属性パラメータｔ（ｋ）を算出する（Ｓ２）。テクスチャ属性パラメータｔ（ｋ）は、ＭＢグループあるいはマクロブロックに属するブロックの輝度分散値ｃｌｖ（ｌ）の平均値あるいは最小値Ａ（ｋ）を求め、これをシグモイド関数Ｓに適用することにより下記（７）式で求めることができる。
ｔ（ｋ）＝Ｓ（Ａ（ｋ）） ・・・（７）
【００３６】
なお、飛び越し走査により動画像が再生されるものである場合には、図４に示すように、フレームにおけるブロックの輝度分散ａｘ，ｙ以外に、当該フレームを構成する第１フィールドおよび第２フィールドのブロックにおける輝度分散ｂｘ，ｙにフィルタを適用してそれぞれ、例えば２番目に小さな値ａ′０，０、・・・を抽出し、それらを含めた輝度分散の内の最小値あるいは平均値を当該マクロブロックの補正輝度分散値Ａ（ｋ）とすることが好ましい。
【００３７】
ここで、ＭＢグループどうしの境界に位置するマクロブロックでは、隣接するＭＢグループの属性が混在している可能性が高い。さらに、そのようなマクロブロックは、人間は色の変化が大きい部分あるいはエッジ部を注視する傾向がある、という部分に該当する可能性が高い。そのため、このような領域では、視覚優先度を高くすることにより主観画質の向上が期待できる。そこで、先に前処理部で得られた、ピクチャ内のオブジェクトを構成するマクロブロックグループへのクラスタリング結果を用いてマクロブロックがＭＢグループの境界に位置するか否かを調べ（Ｓ３）、境界に位置するマクロブロックＢＭＢに対しては、図５に示すように、次の操作を施す。
【００３８】
まず、ＢＭＢおよびその上下左右に隣接する４つのマクロブロックのオブジェクト注視度ｖ（ｊ０）の最大値をｖｍａｘ、ＢＭＢおよびその上下左右に隣接する４つのマクロブロックのテクスチャ属性パラメータｔ（ｋ）の最小値をｔｍｉｎとしたとき（Ｓ４）、これら最大値ｖｍａｘおよび最小値ｔｍｉｎを用いてＢＭＢのテクスチャ属性ｔ（ｋ）を下記（８）式により修正する（Ｓ５）。
ｔ（ｋ）＝（ｖ（ｊ０）／ｖｍａｘ）×ｔｍｉｎ ・・・（８）
【００３９】
次に、視覚優先度パラメータｗ（ｋ）を、前記（６）、（７）あるいは（８）式で求めたｖ（ｊ）およびｔ（ｋ）を用いて下記（９）式によりを算出する（Ｓ６）。
ｗ（ｋ）＝ｔ（ｋ）／ｖ（ｊ） ・・・（９）
この視覚優先度パラメータｗ（ｋ）は、マクロブロックごとの量子化パラメータＱ（ｋ）を算出（Ｓ７）するために使用される。
【００４０】
量子化パラメータＱ（ｋ）は、ピクチャ単位で設定された当該ピクチャの目標量子化誤差電力Ｄに近づけるべく、当該ピクチャに対する平均量子化パラメータＱＡＶＥ（ｉ）を設定した後、下記（１０）式により求めることができる。
Ｑ（ｋ）＝ｗ（ｋ）／ＱＡＶＥ（ｉ） ・・・（１０）
【００４１】
なお、ピクチャレイヤでの目標量子化誤差電力Dの設定については、本出願人による既出願（特願2001-370521号）の明細書中に記載しているので、詳細な説明は省略するが、その概略は、ピクチャごとの割り当てビット数とＤＣＴ計数の分散の関数であるレート−歪みの関係式からピクチャごとの量子化誤差電力を算出し、算出された量子化誤差電力に基づいて目標量子化誤差電力を設定するというものである。
【００４２】
以上のようにして算出した量子化パラメータＱ（ｋ）を用いて量子化を行い、ビット配分を行うことにより、視覚優先度パラメータｗ（ｋ）の変動が平均量子化パラメータＱＡＶＥ（ｉ）の設定により吸収されるため、視覚優先度パラメータｗ（ｋ）を正規化する必要がない。
【００４３】
以上、本発明の実施形態について説明したが、本発明は、種々に変更および修正が可能である。例えば、オブジェクトの抽出、すなわちマクロブロックのグループ化に際し、分類基準により分類されたＭＢグループの面積が小さい場合、上下左右方向で隣接する、分類基準値の近い隣接ＭＢグループを、ＭＢグループの面積が予め決められた面積を上回るまで統合して最終的なＭＢグループとすることができ、これによれば算出される視覚優先度を劣化させることなく処理を軽減することができる。
【００４４】
また、オブジェクトに含まれるマクロブロックの動き量の平均Ｌ（ｊ）を算出するに際し、他のものから極端に異なっている動き量を算出から除外するようにすることにより、ノイズなどの影響をなくすことができる。
【００４５】
【発明の効果】
以上に詳細に説明したように、本発明によれば、符号化に先立ってピクチャ内のオブジェクトおよびマクロブロックの構成を高精度に解析することができ、符号化部にてピクチャ内の局所的なビット配分を最適化できる。これにより視覚的に目立たない領域での劣化はあるものの、視覚的に目立つ領域での符号化性能の向上が顕著であるため、画像全体の主観画質を向上することができる。
【００４６】
動画像符号化を用いた映像伝送サービスにおいては、殆ど量子化が行われているため、本発明は、映像伝送サービスに広く適用可能である。
【図面の簡単な説明】
【図１】 本発明に係る前処理部と動画像符号化部を備えた動画像符号化装置の一例のブロック構成図である。
【図２】 図１の前処理部における処理の一実施形態のフロー図である。
【図３】 オブジェクト抽出のための分類基準の説明図である。
【図４】 テクスチャ属性パラメータの決定の原理説明図である。
【図５】 境界に位置するマクロブロックに対する操作の説明図である。
【図６】 MPEG-2の符号化検証モデルTest Model5[1]の概念図である。
【符号の説明】
１１・・・減算器、１２・・・動き補償予測部、１３・・・ＤＣＴ部、１４・・・量子化部、１５・・・量子化制御部、１６・・・前処理部、１７・・・ＶＬＣ、１８・・・逆量子化部、１９・・・逆ＤＣＴ部、２０・・・加算器、２１・・・フレームメモリ、２２・・・動き検出部、２３・・・切換スイッチ部
Claims (4)
- 動画像符号化のための量子化制御方式において、
入力されるピクチャ単位に、各マクロブロックを構成するブロックごとの輝度分散値を決定する輝度分散値決定手段と、
前記輝度分散値に基づいて各マクロブロックごとに、輝度分散の度合いを示すテクスチャ属性パラメータを算出するテクスチャ属性パラメータ算出手段と、
ピクチャ内の各オブジェクトについて人間が注視する度合いを、該オブジェクトに含まれるマクロブロックの動き量の平均、マクロブロックごとに動きが散乱している度合い、該オブジェクトがピクチャ内で目立つ度合いの少なくとも一つの指標を用いて数値化することによりオブジェクトごとの注視度を算出する注視度算出手段と、
前記テクスチャ属性パラメータを前記注視度で除算することにより、各マクロブロックごとに、動画像に対する人間の視覚特性を表す視覚優先度パラメータを算出する視覚優先度パラメータ算出手段と、
前記視覚優先度パラメータを当該ピクチャに対する平均量子化パラメータで除算することにより量子化パラメータを算出する量子化パラメータ算出手段とを備えたことを特徴とする動画像符号化のための量子化制御方式。 - 前記テクスチャ属性パラメータ算出手段は、マクロブロックを構成するブロックごとの輝度分散値の内の最低値以外の輝度分散値、あるいはマクロブロックを構成するブロックごとの輝度分散値の平均値を用いて当該マクロブロックのテクスチャ属性パラメータを算出することを特徴とする請求項１に記載の動画像符号化のための量子化制御方式。
- 前記最低値以外の輝度分散値は、２番目に小さい輝度分散値であることを特徴とする請求項２に記載の動画像符号化のための量子化制御方式。
- 前記テクスチャ属性パラメータ算出手段は、ピクチャ内オブジェクトの境界に位置するマクロブロックのテクスチャ属性パラメータについては隣接マクロブロックのテクスチャ属性パラメータおよびオブジェクトごとの注視度により修正することを特徴とする請求項１ないし３のいずれかに記載の動画像符号化のための量子化制御方式。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002164776A JP4033292B2 (ja) | 2002-06-05 | 2002-06-05 | 動画像符号化のための量子化制御方式 |
| US10/392,392 US7436890B2 (en) | 2002-06-05 | 2003-03-20 | Quantization control system for video coding |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002164776A JP4033292B2 (ja) | 2002-06-05 | 2002-06-05 | 動画像符号化のための量子化制御方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004015340A JP2004015340A (ja) | 2004-01-15 |
| JP4033292B2 true JP4033292B2 (ja) | 2008-01-16 |
Family
ID=30432835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002164776A Expired - Fee Related JP4033292B2 (ja) | 2002-06-05 | 2002-06-05 | 動画像符号化のための量子化制御方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4033292B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1830573A1 (en) * | 2006-03-02 | 2007-09-05 | Thomson Licensing | Method and apparatus for determining in picture signal encoding the bit allocation for groups of pixel blocks in a picture |
| JP4714044B2 (ja) * | 2006-03-08 | 2011-06-29 | 日本放送協会 | カラー画像信号符号化装置 |
| JP5111128B2 (ja) * | 2008-01-22 | 2012-12-26 | キヤノン株式会社 | 符号化装置、符号化装置の制御方法及びコンピュータプログラム |
| CN104065962B (zh) * | 2013-10-28 | 2017-03-08 | 四川大学 | 基于视觉注意的宏块层比特分配优化方法 |
| JP6838951B2 (ja) * | 2016-12-05 | 2021-03-03 | キヤノン株式会社 | 符号化装置及び符号化方法 |
| US10924741B2 (en) * | 2019-04-15 | 2021-02-16 | Novatek Microelectronics Corp. | Method of determining quantization parameters |
-
2002
- 2002-06-05 JP JP2002164776A patent/JP4033292B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004015340A (ja) | 2004-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100298416B1 (ko) | 구획 분류 및 적응 비트 할당을 위한 방법 및 장치 | |
| JP3258840B2 (ja) | 動画像符号化装置および領域抽出装置 | |
| EP0797349B1 (en) | Signal adaptive postprocessing system for reducing blocking effects and ringing noise | |
| US8139883B2 (en) | System and method for image and video encoding artifacts reduction and quality improvement | |
| US7668397B2 (en) | Apparatus and method for objective assessment of DCT-coded video quality with or without an original video sequence | |
| Tai et al. | Deblocking filter for low bit rate MPEG-4 video | |
| US6477201B1 (en) | Content-adaptive compression encoding | |
| KR100853201B1 (ko) | 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응양자화 방법 및 그 장치 | |
| JPH07203435A (ja) | 歪んだ図形情報の強調方法及び装置 | |
| JP2006507775A (ja) | 基準なしで圧縮ビデオシーケンスの品質を測定する方法及び装置 | |
| KR20100095833A (ko) | Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법 | |
| Choi et al. | Video quality assessment accounting for temporal visual masking of local flicker | |
| EP2982111A1 (en) | Improved method of bit allocation for image&video compression using perceptual guidance | |
| JP2004023288A (ja) | 動画像符号化のための前処理方式 | |
| US7436890B2 (en) | Quantization control system for video coding | |
| CN106664404A (zh) | 视频编码中的块分割方式处理方法和相关装置 | |
| KR101007381B1 (ko) | 관심 영역을 고려한 영상 부호화 장치 | |
| JP4033292B2 (ja) | 動画像符号化のための量子化制御方式 | |
| WO2013081085A1 (en) | Moving image encoding apparatus, control method thereof and computer program | |
| JP3731741B2 (ja) | カラー動画像処理方法および処理装置 | |
| JP4829615B2 (ja) | 画像分析のための装置及び方法 | |
| JP2001346208A (ja) | 画像信号復号化装置および方法 | |
| JP2006201983A (ja) | 画質評価装置および画質評価方法 | |
| Zhu et al. | Spatial quality index based rate perceptual-distortion optimization for video coding | |
| Chen et al. | Region-of-interest video coding based on face detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040323 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060531 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071017 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4033292 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |