JP4849441B2

JP4849441B2 - 動画像符号化装置

Info

Publication number: JP4849441B2
Application number: JP2006021322A
Authority: JP
Inventors: 英司小原
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-01-30
Filing date: 2006-01-30
Publication date: 2012-01-11
Anticipated expiration: 2026-01-30
Also published as: JP2007208311A

Description

この発明は、動画像の画像信号を符号化して伝送する動画像符号化装置に関するものである。

インターレース画像である動画像の画像信号を符号化する構造として、フレーム構造とフィールド構造の２種類がある。一般的に、フレーム構造は、静止した画像或いは動きの少ない画像に有効であり、フィールド構造は、動きの多い画像に有効であるといわれている。

インターレース画像の符号化にフィールド構造を採用した場合、フレーム構造を採用した場合と比較して、画像入力から符号化開始までの時間が短い。図２に示すように、インターレース画像はトップフィールドとボトムフィールドから構成されており、インターレース画像の符号化においては、先ず、動画像符号化装置にトップフィールドの画像信号が入力され、次にボトムフィールドの画像信号が入力される。フレーム構造は、トップフィールドとボトムフィールドを合成した構造で符号化を行うのに対し、フィールド構造では、トップフィールドとボトムフィールドの符号化は独立して行なわれる。

したがって、フィールド構造の場合、トップフィールドの画像信号が入力され、符号化に必要な最低限の画像信号が入力された時点で符号化開始が可能となる。一方、フレーム構造はトップフィールドの画像信号とボトムフィールドの画像信号で構成されるため、トップフィールドの画像信号の入力完了後、フレーム構造での符号化に必要な最低限のボトムフィールドの画像信号が入力された時点で符号化開始が可能となる。このことより、フィールド構造を採用する方が、画像信号の入力を開始した時点から符号化結果の出力を開始する時点までの時間、即ち、符号化遅延がフレーム構造を採用する場合に比べて短くなる。

一方、従来の動画像符号化装置では、フィールド構造で符号化した画質と比較してフレーム構造で符号化した画質の方が良いとされていることから、フレーム構造が採用されている。フィールド構造を採用した符号化としては、例えば、動きの速いシーンではフィールド構造で符号化を行い、動きの少ないシーンではフレーム構造で符号化を行うようにシーンに応じて適応的にフィールド構造・フレーム構造の切り替えを行う方式が存在する。よって、動きの少ないシーンをフィールド構造で符号化した場合の画質を向上させることができれば、従来と比較して、画質は同等で符号化遅延が短い動画像符号化装置を提供できることになる。

フレーム構造が有利とされる静止画像、或いは、動きの少ない画像をフィールド構造で符号化を行う場合、フレーム構造と比較して、特に垂直方向の空間解像度が低くなるため、符号化画像の主観画質が劣る傾向がある。例えば、モスキートノイズが発生し易いとされる画像をフレーム構造とフィールド構造で符号化した場合、主観画質ではフィールド構造で符号化した方がモスキートノイズを知覚されやすい傾向があり、フィールド構造を用いた符号化ではフレーム構造を用いた符号化よりも、モスキートノイズの発生をより抑制することが必要である。

モスキートノイズの発生を抑制することに関して、従来の動画像符号化装置や画像処理装置では、統計的特徴量としてマクロブロック毎に輝度値の分布を調べることで、モスキートノイズが発生しやすいマクロブロックやオブジェクトのエッジが存在するマクロブロックの量子化幅を他のマクロブロックに比して相対的に小さくすることによりモスキートノイズの発生を抑えている（例えば、特許文献１参照）。或いは、マクロブロックを細分化して、サブブロック毎にアクティビティを算出し、最小のアクティビティをマクロブロックのアクティビティの代表値とし、この値に基づいて量子化ステップを決定することによりモスキートノイズを抑制している（例えば、特許文献２参照）。

特開２００１−２４５３０３号公報（段落番号００４８−００５０、図５）ＷＯ２００２／０８０５７４（第１１頁第３９行−第１４頁第４９行、図８）

従来の動画像符号化装置は以上のように構成されており、確かにモスキートノイズの発生を抑制する効果がある。但し、これらの発明はフレーム画像を対象としており、フィールド画像を用いた符号化に適用する場合、次の課題を必ずしも解決しない。即ち、フィールド構造で符号化を行う場合、トップフィールドとボトムフィールドが独立して符号化されるため、復号結果を表示する場合、垂直方向の１ライン毎に交互に異なる量子化パラメータで量子化されている領域が存在し、フレーム構造と比べて、画質の均一性で劣る可能性がある。

図８及び図９に示すように、フィールド構造においてトップフィールドとボトムフィールドそれぞれにおいて、左上から同じ位置に存在する２つのマクロブロックＭＢ（ＴＭＢ：トップフィールドのＭＢとＢＭＢ：ボトムフィールドのＭＢ）の復号画像が表示される時には、１ライン単位で交互に表示されるためＴＭＢとＢＭＢの量子化パラメータが異なると、図１０に示した範囲で画質の不均一が発生する。

一方、フレーム構造においては、ＴＭＢとＢＭＢと表示画面上で同じ位置にある２つのＭＢの量子化パラメータが異なっているとしても、上半分では画質が均一であり、下半分では画質が均一である。よって、図１０に示すように、フィールド構造では画質が不均一になる面積が大きく知覚されやすい。仮に、画質の評価尺度の一つであるＰＳＮＲ（Peak Signal to Noise Ratio）［ｄＢ］の値が等しい場合でも、主観画質評価で劣る要因の一つとなる。

加えて、特許文献１は、２パス符号化を前提としているため、遅延量が大きく、画質を向上させ符号化遅延を削減することを目的としたフィールド構造で符号化を行う場合には適しているとは言えない。

また、特許文献２では、マクロブロックを４×４のブロックに細分化し、マクロブロックに含まれる４×４のブロックの最小の分散値をマクロブロックの代表値として量子化ステップの制御を行うため、モスキートノイズの発生には効果的である。但し、ビットレートに余裕がある使用条件を想定して為されたものであり、ビットレートが限られた使用条件では必ずしも適しているとは言えない。加えて、プリエンコード処理とエンコード処理が行われるため、２パスに近い符号化処理であって、画質を向上させ符号化遅延を低減するという目的には必ずしも適しているとは言えない。

この発明は、かかる課題を解決するためになされたもので、フィールド構造で動画像符号化を行う場合、トップフィールドでモスキートノイズの発生を抑制する量子化処理を行った領域の位置とボトムフィールドにおいて同じ位置に存在する領域に対する量子化の際、同じ値の量子化パラメータを用いることにより、画質の均一性を保ち、フレーム構造に対するフィールド構造の画質劣化を抑制することができる動画像符号化装置を得ることを目的とするものである。

この発明に係る動画像符号化装置は、トップフィールド及びボトムフィールドのそれぞれの入力画像信号を複数のブロックに分割して出力するとともに、前記ブロックと予測画像信号との予測誤差信号を変換してその変換係数を量子化する変換手段と、前記変換手段により量子化された変換係数を逆量子化し、その逆量子化された変換係数を逆変換して予測誤差信号を復号し、復号された予測誤差信号と前記予測画像信号とを加算して参照画像信号を生成する参照画像生成手段と、前記参照画像生成手段により生成された参照画像信号と前記変換手段から出力された前記ブロックとから動き補償予測を実施して前記予測画像信号を生成する予測信号生成手段と、前記変換手段により量子化された変換係数を符号化し、その符号化データを伝送する符号化手段とを備えた動画像符号化装置において、前記変換手段から出力された前記ブロックの特徴量を抽出して出力する特徴量抽出手段と、前記特徴量抽出手段からの特徴量と前記変換手段の量子化情報とを対応付けて保持し、符号化によって前記変換手段から出力されたブロックの復号画像にモスキートノイズが発生する可能性を前記特徴量を用いて予測し、前記ブロックの復号画像にモスキートノイズが発生する可能性がある場合には、前記ブロックの量子化処理に必要な量子化情報を前記モスキートノイズの発生を抑制するように制御する制御手段とをさらに備え、前記変換手段は、前記トップフィールドのブロックの復号画像に前記復号画像にモスキートノイズが発生する可能性がある場合には、前記ボトムフィールドにおける前記トップフィールドと同じ位置に存在するブロックに対する量子化の際に、前記トップフィールドと同じ量子化情報に基づいて量子化処理を実行することを特徴とする。

この発明によれば、フィールド構造で動画像符号化を行う場合、トップフィールドでモスキートノイズの発生を抑制する量子化処理を行った領域の位置とボトムフィールドにおいて同じ位置に存在する領域に対する量子化の際、同じ値の量子化パラメータを用いることにより、画質の均一性を保ち、フレーム構造に対するフィールド構造の画質劣化を抑制することができる。

実施の形態１．
図１は、この発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。図１に示される動画像符号化装置は、符号化の対象となる入力画像信号を格納するフレームメモリ１と、フレームメモリ１に格納された入力画像信号を分割するブロック化回路２と、ブロック化回路２を介した入力画像信号と予測画像信号との誤差を求め、その予測誤差信号を出力する減算器３と、減算器３から出力された予測誤差信号を直交変換してその変換係数を出力する変換回路４と、変換回路４から出力される変換係数を量子化する量子化回路５と、量子化回路５により量子化された変換係数を逆量子化する逆量子化回路６と、逆量子化回路６により逆量子化された変換係数を逆変換して予測誤差信号を復号する逆変換回路７と、逆変換回路７により復号された予測誤差信号と予測画像信号とを加算して参照画像信号を生成する加算器８と、加算器８により生成された参照画像信号を格納するフレームメモリ９と、フレームメモリ９に格納された参照画像信号と入力画像信号から動き補償予測を実施して予測画像信号を生成する動き補償回路１０と、量子化回路５により量子化された変換係数等を符号化し、その符号化データを多重化してバッファ１２に格納する符号化回路１１と、符号化回路１１によって格納されている符号化データを伝送するバッファ１２と、ブロック化回路２で領域分割されたブロックの画像特徴量を抽出する特徴量抽出回路１３と、特徴量抽出回路１３の出力に基づいて量子化回路５を制御する制御回路１４と、特徴量抽出回路１３の出力である特徴量と制御回路１４の量子化パラメータを一次的に保持するメモリ１５とを備える。

次に、上記構成に係る動画像符号化装置の動作について説明する。フレームメモリ１には符号化の対象となる入力画像の画像信号である入力画像信号が入力される。この入力画像信号は、図２に示すように、１つのフレームが２つのフィールドから構成されるインターレース構造であり、トップフィールドとボトムフィールドより成り立っており、通常は、トップフィールドの画像信号から入力され、続いてボトムフィールドの画像信号が入力される。

ブロック化回路２は、フレームメモリ１に格納された入力画像信号を分割する。以降の動作は、この分割された領域（ブロック）を単位に行われる。例えば、デジタル放送やＤＶＤ（Digital Versatile Disc）レコーダーなどに採用されているＭＰＥＧ−２（Moving Picture Experts Group-2）では、この領域はマクロブロック（ＭＢ：Macroblock）と呼ばれ、大きさは１６×１６画素である。

減算器３では、入力画像信号と後述する動き補償回路１０により生成された予測画像信号との誤差を求め、その予測誤差信号を出力する。変換回路４は、減算器３から出力された予測誤差信号に、例えば離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）などの直交変換を施してその変換係数を出力する。量子化回路５は、変換回路４から出力された変換係数を量子化する。なお、フレームメモリ１、ブロック化回路２、減算器３、変換回路４及び量子化回路５から変換手段が構成されている。

逆量子化回路６は、量子化回路５により量子化された変換係数を逆量子化する。逆変換回路７は、逆量子化回路６により逆量子化された変換係数に、例えば変換回路４で離散コサイン変換を行う場合は、逆変換として逆離散コサイン変換を施し、その予測誤差信号を復号する。加算器８は、逆変換回路７により復号された予測誤差信号と動き補償回路１０により生成された予測画像信号とを加算して参照画像信号を生成する。なお、逆量子化回路６、逆変換回路７及び加算器８から参照画像生成手段が構成されている。

モスキートノイズは、変換手段としての変換回路４と量子化回路５の動作によって発生する。画像信号である輝度信号の変化が激しい箇所では変換回路４の結果である変換係数に高域係数が多く含まれる。即ち、高域の係数が０以外の値を持つ。変換係数は量子化回路５で量子化されるが、一般的に高域係数は低域係数に比べて粗く量子化されるため、量子化回路５の動作で高域係数は０となる場合がある。この係数が逆量子化回路６で逆量子化され、逆変換回路７で逆変換されて復号された結果、高域係数が０となって高域成分が失われているため、画像上で蚊が飛んでいるように知覚される。この現象がモスキートノイズと呼ばれている。特に、エッジ周辺の平坦な箇所でモスキートノイズが知覚され易いことが知られている。

フレームメモリ９は、加算器８により生成された参照画像信号を格納する。動き補償回路１０は、フレームメモリ９に格納された参照画像信号と入力画像の画像信号から動き補償予測を実施して予測画像信号を生成する。なお、動き補償回路１０は、予測信号生成手段を構成している。符号化回路１１は、量子化回路５により量子化された変換係数等を符号化し、その符号化データを多重化してバッファ１２に格納する。バッファ１２は、符号化回路１１によって格納されている符号化データを伝送する。なお、符号化回路１１及びバッファ１２から符号化手段が構成されている。バッファ１２の残量から量子化回路５が量子化処理実行時に用いる量子化パラメータを算出する。

特徴量抽出回路１３は、ブロック化回路２で領域分割されたブロックの画像特徴量を抽出するもので、特徴量抽出手段を構成する。制御回路１４は、特徴量抽出回路１３の出力に基づいて量子化回路５を制御し、メモリ１５は、特徴量抽出回路１３の出力である特徴量と制御回路１４の量子化パラメータを一次的に保持するもので、制御回路１４とメモリ１５から制御手段を構成する。

次に、特徴量抽出手段としての特徴量抽出回路１３、制御手段としての制御回路１４とメモリ１５の動作について図３に示すフローチャートを参照して説明する。図３は、特徴量抽出回路１３、制御回路１４、メモリ１５の動作を示すフローチャートである。フレームメモリ１にはインターレース画像のトップフィールドの画像信号から入力されている。画像信号は輝度信号と色差信号である。ここで、フレームメモリ１には必要に応じて複数のフィールドの画像信号が保持されており、次のブロック化回路２は最新の入力画像の画像信号を読み出すとは限らない。

図４には、フレームメモリ１に入力されるフィールドを入力順に示しており、フィールド１・３・５・７がトップフィールド、フィールド２・４・６・８がボトムフィールドである。動画像符号化においては、符号化効率を向上させるために画像信号の並べ替えを行う場合がある。図５は、図４に示す如く入力された画像信号に対する並べ替えの一例である。この図５では、最初に符号化されるのは３番目に入力されたフィールドである。フィールド３（Ｉ）は、ピクチャ内で符号化（イントラ符号化）を行うＩピクチャ（Intra-Coded Picture）、フィールド４（Ｐ）、フィールド７（Ｐ）、フィールド８（Ｐ）は、過去のフィールドを参照して動き補償予測を行うＰピクチャ（Predictive-Coded Picture）、フィールド１（Ｂ）、フィールド２（Ｂ）、フィールド５（Ｂ）、フィールド６（Ｂ）は、過去と未来のフィールドを参照して動き補償予測を行うＢピクチャ（Bidirectionally Predictive-Coded Picture）とする。例えば、フィールド５（Ｂ）はＢピクチャとするので、過去の画像であるＩピクチャのフィールド３（Ｉ）、Ｐピクチャであるフィールド４（Ｐ）、未来の画像であるＰピクチャのフィールド７（Ｐ）、８（Ｐ）を参照画像とする。Ｐピクチャであるフィールド４（Ｐ）は、Ｉピクチャであるフィールド３（Ｉ）を参照画像とし、フィールド７（Ｐ）は、フィールド３（Ｉ）、４（Ｐ）を参照画像とする。符号化は、図５の順番に行われる。

図６は、図４に示す如く入力された画像信号に対し並べ替えを行わない場合であり、この場合は最新の入力画像の画像信号が最新の符号化対象となる。

いずれにおいても、図３に示すＳＴ１００において、ブロック化回路２は、先ずトップフィールドの画像信号から所定のサイズのブロックの画像信号をフレームメモリ１から読み出し特徴量抽出回路１３に出力する。図５の場合はフィールド３（Ｉ）から、図６の場合はフィールド１（Ｉ）から切り出しを行う。

次に、ＳＴ１０１において、特徴量抽出回路１３は、ブロック化回路２でブロック化された領域の画像信号の特徴量を抽出する。抽出する特徴量としては、例えば、輝度の平均値、分散値、色差の平均値、分散値などである。これらの特徴量は、制御回路１４に出力される。

ＳＴ１０２では、制御回路１４が、特徴量抽出回路１３から出力された特徴量を用い、符号化によって復号画像にモスキートノイズが発生する可能性を予測する。
ＳＴ１０３において、制御回路１４が、符号化によってブロック化回路２から出力されたブロックの復号画像にモスキートノイズが発生する可能性があると判断した場合、ＳＴ１０４に遷移する。モスキートノイズが発生する可能性を判断する方法としては、例えば、輪郭線を検出することによって判断する方法や、ブロック中の画像信号である輝度信号や色差信号の分布状況から判断する方法、変換回路４の出力である変換係数から判断する方法などが挙げられる。

ＳＴ１０４では、制御回路１４が現在のフィールドがトップフィールドであるかボトムフィールドであるかを確認する。確認する方法については、図示していないが、フレームメモリ１に入力される画像信号を含む入力信号の一部から判断する。トップフィールドであると判断した場合、ＳＴ１０５に遷移する。

ＳＴ１０５において、制御回路１４は、量子化回路５が現在の制御対象であるブロックの量子化処理を実行するために必要な量子化パラメータを制御する。制御回路１４は、先ず、バッファ１２の残量などに基づき量子化パラメータを算出し、この量子化パラメータの値を必要に応じて制御する。モスキートノイズの発生を抑制するための制御方法としては、例えば、量子化パラメータに絶対値を与える方法や、現在の量子化パラメータから所定の値を減算する方法がある。後者の場合には、リミット値を設けておいて、減算結果が小さくなり過ぎないように制御する場合もある。また、バッファ１２の残量などに基づいて算出した値が変更する必要がない場合はそのままの値を用いる。

制御回路１４は、量子化パラメータを求めると、この量子化パラメータと特徴量抽出回路１３から入力した特徴量をセットとして、図７に示したフォーマットでメモリ１５に保存する。図８に示すように、トップフィールドの左上を原点とした場合のブロックの垂直座標Ｖ（０≦Ｖ＜Ｈｇｔ：Ｈｇｔは入力画像の垂直方向の画素数）と水平座標Ｈ（０≦Ｈ＜Ｗｄｔ：Ｗｄｔは入力画像の水平方向の画素数）からメモリ１５のアドレスを算出し、このアドレスが示す領域にブロックのタイプ、量子化パラメータをセットにして書き込みを行う。ブロックのタイプには、モスキートノイズが発生する可能性がある場合は、例えば、“Ｍｏｓｑ”と書き込む。

量子化回路５では、この量子化パラメータに基づき量子化処理が実行される。現在のトップフィールドがＩピクチャであれば、変換回路４が入力画像の画像信号から構成されるブロックの信号を変換した結果である変換係数を量子化し、ＰピクチャまたはＢピクチャである場合は、変換回路４が、動き補償回路１０の出力である予測誤差信号から構成されるブロックの信号を変換した結果である変換係数が量子化される。

これらＳＴ１００からＳＴ１０５の処理は、トップフィールドから切り出されるすべてのブロックに対して実行される。

次に、フレームメモリ１に入力されており、先のトップフィールドとフレームを構成するボトムフィールドの画像信号を対象とする。例えば、図５では、直前のフィールドがフィールド３（Ｉ）であればフィールド４（Ｐ）の画像信号が、直前のフィールドがフィールド７（Ｐ）であればフィールド８（Ｐ）の画像信号が入力される。ボトムフィールドに対してＳＴ１００からＳＴ１０３までの動作は同じであるため説明を割愛する。

ＳＴ１０４では、制御回路１４が現在のフィールドがトップフィールドであるかボトムフィールドであるか確認する。ボトムフィールドである場合はＳＴ１０６に遷移する。

ＳＴ１０６では、制御回路１４は現在制御対象であるブロックのボトムフィールドにおける位置情報を用いてメモリ１５のアドレス計算を行う。位置情報とは、図９に示す通りボトムフィールドの左上を原点とした場合の垂直座標Ｖと水平座標Ｈである。したがって、垂直座標Ｖと水平座標Ｈが同じ値を持つトップフィールドのブロックのメモリ１５のアドレスが算出されることになる。メモリ１５にはトップフィールドのブロックの情報が保存されているので、この位置情報と同じ位置情報を持つトップフィールドのブロックの情報を読み出す。読み出したブロックのタイプ情報が“Ｍｏｓｑ”であった場合、同時に読み出した量子化パラメータの値を、現在処理対象のボトムフィールドのブロックに対して量子化回路５が量子化処理に用いる量子化パラメータにセットする。読み出したブロックのタイプ情報が“Ｍｏｓｑ”でない場合は、ボトムフィールドのブロックの画像信号に基づいて量子化パラメータを制御する。制御回路１４は、ボトムフィールドのブロックの画像信号から、このブロックの復号画像にモスキートノイズが発生する可能性があると判断した場合は、ボトムのみでモスキートノイズの発生を抑制する制御を行ってもよい。

これにより、図１１に示すように、トップフィールドとボトムフィールドにおいて、それぞれの左上を原点として、原点からの相対位置が等しいブロックでは、制御回路１４がトップフィールドのブロックの復号画像にモスキートノイズが発生する可能性があると判断した場合、これらのブロックは同じ量子化パラメータで量子化されることになり、画質の均一性が向上し、主観画質が向上する。従来の動画像符号化装置では、これら２つのブロックの量子化パラメータが必ずしも等しくなるとは限らないため、図１０に示すように、復号画像を表示する場合、フレーム構造と比較してフィールド構造は画面上の垂直方向に２倍の広さで画質が不均一となり、主観画質が劣化する可能性があった。本発明により、この画質の不均一を抑制することが可能となるため、特に、フィールド構造で静止画や動きの少ない画像を符号化する場合に主観画質を向上させる効果が大きい。

実施の形態２．
図１２は、この発明の実施の形態２に係る動画像符号化装置の構成を示すブロック図である。図１２において、図１に示す実施の形態１に係る構成と同一部分は同一符号を付してその説明は省略する。図１２に示す実施の形態２において、図１に示す実施の形態１との違いは、特徴量演算回路１６をさらに備える点と、動き補償回路１０から制御回路１４にベクトル情報を出力するようにした点であり、この実施の形態２では、特徴量抽出手段１３と特徴量演算回路１６とで特徴量抽出手段を構成している。

図１２において、特徴量演算回路１６は、フィールド間差分情報として、図１３に示すフィールド間差分絶対値和を出力するものであり、トップフィールド−トップフィールド（ＴＴＳＡＤ）、トップフィールド−ボトムフィールド（ＴＢＳＡＤ）、ボトムフィールド−ボトムフィールド（ＢＢＳＡＤ）の３つのフィールド間差分絶対値和を出力する。ＴＴＳＡＤは、トップフィールドＮ−１とトップフィールドＮの画像信号における輝度の差分絶対値を画素単位で求めた画素数分の総和である。また、ＢＢＳＡＤは、ボトムフィールドＮ−１とボトムフィールドＮの画像信号における輝度の差分絶対値を画素単位で求めた画素数分の総和である。さらに、ＴＢＳＡＤはトップフィールドＮとボトムフィールドＮの画像信号における輝度の差分絶対値を画素単位で求めた画素数分の総和である。また、これら３つの値は、各フィールドに含まれるブロックの数で割った値である。本実施の形態２では、トップフィールドから切り出されるブロック数とボトムフィールドから切り出されるブロック数は等しく、トップフィールドとボトムフィールドで同じ位置にあるブロックの大きさは等しいものとする。

現在符号化を行っているフィールドがトップフィールドである時、制御回路１４は、動き補償回路１０から出力されたベクトル情報を、ブロック情報、量子化パラメータとセットでメモリ１５に記憶する。動き補償回路１０から出力されるベクトル情報としては、参照フィールド、予測タイプ、水平ベクトル、垂直ベクトルである。

ここで、予測タイプと参照フィールドに関して、フィールド構造における１６×１６予測、１６×８予測についてＰフィールドを例に説明しておく。図１４は、１６×１６予測を説明するための図である。１６×１６予測は、１６×１６画素サイズのブロック、即ち、ＭＢ単位に動き補償予測が行われる。現在の符号化対象がトップフィールドＮであるとき、動き補償予測の参照画像はトップフィールドＮ−１またはボトムフィールドＮ−１であり、それぞれの参照画像に対して所定の評価関数で最小値となるベクトルＶｅｃＴＴ、ＶｅｃＴＢから１つが選択される。例えば、ベクトルＶｅｃＴＴの評価関数の値がベクトルＶｅｃＴＢの評価関数の値より小さい場合、ベクトＶｅｃＴＴが選択され、参照フィールドは同じトップフィールドとなる。

次に、ボトムフィールドＮでは、ボトムフィールドＮ−１とトップフィールドＮが参照画像となり、所定の評価関数で最小値となるベクトルＶｅｃＢＴとＶｅｃＢＢのどちらか一方が選択される。例えば、ベクトルＶｅｃＢＴが選択された場合、参照フィールドはトップフィールドとなる。１６×１６予測ではＭＢに１本のベクトル情報が発生する。Ｂフィールドの場合は、時間的に未来の画像からのベクトルが１本追加されて合計２本となる。

１６×８予測については、１６×１６予測が１６×１６の画素サイズのブロックを単位として動き補償予測が行われるのに対し、この１６×１６の画素サイズのブロックの上半分（Ｕｐｐｅｒ）と下半分（Ｌｏｗｅｒ）の１６×８画素サイズのブロックに分割し、それぞれに動き補償予測を行うものであり、ＭＢに対して２本のベクトル情報が発生する。図１５に示すように、例えばトップフィールドＮ上のＭＢのＵｐｐｅｒ側では、参照画像トップフィールドＮ−１に対し所定の評価関数が最小値となるベクトルＶｅｃＵＴＴ、参照画像のボトムフィールドＮ−１に対して所定の評価関数が最小値となるベクトルＶｅｃＵＴＢのどちらか一方が選択され、Ｌｏｗｅｒ側でもベクトル情報が選択されるためＭＢとしては合計２本となる。Ｂフィールドの場合は、時間的に未来の画像からのベクトルが2本追加され、ＭＢとしては４本のベクトル情報を持つ。

前記１６×１６予測と１６×８予測の結果からＭＢの予測タイプを決定する。１６×１６予測の所定の評価関数の値と１６×８予測の所定の評価関数の値が比較され、例えば、小さいほうが現在符号化中のＭＢの予測タイプとして選択される。ここで、１６×８予測の所定の評価関数の値はＵｐｐｅｒ側の値とＬｏｗｅｒ側の値を合計したものである。これらのベクトル選択動作は動き補償回路１０で実行される。

参照フィールドの情報はトップフィールドまたはボトムフィールドである。予測タイプとして、フィールド予測、１６×８予測などがあるが、制御回路１４は、１６×１６予測の場合のみ、参照フィールド、水平ベクトル、垂直ベクトルをブロックタイプ、量子化パラメータとセットでメモリ１５に書き込みを行う。これは、１６×１６予測が選択されるＭＢを画像中で静止している、または、動きの少ない領域であると判断するためである。１６×１６予測以外の場合は参照フィールドの情報として０をセットする。このフォーマットを図１６に示す。

図１６において、参照フィールドの項が‘１’である場合はトップフィールド、‘２’である場合はボトムフィールドとする。例えば、上から３行目のブロック情報は、このブロックの復号画像ではモスキートノイズが発生する可能性が高いと判断した“Ｍｏｓｑ”であり、モスキートノイズを抑制するために量子化パラメータは１０で量子化を行っており、１６×１６予測ではトップフィールドを参照しており、そのベクトルは水平方向に１０、垂直方向に１１となっている。

次に、ボトムフィールドの符号化における制御回路１４の動作を説明する。図１７は、制御回路１４のボトムフィールドを対象とした動作を示すフローチャートである。ＳＴ２００では、ＴＴＳＡＤ、ＴＢＳＡＤ、ＢＢＳＡＤは、特徴量演算回路１６から出力され、制御回路１４に入力される。ＳＴ２０１では、制御回路１４がＴＴＳＡＤとＢＢＳＡＤの平均値（ＳＦＡＶＥ）を求める。ＳＴ２０２では、ＳＦＡＶＥとＴＢＳＡＤを比較する。ＳＴ２０２で、ＴＢＳＡＤがＳＦＡＶＥより大きい場合はＳＴ２０３に遷移し、トップフィールドとボトムフィールドの（Ｖ，Ｈ）に位置するブロックにおいて、トップフィールドのブロックのブロックタイプが“Ｍｏｓｑ”であっても、同じ量子化パラメータで量子化する制御を行わない。これは、前記の条件を満たす場合は動きの速いシーンであると判断することによる。

ＳＴ２０２で条件が成立しない場合、ＳＴ２０４に遷移し、ＳＦＡＶＥとＴＢＳＡＤが等しいかを判定する。背景が静止して前面では高速で物体が移動するシーンを想定した判定である。等しくない場合はＳＴ２１２に遷移し、等しい場合はＳＴ２０５に遷移し、現在符号化対象であるボトムフィールドのブロックの動き補償予測における参照フィールドがボトムフィールドであるかを判定する。ボトムフィールドでない場合はＳＴ２０３に遷移し、ボトムフィールドである場合はＳＴ２０６に遷移し、水平ベクトル（ＢＨＶ）、垂直ベクトル（ＢＶＶ）を閾値ＴＨと比較する。ＳＴ２０６で水平ベクトル、垂直ベクトルがともに閾値ＴＨより小さい場合ＳＴ２０７に遷移し、そうでない場合はＳＴ２０３に遷移する。

ＳＴ２０７に遷移する場合、ＳＴ２０７では、トップフィールドの（Ｖ，Ｈ）に位置するブロックのブロックタイプをメモリ１５から読み出しＳＴ２０８に遷移する。ＳＴ２０８では、タイプが“Ｍｏｓｑ”である場合ＳＴ２０９に遷移し、そうでない場合はＳＴ２０３に遷移する。ＳＴ２０９に遷移した場合、ＳＴ２０９では参照フィールドがトップフィールドであるかを判定する。トップフィールドでない場合はＳＴ２０３に遷移し、トップフィールドである場合はＳＴ２１０に遷移し、水平ベクトル（ＴＨＶ）、垂直ベクトル（ＴＶＶ）を閾値ＴＨと比較する。ＳＴ２１０で水平ベクトル、垂直ベクトルがともに閾値ＴＨとより小さい場合、ＳＴ２１１に遷移し、ボトムフィールドの（Ｖ，Ｈ）に位置するブロックの量子化パラメータをトップフィールドの（Ｖ，Ｈ）に位置するブロックの量子化パラメータ（ＴＱＳＣＡＬＥ）と同じ値になるように制御する。ＳＴ２１１で条件が成立しない場合はＳＴ２０３に遷移する。

ＳＴ２０４からＳＴ２１２に遷移した場合、ＳＴ２１２からＳＴ２１４までの処理は実施の形態１と同じ動作であるため詳細な説明は割愛するが、このＳＴ２１２からＳＴ２１４までの間は静止画像、或いは、動きの少ない画像に対応している。

ここで、ＴＴＳＡＤとＢＢＳＡＤの値は少なくとも４フィールド分の画像信号が入力されていることが必要であるため、前記制御は入力順で５フィールド目以降から作用するものである。

また、ＴＴＳＡＤ、ＢＢＳＡＤ、ＴＢＳＡＤの値をトップフィールドの制御に用いることにより、トップフィールドにおいても動きの速いシーンであると判断し、モスキートノイズの抑制を行う制御を停止することが可能であることは言うまでもない。

以上のように構成したので、実施の形態２では、動きの速いシーンではトップフィールドとボトムフィールドで同じ量子化パラメータで量子化を行う制御を行わないようにした。動きの速いシーンでは、人間の視覚特性からもモスキートノイズが知覚されにくいので量子化パラメータを制御しないようにした。量子化パラメータを制御すると発生符号量が増加する場合があり、動きの速いシーンでは符号化難易度が高く、発生符号量を多く必要とする可能性が高いため、量子化パラメータを制御しないようにした。また、背景が静止して前面では、動きの速いシーンなどに対しては、ベクトル情報から静止に近いブロックでのみ量子化パラメータを制御してモスキートノイズの発生を抑制するようにしたので、フィールド構造の符号化においてシーンに応じて効果的にモスキートノイズの発生を抑制して主観画質を向上できるという効果を奏する。

なお、この発明において、１つのフレームを構成するトップフィールドとボトムフィールドの関係は、トップフィールドがボトムフィールドに対し時間的に先に入力されることを前提としているが、その逆であるボトムフィールドがトップフィールドに対し時間的に先に入力される場合がある。この場合、トップフィールドとボトムフィールドを入れ換えれば何ら支障もなくこの発明を適応でき同様の効果を奏でることは言うまでもない。

この発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。符号化の対象となる入力画像信号の構造を示す説明図である。図１に示す特徴量抽出手段としての特徴量抽出回路１３、制御手段としての制御回路１４とメモリ１５の動作内容を示すフローチャートである。図１に示すフレームメモリ１に入力されるフィールドを入力順に示した説明図である。図４に示すフィールドを並べ替えて符号化した順に示した説明図である。図４に示すフィールドを並べ替えないで符号化した順に示した説明図である。図１に示すメモリ１５にセットで保存される特徴量としてのブロックタイプと量子化パラメータを示す図である。トップフィールドの左上を原点とした場合のブロックの垂直座標Ｖと水平座標Ｈから図１に示すメモリ１５のアドレスを算出し、このアドレスが示す領域にブロックのタイプ、量子化パラメータをセットにして書き込みを行う場合の説明図である。ボトムフィールドに対しての図８の対応図である。復号画像を表示する場合にフレーム構造とフィールド構造の画質の不均一を抑制するための説明図である。トップフィールドとボトムフィールドのそれぞれの左上を原点として、原点からの相対位置が等しいブロックにおいて同じ量子化パラメータで量子化することによる画質の均一性を説明するための図である。この発明の実施の形態２に係る動画像符号化装置の構成を示すブロック図である。図１２に示す特徴量演算回路１６から出力されるフィールド間差分情報であるフィールド間差分絶対値和を説明する図である。フィールド構造における１６×１６予測を説明するための図である。１６×１６の画素サイズのブロックの上半分と下半分の１６×８画素サイズのブロックに分割し、それぞれに動き補償予測を行う際に、ＭＢに対して２本のベクトル情報が発生することを説明する図である。図１２に示すメモリ１５にセットで保存される特徴量としてのブロックタイプと量子化パラメータ及びベクトル情報を示す図である。図１２に示す制御回路１４のボトムフィールドを対象とした動作を示すフローチャートである。

符号の説明

１フレームメモリ、２ブロック化回路、３減算器、４変換回路、５量子化回路、６逆量子化回路、７逆変換回路、８加算器、９フレームメモリ、１０動き補償回路、１１符号化回路、１２バッファ、１３特徴量抽出回路、１４制御回路、１５メモリ、１６特徴量演算回路。

Claims

トップフィールド及びボトムフィールドのそれぞれの入力画像信号を複数のブロックに分割して出力するとともに、前記ブロックと予測画像信号との予測誤差信号を変換してその変換係数を量子化する変換手段と、
前記変換手段により量子化された変換係数を逆量子化し、その逆量子化された変換係数を逆変換して予測誤差信号を復号し、復号された予測誤差信号と前記予測画像信号とを加算して参照画像信号を生成する参照画像生成手段と、
前記参照画像生成手段により生成された参照画像信号と前記変換手段から出力された前記ブロックとから動き補償予測を実施して前記予測画像信号を生成する予測信号生成手段と、
前記変換手段により量子化された変換係数を符号化し、その符号化データを伝送する符号化手段と
を備えた動画像符号化装置において、
前記変換手段から出力された前記ブロックの特徴量を抽出して出力する特徴量抽出手段と、
前記特徴量抽出手段からの特徴量と前記変換手段の量子化情報とを対応付けて保持し、符号化によって前記変換手段から出力されたブロックの復号画像にモスキートノイズが発生する可能性を前記特徴量を用いて予測し、前記ブロックの復号画像にモスキートノイズが発生する可能性がある場合には、前記ブロックの量子化処理に必要な量子化情報を前記モスキートノイズの発生を抑制するように制御する制御手段と
をさらに備え、
前記変換手段は、前記トップフィールドのブロックの復号画像にモスキートノイズが発生する可能性がある場合には、前記ボトムフィールドにおける前記トップフィールドと同じ位置に存在するブロックに対する量子化の際に、前記トップフィールドと同じ量子化情報に基づいて量子化処理を実行する
ことを特徴とする動画像符号化装置。
請求項１に記載の動画像符号化装置において、
前記特徴量抽出手段は、トップフィールド−トップフィールドと、トップフィールド−ボトムフィールドと、ボトムフィールド−ボトムフィールドとの３つのフィールド間差分絶対値和を算出して、その情報であるフィールド間差分情報を出力する特徴量演算回路を有し、
前記予測信号生成手段は、動き補償予測時に発生するベクトル情報を出力し、
前記制御手段は、
前記予測信号生成手段からのベクトル情報を、前記特徴量及び量子化情報とともに保持し、
前記トップフィールド−ボトムフィールドのフィールド間差分絶対値和が、前記トップフィールド−トップフィールドのフィールド間差分絶対値和と前記ボトムフィールド−ボトムフィールドのフィールド間差分絶対値和との平均値よりも大きいかどうかを確認し、
前記トップフィールド−ボトムフィールドのフィールド間差分絶対値和が前記平均値よりも大きい場合には、動きの速いシーンであると判断して、同じ位置のトップフィールド及びボトムフィールドのいずれか一方のブロックと同じ量子化情報で、同じ位置のトップフィールド及びボトムフィールドの他方のブロックの量子化処理を前記変換手段が行わないようにする
ことを特徴とする動画像符号化装置。