WO2006049335A1

WO2006049335A1 - 動画像符号化装置および動画像符号化処理プログラム

Info

Publication number: WO2006049335A1
Application number: PCT/JP2005/020689
Authority: WO
Inventors: Kouichi Nakagomi; Akira Hamada; Shinichi Matsui
Original assignee: Casio Computer Co., Ltd.
Priority date: 2004-11-04
Filing date: 2005-11-04
Publication date: 2006-05-11
Also published as: JP2006135461A; US8121193B2; US20070019729A1; US8824552B2; JP4877449B2; US20120114035A1

Abstract

動きベクトル探索で得られる最小の差分絶対値和が所定の閾値を超えるか否かで量子化誤差の大きさを大まかに判断する。量子化誤差が小さい場合には、現マクロブロックを16分割した4×4画素のブロック毎に検出した平坦度およびノイズ量に基づき現マクロブロックの一部画素に視覚的に目立つノイズがあるかどうかを判断し、視覚的に目立つノイズがあればフレーム内符号化を選択する。量子化誤差が大きい場合には、動きベクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断し、視覚的に目立つノイズがあれば、フレーム内符号化を選択する。

Description

動画像符号化装置および動画像符号化処理プログラム

技術分野

本発明は、人の視覚特性を勘案して動画像を圧縮する動画像符号化明

装置および動画像符号化処理プログラムに関する。

背景技術書デジタルテレビ放送、インタ一ネットのビデオストリ一ミングあるいは D VDなどのアプリケーションでは、伝送帯域や記憶容量が限られる為、圧縮率の高い符号化技術が要求されている。そうした要求に応える高圧縮率の符号化技術として、例えば H. 2 64規格が知られている。以下、図 9〜図 1 5を参照して H. 2 6 4規格に準拠した動画像符号化装置の一例について述べる。

図 9は動画像符号化装置の概略構成を示すプロック図である。この図において、減算器 1 0は、現ブロックの画素値から予測ブロックの画素値を減算して輝度差分を表す予測誤差信号を発生する。変換/量子化部 1 1は、減算器 1 0から出力される予測誤差信号に整数 D C T (離散コサイン変換）を施し、これにより得られる変換係数を所定の量子化幅で量子化して係数データを発生する。ェントロピー符号化部 1 2は、変換量子化部 1 1が発生した係数データについて、可変長符号化 VL Cをベースとした指数ゴロム符号と、それを応用した C A BAG (Context-based Adaptive Binary Arithmetic Coding) とを用いてェントロピー符号化する。

逆量子化ノ逆変換部 1 3、加算器 1 4、ループフィルタ 1 5およびフレームメモリ 1 6は、ローカル復号部を形成する。ローカル復号部では、変換量子化部 1 1が発生した係数データに逆量子化および逆整数 D C Tを施した後に前予測ブロックの画素値を加算して復号画像を生成し、生成した復号画像にループフィルタリングを施してプロックノイズを低減させた後、フレームメモリ 1 6に一時記憶する。フレーム内予測部 1 7は、フレームメモリ 1 6から読み出される復号画像を用いてフレーム内予測ブロック値を算出する。

動き検出部 1 8は、現ブロックの動きベクトルを検出する。動き補償部 1 9は、動き検出部 1 8が検出した動きべクトルに応じて参照フレーム（フレームメモリ 1 6から読み出される復号画像）に動き補償を施してフレーム間予測ブロック値を算出する。セレクタ 2 0は、判定部 2 1の指示に応じて、フレーム内予測部 1 7が算出するフレーム内予測ブロック値あるいは動き補償部 1 9が算出するフレーム間予測ブロック値のいずれかを選択して減算器 1 0に供給する。判定部 2 1は、フレーム内予測符号化時の生成符号量とフレーム間予測符号化の生成符号量とを推定し、生成符号量の小さい符号化方式を選択するようセレクタ 2 0に指示する。

次に、図 1 0〜図 1 5を参照して上記構成による動画像符号化装置の符号化判定動作を説明する。以下では、最初に「符号化判定処理」の動作を説明した後、符号化判定処理を構成する「 i n t e r予測処理」、「 i n t r a予測処理」および「 i n t e r D & Q処理」の各動作について概説する。

( 1 ) 符号化判定処理の動作

図 1 0は、ブロック画像入力毎に実行される符号化判定処理の動作を示すフローチャートである。プロック画像入力に応じて本処理が実行されると、ステップ S F 1に進み、装置各部をイニシャライズする。次いで、ステップ S F 2では、フレーム間予測符号化時の生成符号量を推定する i n t e r予測処理を実行し、続くステップ S F 3では、フレーム内予測符号化時の生成符号量を推定すると共に、フレーム内符号化（整数 D CT、量子化、逆量子化および逆整数 D CT) を行う i n t r a予測処理を実行する。そして、ステップ S F 4では、上記ステツプ S F 2にて得られる最小の差分絶対値和 S AD inter ( i n t e r予測時の生成符号量に相当）が、上記ステップ S F 3にて得られる最小の差分絶対値和 S AD intra ( i n t r a予測時の生成符号量に相当）より大きいか否かを判断する。

i n t e r予測時の生成符号量が i n t r a予測時の生成符号量より大きければ、判断結果は「YE S」になり、本処理を完了させる。したがって、この場合、動画像符号化装置は上記ステップ S F 3にて実行されたフレーム内符号化にて動画圧縮する。

一方、 i n t e r予測時の生成符号量が i n t r a予測時の生成符号量より小さいと、上記ステップ S F 4の判断結果が「N〇」になり、ステップ S F 5に進み、フレーム間符号化（整数 D CT、量子化、逆量子化および逆整数 D CT) を行う i n t e r D&Q処理を実行する。したがって、この塲合、動画像符号化装置はフレーム間符号化にて動画圧縮する。

(2) i n t e r予測処理の動作

次に、図 1 1〜図 1 3を参照して i n t e r予測処理の動作を説明する。上述のステップ S F 2 (図 1 0参照）を介して本処理が実行されると、図 1 1に図示するステップ S G 1に進み、 1 6 X 1 6画素のマクロブロックを 1 6分割した 4 X 4画素のブロックの全てについて処理し終えたかどうかを判断する。全てのブロックについて処理し終えると、判断結果は「YE S」となり、本処理を完了させるが、そうでなければ、判断結果が「N〇」になり、ステップ S G 2に進む。なお、 1 6 X 1 6画素のマクロブロックと 4 X 4画素のブロックとの関係は、図 1 3に図示する通り、マクロブロックのプロックナンパ nにて 4 X4画素のブロックが指定されるようになっている。

次いで、ステツプ S G 2では、処理対象の 4 X 4画素のブロック（以下、現ブロックと称す）の画素値 0 r gを算出する。次いで、ステツプ S G 3では、動きべクトルを探索する MVサーチ処理を実行する。 MVサーチ処理では、図 1 2のステップ SH 1〜S H 3に図示するように、参照フレームの探索範囲内で参照プロックを中心に画素をずらしながら現ブロックとの相関を算出し、その内で最も相関の高い画素の位置を動きべクトルとして抽出する。

MVサーチ処理では、参照ブロックと現ブロックとの相関を、両ブロックの差分絶対値和 SADで評価している。したがって、最も相関の高い画素の位置を動きべクトルとして抽出した時、差分絶対値和 S ADは最小となる。最小の差分絶対値和 S AD interは、 i n t e r D&Q処理を行うか否かを判断するステップ S F 4 (図 1 0参照）に用いられる。

( 3) i n t r a予測処理の動作

次に、図 1 4を参照して i n t r a予測処理の動作を説明する。前述したステップ S F 3 (図 1 0参照）を介して本処理が実行されると、図 1 4に図示するステツプ S J 1に進み、 1 6 X 1 6画素のマクロブロックを 1 6分割した 4 X 4画素のブロックの全てについて処理し終えたかどうかを判断する。全てのブロックについて処理し終えると、判断結果は「YE S」となり、本処理を完了させるが、そうでなければ、判断結果が「N〇」になり、ステップ S J 2に進む。ステップ S J 2では、例えば i n t r a 4 X4mo d eの場合、 m o d e 0〜m o d e 8の計 9種類の予測方法にて各 m o d eの予測ブロック値を算出する。

次いで、ステップ S J 3〜 S J 5では、現ブロックと上記各 m o d eの予測ブロック値との差分絶対値和 S ADを、全ての mo d e 0〜 mo d e 8に対応して算出し、その内から最小の差分絶対値和 S AD intraを求める。最小の差分絶対値和 S AD intraは、 i n t e r D &Q処理を行うか否かを判断するステップ S F 4 (図 1 0参照）に用いられる。

全ての m o d e 0〜m o d e 8について差分絶対値和 S ADを算出し終え、その内で最小の差分絶対値和 S AD intraが決定すると、ステップ S J 3の判断結果が「 Y E S」になり、ステップ S J 6に進み、最小の差分絶対値和 S AD intraを生成する mo d eで現プロックをフレーム内符号化する。以後、上述したステップ S J 1〜S J 6 を全てのブロックについて処理し終えるまで繰り返す。

(4) i n t e r D&Q処理の動作

次に、図 1 5を参照して i n t e r D &Q処理の動作を説明する。前述したステップ S F 5 (図 1 0参照）を介して本処理が実行されると、図 1 5に図示するステツプ S K 1に進み、 1 6 X 1 6画素のマクロブロックを 1 6分割した 4 X 4画素のブロックの全てについて処理し終えたかどうかを判断する。全てのブロックについて処理し終えていなければ、判断結果は「N〇」となり、ステップ S K 2に進む。ステツプ S K 2〜S K 6では、現ブロックの画素値 O r g ( i， j ) からフレーム間予測ブロック値 r e f ( i , j ) を減算して生成される予測誤差信号に変換処理（整数 D CT) 、量子化処理 Q、逆量子化 Q- 1および逆変換処理（整数 D CT- 1) を施す。そして、ステップ S K 7に進み、フレーム間予測ブロック値 r e f ( i , j ) を歩進させてから上記ステップ S K 1に処理を戻す。以後、全てのブロックについて処理し終えるまでステツプ S K 1〜S K 7を繰り返す。

以上のように、空間領域での相関を利用するフレーム内符号化又は時間領域での相関を利用するフレーム間符号化を選択的に用いて動画圧縮する動画像符号化装置では、ブロック画像入力毎に、 i n t e r予測時の生成符号量に相当する最小の差分絶対値和 S AD interと、 i n t r a予測時の生成符号量に相当する最小の差分絶対値和 S A D intraとを算出して大小比較を行い、より差分絶対値和 S A Dが小さい側の符号化方式を選択して圧縮符号化するようになっている。ところで、 i n t r a予測時の生成符号量に相当する最小の差分絶対値和 S AD intraを得るには、例えば i n t r a 4 X 4mo d eであれば、 m o d e 0〜m o d e 8の計 9種類の予測方法にて各 m o d eの予測ブロック値を算出する必要があり、こうした点が演算量の増大を招致する一因となっている。なお、従来技術として説明した H. 2 64規格による符号化技術については、例えば Iain E.G.Richards on奢、「H.264 and MPEG - 4 Video Compression:Video Coding for Next generation Multimediaj 、 John Wiley & Sons社、 (2 0 0 3 年 1 2月初版） "6. H.264/MPEG-4 Part 10. " (pi 59〜p223)に開示されている。

上述したフレーム内符号化又はフレーム間符号化を選択的に用いて動画圧縮する動画像符号化装置には、次のような問題がある。

(a) 例えばシーンチェンジ時や、動きべクトルが正しく検出されない時あるいはフラッシュ等により輝度変化が大きい時などのように参照画像に対して入力画像の変化が著しい場合を除けば、フレーム内符号化が選択されることはほとんど無い。この為、膨大な演算量の i n t r a予測処理（図 1 4参照）が無駄になってしまうという問題がある。

( b ) 人間の視覚特性を考慮せず、生成符号量の大小比較だけでフレーム内符号化/フレーム間符号化のいずれかを一意的に選択する符号化判定を行うので、高速探索アルゴリズムを用いた動きべクトル探索時にローカルミニマムに陥って量子化誤差伝搬が生じた場合や、量子化値を大きくした低ビットレートの符号化の際にはノイズの目立つ画像に成り易く、画質低下を招致する虞がある。ローカルミニマムとは、ある限定された区間（領域）での最小値という概念である。例えば、真の最小値ではなく、偽の最小値というようなものである。そこで本発明は、このような事情に鑑みてなされたもので、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定でき、しかもローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することができる動画像符号化装置および動画像符号化処理プログラムを提供することを目的としている。発明の開示

上記目的を達成するため、請求の範囲 1に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、符号化するマクロプロック画像を分割したブロック画像単位でフレーム間符号化する際に、視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する符号化判定手段を具備することを特徴とする。

請求の範囲 2に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、符号化するマクロブロック画像を分割したプロック画像単位でフレーム間符号化する際に、視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定手段と、フレーム間予測で得た動きべクトルの大きさを考慮した上で視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定手段とを具備することを特徴とする。

請求の範囲 3に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、フレーム間予測時の動きべクトル探索で得られる評価値を用いて、符号化するマクロブロック画像全体の量子化誤差の大きさを推定する誤差推定手段と、マクロブロック画像を分割したブロック画像単位でフレーム間符号化する際に、ブロック画像毎の平坦度と量子化誤差とを検出する検出手段と、前記誤差推定手段により推定された量子化誤差が所定値より小さい場合に、前記検出手段にて検出された平坦度と量子化誤差との関係から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定手段と、前記誤差推定手段により推定された量子化誤差が所定値より大きい場合に、推定された量子化誤差から視覚的に目立つノィズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定手段とを具備することを特徴とする。

請求の範囲 4に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、フレーム間予測時の動きべクトル探索で得られる評価値を用いて、符号化するマクロブロック画像全体の量子化誤差の大きさを推定する誤差推定手段と、前記誤差推定手段により推定された量子化誤差が所定値より小さい場合に、マクロブロック画像を分割したブロック画像単位でフレーム間符号化する際にブロック画像毎の平坦度と量子化誤差とを検出し、検出した平坦度と量子化誤差との関係から視覚的に目立つノイズを有するプロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定手段と、前記誤差推定手段により推定された量子化誤差が所定値より大きい場合に、推定された量子化誤差から視覚的に目立つノイズを有するプロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定手段とを具備することを特徴とする。

請求の範囲 5に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、フレーム間予測時の動きべクトル探索で得られる評価値を用いて、符号化するマクロブ口ック画像全体の量子化誤差の大きさを推定する誤差推定手段と、前記誤差推定手段により推定された量子化誤差が所定値より小さい場合に、マクロブロック画像全体の平坦度を算出して視覚的にノイズが目立ち難い平坦度であるかどうかを判断し、視覚的にノイズが目立ち難ければフレーム間符号化を選択し、一方、視覚的にノイズが目立ち易ければフレーム内符号化を選択する第 1の符号化判定手段と、前記誤差推定手段により推定された量子化誤差が所定値より大きい場合に、推定された量子化誤差から視覚的に目立つノィズがマクロブロック画像に存在するかどうかを判断し、視覚的に目立つノイズが無ければフレーム間符号化を選択し、一方、視覚的に目立つノイズが有ればフレーム内符号化を選択する第 2の符号化判定手段とを具備することを特徴とする。上記請求の範囲 3〜 5のいずれかに従属する請求の範囲 6に記載の発明では、前記第 2の符号化判定手段は、フレーム間予測で得た動きべクトルの大きさを考慮して視覚的に目立つノイズを有するプロック画像の有無を判断することを特徴とする。

上記請求の範囲 3〜 5のいずれかに従属する請求の範囲に 7記載の発明では、前記フレーム間予測時の動きべクトル探索で得られる評価値とは、最も相関の高い動きべクトルを検出した時の差分絶対値和であることを特徴とする。

請求の範囲 8に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、マクロプロック画像を分割したブロック画像単位でフレーム間符号化する際に、ブロック画像毎の平坦度と量子化誤差とを検出すると共に、マクロブロック画像全体の量子化誤差の大きさを検出する検出手段と、前記検出手段により検出されたマクロブロック画像全体の量子化誤差が所定値より小さい場合に、検出された平坦度と量子化誤差との関係から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定手段と、前記検出手段により検出されたマクロブ口ック画像全体の量子化誤差が所定値より大きい場合に、フレーム間予測で得た動きべクトルの大きさを考慮した上で視覚的に目立つノイズを有するプロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定手段とを具備することを特徴とする。

請求の範囲 9に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化処理プログラムにおいて、符号化するマクロブロック画像を分割したブロック画像単位でフレーム間符号化する際に、視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する符号化判定処理をコンピュータで実行させることを特徴とする。

請求の範囲 1 0に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化処理プログラムにおいて、符号化するマクロブロック画像を分割したブロック画像単位でフレーム間符号化する際に、視覚的に目立つノイズを有するプロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定処理と、フレーム間予測で得た動きべクトルの大きさを考慮した上で視覚的に目立つノィズを有するブロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定処理とをコンピュータで実行させることを特徴とする。

請求の範囲 1 1に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化処理プログラムにおいて、フレーム間予測時の動きべクトル探索で得られる評価値を用いて、符号化するマクロプロック画像全体の量子化誤差の大きさを推定する誤差推定処理と、マクロプロック画像を分割したプロック画像単位でフレーム間符号化する際に、ブロック画像毎の平坦度と量子化誤差とを検出する検出処理と、前記誤差推定処理により推定された量子化誤差が所定値より小さい場合に、前記検出処理にて検出された平坦度と量子化誤差との関係から視覚的に目立つノイズを有するプロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定処理と、前記誤差推定処理により推定された量子化誤差が所定値より大きい場合に、推定された量子化誤差から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定処理とをコンピュータで実行させることを特徴とする。

請求の範囲 1 2に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化処理プログラムにおいて、フレーム間予測時の動きべクトル探索で得られる評価値を用いて、符号化するマクロブロック画像全体の量子化誤差の大きさを推定する誤差推定処理と、前記誤差推定処理により推定された量子化誤差が所定値より小さい場合に、マクロブロック画像を分割したブロック画像単位でフレーム間符号化する際にブロック画像毎の平坦度と量子化誤差とを検出し、検出した平坦度と量子化誤差との関係から視覚的に目立つノイズを有するプロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定処理と、前記誤差推定処理により推定された量子化誤差が所定値より大きい場合に、推定された量子化誤差から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定処理とをコンピュータで実行させることを特徴とする。

請求の範囲 1 3に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化処理プログラムにおいて、フレーム間予測時の動きべクトル探索で得られる評価値を用いて、符号化するマクロプロック画像全体の量子化誤差の大きさを推定する誤差推定処理と、前記誤差推定処理により推定された量子化誤差が所定値より小さい場合に、マクロブロック画像全体の平坦度を算出して視覚的にノィズが目立ち難い平坦度であるかどうかを判断し、視覚的にノイズが目立ち難ければフレーム間符号化を選択し、一方、視覚的にノイズが目立ち易ければフレーム内符号化を選択する第 1の符号化判定処理と、前記誤差推定処理により推定された量子化誤差が所定値より大きい場合に、推定された量子化誤差から視覚的に目立つノィズがマクロブロック画像に存在するかどうかを判断し、視覚的に目立つノイズが無ければフレーム間符号化を選択し、一方、視覚的に目立つノイズが有ればフレーム内符号化を選択する第 2 の符号化判定処理とをコンピュータで実行させることを特徴とする。上記請求の範囲 1 1〜 1 3のいずれかに従属する請求の範囲 1 4 に記載の発明では、前記第 2の符号化判定処理は、フレーム間予測で得た動きべクトルの大きさを考慮して視覚的に目立つノイズを有するブロック画像の有無を判断することを特徴とする。

上記請求の範囲 1 1〜 1 3のいずれかに従属する請求の範囲 1 5 に記載の発明では、前記フレーム間予測時の動きべクトル探索で得られる評価値とは、最も相関の高い動きべクトルを検出した時の差分絶対値和であることを特徴とする。

請求の範囲 1 6に記載の発明では、フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化処理プログラムにおいて、マクロブロック画像を分割したブロック画像単位でフレーム間符号化する際に、ブロック画像毎の平坦度と量子化誤差とを検出すると共に、マクロブロック画像全体の量子化誤差の大きさを検出する検出処理と、前記検出処理により検出されたマクロプロック画像全体の量子化誤差が所定値より小さい場合に、検出された平坦度と量子化誤差との関係から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定処理と、前記検出処理により検出されたマクロプロック画像全体の量子化誤差が所定値より大きい場合に、フレーム間予測で得た動きべクトルの大きさを考慮した上で視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定処理とをコンピュータで実行させることを特徴とする。請求の範囲 1 、 9に記載の発明によれば、符号化するマクロブロック画像を分割したブロック画像単位でフレーム間符号化する際に、視覚的に目立つノィズを有するブロック画像が存在する時にフレーム内符号化を選択するので、従来、使用頻度が低いにもかかわらず、符号化判定の為に実行されていた、膨大な演算量の i n t r a予測処理 (図 1 4参照）を省略でき、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定することができる。

また、視覚的に目立つノイズがあると、即座にフレーム内符号化を選択するので、ローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することもできる。

請求の範囲 2、 1 0に記載の発明によれば、符号化するマクロプロック画像を分割したプロック画像単位でフレーム間符号化する際に、視覚的に目立つノイズを有するプロック画像が存在する時にフレーム内符号化を選択し、フレーム間予測で得た動きべクトルの大きさを考慮した上で視覚的に目立つノイズを有するブロック画像が存在する時にフレーム内符号化を選択するので、従来、使用頻度が低いにもかかわらず、符号化判定の為に実行されていた、膨大な演算量の i n t r a予測処理（図 1 4参照）を省略でき、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定することができる。

請求の範囲 3、 1 1に記載の発明によれば、フレーム間予測時の動きべクトル探索で得られる評価値を用いて、符号化するマクロブロック画像全体の量子化誤差の大きさを推定しておき、マクロブロック画像を分割したブロック画像単位でフレーム間符号化する際にブロック画像毎の平坦度と量子化誤差とを検出する。そして、推定された量子化誤差が所定値より小さければ、検出された平坦度と量子化誤差との関係から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する。

一方、推定された量子化誤差が所定値より大きければ、推定された量子化誤差から視覚的に目立つノイズを有するプロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する。

したがって、従来では使用頻度が低いにもかかわらず、符号化判定の為に実行されていた、膨大な演算量の i n t r a予測処理（図 1 4 参照）を省略するので、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定することができる。

また、視覚的に目立つノイズがあれば、即座にフレーム内符号化を選択する為、ローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することもできる。

請求の範囲 4、 1 2に記載の発明によれば、フレーム間予測時の動きべクトル探索で得られる評価値を用いて、符号化するマクロプロック画像全体の量子化誤差の大きさを推定し、推定された量子化誤差が所定値より小さいと、マクロブロック画像を分割したプロック画像単位でフレーム間符号化する際にブロック画像毎の平坦度と量子化誤差とを検出し、検出した平坦度と量子化誤差との関係から視覚的に目立つノイズを有するプロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する。

一方、推定された量子化誤差が所定値より大きいと、推定された量子化誤差から視覚的に目立つノィズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する。

請求の範囲 5、 1 3に記載の発明によれば、フレーム間予測時の動きべクトル探索で得られる評価値を用いて、符号化するマクロブロック画像全体の量子化誤差の大きさを推定し、推定された量子化誤差が所定値より小さいと、マクロブロック画像全体の平坦度を算出して視覚的にノイズが目立ち難い平坦度であるかどうかを判断し、視覚的にノイズが目立ち難ければフレーム間符号化を選択し、視覚的にノイズが目立ち易ければフレーム内符号化を選択する。

一方、推定された量子化誤差が所定値より大きいと、推定された量子化誤差から視覚的に目立つノイズがマクロブロック画像に存在するかどうかを判断し、視覚的に目立つノイズが無ければフレーム間符号化を選択し、視覚的に目立つノイズが有ればフレーム内符号化を選択する。

請求の範囲 7 、 1 5に記載の発明によれば、フレーム間予測時の動きべクトル探索で得られる評価値として、最も相関の高い動きべクトルを検出した時の差分絶対値和を用い、これにより符号化するマクロブロック画像全体の量子化誤差の大きさを推定するので、マクロプロック画像全体の量子化誤差を算出する演算を省略することができる。請求の範囲 8、 1 6に記載の発明によれば、マクロブロック画像を分割したブロック画像単位でフレーム間符号化する際に、ブロック画像毎の平坦度と量子化誤差とを検出すると共に、マクロブロック画像全体の量子化誤差の大きさを検出しておき、検出されたマクロブロック画像全体の量子化誤差が所定値より小さければ、検出された平坦度と量子化誤差との関係から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する。

一方、検出されたマクロプロック画像全体の量子化誤差が所定値より大きければ、フレーム間予測で得た動きべクトルの大きさを考慮した上で視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する。

人間の視覚特性は、空間的視覚特性と時間的視覚特性とに大別される。空間的視覚特性は、画像の平坦な部分では解像度より階調の感度が高く、平坦でない部分では逆に階調より解像度の感度が高いことが知られている。したがって、動画を静止画の連続として捉えると、空間的視覚特性を考慮する必要が生じる。

ところで、符号化の際に発生する量子化誤差は、逆 D C Tされた後に予測画像に加算されるため、予測画像に対して復号差分信号を加算して得られる復号画像の各画素に最終的に残留することになる。符号化 ·復号の過程で生じる画素毎の差分値をブロック単位で合算すれば、そのブロックで生じるノイズ量となる。

上述したように、画像の平坦な部分では解像度より階調の感度が高くなる為、ノイズ量が同程度のブロック同士を比較した場合、画像が平坦であるほど視覚的に目立つノイズとなる。具体的には、例えば「人の肌」、「空」あるいは「地面」などの平坦な部分ではノイズは目立つが、「観客席」や「森」などの平坦でない部分のノイズは目立たない。したがって、ブロック単位でノイズ量と平坦度とを検出すれば、そのブロックで生じるノィズが視覚的に目立つものであるか否かを推定できる。

このような知見に基づき、本発明では、符号化しょうとする現マクロブロックに、視覚的に目立つノイズが存在するか否かを判断し、視覚的に目立つノイズが存在する場合にのみフレーム内符号化を行う。こうしたことにより、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定し得るようになる。また、後述するように、ローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することも可能になる。図面の簡単な説明

第 1図は、本発明による第 1実施形態の構成を示すプロック図である。

第 2図は、放送画像などの一般的な画像の m i n S A D値（x軸）と量子化誤差総量 Σ Ν ο i s e ( y軸）との対応関係を図示したダラフである。

第 3図は、視覚的に目立つノイズが有るマクロブロックの平坦度 f 1 a t / m i n S A D値および視覚的に目立つノイズが無いマクロブロックの平坦度 f l a t / m i n S A D値をプロットしたグラフである。

第 4図は、第 1実施形態による符号化判定処理の動作を示すフロ一チヤ一トである。

第 5図は、第 1実施形態による i n t e r D & Q処理の動作を示すフローチャートである。

第 6図は、第 2実施形態による符号化判定処理の動作を示すフローチヤ一卜である。

第 7図は、第 3実施形態による符号化判定処理の動作を示すフローチヤ一卜である。

第 8図は、第 4実施形態による符号化判定処理の動作を示すフローチヤ一トである。第 9図は、従来例の動画像符号化装置の構成を示すプロック図である。

第 1 0図は、従来例の符号化判定処理の動作を示すフローチャートである。

第 1 1図は、従来例の I n t e r予測処理の動作を示すフローチヤ一卜である。

第 1 2図は、従来例の M Vサーチ処理の動作を示すフローチャートである。

第 1 3図は、 1 6 X 1 6画素のマクロブロックと 4 X 4画素のブロックとの関係を示す図である。

第 1 4図は、従来例の I n t r a予測処理の動作を示すフローチヤ一卜である。

第 1 5図は、従来例の I n t e r D & Q処理の動作を示すフローチヤー卜である。発明を実施するための最良の形態

A . 第 1実施形態

A— 1 . 構成

図 1を参照して本発明の第 1実施形態について説明する。図 1は、第 1実施形態による動画像符号化装置の概略構成を示すブロック図である。この図に示す動画像符号化装置において、図 9に図示した従来例と共通する構成要素には同一の番号を付し、その説明を省略する。図 1に示す動画像符号化装置が図 9の従来例と相違する点は、平坦度算出部 3 0およびノイズ算出部 4 0とを新たに設ける一方、平坦度算出部 3 0およびノイズ算出部 4 0の各出力に応じて判定部 2 1がフレーム内符号化あるいはフレーム間符号化のいずれかを選択することにある。

平坦度算出部 3 0は、符号化対象として入力されるブロック画像 (現マクロブロック）に周知のアダマール変換を施して平坦度を算出する。具体的には、 1 6 X 1 6画素の現マクロプロックを 1 6分割した 4 X 4画素のブロック毎にアダマール変換して得られるァダマール係数の高調波成分係数の絶対和値を、ブロック毎の平坦度 f 1 a t ( 0) 〜 f l a t ( 1 5 ) として求め、さらにこれらサブブロック毎の平坦度 f l a t ( 0 ) 〜： f l a t ( 1 5 ) の総和から現マクロプロックの平坦度 F 1 a tを得る。

なお、 4 X 4画素のブロック単位で平坦度 f 1 a tを算出するようにしたのは、下記 1 ) 〜 3 ) の理由による。

1 ) 1 6 X 1 6画素のマクロブロックについてアダマール変換を行うより 4 X 4画素のブロックについて 1 6回のアダマール変換を行う方が演算量が圧倒的に少なく処理的に有利であること。

2 ) 4 X 4画素のアダマール変換は、 1 6 X 1 6画素のアダマール変換に比べて矩形波分解能が 1 /4に落ちるものの、本発明が意図する平坦度評価には十分な分解能が得られること。

3 ) H. 2 6 4規格の直交変換には、 4 X 4画素のサブブロックに対して整数 D C Tが用いられている為、サブプロックの画素値を一時記憶する計算用バッファを平坦度算出用にも共用できること。

ノイズ算出部 4 0は、画素値に重畳される量子化誤差を抽出してブロック毎のノイズ N o i s e ( 0 ) 〜（ 1 5 ) を生成する。画素毎の量子化誤差は、現ブロックの画素値〇 r g ( i , j ) と参照画像（動き補償されたローカル復号画像）の画素値 r e f ( i， j ) との差分値 An ( i , j ) と、それをローカル復号した後の差分値 A' n ( i， j ) との差分 Z n ( i , j ) から求められる。差分 Z n ( i , j ) の絶対値和が 4 X 4画素のブロック毎のノイズ N o i s e (0) 〜（ 1 5) となる。

判定部 2 1では、量子化誤差総量∑N o i s e (ノイズ N o i s e ( 0 ) 〜（ 1 5) の総和）の代用として、 i n t e r予測時の動きべクトル探索で得られる最小の差分絶対値和 m i n S AD (以下、 m i n S AD値と略記する）を用いて誤差状況判定し、この誤差状況判定の結果に応じて第 1または第 2の符号化判定を行う。

誤差状況判定とは、符号化対象とされる現マクロブロックの m i n SAD値が閾値 TH 1 (後述する）より大きいか否かを判定するものである。この誤差状況判定で m i n S AD値が閾値 TH 1より小さければ、第 1の符号化判定（後述する）を行い、一方、 m i n SAD値が閾値 TH 1より大きければ、第 2の符号化判定（後述する）を行う。

ところで、量子化誤差総量∑ N o i s eを m i n S AD値で代用できる理由について図 2を参照して説明する。図 2は、放送画像などの一般的な画像において、 1 6 X 1 6画素のマクロブロック単位で得た m i n S AD値（x軸）と量子化誤差総量∑ N o i s e (y軸）との関係を図示するグラフである。

このグラフから判るように、 m i n S AD値は一次関数 K 1を境とし、常に量子化誤差総量∑ Ν 0 i s eを上回る値を取る。このため、量子化誤差総量∑ N 0 i s eを m i n S A D値で代用しても実際の量子化誤差を見逃す虞がなく、大まかな誤差判定には十分耐え得ることが判る。また、量子化誤差総量∑ N o i s eを m i n SAD値で代用することで演算量増大も回避できる。

判定部 2 1の誤差状況判定によって量子化誤差（m i n SAD値）が小さいと判断されたとしても、マクロブロックの一部画素に視覚的に目立つノイズが存在し、それ以外の他の画素の量子化誤差が少ない状態を平均化した結果である可能性が残る。

そこで、判定部 2 1では、マクロブロックを 1 6分割した 4 X 4画素のブロック単位で抽出される「ノイズ N o i s e」と「平坦度 f 1 a t」とを勘案した第 1の符号化判定を行う。その詳細については追つて述べるが、第 1の符号化判定では、「ノイズ N o i s e」と「平坦度 f 1 a t」とから視覚的に目立つノイズの有無を判断し、視覚的に目立つノィズが存在する場合にフレーム内符号化を選択するようになっている。

一方、誤差状況判定にて量子化誤差（m i n S A D値）が大きいと判断された場合には、一部の画素だけでなくマクロプロック全体に量子化誤差が生じている可能性がある。そこで、判定部 2 1では、 1 6 X I 6画素のマクロブロック単位で「m i n S A D値」、「平坦度 f 1 a t」および「動きべクトル」を勘案した第 2の符号化判定を行う。ここで、図 3を参照して第 2の符号化判定の概要について説明する。図 3は、視覚的に目立つノイズが有るマクロブロック（グラフ中の黒四角印）の平坦度 f l a tおよび m i n S A D値、視覚的に目立つノィズが無いマクロブロック（グラフ中の白丸印）の平坦度 f 1 a tおよび m i n S A D値をそれぞれプロットしたグラフである。

この図に示すグラフから判るように、 m i n S A D値が「 6 0 0」程度の直線 A以上の領域では、直線 Bで示される一次近似関数を用いて視覚的に目立つノイズが出る領域であるか否かを判別することが可能になる。なお、直線 Aの値とは、上述した誤差状況判定に用いる閾値 T H 1に相当する。

したがって、第 2の符号化判定では、現マクロブロックの平坦度 f 1 a tおよび m i n S A D値が直線 Bの上側の領域（視覚的に目立つノイズが出る領域）にあるかどうかを判断し、直線 Bの上側の領域にある場合にフレーム内符号化を選択する。

ところで、物体の移動もしくはカメラパン等により動きべクトルが大きいと、現マクロブロックがぼけた画像になり、その場合、量子化誤差は視覚的に目立たないノイズとなるにもかかわらず m i n S A D値が大きくなる傾向がある。

そこで、第 2の符号化判定では、上述した判定内容を現マクロプロックの動きベクトル（u, V ) に応じて適応変化させる必要があることから、次式 [1] に基づきフレーム内符号化を行うか否かが判断される。

m i n SAD> (1 + aX f (mv) ) xkXF l a t ·'' [1] なお、 [1] 式において、係数 aは動きベクトルの寄与分を調整する定数、係数 kは上述した直線 Bの傾きに相当する定数である。関数 f (mv) は現マクロブロックの動きベクトル（u， v) の大きさ（u ²+ V²) である。

A— 2. 動作

次に、図 4〜図 6を参照して上記構成による第 1実施形態の符号化判定動作を説明する。

<符号化判定処理の動作 >

図 4は、プロック画像入力毎に実行される符号化判定処理の動作を示すフローチャートである。ブロック画像入力に応じて本処理が実行されると、先ずステップ S A 1において装置各部をイニシャライズした後、ステップ SA2に進み、フレーム間予測符号化時の生成符号量を推定する i n t e r予測処理を実行する。この i n t e r予測処理は、図 1 1に図示した従来例と同一であり、 1 6 X 16画素の現マクロブロックを 1 6分割した 4 X 4画素のブロックの全てについて動きべクトルを探索する MVサーチ処理を行い、プロック毎の m i n S AD値を得る。

続いて、ステップ S A 3では、フレーム間符号化（整数 DCT、量子化、逆量子化および逆整数 D CT) を行う i n t e r D&Q処理を実行する。そして、ステツプ S A 4では、上記ステツプ S A 2の i n t e r予測処理にて得られる m i n S AD値が閾値 TH 1を超えるか否か、つまり前述の誤差状況判定を実行する。

そして、誤差状況判定にて量子化誤差が小さいと判断された場合には、判断結果が「NO」になり、ステップ S A 5に進む。ステップ S A 5では、フラグ I NTRA—F L G (後述する）が「 1」か否かを判断する。フラグ I NT R A— F L Gとは、 i n t e r D &Q処理（後述する）にて生成されるフラグであり、視覚的に目立つノイズが現マクロブロックに存在する場合に「 1」がセットされる。したがって、このステップ S A 5は、前述した第 1の符号化判定に相当する。

視覚的に目立つノィズが現マクロブロックに存在していると、フラグ I NT R A— F L Gに「 1」がセットされる為、ステップ SA 5の判断結果は「YE S」となり、ステップ SA 7に進み、フレーム内符号化を行う i n t r a D&Q処理を実行する。これに対し、視覚的に目立つノィズが現マクロブロックに存在していなければ、フラグ I NTRA— F L Gには「 1」がセットされず、ステップ S A 5の判断結果は「NO」となり、本処理を完了させる。

一方、上記ステップ S A 4の誤差状況判定において、量子化誤差が大きいと判断された場合には、判断結果が「YE S」になり、ステツプ SA 6に進む。ステップ SA 6では、前述した [ 1 ] 式で表される判定条件に基づき第 2の符号化判定を行う。つまり、動きべクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断する。視覚的に目立つノイズが有ると、判断結果は「YE S」となり、ステップ S A 7に進み、 i n t r a D& Q処理を実行する。一方、視覚的に目立つノイズが無ければ、判断結果は「NO」となり、本処理を完了させる。

< i n t e r D&Q処理の動作 >

次に、図 5を参照して i n t e r D & Q処理の動作を説明する。上述したステップ S A 3 (図 4参照）を介して本処理が実行されると、図 5に図示するステップ S B 1に進み、 1 6 X 1 6画素の現マクロブロックを 1 6分割した 4 X 4画素のブロックの全てについて処理し終えたかどうかを判断する。全てのブロックについて処理し終えると、判断結果は「YE S」となり、本処理を完了させるが、そうでなければ、判断結果が「NO」になり、ステップ S B 2に進む。ステップ S B 2では、各ブロック毎にアダマール変換して得られるアダマール係数の高調波成分係数の絶対和値から現ブロックの平坦度 f 1 a t (n) を算出する。

次いで、ステツプ S B 3〜 S B 7では、現プロックの画素値 O r g ( i , j ) からフレーム間予測ブロック値（参照画像の画素値） r e f ( i , j ) を減算して生成される予測誤差信号（差分値 An ( i， j ) ) に変換処理（整数 D CT) 、量子化処理 Q、逆量子化 Q—¹および逆変換処理（逆整数 D C T)を施す。そして、ステップ S B 8では、上記の差分値 An ( i , j ) と、それをローカル復号した後の差分値 A' n ( i , j ) との差分 Ζ η ( i , j ) から画素値に重畳される量子化誤差を抽出し、さらに差分 Z n ( i , j ) の絶対値和を算出して現ブロックのノイズ N o i s e (n) を求める。また、ステップ S B 8では、現ブロックを構成する 4 X4画素中の量子化誤差最大値 m a x No i s e (n) を検出する。そして、ステップ S B 9では、フレーム間予測ブロック値 r e f ( i , j ) を歩進させる。続いて、ステップ S B 1 0では、現ブロックのノイズ N o i s e値 (n) が閾値 TH 2より大きく、かつ現ブロックの平坦度 f l a t (n) が閾値 TH 3より小さく、しかも量子化誤差最大値 ma X N o i s e (n) が閾値 TH 1 0より小さいかどうか、すなわち視覚的に目立つノイズの有無を判断する前述の第 1の符号化判定を実行する。

視覚的に目立つノイズが存在すると、判断結果は「 Y E S」となり、ステップ S B 1 1に進み、フラグ I NTRA— F L Gに「 1」をセットした後、ステップ S B 1に処理を戻す。一方、視覚的に目立つノィズが存在しなければ、判断結果が「NO」になり、ステップ S B 1に処理を戻す。

このように、本実施形態では、 i n t e r予測時の動きべクトル探索で得られる m i n S AD値を、符号化対象とする現マクロブロックの量子化誤差総量∑ N o i s eを表す評価値に代用し、この m i n S AD値が閾値 TH 1を超えるか否かで量子化誤差の大きさを大まかに判断する誤差状況判定を行う。そして、この誤差状況判定で量子化誤差が小さいと見做された場合には、現マクロブロックを 1 6分割した 4 X 4画素のブロック毎に検出した平坦度 f 1 a tおよびノイズ N o i s eに基づき現マクロブ口ックの一部画素に視覚的に目立つノイズがあるかどうかを判断し、視覚的に目立つノイズがあれば、フレーム内符号化を選択する。一方、誤差状況判定で量子化誤差が大きいと見做された場合には、動きべクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロプロックに存在するかどうかを判断し、視覚的に目立つノイズがあれば、フレーム内符号化を選択する。

これにより、従来では使用頻度が低いにもかかわらず、符号化判定の為に実行されていた、膨大な演算量の i n t r a予測処理（図 1 4 参照）を省略するので、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定することが可能になっている。

また、平坦度 f 1 a tおよびノイズ N o i s eに基づき現マクロブロックに目立つノィズがあるかどうかを判断し、視覚的に目立つノィズがあれば、即座にフレーム内符号化を選択するようにしたので、口一カルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することも可能になっている。

B. 第 2実施形態

次に、図 6を参照して第 2実施形態による符号化判定処理の動作を説明する。上述の第 1実施形態と同様、ブロック画像入力に応じて本処理が実行されると、ステップ S C 1にて装置各部をイニシャライズした後、ステップ S C 2に進み、フレーム間予測符号化時の生成符号量を推定する i n t e r予測処理を実行し、 1 6 X 1 6画素の現マクロブロックを 1 6分割した 4 X 4画素のブロック毎の m i n S AD 値を得る。

次いで、ステップ S C 3では、上記ステツプ S C 2の i n t e r予測処理にて得られる m i n S AD値が閾値 TH 1を超えるか否か、つまり量子化誤差が小さいかどうかを判断する誤差状況判定を行う。そして、量子化誤差が小さいと判断された場合には、判断結果が「N〇」になり、ステップ S C 4に進む。ステップ S C 4では、フレーム間符号化を行いつつ、 4 X 4画素のブロック毎に検出した平坦度 f 1 a t およびノイズ N o i s eに基づき現マクロブロックの一部画素に視覚的に目立つノィズがあるかどうかを判断し、視覚的に目立つノイズがあれば、フラグ I NTR A— F L Gに「 1」をセットする i n t e r D&Q処理（図 5参照）を実行する。

ステップ S C 5では、フラグ I NTR A— F L Gが「 1」であるか否か、すなわち上記ステツプ S C 4の i n t e r D &Q処理において、視覚的に目立つノイズを検出したかどうかを判断する。視覚的に目立つノイズを検出していると、判断結果は「YE Sj になり、ステップ S C 6に進み、フレーム内符号化を行う i n t r a D&Q処理を実行する。これに対し、視覚的に目立つノイズを検出していなければ、ステップ S C 5の判断結果は「NO」となり、本処理を完了させる。

一方、量子化誤差が大きいと判断された場合には、上記ステップ S C 3の判断結果が「YE S」になり、ステップ S C 7に進む。ステツプ S C 7では、第 1実施形態と同様、前述の [ 1 ] 式で表される判定条件に基づき、動きべクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断する。視覚的に目立つノイズが現マクロブロックに存在しなければ、判断結果は「N 0」になり、ステップ S C 8に進む。

ステップ S C 8では、フレーム間符号化を行う i n t e r D&Q 処理（図 1 5参照）を実行する。これに対し、視覚的に目立つノイズが現マクロブロックに存在する場合には、上記ステツプ S C 7の判断結果が「YE S」となり、ステップ S C 6に進み、フレーム内符号化を行う i n t r a D & Q処理を実行して本処理を終える。

このように、第 2実施形態では、 i n t e r予測時の動きベクトル探索で得られる m i n S AD値を、符号化対象とする現マクロブロックの量子化誤差総量∑N o i s eを表す評価値に代用し、この m i n S AD値が閾値 TH 1を超えるか否かで量子化誤差の大きさを大まかに判断する誤差状況判定を行い、これにより量子化誤差が小さいと見做された場合には、現マクロブロックを 1 6分割した 4 X 4画素のブロック毎に検出した平坦度 f l a tおよびノイズ N o i s eに基づき現マクロブロックの一部画素に視覚的に目立つノィズがあるかどうかを判断する。そして、視覚的に目立つノイズがある場合にフレーム内符号化を選択する。

一方、誤差状況判定で量子化誤差が大きいと見做された場合には、動きべクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断する。視覚的に目立つノイズが無ければ、フレーム間符号化を選択し、一方、視覚的に目立つノィズが有ると、フレーム内符号化を選択する。

したがって、第 1実施形態と同様、膨大な演算量の i n t r a予測処理（図 1 4参照）を省略する為、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定することが可能になっている。また、平坦度 f 1 a tおよびノイズ N o i s eに基づき現マクロブロックに目立つノイズがあるかどうかを判断し、視覚的に目立つノイズがあれば、即座にフレーム内符号化を選択する為、ローカルミ二マムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することも可能になる。

C . 第 3実施形態

次に、図 7を参照して第 3実施形態による符号化判定処理の動作を説明する。上述の第 1実施形態と同様、ブロック画像入力に応じて本処理が実行されると、ステップ S D 1にて装置各部をイニシャライズした後、ステップ S D 2に進み、フレーム間予測符号化時の生成符号量を推定する i n t e r予測処理を実行し、 1 6 X 1 6画素の現マクロブロックを 1 6分割した 4 X 4画素のプロック毎の m i n S A D 値を得る。次いで、ステツプ S D 3では、上記ステツプ S D 2の i n t e r予測処理にて得られる m i n S A D値が閾値 T H 1を超えるか否か、つまり量子化誤差が小さいかどうかを判断する誤差状況判定を行う。

誤差状況判定で量子化誤差が小さいと判断された場合には、判断結果が「NO」になり、ステップ S D 4に進む。ステップ S D 4では、 4 X 4画素のプロック毎にアダマール変換して得られるアダマール係数の高調波成分係数の絶対和値から現マクロブロックの平坦度 F 1 a tを算出する。次いで、ステップ S D 5では、算出した平坦度 F 1 a tが閾値 TH 3より小さいか否か、すなわち視覚的にノイズが目立つ平坦度であるかどうかを判断する。

視覚的にノイズが目立ち難い平坦度ならば、判断結果は「NOj になり、ステップ S D 8に進み、フレーム間符号化（整数 D CT、量子化、逆量子化および逆整数 D CT) を行う i n t e r D &Q処理（図 1 6参照）を実行する。これに対し、視覚的にノイズが目立ち易い平坦度であると、上記ステップ S D 5の判断結果が「YE S」になり、ステップ S D 6に進み、フレーム内符号化を行う i n t r a D & Q 処理を実行する。

一方、量子化誤差が大きいと判断された場合には、上記ステップ S D 3の判断結果が「Y E S」になり、ステップ S D 7に進む。ステツプ SD 7では、第 1実施形態と同様、前述の [ 1 ] 式で表される判定条件に基づき、動きべクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロプロックに存在するかどうかを判断する。視覚的に目立つノイズが現マクロブロックに存在しなければ、判断結果は ΓΝ 0」になり、ステップ S D 8に進み、フレーム間符号化を行う i n t e r D&Q処理（図 1 5参照）を実行する。

これに対し、視覚的に目立つノイズが現マクロブロックに存在する場合には、上記ステップ S D 7の判断結果が「YE S」となり、ステップ S D 6に進み、フレーム内符号化を行う i n t r a D &Q処理を実行して本処理を終える。

このように、第 3実施形態では、 i n t e r予測時の動きべクトル探索で得られる m i n S A D値を、符号化対象とする現マクロプロックの量子化誤差総量∑ N o i s eを表す評価値に代用し、この m i n S A D値が閾値 T H 1を超えるか否かで量子化誤差の大きさを大まかに判断する誤差状況判定を行い、これにより量子化誤差が小さいと見做された場合には、現マクロブロックの平坦度を算出し、視覚的にノイズが目立ち難い平坦度であるかどうかを判断する。

視覚的にノイズが目立ち難い場合には、フレーム間符号化を行い、視覚的にノイズが目立ち易い場合には、フレーム内符号化を行う。一方、量子化誤差が大きいと見做された場合には、動きベクトルの大きさを考慮した上で視覚的に目立つノィズが現マクロブロックに存在するかどうかを判断し、視覚的に目立つノイズが無ければ、フレーム間符号化を選択し、一方、視覚的に目立つノイズが有ると、フレーム内符号化を選択する。

したがって、第 1実施形態と同様、膨大な演算量の i n t r a予測処理（図 1 4参照）を省略する為、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定することが可能になる上、視覚的に目立つノイズがあれば、即座にフレーム内符号化を選択する為、ローカルミニマムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することも可能になる。

D . 第 4実施形態

次に、図 8を参照して第 4実施形態による符号化判定処理の動作を説明する。上述の第 1実施形態と同様、ブロック画像入力に応じて本処理が実行されると、ステップ S E 1にて装置各部をイニシャライズした後、ステップ S E 2に進み、フレーム間予測符号化時の生成符号量を推定する i n t e r予測処理を実行する。次いで、ステップ S E 3では、フレーム間符号化を行いつつ、 4 X 4画素のブロック毎に検出した平坦度 F 1 a tおよびノイズ N o i s eに基づき現マクロブ口ックの一部画素に視覚的に目立つノイズがあるかどうかを判断し、視覚的に目立つノイズがあれば、フラグ I NTR A— F L Gに「 1」をセッ卜する i n t e r D&Q処理（図 5参照）を実行する。

続いて、ステップ S E 4では、上記ステップ S E 3の i n t e r D &Q処理にて得られるノイズ N o i s eの総和、すなわち現マクロブロックにおける量子化誤差総量∑ N 0 i s eが閾値 TH 1を超えるか否か、つまり量子化誤差総量∑ No i s eが小さいかどうかを判断する。量子化誤差総量∑N o i s eが小さいと判断された場合には、判断結果が「NO」になり、ステップ S E 5に進む。ステップ S E 5 では、フラグ I NTR A— F L Gが「 1」であるか否か、すなわち上記ステップ S E 3の i n t e r D & Q処理において、視覚的に目立つノイズを検出したかどうかを判断する。視覚的に目立つノイズを検出していると、判断結果は「YE S」になり、ステップ S E 7に進み、フレーム内符号化を行う i n t r a D&Q処理を実行する。これに対し、視覚的に目立つノイズを検出していなければ、ステップ S E 5 の判断結果は「NO」となり、本処理を完了させる。

一方、量子化誤差総量∑N o i s eが大きいと判断された場合には、上記ステップ S E 4の判断結果が「YE S」になり、ステップ S E 7 に進む。ステップ S E 7では、次式 [2] で表される判定条件に基づき、動きべクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断する。

∑ N o i s e > ( 1 + a X f (m v) ) X k X F 1 a t - [ 2 ] なお、 [2] 式において、係数 aは動きべクトルの寄与分を調整する定数、係数 kは上述した直線 Bの傾きに相当する定数である。関数 f (m v) は現マクロブロックの動きベクトル（u， V ) の大きさ（u ²+ V ²) である。

視覚的に目立つノイズが有ると、上記ステップ S E 6の判断結果は「YE S」となり、ステップ S E 7に進み、フレーム内符号化を行う i n t r a D&Q処理を実行する。一方、視覚的に目立つノイズが無ければ、判断結果は「N〇」となり、本処理を完了させる。

このように、第 4実施形態では、量子化誤差総量∑N o i s eが閾値 TH 1を超えるか否かで現マクロブロックの量子化誤差の大きさを判断し、量子化誤差が小さい場合には、現マクロブロックを 1 6分割した 4 X 4画素のブロック毎に検出した平坦度 f 1 a tおよぴノィズ N o i s eに基づき現マクロブロックの一部画素に視覚的に目立つノイズがあるかどうかを判断する。そして、視覚的に目立つノィズがある場合にはフレーム内符号化を選択する。一方、量子化誤差が大きい場合には、動きべクトルの大きさを考慮した上で視覚的に目立つノイズが現マクロブロックに存在するかどうかを判断し、視覚的に目立つノイズが有ると、フレーム内符号化を選択する。

したがって、第 1実施形態と同様、膨大な演算量の i n t r a予測処理（図 1 4参照）を省略する為、無駄な演算を行わず、人間の視覚特性を考慮して高速に符号化モードを判定することが可能になっている。また、平坦度 f l a tおよびノイズ N o i s eに基づき現マクロブロックに目立つノイズがあるかどうかを判断し、視覚的に目立つノイズがあれば、即座にフレーム内符号化を選択する為、ローカルミ二マムに陥った場合の量子化誤差伝搬を素速く断ち切り画質低下を回避することも可能になる。

なお、本発明の一実施形態である動画像符号化装置の処理プロダラムは、動画像符号化装置のメモリ（例えば、 R O Mなど）に格納されているが、この処理プログラムを記録媒体に格納してプログラムのみを製造、販売等を行う場合にも保護されるべきである。その場合、プログラムを特許で保護する方法は、動画像符号化処理プログラムを格鈉した記録媒体という形態で実現することになる。

Claims

請求の範囲

1 . フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、

符号化するマクロブロック画像を分割したブロック画像単位でフレーム間符号化する際に、視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する符号化判定手段

を具備する動画像符号化装置。

2 . フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、

符号化するマクロブロック画像を分割したブロック画像単位でフレーム間符号化する際に、視覚的に目立つノイズを有するプロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定手段と、

フレーム間予測で得た動きべクトルの大きさを考慮した上で視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブ口ック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定手段と

を具備する動画像符号化装置。

3 . フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、

フレーム間予測時の動きべクトル探索で得られる評価値を用いて、符号化するマクロブロック画像全体の量子化誤差の大きさを推定する誤差推定手段と、

マクロプロック画像を分割したブロック画像単位でフレーム間符号化する際に、ブロック画像毎の平坦度と量子化誤差とを検出する検出手段と、

前記誤差推定手段により推定された量子化誤差が所定値より小さい場合に、前記検出手段にて検出された平坦度と量子化誤差との関係から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定手段と、

前記誤差推定手段により推定された量子化誤差が所定値より大きい場合に、推定された量子化誤差から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定手段と

を具備する動画像符号化装置。

4 . フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、

前記誤差推定手段により推定された量子化誤差が所定値より小さい場合に、マクロブロック画像を分割したブロック画像単位でフレ一ム間符号化する際にブロック画像毎の平坦度と量子化誤差とを検出し、検出した平坦度と量子化誤差との関係から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定手段と、前記誤差推定手段により推定された量子化誤差が所定値より大きい場合に、推定された量子化誤差から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定手段とを具備する動画像符号化装置。

5 . フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、

フレーム間予測時の動きべクトル探索で得られる評価値を用いて、符号化するマクロプロック画像全体の量子化誤差の大きさを推定する誤差推定手段と、

前記誤差推定手段により推定された量子化誤差が所定値より小さい場合に、マクロプロック画像全体の平坦度を算出して視覚的にノィズが目立ち難い平坦度であるかどうかを判断し、視覚的にノイズが目立ち難ければフレ一ム間符号化を選択し、一方、視覚的にノイズが目立ち易ければフレーム内符号化を選択する第 1の符号化判定手段と、前記誤差推定手段により推定された量子化誤差が所定値より大きい場合に、推定された量子化誤差から視覚的に目立つノイズがマクロブロック画像に存在するかどうかを判断し、視覚的に目立つノイズが無ければフレーム間符号化を選択し、一方、視覚的に目立つノイズが有ればフレーム内符号化を選択する第 2の符号化判定手段と

を具備する動画像符号化装置。

6 . 前記第 2の符号化判定手段は、フレーム間予測で得た動きべクトルの大きさを考慮して視覚的に目立つノイズを有するブロック画像の有無を判断する請求の範囲 1乃至 5の何れかに記載の動画像符号化装置。

7 . 前記フレーム間予測時の動きべクトル探索で得られる評価値とは、最も相関の高い動きべクトルを検出した時の差分絶対値和である請求の範囲 3乃至 5の何れかに記載の動画像符号化装置。

8 . フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化装置において、

マクロブロック画像を分割したブロック画像単位でフレーム間符号化する際に、ブロック画像毎の平坦度と量子化誤差とを検出すると共に、マクロブロック画像全体の量子化誤差の大きさを検出する検出手段と、

前記検出手段により検出されたマクロブロック画像全体の量子化誤差が所定値より小さい場合に、検出された平坦度と量子化誤差との関係から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定手段と、

前記検出手段により検出されたマクロブロック画像全体の量子化誤差が所定値より大きい場合に、フレーム間予測で得た動きべクトルの大きさを考慮した上で視覚的に目立つノイズを有するプロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定手段と

を具備する動画像符号化装置。

9 . フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化処理プログラムにおいて、

符号化するマクロブロック画像を分割したブロック画像単位でフレーム間符号化する際に、視覚的に目立つノイズを有するプロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する符号化判定処理をコンピュータで実行させる動画像符号化処理プログラム。

1 0 . フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化処理プログラムにおいて、

符号化するマクロブロック画像を分割したブロック画像単位でフレーム間符号化する際に、視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定処理と、

フレーム間予測で得た動きべクトルの大きさを考慮した上で視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブ口ック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定処理と

をコンピュータで実行させる動画像符号化処理プログラム。

1 1 . フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化処理プログラムにおいて、

フレーム間予測時の動きべクトル探索で得られる評価値を用いて、符号化するマクロブロック画像全体の量子化誤差の大きさを推定する誤差推定処理と、

マクロブロック画像を分割したブロック画像単位でフレーム間符号化する際に、ブロック画像毎の平坦度と量子化誤差とを検出する検出処理と、

前記誤差推定処理により推定された量子化誤差が所定値より小さい場合に、前記検出処理にて検出された平坦度と量子化誤差との関係から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定処理と、

前記誤差推定処理により推定された量子化誤差が所定値より大きい場合に、推定された量子化誤差から視覚的に目立つノイズを有するプロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定処理と

1 2 . フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化処理プログラムにおいて、

前記誤差推定処理により推定された量子化誤差が所定値より小さい場合に、マクロブロック画像を分割したブロック画像単位でフレーム間符号化する際にブロック画像毎の平坦度と量子化誤差とを検出し、検出した平坦度と量子化誤差との関係から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定処理と、前記誤差推定処理により推定された量子化誤差が所定値より大きい場合に、推定された量子化誤差から視覚的に目立つノイズを有するプロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定処理と

1 3 . フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化処理プログラムにおいて、

前記誤差推定処理により推定された量子化誤差が所定値より小さい場合に、マクロブロック画像全体の平坦度を算出して視覚的にノィズが目立ち難い平坦度であるかどうかを判断し、視覚的にノィズが目立ち難ければフレーム間符号化を選択し、一方、視覚的にノイズが目立ち易ければフレーム内符号化を選択する第 1の符号化判定処理と、前記誤差推定処理により推定された量子化誤差が所定値より大きい場合に、推定された量子化誤差から視覚的に目立つノイズがマクロプロック画像に存在するかどうかを判断し、視覚的に目立つノイズが無ければフレーム間符号化を選択し、一方、視覚的に目立つノイズが有ればフレーム内符号化を選択する第 2の符号化判定処理と

1 4 . 前記第 2の符号化判定処理は、フレーム間予測で得た動きべクトルの大きさを考慮して視覚的に目立つノィズを有するブロック画像の有無を判断する請求の範囲 1 1乃至 1 3の何れかに記載の画像符号化処理プログラム。

1 5 . 前記フレーム間予測時の動きベクトル探索で得られる評価値とは、最も相関の高い動きべクトルを検出した時の差分絶対値和である請求の範囲 1 1乃至 1 3の何れかに記載の動画像符号化処理プログラム。

1 6 . フレーム内符号化又はフレーム間符号化のいずれかを選択して動画圧縮する動画像符号化処理プログラムにおいて、

マクロブロック画像を分割したブロック画像単位でフレーム間符号化する際に、ブロック画像毎の平坦度と量子化誤差とを検出すると共に、マクロブロック画像全体の量子化誤差の大きさを検出する検出処理と、

前記検出処理により検出されたマクロブロック画像全体の量子化誤差が所定値より小さい場合に、検出された平坦度と量子化誤差との関係から視覚的に目立つノイズを有するブロック画像の有無を判断し、該当するプロック画像が存在する時にフレーム内符号化を選択する第 1の符号化判定処理と、

前記検出処理により検出されたマクロブロック画像全体の量子化誤差が所定値より大きい場合に、フレーム間予測で得た動きべクトルの大きさを考慮した上で視覚的に目立つノィズを有するブロック画像の有無を判断し、該当するブロック画像が存在する時にフレーム内符号化を選択する第 2の符号化判定処理と