JP4824708B2 - 動画像符号化方法，装置，プログラムおよびコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は，主観画質を劣化させずに符号化による発生符号量を削減する動画像符号化方法に関する。

従来より，映像符号化において，人間の視覚特性を利用することによって符号化性能を向上させる研究がなされている。この研究では，まず，人間の視覚特性を用いて画質劣化が目立ちにくい領域を選定する。そして，符号化もしくはその前段の処理において，画質劣化が目立ちにくい領域に割り当てる情報量を少なくし，主観画質を損なわずに情報量の削減を実現する。

特許文献１に記載された高能率動画像符号化方式では，入力映像の動きベクトルのノルムから動き量を算出し，動き量の値に応じて低域通過フィルタを施す。空間高周波成分は画質劣化が目立ちにくい。この成分を取り除くことで，画質劣化を最小限に抑えながら情報量を削減している。

一般に動画像符号化では，画面内予測や画面間予測を行うことで符号化性能を向上させる。スケーラブル符号化では，これらにさらにレイヤ間予測が追加される。これらの各予測方法は，予測モードとして扱われる。Ｈ．２６４／ＡＶＣを例にとると，画面内予測については，４×４，８×８，１６×１６画素単位の画面内予測モードが挙げられる。一方，画面間予測については，Ｓｋｉｐ，Ｄｉｒｅｃｔ，１６×１６，１６×８，８×１６，８×８，８×４，４×８，４×４画素単位の画面間予測モードが例に挙げられる。Ｈ．２６４／ＡＶＣのスケーラブル拡張方式ＳＶＣでは，レイヤ間予測として，レイヤ間で動きベクトルを流用するといった動き情報の予測モードや，下位レイヤのアップサンプル信号を上位レイヤ予測信号とするテクスチャ予測モードなどが例に挙げられる。

Ｈ．２６４／ＡＶＣの参照エンコーダＪＭやＳＶＣの参照エンコーダＪＳＶＭでは，最適な予測モードを選択する方法としてラグランジュ乗数法を用いたレート歪み関数を導入している。当関数が出力する符号化コストが最小となるモードを，最適な予測モードとして決定する。歪み量をＤ，符号量をＲとすると，符号化コストＪは，以下のように表現される。

Ｊ＝Ｄ＋λＲ （１）
ここで，λはラグランジュ乗数である。参照エンコーダＪＭやＪＳＶＭでは，歪み量Ｄに画素値の二乗誤差を適用している。ただし，二乗誤差の値は，主観画質と乖離する場合があることが良く知られている。

非特許文献１では，このような動画像符号化において，人間の視覚系が持つコントラスト感度特性に着目し，主観画質を反映した歪み量を用いることにより，最適な予測モードを選択し，効率的に符号量を削減することが図られている。

すなわち，一般的に符号化歪みの評価尺度として用いられている画素値の二乗誤差の値は，主観評価と必ずしも整合しないことから，非特許文献１では，コントラスト感度特性を考慮した視覚的歪みモデルを構築し，それをＨ．２６４／ＡＶＣのモード選択におけるレート歪み最適化内の歪み尺度として活用している。この視覚的歪みモデルは，二乗誤差よりも主観画質に近い定量的指標を与えることができる。同モデルも二乗誤差の算出モデルをベースとしているが，コントラスト感度特性を考慮した分，通常の二乗誤差よりも小さい値を出力する。したがって，これをレート歪み最適化に適用すると，二乗誤差を使用した場合よりも符号量が少ないモードが積極的に選ばれる。主観画質は，以前のものとほぼ同様のものが得られる。

非特許文献２には，本発明を実施する際に用いることができる視覚特性を定める空間コントラスト感度関数の一例が記載されている。
特開平６−６２３９２号公報 坂東幸浩，高村誠之，上倉一人，八島由幸："主観画質を考慮したＨ．２６４／ＡＶＣにおけるモード選択方法の検討"，オーディオビジュアル複合処理研究会（ＡＶＭ），Sep. 2006. N.B.Nill: "A visual model weighted cosine transform for image compression and quality assessment "，IEEE Trans. Commun. ，Vol. COM-33 ，No. 12，pp.551-557，June 1985.

特許文献１に記されるプレフィルタは，後段の符号化処理の影響を考慮に入れずに高周波成分の除去を実施するため，符号化に最適なフィルタ処理を実行できない。フィルタ後映像では検知されなかった画質劣化が，符号化を通すことによって検知される可能性がある。

非特許文献１に記される動画像符号化方法では，視覚感度に基づき定められる感度係数を用いて符号化のコスト関数を設定しているため，主観画質の劣化が少ない予測モードの選択が実現されている。しかし，視覚的歪み量が小さい範囲において，符号量の削減に関し，なお改善の余地が残されている。また，符号化演算の高速性についての考慮はないため，その点においても改善の余地がある。

本発明はかかる事情に鑑みてなされたものであって，コントラスト感度に基づく視覚的歪みモデルが算出する視覚的歪み量を用いて符号化コストを算出し，予測モードを決定する動画像符号化処理において，主観画質を劣化させずに発生符号量を削減すること，また，符号化処理を高速化することが可能な動画像符号化器の設計法を確立することを目的とする。

本発明は，上記課題を解決するため，動画像符号化処理において，コントラスト感度に基づく視覚的歪みモデルが算出する視覚的歪み量を，実際に画質劣化が検知される視覚的歪み量の臨界点を示す第１の閾値（以下，画質劣化検知臨界値という）との値の大小に応じて補正し，その補正済み視覚的歪み量を予測モード選択に利用し，さらに同様の判定基準に基づいて予測残差信号の補正も行い，補正された視覚的歪み量と予測残差信号を用いて最適な予測モードを選択する。さらに，本発明は，動き推定を要しない予測モードにおける前記補正済み視覚的歪み量が視覚的歪み量の第２の閾値（以下，高速化閾値）より小さい場合には，動き推定を要する予測モードの探索を実行せずに動き推定を要しない予測モードの中で最適な予測モードを選択する。

具体的には，第１の本発明は，画素値の予測方法の選定において，発生符号量と画質劣化値との重み和からなる符号化コストを最小にする予測方法を選定し，選定された予測方法を用いて生成した予測値と原信号との差分信号を符号化する動画像符号化方法において，符号化対象の画像領域の差分信号に対して直交変換を施し，生成された各周波数成分にコントラスト感度関数値を乗算し，乗算された各周波数帯のエネルギーの画像領域内総和を画質劣化値として定めるステップと，前記画質劣化値が予め定められた画質劣化検知臨界値以下の場合には，前記画質劣化値を０に更新し，そうでない場合には，前記画質劣化検知臨界値を前記画質劣化値から減算したものを更新後の画質劣化値とするステップと，予測残差信号に対する更新後の画質劣化値が０の場合には，前記予測残差信号をすべて０に更新するステップと，更新後の画質劣化値を用いて予測方法の選定を行うステップと，更新後の予測残差信号を符号化するステップと，を有することを特徴とする。

また，第２の本発明は，画素値の予測方法の選定において，発生符号量と画質劣化値との重み和からなる符号化コストを最小にする予測方法を選定し，選定された予測方法を用いて生成した予測値と原信号との差分信号を符号化する動画像符号化方法において，符号化対象の画像領域の差分信号に対して直交変換を施し，生成された各周波数成分にコントラスト感度関数値を乗算し，乗算された各周波数帯のエネルギーの画像領域内総和を画質劣化値として定めるステップと，動き推定を実行しない予測方法の画質劣化値のデータ群の中に，予め定められた高速化閾値以下のものがある場合には，前記高速化閾値より小さい画質劣化値を与える予測方法の中で最も小さい符号化コストを与える予測方法を選別し，そうでない場合には，動き推定を実行する予測方法の符号化コストを前記画質劣化値を用いて算出し，すべての予測方法の符号化コストの中で最も小さい符号化コストを与える予測方法を選別するステップと，を有することを特徴とする。

また，第３の本発明は，画素値の予測方法の選定において，発生符号量と画質劣化値との重み和からなる符号化コストを最小にする予測方法を選定し，選定された予測方法を用いて生成した予測値と原信号との差分信号を符号化する動画像符号化方法において，符号化対象の画像領域の差分信号に対して直交変換を施し，生成された各周波数成分にコントラスト感度関数値を乗算し，乗算された各周波数帯のエネルギーの画像領域内総和を画質劣化値として定めるステップと，前記画質劣化値が予め定められた画質劣化検知臨界値以下の場合には，前記画質劣化値を０に更新し，そうでない場合には，前記画質劣化検知臨界値を前記画質劣化値から減算したものを更新後の画質劣化値とするステップと，予測残差信号に対する更新後の画質劣化値が０の場合には，前記予測残差信号をすべて０に更新するステップと，更新後の画質劣化値を用いて予測方法の選定を行うステップと，更新後の予測残差信号を符号化するステップと，動き推定を実行しない予測方法の更新後の画質劣化値のデータ群の中に，予め定められた高速化閾値以下のものがある場合には，前記高速化閾値より小さい更新後の画質劣化値を与える予測方法の中で最も小さい符号化コストを与える予測方法を選別し，そうでない場合には，動き推定を実行する予測方法の符号化コストを更新後の画質劣化値を用いて算出し，すべての予測方法の符号化コストの中で最も小さい符号化コストを与える予測方法を選別するステップと，を有することを特徴とする。

なお，上記発明においてさらに，外部より与えられる前記各ステップを適用する画像領域と適用しない画像領域の指定情報に基づき，適用すると指定された画像領域にのみ前記各ステップを実行することを特徴とする。

本発明によれば，従来の方法と比較して，主観画質を劣化させずに符号化による発生符号量を削減することができるようになる。また，主観画質を保持し，発生符号量を極力抑えつつ，符号化処理を高速化することができるようになる。

［本発明の関連技術］
本発明者は，下記の文献により，本発明に関連する技術として視覚感度を考慮した高能率動画像符号化技術を開示した。
・〔関連技術文献１〕早瀬和也，坂東幸浩，高村誠之，上倉一人，八島由幸：“視覚感度関数を用いたＪＳＶＣにおけるプレフィルタ設計方法”映像情報メディア学会年次大会，2007.
・〔関連技術文献２〕坂東幸浩，早瀬和也，高村誠之，上倉一人，八島由幸：“視覚感度を考慮したＨ．２６４符号化器の高能率化の検討”画像符号化シンポジウム，2007.
関連技術文献１のスケーラブル符号化向けのプレフィルタでは，コントラスト感度関数に基づいた視覚的歪みモデルを導入している。上位レイヤにおいて，原信号と下位レイヤからの補間信号との間の視覚的歪み量を計算し，その値に応じて原信号を補間信号で置き換えている。これにより，適切な閾値設定により主観画質を保持しつつ，レイヤ間予測の予測残差低減による符号量削減が実現される。

この関連技術文献１に記したプレフィルタはスケーラブル符号化向けに設計されたものであるが，前述した特許文献１と同様の課題を持つ。後段の符号化を含めた最適な置き換え処理でないため，符号量削減の余地を残す。

関連技術文献２では，Ｈ．２６４／ＡＶＣのモード選択のレート歪み最適化に視覚的歪みモデルを導入している。視覚的歪み量を歪みの尺度とすることで，通常の二乗誤差を歪み尺度とした場合よりも符号量が少ないモードが積極的に選ばれる。しかも，主観画質は歪み尺度に二乗誤差を使用した場合と同等のものが得られる。

この関連技術文献２により開示した技術は，人間のコントラスト感度特性を考慮した視覚的歪みモデルをＨ．２６４／ＡＶＣのモード選択の枠組みに導入しているため，符号化も含めた最適化が行われている。しかし，本文献で導出されている視覚的歪みモデルでは，視覚的歪み量が小さい範囲においては，実際には画質劣化の知覚がないにもかかわらず，非零の値を算出する。したがって，ここで導入している視覚的歪みモデルは，主観画質との整合という面において改善の余地を残しており，これは符号量削減の面においても改善の余地を残していると解釈できる。また，当文献は符号化演算の高速性を考慮に入れていない。すべてのモードを探索しているため，動き予測の実行に多大な時間を費やしてしまう。

［視覚的歪み量の算出］
本発明による発生符号量の削減方法について説明する。

従来のＨ．２６４／ＡＶＣの参照エンコーダＪＭやＳＶＣの参照エンコーダＪＳＶＭでは，前述した式（１）のレート歪み関数を導入し，当関数が出力する符号化コストＪが最小となるモードを，最適な予測モードとして決定している。当関数では，歪み量Ｄに画素値の二乗誤差を適用しているため，主観画質と乖離する場合がある。

そこで，上記関連技術文献２では，歪み量Ｄに人間の視覚が持つコントラスト感度を考慮した視覚的歪み量Ｄ′を適用し，以下のようにして符号化コストＪを算出する。

Ｊ＝Ｄ′＋λＲ （２）
この視覚的歪み量Ｄ′は，以降に示す算出手順により必ずＤ′≦Ｄを満たす。したがって，符号量の少ないモードが積極的に選ばれるようになる。また，本モデルは，通常の二乗誤差よりも主観画質に近い定量的指標を与えるため，Ｄを使った場合と比較しても主観画質において差が見られない。

人間の視覚系は，空間高周波成分の変化に伴うコントラスト変化は，空間低周波成分の変化に伴うものより小さいことが知られている。つまり，空間高周波成分に内在する歪みは，空間低周波成分に内在する歪みより劣化として知覚されにくいと解釈できる。各空間周波成分に対するコントラスト感度は，コントラスト感度関数として導出されている。この特性に基づき，予測残差信号の各空間周波成分に対してコントラスト感度に応じた重み付けを行い，重み付けされた信号の平均二乗誤差を視覚的歪み量Ｄ′として定義する。

Ｍ×Ｎブロックの視覚的歪み量Ｄ′は，以下のようにして算出する。

ここで，Ｆ（ｕ，ｖ）は，当該ブロックの予測残差信号に対する空間周波数（ｕ，ｖ）のフーリエ係数である。ｗ（ｕ，ｖ）は，そのフーリエ係数に対する重み係数であり，空間周波数に対するコントラスト感度を指す。ｗ（ｕ，ｖ）は，最大のコントラスト感度で正規化された関数であり，ｗ（ｕ，ｖ）≦１を満たしている。したがって，Ｄ′≦Ｄが満たされる。

コントラスト感度関数としては，非特許文献２に記載された次式が一例に挙げられる。なお，これは一例であり，関数系の形はこれに限らない。

ｗ（η）＝（０．２＋０．４５η）ｅｘｐ（−０．１８η） （４）
ここで，ηと（ｕ，ｖ）は，
η＝（ｕ² ＋ｖ² ）^1/2 ／θ［cycle/degree］
の関係にある。このθは，次のように与えられる。

これは，縦幅ｈの画像を視距離ａｈで観測する場合のＭ×Ｎブロックの視野角である。

［視覚的歪み量の更新］
しかし，上記視覚的歪み量Ｄ′も，その値が小さいときには主観画質との乖離が残る。本来，二つの画像の主観画質において差がない場合には，視覚的歪み量として０を出力しなければならない。しかし，式（３）によって算出される視覚的歪み量は，主観画質に差がない場合においても０より大きい値を出力してしまう。

そこで，本実施形態では，式（３）によって算出される視覚的歪み量Ｄ′は，ある臨界点まで実際には主観画質に差がないと仮定し，この臨界点までのＤ′は，すべて強制的に０に設定する。また，その臨界点を超えるＤ′は，その臨界値分だけオフセット補正する。差が生じはじめる臨界点を示す視覚的歪み量の閾値をＤ_cr′とする。更新後の視覚的歪み量Ｄ″を，
Ｄ″＝０ if Ｄ′≦Ｄ_cr′ （６）
Ｄ″＝Ｄ′−Ｄ_cr′ otherwise （７）
として定義し，これを次に記す予測信号のゼロ埋め処理の適用判定，および次式のモード選択におけるレート歪み関数にて使用する。

Ｊ＝Ｄ″＋λＲ （８）
［予測残差信号ゼロ埋め処理の追加］
ある予測モードの予測信号と原信号との間の予測残差信号の視覚的歪み量Ｄ₀ ″を，式（６）に従って算出したとき，Ｄ₀ ″＝０を満たしていると仮定する。このとき，臨界点閾値Ｄ_cr′が持つ意味に基づくと，当該マクロブロックは予測残差を伝送しなくても主観画質において差が見られないということになる。そこで，予測残差信号を直交変換する前に，すべて予測残差信号をゼロとした場合の視覚的歪み量Ｄ₀ ″を算出し，それがＤ₀ ″＝０を満たす場合には，当該マクロブロックの予測残差信号を強制的に０にする。

ただし，予測残差信号をゼロに設定したことにより，動き予測参照先が劣化してしまい，その結果，符号化性能が低下する可能性もある。そこで，あらかじめ本発明による視覚的歪み量の補正および予測残差信号ゼロ埋め処理を適用するフレーム（またはスライス；以下同様）と適用しないフレームとに分類しておいてもよい。一例として，被予測参照フレームとならないフレームにのみ，本発明による上記の処理を適用する方法が考えられる。

［高速化アルゴリズム］
動画像の符号化処理において，最も時間を費やしている処理は，動き推定である。したがって，動き推定の実行を避けることが高速化に大きな寄与をもたらすが，その分，符号量の増加を招いてしまう。できるだけ符号量の増加を抑制しつつ，動き推定を実行せずに符号化処理を進めるかが，取り組むべき課題として重要である。

本発明では，視覚的歪みモデルを利用して，できるだけ動き推定を実行しない非動き推定予測モードが多く選ばれるようにする。ただし，非動き推定予測モードのみでは，符号量が著しく増加してしまう場合には，動き推定を実行する。具体的な手順は，以下のとおりである。

〔手順１〕：非動き推定予測モードの符号化コスト算出
非動き推定予測モードの予測残差信号を取得し，その視覚的歪み量Ｄ₀ ″を求める。非動き推定予測モードには，レイヤ間予測，Ｓｋｉｐ，Ｄｉｒｅｃｔ，動きベクトルが（０，０）の１６×１６サイズ画面間予測，画面内予測が挙げられる。この視覚的歪み量Ｄ₀ ″が，Ｄ₀ ″＝０であれば，予測残差信号をすべてゼロ埋めする。そして，このときの符号化コスト（符号量と同値）を計算し，手順２に移る。Ｄ₀ ″＝０でなければ，予測残差信号を符号化し，原信号と復号信号との間の視覚的歪み量Ｄ₁ ″を計算する。その符号化コストを計算し，手順２に移る。

〔手順２〕：非動き推定予測モードにおける視覚的歪み量の高速化閾値比較
視覚的歪み量の高速化閾値Ｄ_th″を設ける。この高速化閾値Ｄ_th″との大小によってモードの探索の実行を決定する。各非動き推定予測モードにおいて算出された視覚的歪み量Ｄ₀ ″もしくはＤ₁ ″の中に，Ｄ₀ ″≦Ｄ_th″またはＤ₁ ″≦Ｄ_th″となる予測モードが一つでもあれば，非動き推定予測モードの中で符号化コストが最小となる予測モードを，そのマクロブロックの最適予測モードとして決定する。Ｄ₀ ″≦Ｄ_th″またはＤ₁ ″≦Ｄ_th″となる予測モードが一つもなければ，手順３に移る。

〔手順３〕：動き推定予測モードの符号化コスト算出
動き推定を要する動き推定予測モードの符号化コストを，手順１と同様の手順で計算する。

〔手順４〕：最適予測モードの出力
非動き推定予測モードおよび動き推定予測モードの両方を含めたすべての予測モードの中で，最も符号化コストが小さくなる予測モードを，そのマクロブロックの最適予測モードとして決定する。

以上の手順１〜４を，ＰおよびＢスライスにおけるマクロブロックにおいて実行する。Ｉスライスでは，上記の高速化アルゴリズムは適用しない。

本発明では，視覚的歪み量に対して臨界的閾値Ｄ_cr′と高速化閾値Ｄ_th″の二つの閾値を設定する。これらの値は，例えば視覚実験により適当に定めることができ，外部より与えることができる。両者の値は独立に設定することができる。

Ｄ_th″≦Ｄ_cr′として，両者の値を与えた場合には，Ｄ″≦Ｄ_th″を満たす予測モードでは，画質劣化が知覚されないことが担保される。したがって，手順２に示した判定処理によって非動き推定予測モードが選定されたとしても，画質が保障される画質重視の処理となる。反対に，Ｄ_th″＞Ｄ_cr′として設定した場合には，画質劣化が知覚される可能性があるが，積極的に非動き推定予測モードを選択する高速性重視の処理となる。これは，本手法を適用するアプリケーションの要求性能に合わせて調節すればよい。

［処理の流れ］
本発明の実施形態の処理について，図１を参照して説明する。

ステップＳ１１：当該フレームに対して本発明による高速化アルゴリズムを適用するか否かのフラグ情報を読み込み，当該フレームに対して高速化アルゴリズムを適用するか否かの判定処理を行い，真の場合には，ステップＳ１２の処理に移り，偽の場合には，ステップＳ１３の処理に移る。

ステップＳ１２：原映像信号を読み込み，視覚的歪み量の値に基づいた高速化アルゴリズムを用いて符号化を実行し，当該フレームの符号化データを出力し，ステップＳ１４の処理に移る。本処理の詳細については，図２を参照して後述する。

ステップＳ１３：原映像信号を読み込み，視覚的歪み量の値に基づいた高速化アルゴリズムを用いない符号化を実行し，当該フレームの符号化データを出力し，ステップＳ１４の処理に移る。本処理の一例としては，Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや，ＳＶＣの参照エンコーダＪＳＶＭ，また非特許文献１や関連技術文献２の符号化方法などが挙げられる。

ステップＳ１４：すべての符号化対象フレームの符号化が完了しているか否かの判定処理を行い，真の場合には，符号化処理を終了して各フレームの符号化データを統合し，最終的な映像の符号化データを構成して出力する。偽の場合には，ステップＳ１５の処理に移る。

ステップＳ１５：次の符号化対象フレームに移り，ステップＳ１１に戻って同様に処理を繰り返す。

図２は，図１に示すステップＳ１２の処理の流れを示す図である。以下，ステップＳ１２の処理の詳細を，図２を用いて説明する。

ステップＳ２１：当該マクロブロックにおいて，原信号を読み込み，動き推定を実行しない非動き推定予測モードにおける動き情報を出力する。

ステップＳ２２：ステップＳ２１の処理によって得られた動き情報を読み込み，非動き推定予測モードにおける符号化コスト算出処理を行い，視覚的歪み量Ｄ₀ ″，Ｄ₁ ″，非動き推定予測モードにおける符号化コストを出力する。本処理の詳細については，図３を参照して後述する。

ステップＳ２３：ステップＳ２２の処理において得られた視覚的歪み量Ｄ₀ ″もしくはＤ₁ ″が，外部より与えられる視覚的歪み量の高速化閾値Ｄ_th″以下であるか否かの判定処理を行い，真の場合には，ステップＳ２６の処理に移り，偽の場合には，ステップＳ２４の処理に移る。

ステップＳ２４：当該マクロブロックにおいて，原信号を読み込み，動き推定を実行し，動き推定予測モードにおける動き情報を出力する。

ステップＳ２５：ステップＳ２４の処理によって得られた動き情報を読み込み，動き推定予測モードにおける符号化コスト算出処理を行い，視覚的歪み量Ｄ₀ ″，Ｄ₁ ″，動き推定予測モードにおける符号化コストを出力する。本処理の詳細については，図４を参照して後述する。

ステップＳ２６：符号化コストを最小にする最適予測モードを決定し，出力する。

ステップＳ２７：すべての符号化対象マクロブロックの符号化が完了しているか否かの判定処理を行い，真の場合には，符号化処理を終了して各マクロブロックの符号化データを統合し，最終的な当該フレームの符号化データを構成して出力する。偽の場合には，ステップＳ２８の処理に移る。

ステップＳ２８：次の符号化対象マクロブロックに移り，ステップＳ２１に戻って同様に処理を繰り返す。

図３は，図２に示すステップＳ２２の処理の流れを示す図である。以下，ステップＳ２２の処理の詳細を，図３を用いて説明する。

ステップＳ２２０：図２のステップＳ２１の処理によって得られた動き情報を読み込み，動き補償により予測信号を生成し，原信号との予測残差信号を出力する。

ステップＳ２２１：ステップＳ２２０の処理によって得られた予測残差信号を読み込み，予測残差信号の持つ視覚的歪み量Ｄ₀ ′を算出し，その値を出力する。本処理は，式（３）に従う。

ステップＳ２２２：ステップＳ２２１の処理によって得られた視覚的歪み量Ｄ₀ ′を読み込み，外部より与えられる視覚的歪み量の臨界点閾値Ｄ_cr′との大小関係から，視覚的歪み量Ｄ₀ ′を視覚的歪み量Ｄ₀ ″に更新し，その更新値を出力する。本処理の詳細は，図５を参照して後述する。

ステップＳ２２３：ステップＳ２２２の処理によって得られた更新された視覚的歪み量Ｄ₀ ″を読み込み，その値がゼロであるかどうかの判定処理を行い，真の場合には，ステップＳ２２４の処理に移り，偽の場合には，ステップＳ２２５の処理に移る。

ステップＳ２２４：ステップＳ２２０の処理によって得られた予測残差信号を読み込み，その値をすべてゼロに設定し出力する。その後，ステップＳ２２９に移る。

ステップＳ２２５：ステップＳ２２０の処理によって得られた予測残差信号を読み込み，その予測残差信号を符号化し，符号化データを出力する。

ステップＳ２２６：ステップＳ２２５の処理によって得られた予測残差信号の符号化データを読み込み，復号処理を行って復号信号を再構成し，それと原信号との差分信号を生成し出力する。

ステップＳ２２７：ステップＳ２２６の処理によって得られた差分信号を読み込み，式（３）に従って差分信号の持つ視覚的歪み量Ｄ₁ ′を算出し，その値を出力する。

ステップＳ２２８：ステップＳ２２７の処理によって得られた視覚的歪み量Ｄ₁ ′を読み込み，外部より与えられる視覚的歪み量の臨界点閾値Ｄ_cr′との大小関係から，視覚的歪み量Ｄ₁ ′を視覚的歪み量Ｄ₁ ″に更新し，その更新値を出力する。本処理の詳細については，図５を参照して後述する。

ステップＳ２２９：当該マクロブロックにおける各非動き推定予測モードの符号化コストを算出し，出力する。本処理は，式（８）に従う。

図４は，図２に示すステップＳ２５の処理の流れを示す図である。以下，ステップＳ２５の処理の詳細を，図４を用いて説明する。

ステップＳ２５０：図２のステップＳ２１の処理によって得られた動き情報を読み込み，動き補償により予測信号を生成し，原信号との予測残差信号を出力する。

ステップＳ２５１：ステップＳ２５０の処理によって得られた予測残差信号を読み込み，予測残差信号の持つ視覚的歪み量Ｄ₀ ′を算出し，その値を出力する。本処理は，式（３）に従う。

ステップＳ２５２：ステップＳ２５１の処理によって得られた視覚的歪み量Ｄ₀ ′を読み込み，外部より与えられる視覚的歪み量の臨界点閾値Ｄ_cr′との大小関係から，視覚的歪み量Ｄ₀ ′を視覚的歪み量Ｄ₀ ″に更新し，その更新値を出力する。本処理の詳細は，図５を参照して後述する。

ステップＳ２５３：ステップＳ２５２の処理によって得られた更新された視覚的歪み量Ｄ₀ ″を読み込み，その値がゼロであるかどうかの判定処理を行い，真の場合には，ステップＳ２５４の処理に移り，偽の場合には，ステップＳ２５５の処理に移る。

ステップＳ２５４：ステップＳ２５０の処理によって得られた予測残差信号を読み込み，その値をすべてゼロに設定し出力する。その後，ステップＳ２５９に移る。

ステップＳ２５５：ステップＳ２５０の処理によって得られた予測残差信号を読み込み，その予測残差信号を符号化し，符号化データを出力する。

ステップＳ２５６：ステップＳ２５５の処理によって得られた予測残差信号の符号化データを読み込み，復号処理を行って復号信号を再構成し，それと原信号との差分信号を生成し出力する。

ステップＳ２５７：ステップＳ２５６の処理によって得られた差分信号を読み込み，式（３）に従って差分信号の持つ視覚的歪み量Ｄ₁ ′を算出し，その値を出力する。

ステップＳ２５８：ステップＳ２５７の処理によって得られた視覚的歪み量Ｄ₁ ′を読み込み，外部より与えられる視覚的歪み量の臨界点閾値Ｄ_cr′との大小関係から，視覚的歪み量Ｄ₁ ′を視覚的歪み量Ｄ₁ ″に更新し，その更新値を出力する。本処理の詳細については，図５を参照して後述する。

ステップＳ２５９：当該マクロブロックにおける各動き推定予測モードの符号化コストを算出し，出力する。本処理は，式（８）に従う。

図５は，図３に示すステップＳ２２２，Ｓ２２８および図４に示すステップＳ２５２，Ｓ２５８の処理の流れを示す図である。以下，視覚的歪み量の更新処理の詳細を，図５を用いて説明する。

ステップＳ３１：視覚的歪み量の臨界点閾値Ｄ_cr′を読み込み，出力する。

ステップＳ３２：視覚的歪み量Ｄ′（Ｄ₀ ′またはＤ₁ ′）および視覚的歪み量の臨界点閾値Ｄ_cr′を読み込み，視覚的歪み量Ｄ′が臨界点閾値Ｄ_cr′以下であるか否かの判定処理を行い，真の場合には，ステップＳ３３の処理に移り，偽の場合には，ステップＳ３４の処理に移る。

ステップＳ３３：視覚的歪み量Ｄ′をゼロにし，更新された視覚的歪み量Ｄ″（Ｄ₀ ″またはＤ₁ ″）の値として出力する。

ステップＳ３４：視覚的歪み量Ｄ′から視覚的歪み量の臨界点閾値Ｄ_cr′を減算し，その減算された値を，更新された視覚的歪み量Ｄ″として出力する。

［処理装置］
本発明の実施形態による符号化装置の構成を，図６に示す。符号化装置１０は，次のような処理部から構成される。

高速化アルゴリズム適用／非適用フレーム判定部１１：当該フレームに対して本発明の高速化アルゴリズムを適用するか否かのフラグ情報を読み込み，当該フレームに対して高速化アルゴリズムを適用するか否かの判定処理を行い，真の場合には，高速化アルゴリズム適用符号化部１２の処理に移り，偽の場合には，高速化アルゴリズム非適用符号化部１３の処理に移る。本フラグ情報は，外部より与えられる。

高速化アルゴリズム適用符号化部１２：原映像信号を読み込み，視覚的歪み量の値に基づいた高速化アルゴリズムを用いて符号化を実行し，当該フレームの符号化データを出力し，全フレーム処理完了判定部１４の処理に移る。高速化アルゴリズム適用符号化部１２の詳細は，図７を参照して後述する。

高速化アルゴリズム非適用符号化部１３：原映像信号を読み込み，視覚的歪み量の値に基づいた高速化アルゴリズムを用いない符号化を実行し，当該フレームの符号化データを出力し，全フレーム処理完了判定部１４の処理に移る。高速化アルゴリズム非適用符号化部１３の一例としては，Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや，ＳＶＣの参照エンコーダＪＳＶＭ，また非特許文献１や関連技術文献２の符号化方法などが挙げられる。

全フレーム処理完了判定部１４：すべての符号化対象フレームの符号化が完了しているか否かの判定処理を行い，真の場合には，符号化処理を終了して各フレームの符号化データを統合し，最終的な映像の符号化データを構成して出力する。偽の場合には，符号化対象フレーム更新部１５の処理に移る。

符号化対象フレーム更新部１５：次の符号化対象フレームに移り，高速化アルゴリズム適用／非適用フレーム判定部１１に戻って同様に処理を繰り返す。

次に，図６に示す高速化アルゴリズム適用符号化部１２の詳細を，図７を用いて説明する。

非動き推定予測モードにおける符号化コスト算出処理部２０：当該マクロブロックにおいて，原信号を読み込み，動き推定を実行しない非動き推定予測モードにおける動き情報から非動き推定予測モードにおける符号化コスト算出処理を行い，視覚的歪み量Ｄ₀ ″，Ｄ₁ ″，非動き推定予測モードにおける符号化コストを出力する。本処理部の詳細については，図８を参照して後述する。

視覚的歪み量臨界点閾値記憶部２１：外部より視覚的歪み量の臨界点閾値Ｄ_cr′を読み込み，その値を書き込む。

視覚的歪み量高速化閾値記憶部２２：外部より視覚的歪み量の高速化閾値Ｄ_th″を読み込み，その値を書き込む。

視覚的歪み量高速化閾値比較部２３：非動き推定予測モードにおける符号化コスト算出処理部２０から更新された視覚的歪み量Ｄ₀ ″，Ｄ₁ ″を入力し，それらが視覚的歪み量高速化閾値記憶部２２に記憶された視覚的歪み量の高速化閾値Ｄ_th″以下であるか否かの判定処理を行い，真の場合には，最適予測モード決定部２６の処理に移り，偽の場合には，動き推定予測モードにおける符号化コスト算出処理部２５の処理に移る。

動き推定予測モードにおける符号化コスト算出処理部２５：当該マクロブロックにおいて，原信号を読み込み，動き推定を実行し，動き推定予測モードにおける動き情報から動き推定予測モードにおける符号化コスト算出処理を行い，視覚的歪み量Ｄ₀ ″，Ｄ₁ ″，非動き推定予測モードにおける符号化コストを出力する。本処理部の詳細については，図９を参照して後述する。

最適予測モード決定部２６：符号化コストを最小にする最適予測モードを決定し，出力する。

全マクロブロック符号化完了判定部２７：すべての符号化対象マクロブロックの符号化が完了しているか否かの判定処理を行い，真の場合には，符号化処理を終了して各マクロブロックの符号化データを統合し，最終的な当該フレームの符号化データを構成して出力する。偽の場合には，符号化対象マクロブロック更新部２８の処理に移る。

符号化対象マクロブロック更新部２８：次の符号化対象マクロブロックに移り，非動き推定予測モードにおける符号化コスト算出処理部２０以降の処理を同様に繰り返す。

次に，図７に示す非動き推定予測モードにおける符号化コスト算出処理部２０の詳細を，図８を用いて説明する。

非動き推定予測モード動き情報生成部２０１：当該マクロブロックにおいて，原信号を読み込み，動き推定を実行しない非動き推定予測モードにおける動き情報をレジスタに出力する。

予測残差信号生成部２０２：レジスタより動き情報を読み込み，動き補償により予測信号を生成し，原信号との予測残差信号をバッファに出力する。

予測残差信号視覚的歪み量算出部２０３：バッファより予測残差信号を読み込み，予測残差信号の持つ視覚的歪み量Ｄ₀ ′を算出し，その値を予測残差信号視覚的歪み量記憶部２０４に書き込む。本処理は，式（３）に従う。

予測残差信号視覚的歪み量更新部２０５：予測残差信号視覚的歪み量記憶部２０４より視覚的歪み量Ｄ₀ ′を読み込み，視覚的歪み量臨界点閾値記憶部２１より視覚的歪み量の臨界点閾値Ｄ_cr′を読み込み，両者の値の大小関係から視覚的歪み量Ｄ₀ ′を視覚的歪み量Ｄ₀ ″に更新し，その更新値を更新予測残差信号視覚的歪み量記憶部２０６に出力する。本処理部の詳細は，図１０を参照して後述する。

更新予測残差信号視覚的歪み量ゼロ判定部２０７：更新予測残差信号視覚的歪み量記憶部２０６より更新された視覚的歪み量Ｄ₀ ″を読み込み，その値がゼロであるかどうかの判定処理を行い，真の場合には，予測残差信号ゼロ埋め部２０８の処理に移り，偽の場合には，予測残差信号符号化部２０９の処理に移る。

予測残差信号ゼロ埋め部２０８：バッファより予測残差信号を読み込み，その値をすべてゼロに設定し，バッファに出力する。

予測残差信号符号化部２０９：バッファより予測残差信号を読み込み，その予測残差信号を符号化し，符号化データをバッファに出力する。

差分信号生成部２１０：バッファより予測残差信号の符号化データを読み込み，復号処理を行って復号信号を再構成し，それと原信号との差分信号を生成し，バッファに出力する。

差分信号視覚的歪み量算出部２１１：バッファより差分信号を読み込み，式（３）に従って差分信号の持つ視覚的歪み量Ｄ₁ ′を算出し，その値を差分信号視覚的歪み量記憶部２１２に出力する。

差分信号視覚的歪み量更新部２１３：差分信号視覚的歪み量記憶部２１２より視覚的歪み量Ｄ₁ ′を読み込み，視覚的歪み量臨界点閾値記憶部２１より視覚的歪み量の臨界点閾値Ｄ_cr′を読み込み，両者の値の大小関係から視覚的歪み量Ｄ₁ ′を視覚的歪み量Ｄ₁ ″に更新し，その更新値を更新差分信号視覚的歪み量記憶部２１４に出力する。本処理部の詳細は，図１０を参照して後述する。

非動き推定予測モード符号化コスト算出部２１５：当該マクロブロックにおける各非動き推定予測モードの符号化コストを算出し，レジスタに出力する。本処理は，式（８）に従う。

次に，図７に示す動き推定予測モードにおける符号化コスト算出処理部２５の詳細を，図９を用いて説明する。

動き推定部２５１：当該マクロブロックにおいて，原信号を読み込み，動き推定を実行し，動き推定予測モードにおける動き情報をレジスタに出力する。

予測残差信号生成部２５２：レジスタより動き情報を読み込み，動き補償により予測信号を生成し，原信号との予測残差信号をバッファに出力する。

予測残差信号視覚的歪み量算出部２５３：バッファより予測残差信号を読み込み，予測残差信号の持つ視覚的歪み量Ｄ₀ ′を算出し，その値を予測残差信号視覚的歪み量記憶部２５４に書き込む。本処理は，式（３）に従う。

予測残差信号視覚的歪み量更新部２５５：予測残差信号視覚的歪み量記憶部２５４より視覚的歪み量Ｄ₀ ′を読み込み，視覚的歪み量臨界点閾値記憶部２１より視覚的歪み量の臨界点閾値Ｄ_cr′を読み込み，両者の値の大小関係から視覚的歪み量Ｄ₀ ′を視覚的歪み量Ｄ₀ ″に更新し，その更新値を更新予測残差信号視覚的歪み量記憶部２５６に出力する。本処理部の詳細は，図１０を参照して後述する。

更新予測残差信号視覚的歪み量ゼロ判定部２５７：更新予測残差信号視覚的歪み量記憶部２５６より更新された視覚的歪み量Ｄ₀ ″を読み込み，その値がゼロであるかどうかの判定処理を行い，真の場合には，予測残差信号ゼロ埋め部２５８の処理に移り，偽の場合には，予測残差信号符号化部２５９の処理に移る。

予測残差信号ゼロ埋め部２５８：バッファより予測残差信号を読み込み，その値をすべてゼロに設定し，バッファに出力する。

予測残差信号符号化部２５９：バッファより予測残差信号を読み込み，その予測残差信号を符号化し，符号化データをバッファに出力する。

差分信号生成部２６０：バッファより予測残差信号の符号化データを読み込み，復号処理を行って復号信号を再構成し，それと原信号との差分信号を生成し，バッファに出力する。

差分信号視覚的歪み量算出部２６１：バッファより差分信号を読み込み，式（３）に従って差分信号の持つ視覚的歪み量Ｄ₁ ′を算出し，その値を差分信号視覚的歪み量記憶部２６２に出力する。

差分信号視覚的歪み量更新部２６３：差分信号視覚的歪み量記憶部２６２より視覚的歪み量Ｄ₁ ′を読み込み，視覚的歪み量臨界点閾値記憶部２１より視覚的歪み量の臨界点閾値Ｄ_cr′を読み込み，両者の値の大小関係から視覚的歪み量Ｄ₁ ′を視覚的歪み量Ｄ₁ ″に更新し，その更新値を更新差分信号視覚的歪み量記憶部２６４に出力する。本処理部の詳細は，図１０を参照して後述する。

動き推定予測モード符号化コスト算出部２６５：当該マクロブロックにおける各動き推定予測モードの符号化コストを算出し，レジスタに出力して最適予測モード決定部２６に通知する。本処理は，式（８）に従う。

次に，図８に示す予測残差信号視覚的歪み量更新部２０５，差分信号視覚的歪み量更新部２１３，および図９に示す予測残差信号視覚的歪み量更新部２５５，差分信号視覚的歪み量更新部２６３の詳細を，図１０を用いて説明する。

視覚的歪み量臨界点閾値比較部３１：視覚的歪み量Ｄ′（Ｄ₀ ′またはＤ₁ ′）および視覚的歪み量の臨界点閾値Ｄ_cr′を読み込み，視覚的歪み量Ｄ′が臨界点閾値Ｄ_cr′以下であるか否かの判定処理を行い，真の場合には，視覚的歪み量ゼロ値設定部３２の処理に移り，偽の場合には，視覚的歪み量減算部３３の処理に移る。

視覚的歪み量ゼロ値設定部３２：視覚的歪み量Ｄ′をゼロにし，更新された視覚的歪み量Ｄ″（Ｄ₀ ″またはＤ₁ ″）の値として出力する。

視覚的歪み量減算部３３：視覚的歪み量Ｄ′から視覚的歪み量の臨界点閾値Ｄ_cr′を減算し，その減算された値を，更新された視覚的歪み量Ｄ″として出力する。

〔効果検証実験〕
本発明の実施形態による効果を検証するため，本発明による手法をＳＶＣの参照エンコーダＪＳＶＭ８．０に実装し，実験を行った。実験は，ＪＳＶＭ，非特許文献１による手法，本発明による手法の三つに対して行い，それぞれの発生符号量，符号化時間を比較した。実験条件は，以下のとおりである。

・エンコーダ：ＪＳＶＭ８．０
・シーケンス：Ｓｏｃｃｅｒ，Ｆｏｒｅｍａｎ
・解像度：基本〔ＱＣＩＦ〕，拡張〔ＣＩＦ〕
・フレームレート：３０［frames/sec］
・フレーム数：３００［frames］
・ＧＯＰ：ＩＢＰＢＰＢＰＢＩ
・ＱＰ：２２，２８
・探索範囲：６４
・視距離：３
・臨界点閾値（Ｄ_cr′）：１〜１２［per pixel ］
・高速化閾値（Ｄ_th″）：Ｄ_cr′と同じ
テスト映像として，ＳＶＣテスト映像のＳｏｃｃｅｒ，Ｆｏｒｅｍａｎを実験に用いた。基本レイヤにＱＣＩＦ（１７６×１４４），拡張レイヤにＣＩＦ（３５２×２８８）を入力した。ピクチャ構造はＩＢＰＢＰＢＰＢＩとした。量子化パラメータ（ＱＰ）は，２２，２８の２パターンを試した。基本レイヤと拡張レイヤとで同じＱＰを適用した。画質劣化検知の臨界点閾値Ｄ_cr′と高速化閾値Ｄ_th″は同じ値に設定し，１画素あたりの視覚的歪み量の値に換算して１から１２までの値を試した。探索範囲は６４に定めた。

符号量の結果を図１１に，符号化時間の削減結果を図１２に示す。図１１および図１２の横軸の数字は，１画素あたりの視覚的歪み量の臨界点閾値Ｄ_cr′および高速化閾値Ｄ_th″の値を示している。非特許文献１の手法は，ＪＳＶＭと比較して２〜３％程度の符号量削減を達成しているが，その反面５％程度の符号化時間の増大を招いている。本発明を適用した手法は，その閾値の値によって符号量削減および符号化時間を調整することができる。閾値を大きくすると，より非動き推定予測モードが選ばれやすくなるため，符号化時間が短縮し，その反面，符号量は非特許文献１より若干増加することが見て取れる。しかし，視覚的歪み量の改良と予測残差信号のゼロ埋め効果により，符号量の増大分は小さく抑えられている。本発明による手法をＪＳＶＭと比較すると，適切な閾値の設定により符号量の削減と符号化時間の削減の両方を達成できることが確認できる。

例えば，ＦｏｒｅｍａｎのＱＰ２８の場合では，図１１（ｄ）および図１２（ｄ）に示されるように，１．２％の符号量の削減と，９．０％の符号化時間の削減が同時に達成されている。もちろん，以上の手法による主観画質に差がないことは確認済みである。

閾値がある箇所より大きくなると急激に符号量が増大するのは，予測残差信号をゼロにした影響によるものである。予測残差信号をゼロにするとそのフレームでは削減効果がある。しかし，そのフレームが予測参照フレームである場合，参照先を劣化させてしまうことになり，動き予測の性能を劣化させる可能性がある。この問題は，閾値が小さいと顕在化されないが，閾値が大きくなると，予測残差信号に要する符号量分を省くことができるゲインよりも動き予測の性能劣化によるロスが上回るようになってしまい，結果的に符号化性能の低下を招いているからであると考えられる。このことから，本発明を適用するフレームと適用しないフレームとを，例えば他のフレームから参照される予測参照フレームであるか否かなどにより決定して，それを指定情報として与え，特定のフレームに対してだけ本発明を適用する方法は好適であると考えられる。

以上の動画像符号化の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明の実施形態の処理フローチャートである。 高速化アルゴリズムを適用した符号化処理（Ｓ１２）の詳細を示すフローチャートである。 非動き推定予測モードにおける符号化コスト算出処理（Ｓ２２）の詳細を示すフローチャートである。 動き推定予測モードにおける符号化コスト算出処理（Ｓ２５）の詳細を示すフローチャートである。 視覚的歪み量の更新処理（Ｓ２２２，Ｓ２２８，Ｓ２５２，Ｓ２５８）の詳細を示すフローチャートである。 本発明の実施形態による符号化装置の構成図である。 高速化アルゴリズム適用符号化部の構成図である。 非動き推定予測モードにおける符号化コスト算出処理部の構成図である。 動き推定予測モードにおける符号化コスト算出処理部の構成図である。 視覚的歪み量更新部の構成図である。 本発明の効果検証実験における臨界点閾値および高速化閾値と発生符号量の関係を示す図である。 本発明の効果検証実験における臨界点閾値および高速化閾値と符号化時間の関係を示す図である。

符号の説明

１０ 符号化装置
１１ 高速化アルゴリズム適用／非適用フレーム判定部
１２ 高速化アルゴリズム適用符号化部
１３ 高速化アルゴリズム非適用符号化部
１４ 全フレーム処理完了判定部
１５ 符号化対象フレーム更新部
２０ 非動き推定予測モードにおける符号化コスト算出処理部
２１ 視覚的歪み量臨界点閾値記憶部
２２ 視覚的歪み量高速化閾値記憶部
２３ 視覚的歪み量高速化閾値比較部
２５ 動き推定予測モードにおける符号化コスト算出処理部
２６ 最適予測モード決定部
２７ 全マクロブロック符号化完了判定部
２８ 符号化対象マクロブロック更新部

Claims (8)

1. 画素値の予測方法の選定において，発生符号量と画質劣化値との重み和からなる符号化コストを最小にする予測方法を選定し，選定された予測方法を用いて生成した予測値と原信号との差分信号を符号化する動画像符号化方法において，
   符号化対象の画像領域の差分信号に対して直交変換を施し，生成された各周波数成分にコントラスト感度関数値を乗算し，乗算された各周波数帯のエネルギーの画像領域内総和を画質劣化値として定めるステップと，
   前記画質劣化値が予め定められた画質劣化検知臨界値以下の場合には，前記画質劣化値を０に更新し，そうでない場合には，前記画質劣化検知臨界値を前記画質劣化値から減算したものを更新後の画質劣化値とするステップと，
   予測残差信号に対する更新後の画質劣化値が０の場合には，前記予測残差信号をすべて０に更新するステップと，
   更新後の画質劣化値を用いて予測方法の選定を行うステップと，
   更新後の予測残差信号を符号化するステップと，
   を有することを特徴とする動画像符号化方法。
2. 画素値の予測方法の選定において，発生符号量と画質劣化値との重み和からなる符号化コストを最小にする予測方法を選定し，選定された予測方法を用いて生成した予測値と原信号との差分信号を符号化する動画像符号化方法において，
   符号化対象の画像領域の差分信号に対して直交変換を施し，生成された各周波数成分にコントラスト感度関数値を乗算し，乗算された各周波数帯のエネルギーの画像領域内総和を画質劣化値として定めるステップと，
   動き推定を実行しない予測方法の画質劣化値のデータ群の中に，予め定められた高速化閾値以下のものがある場合には，前記高速化閾値より小さい画質劣化値を与える予測方法の中で最も小さい符号化コストを与える予測方法を選別し，そうでない場合には，動き推定を実行する予測方法の符号化コストを前記画質劣化値を用いて算出し，すべての予測方法の符号化コストの中で最も小さい符号化コストを与える予測方法を選別するステップと，
   を有することを特徴とする動画像符号化方法。
3. 画素値の予測方法の選定において，発生符号量と画質劣化値との重み和からなる符号化コストを最小にする予測方法を選定し，選定された予測方法を用いて生成した予測値と原信号との差分信号を符号化する動画像符号化方法において，
   符号化対象の画像領域の差分信号に対して直交変換を施し，生成された各周波数成分にコントラスト感度関数値を乗算し，乗算された各周波数帯のエネルギーの画像領域内総和を画質劣化値として定めるステップと，
   前記画質劣化値が予め定められた画質劣化検知臨界値以下の場合には，前記画質劣化値を０に更新し，そうでない場合には，前記画質劣化検知臨界値を前記画質劣化値から減算したものを更新後の画質劣化値とするステップと，
   予測残差信号に対する更新後の画質劣化値が０の場合には，前記予測残差信号をすべて０に更新するステップと，
   更新後の画質劣化値を用いて予測方法の選定を行うステップと，
   更新後の予測残差信号を符号化するステップと，
   動き推定を実行しない予測方法の更新後の画質劣化値のデータ群の中に，予め定められた高速化閾値以下のものがある場合には，前記高速化閾値より小さい更新後の画質劣化値を与える予測方法の中で最も小さい符号化コストを与える予測方法を選別し，そうでない場合には，動き推定を実行する予測方法の符号化コストを更新後の画質劣化値を用いて算出し，すべての予測方法の符号化コストの中で最も小さい符号化コストを与える予測方法を選別するステップと，
   を有することを特徴とする動画像符号化方法。
4. 画素値の予測方法の選定において，発生符号量と画質劣化値との重み和からなる符号化コストを最小にする予測方法を選定し，選定された予測方法を用いて生成した予測値と原信号との差分信号を符号化する動画像符号化装置において，
   符号化対象の画像領域の差分信号に対して直交変換を施し，生成された各周波数成分にコントラスト感度関数値を乗算し，乗算された各周波数帯のエネルギーの画像領域内総和を画質劣化値として定める手段と，
   前記画質劣化値が予め定められた画質劣化検知臨界値以下の場合には，前記画質劣化値を０に更新し，そうでない場合には，前記画質劣化検知臨界値を前記画質劣化値から減算したものを更新後の画質劣化値とする手段と，
   予測残差信号に対する更新後の画質劣化値が０の場合には，前記予測残差信号をすべて０に更新する手段と，
   更新後の画質劣化値を用いて予測方法の選定を行う手段と，
   更新後の予測残差信号を符号化する手段と，
   を備えることを特徴とする動画像符号化装置。
5. 画素値の予測方法の選定において，発生符号量と画質劣化値との重み和からなる符号化コストを最小にする予測方法を選定し，選定された予測方法を用いて生成した予測値と原信号との差分信号を符号化する動画像符号化装置において，
   符号化対象の画像領域の差分信号に対して直交変換を施し，生成された各周波数成分にコントラスト感度関数値を乗算し，乗算された各周波数帯のエネルギーの画像領域内総和を画質劣化値として定める手段と，
   動き推定を実行しない予測方法の画質劣化値のデータ群の中に，予め定められた高速化閾値以下のものがある場合には，前記高速化閾値より小さい画質劣化値を与える予測方法の中で最も小さい符号化コストを与える予測方法を選別し，そうでない場合には，動き推定を実行する予測方法の符号化コストを前記画質劣化値を用いて算出し，すべての予測方法の符号化コストの中で最も小さい符号化コストを与える予測方法を選別する手段と，
   を備えることを特徴とする動画像符号化装置。
6. 画素値の予測方法の選定において，発生符号量と画質劣化値との重み和からなる符号化コストを最小にする予測方法を選定し，選定された予測方法を用いて生成した予測値と原信号との差分信号を符号化する動画像符号化装置において，
   符号化対象の画像領域の差分信号に対して直交変換を施し，生成された各周波数成分にコントラスト感度関数値を乗算し，乗算された各周波数帯のエネルギーの画像領域内総和を画質劣化値として定める手段と，
   前記画質劣化値が予め定められた画質劣化検知臨界値以下の場合には，前記画質劣化値を０に更新し，そうでない場合には，前記画質劣化検知臨界値を前記画質劣化値から減算したものを更新後の画質劣化値とする手段と，
   予測残差信号に対する更新後の画質劣化値が０の場合には，前記予測残差信号をすべて０に更新する手段と，
   更新後の画質劣化値を用いて予測方法の選定を行う手段と，
   更新後の予測残差信号を符号化する手段と，
   動き推定を実行しない予測方法の更新後の画質劣化値のデータ群の中に，予め定められた高速化閾値以下のものがある場合には，前記高速化閾値より小さい更新後の画質劣化値を与える予測方法の中で最も小さい符号化コストを与える予測方法を選別し，そうでない場合には，動き推定を実行する予測方法の符号化コストを更新後の画質劣化値を用いて算出し，すべての予測方法の符号化コストの中で最も小さい符号化コストを与える予測方法を選別する手段と，
   を備えることを特徴とする動画像符号化装置。
7. 請求項１から請求項３までのいずれか１項に記載の動画像符号化方法を，コンピュータに実行させるための動画像符号化プログラム。
8. 請求項７記載の動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images