JPH11243551A - 動き補償装置と動画像符号化装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 最適ベクトルを決定するために、動きベクト
ルを符号化するための符号量をも考慮することにより、
トータルの符号化効率を向上させることができる動き補
償装置と動画像符号化装置及び方法を得る。 【解決手段】 入力画像と参照画像との間の動きベクト
ルと、参照画像から動きベクトルに従って抽出した予測
画像とを出力する動き補償処理部２００、入力画像と予
測画像とを入力して入力画像と予測画像との間の歪量を
求める歪量演算部としての差分絶対値和演算部２０５、
動きベクトルを入力して符号化しベクトル符号量を出力
するベクトル値符号化部２０７、動きベクトルと歪量及
びベクトル符号量を入力して、歪量とベクトル符号量か
ら算出される評価関数を評価する複数の動きベクトルの
すべてに対し求めて、評価関数が最小値を示す動きベク
トルを最適ベクトルとして出力する最適ベクトル決定部
２１０を備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、デジタル映像送
信装置、ディジタルＣＡＴＶやディジタル放送システム
などに適用される動き補償装置に関するものである。

【０００２】

【従来の技術】図１８は電子情報通信学会技術研究報告
ＶＯＬ．９５，Ｎｏ．２１７、Ｐ２〜８（１９９５）記
載の「ＭＰＥＧ２実時間符号化システムチップセットの
開発」に示された従来のディジタル画像符号化方式を説
明するブロック図である。図１８において、４００は入
力画像２０２と参照画像１５２とを入力して予測画像２
０４と最適ベクトル４４９を出力する動き補償処理部、
２２２は入力画像２０２と予測画像２０４との差分を求
めて残差信号２２３を出力する差分器、４０１は入力さ
れる残差信号２２３を符号化して差分符号化データ４５
０を出力する差分信号符号化処理部、４０２は入力され
る最適ベクトル４４９を符号化して動きベクトル符号化
データ４５１を出力する動きベクトル符号化処理部であ
る。

【０００３】次に、上記構成に係る動作について説明す
る。動き補償処理部４００は、現フレームの画像である
入力画像２０２と前フレームの画像である参照画像１５
２とを入力して、入力画像２０２に最も似かよった画像
を参照画像１５２の中から検索する。検索方法は、入力
画像２０２と参照画像１５２との差分絶対値和をとり、
参照画像の中で最も小さい歪みを与える画像を最適画
像、すなわち予測画像２０４とする。このとき、図１９
に示すごとく、最適画像（予測画像）が現フレームにお
ける入力画像の位置からどのくらい空間的に動いている
かを示したのが動きベクトルである。この動きベクトル
は最適ベクトル４４９として動きベクトル符号化処理部
４０２に送信され動きベクトル符号化処理部４０２にて
符号化され出力される。

【０００４】一方、動き補償処理部４００によって予測
された後の予測誤差信号については、動き補償処理部４
００で選択された最適な予測画像２０４と入力画像２０
２との差分を差分器２２２で取り、その残差信号２２３
を差分信号符号化処理部４０１により符号化して出力す
る。この処理の符号化処理における発生情報量は、差分
信号符号化処理部４０１で発生する差分符号化データ４
５０の情報量と動きベクトル符号化処理部４０２で発生
する動きベクトル符号化データ４５１の情報量を合わせ
た値となる。

【０００５】

【発明が解決しようとする課題】従来の装置は、上述し
たように動き補償処理部４００において差分絶対値和の
最小を示すベクトルを最適ベクトルとしているが、画像
符号化処理では、動き補償によって最適ベクトルとして
選ばれたベクトルが符号化（動きベクトル符号化）され
ると同時に、現ブロックと最適ベクトル位置の前ブロッ
クの残差（予測誤差）に対してさらに符号化（残差符号
化）されることになる。そして、動きベクトル符号化に
よる情報量と残差符号化による情報量を合わせた情報が
符号化量となる。そのため、例えば最適ベクトルとされ
たものが符号化したら非常に情報量が大きくなってしま
う場合などは、上記方法で選ばれた最適ベクトルが符号
化量を最小にするとは限らない。また、一般的に動き補
償予測には輝度情報のみを使用してベクトルを求めてい
るが、輝度信号が同じで色差信号が異なる画像では誤っ
た動きベクトルを抽出してしまう。

【０００６】この発明は上記のような問題点を解消する
ためになされたものであり、最適ベクトルを決定するた
めに、予測差分の差分絶対値和だけでなく、動きベクト
ルを符号化するための符号量をも考慮することにより、
トータルの符号化効率を向上させることができる動き補
償装置と動画像符号化装置及び方法を得ることを目的と
する。

【０００７】

【課題を解決するための手段】この発明に係る動き補償
装置は、入力画像と参照画像とを入力し、入力画像と参
照画像との間の動きベクトルと、参照画像から動きベク
トルに従って抽出した予測画像とを出力する動き補償処
理部と、上記入力画像と上記予測画像とを入力して入力
画像と予測画像との間の歪量を求める歪量演算部と、上
記動きベクトルを入力して符号化しベクトル符号量を出
力するベクトル値符号化部と、上記動きベクトルと上記
歪量及び上記ベクトル符号量を入力して、歪量とベクト
ル符号量から算出される評価関数を評価する複数の動き
ベクトルのすべてに対し求めて、評価関数が最小値を示
す動きベクトルを最適ベクトルとして出力する最適ベク
トル決定部とを備えたものである。

【０００８】また、上記歪量演算部は、上記入力画像と
上記予測画像との間の差分絶対値和を計算して出力する
差分絶対値和演算部でなることを特徴とするものであ
る。

【０００９】また、上記歪量演算部は、上記入力画像と
上記予測画像との間の差分二乗和を計算して出力する差
分二乗和演算部でなることを特徴とするものである。

【００１０】また、上記ベクトル値符号化部は、入力さ
れる動きベクトルを遅延する遅延器と、入力された動き
ベクトルと上記遅延器を介した動きベクトルとの差分を
取って差分ベクトルを出力する差分器と、上記差分ベク
トルを符号化してベクトル符号量を出力する差分ベクト
ル符号化部とでなることを特徴とするものである。

【００１１】また、他の発明に係る動き補償装置は、入
力画像と参照画像とを入力し、入力画像と参照画像との
間の動きベクトルと、参照画像から動きベクトルに従っ
て抽出した予測画像とを出力する動き補償処理部と、上
記入力画像から平均値を分離した平均値分離入力画像を
得る第１の平均値分離部と、上記予測画像から平均値を
分離した平均値分離予測画像を得る第２の平均値分離部
と、上記平均値分離入力画像と上記平均値分離予測画像
とを入力して平均値分離入力画像と平均値分離予測画像
との間の歪量の演算による評価値を求める歪量演算部
と、上記動きベクトルと上記評価値を入力して、当該評
価値を評価する複数の動きベクトルのすべてに対し求め
て、評価値が最小値を示す動きベクトルを最適ベクトル
として出力する最適ベクトル決定部とを備えたものであ
る。

【００１２】また、上記歪量演算部は、上記平均値分離
入力画像と上記平均値分離予測画像との間の差分絶対値
和を計算して出力する差分絶対値和演算部でなることを
特徴とするものである。

【００１３】また、上記歪量演算部は、上記平均値分離
入力画像と上記平均値分離予測画像との間の差分二乗和
を計算して出力する差分二乗和演算部でなることを特徴
とするものである。

【００１４】また、上記動きベクトルを入力して符号化
しベクトル符号量を出力するベクトル値符号化部をさら
に備え、上記最適ベクトル決定部は、上記動きベクトル
と上記歪量及び上記ベクトル符号量を入力して、歪量と
ベクトル符号量から算出される評価関数を評価する複数
の動きベクトルのすべてに対し求めて、評価関数が最小
値を示す動きベクトルを最適ベクトルとして出力するこ
とを特徴とするものである。

【００１５】また、さらに他の発明に係る動き補償装置
は、入力画像と参照画像とを入力し、入力画像と参照画
像との間の動きベクトルと、参照画像から動きベクトル
に従って抽出した予測画像とを出力する動き補償処理部
と、上記入力画像と上記予測画像とを減算して予測誤差
を求める減算器と、上記予測誤差を周波数係数に変換す
る周波数解析部と、変換された周波数係数に基づいて評
価値を生成する評価値生成部と、上記動きベクトルと上
記評価値を入力して、複数の取りうる動きベクトルのう
ち、上記評価値が最小値を示す動きベクトルを最適ベク
トルとして出力するベクトル決定部とを備えたものであ
る。

【００１６】また、さらに他の発明に係る動き補償装置
は、入力画像と参照画像とを入力し、入力画像と参照画
像との間の動きベクトルと、参照画像から動きベクトル
に従って抽出した予測画像とを出力する動き補償処理部
と、上記入力画像と上記予測画像とを減算して予測誤差
を求める減算器と、上記予測誤差を差分符号化して差分
画像符号量を出力する差分画像符号化部と、上記動きベ
クトルを入力して符号化しベクトル符号量を出力するベ
クトル値符号化部と、上記動きベクトルと上記差分画像
符号量及び上記ベクトル符号量を入力して、複数の取り
うる動きベクトルのうち、上記差分画像符号量に上記ベ
クトル符号量を加えた符号量が最小となる動きベクトル
を最適ベクトルとして出力するベクトル決定部とを備え
たものである。

【００１７】また、さらに他の発明に係る動き補償装置
は、入力画像と参照画像とを入力し、入力画像と参照画
像との間の動きベクトルと、参照画像に従って抽出した
予測画像とを出力する動き補償処理部と、上記入力画像
から入力画像輝度信号と入力画像色差信号とを分離する
第１の輝度色差分離部と、上記予測画像から予測画像輝
度信号と予測画像色差信号とを分離する第２の輝度色差
分離部と、上記第１の輝度色差分離部からの入力画像色
差信号と上記第２の輝度色差分離部からの予測画像色差
信号との差分を求める第１の減算器と、上記第１の輝度
色差分離部からの入力画像輝度信号と上記第２の輝度色
差分離部からの予測画像輝度信号との差分を求める第２
の減算器と、上記第１の減算器からの出力に基づいて色
差評価値を生成する色差評価値生成部と、上記第２の減
算器からの出力に基づいて輝度評価値を生成する輝度評
価値生成部と、上記色差評価値生成部からの色差評価値
と上記輝度評価値生成部からの輝度評価値とに基づいて
最適ベクトル決定用評価値を演算する評価値演算部と、
上記動きベクトルと上記最適ベクトル決定用評価値とを
入力して、複数の取りうる動きベクトルのうち、上記最
適ベクトル決定用評価値が最小となる動きベクトルを最
適ベクトルとして出力するベクトル決定部とを備えたも
のである。

【００１８】また、上記評価値演算部は、上記色差評価
値生成部からの色差評価値と上記輝度評価値生成部から
の輝度評価値とを加算して総評価値を求める加算器でな
り、上記ベクトル決定部は、上記動きベクトルと上記総
評価値としての総加算値を入力して、複数の取りうる動
きベクトルのうち、上記総評価値が最小となる動きベク
トルを最適ベクトルとして出力することを特徴とするも
のである。

【００１９】また、さらに他の発明に係る動き補償装置
は、入力画像と参照画像とを入力し、入力画像と参照画
像との間の動きベクトルと、入力画像の輝度成分に対し
て、参照画像から動きベクトル輝度信号に従って抽出し
た予測画像輝度信号及び動きベクトル色差信号に従って
抽出した予測画像色差信号とを出力する動き補償処理部
と、上記入力画像から入力画像輝度信号と入力画像色差
信号とを分離する第１の輝度色差分離部と、上記動きベ
クトルから動きベクトル輝度信号と動きベクトル色差信
号とを分離する第３の輝度色差分離部と、上記第１の輝
度色差分離部からの入力画像色差信号と上記予測画像色
差信号との差分を求める第１の減算器と、上記第１の輝
度色差分離部からの入力画像輝度信号と上記予測画像輝
度信号との差分を求める第２の減算器と、上記第１の減
算器からの出力に基づいて色差評価値を生成する色差評
価値生成部と、上記第２の減算器からの出力に基づいて
輝度評価値を生成する輝度評価値生成部と、上記色差評
価値生成部からの色差評価値と上記輝度評価値生成部か
らの輝度評価値とを比較して評価値比較差を出力する輝
度色差評価値比較部と、上記動きベクトル輝度信号及び
動きベクトル色差信号と上記評価値比較差を入力して、
複数の取りうる動きベクトルのうち、上記評価値比較差
が最小となる動きベクトルを最適ベクトルとして出力す
るベクトル決定部とを備えたものである。

【００２０】また、さらに他の発明に係る動き補償装置
は、動画像符号化を行う符号化を行う際、ブロック単位
に前フレームのデータから動きを予測し情報量削減を行
う動き補償装置において、前フレームのデータを格納す
る前フレームメモリ部と、現ブロックと前フレームの特
定領域からパターンマッチングを行い、最小の歪を与え
る動きベクトルと歪値とを計算する最小歪計算部と、現
ブロックと入力される１つ以上の動きベクトルに対応す
る前フレームのブロックとの歪を計算する特定ベクトル
歪計算部と、上記最小歪計算部から出力される歪と上記
特定ベクトル歪計算部から出力される歪とに基づいて最
適動きベクトルを出力する最適ベクトル出力部とを備え
たものである。

【００２１】また、上記特定ベクトル歪計算部に入力さ
れる動きベクトルは、上記最適ベクトル出力手段から出
力されたベクトルを入力することを特徴とするものであ
る。

【００２２】また、上記最適ベクトル出力部は、上記最
小歪計算部からの歪に重み付けを行う加算器と、重み付
けされた最小歪計算部からの歪と上記特定ベクトル歪計
算部からの歪とを比較する比較器と、この比較器の比較
結果に基づいて最小歪を与える動きベクトルと特定ベク
トルとのいずれかを選択して最適動きベクトルとして出
力するセレクタとを備えたことを特徴とするものであ
る。

【００２３】また、上記最適ベクトル出力部は、上記最
小歪計算部からの歪に加える重み付けのオフセット値
を、最小歪を与える動きベクトルと特定ベクトルとの差
分の大きさにより適応的に変更して与えるオフセット値
計算部をさらに備えたことを特徴とするものである。

【００２４】また、上記最小歪計算部は、現在の探索範
囲内の最小歪と、現在の探索範囲より狭い範囲でのあら
かじめ設定した範囲での最小歪みを出力することを特徴
とするものである。

【００２５】また、この発明に係る動画像符号化装置
は、動き補償予測に基づく動画像符号化装置において、
動き補償予測に用いられる参照画像データを格納してな
るメモリと、入力マクロブロックと上記メモリからの参
照画像データとに基づいて最小予測誤差を与える動きベ
クトルを検出する動き検出部と、入力マクロブロックの
動き補償予測に利用する動きベクトルを符号化する際に
用いる予測ベクトルを導出する予測ベクトル導出部と、
与えられた動きベクトルに基づいて上記メモリ内の参照
画像データの対応する位置の画像データを動きベクトル
に対応する予測画像として取り出す動き補償部と、上記
動き検出部により得られる動きベクトルに基づいて上記
動き補償部から出力される予測画像を用いて予測誤差量
を求め、該予測誤差量を第１の閾値を用いて閾値判定
し、判定結果、予測誤差量が第１の閾値より大きい場合
には上記予測ベクトル導出部により得られる予測ベクト
ルを上記動き補償部に出力させると共に、予測誤差量が
第１の閾値より小さい場合には上記動き検出部により得
られる動きベクトルを上記動き補償部に出力させる閾値
処理部と、予測ベクトルに対応する予測画像による予測
誤差信号を生成し、その予測誤差信号の発生符号量推定
値を第２の閾値を用いて閾値判定を行い、判定結果、予
測誤差信号の発生符号量推定値が第２の閾値より大きい
場合には上記動き検出部により得られる動きベクトルを
最終動きベクトルとして出力させると共に、予測誤差信
号の発生符号量推定値が第２の閾値より小さい場合には
上記予測ベクトルを最終動きベクトルとして出力させ、
かつ最終動きベクトルに対応する予測画像を最終予測画
像として出力する予測画像判定部とを備えたことを特徴
とするものである。

【００２６】また、上記動き検出部からの動きベクトル
と最小予測誤差量の入力に基づいてフレームアクティビ
ティの値を算出し、算出された値に基づいて上記閾値処
理部及び上記予測画像判定部による予測ベクトルを用い
た動きベクトルの置き換え処理をフレーム単位で切り換
え制御するフレームアクティビティ算出部をさらに備え
たことを特徴とするものである。

【００２７】また、この発明に係る動画像符号化方法
は、動き補償予測に基づく動画像符号化方法において、
入力マクロブロックと参照画像データとに基づいて最小
予測誤差を与える動きベクトルを検出する動きベクトル
検出ステップと、入力マクロブロックと動きベクトルに
対応する予測画像とに基づく予測誤差信号を第１の閾値
を用いて閾値判定する第１の閾値判定ステップと、第１
の閾値判定結果、予測誤差信号が第１の閾値より大きい
場合には動きベクトルを符号化する際に用いる予測ベク
トルを導出する予測ベクトル導出ステップと、予測ベク
トルに対応する予測画像による予測誤差信号を生成する
予測誤差信号生成ステップと、予測誤差信号の発生符号
量推定値を算出する算出ステップと、算出された予測誤
差信号の発生符号量推定値を第２の閾値を用いて閾値判
定する第２の閾値判定ステップと、第２の閾値判定結
果、予測誤差信号の発生符号量推定値が第２の閾値より
小さい場合に動きベクトルを上記予測ベクトルに置換す
る置換ステップとを備え、動きベクトルを用いて動き予
測符号化を実施することを特徴とするものである。

【００２８】さらに、動きベクトルと最小予測誤差に基
づいてフレームアクティビティの値を算出し、算出され
た値に基づいてフレーム単位で動きベクトルと予測ベク
トルの置換を行うか否かの切換制御を行う制御ステップ
をさらに備えたことを特徴とするものである。

【００２９】

【発明の実施の形態】実施の形態１．図１は実施の形態
１に係る動き補償装置を示すブロック構成図である。図
１に示すように、実施の形態１に係る動き補償装置は、
現フレームの画像である入力画像２０２と前フレームの
画像である参照画像２０１とを入力して、入力画像２０
２に最も似かよった画像ブロックを参照画像２０１の中
から検索して動きベクトルに従った予測画像を抽出する
際の入力画像２０２と参照画像２０１との間の動きベク
トル２０３と予測画像２０４を出力する動き補償処理部
２００と、入力画像２０２と予測画像２０４との歪量と
して差分絶対値和２０６を計算して出力する歪量演算部
としての差分絶対値和演算部２０５と、動きベクトル２
０３を入力して符号化しベクトル符号量２０８を出力す
るベクトル値符号化部２０７と、動きベクトル２０３と
差分絶対値和２０６及びベクトル符号量２０８を入力し
て、差分絶対値和２０６とベクトル符号量２０８から算
出される評価関数を評価する動きベクトル２０３のすべ
てに対し求めて評価関数が最小値を示す動きベクトルを
最適ベクトル２１０として出力する最適ベクトル決定部
２０９とを備えている。

【００３０】次に、上記構成に係る実施の形態１の動作
について説明する。動き補償処理部２００は、入力画像
２０２に対して、参照画像２０１から動きベクトル２０
３に従った予測画像２０４を抽出する。差分絶対値和演
算部２０５では、入力画像２０２と予測画像２０４とか
ら差分絶対値和２０６を計算する。一方、予測画像２０
４を抽出するために使用した動きベクトル２０３はベク
トル値符号化部２０７と最適ベクトル決定部２０９とに
入力される。ベクトル値符号化部２０７に入力された動
きベクトル２０３は符号化されベクトル符号量２０８を
出力する。ここで、ベクトル値符号化部２０７では可変
長符号化などが用いられることが多い。最適ベクトル決
定部２０９では、差分絶対値和２０６とベクトル符号量
２０８と動きベクトル２０３とが入力され、差分絶対値
和２０６とベクトル符号量２０８とから算出される評価
関数を、評価する複数の動きベクトル全てについて演算
し、評価関数の値が最小値を示す動きベクトルを最適ベ
クトル２１０として出力する。ここで、使用される評価
関数としては、例えば差分絶対値和２０６とベクトル符
号量２０８とに重み付け加算を行ったものである。

【００３１】このように、最適ベクトル２１０の決定
に、差分絶対値和２０６だけを使用するのではなく、ベ
クトル符号量２０８を併用することにより、トータルの
符号化効率を向上させることが可能である。特に、低レ
ート符号化においてはベクトルの符号量が全体の符号量
の半分以上を占めることもあり、ベクトル符号量を考慮
した動きベクトル選択は重要である。すなわち、動きベ
クトルを符号化するために符号量と予測誤差信号を符号
化するための情報量を評価値として使用して最適ベクト
ルを選択することで、従来の動き補償予測に比べ最終的
な符号化結果がより効率のよいものとなる。

【００３２】実施の形態２．図２は実施の形態２に係る
動き補償装置を示すブロック構成図である。図１に示す
実施の形態１と同一部分は同一符号を示し、その説明は
省略する。新たな符号として、２１１は図１で歪量演算
部として使用した差分絶対値和演算部２０５の代わりに
用いた差分二乗和演算部である。差分二乗和は、差分絶
対値和と比べ二乗演算を行うため、より複雑な演算が必
要であるが、信号に含まれるパワー（電力）を評価する
ことができる。一般に、パワーの方がより高精度に予測
誤差信号を評価することが可能で、実施の形態１に比べ
精度の高い予測を行うことにより、より正しく最適ベク
トルを求めることが可能となる。

【００３３】実施の形態３．図３は実施の形態３に係る
動き補償装置を説明するためのもので、実施の形態１及
び２におけるベクトル値符号化部２０７の内部構成図で
ある。図３に示すように、ベクトル値符号化部２０７
は、入力される動きベクトル２０３を遅延する遅延器２
１３と、入力された動きベクトル２０３と遅延器２１３
を介した動きベクトルとの差分を取って差分ベクトルを
出力する差分器２１４と、上記差分ベクトルを符号化し
て動きベクトル符号量２０８を出力する差分ベクトル符
号化部２１５とを備えている。

【００３４】ベクトル値符号化部２０７に入力された動
きベクトル２０３は、以前に入力され遅延器２１３に蓄
積された動きベクトルとの差分が差分器２１４で取ら
れ、この差分ベクトルを差分ベクトル符号化部２１５に
よって符号化される。動きベクトルは、画面内の局所的
に見ると似通った値をとることが多い。従って、既に使
用された近辺の動きベクトルとの差分をとることにより
符号化する値を小さくすることが可能であり、ベクトル
符号量を少なくして符号化効率の向上を図ることができ
る。

【００３５】実施の形態４．図４は実施の形態４に係る
動き補償装置を示すブロック構成図である。図４におい
て、図１に示す実施の形態１と同一部分は同一符号を付
してその説明は省略する。新たな符号として、２１６ａ
は入力画像２０２から平均値を分離した平均値分離入力
画像２１７を得る第１の平均値分離部、２１６ｂは予測
画像２０４から平均値を分離した平均値分離予測画像２
１８を得る第２の平均値分離部、２１９は平均値分離入
力画像２１７と平均値分離予測画像２１８とを入力して
平均値分離入力画像２１７と平均値分離予測画像２１９
との間の歪量を求める歪量演算部であり、この歪量演算
部２１９は、実施の形態１及び２と同様に、差分絶対値
和または差分二乗和の演算による評価値２２０を求め、
最適ベクトル決定部２０９に入力するようになされ、最
適ベクトル決定部２０９では、上記動きベクトル２０３
と上記差分絶対値和または差分二乗和の演算による評価
値２２０を入力して、評価値２２０を評価する複数の動
きベクトル２０３のすべてに対し求めて、評価値が最小
値を示す動きベクトルを最適ベクトル２１０として出力
する。

【００３６】図４に示すように、入力画像２０３及び予
測画像２０４は、各々平均値分離部２１６ａ及び２１６
ｂによって平均値の分離が行われる。歪量演算部２１９
により、平均値を分離された平均値分離予測画像２１７
と平均値を分離された平均値分離入力画像２１８との間
で図１及び図２で説明した差分絶対値和あるいは差分二
乗和の演算による評価値２２０を求め、最適ベクトル決
定部２０９に入力し、最適ベクトル２１０を求める。

【００３７】このように、平均値を分離して評価するこ
とは、画像のレベルに依存しない動き補償を可能とする
ことを示す。例えば、フェードイン画像や輝度の変化が
激しい画像などの場合、従来の動き探索では正確な動き
を検出できなかったが、平均値を分離することによりこ
れらの場合にでもより精度の高い動きベクトル検出が可
能となる。すなわち、入力画像と予測画像の両方の平均
値を分離した画像同士で動き予測評価を行うことによ
り、画像のレベルに依存しない動き補償を可能にするこ
とができ、変化の激しい画像でもより精度の高い動きベ
クトル検出が可能になる。

【００３８】なお、ここでは記述していないが、図１及
び図２で説明したように、動きベクトル符号量２０８を
他の評価値として用い、最適ベクトルの決定に役立てる
ことも当然可能である。また、同様に、図３で説明した
ようにベクトル符号化に差分ベクトル符号化を行うこと
も効果がある。

【００３９】実施の形態５．図５は実施の形態５に係る
動き補償装置を示すブロック構成図である。図５におい
て、図１に示す実施の形態１と同一部分は同一符号を付
して示し、その説明は省略する、新たな符号として、２
２２は入力画像２０２と予測画像２０４とを減算して予
測誤差２２３を求める減算器、２２４は予測誤差２２３
を周波数係数２２５に変換するＤＣＴやＦＦＴ等の周波
数解析部、２２６は変換された周波数係数２２５に基づ
いて重み付け等を行い評価値２２７を生成する評価値生
成部であり、最適ベクトル決定部２０９は、動きベクト
ル２０３と評価値２２７を入力して、複数の取りうる動
きベクトルのうち、上記評価値２２７が最小値を示す動
きベクトルを最適ベクトル２１０として出力する。

【００４０】図５に示すように、入力画像２０２と予測
画像２０４は減算器２２２により予測誤差２２３とさ
れ、予測誤差は周波数解析部２２４において周波数係数
２２５に変換される。変換された周波数係数は評価値生
成部２２６において評価演算がなされ、評価値２２７と
して出力される。

【００４１】このように、予測誤差の周波数解析を行
い、周波数係数を求めることは、予測誤差を変換符号化
する際の処理とほぼ同様のことを行うことに相当する。
例えば求められた周波数係数のうち低域成分に重みを付
けて評価値を生成することにより、予測誤差を変換符号
化する際の符号量をかなり正確に予測することができ
る。この符号量を評価値として使用することにより、よ
り効率の良い符号化を行うことが期待できる。すなわ
ち、予測差分の周波数解析を行い周波数係数を求め、そ
の係数から評価値を求めることにより、予測誤差の符号
化まで含み、変換符号化後の符号量をかなり正確に予測
することが可能で、効率のよい符号化が可能となる。

【００４２】実施の形態６．図６は実施の形態６に係る
動き補償装置を示すブロック構成図である。図６におい
て、図１及び図５に示す実施の形態１及び５と同一符号
は同一部分を示し、その説明は省略する。新たな符号と
して、２２８は減算器２２２からの予測誤差２２３を差
分符号化して差分画像符号量２２９を出力する差分画像
符号化部であり、ベクトル決定部２０９は、動きベクト
ル２０３と上記差分画像符号量２０９及びベクトル値符
号化部２０８からのベクトル符号量２０８を入力して、
複数の取りうる動きベクトル２０３のうち、上記差分画
像符号量２０９に上記ベクトル符号量２０８を加えた符
号量が最小となる動きベクトルを最適ベクトル２１０と
して出力する。

【００４３】図６に示すように、入力画像２０２と予測
画像２０４は減算器２２２により予測誤差２２３とさ
れ、予測誤差は差分画像符号化部２２８によって符号化
が行なわれ、符号量２２９が出力される。予測誤差を差
分符号化することは、通常の符号化処理を行うことと同
等であり、さらに、これにベクトル符号量を加えること
により、動きベクトル２０３を用いた際のほぼ完全な符
号量が算出できる。従って、本構成をとることにより、
取りうる総ての動きベクトルの中で符号量が最も最適と
なるベクトルを求めることが可能となる。すなわち、予
測誤差を符号化し符号化情報量を求め、さらに、ベクト
ル符号化の符号量とを用いることにより、そのベクトル
におけるほぼ完全な符号量を得ることが可能になり、歪
みと符号量との関係において最適な符号かを行うことが
可能となる。

【００４４】実施の形態７．図７は実施の形態７に係る
動き補償装置を示すブロック構成図である。図７におい
て、図１に示す実施の形態１と同一部分は同一符号を付
して示し、その説明は省略する。新たな符号として、２
３０ａは入力画像２０２から入力画像輝度信号２３１と
入力画像色差信号２３２とを分離する第１の輝度色差分
離部、２３０ｂは予測画像２０４から予測画像輝度信号
２３３と予測画像色差信号２３４とを分離する第２の輝
度色差分離部、２３５ａは第１の輝度色差分離部２３０
ａからの入力画像輝度信号２３１と第２の輝度色差分離
部２３０ｂからの予測画像輝度信号２３３との差分を求
める第２の減算器、２３５ｂは第１の輝度色差分離部２
３０ａからの入力画像色差信号２３２と第２の輝度色差
分離部２３０ｂからの予測画像色差信号２３４との差分
を求める第１の減算器、２３７は第１の減算器２３５ｂ
からの出力に基づいて色差評価値を生成する色差評価値
生成部、２３６は第２の減算器２３５ａからの出力に基
づいて輝度評価値を生成する輝度評価値生成部、２３８
は色差評価値生成部２３７からの色差評価値と輝度評価
値生成部２３６からの輝度評価値とに基づいて最適ベク
トル決定用総評価値２３９を演算する評価値演算部とし
ての加算器であり、ベクトル決定部２０９は、動きベク
トル２０３と最適ベクトル決定用総評価値２３９とを入
力して、複数の取りうる動きベクトルのうち、最適ベク
トル決定用総評価値が最小となる動きベクトルを最適ベ
クトル２１０として出力する。

【００４５】図７に示すように、入力画像２０２と予測
画像２０４は各々輝度色差分離部２３０ａ、２３０ｂに
入力され、入力画像輝度信号２３１、入力画像色差信号
２３２、予測画像輝度信号２３３、予測画像色差信号２
３４とに分離される。分離された信号のうち、輝度信号
同士あるいは色差信号同士の差分を減算器２３５ａ、２
３５ｂによって求め、これらを各々独立に輝度評価値生
成部２３６及び色差評価値生成部２３７とで評価値を算
出する。算出された輝度評価値と色差評価値とは加算器
２３８によって加算され、総評価値２３９を得る。この
総評価値に従い、複数の取りうる動きベクトルのうち、
総評価値が最小となる動きベクトルが最適ベクトル２１
０となる。

【００４６】従来の動き補償予測では、輝度成分のみで
評価値を算出するのが一般的である。輝度色差に分離し
て評価値を求めることは、輝度だけでは求められない動
きを色差画像を使用することにより求めることが出来る
ことを示す。輝度成分と色差成分とを分離すると、輝度
信号では変化まったく無いが、色差成分では明確に変化
がみられる画像が存在する。このような画像の場合、輝
度成分だけで動き補償を行うと、色差成分の変化を追う
ことが不可能であり、誤ったベクトルを求めてしまう。
色差成分も同時に評価することにより上記のような場合
に最適なベクトルを求めることが可能となる。このよう
に、輝度信号のみならず色差信号を動き補償予測の評価
値に加えることにより、輝度信号だけではなく評価が不
可能であった色の動きの再現性を向上させることができ
る。

【００４７】なお、ここでは記述していないが、加算器
２３８で、輝度評価値と色差評価値との加算において重
み付け加算を行うことにより、より最適な評価値を求め
ることが可能となる。

【００４８】実施の形態８．図８は実施の形態８に係る
動き補償装置を示すブロック構成図である。図８におい
て、図７に示す実施の形態７と同一部分は同一符号を付
して示し、その説明は省略する。新たな符号として、２
３０ｃは動きベクトル２０３から動きベクトル輝度信号
２４２と動きベクトル色差信号２４３とを分離する第３
の輝度色差分離部、２４４は輝度評価値生成部２３７か
らの輝度評価値と色差評価値生成部２３７からの色差評
価値とを比較して評価値比較差を出力する評価値演算部
としての輝度色差評価値比較部であり、動き補償処理部
２００は、入力画像２０２と参照画像２０１とを入力
し、入力画像２０２と参照画像２０１との間の動きベク
トルと、入力画像２０２の輝度成分に対して、参照画像
２０１から動きベクトル輝度信号に従って抽出した予測
画像輝度信号２０４及び動きベクトル色差信号に従って
抽出した予測画像色差信号２４１とを出力し、ベクトル
決定部２０９は、動きベクトル輝度信号２４２及び動き
ベクトル色差信号２４３と上記評価値比較差を入力し
て、複数の取りうる動きベクトルのうち、上記評価値比
較差が最小となる動きベクトルを最適ベクトルとして出
力するようになっている。

【００４９】図８に示すように、入力画像２０２の輝度
成分に対して、参照画像２０１から動きベクトル輝度信
号２４２に従った予測画像輝度信号２４０が、動きベク
トル色差信号２４３に従った予測画像色差信号２４１が
各々求められる。入力画像２０２は輝度色差分離部２３
０ａにより輝度信号２３１と色差信号２３２とに分離さ
れる。輝度信号の入力画像と予測画像とで、色差信号の
入力画像と予測画像とで各々差分が取られ、各々輝度評
価値と色差評価値とが演算され、輝度色差評価値比較部
２４４に入力される。比較部２４４では重み付けをされ
た比較が行われ、より適切と判断された評価値を最適ベ
クトル決定部２０９に出力する。最適ベクトル決定部２
０９は、輝度、色差の各々のベクトルを入力されてお
り、先の入力である評価値により、輝度、色差ベクトル
のうち選択されたものを最適ベクトル２１０として出力
する。

【００５０】実施の形態９．図９は実施の形態９に係る
動き補償装置を示すブロック構成図である。図９に示す
動き補償装置は、動画像符号化を行う符号化を行う際、
ブロック単位に前フレームのデータから動きを予測し情
報量削減を行う動き補償装置であって、前フレームのデ
ータを格納する前フレームメモリ部１０４と、現フレー
ムのブロックデータ１５０と前フレームの探索範囲デー
タ１５１の特定領域からパターンマッチングを行い、最
小の歪を与える動きベクトル１５５と最小歪１５４とを
計算する最小歪計算部１０１と、現フレームのブロック
データ１５０と外部より入力される１つ以上の特定ベク
トル１５３に対応する前フレームのブロックデータ１５
２との歪１５６を計算する特定ベクトル歪計算部１０２
と、上記最小歪計算部１０１から出力される歪と上記特
定ベクトル歪計算部１０２から出力される歪とに基づい
て最適動きベクトル１５７を出力する最適ベクトル出力
部１０３とを備えている。

【００５１】次に図９について動作について説明する。
最小歪計算部１０１においては、現フレームのブロック
データ１５０に対して、前フレームの探索範囲データ１
５１から最小となる最小歪１５４と最小歪を与える動き
ベクトル１５５を計算し、出力する。一方、特定ベクト
ル歪計算部１０２では、外部より与えられた特定ベクト
ル１５３に対応するデータ１５２を前フレームメモリ部
１０４からとりだし、そのデータと、現フレームのブロ
ックデータ１５０との歪１５６を計算し出力する。最小
歪計算部１０１からの最小歪１５４と特定ベクトル歪計
算部１０２からの歪１５６をもとに、最適ベクトル出力
部１０３において、最適ベクトルを計算する。

【００５２】最適ベクトル出力部１０３の最適ベクトル
計算方法としては、例えば、図１１があげられる。すな
わち、最小歪計算部１０１からの最小歪１５４にオフセ
ット値１１０を加算し、その結果と特定ベクトル歪計算
部１０２からの歪１５６を比較器１１２で比較し、小さ
い値を与えるベクトルを最適動きベクトル１５６として
出力する。

【００５３】また、図１０に示す如く、最適ベクトル出
力部１０３の出力である最適動きベクトル１５７を特定
ベクトル歪計算部１０２の入力と特定ベクトル１５３と
して入力することにより、１つ前のブロックの最適ベク
トルを特定ベクトルとして入力することにより、前のブ
ロックの最適ベクトルが現ブロックの最適ベクトルとし
て選ばれた場合には、動きベクトルの可変長符号化にお
ける情報量が大幅に減ることが実現できる。

【００５４】また、最適ベクトル出力部１０３は、図１
２に示す如く、最小歪計算部１０１からの歪に加える重
み付けのオフセット値を、最小歪を与える動きベクトル
１５５と特定ベクトル１５３との差分の大きさにより適
応的に変更して与えるオフセット値計算部１１４をさら
に備え、差分の値によりオフセット値を決定するように
してもよい。例えば、ベクトルの差分が小さい時は、小
さいオフセットを与える。差分が大きい時は、大きいオ
フセットを与える。これにより、ある程度ベクトルの差
分が大きい時は、 特定ベクトルの値 ≦ （（最小歪）＋オフセット） であれば、特定ベクトルが最適動きベクトルとして選択
される。これにより、可変長符号化の際の発生情報量を
大幅に削減可能となる。

【００５５】実施の形態１０．次に、以下の実施の形態
では、簡単な構成での実現性と汎用性を有しつつ、トー
タルの符号量と歪みのバランスを考慮して、符号化歪み
の低減に貢献しないと考えられる動きベクトルを、符号
量最小となる予測ベクトルに補正し、全体の歪みの増大
を抑えながら動きベクトルの符号量を削減する動画像符
号化装置及び方法を提供する。本手法は、従来技術で述
べたような各種の国際標準動画像符号化方式への適用が
可能であり、符号化系全体で符号量を効果的に削減する
という目的で、前述した各実施の形態と一致する。

【００５６】まず、この実施の形態１０に係る動画像符
号化装置では、動き補償予測に基づく動画像符号化装置
において、動き補償予測に用いられる参照画像データを
格納してなるメモリと、入力マクロブロックと上記メモ
リからの参照画像データとに基づいて最小予測誤差を与
える動きベクトルを検出する動き検出部と、入力マクロ
ブロックの動き補償予測に利用する動きベクトルを符号
化する際に用いる予測ベクトルを導出する予測ベクトル
導出部と、与えられた動きベクトルに基づいて上記メモ
リ内の参照画像データの対応する位置の画像データを動
きベクトルに対応する予測画像として取り出す動き補償
部と、上記動き検出部により得られる動きベクトルに基
づいて上記動き補償部から出力される予測画像を用いて
予測誤差量を求め、該予測誤差量を第１の閾値を用いて
閾値判定し、判定結果、予測誤差量が第１の閾値より大
きい場合には上記予測ベクトル導出部により得られる予
測ベクトルを上記動き補償部に出力させると共に、予測
誤差量が第１の閾値より小さい場合には上記動き検出部
により得られる動きベクトルを上記動き補償部に出力さ
せる閾値処理部と、予測ベクトルに対応する予測画像に
よる予測誤差信号を生成し、その予測誤差信号の発生符
号量推定値を第２の閾値を用いて閾値判定を行い、判定
結果、予測誤差信号の発生符号量推定値が第２の閾値よ
り大きい場合には上記動き検出部により得られる動きベ
クトルを最終動きベクトルとして出力させると共に、予
測誤差信号の発生符号量推定値が第２の閾値より小さい
場合には上記予測ベクトルを最終動きベクトルとして出
力させ、かつ最終動きベクトルに対応する予測画像を最
終予測画像として出力する予測画像判定部とを備え、画
像データの符号量に対して動きパラメータ（動きベクト
ル）の符号量の比率が高くなる低ビットレート符号化の
際にも、全体の符号量と符号化歪みのバランスの良い符
号化を行うものである。

【００５７】本実施の形態１０は、一般の動き補償予測
と離散的コサイン変換（discrete cosine transform，
以下、単にＤＣＴとも称す）・量子化による動画像符号
化装置に、本実施の形態に係る技術要素を組み込んだ例
を示す。図１３は本実施の形態１０における動画像符号
化装置の内部構成図である。図１３に示す実施の形態１
０における動きベクトルを用いた動き補償予測に基づく
動画像符号化装置には、主要な構成として、動き補償予
測に用いられる参照画像データを格納してなるフレーム
メモリ３４と、入力マクロブロック３と上記メモリ３４
からの参照画像データとに基づいて最小予測誤差を与え
る動きベクトル２１を検出する動き検出部２０と、入力
マクロブロック３の動き補償予測に利用する動きベクト
ルを符号化する際に用いる予測ベクトル２８を導出する
予測ベクトル導出部２７と、与えられた動きベクトルに
基づいて上記メモリ３４内の参照画像データの対応する
位置の画像データを動きベクトルに対応する予測画像２
３，２９として取り出す動き補償部２２と、上記動き検
出部２０により得られる動きベクトル２１に基づいて上
記動き補償部２２から出力される予測画像２３を用いて
予測誤差量を求め、該予測誤差量を第１の閾値を用いて
閾値判定し、判定結果、予測誤差量が第１の閾値より大
きい場合には上記予測ベクトル導出部２７により得られ
る予測ベクトル２８を上記動き補償部２２に出力させる
と共に、予測誤差量が第１の閾値より小さい場合には上
記動き検出部２０により得られる動きベクトル２１を上
記動き補償部２２に出力させる最小歪み閾値処理部２４
と、予測ベクトル２８に対応する予測画像２９による予
測誤差信号を生成し、その予測誤差信号の発生符号量推
定値を第２の閾値を用いて閾値判定を行い、判定結果、
予測誤差信号の発生符号量推定値が第２の閾値より大き
い場合には上記動き検出部２０により得られる動きベク
トル２１を最終動きベクトル３３として出力させると共
に、予測誤差信号の発生符号量推定値が第２の閾値より
小さい場合には上記予測ベクトル２８を最終動きベクト
ル３３として出力させ、かつ最終動きベクトル３３に対
応する予測画像３７を最終予測画像として出力する最終
予測画像判定部３０とを動き補償予測部１９内に備えて
いる。

【００５８】なお、その他の符号として、２は入力映像
信号１に基づいて入力マクロブロック３を生成するマク
ロブロック生成部、５は入力マクロブロック３と予測誤
差信号４との入力に基づいてモード判定し、モード選択
情報６と符号化対象画像信号７を出力するモード判定
部、８は符号化対象画像信号７を離散的コサイン変換し
てＤＣＴ係数データを出力するＤＣＴ部、１０はＤＣＴ
係数データ９を量子化して量子化ＤＣＴ係数データを出
力する量子化部、１２は量子化ＤＣＴ係数データ１１を
逆量子化して逆量子化ＤＣＴ係数データ１３を出力する
逆量子化部、１４は逆量子化ＤＣＴ係数データ１３に基
づいて復号画像データ１５を復元する逆ＤＣＴ部、１６
は復号再生画像、１７はモード判定部５からのモード選
択情報６に従って制御されるスイッチ、２６と３２は動
き補償予測部１９内のスイッチ、３８は量子化ＤＣＴ係
数データ１１、モード選択情報６、動きベクトル３３を
所定のシンタックス、可変長符号化方法でビットストリ
ーム３９の形に多重化して出力する可変長符号化・多重
化部である。

【００５９】また、図１４は本実施の形態１０に係る動
画像符号化装置及び方法を説明するための図１３の動き
補償予測部１９を含む動きベクトル検出の処理過程を示
すフローチャートである。以下、図１３および図１４を
もとに説明する。 （１）符号化装置の全体動作 まず、図１３の符号化装置の全体の動作について簡単に
説明する。入力映像信号１には１フレームに対応するデ
ータが入力され、このフレームデータはマクロブロック
生成部２によって、入力マクロブロック３に分割され
る。各入力マクロブロックについて、モード判定部５に
おいて、イントラ（フレーム内）符号化されるかインタ
ー（フレーム間）符号化されるかが決定される。判定に
用いられるのは、入力マクロブロック３と、動き補償予
測部１９の処理によって得られる予測画像３７と入力マ
クロブロック３との差分信号である予測誤差信号４であ
り、所定の判定方法により符号化効率が高いと判断され
た信号が符号化対象画像信号７として選択される。この
時の判定方法は種々の方法を取り得るが、本発明の技術
要素にあたらないため、詳細は割愛する。また、予測画
像３７および動きベクトル３３を生成する動き補償予測
部１９の処理の詳細は後述する。

【００６０】符号化対象画像信号７は、ＤＣＴ部８にお
いて各８×８画素からなるブロックごとにＤＣＴされ、
ＤＣＴ係数データ９に変換される。ＤＣＴ係数データ９
は量子化部１０により所定の方法で量子化され、量子化
ＤＣＴ係数データ１１として可変長符号化・多重化部３
８に送られる。また、量子化ＤＣＴ係数データ１１は、
逆量子化部１２において逆量子化ＤＣＴ係数データ１３
に戻され、逆ＤＣＴ部１４において復号画像データ１５
に復元される。ここで、モード判定部５からのモード選
択情報６に従ってスイッチ１７が制御され、イントラ符
号化モードのときは「０」を、インター符号化モードの
ときは予測画像３７を加算して復号再生画像１６を得
る。

【００６１】復号再生画像１６は、後の動き補償予測に
用いるため、フレームメモリ３４に格納される。動き補
償予測部１９は予測画像３７を出力するほか、予測画像
３７を得るための動きベクトル３３を、可変長符号化・
多重化部３８に出力する。可変長符号化・多重化部３８
は、量子化ＤＣＴ係数データ１１、動きベクトル３３、
モード選択情報６などを所定のシンタックス、可変長符
号化方法でビットストリーム３９の形に多重化して出力
する。ここで、所定のシンタックスとは前述の国際標準
動画符号化規格で定められるデータ多重化ルールを意味
する。

【００６２】（２）動き補償予測部１９の動作 動き補償予測部１９の内部構成は図１３に示す通りであ
る。図１４のフローチャートを併用しながら詳細に動作
を説明する。 （２−１）動き検出処理（ステップＳ１） まず、ステップＳ１に示すように、入力マクロブロック
３に対して、最小予測誤差（最小マッチング歪み）を与
える動きベクトル２１を求める。この処理は、動き検出
部２０において行う。予測誤差には、従来の技術で述べ
た差分絶対値和（ＳＡＤ）や、画素差分の自乗をマクロ
ブロック輝度成分の全画素について総和をとる差分自乗
和などがあるが、以下ではＳＡＤを用いるものとする。
動き検出部２０は、入力マクロブロック３と、フレーム
メモリ３４中の参照画像の与えられた動きベクトル探索
範囲の中に含まれる画像データとの間で、ＳＡＤを最小
にする参照画像データ位置を求め、入力マクロブロック
３のフレーム内位置からの偏移を動きベクトル２１とし
て出力する。予測誤差の計算に用いるフレームメモリ３
４中の参照画像データは、画像データバス３５を介して
動き検出部２０に送り込まれる。

【００６３】次いで、スイッチ２６は、この動きベクト
ル２１をスルーで動き補償部２２に受け渡す。動き補償
部２２は、動きベクトル２１により、フレームメモリ３
４中の参照画像データの対応する位置の画像データを、
画像データバス３６を介して予測画像２３として取り出
して出力する。予測画像２３は、まず最終予測画像判定
部３０に送られるが、この時点では最終予測画像判定部
３０は、予測画像２３をそのまま最終予測画像３７とし
てスルーで出力する。

【００６４】（２−２）モード判定（ステップＳ２、Ｓ
３） 次に、ステップＳ２において、イントラ／インター判定
を行う。この処理は動き補償予測部１９ではなく、モー
ド判定部５で（１）で述べたように行われる。次いで、
ステップＳ３において、モード選択情報６が「インター
モード」を示しているか否かを判定する。イントラモー
ド、すなわち入力マクロブロック３を直接符号化対象信
号とするモードであれば、ここで動き補償予測部１９の
処理は終了する。

【００６５】（２−３）動きベクトルの効率判定（ステ
ップＳ４） インターモード、すなわち入力マクロブロック３と最終
予測画像３７との差分画像（予測誤差信号）を符号化対
象信号とするモードであれば、以下に説明する手順と動
作に従って、符号量と符号化歪みのバランスを考慮して
トータルで効率のよい動きベクトルを改めて決定する。
まず、インターモードの場合は、最小マッチング歪み閾
値処理部２４を起動し、予測画像２３によるＳＡＤにつ
いて、あらかじめ定められた閾値ＴＨ１に基づいて閾値
判定を行う（ステップＳ４）。ここで、ＴＨ１を実験的
もしくは経験的に決定して予測効率を図る値として定め
ておけば、ＴＨ１よりも大きなＳＡＤを生じる場合、動
きベクトル２１による動き補償予測は、予測効率がそれ
ほど良くないと判断できる。つまり、このマクロブロッ
クでは動きベクトル２１を用いて予測誤差信号を得て
も、その予測誤差信号を符号化するには多くの符号量を
必要とすることがある程度推察できる。したがって、こ
の時の動きベクトル２１は、動きベクトル２１自身の符
号量を費やしてまで動き補償予測を行う価値が低いと判
断し、動きベクトルの符号量の削減を図る。

【００６６】逆に、ＳＡＤがＴＨ１よりも小さい値にな
る場合は、動きベクトル２１の予測効率を認め、それを
そのまま最終的な動きベクトルとして用いて符号化を行
う。 （２−４）動きベクトルの置換処理（ステップＳ５〜Ｓ
９） 上記ステップＳ４で、ＳＡＤがＴＨ１より大きいと判断
された場合には、動きベクトル２１を、実際に差分符号
化する際に用いる予測ベクトルに置き換えることを検討
する。一般に、既存の動画像符号化標準方式では、動き
ベクトルは近傍の動きベクトルで予測してその差分値を
符号化することが多い。動きベクトルは近傍と似通った
値をとることが多いため、予測差分がゼロに近いほど符
号長の短い符号を割り当てて符号化するのが一般的であ
る。したがって、動きベクトルを予測ベクトルに一致さ
せることで、動きベクトルの符号量は最小になるので、
この置換によって予測誤差信号の符号量が極端に大きく
ならないならば、トータルで符号量を削減した効率のよ
い符号化を行うことができる。

【００６７】最小マッチング歪み閾値処理部２４は、ス
テップＳ４でＳＡＤがＴＨ１より大きいと判断すると、
制御信号２５によりスイッチ２６を切り換え、予測ベク
トル導出部２７に動きベクトル２１を与える。予測ベク
トル導出部２７はステップＳ５の処理を行い、動きベク
トル２１を実際に符号化する場合に使用する動きベクト
ル符号化用の予測ベクトル２８を導出する。たとえば、
予測の方法を直前のマクロブロックの動きベクトルを予
測ベクトルとして差分をとる（これはＭＰＥＧ−１やＭ
ＰＥＧ−２で採用されている）。すると、動きベクトル
２１が（−２，８）、直前のマクロブロックの動きベク
トルが（０，４）であった場合は、符号化する動きベク
トルデータはその差分で（２，４）となる。なお、ここ
で、動きベクトル（ｘ，ｙ）とは、被予測マクロブロッ
クの画素位置から水平方法へｘ画素（右方向を正とす
る）、垂直方向へｙ画素（下方向を正とする）だけ偏移
した位置のフレームメモリ中の画素を予測画素とするこ
とを意味する。予測ベクトル導出部２７は、予測ベクト
ルに相当する（０，４）を置換候補ベクトルとして出力
する。

【００６８】動き補償部２２は、予測ベクトル２８を受
け、前述の予測画像２３の取得と同様の手順で予測ベク
トル２８に対応する予測画像２９を出力する。予測画像
２９は、最終予測画像判定部３０に、予測画像２３とと
もに入力される。最終予測画像判定部３０は、ここでは
予測画像２９による予測誤差信号を生成し（入力マクロ
ブロック３との差分をとることで得られる。ステップＳ
６に相当）、その予測誤差信号の符号化効率をチェック
する。これは、動きベクトル２１を予測ベクトル２８で
置換した場合に、それによって予測誤差信号の符号量が
大幅に増加してしまうと動きベクトルの置換が逆効果に
なってしまうためであり、予測誤差信号の符号量の程度
をある程度測ることが目的である。

【００６９】チェックの方法は、予測誤差信号の発生符
号量推定値としての輝度成分の分散値を用いた閾値判定
による（ステップＳ７、Ｓ８）。この判定方法の根拠は
以下の通りである。予測誤差信号は、一般にゼロ近辺に
ピークを持つラプラス、ガウス系の分布を有する。符号
化は、この予測誤差信号をＤＣＴによって周波数成分に
変換して、その係数分布が低周波に偏ることを利用して
冗長度を削減するため、高周波成分に立つ係数の発生頻
度が符号化効率の測度になる。高周波成分の含有率は、
予測誤差信号の信号分布の分散によってある程度代表さ
れる。分散が大きいほど信号分布のすそ野が広がり、Ｄ
ＣＴ係数の高周波成分の発生頻度が高くなる。

【００７０】このような観点から、特に符号量の多くを
占める輝度成分の分散値σ^２を閾値判定に用いて、この
分散値が閾値ＴＨ２よりも小さい場合、動きベクトル置
換による予測誤差信号の符号量増加はある程度抑えられ
るものとして動きベクトルの置換を認める（ステップＳ
９）。逆に、輝度成分の分散値がＴＨ２よりも大きくな
る場合は、動きベクトル置換がかえって予測誤差信号の
符号量増加を招くものと判定し、動きベクトルの置換を
認めず、最小ＳＡＤを与える動きベクトル２１を最終的
な動きベクトルとする。

【００７１】最終予測画像判定部３０は、以上の輝度信
号分散値に基づく置換の可否判定を行い、その結果とし
て、制御信号３１によってスイッチ３２を切り換え、最
終動きベクトル３３を出力させるとともに、最終動きベ
クトル３３に対応する最終予測画像３７を予測画像２
３、予測画像２９のいずれかから選択して出力する。す
なわち、インターモードでは、以上の処理を経た後の最
終予測画像３７を用いてインター符号化を実施すると共
に、最終動きベクトル３３を可変長符号化・多重化部３
８に送って符号化する。

【００７２】上述した図１４に示す動きベクトルを用い
た動き補償予測に基づく動画像符号化方法における処理
ステップを要約すると次の通りとなる。すなわち、図１
４に示す動画像符号化方法は、入力マクロブロックと参
照画像データとに基づいて最小予測誤差（最小マッチン
グ歪み）を与える動きベクトルを検出する動きベクトル
検出ステップＳ１と、入力マクロブロックと動きベクト
ルに対応する予測画像とに基づく予測誤差信号を第１の
閾値を用いて閾値判定する第１の閾値判定ステップＳ４
と、第１の閾値判定結果、予測誤差信号が第１の閾値よ
り大きい場合には動きベクトルを符号化する際に用いる
予測ベクトルを導出する予測ベクトル導出ステップＳ５
と、予測ベクトルに対応する予測画像による予測誤差信
号を生成する予測誤差信号生成ステップＳ６と、予測誤
差信号の発生符号量推定値を算出する算出ステップＳ７
と、算出された予測誤差信号の発生符号量推定値を第２
の閾値を用いて閾値判定する第２の閾値判定ステップＳ
８と、第２の閾値判定結果、予測誤差信号の発生符号量
推定値が第２の閾値より小さい場合に動きベクトルを上
記予測ベクトルに置換する置換ステップＳ９とを備え、
動きベクトルを用いて動き予測符号化を実施する。

【００７３】以上の構成の符号化装置及び方法により、
予測誤差信号の符号量削減に貢献しない動きベクトルを
閾値判定によって特定し、予測誤差信号の符号量増加を
抑えながら動きベクトルの符号量を削減して符号化を行
うことができるため、動き情報、画像情報のトータルの
符号化効率にとって最適な動きベクトルの選択が可能に
なる。

【００７４】なお、本実施の形態１０では、閾値ＴＨ１
およびＴＨ２の具体的な決定方法については述べなかっ
たが、これらの値は特定の符号化ビットレートやフレー
ムレートなどに応じて最適値が変わってくるため、状況
に応じたチューニングのパラメータとして利用すること
ができる。これらの値を最適に設定することで符号化効
率を高めることが可能である。

【００７５】本実施の形態１０の符号化装置では、従来
の動きベクトル探索に比べ、ＳＡＤの閾値処理、予測ベ
クトルおよび予測ベクトルによる予測誤差信号の導出、
予測ベクトルによる予測誤差信号の輝度信号の分散値の
計算と閾値処理が追加される構成となる。しかし、ＳＡ
Ｄおよび分散値の閾値処理は条件分岐１つだけで実現で
きるほか、予測ベクトル導出は従来の動きベクトル符号
化に際しても必要なため特別な追加機構ではない。

【００７６】また、予測ベクトルによる予測誤差信号の
導出は、マクロブロック分のバッファリングと予測ベク
トルの一時記憶により、最小ＳＡＤを与える動きベクト
ルを検出する過程（動き検出部２０）で実施してしまう
ことも可能であり、分散値計算も１マクロブロックあた
り１回の処理（しかも、ステップＳ４で動きベクトル置
換の候補となるマクロブロックについてのみ）だけであ
るので、極めて少ない演算量の追加で実現可能である。
ハードウエアで構成する場合は、多少の内部構成素子の
追加が必要になるが、ソフトウエアで符号化装置を構成
する場合には少しの演算量増加だけで実現可能である。

【００７７】また、本実施の形態１０では、動き量を表
現するパラメータとして動きベクトルを用いて説明した
が、アフィンパラメータや透視変換パラメータなどより
複雑な動きパラメータを用いて予測を行う場合にも適用
可能である。これらの複雑な動きパラメータに対して
は、予測ベクトル導出部２７において、パラメータ符号
化の際にもっとも冗長度を削減して符号化できるパラメ
ータを算出すればよい。

【００７８】実施の形態１１．上述した実施の形態１０
において、最小ＳＡＤを与える動きベクトルは、いくつ
かのモードから選択されたものでもよい。たとえば、Ｍ
ＰＥＧ−４の最終草案（IＳO/IEC JTC１/ＳC29WG11/N22
02）や、ITU−T勧告H.263のオプションの１つであるAdv
anced Prediction Modeによれば、動きベクトルとし
て、マクロブロックあたり１つのベクトルを求める「１
ＭＶモード」と、ＤＣＴの単位となる４つの８画素×８
ラインのブロックあたりに１つの動きベクトルを求める
「４ＭＶモード」が選択できる。この場合、「１ＭＶモ
ード」と「４ＭＶモード」とを比較して最小のＳＡＤを
与えるモードを選択するように構成できる。

【００７９】この処理は、図１３における動き検出部２
０の内部で実施するように構成でき、図１４のステップ
Ｓ１のサブステップとして位置づけることができる。ま
た、この場合の予測ベクトル導出部２７は、近傍動きベ
クトルのメディアン値を用いた予測ベクトルの算出を行
うように構成する。

【００８０】図１５に、ＭＰＥＧ−４最終草案に基づく
動きベクトルの予測の仕組みを示す。図１５において、
ＭＶは被予測動きベクトル、ＭＶ１〜ＭＶ３は予測ベク
トル算出のために必要となる動きベクトルを示し、
（ａ）はマクロブロック中左上のブロックの動きベクト
ルの場合、（ｂ）はマクロブロック中右上のブロックの
動きベクトルの場合、（ｃ）はマクロブロック中左下の
ブロックの動きベクトルの場合、（ｄ）はマクロブロッ
ク中右下のブロックの動きベクトルの場合の動きベクト
ルＭＶ１〜ＭＶ３の位置をそれぞれ定めている。

【００８１】予測ベクトル（Ｐ_ｘ，Ｐ_ｙ）は、下式で求
められる。 Ｐ_ｘ ＝Median（ＭＶ１_ｘ，ＭＶ２_ｘ，ＭＶ３_ｘ） Ｐ_ｙ ＝Median（ＭＶ１_ｙ，ＭＶ２_ｙ，ＭＶ３_ｙ） ただし、ＭＶ１＝（ＭＶ１_ｘ，ＭＶ１_ｙ） ＭＶ２＝（ＭＶ２_ｘ，ＭＶ２_ｙ） ＭＶ３＝（ＭＶ３_ｘ，ＭＶ３_ｙ） また、関数Median（ ）は、３つの引数の中央値を出力
する。

【００８２】図１５は「４ＭＶモード」の説明図になっ
ているが、「１ＭＶモード」では同図（ａ）の場合で説明
できる。「１ＭＶモード」の場合は、図３の（ａ）を用
いて、ＭＶをマクロブロック全体の動きベクトルとみな
して予測ベクトルを求める。ＭＶ１〜ＭＶ３は、それぞ
れそれらが属するマクロブロックの動きベクトルモード
が「１ＭＶモード」の場合は、４つのブロックすべてが同
じ動きベクトルであるとみなす。本実施の形態１２によ
れば、ＭＰＥＧ−４やH.２６３などの低ビットレート符
号化をターゲットとする符号化装置において本発明を活
用することができる。

【００８３】実施の形態１２．本実施の形態１２では、
実施の形態１０で説明した動きベクトル置換処理のＯＮ
／ＯＦＦをフレーム単位に切り換える構成を持つ符号化
装置について説明する。動き補償予測の効率が極めて高
いフレームでは、動きベクトルの置換が逆効果になるこ
とがあり、それを防ぐこと、フレーム全体でＯＮ／ＯＦ
Ｆすることで置換処理を行わないフレームにおける演算
量を削減できることなどが効果としてあげられる。

【００８４】すなわち、この実施の形態１２では、動き
検出部２０からの動きベクトルと最小予測誤差量の入力
に基づいてフレームアクティビティの値を算出し、算出
された値に基づいて最小マッチング歪み閾値処理部２４
及び最終予測画像判定部３０による予測ベクトルを用い
た動きベクトルの置き換え処理をフレーム単位で切り換
え制御するフレームアクティビティ算出部４０をさらに
備え、フレームごとに動きパラメータ置換処理のＯＮ／
ＯＦＦを制御できるようにすることより、全体の符号量
と符号化歪みのバランスの良い符号化をより柔軟に行
う。

【００８５】図１６に本実施の形態１２における動き補
償予測部１９の内部構成を示す。同図において、図１３
に示す実施の形態１０と同一部分は同一符号を付してそ
の説明は省略する。新たな符号として、４０は動き検出
部２０からの動きベクトル２１と最小予測誤差４１の入
力に基づいてフレームアクティビティの値を算出し、算
出された値に基づいて最小マッチング歪み閾値処理部２
４及び最終予測画像判定部３０による予測ベクトルを用
いた動きベクトルの置き換え処理をフレーム単位で切り
換え制御する制御信号４２を出力するフレームアクティ
ビティ算出部であり、４３と４４はその制御信号に基づ
いて動きベクトルの置き換え処理を行うためのスイッチ
である。

【００８６】また、図１７は、図１６の動き補償予測部
１９を用いた場合の動き補償予測処理手順を示すフロー
チャートである。以下、図１６及び図１７をもとに、本
実施の形態１２における動き補償予測部１９の動作を詳
しく説明する。符号化装置全体の構成は実施の形態１０
で説明した図１３と等価で、動き補償予測部１９だけが
置き換わるものとし、モード判定部５の動作も実施の形
態１０と同じであるとする。

【００８７】（１）動き検出処理（ステップＳ１） まず、実施の形態１０と同様に、ステップＳ１に示すよ
うに、入力マクロブロック３に対して、最小予測誤差を
与える動きベクトル２１を求める。この動きベクトル検
出の処理を、１フレームにわたってすべて実施してお
き、各マクロブロックの動きベクトル２１と最小ＳＡＤ
４１をフレームアクティビティ算出部４０に入力する。
フレームアクティビティ算出部４０は、当該フレームに
て動きベクトル置換の処理を行うか否かの判定基準とな
るフレームアクティビティを計算する（ステップＳ１
０）。このフレームアクティビティの値から、動きベク
トル置換を行うと判断した場合には、制御信号４２によ
ってスイッチ２６、４３、４４をすべて実施の形態１０
の処理を行う方向へ動作させる。さもなくばスイッチ２
６、４３、４４を強制的に最小ＳＡＤを与える動きベク
トル２１に基づいて動き補償予測を行うように動作させ
る。これらのスイッチの切り換えは、図１７におけるス
テップＳ１１に相当し、図１７ではマクロブロック単位
の切り換えを行う。これはフレーム単位で実施しても良
いが、以下ではマクロブロック単位にフレームアクティ
ビティの値に基づいて選択するものとして説明する。

【００８８】フレームアクティビティの値としては、フ
レーム全体の動きの大きさや複雑さなどが考えられる。
具体的な量では、フレーム全体にわたる最小ＳＡＤの総
和や、フレーム全体の動きベクトルのばらつきの度合い
を示す動きベクトル分散などが考えられる。たとえば、
フレーム間で動きが複雑な場合には平行移動のみで動き
を捉えようとする動きベクトルでは十分な予測効率が得
られない可能性が高い。この場合は動きベクトルが有効
に作用していない個所が多いことが予想されるので、動
きベクトル置換の機構をＯＮにしておく。逆に、動きが
単調で予測効率が十分得られるような場合には動きベク
トル置換の機構をＯＦＦにし、最小ＳＡＤの動きベクト
ルを常に用いるようにする、などの制御を考えることが
できる。最小ＳＡＤの総和が大きいフレームでは前フレ
ームからの動きが複雑で動きを捉え切れないケースが考
えられるし、動きベクトルの分散が大きい場合について
も動きの複雑さが大きいとみなすことができる。しかし
ながら、フレームアクティビティの定義は様々考えられ
る。

【００８９】以下では動きベクトル置換のＯＮ／ＯＦＦ
切り換えに最も最適なアクティビティを用いることを前
提として説明を続ける。 （２）モード判定（ステップＳ２、Ｓ３） 次に、ステップＳ２において、イントラ／インター判定
を行う。この処理は動き補償予測部１９ではなく、モー
ド判定部５で（１）で述べたように行われる。次いで、
ステップＳ３において、モード選択情報６が「インター
モード」を示しているか否かを判定する。イントラモー
ド、すなわち入力マクロブロック３を直接符号化対象信
号とするモードであれば、ここで動き補償予測部１９の
処理は終了する。

【００９０】（３）フレームアクティビティに基づく動
きベクトル置換処理のＯＮ／ＯＦＦ判定（ステップＳ１
１） （１）で説明したように、ステップＳ１１において、ス
テップＳ１０で求めたフレームアクティビティをもと
に、動きベクトル置換処理（ステップＳ４〜Ｓ９）に処
理を進めるか、最小ＳＡＤを与える動きベクトルをその
まま使用することにして動き補償予測の処理を終了させ
るかを判定する。

【００９１】（４） 動きベクトルの置換処理（ステッ
プＳ４〜Ｓ９） （３）で動きベクトル置換処理を行うと判定された場合
は、インターモードにおいて、実施の形態１で述べた手
順により、符号量と符号化歪みのバランスを考慮してト
ータルで効率のよい動きベクトルを改めて決定する。こ
の時、スイッチ４３と４４は、実施の形態１の動作を行
うように制御されるものとする。この場合の処理手順は
実施の形態１０で述べた方法とまったく同じであるた
め、ここでの説明は割愛する。

【００９２】上述したように、図１７に示す動きベクト
ルを用いた動き補償予測に基づく動画像符号化方法にお
ける処理ステップでは、図１４に示す処理ステップに対
し、動きベクトルと最小予測誤差に基づいてフレームア
クティビティの値を算出し、算出された値に基づいてフ
レーム単位で動きベクトルと予測ベクトルの置換を行う
か否かの切換制御を行う制御ステップをさらに備えて、
動き予測符号化を実施している。

【００９３】以上の構成の符号化装置及び方法により、
フレーム単位およびマクロブロック単位で、予測誤差信
号の符号量削減に貢献しない動きベクトルを閾値判定に
よって特定し、予測誤差信号の符号量増加を抑えながら
動きベクトルの符号量を削減して符号化を行うことがで
きるため、動き情報、画像情報のトータルの符号化効率
にとって最適な動きベクトルの選択をより柔軟に行える
ようになる。これによって、動きベクトルの置換が有効
でないフレームについてははじめから置換処理をＯＦＦ
にして効率の低下を防ぐことができる。また、処理がＯ
ＦＦの場合は置換処理の演算量もフレームの単位で削減
できる。

【００９４】本実施の形態１２の符号化装置及び方法で
は、実施の形態１０の符号化装置及び方法に比べ、さら
にフレームアクティビティ算出の処理過程が追加になる
が、これはフレームにつき１回しか実施しないため、全
体としての演算量の増加には大きく影響しない。

【００９５】また、本実施の形態１２では、フレームア
クティビティを、フレームメモリ３４内の過去に符号化
された画像データと、入力された原画像との間で計算す
るように構成したが、この構成では符号化歪みを含んだ
画像と原画像との間でアクティビティ計算をすることに
なり、厳密なフレーム間アクティビティは算出できな
い。そのため、過去のフレームの原画像をバッファリン
グするフレームメモリを設けることにより、原画像同士
でフレーム間のアクティビティを算出することも可能で
ある。

【００９６】また、本実施の形態１２における符号化装
置において、実施の形態１１で述べたように「１ＭＶモ
ード」「４ＭＶモード」に対応できるように構成すること
で、ＭＰＥＧ−４やH.２６３などの低ビットレート符号
化装置への適用が可能である。

【００９７】

【発明の効果】以上のように、この発明によれば、最適
ベクトルを決定するために、歪量として予測差分の差分
絶対値和だけでなく、ベクトル符号量の符号量をも考慮
することにより、トータルの符号化効率を向上させるこ
とが可能となる。

【００９８】また、差分絶対値和の代わりに差分二乗和
を用いることにより、差分信号に含まれるパワーを評価
することが可能であり、より精度の高い予測が可能とな
り符号化効率の向上が期待できる。

【００９９】また、動きベクトル符号化で、以前に使用
された動きベクトルとの差分を符号化することにより、
ベクトル符号量を少なくすることが可能であり、符号化
効率の向上が期待できる。

【０１００】また、入力画像と予測画像の両方の平均値
を分離した画像同士で動き予測評価を行うことにより、
画像のレベルに依存しない動き補償を可能とする事が出
来、変化の激しい画像でもより精度の高い動きベクトル
検出が可能である。

【０１０１】また、予測差分の周波数解析を行い、周波
数係数を求め、その係数から評価値を求めることによ
り、予測誤差の変換符号化後の符号量をかなり正確に予
測することが可能で、効率のよい符号化が可能となる。

【０１０２】また、予測誤差を符号化し符号化情報量を
求め、更にベクトル符号化の符号量とを用いることによ
り、そのベクトルにおけるほぼ完全な符号量を得ること
が可能となり、歪みと符号量との関係において最適な符
号化を行うことが可能となる。

【０１０３】また、入力画像と予測画像とを輝度・色差
とに分解して評価値を求めることにより、輝度のみでは
判定できない動きを色差の評価値により検出することが
可能となり、色の動きを忠実に判定できる。

【０１０４】また、入力画像と予測画像とを輝度・色差
とに分解し、輝度、色差別々に予測を行い、輝度・色差
の評価値のうちより最適なベクトルを選択することによ
り、より効率の良い符号化を行うことが可能となる。

【０１０５】また、可変長符号化まで含めた最適な動き
ベクトルを求めることが可能となり、画質向上の効果が
ある。

【０１０６】また、この発明の動画像符号化装置及び方
法によれば、予測誤差信号の符号量を大きく増加させる
ことなく、動きベクトルの符号量を効果的に削減するこ
とが可能である。これは特に、画像データの符号量に対
して動きパラメータの符号量の比率が高くなる低ビット
レート符号化の際に、全体の符号量と符号化歪みのバラ
ンスの良い符号化を行うことができ、効果的である。

【０１０７】さらに、フレームアクティビティの値に基
づいて動きパラメータの置換を行うか否かをフレーム単
位で切り換え制御するようにしたので、フレームごとに
動きパラメータ置換処理のＯＮ／ＯＦＦを制御でき、全
体の符号量と符号化歪みのバランスの良い符号化をより
柔軟に行うことができる。また、置換処理を一切行わな
いフレームについては演算量を削減することができる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１に係る動き補償装置
を示すブロック構成図である。

【図２】 この発明の実施の形態２に係る動き補償装置
を示すブロック構成図である。

【図３】 この発明の実施の形態３に係る動き補償装置
を示すブロック構成図である。

【図４】 この発明の実施の形態４に係る動き補償装置
を示すブロック構成図である。

【図５】 この発明の実施の形態５に係る動き補償装置
を示すブロック構成図である。

【図６】 この発明の実施の形態６に係る動き補償装置
を示すブロック構成図である。

【図７】 この発明の実施の形態７に係る動き補償装置
を示すブロック構成図である。

【図８】 この発明の実施の形態８に係る動き補償装置
を示すブロック構成図である。

【図９】 この発明の実施の形態９に係る動き補償装置
を示すブロック構成図である。

【図１０】 この発明の実施の形態９に係る動き補償装
置の変形例を示すブロック構成図である。

【図１１】 この発明の実施の形態９に係る動き補償装
置の他の変形例を示すブロック構成図である。

【図１２】 この発明の実施の形態９に係る動き補償装
置のさらに他の変形例を示すブロック構成図である。

【図１３】 この発明の実施の形態１０に係る動画像符
号化装置を示すブロック構成図である。

【図１４】 図１３の符号化装置における動き補償予測
部１９の処理の流れを示すフローチャートである。

【図１５】 この発明の実施の形態１１に係るＭＰＥＧ
−４またはＩＴＵ−Ｔ勧告Ｈ．２６３における動きベク
トルの予測値の算出方法を説明する説明図である。

【図１６】 この発明の実施の形態１２に係る動画像符
号化装置を示すブロック構成図である。

【図１７】 図１６の符号化装置における動き補償予測
部１９の処理の流れを示すフローチャートである。

【図１８】 従来の動き補償装置を示すブロック構成図
である。

【図１９】 最適画像（予測画像）を求める説明図であ
る。

【符号の説明】

１０１ 最小歪検出部、１０２ 特定ベクトル歪計算
部、１０３ 最適ベクトル出力部、１０４ 前フレーム
メモリ、１１０ オフセット値、１１１ 加算器、１１
２ 比較器、１１３ セレクタ、１１４ オフセット計
算部、１５２ 特定ベクトルに対する前フレームデー
タ、１５３ 特定ベクトル、１５４ 最小歪データ、１
５５ 最小歪を与える動きベクトル、１５６ 特定ベク
トルに対する歪データ、１５７ 最適動きベクトル、２
０１ 参照画像、２０２ 入力画像、２０３ 動きベク
トル、２０４ 予測画像、２０５ 差分絶対値和演算
部、２０６ 差分絶対値和、２０７ 動きベクトル値符
号化部、２０８ 動きベクトル符号量、２０９ 最適ベ
クトル決定部、２１０ 最適ベクトル、２１１ 差分二
乗和演算部、２１２ 差分二乗和、２１３ 遅延器、２
１４ 差分演算器、２１５ 差分ベクトル符号化器、２
１６ａ，２１６ｂ 平均値分離部、２１７ 平均値分離
予測画像、２１８ 平均値分離入力画像、２１９ 歪量
演算部（評価値演算器）、２２０ 評価値、２２２ 差
分器、２２３ 予測誤差、２２４ 周波数解析部、２２
５ 周波数係数、２２６ 評価値生成部、２２７ 評価
値、２２８ 符号化部、２２９ 符号化情報量、２３０
ａ，２３０ｂ，２３０ｃ 輝度色差分離部、２３１ 予
測画像輝度信号、２３２ 予測画像色差信号、２３３
入力画像輝度信号、２３４ 入力画像色差信号、２３５
ａ，２３５ｂ 差分器、２３６ 輝度評価値生成部、２
３７ 色差評価値生成部、２３８ 加算器、２３９ 総
評価値、２４０ 輝度成分のみの予測画像、２４１ 色
差成分のみの予測画像、２４２ 動きベクトル輝度信
号、２４３ 動きベクトル色差信号、２４４ 輝度色差
評価値比較部、２０ 動き検出部、２２ 動き補償部、
２４ 最小マッチング閾値処理部、２７ 予測ベクトル
導出部、３０ 最終予測画像判定部、３４ フレームメ
モリ、４０ フレームアクティビティ算出部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 浅野 研一 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 山田 悦久 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 関口 俊一 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 浅井 光太郎 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内

Claims (22)

【特許請求の範囲】
1. 【請求項１】 入力画像と参照画像とを入力し、入力画
   像と参照画像との間の動きベクトルと、参照画像から動
   きベクトルに従って抽出した予測画像とを出力する動き
   補償処理部と、 上記入力画像と上記予測画像とを入力して入力画像と予
   測画像との間の歪量を求める歪量演算部と、 上記動きベクトルを入力して符号化しベクトル符号量を
   出力するベクトル値符号化部と、 上記動きベクトルと上記歪量及び上記ベクトル符号量を
   入力して、歪量とベクトル符号量から算出される評価関
   数を評価する複数の動きベクトルのすべてに対し求め
   て、評価関数が最小値を示す動きベクトルを最適ベクト
   ルとして出力する最適ベクトル決定部とを備えた動き補
   償装置。
2. 【請求項２】 上記歪量演算部は、上記入力画像と上記
   予測画像との間の差分絶対値和を計算して出力する差分
   絶対値和演算部でなることを特徴とする請求項１記載の
   動き補償装置。
3. 【請求項３】 上記歪量演算部は、上記入力画像と上記
   予測画像との間の差分二乗和を計算して出力する差分二
   乗和演算部でなることを特徴とする請求項１記載の動き
   補償装置。
4. 【請求項４】 上記ベクトル値符号化部は、入力される
   動きベクトルを遅延する遅延器と、入力された動きベク
   トルと上記遅延器を介した動きベクトルとの差分を取っ
   て差分ベクトルを出力する差分器と、上記差分ベクトル
   を符号化してベクトル符号量を出力する差分ベクトル符
   号化部とでなることを特徴とする請求項１ないし３のい
   ずれかに記載の動き補償装置。
5. 【請求項５】 入力画像と参照画像とを入力し、入力画
   像と参照画像との間の動きベクトルと、参照画像から動
   きベクトルに従って抽出した予測画像とを出力する動き
   補償処理部と、 上記入力画像から平均値を分離した平均値分離入力画像
   を得る第１の平均値分離部と、 上記予測画像から平均値を分離した平均値分離予測画像
   を得る第２の平均値分離部と、 上記平均値分離入力画像と上記平均値分離予測画像とを
   入力して平均値分離入力画像と平均値分離予測画像との
   間の歪量の演算による評価値を求める歪量演算部と、 上記動きベクトルと上記評価値を入力して、当該評価値
   を評価する複数の動きベクトルのすべてに対し求めて、
   評価値が最小値を示す動きベクトルを最適ベクトルとし
   て出力する最適ベクトル決定部とを備えた動き補償装
   置。
6. 【請求項６】 上記歪量演算部は、上記平均値分離入力
   画像と上記平均値分離予測画像との間の差分絶対値和を
   計算して出力する差分絶対値和演算部でなることを特徴
   とする請求項５記載の動き補償装置。
7. 【請求項７】 上記歪量演算部は、上記平均値分離入力
   画像と上記平均値分離予測画像との間の差分二乗和を計
   算して出力する差分二乗和演算部でなることを特徴とす
   る請求項５記載の動き補償装置。
8. 【請求項８】 上記動きベクトルを入力して符号化しベ
   クトル符号量を出力するベクトル値符号化部をさらに備
   え、上記最適ベクトル決定部は、上記動きベクトルと上
   記歪量及び上記ベクトル符号量を入力して、歪量とベク
   トル符号量から算出される評価関数を評価する複数の動
   きベクトルのすべてに対し求めて、評価関数が最小値を
   示す動きベクトルを最適ベクトルとして出力することを
   特徴とする請求項５ないし７のいずれかに記載の動き補
   償装置。
9. 【請求項９】 入力画像と参照画像とを入力し、入力画
   像と参照画像との間の動きベクトルと、参照画像から動
   きベクトルに従って抽出した予測画像とを出力する動き
   補償処理部と、 上記入力画像と上記予測画像とを減算して予測誤差を求
   める減算器と、 上記予測誤差を周波数係数に変換する周波数解析部と、 変換された周波数係数に基づいて評価値を生成する評価
   値生成部と、 上記動きベクトルと上記評価値を入力して、複数の取り
   うる動きベクトルのうち、上記評価値が最小値を示す動
   きベクトルを最適ベクトルとして出力するベクトル決定
   部とを備えた動き補償装置。
10. 【請求項１０】 入力画像と参照画像とを入力し、入力
    画像と参照画像との間の動きベクトルと、参照画像から
    動きベクトルに従って抽出した予測画像とを出力する動
    き補償処理部と、 上記入力画像と上記予測画像とを減算して予測誤差を求
    める減算器と、 上記予測誤差を差分符号化して差分画像符号量を出力す
    る差分画像符号化部と、 上記動きベクトルを入力して符号化しベクトル符号量を
    出力するベクトル値符号化部と、 上記動きベクトルと上記差分画像符号量及び上記ベクト
    ル符号量を入力して、複数の取りうる動きベクトルのう
    ち、上記差分画像符号量に上記ベクトル符号量を加えた
    符号量が最小となる動きベクトルを最適ベクトルとして
    出力するベクトル決定部とを備えた動き補償装置。
11. 【請求項１１】 入力画像と参照画像とを入力し、入力
    画像と参照画像との間の動きベクトルと、参照画像に従
    って抽出した予測画像とを出力する動き補償処理部と、 上記入力画像から入力画像輝度信号と入力画像色差信号
    とを分離する第１の輝度色差分離部と、 上記予測画像から予測画像輝度信号と予測画像色差信号
    とを分離する第２の輝度色差分離部と、 上記第１の輝度色差分離部からの入力画像色差信号と上
    記第２の輝度色差分離部からの予測画像色差信号との差
    分を求める第１の減算器と、 上記第１の輝度色差分離部からの入力画像輝度信号と上
    記第２の輝度色差分離部からの予測画像輝度信号との差
    分を求める第２の減算器と、 上記第１の減算器からの出力に基づいて色差評価値を生
    成する色差評価値生成部と、 上記第２の減算器からの出力に基づいて輝度評価値を生
    成する輝度評価値生成部と、 上記色差評価値生成部からの色差評価値と上記輝度評価
    値生成部からの輝度評価値とに基づいて最適ベクトル決
    定用評価値を演算する評価値演算部と、 上記動きベクトルと上記最適ベクトル決定用評価値とを
    入力して、複数の取りうる動きベクトルのうち、上記最
    適ベクトル決定用評価値が最小となる動きベクトルを最
    適ベクトルとして出力するベクトル決定部とを備えた動
    き補償装置。
12. 【請求項１２】 上記評価値演算部は、上記色差評価値
    生成部からの色差評価値と上記輝度評価値生成部からの
    輝度評価値とを加算して総評価値を求める加算器でな
    り、上記ベクトル決定部は、上記動きベクトルと上記総
    評価値としての総加算値を入力して、複数の取りうる動
    きベクトルのうち、上記総評価値が最小となる動きベク
    トルを最適ベクトルとして出力することを特徴とする請
    求項１１記載の動き補償装置。
13. 【請求項１３】 入力画像と参照画像とを入力し、入力
    画像と参照画像との間の動きベクトルと、入力画像の輝
    度成分に対して、参照画像から動きベクトル輝度信号に
    従って抽出した予測画像輝度信号及び動きベクトル色差
    信号に従って抽出した予測画像色差信号とを出力する動
    き補償処理部と、 上記入力画像から入力画像輝度信号と入力画像色差信号
    とを分離する第１の輝度色差分離部と、 上記動きベクトルから動きベクトル輝度信号と動きベク
    トル色差信号とを分離する第３の輝度色差分離部と、 上記第１の輝度色差分離部からの入力画像色差信号と上
    記予測画像色差信号との差分を求める第１の減算器と、 上記第１の輝度色差分離部からの入力画像輝度信号と上
    記予測画像輝度信号との差分を求める第２の減算器と、 上記第１の減算器からの出力に基づいて色差評価値を生
    成する色差評価値生成部と、 上記第２の減算器からの出力に基づいて輝度評価値を生
    成する輝度評価値生成部と、 上記色差評価値生成部からの色差評価値と上記輝度評価
    値生成部からの輝度評価値とを比較して評価値比較差を
    出力する輝度色差評価値比較部と、 上記動きベクトル輝度信号及び動きベクトル色差信号と
    上記評価値比較差を入力して、複数の取りうる動きベク
    トルのうち、上記評価値比較差が最小となる動きベクト
    ルを最適ベクトルとして出力するベクトル決定部とを備
    えた動き補償装置。
14. 【請求項１４】 動画像符号化を行う符号化を行う際、
    ブロック単位に前フレームのデータから動きを予測し情
    報量削減を行う動き補償装置において、 前フレームのデータを格納する前フレームメモリ部と、 現ブロックと前フレームの特定領域からパターンマッチ
    ングを行い、最小の歪を与える動きベクトルと歪値とを
    計算する最小歪計算部と、 現ブロックと入力される１つ以上の動きベクトルに対応
    する前フレームのブロックとの歪を計算する特定ベクト
    ル歪計算部と、 上記最小歪計算部から出力される歪と上記特定ベクトル
    歪計算部から出力される歪とに基づいて最適動きベクト
    ルを出力する最適ベクトル出力部とを備えた動き補償装
    置。
15. 【請求項１５】 上記特定ベクトル歪計算部に入力され
    る動きベクトルは、上記最適ベクトル出力手段から出力
    されたベクトルを入力することを特徴とする請求項１４
    記載の動き補償装置。
16. 【請求項１６】 上記最適ベクトル出力部は、上記最小
    歪計算部からの歪に重み付けを行う加算器と、重み付け
    された最小歪計算部からの歪と上記特定ベクトル歪計算
    部からの歪とを比較する比較器と、この比較器の比較結
    果に基づいて最小歪を与える動きベクトルと特定ベクト
    ルとのいずれかを選択して最適動きベクトルとして出力
    するセレクタとを備えたことを特徴とする請求項１４ま
    たは１５記載の動き補償装置。
17. 【請求項１７】 上記最適ベクトル出力部は、上記最小
    歪計算部からの歪に加える重み付けのオフセット値を、
    最小歪を与える動きベクトルと特定ベクトルとの差分の
    大きさにより適応的に変更して与えるオフセット値計算
    部をさらに備えたことを特徴とする請求項１４または１
    ５記載の動き補償装置。
18. 【請求項１８】 上記最小歪計算部は、現在の探索範囲
    内の最小歪と、現在の探索範囲より狭い範囲でのあらか
    じめ設定した範囲での最小歪みを出力することを特徴と
    する請求項１４ないし１７のいずれかに記載の動き補償
    装置。
19. 【請求項１９】 動き補償予測に基づく動画像符号化装
    置において、 動き補償予測に用いられる参照画像データを格納してな
    るメモリと、 入力マクロブロックと上記メモリからの参照画像データ
    とに基づいて最小予測誤差を与える動きベクトルを検出
    する動き検出部と、 入力マクロブロックの動き補償予測に利用する動きベク
    トルを符号化する際に用いる予測ベクトルを導出する予
    測ベクトル導出部と、 与えられた動きベクトルに基づいて上記メモリ内の参照
    画像データの対応する位置の画像データを動きベクトル
    に対応する予測画像として取り出す動き補償部と、 上記動き検出部により得られる動きベクトルに基づいて
    上記動き補償部から出力される予測画像を用いて予測誤
    差量を求め、該予測誤差量を第１の閾値を用いて閾値判
    定し、判定結果、予測誤差量が第１の閾値より大きい場
    合には上記予測ベクトル導出部により得られる予測ベク
    トルを上記動き補償部に出力させると共に、予測誤差量
    が第１の閾値より小さい場合には上記動き検出部により
    得られる動きベクトルを上記動き補償部に出力させる閾
    値処理部と、 予測ベクトルに対応する予測画像による予測誤差信号を
    生成し、その予測誤差信号の発生符号量推定値を第２の
    閾値を用いて閾値判定を行い、判定結果、予測誤差信号
    の発生符号量推定値が第２の閾値より大きい場合には上
    記動き検出部により得られる動きベクトルを最終動きベ
    クトルとして出力させると共に、予測誤差信号の発生符
    号量推定値が第２の閾値より小さい場合には上記予測ベ
    クトルを最終動きベクトルとして出力させ、かつ最終動
    きベクトルに対応する予測画像を最終予測画像として出
    力する予測画像判定部とを備えたことを特徴とする動画
    像符号化装置。
20. 【請求項２０】 上記動き検出部からの動きベクトルと
    最小予測誤差量の入力に基づいてフレームアクティビテ
    ィの値を算出し、算出された値に基づいて上記閾値処理
    部及び上記予測画像判定部による予測ベクトルを用いた
    動きベクトルの置き換え処理をフレーム単位で切り換え
    制御するフレームアクティビティ算出部をさらに備えた
    ことを特徴とする請求項１９記載の動画像符号化装置。
21. 【請求項２１】 動き補償予測に基づく動画像符号化方
    法において、 入力マクロブロックと参照画像データとに基づいて最小
    予測誤差を与える動きベクトルを検出する動きベクトル
    検出ステップと、 入力マクロブロックと動きベクトルに対応する予測画像
    とに基づく予測誤差信号を第１の閾値を用いて閾値判定
    する第１の閾値判定ステップと、 第１の閾値判定結果、予測誤差信号が第１の閾値より大
    きい場合には動きベクトルを符号化する際に用いる予測
    ベクトルを導出する予測ベクトル導出ステップと、 予測ベクトルに対応する予測画像による予測誤差信号を
    生成する予測誤差信号生成ステップと、 予測誤差信号の発生符号量推定値を算出する算出ステッ
    プと、 算出された予測誤差信号の発生符号量推定値を第２の閾
    値を用いて閾値判定する第２の閾値判定ステップと、 第２の閾値判定結果、予測誤差信号の発生符号量推定値
    が第２の閾値より小さい場合に動きベクトルを上記予測
    ベクトルに置換する置換ステップとを備え、動きベクト
    ルを用いて動き予測符号化を実施することを特徴とする
    動画像符号化方法。
22. 【請求項２２】 動きベクトルと最小予測誤差に基づい
    てフレームアクティビティの値を算出し、算出された値
    に基づいてフレーム単位で動きベクトルと予測ベクトル
    の置換を行うか否かの切換制御を行う制御ステップをさ
    らに備えたことを特徴とする請求項２１記載の動画像符
    号化方法。