JP3428415B2 - 動きベクトル検出装置および動きベクトル検出方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、輝度成分および色
差成分を有する被符号化画像データと、任意の参照デー
タとから上記被符号化画像データの動きベクトルを求め
る動きベクトル検出装置、および動きベクトル検出方法
に関するものである。

【０００２】

【従来の技術】ＭＰＥＧ等の動き補償を用いた動画像符
号化方式では、輝度信号と色差信号を別々に求めて伝送
することはできない。従って、一般的には輝度信号のみ
を用いて動きベクトルを検出，伝送し、色差信号につい
てはブロックの大きさに合わせて上記動きベクトルを換
算する方法が採られている。しかし、上記方法では、輝
度信号の空間方向の変化が小さい場合には必ずしも正し
いベクトルが選択されず、画質劣化の原因となってい
た。

【０００３】このような問題を解決するために、例え
ば、図１２や、図１３に示すように、輝度信号のみなら
ず色差信号も利用して動きベクトルを算出する方法が提
案されている。図１２は、特開平８-１０２９６５号公
報に示された動きベクトル検出処理の手順を示すフロー
チャートである。この方法では、ベクトル1点1点につい
て輝度と色差の絶対差分値和等の評価値を加算し、加算
した評価値が最小となるベクトルを動きベクトルとする
方法が示されている。また、図１３は、特開平５−２１
９５２９号公報に示された動きベクトル検出処理の手順
を示すフローチャートである。この方法では、輝度と色
差の動きベクトルをそれぞれ個別に求め、あらかじめ抽
出したパラメータによってどの動きベクトルを最適動き
ベクトルとするかを判定する方法が示されている。

【０００４】

【発明が解決しようとする課題】しかし、図１２に示す
従来の動きベクトル検出方法では、輝度と色差両方を合
わせた評価値を用いるため、高い符号化効率を期待でき
るが、輝度信号と色差信号の動きが異なる場合、輝度と
色差両方を合わせた評価値によって中途半端なベクトル
を選択してしまう可能性があるという問題点があった。
更に動きベクトルを得るための評価値演算器のビット幅
が増加すること等によって、回路規模が大きくなる、と
いう問題点もあった。また、図１３に示す従来の動きベ
クトル検出方法では、輝度と色差のベクトルを別々に求
めるため、回路構成は簡単になるが、どのベクトルを選
択するかを評価値以外のパラメータを用いて決定してい
るため、必ずしも最適なベクトルを選択しているとは限
らない、といった問題点があった。

【０００５】本発明は、以上のような問題点を解決する
ものであり、回路規模をあまり増やさずに最適な動きベ
クトルを求めることのできる動きベクトル検出装置、お
よび動きベクトル検出方法を提供することを目的とす
る。

【０００６】

【課題を解決するための手段】上記課題を解決するた
め、本発明では、輝度成分および色差成分を有する被符
号化画像データと、任意の参照データとから上記被符号
化画像データの動きベクトルを求めるようにした動きベ
クトル検出装置において、上記被符号化画像データと上
記参照データとから上記被符号化画像データの輝度成分
の動きベクトルと、その輝度成分の動きベクトルの評価
値とを求める輝度ベクトル側処理手段と、上記被符号化
画像データと上記参照データとから上記被符号化画像デ
ータの色差成分の動きベクトルと、その色差成分の動き
ベクトルの評価値とを求める色差ベクトル側処理手段
と、上記輝度成分の動きベクトル評価値と上記色差成分
の動きベクトル評価値とに基づいて、上記輝度成分の動
きベクトル、若しくは上記色差成分の動きベクトルを上
記符号化データの動きベクトルとする動きベクトル選択
手段と、を有することを特徴とする。

【０００７】また、次の発明では、上記輝度ベクトル側
処理手段は、上記被符号化画像データおよび上記参照デ
ータの輝度成分からその絶対差分値和が最小となる輝度
成分の動きベクトルと、上記最小となる輝度成分の絶対
差分値和を求めると共に、上記被符号化画像データおよ
び上記参照データの色差成分から上記輝度成分の動きベ
クトルに基づく色差成分の絶対差分値和を求め、上記輝
度成分の絶対差分値和と上記色差成分の絶対差分値和と
の和を輝度成分の動きベクトルの評価値とし、上記色差
ベクトル側処理手段は、上記被符号化画像データおよび
上記参照データの色差成分からその絶対差分値和が最小
となる色差成分の動きベクトルと、上記最小となる色差
成分の絶対差分値和を求めると共に、上記被符号化画像
データおよび上記参照データの輝度成分から上記色差成
分の動きベクトルに基づく輝度成分の絶対差分値和を求
め、上記色差成分の絶対差分値和と上記輝度成分の絶対
差分値和との和を色差成分の動きベクトルの評価値とす
ることを特徴とする。

【０００８】また、次の発明では、上記輝度ベクトル側
処理手段は、上記被符号化画像データおよび上記参照デ
ータの輝度成分から整数精度で輝度成分の動きベクトル
の探索を行ない絶対差分値和が最小となる上記被符号化
画像データの輝度成分の動きベクトルを求め、輝度成分
および色差成分各々の参照データ上で上記輝度成分の動
きベクトル周辺についてハーフペル探索を行ない絶対差
分値和をそれぞれ求め、輝度成分および色差成分の絶対
差分値和の和が最小となる動きベクトルと、その絶対差
分値和の和とを、それぞれ輝度成分の動きベクトルと、
その輝度成分の動きベクトルの評価値とし、上記色差ベ
クトル側処理手段は、上記被符号化画像データおよび上
記参照データの色差成分から整数精度で色差成分の動き
ベクトルの探索を行ない絶対差分値和が最小となる上記
被符号化画像データの色差成分の動きベクトルを求め、
輝度成分および色差成分各々の参照データ上で上記色差
成分の動きベクトル周辺についてハーフペル探索を行な
い絶対差分値和をそれぞれ求め、輝度成分および色差成
分の絶対差分値和の和が最小となる動きベクトルと、そ
の絶対差分値和の和とを、それぞれ色差成分の動きベク
トルと、その色差成分の動きベクトルの評価値とするこ
とを特徴とする。

【０００９】また、次の発明では、輝度成分および色差
成分を有する被符号化画像データと、任意の参照データ
とから上記被符号化画像データの動きベクトルを求める
ようにした動きベクトル検出方法において、上記被符号
化画像データの輝度成分と色差成分それぞれ個別に動き
ベクトルを求めると共に、求めた各々の動きベクトルに
対応する輝度成分と色差成分両方の参照データを用いて
評価値を算出し、上記評価値をもとに伝送する動きベク
トルを求めることを特徴とする。

【００１０】また、次の発明では、輝度成分および色差
成分を有する被符号化画像データと、任意の参照データ
とから上記被符号化画像データの動きベクトルを求める
ようにした動きベクトル検出方法において、上記被符号
化画像データの輝度成分と色差成分それぞれ個別に整数
精度で動きベクトルを求め、求めた各々の動きベクトル
に対応する輝度成分と色差成分両方の参照データを用い
て上記整数精度動きベクトル周辺においてハーフペル精
度を含めた探索を行ってハーフペル精度の動きベクトル
を求めると共に、求めた各々輝度成分と色差成分のハー
フペル精度の動きベクトルの評価値を算出し、上記評価
値をもとに伝送する動きベクトルを求めることを特徴と
する。

【００１１】また、次の発明では、輝度成分及び色差成
分両方の評価値を算出する際、輝度成分および色差価値
に対し、人間の視覚特性に応じた重み付けを行い、それ
らの1次結合を用いることを特徴とする。

【００１２】また、次の発明では、輝度成分および色差
成分両方の評価値を求める際、輝度成分および色差成分
それぞれの評価値に対し、それぞれの信号レベルに応じ
た重み付けを行い、それらの1次結合を用いることを特
徴とする。

【００１３】また、次の発明では、輝度成分および色差
成分両方の評価値を求める際、輝度成分および色差成分
それぞれの評価値に対し、輝度ブロックの大きさと色差
ブロックの大きさの違いに応じた重み付けを行い、それ
らの1次結合を用いることを特徴とする。

【００１４】

【発明の実施の形態】実施の形態１．図１は、本発明に
係る動きベクトル検出装置が用いられる画像符号化装置
の概略構成の一例を示している。図において、１は本発
明に係る動きベクトル検出装置の実施の形態１が適用さ
れる動きベクトル検出部、２はフレームメモリ、３はＤ
ＣＴ部、４は量子化部、５は可変長符号化（ＶＬＣ）
部、６は逆量子化部、７は逆ＤＣＴ部、８は減算器、９
は加算器である。本装置の動作を簡単に説明すると、ま
ず、入力した被符号化画像データは、減算部８で、フレ
ームメモリ２に蓄えられた任意の参照画像データとの間
でフレーム間差分をとられる。ここで、任意の参照画像
データとしたのは、参照画像は、被符号化画像データよ
り時間的に前のものでも、または両方向予測等を行なう
ためフレームの並べ替えを行なって先に符号化した時間
的に後のフレームのものでも、更に被符号化画像データ
を符号化および復号した局部復号画像データを必ずしも
用いる必要がなく原画そのもの等でもよいからである。
次に、その差分値は、ＤＣＴ部３でＤＣＴ変換、量子化
部４で量子化され、さらにＶＬＣ部５で可変長符号化お
よび多重化されて、ビットストリーム（Bitstream）と
して伝送路側へと送り出され、復号側へ伝送される。一
方、量子化部４で量子化されたデータは、いわゆる局所
復号されるよう逆量子化部６にも送られ、逆量子化部６
で逆量子化され、IＤＣＴ部７で逆ＤＣＴ変換され、さ
らに加算部９でフレームメモリ２に蓄えられた参照画像
データとの間でフレーム間加算されて新たな参照画像デ
ータを生成する。尚、動き検出部１で検出された動きベ
クトルは、ＶＬＣ部５に出力され、ＶＬＣ部５でビット
ストリーム（Bitstream）に多重化される。

【００１５】図２に、本発明に係る動きベクトル検出装
置の実施の形態１が適用された動き検出部１の構成を示
す。図において、１１は被符号化画像データ（図中で
は、被符号化データとする。）の輝度成分の動きベクト
ル（以下、輝度ベクトルという。）を探索する輝度ベク
トル探索部、１２は色差成分の動きベクトル（以下、色
差ベクトルという。）を探索する色差ベクトル探索部、
１３は輝度色差複合評価値演算部、１４は動きベクトル
選択部、１５は輝度ベクトル担当部、１６は色差ベクト
ル担当部、１７，１８は加算部である。また、２１はフ
レームメモリ２に格納された参照画像フレーム（図中で
は、参照フレームとする。）の輝度成分中で動きベクト
ル検索範囲のデータを示すサーチウィンドウデータ（Ｓ
Ｗ）の輝度成分、２２は被符号化画像データの輝度成
分、２３はフレームメモリ２に格納された参照画像フレ
ームの色差成分中で動きベクトル検索範囲のデータを示
すサーチウィンドウデータ（ＳＷ）の色差成分、２４は
被符号化画像データの色差成分、２５はフレームメモリ
２に格納された参照画像フレームの色差成分のうちで後
述する輝度ベクトルＶｙにより特定される色差データ、
２６はフレームメモリ２に格納された参照画像フレーム
の輝度成分のうちで後述する色差ベクトルＶｃにより特
定される輝度データ、２７は動きベクトル検出部１が最
終的にＶＬＣ部５へ出力する動きベクトルＶである。
尚、実施の形態１では、輝度ベクトル探索部１１、輝度
ベクトル担当部１５および加算部１７が本発明の輝度ベ
クトル側処理手段に該当し、色差ベクトル探索部１２、
色差ベクトル担当部１６および加算部１８が色差ベクト
ル側処理手段に該当する。

【００１６】次に、この実施の形態１の動き検出部１に
よる動き検出処理の動作を説明する。図３は、この実施
の形態１の動き検出部１による動きベクトル検出処理を
フローチャートにより示しており、図４は、この動き検
出部１による動きベクトル検出処理をフレームおよびデ
ータにより示している。まず、輝度ベクトルＶｙおよび
その評価値Ｅｙを求める側の処理から説明すると、まず
最初のステップ３１により、輝度ベクトル探索部１１が
被符号化フレームの輝度成分から１６×１６画素からな
るマクロブロックからなる被符号化画像データの輝度成
分２２を入力すると共に、フレームメモリ２に格納され
た参照画像フレームの輝度成分からサーチウィンドウデ
ータ（ＳＷ）の輝度成分２１を入力して、輝度ベクトル
の探索を行なう。輝度ベクトルの探索は、サーチウィン
ドウデータ（ＳＷ）の輝度成分２１中で被符号化画像デ
ータの輝度成分２２との間で絶対差分値和が最小となる
参照データ２１ａを探索することにより行い、絶対差分
値和が最小となる輝度成分の参照データ２１ａが探索で
きた場合、被符号化画像データの輝度成分２２と参照デ
ータ２１ａとの間の輝度ベクトルをＶｙ、その絶対差分
値和をＥｙｙとして出力する。

【００１７】次のステップ３２では、輝度色差複合評価
値演算部１３の輝度ベクトル担当部１５が、被符号化フ
レームの色差成分のうちで被符号化データの輝度成分２
２と位置が対応する被符号化画像データの色差成分２４
と、輝度ベクトル探索部１１から出力された輝度ベクト
ルＶｙにより特定される参照画像フレームの色差成分で
ある色差データ２５とを入力して、被符号化画像データ
の色差成分２４と色差データ２５との絶対差分値和Ｅｙ
ｃを求める。

【００１８】次のステップ３３では、加算部１７が輝度
ベクトル探索部１１からの輝度成分の絶対差分値和Ｅｙ
ｙと、輝度ベクトル担当部１３からの色差成分の絶対差
分値和Ｅｙｃとを加算して、輝度ベクトルに基づく総合
的な評価値Ｅｙを得る。

【００１９】次に、色差ベクトルＶｃおよびその評価値
Ｅｃを求める側の処理を説明すると、まず、ステップ３
４により、色差ベクトル探索部１２が被符号化フレーム
の色差成分から被符号化画像データの色差成分２４を入
力すると共に、フレームメモリ２に格納された参照画像
フレームの色差成分からサーチウィンドウデータ（Ｓ
Ｗ）の色差成分２３を入力して、色差成分の動きベクト
ルの探索を行なう。色差成分の動きベクトルの探索は、
サーチウィンドウデータ（ＳＷ）の色差成分２３中で被
符号化画像データの色差成分２４との間で絶対差分値和
が最小となる輝度成分の参照データ２３ａを探索するこ
とにより行い、絶対差分値和が最小となる輝度成分の参
照データ２３ａが探索できた場合、被符号化画像データ
の色差成分２４と輝度成分の参照データ２３ａとの間の
色差ベクトルをＶｃ、その絶対差分値和をＥｃｃとして
出力する。

【００２０】次のステップ３５では、輝度色差複合評価
値演算部１３の色差ベクトル担当部１６が、被符号化画
像データの輝度成分２２と、色差ベクトル探索部１２か
ら出力された色差ベクトルＶｃにより特定される参照画
像フレームの輝度成分である輝度データ２６とを入力し
て、被符号化画像データの輝度成分２２と参照画像フレ
ームの輝度データ２６との絶対差分値和Ｅｃｙを求め
る。

【００２１】次のステップ３６では、加算部１８が色差
ベクトル探索部１２からの輝度成分の絶対差分値和Ｅｃ
ｃと、色差ベクトル担当部１６からの色差成分の絶対差
分値和Ｅｃyとを加算して、色差ベクトルに基づく総合
的な評価値Ｅｃを得る。

【００２２】そして、最後のステップ３７では、動きベ
クトル選択部１４が評価値Ｅｙ，Ｅｃ、および輝度，色
差ベクトルＶｙ，Ｖｃを入力して、評価値Ｅｙと、Ｅｃ
とを比較し、Ｅｙ＜Ｅｃの場合には、値の小さいＥｙに
対応したＶｙを動きベクトルＶとして選択して、可変長
符号化（ＶＬＣ）部５に出力する一方、Ｅｙ＞Ｅｃの場
合には、値の小さいＥｃに対応したＶｃを動きベクトル
Ｖとして選択して、可変長符号化（ＶＬＣ）部５に出力
するようにする。

【００２３】従って、この実施の形態１の動きベクトル
検出装置によれば、先に輝度，色差成分別々に動きベク
トルを求め、輝度，色差成分別々に求めた動きベクトル
に基づいてそれぞれ輝度，色差成分両方の評価値を算出
し、これをもとに輝度，色差成分いずれか一方の動きベ
クトルを選択して出力するようにしたので、輝度成分と
色差成分の動きが異なる場合でも、中途半端なベクトル
を選択することがなくなり、回路の規模をあまり増やさ
ずに最適な動きベクトルを検出することができる。

【００２４】実施の形態２．図５に、本発明に係る動き
ベクトル検出装置の実施の形態２が適用された動き検出
部１の構成を示す。なお、この実施の形態２の動き検出
部１は、実施の形態１と同様に、図１に示す画像符号化
装置に適用されるものとして説明する。図において、４
１は輝度ベクトル探索部、４２は色差ベクトル探索部、
４３は輝度色差複合ハーフペル探索部、４４は動きベク
トル選択部、４５は輝度ベクトル担当部、４６は色差ベ
クトル担当部である。また、５１はフレームメモリ２に
格納された参照画像フレームの輝度成分中で動きベクト
ル検索範囲のデータを示すサーチウィンドウデータ（Ｓ
Ｗ）の輝度成分、５２は被符号化画像データの輝度成
分、５３は上記参照画像フレームの色差成分中で動きベ
クトル検索範囲のデータを示すサーチウィンドウデータ
（ＳＷ）の色差成分、５４は被符号化画像データの色差
成分、５５，５６はそれぞれ上記参照画像フレームのう
ちで後述する輝度ベクトルＶｉｙにより特定されるハー
フペルＳＷの輝度，色差成分、５７，５８はそれぞれ上
記参照画像フレームのうちで後述する色差ベクトルＶｉ
ｃにより特定されるハーフペルＳＷの輝度，色差成分で
ある。尚、実施の形態２では、輝度ベクトル探索部４１
および輝度ベクトル担当部４５が本発明の輝度ベクトル
側処理手段に該当し、色差ベクトル探索部４２および色
差ベクトル担当部４６が色差ベクトル側処理手段に該当
する。

【００２５】図６に、図５に示す輝度ベクトル担当部４
５および色差ベクトル担当部４６の構成を示す。図にお
いて、４７は輝度成分評価値算出部、４８は色差成分評
価値算出部、４９は制御部、５０は加算部である。

【００２６】次に、この実施の形態２の動き検出部１に
よる動き検出処理の動作を説明する。図７は、この実施
の形態２の動き検出部１による動きベクトル検出処理を
フローチャートにより示しており、図８は、この実施の
形態２の動き検出部１による輝度成分の動きベクトル検
出処理をフレームおよびデータにより示し、図９は、輝
度ベクトル担当部４５の処理を詳細にフレームおよびデ
ータにより示し、図１０は、この実施の形態２の動き検
出部１による色差成分の動きベクトル検出処理をフレー
ムおよびデータにより示している。まず、輝度ベクトル
Ｖｈｙおよびその評価値Ｅｙを求める側の処理から説明
すると、ステップ６１により、図８に示すように、輝度
ベクトル探索部４１が被符号化フレームの輝度成分から
被符号化画像データの輝度成分５２を入力すると共に、
フレームメモリ２に格納された参照画像フレームの輝度
成分からサーチウィンドウデータ（ＳＷ）の輝度成分５
１を入力して、整数精度で輝度ベクトルの探索、すなわ
ちサーチウィンドウデータ（ＳＷ）の輝度成分５１中で
被符号化画像データの輝度成分５２との間で絶対差分値
和が最小となる参照データ５１ａを整数精度で探索す
る。絶対差分値和が最小となる輝度成分の参照データ５
１ａが探索できた場合、被符号化画像データの輝度成分
５２と参照データ５１ａとの間の輝度ベクトルをＶｉｙ
として出力する。

【００２７】次のステップ６２では、輝度色差複合ハー
フペル探索部４３の輝度ベクトル担当部４５が、輝度ベ
クトルＶiyに基づいてその輝度ベクトルＶiy周辺±１画
素分のハーフペルＳＷの輝度成分５５と、被符号化画像
データの輝度成分５２と、ハーフペルＳＷの輝度成分５
５に対応するハーフペルＳＷの色差成分５６と、被符号
化画像データの輝度成分５２に対応する被符号化画像デ
ータの色差成分５４とを入力して、図９に示すようにハ
ーフペルＳＷの輝度成分５５および色差成分５６上で輝
度ベクトルＶiyに基づいてハーフペル探索を行ない、ハ
ーフペルＳＷの輝度成分５５と被符号化画像データの輝
度成分５２との間の絶対差分値和Ｅｙｙ■を求める共
に、ハーフペルＳＷの色差成分５６と色差成分の被符号
化画像データ５４と間の絶対差分値和Ｅｙｃ■を求め
る。なお、絶対差分値和Ｅｙｙ■は、図６に示すように
輝度成分評価値算出部４７が算出し、絶対差分値和Ｅｙ
ｃ■は、図６に示すように色差成分評価値算出部４８が
算出する。また、図９におけるＥｙｙ、Ｅｙｃは、それ
ぞれ、次のステップ６３の処理により求められるベクト
ルＶｈｙのときの、すなわちＥｙｙ■＋Ｅｙｃ■が最小
となるときのＥｙｙ■、Ｅｙｃ■である。

【００２８】次のステップ６３では、ステップ６２で求
めた輝度成分の絶対差分値和Ｅｙｙ■と、色差成分の絶
対差分値和Ｅｙｃ■とが輝度ベクトル担当部４５内の加
算部５０で加算され、その和Ｅｙｙ■＋Ｅｙｃ■が輝度
ベクトル担当部４５内の制御部４９に入力し、制御部４
９はその和Ｅｙｙ■＋Ｅｙｃ■が最小となるベクトルＶ
ｈｙを求めて動きベクトルとして出力する。また、この
時の上記絶対差分値和Ｅｙｙ■とＥｙｃ■との和を評価
値Ｅｙとして出力する。

【００２９】次に、色差ベクトルＶｈｃおよびその評価
値Ｅｃを求める側の処理を説明すると、まず、ステップ
６４により、色差ベクトル探索部４２が被符号化フレー
ムの色差成分から被符号化画像データ５４を入力すると
共に、フレームメモリ２に格納された参照画像フレーム
の色差成分からサーチウィンドウデータ（ＳＷ）の色差
成分５３を入力して、図１０に示すように、サーチウィ
ンドウデータ（ＳＷ）の色差成分５３中で被符号化画像
データ５４との間で絶対差分値和が最小となる参照デー
タ５３ａを整数精度で探索する。絶対差分値和が最小と
なる色差成分の参照データ５３ａが探索できた場合、被
符号化画像データ５４と参照データ５３ａとの間の色差
ベクトルをＶｉｃとして出力する。

【００３０】次のステップ６５では、輝度色差複合ハー
フペル探索部４３の色差ベクトル担当部４６が、色差ベ
クトルＶiｃに基づいてその色差ベクトルＶiｃ周辺±１
画素分のハーフペルＳＷの輝度成分５７と、被符号化画
像データの輝度成分５２と、ハーフペルＳＷの輝度成分
５７に対応するハーフペルＳＷの色差成分５８と、被符
号化画像データの輝度成分５２に対応する被符号化画像
データの色差成分５４とを入力して、図９に示す場合と
同様に、ハーフペルＳＷの輝度成分５７および色差成分
５８上で色差ベクトルＶｉｃに基づいてハーフペル探索
を行ない、ハーフペルＳＷの輝度成分５７と被符号化画
像データの輝度成分５２との間の絶対差分値和Ｅｃｙ■
を求める共に、ハーフペルＳＷの色差成分５８と色差成
分の被符号化画像データ５４と間の絶対差分値和Ｅｃｃ
■を求める。なお、絶対差分値和Ｅｃｙ■は、図６に示
すように輝度成分評価値算出部４７が算出し、絶対差分
値和Ｅｃｃ■は、図６に示すように色差成分評価値算出
部４８が算出する。

【００３１】次のステップ６６では、ステップ６５で求
めた輝度成分の絶対差分値和Ｅｃｙ■と、色差成分の絶
対差分値和Ｅｃｃ■とが色差ベクトル担当部４６内の加
算部５０で加算され、その和Ｅｃｙ■＋Ｅｃｃ■が色差
ベクトル担当部４６内の制御部４９に入力し、制御部４
９はその和Ｅｃｙ■＋Ｅｃｃ■が最小となるベクトルＶ
ｈｃを求めて動きベクトルとして出力する。また、この
時の上記絶対差分値和Ｅｃｙ■とＥｃｃ■との和をＥｃ
として出力する。

【００３２】そして、最後のステップ６７では、動きベ
クトル選択部４４が評価値Ｅｙ，Ｅｃおよび輝度，色差
ベクトルＶｈｙ，Ｖｈｃを入力して、評価値Ｅｙと、Ｅ
ｃとを比較し、Ｅｙ＜Ｅｃの場合には、値の小さいＥｙ
に対応したＶｈｙを選択して動きベクトルＶとし、可変
長符号化（ＶＬＣ）部５に出力する一方、Ｅｙ＞Ｅｃの
場合には、値の小さいＥｃに対応したＶｈｃを選択して
動きベクトルＶとし、可変長符号化（ＶＬＣ）部５に出
力するようにする。

【００３３】従って、この実施の形態２の動きベクトル
検出装置によれば、先に輝度，色差成分別々に整数精度
で動きベクトルを求め、求めた動きベクトル周辺に対
し、輝度，色差両方の成分を用いてハーフペルを含めた
演算を行い、この演算をもとに輝度，色差成分いずれか
一方の動きベクトルを選択して出力するようにしたの
で、輝度成分と色差成分の動きが異なる場合でも、中途
半端なベクトルを選択することがなくなり、回路の規模
をあまり増やさずに最適な動きベクトルを検出すること
ができる。

【００３４】ところで、上述の実施の形態１，２の説明
では、色差ベクトルを１種類として説明してきたが、色
差成分が、例えばＣb（青色系），Ｃr（赤色系）のよう
に複数に分けられるような場合は、図３に示す実施の形
態１のステップ３４、および図７に示す実施の形態２の
ステップ６４において、Ｃb,Ｃrそれぞれの色差成分に
ついて色差ベクトルを求め、複数の色差ベクトルを出力
するようにしても構わない。このようにした場合、Ｃb,
Ｃrそれぞれの色差成分について、実施の形態１では、
図３に示すステップ３４〜３６の処理が必要になり、ス
テップ３７では、１つの輝度ベクトルと２つの色差ベク
トルのうちから１つを動きベクトルを選択する一方、実
施の形態２では、図７に示すステップ６４〜６６の処理
が必要になり、ステップ６７では、１つの輝度ベクトル
と２つの色差ベクトルのうちから１つを動きベクトルを
選択することになる。

【００３５】実施の形態３．実施の形態３の動きベクト
ル検出装置は、図８に示す実施の形態１のステップ３
３，３６、または図１０に示す実施の形態２のステップ
６３，６６において、人間の視覚特性に応じて輝度，色
差それぞれの信号成分の絶対差分値和に重み付けを行っ
てから加算し、総合的な評価値を算出するようにしたこ
とを特徴とするものである。

【００３６】例えば、人間の目には青色よりも赤色の方
が目立つので、色差信号がＣb（青色系），Ｃr（赤色
系）の２種類あった場合、Ｃrの絶対差分値和の方に、
より大きい重み付けを行う。具体的には、Ｃb，Ｃrそれ
ぞれの絶対差分値和をＥxCr,ＥxCb(ただし、x＝y,c)と
すると、色差成分の評価値ＥxCは、例えば、下記の式
（１）によって求められる。尚、＊は乗算を示してい
る。 Ｅxc＝Ａ＊ＥxCr＋ＥxCb (Ａ＞１) (x＝y,c) ・・・（１）

【００３７】また、色差成分の評価値Ｅxcを求める際に
かけた係数を補正するため、下記の式（２）のように輝
度成分の絶対差分値和Ｅxy(ただし、x＝y,c)に１以上の
係数bを掛けて総合的な評価値Ｅxを求めるようにする。 Ｅx＝b＊Ｅxy＋Ｅxc (b≧１) (x＝y,c) ・・・（２）

【００３８】このようにして、輝度ベクトルおよび色差
ベクトルそれぞれに基づいて求めた総合的な評価値Ｅ
ｙ，Ｅｃを求め、実施の形態１のステップ３７、または
実施の形態２のステップ６７では、このようにして輝度
ベクトルおよび色差ベクトルそれぞれに基づいて求めた
総合的な評価値Ｅｙ，Ｅｃを比較して、Ｖｙ,Ｖｃどち
らからの動きベクトルを選択して伝送するようにする。

【００３９】従って、この実施の形態３の動きベクトル
検出装置によれば、輝度ベクトルおよび色差ベクトルそ
れぞれに基づいて総合的な評価値を求める際、色差成分
をＣb（青色系），Ｃr（赤色系）の２種類に分けられる
場合には、ＣbよりＣrの絶対差分値和の方により大きい
重み付けを行ってから加算して総合的な評価値を算出す
るようにしたので、人間の視覚特性に応じた更に効率的
な動きベクトルの検出が可能である。

【００４０】実施の形態４．実施の形態４の動きベクト
ル検出装置では、実施の形態１のステップ３３，３６、
または実施の形態２のステップ６３，６６において、輝
度成分，色差成分それぞれの信号レベルに応じて、それ
ぞれの信号成分の絶対差分値和に重み付けを行ってから
加算し、総合的な評価値を算出する様にしたことを特徴
とするものである。

【００４１】例えば、輝度，色差成分の被符号化画像デ
ータ各ブロック内の画素平均値Ａy，Ａcを算出し、これ
に比例した係数ay，acを下記式（３）に示すように、そ
れぞれの絶対差分値和に乗算する。 Ｅx＝ay＊Ｅxy＋ac＊Ｅxc (x＝y,c) ・・・（３）

【００４２】このようにして、輝度ベクトルおよび色差
ベクトルそれぞれに基づいて求めた総合的な評価値Ｅ
ｙ，Ｅｃを求め、実施の形態１のステップ３７、または
実施の形態２のステップ６７では、このようにして輝度
ベクトルおよび色差ベクトルそれぞれに基づいて求めた
総合的な評価値Ｅｙ，Ｅｃを比較して、Ｖｙ,Ｖｃどち
らからの動きベクトルを選択して伝送するようにする。

【００４３】従って、この実施の形態４の動きベクトル
検出装置によれば、輝度成分，色差成分それぞれの信号
レベルに応じてそれぞれの信号成分の絶対差分値和に重
み付けを行ってから加算し、総合的な評価値を算出する
ようにしたので、輝度成分，色差成分それぞれの信号レ
ベルに応じた更に効率的な動きベクトルの検出が可能で
ある。

【００４４】実施の形態５．実施の形態５の動きベクト
ル検出装置では、実施の形態１のステップ３３，３６、
または実施の形態２のステップ６３，６６において、輝
度信号と色差信号のブロックの大きさの違いに応じて、
それぞれの信号成分の絶対差分値和に重み付けを行って
から加算し、総合的な評価値を算出するようにしたこと
を特徴とするものである。

【００４５】例えば、ＭＰＥＧ等の符号化方式では、図
１１（ａ）〜（ｃ）に示すように、一般に、（ａ）に示
す１６×１６画素の輝度成分のブロック（以下、輝度ブ
ロックという。）に対して、色差成分のブロック（以
下、色差ブロックという。）の大きさ（画素数）は、
（ｂ）の４：２：２フォーマットの色差ブロックの場
合、水平方向のみが１/２、または（ｃ）の４：２：０
フォーマットの色差ブロックの場合、水平、垂直方向両
方に１/２となる。このため、このまま絶対差分値和を
とった場合、色差成分の絶対差分値和の最大値は、輝度
成分の１/２（図１１（ｂ）の場合）、または１/４（図
１１（ｃ）の場合）となる。しかし、輝度ブロックと色
差ブロックは、表示する際は同じ大きさに展開するの
で、下記式（４）に示すように、色差成分の絶対差分値
和に補正係数Ａをかけるようにする。 Ｅx＝Ｅxy＋Ａ＊Ｅxc (Ａ＞１) (x＝y,c) ・・・（４）

【００４６】このようにして、輝度ベクトルおよび色差
ベクトルそれぞれに基づいて求めた総合的な評価値Ｅ
ｙ，Ｅｃを求め、実施の形態１のステップ３７、または
実施の形態２のステップ６７では、このようにして輝度
ベクトルおよび色差ベクトルそれぞれに基づいて求めた
総合的な評価値Ｅｙ，Ｅｃを比較して、Ｖｙ,Ｖｃどち
らからの動きベクトルを選択して伝送するようにする。

【００４７】従って、この実施の形態５の動きベクトル
検出装置によれば、輝度信号と色差信号のブロックの大
きさの違いに応じてそれぞれの信号成分の絶対差分値和
に重み付けを行ってから加算し、総合的な評価値を算出
するようにしたので、輝度信号と色差信号のブロックの
大きさの違いに応じた更に効率的な動きベクトルの検出
が可能である。

【００４８】

【発明の効果】以上説明したように、本発明では、先に
輝度，色差成分別々に動きベクトルを求め、輝度，色差
成分別々に求めた動きベクトルに基づいてそれぞれ輝
度，色差成分両方の評価値を算出し、これをもとに輝
度，色差成分いずれか一方の動きベクトルを選択して出
力するようにしたので、輝度成分と色差成分の動きが異
なる場合でも、中途半端なベクトルを選択することがな
くなり、回路の規模をあまり増やさずに最適な動きベク
トルを検出することができる。

【００４９】また、次の発明では、先に輝度，色差成分
別々に整数精度で動きベクトルを求め、求めた動きベク
トル周辺に対し、輝度，色差両方の成分を用いてハーフ
ペルを含めた演算を行い、この演算をもとに輝度，色差
成分いずれか一方の動きベクトルを選択して出力するよ
うにしたので、輝度成分と色差成分の動きが異なる場合
でも、中途半端なベクトルを選択することがなくなり、
回路の規模をあまり増やさずに最適な動きベクトルを検
出することができる。

【００５０】また、次の発明では、輝度ベクトルおよび
色差ベクトルそれぞれに基づいて総合的な評価値を求め
る際、輝度成分および色差成分それぞれの評価値に対
し、人間の視覚特性に応じた重み付けを行ってから加算
して総合的な評価値を算出するようにしたので、人間の
視覚特性に応じた更に効率的な動きベクトルの検出が可
能である。

【００５１】また、次の発明では、輝度成分，色差成分
それぞれの信号レベルに応じてそれぞれの信号成分の絶
対差分値和に重み付けを行ってから加算し、総合的な評
価値を算出するようにしたので、輝度成分，色差成分そ
れぞれの信号レベルに応じた更に効率的な動きベクトル
の検出が可能である。

【００５２】また、次の発明では、輝度信号と色差信号
のブロックの大きさの違いに応じてそれぞれの信号成分
の絶対差分値和に重み付けを行ってから加算し、総合的
な評価値を算出するようにしたので、輝度信号と色差信
号のブロックの大きさの違いに応じた更に効率的な動き
ベクトルの検出が可能である。

【図面の簡単な説明】

【図１】 本発明に係る動きベクトル検出装置が用られ
る画像符号化装置の概略構成の一例を示す構成図であ
る。

【図２】 本発明における動きベクトル検出装置の実施
の形態１の構成を示す構成図である。

【図３】 実施の形態１の動き検出部１による動きベク
トル検出処理を示すフローチャートである。

【図４】 実施の形態１の動き検出部１による動きベク
トル検出処理をフレームおよびデータにより示す説明図
である。

【図５】 本発明における動きベクトル検出装置の実施
の形態２の構成を示す構成図である。

【図６】 図５に示す輝度ベクトル担当部４５および色
差ベクトル担当部４６の構成を示す構成図である。

【図７】 実施の形態２の動き検出部１による動きベク
トル検出処理を示すフローチャートである。

【図８】 実施の形態２の動き検出部１による輝度成分
の動きベクトル検出処理をフレームおよびデータにより
示す説明図である。

【図９】 輝度ベクトル担当部４５の処理を詳細にフレ
ームおよびデータにより示す説明図である。

【図１０】 実施の形態２の動き検出部１による色差成
分の動きベクトル検出処理をフレームおよびデータによ
り示す説明図である。

【図１１】 実施の形態５の動きベクトル検出装置で採
用するＭＰＥＧ等の符号化方式の色差成分、輝度成分の
ブロックを示す図である。

【図１２】 従来の動きベクトル検出方法を示すフロー
チャートである。

【図１３】 従来の他の動きベクトル検出方法を示すフ
ローチャートである。

【符号の説明】

１ 動きベクトル検出部、２ フレームメモリ、３ Ｄ
ＣＴ部、４ 量子化部、５ 可変長符号化（ＶＬＣ）
部、６ 逆量子化部、７ 逆ＤＣＴ部、８ 減算器、９
加算器、１１ 輝度ベクトル探索部、１２ 色差ベク
トル探索部、１３輝度色差複合評価値演算部、１４ 動
きベクトル選択部、１５ 輝度ベクトル担当部、１６
色差ベクトル担当部、１７，１８ 加算部。

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 11/00 - 11/22 H04N 9/00 - 9/78

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】 輝度成分および色差成分を有する被符号
   化画像データと、任意の参照データとから上記被符号化
   画像データの動きベクトルを求めるようにした動きベク
   トル検出方法において、 上記被符号化画像データの輝度成分と色差成分それぞれ
   個別に動きベクトルを求めると共に、求めた各々の動き
   ベクトルに対応する輝度成分と色差成分両方の参照デー
   タを用いて評価値を算出し、上記評価値をもとに動きベ
   クトルを求めることを特徴とする動きベクトル検出方
   法。
2. 【請求項２】 上記被符号化画像データの輝度成分と色
   差成分それぞれ個別に動きベクトルを求めると共に、求
   めた各々の動きベクトルに対応する輝度成分と色差成分
   両方の参照データを用いて評価値を算出する際、 輝度成分については、上記被符号化画像データおよび上
   記参照データの輝度成分からその絶対差分値和が最小と
   なる輝度成分の動きベクトルと、上記最小となる輝度成
   分の絶対差分値和を求めると共に、上記被符号化画像デ
   ータおよび上記参照データの色差成分から上記輝度成分
   の動きベクトルに基づく色差成分の絶対差分値和を求
   め、上記輝度成分の絶対差分値和と上記色差成分の絶対
   差分値和との和を輝度成分の動きベクトルの評価値と
   し、 色差成分については、上記被符号化画像データおよび上
   記参照データの色差成分からその絶対差分値和が最小と
   なる色差成分の動きベクトルと、上記最小となる色差成
   分の絶対差分値和を求めると共に、上記被符号化画像デ
   ータおよび上記参照データの輝度成分から上記色差成分
   の動きベクトルに基づく輝度成分の絶対差分値和を求
   め、上記色差成分の絶対差分値和と上記輝度成分の絶対
   差分値和との和を色差成分の動きベクトルの評価値とす
   ることを特徴とする請求項１記載の動きベクトル検出方
   法 。
3. 【請求項３】 輝度成分および色差成分を有する被符号
   化画像データと、任意の参照データとから上記被符号化
   画像データの動きベクトルを求めるようにした動きベク
   トル検出方法において、 上記被符号化画像データの輝度成分と色差成分それぞれ
   個別に整数精度で動きベクトルを求め、求めた各々の動
   きベクトルに対応する輝度成分と色差成分両方 の参照デ
   ータを用いて上記整数精度動きベクトル周辺においてハ
   ーフペル精度を含めた探索を行ってハーフペル精度の動
   きベクトルを求めると共に、求めた各々輝度成分と色差
   成分のハーフペル精度の動きベクトルの評価値を算出
   し、上記評価値をもとに動きベクトルを求めることを特
   徴とする動きベクトル検出方法。
4. 【請求項４】 上記被符号化画像データの輝度成分と色
   差成分それぞれ個別に整数精度で動きベクトルを求め、
   求めた各々の動きベクトルに対応する輝度成分と色差成
   分両方の参照データを用いて上記整数精度動きベクトル
   周辺においてハーフペル精度を含めた探索を行ってハー
   フペル精度の動きベクトルを求めると共に、求めた各々
   輝度成分と色差成分のハーフペル精度の動きベクトルの
   評価値を算出する際、 輝度成分については、上記被符号化画像データおよび上
   記参照データの輝度成分から整数精度で輝度成分の動き
   ベクトルの探索を行ない絶対差分値和が最小となる上記
   被符号化画像データの輝度成分の動きベクトルを求め、
   輝度成分および色差成分各々の参照データ上で上記輝度
   成分の動きベクトル周辺についてハーフペル精度で探索
   を行ない絶対差分値和をそれぞれ求め、輝度成分および
   色差成分の絶対差分値和の和が最小となる動きベクトル
   と、その絶対差分値和の和とを、それぞれ輝度成分の動
   きベクトルと、その輝度成分の動きベクトルの評価値と
   し、 色差成分については、上記被符号化画像データおよび上
   記参照データの色差成分から整数精度で色差成分の動き
   ベクトルの探索を行ない絶対差分値和が最小となる上記
   被符号化画像データの色差成分の動きベクトルを求め、
   輝度成分および色差成分各々の参照データ上で上記色差
   成分の動きベクトル周辺についてハーフペル精度で探索
   を行ない絶対差分値和をそれぞれ求め、輝度成分および
   色差成分の絶対差分値和の和が最小となる動きベクトル
   と、その絶対差分値和の和とを、それぞれ色差成分の動
   きベクトルと、その色差成分の動きベクトルの評価値と
   することを特徴とする請求項３記載の動きベクトル検出
   方法。
5. 【請求項５】 色差成分の評価値を算出する際、輝度成
   分および色差成分それぞれの評価値に対し、人間の視覚
   特性に応じた重み付けを行い、それらの1次結合を用い
   ることを特徴とする請求項１〜請求項４いずれかに記載
   の動きベクト ル検出方法。
6. 【請求項６】 輝度成分および色差成分両方の評価値を
   求める際、輝度成分および色差成分それぞれの評価値に
   対し、それぞれの信号レベルに応じた重み付けを行い、
   それらの1次結合を用いることを特徴とする請求項１〜
   請求項４いずれかに記載の動きベクトル検出方法。
7. 【請求項７】 輝度成分および色差成分両方の評価値を
   求める際、輝度成分および色差成分それぞれの評価値に
   対し、輝度ブロックの大きさと色差ブロックの大きさの
   違いに応じた重み付けを行い、それらの1次結合を用い
   ることを特徴とする請求項１〜請求項４いずれかに記載
   の動きベクトル検出方法。
8. 【請求項８】 輝度成分および色差成分を有する被符号
   化画像データと、任意の参照データとから上記被符号化
   画像データの動きベクトルを求めるようにした動きベク
   トル検出装置において、 上記被符号化画像データの輝度成分と色差成分それぞれ
   個別に動きベクトルを求めると共に、求めた各々の動き
   ベクトルに対応する輝度成分と色差成分両方の参照デー
   タを用いて評価値を算出し、上記評価値をもとに動きベ
   クトルを求めることを特徴とする動きベクトル検出装
   置。
9. 【請求項９】 輝度成分および色差成分を有する被符号
   化画像データと、任意の参照データとから上記被符号化
   画像データの動きベクトルを求めるようにした動きベク
   トル検出装置において、 上記被符号化画像データの輝度成分と色差成分それぞれ
   個別に整数精度で動きベクトルを求め、求めた各々の動
   きベクトルに対応する輝度成分と色差成分両方の参照デ
   ータを用いて上記整数精度動きベクトル周辺においてハ
   ーフペル精度を含めた探索を行ってハーフペル精度の動
   きベクトルを求めると共に、求めた各々輝度成分と色差
   成分のハーフペル精度の動きベクトルの評価値を算出
   し、上記評価値をもとに動きベクトルを求めることを特
   徴とする動きベクトル検出装置。