JP2743763B2 - 動画像の動き推定方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像のフレーム内挿
や、動き補償符号化、テレビジョン方式変換における動
画像の動き推定に関する。

【０００２】

【従来の技術】従来、動画像のフレーム（またはフィー
ルド）間の動き検出方式の一般的な方法として、動画像
信号の動き量（動ベクトル）を高精度で求めるために画
像を複数に分割したブロック単位で求めるブロックマッ
チング方法がある。

【０００３】図５はブロックマッチング方法の概念を示
す図である。この方法は、画像を小ブロックに分割し、
ブロック単位に参照フレーム内のどの部分ともっともよ
く一致するかを決定し、現ブロックの予測ブロックとし
て、その参照フレーム内のその位置のブロックを当ては
めるものである。

【０００４】ここで二つのブロックの一致する割合を表
す判定基準としてフレーム間差分の最小絶対値和や最小
自乗和が用いられ、画像の動き補償フレーム間予測符号
化やテレビジョン方式変換におけるフレーム内挿技術に
応用されている。

【０００５】この方法は、例えば１９８１年頃にはIEEE
の「Transactions of Communication」 誌などに発表され
ており、最近ではこのアルゴリズムを実現するVLSIチッ
プも製造されている。 下記の式（１）は、前記評価関
数値を求める式を具体的に表わしたものである。

【０００６】

【数２】

【０００７】この式において、PEは評価関数、

【０００８】

【外８】

【０００９】は座標

【００１０】

【外９】

【００１１】、時間ｔにおける画像中の画素値、τは２
枚の画像間の時間差、

【００１２】

【外１０】

【００１３】は求めようとする画像間の動ベクトルであ
る。Σは、

【００１４】

【外１１】

【００１５】である画像中のあるブロックＢ内の画素

【００１６】

【外１２】

【００１７】の集合についてとる。Ｎ( ) は、絶対値や
自乗などの距離を表す関数である。評価関数PEを最小に
するような

【００１８】

【外１３】

【００１９】が最適な動ベクトルとして選択される。

【００２０】以上のようなブロックマッチング方法は、
動ベクトルを検出しようとするブロックに対して、探索
範囲内の参照ブロックについて評価関数の値を求め、そ
の値が最小となるところを検出するものである。この方
法では探索範囲を広範囲な参照ブロックと設定した方が
より近似する動ベクトルを見つける確率が高くなる。

【００２１】

【発明が解決しようとする課題】しかしながら、上記の
ようなブロックマッチング方法において、評価関数の値
を求めるにすべての動ベクトル候補を計算するのではな
く、評価関数の単調減少性を仮定することにより、少な
い候補だけを計算して動ベクトルを探索するという高速
探索方法を適用した場合、その仮定が成り立たないよう
な細かい絵柄の画像においては、評価関数の値を最小に
する動ベクトルを最適として選択すべきところを単に極
小にすぎない動ベクトルを選んでしまう問題があった。

【００２２】本発明はこれらの問題点を解決するための
もので、動き検出回路の大きい回路変更なしで、従来の
評価方法を用いる場合に比べ、探索範囲である参照ブロ
ック内の最小値を与える動ベクトルを誤った選択するこ
となく正しく求める割合を高めることができるマッチ度
評価方法を提供することを目的とする。

【００２３】

【課題を解決するための手段及び作用】本発明は上記問
題点に鑑みなされたもので、動画像のフレーム間または
フィールド間の動き検出を行うために画像を複数のブロ
ックに分割した当該ブロック毎で動画像信号の動き量を
求めるブロックマッチング方法において、現ブロックの
各画素に対し、参照ブロックの対応する点及び当該点の
周辺点の画素値との差に基づいて評価関数を計算し、当
該評価関数の値を最小とする動ベクトルを選択させよう
とするものである。

【００２４】

【実施例】はじめに、本発明の方法の原理について図面
に基づいて説明する。

【００２５】図３はある細かい絵柄の画像の参照ブロッ
クに上記の評価関数の式（１）（ただしＮは絶対値とし
た）を適用したときのグラフを示すものである。同図に
おいて、平面内の水平方向、垂直方向の座標は、候補の
動ベクトル

【００２６】

【外１４】

【００２７】=(d1,d2)を表わし、縦方向の座標が式
（１）により求められた評価関数の値を表わしている。
平面内の曲線は、その評価関数の等値線であり等値線の
疎密により評価関数の局所の最小（

【００２８】

【外１５】

【００２９】）、極小（例えば

【００３０】

【外１６】

【００３１】) を表わしている。

【００３２】図３において、真の動ベクトル

【００３３】

【外１７】

【００３４】は、図中の最小値

【００３５】

【外１８】

【００３６】を与える座標であるが、図４に示すような
三段階探索法で候補ベクトルを高速探索すると、評価関
数値の凹凸に起因して、単に極小値を与えるだけの誤っ
た動ベクトル（例えば

【００３７】

【外１９】

【００３８】）を与えることになる。

【００３９】これをなるだけ防ぐには、評価関数PEの凹
凸が少なくなれば良い。そこで、図３のグラフに、低域
フィルタをかけることを考える。このフィルタ関数をL
( )とおくと、次式の式（２）に式（１）を代入して下
記の式（３）を得る。

【００４０】

【数３】

【００４１】

【数４】

【００４２】式（３）の２個のΣの順序を入れ換え、

【００４３】

【外２０】

【００４４】とおけば、

【００４５】

【外２１】

【００４６】は

【００４７】

【外２２】

【００４８】として次式の式（４）となる。

【００４９】

【数５】

【００５０】式（４）は、現ブロックの各点と対応する
参照ブロックの１点だけでなく、周辺の点との差も計算
に入れることを表わしいる。式（４）において、L( )は
重みづけ関数である。

【００５１】

【外２３】

【００５２】が

【００５３】

【外２４】

【００５４】でのみ値をもち、他では０である場合、式
（４）は、従来の評価関数の式（１）に一致する。

【００５５】従って、提案する評価関数を用いれば、従
来の評価関数に低域フィルタをかけた場合と同等の効果
が得られることとなる。

【００５６】次に、本発明による評価関数を用いて、三
段階探索法で動ベクトルを求める一例を示す。

【００５７】重み付け関数

【００５８】

【外２５】

【００５９】としては、８近傍画素の平均を用いること
にする。すなわち、次式の式（５）とする。

【００６０】

【数６】

【００６１】ブロックマッチング方法（図５参照）で
は、１画面をあるサイズのブロックに分割し、各ブロッ
クについて、参照画像内のどの部分ともっとも一致する
かを調べる。その際の「一致度」の判定基準が、従来の
技術では式（１）の値をなるべく小さくする、というこ
とであった。ブロックＢのサイズは、たとえば、±16画
素×±16ラインとし、候補動ベクトル

【００６２】

【外２６】

【００６３】の範囲、すなわち探索範囲は、横±７画
素、縦±７ラインとする。従来の評価関数では、現ブロ
ックの各点に対し、候補ブロック中の対応点１点のみと
の差をとっていた（式（１））が、本発明では、例えば
式（５）と式（２）によれば、その８近傍点との差も同
時にとって和の計算に入れる。

【００６４】図１は本発明の実施例における現ブロック
と対応する候補の状態を表わす図である。図２は従来方
法による現ブロックと対応する候補の状態を表わす図で
ある。図２における現ブロックと対応する候補ベクトル
の指し示すブロックでは１点につき１点で差をとってい
る（座標(0,0) ）のに対し、図１のように本実施例によ
る方法は現ブロック中の１点と対応する候補ブロック中
の１点及びその８近傍点（座標(0,0),( ±1,±1),(0,±
1),(±1,0)）との差も同時にとっていることを示しい
る。

【００６５】また、探索方法としては、本発明が効果的
である高速探索法の代表的なものである三段階探索法を
用いると、図４に示したように、第一段階ではまず粗く
探索を行ない、その中で式（２）を最小とする点を中心
にやや細かく周辺を探索し、同様に第三段階でもっとも
細かく探索する。第三段階で式（２）をもっとも小さく
する

【００６６】

【外２７】

【００６７】が、求める動ベクトルとなる。

【００６８】下記に示す第１表は、従来の評価関数によ
る三段階探索法と本発明の評価関数の三段階探索法を使
って求まる動ベクトルによる予測画像を、原画像と比較
した信号対雑音(SN)比を示したものである。この表から
分かるように従来の評価関数を求める方法より本実施例
による方法がSN比値が0.2dB 以上良く、真の動ベクトル
をより良く求めていることが実証された。

【００６９】

【表１】

【００７０】なお第１表のSN比値は下記の式（６）によ
り求めており、

【００７１】

【外２８】

【００７２】は原画像、

【００７３】

【外２９】

【００７４】はその予測画像を示している。

【００７５】

【数７】

【００７６】ここでは、参照ブロック中の対応点を中心
点とその８近傍としているが、この位置を変えること
や、重み付けの値を変えることでより効果的なものが得
られる。

【００７７】

【発明の効果】以上説明したように、本発明によれば、
高速探索法によるブロックマッチング方法による動き検
出において、本発明による評価方法を用いれば、動き検
出回路の大きい回路変更なしで、従来の評価方法を用い
る場合に比べ、探索範囲である参照ブロック内の最小値
を与える動ベクトルを誤った選択することなく正しく求
める割合を高めることができる。

【００７８】また今後、益々高精細な画像を要求される
テレビジョン方式変換装置や動画像符号化などにおい
て、広く利用することができる。

【図面の簡単な説明】

【図１】本発明による評価関数による評価関数の計算時
の対応点を示す図である。

【図２】従来の方法による評価関数の計算時の対応点を
示す図である。

【図３】ある細かい絵柄の画像の参照ブロックに評価関
数を適用した様子を示す図である。

【図４】三段階探索法を説明する図である。

【図５】ブロックマッチング方法の概念を説明した図で
ある。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 動画像のフレーム間またはフィールド間
   の動き検出を行うために画像を複数のブロックに分割し
   た当該ブロック毎で動画像信号の動き量を求めるブロッ
   クマッチング方法において、 現ブロックの各画素に対し、参照ブロックの対応する点
   及び当該点の周辺点の画素値との差に基づいて評価関数
   を計算し、当該評価関数の値を最小とする動ベクトルを
   選択することを特徴とする動画像の動き推定方法。
2. 【請求項２】 前記評価関数は、 【数１】 で表される、 ただし、PEは評価関数、 【外１】 は座標 【外２】 、時間ｔにおける画像中の画素値、 【外３】 は座標 【外４】 の周辺画素の座標、τは２枚の画像間の時間差、 【外５】 は求めようとする画像間の動ベクトル、Σは、 【外６】 である画像中のあるブロックＢ内の画素 【外７】 の集合についての和、Ｎは絶対値や自乗などの距離を表
   す関数、L( )は重みづけ関数である、 請求項１記載の動画像の動き推定方法。