JPH06113266A - 視覚モデルを用いた動画像のブロックマッチング動き推定方法 - Google Patents

Abstract

(57)【要約】 【目的】 動画像の動き予測において、再生画像の画質
を改善するとともに、予測のための計算量を減少させる
ことを目的とする。 【構成】 画面を複数の小ブロックに分割し、ブロック
単位に現フレーム又は現フィールドを参照フレーム又は
参照フィールドと比較して、現ブロックの予測ブロック
として参照フレーム又は参照フィールド内のブロックを
当てはめる動画像のブロックマッチング動き推定方法に
おいて、現フレーム（４）又は現フィールド、および参
照フレーム（１）又は参照フィールドのブロック化され
た出力信号に、視覚を表す帯域通過特性を有するフィル
タ（２，２）をかけ、該フィルタの出力をブロックマッ
チング（６）の入力画像とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像のフレーム内挿
や、動き補償符号化、ＴＶ方式変換における動画像の動
き推定に関する。

【０００２】

【従来の技術】動画像のフレーム（フィールド）間の動
き検出方式として、従来よりブロックマッチング法があ
る。これは、図１に示すごとく、画面を小ブロックに分
割し、ブロック単位に参照フレーム（フィールド）内の
どの部分ともっともよく一致するかを決定し、現ブロッ
クの予測ブロックとして、その参照フレーム内のその位
置のブロックを当てはめるものである。一致する割合を
表す判定基準としては、フレーム間差分の最小絶対値和
や、最小自乗和が用いられる。この技術は、画像の動き
補償フレーム間予測符号化や、テレビジョン方式変換に
おけるフレーム内挿技術に応用されている。この技術は
１９８１年頃にはＩＥＥＥのTransactionsof Communica
tion 誌などに発表されており、最近ではこのアルゴリ
ズムを実現するＶＬＳＩチップも製造されている。しか
し、これらはいずれも参照フレームと現フレームを直接
ブロックマッチングすることを前提としている。

【０００３】

【発明が解決しようとする課題】従来の方法では、画像
にレベル変動がある場合や、ブロック内に様々な動きが
混在する場合に、視覚的に正しい動きベクトルを検出し
ていないという欠点があった。このため、再生画像を見
た場合に、劣化が見えやすいという結果になっている。
さらに、ブロックマッチングにおいて、入力画像は8 bi
t で表されるため、計算負荷が大きい。

【０００４】本発明は再生画像の画質を改善すると共
に、動き予測の計算量を減少させることを目的とする。

【０００５】

【課題を解決するための手段】本発明は、以上の問題点
に鑑みなされたもので、同画像のフレーム間又はフィー
ルド間の動き検出方式であるブロックマッチング法にお
いて、現ブロックの属するフレーム又はフィールド（現
フレーム又は現フィールド）と参照フレーム又はフィー
ルドに、それぞれ視覚を表すフィルタをかけ、それらを
ブロックマッチングの入力画像とすることにより、動き
ベクトルを検出することを特徴とする、動画像のブロッ
クマッチング動き推定方法である。以下、詳細に説明す
る。

【０００６】

【発明の原理】人間の視覚を数式モデル化したものを用
いて、あらかじめ各フレームが人間の視覚にどのように
見えるかを求め、それに基づきブロックマッチングする
ものである。さらに、ブロックマッチングの入力を二値
化すれば、計算負荷を減らすことができる。

【０００７】まず、現フレーム（フィールド）と参照フ
レーム（フィールド）に、それぞれ視覚を表すフィルタ
をかける。これは、例えば、次の式で表される。

【数１】 式（１）において、Ｉ（ｉ，ｊ）は入力画像中の座標
（ｉ，ｊ）における画素値である。

【外１】 は畳み込みを表す。Ｏ（ｉ，ｊ）がフィルタの出力であ
る。Ｏ（ｉ，ｊ）の集合である出力画像が、ブロックマ
ッチングへの入力となる。Ｇ^ex−ＧⁱⁿはＤＯＧ関数であ
り、これはλ＝１．６の時に網膜の受容野を表現するも
っともよい近似となる。σは目の解像度に関係してお
り、σが大きいほど、解像度が粗くなる。

【０００８】次に、視覚フィルタを通した後のフレーム
（フィールド）を、ブロックマッチングの入力フレーム
（フィールド）とし、ブロックマッチングを行い、ブロ
ックごとの動きベクトルを検出する。あるいは、式
（１）による出力を正負より二値化し、これをブロック
マッチングの入力とし、その後は同様とする。

【０００９】

【実施例】図２は、前項で説明した「視覚フィルタを用
いた動き推定」の構成図である。図中、点線で囲んだ部
分以外は、従来の技術であり、点線部を挿入すること
が、新しい点である。図中、視覚画像を二値化したもの
とすれば、ブロックマッチング部６を簡易化できる。す
なわち、８ビット演算ではなく、１ビット演算にでき
る。

【００１０】ブロックマッチング法では、１画面をある
サイズのブロックに分割し、各ブロックについて、参照
画像内のどの部分ともっとも一致するかを調べる。その
際には、自乗和の総和がもっとも小さい場所を選ぶ。ブ
ロックサイズは、たとえば、±３２画素×１６ラインと
し、探索範囲は、横±１６画素、縦±８ラインとする。
これは、従来の技術である。

【００１１】本発明では、現ブロックの属するフレーム
４と、参照フレーム１に、視覚モデルを表すフィルタ２
をかけ、その結果の画像（の二値化画像）３、５どうし
でブロックマッチング６を行なう。ブロックマッチング
の際の動き検出のアルゴリズムは、たとえば、全探索法
（探索範囲内の参照ブロックをすべて調べる）で行な
う。

【００１２】式１で表される視覚フィルタ２は、具体的
には、例えば図３のようなフィルタとなる。このフィル
タは帯域通過特性を有し直流分をカットするため、これ
を入力画像に畳み込んだ式（１）の結果３、５は正負の
値をとる。これをそのままブロックマッチングの入力と
してもよいが、これを正負に対応して二値化してからブ
ロックマッチングをすれば、ブロックマッチングユニッ
ト６の演算回路を８ビット演算から１ビット演算へと簡
易化することができる。

【００１３】以下、ブロックマッチング法により、動ベ
クトルを求める。これは従来の方法と同じである。

【００１４】

【発明の効果】ブロックマッチングによる動き検出にお
いて、人間の視覚モデルを用いた本発明を用いれば、動
画像のフレーム内挿後の画像や、低ビットレート動き補
償画像、方式変換後のＴＶ画像において、レベル変動
や、ブロック内に様々な動きが混在するような場合で
も、視覚的に自然な予測画像が得られる。これは、視覚
フィルタをかけることにより、フリッカや視覚的に影響
のないブロック内の細かい動きなどがブロックマッチン
グに及ぼす影響を除去できるという理由による。さら
に、視覚フィルタの出力を二値化することにより、ブロ
ックマッチングユニットの構造を簡単にすることができ
る。

【００１５】図４は、レベル変動のある画像について、
従来の方法と視覚フィルタを用いた方法による検出動ベ
クトルの誤差を表したものである。視覚フィルタを用い
たほうが、誤差が０に集中しており、よい特性であるこ
とが判る。

【図面の簡単な説明】

【図１】ブロックマッチング法の概念を説明した図であ
る。

【図２】本発明の視覚フィルタを用いた動画像のブロッ
クマッチング方法を適用した動き推定の例を示す構成図
である。

【図３】現フレームと参照フレームにかける視覚フィル
タの例を示す図である。

【図４】レベル変動のある画像について、従来の方法と
視覚フィルタを用いた方法による検出動ベクトルの誤差
を表したものである。

【符号の説明】

１ 参照フレーム ２ 視覚フィルタ部 ３ 参照フレームの視覚画像 ４ 現フレーム ５ 現フレームの視覚画像 ６ ブロックマッチング部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画面を複数の小ブロックに分割し、ブロ
   ック単位に現フレーム又は現フィールドを参照フレーム
   又は参照フィールドと比較して、現ブロックの予測ブロ
   ックとして参照フレーム又は参照フィールド内のブロッ
   クを当てはめる動画像のブロックマッチング動き推定方
   法において、 現フレーム又は現フィールド、及び参照フレーム又は参
   照フィールドのブロック化された出力信号に、視覚をあ
   らわす帯域通過特性を有するフィルタをかけ、 該フィルタの出力をブロックマッチングの入力画像とす
   ることにより、動きベクトルを検出することを特徴とす
   る動画像のブロックマッチング動き推定方法。
2. 【請求項２】 請求項１の視覚フィルタの出力を二値化
   し、それをブロックマッチングの入力とする二値ブロッ
   クマッチング方法。