JPH04127690A

JPH04127690A - 動画像動きベクトル推定方式

Info

Publication number: JPH04127690A
Application number: JP2247130A
Authority: JP
Inventors: Koichi Shibata; 巧一柴田; Yuji Izawa; 井沢　裕司
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1990-09-19
Filing date: 1990-09-19
Publication date: 1992-04-28

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、テレビ信号等の動画像の被写体の動き成分を
検出して、その動画像の冗長度の圧縮を図る等の種々の
処理に利用しようとする動き成分検出方式に於いて、そ
の動き成分を短時間のうちにより正確に推定し１画質の
改善や処理装置の小型化を図るための方式に関するもの
である。

〔従来の技術〕

動画像信号から被写体の動き量や動き方向を表す動きベ
クトルを推定するために、以下のような手法が広く採用
されている。

（１）動きベクトルをあらかじめ定められた順序に従っ
て仮定する。

（２）仮定された各動きベクトルすなわち仮定ベクトル
に従って変位した位置から、過去の画像を読みだし新し
い画像との相関登、定められた評価関数に従って計算し
評価量を求める。

（３）前記各仮定ベクトルに対応する評価量を比較し、
最も有利なものを選択して動きベクトルの推定値すなわ
ち推定ベクトルとする。

このとき、−船釣に（２）の段階の処理に時間がかかる
。従ってより多数の仮定ベクトルを評価し、評価量が最
も有利な推定ベクトルを得ようとすると、処理量が大き
くなり、処理時間の増大や処理装置の大型化が避けられ
ない。そこで仮定ベクトルの数をなるへく少なくして、
且つなるべく評価量が有利な推定ベクトルを得ようとす
る試みが多く行われてきた。それらの中に多段探索や階
層探索と呼ばれる方式がある。これらは（１）特開昭５
６−１０２１．７９．　（２）特開昭５６−１４３７７
６や（３）特開平１−２３３８９３に記述がある。これ
らは動きベクトル探索順序を多段階に分割し、初期の探
索で大まかに動きベクトルを探索し、順にそのベクトル
の付近を細かく探索し、最後に一画素単位に探索する。

これにより、仮定ベクトル数は段階数Ｘ各段階の探索数
となり、全数を探索する場合に比べ数分の−から十分の
一程度の探索数で済み、且つかなりの確率で有利な推定
ベクトルを与える。

〔発明が解決しようとする課題〕

しかし、この場合も仮定ベクトルの探索数は段階数×各
段階の探索数は必要であり、−層の高速化を図るために
は仮定ベクトルの探索数をさらに減少させる必要があっ
た。しかし、従来のこれらの方法で仮定ベクトルの探索
数を減少しようとすると、推定ベクトルが不正確になる
か、または探索の範囲を減少させなければならない。

〔課題を解決するための手段〕

上記課題を克服するため、本発明では仮定ベクトルの探
索数や探索順序を可変とし、それぞれを適応的に変化さ
せることにより、処理の高速化と推定ベクトルの精度の
向上を図る。このために過去の推定ベクトルの評価結果
に関連する情報を記憶する手段や、仮定ベクトル探索中
にその時点までの探索結果に関連する情報を記憶する手
段を持ち、それらの情報から以後の仮定ベクトル探索順
序や探索数を決定する手段を持つ。

〔作用〕

過去の推定ベクトルの結果を記憶する手段には、各推定
ベクトルのさまざまな場合に於ける発生確率が記憶され
る。これを利用し発生確率の高い推定ベクトルは短時間
で検出されるように、仮定ベクトル検索順序や、探索数
を決定する。逆に発生確率の低い推定ベクトルは後回し
にする６推定ベクトルの発生確率には、かなりの偏在が
認められるため、これにより全体的には短時間で探索を
行うことが可能となる。

また仮定ベクトル探索途中で、それまでの探索結果から
、求めたい推定ベクトルがおおむねどの周辺に在る確率
が高いのかを判断し、以後のベクトル探索をその辺りに
順に集中する。これにより無駄なベクトル探索を減少さ
せ短時間でより有利な推定ベクトルを探索することがで
きる。

〔実施例〕

以下図を使用し、本発明の一実施例を説明する。

第１図に動きベクトル推定値検出装置の構成を示す。入
力画像１１は一旦フレームメモリ１０１に蓄積され、は
ぼ１フレーム遅延される。仮定ベクトル発生部１０４は
、ベクトル決定部１０５の指示に従って、仮定ベクトル
１２を順に発生する。

可変遅延部１０２は、仮定ベクトル１２に対応した画像
の部分をフレームメモリ１０１から取り出す。仮定ベク
トル毎に対応して、この画像と入力画像１１をベクトル
評価部１０３に入力し、定められた評価関数によって各
仮定ベクトルを評価する。そして仮定ベクトルのうち評
価結果が最も有利なものを推定ベクトル１４として出力
する。

本発明ではベクトル決定部１０５の工夫により、仮定ベ
クトル発生部１０４に与える指示を、適応的に変化させ
ることを可能としている。

第２図に本発明による方式を実現するためのベクトル決
定部１０５の構成を示す。仮定ベクトル１２に対応した
評価結果１３を評価結果蓄積部２０２に蓄積する。同時
にその時の仮定ベクトル１２も関連させて仮定ベクトル
蓄積部２０３に蓄積させる。解析部２０４では評価結果
蓄積部２０２と仮定ベクトル蓄積部２０３に蓄積された
各情報から総合的に判断し、次に行う入き処理の指示を
次ベクトル発生指示部２０５と探索終了判定部２０６に
送る。このとき統計量蓄積部２０７に蓄積されている推
定ベクトルの発生確率の関連する情報を利用し、効率よ
く探索できるように指示を発生する。次ベクトル発生指
示部２０５では指示に従い次ベクトル指示１５を発生す
る。探索終了判定部２０６では、評価解析の結果あるベ
クトルが最も有利である確率が高いと判断したとき探索
を終了させ、そのベクトルを推定ベクトル１４として出
力する。この推定ベクトル１４に関連する情報は統計量
蓄積部２０７にも蓄積され、以後の探索に用いることも
できる。

解析部２０４での処理について詳しく述べる。

仮定ベクトル蓄積部２０３にはその時点までにどのよう
なベクトルを探索したかについての情報が蓄積されてい
る。評価結果蓄積部２０２にはそれぞれの仮定ベクトル
について評価結果が蓄積されている。これらの情報から
解析部２０４はその時点までに探索した仮定ベクトルの
うち最も有利なベクトルを得ることができる。また同時
に未だ探索していないベクトルのうち、さらに有利なベ
クトルの分布確率を予測することができる。この予測に
は統計量蓄積部２０７に蓄積された情報も利用される。

この予測方法について以下説明する。

ある推定ベクトルをＶとし、その推定ベクトルが最も有
利である確率をＰ　（ｖ）　＋そのベクトルを評価する
順番をｎ　（ｖ）とすると、全ベクトルについてそれら
が評価される順番の期待値Ｎは、次の式で表わされる。

Ｎ＝ΣＰ（ｖ）・ｎ（ｖ）全ＶそこでＮを最小にするようにｎ（ｖ）を決定することに
より、最も有利なベクトルを評価するまでの時間を短率
的に最小にできる。またこのＰ（ｖ）は探索が進み、そ
れまでの探索結果が得られるにつれ、最適なものに逐次
修正できる。

第３図にこのＰ（ｖ）の逐次修正の手順の１次元の場合
の例を示す。−船釣な動画像では推定ベクトルの発生確
率３０１は動き無しというベクトル中心に発生確率が高
い。そこで動き無しのベクトルの周辺の、変位の小さい
ベクトルから順にいくつかの仮定ベクトルを探索する。

例えば第３図の場合は１，２．３の順に探索する。次に
は探索した仮定ベクトルのうち、最も有利であったもの
に応じ、それぞれ推定ベクトルの発生確率を求める。

例えば第３図の場合、仮定ベクトル１が最も有利であっ
た場合の推定ベクトルの発生確率３０２゜仮定ベクトル
２が最も有利であった場合の推定ベクトル発生確率３０
３．仮定ベクトル３が最も有利であった場合の推定ベク
トル発生確率３０４の様に、それまでの仮定ベクトルの
うち、どれが有利であったかによって、推定ベクトルの
発生確率は変化する。そこでそれぞれの場合の発生確率
に応じて、以降の仮定ベクトルの発生順序を定めること
によって、発生確率の高い推定ベクトルを早く探索でき
るようにする。この手順を繰り返すことにより、最終的
な推定ベクトルに、より早く到達する事を可能とする。

なお、第４図に示すように、統計量蓄積部２０７に蓄積
するべき情報を予め調査し固定のベクトル探索表４０１
に用意することに、装置の簡単化を図ることができる。

また、過去の推定ベクトルの情報を使用する際、その推
定ベクトルが発生した空間的位置を解析のために考慮す
ることにより、有利な推定ベクトルを探索する確率を向
上させることも可能である。

なお、上記方式を動画像符号化に応用することにより、
符号化処理速度を向上させ、または画質の改善を図るこ
とができるのは明らかである。

また、動画像から被写体の動き量を測定し利用する装置
に応用できることはあきらかである。

また、上記処理のために専用装置を設けるのではなく、
計算機による演算処理で処理を行うことも可能である。

〔発明の効果〕

このように、本発明を適用することにより、短時間で有
利な動きベクトルの推定値を得ることができるため、実
施して効果は極めて大きい。

【図面の簡単な説明】

第１図は本発明の一実施例になる動きベクトル推定装置
のブロック図、第２図、第４図は実施例におけるベクト
ル決定部とその変形例を示すブロック図、第３図は推定
ベクトルの発生確率の求め方の説明図である。１１・・入力画像、１２・・・仮定ベクトル、１３・・
仮定ベクトルに対する評価の結果、１４　推定ベクトル
、１５・・・次の仮定ベクトルを指定する次ベクトル指
示、１０１・・フレームメモリ、１０２・・可変遅延部
、１０３・・仮定ベクトルごとにその評価をするベクト
ル評価部、１０４・・・仮定ベクトルを順に発生する仮
定ベクトル発生部、１０５・評価結果を利用し推定ベク
トルを決定する、ベクトル決定部、２０２・・・仮定ベ
クトルの評価結果を蓄積する評価結果蓄積部、２０３・
・・仮定ベクトルの履歴を蓄積する仮定ベクトル蓄積部
、２０４・・・蓄積された情報を総合的に解析する解析
部、２０５・・・解析結果に従い次に発生する仮定ベク
トルを指示する次ベクトル発生指示部、２０６・・・解
析結揮従い探索終了を判定する探索終了判定部、２０・
・・推定したベクトル等の統計情報を蓄積する舒１量蓄
積部、３０１・・・推定ベクトルの発生確率、３０２・
・・仮定ベクトル１が最も有利であった壕の推定ベクト
ルの発生確率、３０３・・・仮定ベクル２が最も有利で
あった場合の推定ベクトル脅確率、３０４・・・仮定ベ
クトル３が最も有利であだ場合の推定ベクトル発生確率
、４０１・・・与えれた情報からの次の処理を決定する
ためのベクル探索表。

Claims

【特許請求の範囲】１、動画像信号から被写体の動き量や動き方向を表す動
きベクトルを推定する方式に於いて、前記動きベクトル
を順に仮定して評価すなわちベクトル探索し、各々評価
した結果を比較することで、最も確度の高い動きベクト
ルを選び出す手段と、動きベクトルを仮定する順序すな
わち動きベクトル探索順序と仮定する数すなわち動きベ
クトル探索数を過去のベクトル探索状況に応じて変化さ
せる手段を持つことを特徴とする、動画像動きベクトル
推定方式。２、特許請求の範囲第１項記載の動画像動きベクトル推
定方式に於いて、過去の動きベクトル推定結果に関連す
る情報を蓄積する手段を持つことを特徴とする、動画像
動きベクトル推定方式。３、特許請求の範囲第１項及び第２項記載の動画像動き
ベクトル推定方式に於いて、蓄積された過去の動きベク
トル推定結果に関連する情報を用いて、動きベクトル探
索順序や動きベクトル探索数を決定する手段を持つこと
を特徴とする、動画像動きベクトル推定方式。４、特許請求の範囲第１項から第３項記載の動画像動き
ベクトル推定方式に於いて、動きベクトル推定に費やす
ことのできる時間の制限を加味して、動きベクトル探索
数を決定する手段を持つことを特徴とする、動画像動き
ベクトル推定方式。５、特許請求の範囲第１項記載の動画像動きベクトル推
定方式に於いて、動きベクトル探索の途中で、それまで
のベクトル探索順序やその評価結果を蓄積し、以後の動
きベクトル探索順序や、動きベクトル探索数を決定する
手段を持つことを特徴とする、動画像動きベクトル推定
方式。６、時間方向の相関性を利用し符号化効率を向上させる
動画像符号化装置に於いて、特許請求の範囲第１項から
第５項記載の動画像動きベクトル推定方式のいずれかを
利用することを特徴とする動画像符号化装置。７、動画像から被写体の動作速度や動作方向を測定する
装置において、特許請求の範囲第１項から第５項記載の
動画像動きベクトル推定方式のいずれかを利用すること
を特徴とする測定装置。