JPH0795587A - 動きベクトル検出方法 - Google Patents

動きベクトル検出方法

Info

Publication number
JPH0795587A
JPH0795587A JP5215359A JP21535993A JPH0795587A JP H0795587 A JPH0795587 A JP H0795587A JP 5215359 A JP5215359 A JP 5215359A JP 21535993 A JP21535993 A JP 21535993A JP H0795587 A JPH0795587 A JP H0795587A
Authority
JP
Japan
Prior art keywords
motion vector
value
evaluation function
curved surface
detecting method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5215359A
Other languages
English (en)
Inventor
Iwao Saeki
巌 佐伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP5215359A priority Critical patent/JPH0795587A/ja
Publication of JPH0795587A publication Critical patent/JPH0795587A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 評価関数値を一部求めることにより、計算量
を削減する。 【構成】 評価器7は、現フレームメモリ1から読み出
された現ブロックと参照フレームメモリ2から読み出さ
れた、幾つかの参照ブロックとの間の評価関数値を求め
る。曲面生成器9は、求められた評価関数値から評価値
曲面を推定し、その最小値を与えるアドレスを出力す
る。出力されたアドレスは、差分器8で現フレームのア
ドレスとの差分が求められ、動きベクトルが生成され
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ディジタル動画像の動
きベクトルを求める動きベクトル検出方法に関する。
【0002】
【従来の技術】動きベクトルを求める従来の手法とし
て、ブロックマッチング法がある。このブロックマッチ
ング法は、参照ブロックと現ブロックとの間の評価関数
値(差分の絶対値和または差分の二乗和)を計算し、評
価関数値の最小値を与える座標値を基に動きベクトルを
求める手法である。
【0003】図14は、従来の動きベクトル検出装置を
示す。図14において、1は、現フレームの画像データ
(所定サイズのブロックに分割されている)を格納する
現フレームメモリ、2は、現フレームより前の、参照フ
レームの画像データを格納する参照フレームメモリ、3
は、現フレーム中の、動きベクトルを求める対象となる
ブロックを入力するバッファ、4は、参照フレームの参
照ブロックを入力するバッファ、5は、現フレームメモ
リのブロックアドレスを生成するアドレスジェネレー
タ、6は、動きベクトル探索初期アドレスと探索範囲が
与えられて、探索対象となる参照フレームメモリのブロ
ックアドレスを生成するアドレスジェネレータ、13
は、各々のブロックの値を比較する比較器である。
【0004】比較の方法としては、例えば差分の絶対値
和あるいは相関値を求める。ここでは差分を求めるもの
とする。比較器13は、差分の最小値とその時のアドレ
スを記憶していて、探索範囲内の全ての参照ブロックに
対して差分値を求めた時点で、最小値を示したアドレス
を差分器8に送る。差分器8では現フレームのアドレス
と最小値を示した参照ブロックのアドレスとの差分を求
め、それを動きベクトルとして出力する。
【0005】なお、この種の関連する技術としては、例
えば、細かい縦縞画像での動きベクトルを検出する代表
点によるマッチング方式(特開昭62−25590号公
報)、あらかじめ用意した幾つかの探索点パターンのう
ち最適のものを選択し、演算量を低減した方法(特開平
2−81589号公報)、相関値を最小(最大)にする
最適点を求め、その最適点の周りの補正した位置に小数
値で表される動きベクトルを求める動きベクトル検出装
置(特開平2−118888号公報)、画像の端、中央
にベクトル検出ブロックを配置し、それぞれの領域毎に
動きベクトルを検出する方法(特開平2−206986
号公報)などが挙げられる。
【0006】
【発明が解決しようとする課題】上記した従来の動きベ
クトル検出方法は、評価関数値を求めるときに、対象と
なる全ての画素ブロックに対して評価関数値を求める方
法を採っている。そして、1組の画素ブロックの評価関
数値を求める計算量は相当多く、これが符号化器の負荷
を増大させる一つの原因となっている。
【0007】本発明の目的は、評価関数値を一部求める
ことにより、計算量を削減した動きベクトル検出方法を
提供することにある。
【0008】
【課題を解決するための手段】前記目的を達成するため
に、請求項1記載の発明では、参照フレームと現フレー
ムから所定サイズのブロックを取り出し、その参照ブロ
ックと現ブロック間の評価関数値を用いて、現フレーム
中の各ブロックの動きベクトルを検出する動きベクトル
検出方法において、探索対象となる参照フレーム中の数
ブロックに対して評価関数を計算し、該評価関数値から
2次元予測値曲面を生成し、該予測値曲面上で最小値を
与える点の座標を動きベクトルとすることを特徴として
いる。
【0009】請求項2記載の発明では、前記2次元予測
値曲面を生成するとき、評価関数値を求める位置をラン
ダムに選択することを特徴としている。
【0010】請求項3記載の発明では、現ブロックの垂
直方向または水平方向の高周波成分が所定の閾値以上で
あるとき、該方向の予測値曲面を生成しないことを特徴
としている。
【0011】請求項4記載の発明では、現ブロックの高
周波成分が所定の閾値以上であるとき、全探索または3
ステップ方法に切り替えることを特徴としている。
【0012】請求項5記載の発明では、前記2次元予測
値曲面を生成後、一つ以上のブロックに対して評価関数
を計算し、該所定位置の評価関数値と、該2次元予測値
曲面上の対応する位置の値とを比較し、所定の誤差以内
のとき、前記生成された曲面を予測値曲面とし、それ以
外のときは、前記誤差内に収まるように他の評価関数値
を用いて予測値曲面の生成を繰返し行うことを特徴とし
ている。
【0013】請求項6記載の発明では、前記繰返し行う
回数が所定の回数よりも多くなった時点で3ステップ方
法を用いることを特徴としている。
【0014】請求項7記載の発明では、探索対象となる
参照フレーム中の全ブロックに対して評価関数を計算
し、その中で最小値を与える点の座標が探索範囲の境界
部分にあるとき、該点を中心に探索範囲を拡大すること
を特徴としている。
【0015】請求項8記載の発明では、初期探索範囲の
中心を前フレームの動きベクトルとすることを特徴とし
ている。
【0016】請求項9記載の発明では、前記参照フレー
ムに対してローパスフィルタ処理を施すことを特徴とし
ている。
【0017】請求項10記載の発明では、現ブロックの
高周波成分を参照し、該高周波成分が所定の閾値以上の
とき、前記参照フレームに対してローパスフィルタ処理
を施すことを特徴としている。
【0018】
【作用】現ブロックと幾つかの参照ブロックとの間の評
価関数値を求め、その評価関数値から評価値曲面を推定
し、その曲面内の最小値を求めることにより動きベクト
ルを求める。これにより、評価関数値を求める計算量が
大幅に削減される。
【0019】
【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。本発明を説明する前に、曲面のあてはめ
について説明する。曲線あてはめには、ベジエ曲線やス
プライン曲線がよく用いられる。図2は、評価値a、
b、c間に曲線をあてはめる図である。
【0020】本実施例では、これらの曲線を用いること
によって曲面あてはめを行うこととする(なお、本出願
人は先に、3次式ベジエ曲線のふくらみを自由に変えら
れるようにした拡張3次式ベジエ曲線を提案した(特開
平2−222264号公報、特願平4−252397号
を参照))。
【0021】そして、図3に示すように、点xを中心に
9点の評価点をとる。図4は、本発明の基本的な考え方
を説明する図であり、図4(a)、(b)、(c)は、
曲面あてはめのステップを示し、9点の評価点(a)に
対し、(b)に示すように、垂直方向に曲線あてはめを
行う。次に、(b)で求めた点をもとに、水平方向に曲
線あてはめを行うと、(c)に示すように、曲面が求め
られる。本実施例では、上記した方法によって評価点か
ら曲面を推定し(つまり、評価点間を曲面によって補間
する)、その最小値を求めることにより、動きベクトル
を探索する。
【0022】〈実施例1〉図1は、実施例1の動きベク
トル検出装置のブロック構成図である。図1は、先に示
した図14の動きベクトル検出装置において、比較器を
評価器7に置き換えて曲面生成器9を追加した構成とな
っている。また、アドレスジェネレータ6には、探索範
囲内の評価点となる幾つかのブロックアドレスが入力さ
れる。他の構成要素は、図14で説明したものと同様で
あるので、その説明を省略する。
【0023】本発明の評価器7は、現ブロックと参照ブ
ロックとの間の評価関数値(差分の絶対値和あるいは差
分の二乗和)を求めるが、このとき、探索対象となる参
照フレーム中の幾つかのブロックに対して評価関数を計
算して、評価関数値を求めているので、探索対象となる
参照フレーム中の全てのブロックに対して評価関数を計
算して、評価関数値を求める従来の方法に比べて、その
計算量を大幅に削減することができる。そして、計算さ
れない他のブロックについては、曲面によって補間す
る。
【0024】すなわち、曲面生成器9では、前述した曲
面あてはめの手法によって、計算された評価関数値から
曲面を推定し、その最小値を与えるアドレスを出力す
る。差分器8では、現フレームのアドレスと最小値を示
した参照ブロックのアドレスの差分が求められ、動きベ
クトルが生成される。
【0025】〈実施例2〉図5(a)、(b)、
(c)、(d)は、画像データと評価関数値の関係を示
す図である。評価関数値は、(a)に示すように高周波
成分の少ない画像データでは、(b)のように滑らかな
凸関数になるが、高周波成分の多い画像データ(c)で
は、(d)に示すように滑らかな凸関数にならない場合
がある。
【0026】このような場合、評価点の選択によっては
実際の評価関数値曲面とは異なる曲面を生成することに
なる。そこで、本実施例では、このような場合に、参照
フレームのアドレスジェネレータ6にランダムにアドレ
ス値を与えることにより、評価関数値を求める位置をラ
ンダムに選択して、特定の曲面だけが探索誤差が大きく
なることを防いでいる。
【0027】〈実施例3〉本実施例は、実施例2と同様
に現ブロックの高周波成分を調べ、図5の(c)の場合
を検出し、その場合は高周波成分の発生した垂直方向あ
るいは水平方向(両方向に発生すれば、両方向)につい
ては、曲面の推定を行わず、実際の値を使用する。図6
は、実施例3のブロック構成図である。モード切り替え
器10では、バッファ3内の高周波成分を閾値と比較
し、閾値以上のとき切り替え信号を曲面生成器9に送
り、曲面の生成を抑止する。高周波成分の抽出にはDC
Tなどの直交変換を用いる。
【0028】〈実施例4〉ところで、全ての探索範囲を
一つずつマッチングさせる場合に比べて、より計算量を
削減した動きベクトル検出方法として、「会議テレビ信
号の動き補償フレーム間符号化」(信学技報IE81−
54)に記載されている3ステップ方法がある。
【0029】この3ステップ方法とは、はじめは探索密
度を粗くして探索し、最も相関性が高い位置の周りでは
探索密度を細かくしてさらに探索を行い、段階的に探索
密度を細かくしていき、最終的に最も相関性の高い位置
を検出して、これをそのブロックの動きベクトルとする
方法である。
【0030】本実施例では、この3ステップ方法または
全探索と、前述した実施例1の動きベクトル検出方法と
を併用し、現ブロックの高周波成分が所定の閾値以上の
場合に、全探索または3ステップ方法に切り替えて、動
きベクトルの検出を行うものである。
【0031】〈実施例5〉実施例5では、求めた曲面が
実際の評価関数値と一致しているか否かの確認を行うも
のである。図7は、実施例5のブロック構成図であり、
図8は、評価手順のフローチャートである。まず、最初
に複数の評価点から評価関数値を求め、該評価関数値の
推定曲面を生成する(ステップ101)。
【0032】次に、該推定曲面上で、前記使用した評価
点とは異なる別の評価点(つまり、評価点を補間する
点)における実際の評価関数値を求める(ステップ10
2)。ステップ103では、この別の評価点における、
実際の評価関数値と推定曲面上の値(評価点予測値)と
を評価値比較器11で比較し、評価式=|評価関数値−
評価点予測値|≦h (hは所定の閾値)を満たさない
とき、曲面の生成、評価関数値の算出を繰返し(ステッ
プ101、102)、それを満たすとき、最小値を探索
する(ステップ104)。最小値を求めたならば、その
最小値のアドレスから動きベクトルを求める(ステップ
105)。
【0033】〈実施例6〉上記実施例5は、曲面推定を
繰り返すため、評価点を複数点求めなければならない。
そして、曲面推定をある回数繰り返すと、前述した3ス
テップ方法の方が効率的に動きベクトルを検出できるの
で、本実施例では、3ステップ方法と併用している。す
なわち、図9のフローチャートに示すように、曲面生成
の回数をカウンタでカウントし、所定の回数以上繰り返
した場合は、曲面生成器での曲面生成を行わずに、3ス
テップ方法に切り替えて動きベクトルを検出するように
したものである。
【0034】〈実施例7〉本実施例は、探索対象となる
参照フレーム中の全ブロックに対して評価関数を計算
し、その評価関数値が最小値となる点の座標が、探索範
囲の境界部分にあるときの処理に係るものである。
【0035】すなわち、図10に示すように、評価関数
値の最小値が探索範囲の境界に存在する場合、評価関数
値の最小値がその先(a)に存在する可能性がある。そ
こで、評価関数値の最小値が探索範囲の境界に存在する
場合は、探索範囲を拡げて最適値を探索するようにす
る。図12(a)は、探索範囲の境界に最小値がある場
合の図であり、(b)は、拡大した探索範囲を示す図で
ある。また、初期探索範囲の中心を、前フレームの動き
ベクトルとする。つまり、動きベクトル探索初期アドレ
スとして前フレームの動きベクトルを与えることによ
り、探索をより速くすることができる。
【0036】〈実施例8〉本実施例は、前述した図5
(d)の状態を避けるため、参照ブロックデータにロー
パスフィルタをかけ、評価値曲面が滑らかな凸関数にな
るようにする。図12は、そのブロック構成図であり、
参照フレームメモリ2とバッファ4との間にローパスフ
ィルタ12を設けている。
【0037】また、参照ブロックデータにローパスフィ
ルタをかける必要があるのは、図5(d)の状態だけな
ので、図13に示すように、モード切り替え器10によ
って現ブロックの高周波成分を調べ、所定の閾値以上で
あった場合に、参照ブロックデータにローパスフィルタ
12をかけるようにする。
【0038】
【発明の効果】以上、説明したように、請求項1乃至6
記載の発明によれば、現ブロックと幾つかの参照ブロッ
クとの間の評価関数値を求め、その評価関数値から評価
値曲面を推定し、その曲面内の最小値を求めることによ
り動きベクトルを求めているので、評価関数値を求める
計算量が従来に比べて大幅に減らすことができる。
【0039】請求項7、8記載の発明によれば、探索領
域の設定によっては正しい動きベクトルが探索領域外に
存在することもあるが、探索範囲を拡大しているので、
最適な評価関数値を求めることが可能となる。
【0040】請求項9、10記載の発明によれば、参照
ブロックデータをローパスフィルタ処理しているので、
最適な動きベクトル値を求めることが可能となる。
【図面の簡単な説明】
【図1】本発明の動きベクトル検出装置のブロック構成
図である。
【図2】曲面あてはめを説明する図である。
【図3】曲面あてはめの評価点を示す図である。
【図4】(a)、(b)、(c)は、本発明の基本的な
考え方である、曲面あてはめを説明する図である。
【図5】(a)、(b)、(c)、(d)は、画像デー
タと評価関数値の関係を示す図である。
【図6】本発明の他の実施例のブロック構成図である。
【図7】本発明の他の実施例のブロック構成図である。
【図8】生成された曲面が実際の評価関数値と一致して
いるか否かを評価する評価手順のフローチャートであ
る。
【図9】他の評価手順のフローチャートである。
【図10】評価関数値の最小値が探索境界にある場合の
図である。
【図11】(a)は、探索範囲の境界に最小値がある場
合の図であり、(b)は、拡大した探索範囲を示す図で
ある。
【図12】本発明の他の実施例のブロック構成図であ
る。
【図13】本発明のさらに他の実施例のブロック構成図
である。
【図14】従来の動きベクトル検出装置を示す図であ
る。
【符号の説明】
1 現フレームメモリ 2 参照フレームメモリ 3、4 バッファ 5、6 アドレスジェネレータ 7 評価器 8 差分器 9 曲面生成器 10 モード切り替え器 11 評価値比較器 12 ローパスフィルタ

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 参照フレームと現フレームから所定サイ
    ズのブロックを取り出し、その参照ブロックと現ブロッ
    ク間の評価関数値を用いて、現フレーム中の各ブロック
    の動きベクトルを検出する動きベクトル検出方法におい
    て、探索対象となる参照フレーム中の数ブロックに対し
    て評価関数を計算し、該評価関数値から2次元予測値曲
    面を生成し、該予測値曲面上で最小値を与える点の座標
    を動きベクトルとすることを特徴とする動きベクトル検
    出方法。
  2. 【請求項2】 前記2次元予測値曲面を生成するとき、
    評価関数値を求める位置をランダムに選択することを特
    徴とする請求項1記載の動きベクトル検出方法。
  3. 【請求項3】 現ブロックの垂直方向または水平方向の
    高周波成分が所定の閾値以上であるとき、該方向の予測
    値曲面を生成しないことを特徴とする請求項1記載の動
    きベクトル検出方法。
  4. 【請求項4】 現ブロックの高周波成分が所定の閾値以
    上であるとき、全探索または3ステップ方法に切り替え
    ることを特徴とする請求項1記載の動きベクトル検出方
    法。
  5. 【請求項5】 前記2次元予測値曲面を生成後、一つ以
    上のブロックに対して評価関数を計算し、該所定位置の
    評価関数値と、該2次元予測値曲面上の対応する位置の
    値とを比較し、所定の誤差以内のとき、前記生成された
    曲面を予測値曲面とし、それ以外のときは、前記誤差内
    に収まるように他の評価関数値を用いて予測値曲面の生
    成を繰返し行うことを特徴とする請求項1記載の動きベ
    クトル検出方法。
  6. 【請求項6】 前記繰返し行う回数が所定の回数よりも
    多くなった時点で3ステップ方法を用いることを特徴と
    する請求項5記載の動きベクトル検出方法。
  7. 【請求項7】 探索対象となる参照フレーム中の全ブロ
    ックに対して評価関数を計算し、その中で最小値を与え
    る点の座標が探索範囲の境界部分にあるとき、該点を中
    心に探索範囲を拡大することを特徴とする動きベクトル
    検出方法。
  8. 【請求項8】 初期探索範囲の中心を前フレームの動き
    ベクトルとすることを特徴とする請求項7記載の動きベ
    クトル検出方法。
  9. 【請求項9】 前記参照フレームに対してローパスフィ
    ルタ処理を施すことを特徴とする請求項1または7記載
    の動きベクトル検出方法。
  10. 【請求項10】 現ブロックの高周波成分を参照し、該
    高周波成分が所定の閾値以上のとき、前記参照フレーム
    に対してローパスフィルタ処理を施すことを特徴とする
    請求項9記載の動きベクトル検出方法。
JP5215359A 1993-06-30 1993-08-31 動きベクトル検出方法 Pending JPH0795587A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5215359A JPH0795587A (ja) 1993-06-30 1993-08-31 動きベクトル検出方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP5-189098 1993-06-30
JP18909893 1993-06-30
JP5215359A JPH0795587A (ja) 1993-06-30 1993-08-31 動きベクトル検出方法

Publications (1)

Publication Number Publication Date
JPH0795587A true JPH0795587A (ja) 1995-04-07

Family

ID=26505306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5215359A Pending JPH0795587A (ja) 1993-06-30 1993-08-31 動きベクトル検出方法

Country Status (1)

Country Link
JP (1) JPH0795587A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012505600A (ja) * 2008-10-07 2012-03-01 ユークリッド・ディスカバリーズ・エルエルシー 特徴を基礎とするビデオ圧縮
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012505600A (ja) * 2008-10-07 2012-03-01 ユークリッド・ディスカバリーズ・エルエルシー 特徴を基礎とするビデオ圧縮
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding

Similar Documents

Publication Publication Date Title
US6380986B1 (en) Motion vector search method and apparatus
KR100492127B1 (ko) 적응형 움직임 추정장치 및 추정 방법
JP2576771B2 (ja) 動き補償予測装置
US8494054B2 (en) Motion vector computation for video sequences
US20050271144A1 (en) Image processing apparatus and method, and recording medium and program used therewith
EP1587032A1 (en) Image processing apparatus and method, recording medium, and program
JP2011071986A (ja) 低解像度ビデオから高解像度ビデオを生成する方法
KR20050012766A (ko) 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법
US6304603B1 (en) Block matching method using a moving target window
JPH08223578A (ja) 動きベクトル探索方法および装置
JP2003169338A (ja) 動きベクトル検出方法及び装置並びに方法プログラムを記録した媒体
JP2001061152A (ja) 動き検出方法および動き検出装置
JPH0795587A (ja) 動きベクトル検出方法
JPH089379A (ja) 動きベクトル検出方法
JP3175914B2 (ja) 画像符号化方法および画像符号化装置
JP2006215655A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JPH05236452A (ja) 動ベクトル検出方法及び検出装置
JP2004533073A (ja) 特徴点選択
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP3277419B2 (ja) 動きベクトル検出装置および方法
KR100436593B1 (ko) 능동 카메라 환경에서의 고속 움직임 검출을 위한 배경보상 장치 및 방법
JP3237815B2 (ja) 動きベクトル探索方法および装置
JPH08242454A (ja) グローバル動きパラメタ検出方法
JPH0614316A (ja) 動きベクトル検出装置
JP2980810B2 (ja) 動きベクトル探索方法と装置