JPH0946711A - 動きベクトル推定方法及び装置 - Google Patents

動きベクトル推定方法及び装置

Info

Publication number
JPH0946711A
JPH0946711A JP7211203A JP21120395A JPH0946711A JP H0946711 A JPH0946711 A JP H0946711A JP 7211203 A JP7211203 A JP 7211203A JP 21120395 A JP21120395 A JP 21120395A JP H0946711 A JPH0946711 A JP H0946711A
Authority
JP
Japan
Prior art keywords
motion vector
feature point
current
pixel
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7211203A
Other languages
English (en)
Inventor
Min-Sup Lee
敏燮 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiu Denshi Kk
WiniaDaewoo Co Ltd
Original Assignee
Daiu Denshi Kk
Daewoo Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiu Denshi Kk, Daewoo Electronics Co Ltd filed Critical Daiu Denshi Kk
Priority to JP7211203A priority Critical patent/JPH0946711A/ja
Publication of JPH0946711A publication Critical patent/JPH0946711A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 映像信号符号化システムの性能を向上させ
うる、動きベクトル推定方法及び装置を提供する。 【解決手段】 現フレームと前フレームとの特徴点の
間の初期動きベクトルを求める特徴点動きベクトル検知
器と、初期動きベクトルを格納する動きベクトルメモリ
と、前六角形の各々に対応する現六角形を定義する手段
と、初期動きベクトル毎にN個の候補動きベクトルより
なるセットを求める手段と、現六角形の各々の各画素に
対する予測された画素値と、その位置データとを求める
手段と、6個の三角形からなる各セットに含まれた各画
素に対する差分画素値を求める手段と、重みファクター
を選択的に割り当てる重みファクター発生器と、重み付
けされた差分画素値を求める乗算器と、差分画素値を平
均し、N個の誤差値を求める誤差値計算器と、最小の誤
差値を選択する比較器と、初期動きベクトルを選択され
た動きベクトルで更新する手段と、更新された動きベク
トルを取出す手段とを含む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像信号符号化シ
ステムに用いる動きベクトル推定方法及び装置に関する
もので、特に、改善された特徴点単位の動き推定法を用
いて選択された特徴点に対する動きベクトルを正確に推
定しうる方法及び装置に関する。
【0002】
【従来の技術】周知のように、従来のディジタル映像信
号の伝送は、アナログ信号の伝送よりも良好な画質を保
持しうる。一連の映像「フレーム」から構成された映像
信号がディジタル信号として表現される場合、特に、高
精細度テレビ(HDTV)システムの場合、大量のデー
タが伝送されなければならない。しかし、従来の伝送チ
ャンネルの使用可能な周波数帯域幅は制限されているの
で、その制限された帯域幅を通じて大量のディジタルデ
ータを伝送するためには、データ量を圧縮するか、また
は低減する必要がある。多様な映像圧縮法のうち、確率
的符号化法と、時間的、空間的圧縮法とを組み合わせ
た、いわゆるハイブリッド符号化法が最も効率的なもの
として知られている。
【0003】殆どのハイブリッド符号化法は、動き補償
DPCM(差分パルス符号変調)法、2次元DCT(離
散的コサイン変換)法、DCT係数の量子化法、及びV
LC(可変長符号化)法などを用いる。
【0004】動き補償DPCM法は、現フレームとその
前フレームとの間の物体の動きを特定し、物体の動きの
流れに応じて現フレームを予測して、現フレームとその
予測値との間の差を表す差分信号を生成する方法であ
る。この方法は、例えば、Staffan Erics
sonの論文「Fixed and Adaptive
Predictors for Hybrid Pre
dictive/Transform Coding」
(IEEE Transactions onComm
unications,COM−33,No.12(1
995年12月))、またはNinomiya及びOh
tsukaの論文「A Motion−Compens
ated Interframe Coding Sc
heme for Television Pictu
res」(IEEE Transactions on
Communications,COM−30,N
o.1(1982年1月))に開示されている。
【0005】詳述すると、動き補償DPCMに於いて
は、現フレームと前フレームとの間で推定された物体の
動きに基づいて、現フレームデータをその対応する前フ
レームデータから予測する。このような推定された動き
は、前フレームと現フレームとの間の変位を表す2次元
動きベクトルにより表すことができる。
【0006】物体の画素の変位を推定には、多様な方法
が提案されているが、一般に2つのタイプに分類でき
る。このような動き推定技法の一つは、特徴点を用い
た、画素単位による動き推定である。ここで、各特徴点
は、周囲の画素を表しうる画素点として定義される。特
徴点を用いる動き推定技法に於いては、最初に、前フレ
ーム内に含まれる全ての画素から複数の特徴点が選択さ
れる。
【0007】その次に、選択された特徴点に対する動き
ベクトルがブロック整合アルゴリズムを用いて特定され
るが、ここで、各々の動きベクトルは、前フレーム内の
一つの特徴点と現フレーム内の対応する整合点(即ち、
最も類似な画素)との間の空間的変位を表す。より詳し
く述べると、各々の特徴点に対する整合点は、現フレー
ム内に於いて対応する特徴点の部分を囲む、予め定めら
れた領域として定義される探索領域で探索される。しか
し、画素単位の動き推定では、ブロック内の全画素が一
方向に移動しない場合、例えば特徴点の正確な動きを推
定しにくいという欠点を有する。
【0008】特徴点に対する動きベクトルを推定するに
用いるために考案された異なる動き推定技法は、本願出
願の出願人による係属中の米国出願「METHOD A
NDAPPARATUS FOR DETERMINI
NG TRUE MOTION VECTORS FO
R SELSCTED PIXELS」の明細書に開示
されている。
【0009】前フレームに含まれた特徴点に対する真の
動きベクトルを決定する開示された方法及び装置では、
先ず、特徴点に対する1セットの初期動きベクトルが決
定される。その次に、予め定められたN個の変位が選択
された特徴点の初期動きベクトルに加えられることによ
って、N個の候補動きベクトルよりなる一つのサブセッ
トが発生される。選択された特徴点は、例えば、4個の
隣接する特徴点によって取り囲まれて、4個の三角形か
らなる1セットの前ひし形を形成する。その後、隣接す
る特徴点と初期動きベクトルを用いて準特徴点が現フレ
ームに於いて提供され、そしてN個の候補動きベクトル
によってN個の選択された準特徴点の1セットが選択さ
れた特徴点から発生される。4個の準特徴点は、N個の
選択された準特徴点により定義された各セットが4個の
三角形からなるN個のセットを有する現ひし形を構成す
る。最後に、真の動きベクトルが上述したサブセットに
おけるN個の候補動きベクトルから求められる。ここ
で、真の動きベクトルは現ひし形と前ひし形との間に最
小の誤差値をもたらす現ひし形に於ける1セットの4個
の三角形に対応するサブセットの候補動きベクトルを表
す。
【0010】しかし、従来技術の装置は、上述したセッ
トに於いて、選択された準特徴点の位置と現ひし形に含
まれた各画素の位置との間の距離を考慮せずに、最小の
誤差値を求めるため、選択された準特徴点に対応する特
徴点に対する真の動きベクトルを必ずしも供給できない
という問題点を有する。
【0011】
【発明が解決しようとする課題】従って、本発明の主な
目的は、改善された特徴点単位の動きベクトル推定技法
を用いて特徴点に対する動きベクトルを正確に推定する
ことによって、映像信号符号化システムの性能を向上さ
せうるように改善された方法及び装置を提供することに
ある。
【0012】
【課題を解決するための手段】上記目的を達成するため
に、本発明の一態様によると、映像信号符号化システム
に用いられ、特徴点に対する1セットの動きベクトルを
推定する動きベクトル推定方法であって、前記各々の特
徴点が、前フレーム上の写像された六角形グリッドの結
節点に位置した画素の位置によって定義される前記動き
ベクトル推定方法であって、
【0013】(a)前記特徴点の各々を逐次的に対象特
徴点として割当てる特徴点割当過程であって、前記対象
特徴点は、その特徴点に隣接する6個の特徴点により取
り囲まれることによって、前六角形を定義し、この前六
角形は6個の三角形よりなる1セットの三角形を有し、
前記三角形の各々は前記対象特徴点とそれに隣接する2
つの特徴点とを連結することによって形成される、特徴
点割当過程と、
【0014】(b)現フレームの特徴点と前フレームの
特徴点との間の第1セットの初期動きベクトルを求める
初期動きベクトル検知過程と、
【0015】(c)前記第1セットの初期動きベクトル
を格納する初期動きベクトル格納過程と、
【0016】(d)前記第1セットの初期動きベクトル
を用いて、前記前六角形の各々に対応する現フレームに
おける現六角形を定義する現六角形定義過程と、
【0017】(e)対応する対象特徴点に対する前記初
期動きベクトルの各々と予め決められたN個の変位の各
々とを順番に加算することによって、初期動きベクトル
毎にN個の候補動きベクトルよりなる1セットの候補動
きベクトルを求めるの候補動きベクトル決定過程と、
【0018】(f)前記各々の現六角形における前記6
個の三角形からなるセットの各々に含まれた各々の画素
に対する予測された画素値を、前記前フレームから求め
ると共に、前記6個の三角形からなるセットの各々にお
ける各画素の位置データを求める位置データ決定過程
と、
【0019】(g)前記現六角形における各画素の画素
値から、その画素値に対応する予測された画素値を減算
することによって、前記6個の三角形からなるセットの
各々に含まれた前記各画素に対する差分画素値を求める
差分画素値決定過程と、
【0020】(h)前記6個の三角形からなるセットの
各々の各画素の前記位置データと前記N個の候補動きベ
クトルの各々に対応する前記現六角形に於ける特徴点の
位置データとに応じて、予め定められた重みファクター
を選択的に割当てる重みファクター割当て過程と、
【0021】(i)前記差分画素値とその画素値に対応
する重みファクターとを乗算することによって、重み付
けされた差分画素値を求める重み付け過程と、
【0022】(j)前記現六角形の各々に対応する重み
付けされた差分画素値を平均することによって、前記現
六角形の各々に於ける6個の三角形からなる前記N個の
セットに対するN個の誤差値を求める過程と、
【0023】(k)前記N個の誤差値を比較して、最小
の誤差を発生する一つの誤差値を選択する最小誤差値選
択過程と、
【0024】(l)前記選択された最小の誤差値に対応
する動きベクトルを、前記N個の候補動きベクトルの各
セットから選択する動きベクトル選択過程と、
【0025】(m)前記対象特徴点に対する前記格納さ
れた初期動きベクトルを、前記選択された動きベクトル
で更新する動きペクトル更新過程と、
【0026】(n)前記全ての初期動きベクトルが更新
されるまで、前記過程(d)乃至(m)を繰り返す反復
過程とを有する。
【0027】本発明の他の態様によると、映像信号符号
化システムに用いられ、特徴点に対する1セットの動き
ベクトルを推定する動きベクトル推定装置であって、前
記各々の特徴点が前フレーム上の写像された六角形グリ
ッドの結節点に位置した画素の位置によって定義され
る、前記動きベクトル推定装置であって、
【0028】前記各々の特徴点を逐次的に対象特徴点と
して割当てる特徴点割当て手段であって、前記対象特徴
点は、その対象特徴点に隣接する6個の特徴点により取
り囲まれることによって、前六角形を定義し、この前六
角形は6個の三角形よりなる1セットの三角形を有し、
各々の三角形は前記対象特徴点とそれに隣接する2つの
特徴点とを連結することによって形成される、該特徴点
割当て手段と、
【0029】現フレームの特徴点と前フレームの特徴点
との間の第1セットの初期動きベクトルを求める初期動
きベクトル検知手段と、
【0030】前記第1セットの初期動きベクトルを格納
する初期動きベクトル格納手段と、
【0031】前記第1セットの初期動きベクトルを用い
て、前記前六角形の各々に対応する現フレームにおける
現六角形を定義する現六角形定義手段と、
【0032】対応する対象特徴点に対する前記初期動き
ベクトルの各々とN個の変位とを順番に加算することに
よって、初期動きベクトル毎にN個の候補動きベクトル
よりなる1セットの候補動きベクトルを求める候補動き
ベクトル決定手段と、
【0033】前記各々の現六角形における前記6個の三
角形からなるセットの各々に含まれた各々の画素に対す
る予測された画素値を、前記前フレームから求めると共
に、前記6個の三角形からなるセットの各々における各
画素の位置データを求める位置データ決定手段と、
【0034】前記現六角形における各画素の画素値か
ら、その画素値に対応する予測された画素値を減算する
ことによって、前記6個の三角形からなるセットの各々
に含まれた前記各画素に対する差分画素値を求める差分
画素値決定手段と、
【0035】前記6個の三角形からなるセットの各々の
各画素の前記位置デ−タと前記N個の候補動きベクトル
の各々に対応する前記現六角形における特徴点の位置デ
−タとに応じて、予め決定された重みファクターを選択
的に割当てる重みファクター割当手段と、
【0036】前記差分画素値とその画素値に対応する重
みファクターとを乗算することによって、重み付けされ
た差分画素値を求める重み付け手段と、
【0037】前記現六角形の各々に対応する重み付けさ
れた差分画素値を平均することによって、前記現六角形
の各々における6個の三角形からなる前記N個のセット
に対するN個の誤差値を求める誤差値決定手段と、
【0038】前記N個の誤差値を比較して、最小の誤差
を発生する一つの誤差値を選択すると共に、前記選択さ
れた最小の誤差値に対応する動きベクトルを前記N個の
候補動きベクトルの各セットから選択する動きベクトル
選択手段と、
【0039】前記対象特徴点に対する前記動きベクトル
格納手段に格納された初期動きベクトルを前記選択され
た動きベクトルで更新する初期動きベクトル更新手段
と、
【0040】前記全ての初期動きベクトルが更新された
時、前記更新された動きベクトルを前記動きベクトルの
セットとして取出す動きベクトル取出し手段とを有す
る。
【0041】
【発明の実施の形態】以下、本発明の好適な実施の形態
について、図面を参照しながらより詳しく説明する。
【0042】図1には、本発明の新規な動き推定デバイ
ス200を用いる映像信号符号化システムのブロック図
が示されている。入力ディジタル映像信号は、現フレー
ム信号として第1フレームメモリ100に格納される。
【0043】動き推定デバイス200にて、第1フレー
ムメモリ100から取出されたラインL10上の現フレ
ーム信号と、第2フレームメモリ124から取出された
ラインL12上の再構成された前フレーム信号とを処理
して、特徴点に対する推定された第1セットの動きベク
トルと、それらの位置データとを求める。この動き推定
デバイス200の詳細は図2を参照して詳しく述べられ
る。動き推定デバイス200から第1セットの動きベク
トルは、ラインL20を介して現フレーム動きベクトル
検知器126とエントロピー符号化器107とに供給さ
れる。その間に、特徴点に対する位置データはラインL
25を通じて現フレーム動きベクトル検知器126に供
給される。
【0044】この現フレーム動きベクトル検知器126
にて、動き推定デバイス200から供給されたラインL
20及びL25上の第1セットの動きベクトル及び位置
データを用いて、ラインL10上の現フレームにおける
全ての画素に対する第2セットの動きベクトルが求めら
れる。第2セットの動きベクトルを求めるために、先
ず、準特徴点が特定される。このような準特徴点は、前
フレームの特徴点から第1セットの動きベクトルの分だ
けシフトされた現フレームの画素を表す。準特徴点が特
定された後、現フレームにおける残りの画素点、即ち、
非準特徴点に対する動きベクトルが次のように求められ
る。
【0045】最初に、準特徴点を連結するラインセグメ
ントと重ならない複数の多角形、例えば、六角形が定義
される。その後、各多角形を形成する準特徴点とそれら
の各々に対応する特徴点との間の位置関係に基づいて、
現フレームの各多角形に含まれた各画素に対する前フレ
ーム上の予測された位置が求められる。その次に、予測
された位置に基づいて、各画素に対する予測された画素
値が前フレームから得られて、そして現フレームにおけ
る画素と前フレームから予測された画素との間の変位か
ら現フレームにおける各画素に対する動きベクトルが求
められる。求められた第2セットの動きベクトルは、動
き補償器130へ供給されて画素単位で予測された現フ
レームを発生する。
【0046】この動き補償器130は、予測された現フ
レームに含まれるべき画素の各値を第2セットに含まれ
た動きベクトルの各々を用いて、第2フレームメモリ1
24から取出した予測された現フレーム信号をラインL
30を介して減算器102と加算器115へ供給する。
【0047】減算器102にて、ラインL11上の現フ
レーム信号からラインL30上の予測された現フレーム
信号を減算して、その結果のデータ、即ち、それらの間
の差分画素値を表すフレーム差分信号は、映像信号エン
コーダ105へ供給されるが、ここでそのフレーム差分
信号は、例えば、離散的コサイン変換(DCT)法と、
公知の量子化法とを用いて1セットの量子化された変換
係数に符号化される。
【0048】次に、量子化された変換係数は、エントロ
ピー符号化器107と映像信号デコーダ113へ伝送さ
れる。エントロピー符号化器107においては、映像信
号エンコーダ105からの量子化された変換係数とライ
ンL20上の第1セットの動きベクトルとは、例えば、
ランレングス符号化法と可変長符号化法との組合わせを
用いて各々符号化されて伝送される。一方、映像信号デ
コーダ113は、映像信号エンコーダ105からの量子
化された変換係数を逆量子化法と逆DCT法とを用いて
再構成されたフレーム差分信号に変換する。
【0049】映像信号デコーダ113からの再構成され
たフレーム差分信号とラインL30上の予測された現フ
レーム信号とは、加算器115にて加算されることによ
って、第2フレームメモリ124上に前フレーム信号と
して書き込まれるべき再構成されたフレーム信号が出力
される。このフレーム差分信号の再構成は、エンコーダ
が受信機のデコーダの動作をモニターするために必要で
あり、これによって、エンコーダにて再構成された現フ
レーム信号が受信機のデコーダの現フレーム信号からず
れることを防止する。
【0050】本発明の動き推定デバイス200以外の上
述した映像信号符号化システムの詳細な説明は、本願出
願の出願人による係属中のEPC特許出願番号第95,
106,854.3号、また米国特許出願番号第08/
434,808号の「METHOD AND APPA
RATUS FOR ENCODING/DECODI
NG A VIDEO SIGNAL」明細書に開示さ
れており、本願に引用例として加えられる。
【0051】非特徴点に対する動きベクトルを特定する
映像信号符号化装置の他の異なる例が、本願出願の出願
人による1994年12月30日に出願された係属中の
米国特許出願番号第08/367,520号「METH
OD AND APPARATUS FOR ENCO
DING A VIDEO SIGNAL USING
PIXEL−BY−PIXEL MOTION PR
EDICTION」に開示されており、これも本願に引
用例として加えられる。それらの映像信号符号化装置に
おいては、画素位置から最も近位の準特徴点への距離
と、動きベクトルを計算するのに用いられるべき他の準
特徴点を含む予め定められた拡張された半径との和によ
って定義された所定の半径を有する円の境界内に配置さ
れた準特徴点の動きベクトルを平均することによって、
非準特徴点に対する各画素位置の動きベクトルが求めら
れる。
【0052】図2を参照すると、図1に示した本発明の
動き推定デバイス200の詳細なブロック図が示されて
いる。図2に示したように、ラインL12上の前フレー
ム信号は特徴点選択器210、特徴点動きベクトル検知
器220及び現六角形信号予測器260に入力される。
そして、ラインL10上の現フレーム信号は、第3フレ
ームメモリ270に入力され格納される。
【0053】特徴点選択器210においては、前フレー
ムに含まれた画素から、複数の特徴点が選択される。そ
れらの特徴点の各々は、前フレームにおいて物体の動き
を表しうる画素点である。
【0054】図3を参照すると、10×7画素の例示的
なフレームが示されている。そのフレームの中心の周り
に移動物体が存在し、移動物体の動きが1セットの画素
(例えば、511乃至519)によって適正に表現さ
れるならば、それらの画素はそのフレームの特徴点とし
て選択される。
【0055】本発明の好適な実施の形態において、多様
なタイプのグリッド、例えば、図4に示した六角形グリ
ッドを用いて、特徴点が求められる。図4に示したよう
に、特徴点は、グリッドの結節点上に配置される。
【0056】図2を再度参照すると、特徴点選択器21
0から選択された特徴点の位置デ−タは、ラインL25
を介して図1に示した現フレーム動きベクトル検知器1
26へ供給されると共に、特徴点動きベクトル検知器2
20と六角形位置デ−タ選択器240に入力されて格納
される。
【0057】特徴点動きベクトル検知器220にて、特
徴点選択器210からの特徴点の位置デ−タと第3フレ
ームメモリ270から取出された現フレーム信号とに基
づいて、選択された特徴点に対する第1セットの初期動
きベクトルが求められる。第1セットの初期動きベクト
ルの各々は、前フレームにおける特徴点とこの特徴点に
最も類似な現フレームにおける画素との間の空間的変位
を表す。画素単位で動きベクトルを検知するため、多数
の処理アルゴリズムが提案されている。本発明の好適な
実施の態様においては、ブロック整合アルゴリズムが用
いられる。即ち、特徴点の位置データが特徴点選択器2
10から受信される場合、対象特徴点を有する前フレー
ムのM×M画素(例えば、5×5画素)の特徴点ブロッ
クが図1に示した第2フレームメモリ124からライン
L12を介して取出される。ここで、対象特徴点はM×
M画素の特徴点ブロックの中央に配置され、Mは奇数で
ある。その後、特徴点ブロックに対する動きベクトルが
誤差関数、例えば、平均絶対誤差(MAE)または平均
2乗誤差(MSE)から求めた類似計算に基づいて特定
される。この誤差関数は、特徴点ブロックと、第3フレ
ームメモリ270から取出された現フレームの概ねより
大きい探索領域(例えば、10×10画素)に含まれた
同一の大きさの複数の各候補ブロックとの差を表す。こ
こで動きベクトルは、特徴点ブロックと最小の誤差関数
をもたらす候補ブロックとの間の変位を表す。
【0058】その後、特定された動きベクトルは、特徴
点の初期動きベクトルとして設定される。全ての特徴点
に対する初期動きベクトルを求めた後、初期動きベクト
ルは、第1セットの初期動きベクトルとして動きベクト
ルメモリ230に供給されて格納される。
【0059】一方、六角形位置データ選択器240はそ
の内部に格納された特徴点の各々を対象特徴点として順
番に割り振る。図5に示したように、対象特徴点(例え
ば、517)はその瞬間に対象特徴点として選択されな
い6個の隣接した特徴点(511乃至516)により取
り囲まれることによって、対象特徴点517が中心に位
置して6個の三角形(521乃至526)を提供する前
六角形(例えば、500)を形成する。前六角形500
を形成する各対象特徴点(例えば、517)とその対象
特徴点に隣接する6個の特徴点(例えば、511乃至5
16)に対する位置データは、動きベクトルメモリ23
0へ伝送される。六角形位置データ選択器240から動
きベクトルメモリ230への位置データの伝送は、コン
トローラ300からの第1制御信号CS1によって制御
される。
【0060】動きベクトルメモリ230に格納された初
期動きベクトルの格納状態をモニターする、コントロー
ラ300は、第1及び第2制御信号CS1、CS2を六
角形位置データ選択器240と動きベクトル変位発生デ
バイス250へ出力することによって、それらの動作を
制御する。
【0061】一方、六角形位置データ選択器240から
の対象特徴点の位置データに応じて、動きベクトルメモ
リ230に格納された対応する初期動きベクトルが、予
め定められた回数分だけ動きベクトル変位発生デバイス
250へ順番に供給され、また対象特徴点に隣接する6
個の特徴点に対する位置データに応じて、対応する動き
ベクトルが読み取られて、現六角形信号予測器260へ
伝送される。
【0062】動きベクトル変位発生器252と加算器2
54とからなる動きベクトル変位発生デバイス250
は、各対象特徴点の初期動きベクトルにつきN個の候補
動きベクトルよりなる1セットの候補動きベクトルを発
生する働きをする。ここで、Nは正の整数である。
【0063】詳しくは、コントローラ300からの第2
制御信号CS2に応じて、動きベクトル変位発生器25
2に予め格納されたN個の予め定められた変位が順番に
読み取られると共に、加算器254に供給される。本発
明の好適な実施の態様では、各初期動きベクトルに対し
て変位が水平方向及び垂直方向に0,0から±2,±2
までの範囲内で設定されるのが好ましい。従って、この
場合にNは25である。次に、N個の変位と各対象特徴
点に対する初期動きベクトルとが、加算器254で順番
に加算されることによって、初期動きベクトル毎にN個
の候補動きベクトルよりなる1セットの候補動きベクト
ルが発生される。その後、N個の候補動きベクトルより
なるセットは、現六角形信号予測器260と動きベクト
ル選択デバイス290へ供給される。
【0064】現六角形信号予測器260では、ラインL
12上の前フレーム信号から現六角形に含まれた全ての
画素に対する予測された画素値を得る。予測された画素
値を得るため、先ず、動きベクトルメモリ230から前
六角形500を形成する6個の頂点に対する初期動きベ
クトルが読み取られ、6個の特徴点(即ち、前六角形5
00上において6個の頂点511乃至516)からそれ
らの各々に対応する初期動きベクトル分だけシフトされ
た現フレームの画素を表す準特徴点(例えば、図6に示
した511′乃至516′)が求められる。準特徴点が
求められた後、6個の準特徴点(511′乃至51
6′)を連結することによって図6に示した現六角形5
00′が定義される。
【0065】次に、前六角形500における目標特徴点
に対するN個の候補動きベクトルのセットによって、現
フレームで発生された画素を表すN個の目標準特徴点の
セットが求められる。準特徴点とN個の目標準特徴点が
求められた後、N個の目標準特徴点の各々とその各々に
隣接する2つの準特徴点とを連結することによって、N
個の目標準特徴点の各々に対する6個の三角形からなる
1セットが定義される。図6には、6個の準特徴点(5
11′乃至516′)を連結して現六角形(例えば、5
00′)を発生する過程が図解されている。現六角形5
00′は目標準特徴点517′を有することによって、
例えば、図5または図6に破線にて示したように、前六
角形500に対応する6個の三角形(521′乃至52
6′)よりなる1セットを形成する。図面には詳しく示
されていないが、各々の現六角形は、前六角形500に
おける目標特徴点517から得たN個の候補動きベクト
ルによって6個の三角形よりなるN個のセットを有する
ことは、当業者には容易に理解されるであろう。
【0066】次に、N個の目標準特徴点の各々に対し
て、公知のアフィン変換技法を用いて各々の現六角形内
の全ての画素に対する予測が行われる。当業者には良く
知られているように、移動物体の回転、平行移動及び大
きさの変更などの任意の順序はアフィン変換法により表
現されうる。
【0067】図6に例示したように、現六角形500′
における3つの画素(即ち、2つの頂点511′、52
1′と一つの目標特徴点517′)が前六角形500に
おいてそれら各々の特徴点511、512及び517に
対応する準特徴点として特定されると仮定すると、現六
角形500′の三角形521′における画素は、次式の
ようなアフィン変換法によって前六角形500の三角形
521の画素に相互に関連付けられる。
【0068】
【数1】
【0069】ここで、x、yは、現六角形内の画素の
x、yにおける座標を表し、x′、y′は、前六角形内
の予測された位置の座標を表す。そして、6個のa、
b、c、d、e、fはアフィン変換係数である。
【0070】6個のアフィン変換係数は、相互に関連付
けられた特徴点と、準特徴点とからなる3個のセット、
即ち、511−511′、512−512′、517−
517′から得られた6個の線形方程式を解くことによ
って得られる。一旦6個のアフィン変換係数が得られる
と、三角形521′内の残り各画素は、アフィン変換方
程式を用いて三角形521における一つの位置に写像さ
れる。このような方法で、現六角形500′内に含まれ
た各三角形における画素が、前六角形500から予測さ
れる。2つの隣接する三角形の境界上の画素は、2つの
三角形うちの何れか一つから予測されうる。6個の三角
形からなるN個のセットが全て処理されるまで、現六角
形における画素の予測過程は繰り返して行われる。現六
角形を形成する、元の目標準特徴点とその特徴点に隣接
する6個の準特徴点との位置データと、現六角形に含ま
れた全ての画素に対する位置データとは、現六角形信号
を発生するために適した現六角形信号発生器280へ供
給される。そして、N個の目標準特徴点の各々と現六角
形に含まれた各画素に対する位置データは、動きベクト
ル選択デバイス290へ供給される。次に、6個の三角
形からなる各セットに対応する予測された画素値の各々
は、動きベクトル選択デバイス290へ供給される。
【0071】現六角形信号発生器280は、現六角形信
号予測器260からの対応する位置データに応じて現六
角形における各画素値を第3フレームメモリ270から
順番に取出すことによって、各画素値を動きベクトル選
択デバイス290へ供給する。動きベクトル選択デバイ
ス290は、減算器292、重みファクター発生器29
4、乗算器296、誤差値計算器297、比較器298
及び動きベクトル選択器299からなる。
【0072】次に、減算器292は、現六角形信号発生
器280からの対応する画素値から現六角形信号予測器
260からの予測された画素値を減算することによっ
て、現六角形の6個の三角形からなる各セットに対する
差分画素値を求める。その後、減算器292にて求めら
れたその差分画素値は、乗算器296へ順番に供給され
る。
【0073】一方、現六角形信号予測器260からの現
六角形における各画素の位置データと、N個の目標準特
徴点の各々に対する位置データとに応じて、本発明の重
みファクター発生器294は、その内部に予め格納され
た複数の重みファクターの何れか一つを選択的に発生す
る。本発明によると、現六角形における各画素の位置が
N個の目標準特徴点の各々に近いほど、その画素はより
大きい重みファクターを有するという概念に基づいて、
重みファクターは好ましく設定される。それは、目標準
特徴点に対応する特徴点に対する正確な動きベクトルを
求めることにおいては、その目標準特徴点に近い画素が
遠く離れている画素より重要であるためである。本発明
の好適な実施の形態では、重みファクターは、0.4乃
至1の範囲内で特定される。この重みファクターは、例
えは、次表のように表すことができる(ここで、範囲の
間隔は1.9のサイズを有し、重みファクターの範囲は
0.4乃至1の範囲と仮定する)。
【0074】
【表1】
【0075】前記表から分かるように、各々の目標準特
徴点の位置と現六角形における各画素の位置との間の距
離が0乃至1.9の間にあると、その重みファクター
は、1として選択され、そして、それらの間の距離が4
乃至5.9の間にあると、重みファクターは0.6とし
て選択される。次に、減算器292からの各差分画素値
と重みファクター発生器294からの各差分画素値に対
応する重みファクターとが乗算器296へ同時に供給さ
れる。
【0076】この乗算器296は、減算器292からの
差分画素値と重みファクター発生器294からの対応す
る重みファクターとを乗ずることによって、重み付けさ
れた差分画素値を誤差値計算器297へ供給する。誤差
値計算器297にて、6個の三角形からなる各セットに
対する誤差値が、それに対応する重み付けされた差分画
素値を平均することによって得られ、各々の予測された
現六角形に対してN個の誤差値よりなる1セットを発生
する。その後、各セットのN個の誤差値は比較器298
へ供給される。
【0077】この比較器298は、上記各セットのN個
の誤差値を比較して、各セットから最小の誤差値を選択
する。比較処理を通じて、比較器298は現六角形の各
々に対して最小の誤差値にて動きベクトルを表す選択信
号を発生した後、その選択信号を動きベクトル選択器2
99へ供給する。
【0078】動きベクトル選択器299は比較器298
からの選択信号に応じて、格納されたN個の候補動きベ
クトルからなるセットから選択された最小の誤差値に対
応する動きベクトルを、選択された各々の特徴点に対す
る動きベクトルとして選択する。その後、各々の特徴点
に対する選択された動きベクトルはラインL20を通じ
て図1に示した現フレーム動きベクトル検知器126へ
供給されると共に、動きベクトルメモリ230へ供給さ
れて、格納された目標特徴点に対する動きベクトルが、
選択された動きベクトルで更新される。対象特徴点に対
する更新された動きベクトルは、それに隣接する特徴点
に対する動きベクトルを求める場合に基準動きベクトル
として用いられることに注意すべきである。
【0079】上記において、本発明の特定の実施の形態
について説明したが、本発明の範囲を逸脱することなく
当業者は種々の改変をなし得るであろう。
【0080】
【発明の効果】従って、本発明によれば、改善された特
徴点単位の動きベクトル推定法を用いて特徴点に対する
動きベクトルを正確に推定することによって、映像信号
符号化システムの性能を向上することができる。
【図面の簡単な説明】
【図1】本発明の新規な動き推定デバイスを用いるイメ
ージ信号符号化システムのブロック図である。
【図2】図1に示した動き推定デバイスの詳細なブロッ
ク図である。
【図3】特徴点を定義するための例示的なフレームを図
解した図である。
【図4】本発明の好適な実施の形態に基づく、特徴点を
選択するために用いられる前フレーム上に写像された六
角形グリッドを例示する図である。
【図5】前フレームにおける六角形の形成を図解した図
である。
【図6】現フレームにおける六角形の形成を図解した図
である。
【符号の説明】
105 映像信号エンコーダ 107 エントロピー符号化器 113 映像信号デコーダ 126 現フレーム動きベクトル検知器 130 動き補償器 200 動き推定デバイス 210 特徴点選択器 220 特徴点動きベクトル検知器 252 動きベクトル変位発生器 230 動きベクトルメモリ 240 六角形位置データ選択器 254 加算器 260 現六角形信号予測器 270 第3フレームメモリ 280 現六角形信号発生器 290 動きベクトル選択デバイス 292 減算器 294 重みファクター発生器 296 乗算器 297 誤差値計算器 298 比較器 299 動きベクトル選択器 300 コントローラ

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 映像信号符号化システムに用いられ、
    特徴点に対する1セットの動きベクトルを推定する動き
    ベクトル推定方法であって、前記各々の特徴点が、前フ
    レーム上の写像された六角形グリッドの結節点に位置し
    た画素の位置によって定義される前記動きベクトル推定
    方法であって、 (a)前記特徴点の各々を逐次的に対象特徴点として割
    当てる特徴点割当過程であって、前記対象特徴点は、そ
    の特徴点に隣接する6個の特徴点により取り囲まれるこ
    とによって、前六角形を定義し、この前六角形は6個の
    三角形よりなる1セットの三角形を有し、前記三角形の
    各々は前記対象特徴点とそれに隣接する2つの特徴点と
    を連結することによって形成される、特徴点割当過程
    と、 (b)現フレームの特徴点と前フレームの特徴点との間
    の第1セットの初期動きベクトルを求める初期動きベク
    トル検知過程と、 (c)前記第1セットの初期動きベクトルを格納する初
    期動きベクトル格納過程と、 (d)前記第1セットの初期動きベクトルを用いて、前
    記前六角形の各々に対応する現フレームにおける現六角
    形を定義する現六角形定義過程と、 (e)対応する対象特徴点に対する前記初期動きベクト
    ルの各々と予め決められたN個の変位の各々とを順番に
    加算することによって、初期動きベクトル毎にN個の候
    補動きベクトルよりなる1セットの候補動きベクトルを
    求めるの候補動きベクトル決定過程と、 (f)前記各々の現六角形における前記6個の三角形か
    らなるセットの各々に含まれた各々の画素に対する予測
    された画素値を、前記前フレームから求めると共に、前
    記6個の三角形からなるセットの各々における各画素の
    位置データを求める位置データ決定過程と、 (g)前記現六角形における各画素の画素値から、その
    画素値に対応する予測された画素値を減算することによ
    って、前記6個の三角形からなるセットの各々に含まれ
    た前記各画素に対する差分画素値を求める差分画素値決
    定過程と、 (h)前記6個の三角形からなるセットの各々の各画素
    の前記位置データと前記N個の候補動きベクトルの各々
    に対応する前記現六角形に於ける特徴点の位置データと
    に応じて、予め定められた重みファクターを選択的に割
    当てる重みファクター割当て過程と、 (i)前記差分画素値とその画素値に対応する重みファ
    クターとを乗算することによって、重み付けされた差分
    画素値を求める重み付け過程と、 (j)前記現六角形の各々に対応する重み付けされた差
    分画素値を平均することによって、前記現六角形の各々
    に於ける6個の三角形からなる前記N個のセットに対す
    るN個の誤差値を求める過程と、 (k)前記N個の誤差値を比較して、最小の誤差を発生
    する一つの誤差値を選択する最小誤差値選択過程と、 (l)前記選択された最小の誤差値に対応する動きベク
    トルを、前記N個の候補動きベクトルの各セットから選
    択する動きベクトル選択過程と、 (m)前記対象特徴点に対する前記格納された初期動き
    ベクトルを、前記選択された動きベクトルで更新する動
    きペクトル更新過程と、 (n)前記全ての初期動きベクトルが更新されるまで、
    前記過程(d)乃至(m)を繰り返す反復過程とを有す
    ることを特徴とする動きベクトル推定方法。
  2. 【請求項2】 前記現六角形を定義する現六角形定義
    過程(d)は、 前記特徴点とその特徴点の動きベクトルとに基づいて、
    前記現フレームにおける準特徴点を特定する準特徴点特
    定過程であって、前記現六角形は、前記前六角形を定義
    する特徴点に対応する準特徴点を連結することによって
    形成される、準特徴点特定過程を含むことを特徴とする
    請求項1に記載の動きベクトル推定方法。
  3. 【請求項3】 前記位置データ決定過程(f)が、 前記各三角形を形成する準特徴点とそれらに対応する特
    徴点との間の位置関係に基づいて、前記各画素に対する
    前記前フレーム上の予測された位置を求める予測位置決
    定過程と、 前記予測された位置に基づいて、前記各画素に対する予
    測された画素値を求める予測画素決定過程とを含むこと
    を特徴とする請求項2に記載の動きベクトル推定方法。
  4. 【請求項4】 映像信号符号化システムに用いられ、
    特徴点に対する1セットの動きベクトルを推定する動き
    ベクトル推定装置であって、前記各々の特徴点が前フレ
    ーム上の写像された六角形グリッドの結節点に位置した
    画素の位置によって定義される、前記動きベクトル推定
    装置であって、 前記各々の特徴点を逐次的に対象特徴点として割当てる
    特徴点割当て手段であって、前記対象特徴点は、その対
    象特徴点に隣接する6個の特徴点により取り囲まれるこ
    とによって、前六角形を定義し、この前六角形は6個の
    三角形よりなる1セットの三角形を有し、各々の三角形
    は前記対象特徴点とそれに隣接する2つの特徴点とを連
    結することによって形成される、該特徴点割当て手段
    と、 現フレームの特徴点と前フレームの特徴点との間の第1
    セットの初期動きベクトルを求める初期動きベクトル検
    知手段と、 前記第1セットの初期動きベクトルを格納する初期動き
    ベクトル格納手段と、 前記第1セットの初期動きベクトルを用いて、前記前六
    角形の各々に対応する現フレームにおける現六角形を定
    義する現六角形定義手段と、 対応する対象特徴点に対する前記初期動きベクトルの各
    々とN個の変位とを順番に加算することによって、初期
    動きベクトル毎にN個の候補動きベクトルよりなる1セ
    ットの候補動きベクトルを求める候補動きベクトル決定
    手段と、 前記各々の現六角形における前記6個の三角形からなる
    セットの各々に含まれた各々の画素に対する予測された
    画素値を、前記前フレームから求めると共に、前記6個
    の三角形からなるセットの各々における各画素の位置デ
    ータを求める位置データ決定手段と、 前記現六角形における各画素の画素値から、その画素値
    に対応する予測された画素値を減算することによって、
    前記6個の三角形からなるセットの各々に含まれた前記
    各画素に対する差分画素値を求める差分画素値決定手段
    と、 前記6個の三角形からなるセットの各々の各画素の前記
    位置データと前記N個の候補動きベクトルの各々に対応
    する前記現六角形における特徴点の位置データとに応じ
    て、予め決定された重みファクターを選択的に割当てる
    重みファクター割当手段と、 前記差分画素値とその画素値に対応する重みファクター
    とを乗算することによって、重み付けされた差分画素値
    を求める重み付け手段と、 前記現六角形の各々に対応する重み付けされた差分画素
    値を平均することによって、前記現六角形の各々におけ
    る6個の三角形からなる前記N個のセットに対するN個
    の誤差値を求める誤差値決定手段と、 前記N個の誤差値を比較して、最小の誤差を発生する一
    つの誤差値を選択すると共に、前記選択された最小の誤
    差値に対応する動きベクトルを前記N個の候補動きベク
    トルの各セットから選択する動きベクトル選択手段と、 前記対象特徴点に対する前記動きベクトル格納手段に格
    納された初期動きベクトルを前記選択された動きベクト
    ルで更新する初期動きベクトル更新手段と、 前記全ての初期動きベクトルが更新された時、前記更新
    された動きベクトルを前記動きベクトルのセットとして
    取出す動きベクトル取出し手段とを有することを特徴と
    する動きベクトル推定装置。
  5. 【請求項5】 前記現六角形定義手段が、 前記特徴点とその特徴点の動きベクトルとに基づいて、
    前記現フレームにおける準特徴点を特定する準特徴点特
    定手段であって、前記現六角形は、前記前六角形を定義
    する特徴点に対応する準特徴点を連結することによって
    形成される、準特徴点特定手段を含むことを特徴とする
    請求項4に記載の動きベクトル推定装置。
  6. 【請求項6】 前記位置データ決定手段が、 前記各三角形を形成する準特徴点とそれらに対応する特
    徴点との間の位置関係に基づいて、前記各画素に対する
    前記前フレーム上の予測された位置を求める予測位置決
    定手段と、 前記予測された位置に基づいて、前記各画素に対する予
    測された画素値を求める予想画素決定手段とを含むこと
    を特徴とする請求項5に記載の動きベクトル推定装置。
JP7211203A 1995-07-27 1995-07-27 動きベクトル推定方法及び装置 Pending JPH0946711A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7211203A JPH0946711A (ja) 1995-07-27 1995-07-27 動きベクトル推定方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7211203A JPH0946711A (ja) 1995-07-27 1995-07-27 動きベクトル推定方法及び装置

Publications (1)

Publication Number Publication Date
JPH0946711A true JPH0946711A (ja) 1997-02-14

Family

ID=16602069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7211203A Pending JPH0946711A (ja) 1995-07-27 1995-07-27 動きベクトル推定方法及び装置

Country Status (1)

Country Link
JP (1) JPH0946711A (ja)

Similar Documents

Publication Publication Date Title
US5668608A (en) Motion vector estimation method and apparatus for use in an image signal encoding system
US5581308A (en) Method and apparatus for determining true motion vectors for selected pixels
US5598216A (en) Method and apparatus for encoding/decoding a video signal
US5546129A (en) Method for encoding a video signal using feature point based motion estimation
US5751362A (en) Apparatus for encoding a video signal using feature point based motion estimation
US5612743A (en) Method for encoding a video signal using feature point based motion estimation
US5760846A (en) Apparatus for estimating motion vectors for feature points of a video signal
JP3621152B2 (ja) 特徴点の特定装置及びその方法
US5689306A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
US5673339A (en) Method for encoding a video signal using feature point based motion estimation
JP3847827B2 (ja) 動きベクトル検出方法
US5583580A (en) Method and apparatus for detecting motion vectors based on hierarchical motion estimation
US5717470A (en) Method and apparatus for detecting optimum motion vectors based on a hierarchical motion estimation approach
US5638129A (en) Image processing apparatus using a pixel-by-pixel motion estimation based on feature points
US5627591A (en) Image processing system using a pixel-by-pixel motion estimation based on feature points
US5731851A (en) Method for determining feature points based on hierarchical block searching technique
JP3681784B2 (ja) 映像信号符号化装置
US6020925A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
JP3390024B2 (ja) 撮像された画像の中の動きの推定方法
JPH0946711A (ja) 動きベクトル推定方法及び装置
KR0178228B1 (ko) 이미지 신호 복호화용 개선된 움직임 벡터 추정 방법 및 장치
KR0174455B1 (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
Kuo et al. A new mesh-based motion compensation algorithm for very low bit rate coding
JPH08205176A (ja) 映像信号符号化装置及び映像信号符号化方法
KR0174956B1 (ko) 픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050315