JPH0946711A - 動きベクトル推定方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 映像信号符号化システムの性能を向上させ
うる、動きベクトル推定方法及び装置を提供する。 【解決手段】 現フレームと前フレームとの特徴点の
間の初期動きベクトルを求める特徴点動きベクトル検知
器と、初期動きベクトルを格納する動きベクトルメモリ
と、前六角形の各々に対応する現六角形を定義する手段
と、初期動きベクトル毎にＮ個の候補動きベクトルより
なるセットを求める手段と、現六角形の各々の各画素に
対する予測された画素値と、その位置データとを求める
手段と、６個の三角形からなる各セットに含まれた各画
素に対する差分画素値を求める手段と、重みファクター
を選択的に割り当てる重みファクター発生器と、重み付
けされた差分画素値を求める乗算器と、差分画素値を平
均し、Ｎ個の誤差値を求める誤差値計算器と、最小の誤
差値を選択する比較器と、初期動きベクトルを選択され
た動きベクトルで更新する手段と、更新された動きベク
トルを取出す手段とを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像信号符号化シ
ステムに用いる動きベクトル推定方法及び装置に関する
もので、特に、改善された特徴点単位の動き推定法を用
いて選択された特徴点に対する動きベクトルを正確に推
定しうる方法及び装置に関する。

【０００２】

【従来の技術】周知のように、従来のディジタル映像信
号の伝送は、アナログ信号の伝送よりも良好な画質を保
持しうる。一連の映像「フレーム」から構成された映像
信号がディジタル信号として表現される場合、特に、高
精細度テレビ（ＨＤＴＶ）システムの場合、大量のデー
タが伝送されなければならない。しかし、従来の伝送チ
ャンネルの使用可能な周波数帯域幅は制限されているの
で、その制限された帯域幅を通じて大量のディジタルデ
ータを伝送するためには、データ量を圧縮するか、また
は低減する必要がある。多様な映像圧縮法のうち、確率
的符号化法と、時間的、空間的圧縮法とを組み合わせ
た、いわゆるハイブリッド符号化法が最も効率的なもの
として知られている。

【０００３】殆どのハイブリッド符号化法は、動き補償
ＤＰＣＭ（差分パルス符号変調）法、２次元ＤＣＴ（離
散的コサイン変換）法、ＤＣＴ係数の量子化法、及びＶ
ＬＣ（可変長符号化）法などを用いる。

【０００４】動き補償ＤＰＣＭ法は、現フレームとその
前フレームとの間の物体の動きを特定し、物体の動きの
流れに応じて現フレームを予測して、現フレームとその
予測値との間の差を表す差分信号を生成する方法であ
る。この方法は、例えば、Ｓｔａｆｆａｎ Ｅｒｉｃｓ
ｓｏｎの論文「Ｆｉｘｅｄ ａｎｄ Ａｄａｐｔｉｖｅ
Ｐｒｅｄｉｃｔｏｒｓ ｆｏｒ Ｈｙｂｒｉｄ Ｐｒｅ
ｄｉｃｔｉｖｅ／Ｔｒａｎｓｆｏｒｍ Ｃｏｄｉｎｇ」
（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＣｏｍｍ
ｕｎｉｃａｔｉｏｎｓ，ＣＯＭ−３３，Ｎｏ．１２（１
９９５年１２月））、またはＮｉｎｏｍｉｙａ及びＯｈ
ｔｓｕｋａの論文「Ａ Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓ
ａｔｅｄ Ｉｎｔｅｒｆｒａｍｅ Ｃｏｄｉｎｇ Ｓｃ
ｈｅｍｅ ｆｏｒ Ｔｅｌｅｖｉｓｉｏｎ Ｐｉｃｔｕ
ｒｅｓ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ
Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ−３０，Ｎ
ｏ．１（１９８２年１月））に開示されている。

【０００５】詳述すると、動き補償ＤＰＣＭに於いて
は、現フレームと前フレームとの間で推定された物体の
動きに基づいて、現フレームデータをその対応する前フ
レームデータから予測する。このような推定された動き
は、前フレームと現フレームとの間の変位を表す２次元
動きベクトルにより表すことができる。

【０００６】物体の画素の変位を推定には、多様な方法
が提案されているが、一般に２つのタイプに分類でき
る。このような動き推定技法の一つは、特徴点を用い
た、画素単位による動き推定である。ここで、各特徴点
は、周囲の画素を表しうる画素点として定義される。特
徴点を用いる動き推定技法に於いては、最初に、前フレ
ーム内に含まれる全ての画素から複数の特徴点が選択さ
れる。

【０００７】その次に、選択された特徴点に対する動き
ベクトルがブロック整合アルゴリズムを用いて特定され
るが、ここで、各々の動きベクトルは、前フレーム内の
一つの特徴点と現フレーム内の対応する整合点（即ち、
最も類似な画素）との間の空間的変位を表す。より詳し
く述べると、各々の特徴点に対する整合点は、現フレー
ム内に於いて対応する特徴点の部分を囲む、予め定めら
れた領域として定義される探索領域で探索される。しか
し、画素単位の動き推定では、ブロック内の全画素が一
方向に移動しない場合、例えば特徴点の正確な動きを推
定しにくいという欠点を有する。

【０００８】特徴点に対する動きベクトルを推定するに
用いるために考案された異なる動き推定技法は、本願出
願の出願人による係属中の米国出願「ＭＥＴＨＯＤ Ａ
ＮＤＡＰＰＡＲＡＴＵＳ ＦＯＲ ＤＥＴＥＲＭＩＮＩ
ＮＧ ＴＲＵＥ ＭＯＴＩＯＮ ＶＥＣＴＯＲＳ ＦＯ
Ｒ ＳＥＬＳＣＴＥＤ ＰＩＸＥＬＳ」の明細書に開示
されている。

【０００９】前フレームに含まれた特徴点に対する真の
動きベクトルを決定する開示された方法及び装置では、
先ず、特徴点に対する１セットの初期動きベクトルが決
定される。その次に、予め定められたＮ個の変位が選択
された特徴点の初期動きベクトルに加えられることによ
って、Ｎ個の候補動きベクトルよりなる一つのサブセッ
トが発生される。選択された特徴点は、例えば、４個の
隣接する特徴点によって取り囲まれて、４個の三角形か
らなる１セットの前ひし形を形成する。その後、隣接す
る特徴点と初期動きベクトルを用いて準特徴点が現フレ
ームに於いて提供され、そしてＮ個の候補動きベクトル
によってＮ個の選択された準特徴点の１セットが選択さ
れた特徴点から発生される。４個の準特徴点は、Ｎ個の
選択された準特徴点により定義された各セットが４個の
三角形からなるＮ個のセットを有する現ひし形を構成す
る。最後に、真の動きベクトルが上述したサブセットに
おけるＮ個の候補動きベクトルから求められる。ここ
で、真の動きベクトルは現ひし形と前ひし形との間に最
小の誤差値をもたらす現ひし形に於ける１セットの４個
の三角形に対応するサブセットの候補動きベクトルを表
す。

【００１０】しかし、従来技術の装置は、上述したセッ
トに於いて、選択された準特徴点の位置と現ひし形に含
まれた各画素の位置との間の距離を考慮せずに、最小の
誤差値を求めるため、選択された準特徴点に対応する特
徴点に対する真の動きベクトルを必ずしも供給できない
という問題点を有する。

【００１１】

【発明が解決しようとする課題】従って、本発明の主な
目的は、改善された特徴点単位の動きベクトル推定技法
を用いて特徴点に対する動きベクトルを正確に推定する
ことによって、映像信号符号化システムの性能を向上さ
せうるように改善された方法及び装置を提供することに
ある。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明の一態様によると、映像信号符号化システム
に用いられ、特徴点に対する１セットの動きベクトルを
推定する動きベクトル推定方法であって、前記各々の特
徴点が、前フレーム上の写像された六角形グリッドの結
節点に位置した画素の位置によって定義される前記動き
ベクトル推定方法であって、

【００１３】（ａ）前記特徴点の各々を逐次的に対象特
徴点として割当てる特徴点割当過程であって、前記対象
特徴点は、その特徴点に隣接する６個の特徴点により取
り囲まれることによって、前六角形を定義し、この前六
角形は６個の三角形よりなる１セットの三角形を有し、
前記三角形の各々は前記対象特徴点とそれに隣接する２
つの特徴点とを連結することによって形成される、特徴
点割当過程と、

【００１４】（ｂ）現フレームの特徴点と前フレームの
特徴点との間の第１セットの初期動きベクトルを求める
初期動きベクトル検知過程と、

【００１５】（ｃ）前記第１セットの初期動きベクトル
を格納する初期動きベクトル格納過程と、

【００１６】（ｄ）前記第１セットの初期動きベクトル
を用いて、前記前六角形の各々に対応する現フレームに
おける現六角形を定義する現六角形定義過程と、

【００１７】（ｅ）対応する対象特徴点に対する前記初
期動きベクトルの各々と予め決められたＮ個の変位の各
々とを順番に加算することによって、初期動きベクトル
毎にＮ個の候補動きベクトルよりなる１セットの候補動
きベクトルを求めるの候補動きベクトル決定過程と、

【００１８】（ｆ）前記各々の現六角形における前記６
個の三角形からなるセットの各々に含まれた各々の画素
に対する予測された画素値を、前記前フレームから求め
ると共に、前記６個の三角形からなるセットの各々にお
ける各画素の位置データを求める位置データ決定過程
と、

【００１９】（ｇ）前記現六角形における各画素の画素
値から、その画素値に対応する予測された画素値を減算
することによって、前記６個の三角形からなるセットの
各々に含まれた前記各画素に対する差分画素値を求める
差分画素値決定過程と、

【００２０】（ｈ）前記６個の三角形からなるセットの
各々の各画素の前記位置データと前記Ｎ個の候補動きベ
クトルの各々に対応する前記現六角形に於ける特徴点の
位置データとに応じて、予め定められた重みファクター
を選択的に割当てる重みファクター割当て過程と、

【００２１】（ｉ）前記差分画素値とその画素値に対応
する重みファクターとを乗算することによって、重み付
けされた差分画素値を求める重み付け過程と、

【００２２】（ｊ）前記現六角形の各々に対応する重み
付けされた差分画素値を平均することによって、前記現
六角形の各々に於ける６個の三角形からなる前記Ｎ個の
セットに対するＮ個の誤差値を求める過程と、

【００２３】（ｋ）前記Ｎ個の誤差値を比較して、最小
の誤差を発生する一つの誤差値を選択する最小誤差値選
択過程と、

【００２４】（ｌ）前記選択された最小の誤差値に対応
する動きベクトルを、前記Ｎ個の候補動きベクトルの各
セットから選択する動きベクトル選択過程と、

【００２５】（ｍ）前記対象特徴点に対する前記格納さ
れた初期動きベクトルを、前記選択された動きベクトル
で更新する動きペクトル更新過程と、

【００２６】（ｎ）前記全ての初期動きベクトルが更新
されるまで、前記過程（ｄ）乃至（ｍ）を繰り返す反復
過程とを有する。

【００２７】本発明の他の態様によると、映像信号符号
化システムに用いられ、特徴点に対する１セットの動き
ベクトルを推定する動きベクトル推定装置であって、前
記各々の特徴点が前フレーム上の写像された六角形グリ
ッドの結節点に位置した画素の位置によって定義され
る、前記動きベクトル推定装置であって、

【００２８】前記各々の特徴点を逐次的に対象特徴点と
して割当てる特徴点割当て手段であって、前記対象特徴
点は、その対象特徴点に隣接する６個の特徴点により取
り囲まれることによって、前六角形を定義し、この前六
角形は６個の三角形よりなる１セットの三角形を有し、
各々の三角形は前記対象特徴点とそれに隣接する２つの
特徴点とを連結することによって形成される、該特徴点
割当て手段と、

【００２９】現フレームの特徴点と前フレームの特徴点
との間の第１セットの初期動きベクトルを求める初期動
きベクトル検知手段と、

【００３０】前記第１セットの初期動きベクトルを格納
する初期動きベクトル格納手段と、

【００３１】前記第１セットの初期動きベクトルを用い
て、前記前六角形の各々に対応する現フレームにおける
現六角形を定義する現六角形定義手段と、

【００３２】対応する対象特徴点に対する前記初期動き
ベクトルの各々とＮ個の変位とを順番に加算することに
よって、初期動きベクトル毎にＮ個の候補動きベクトル
よりなる１セットの候補動きベクトルを求める候補動き
ベクトル決定手段と、

【００３３】前記各々の現六角形における前記６個の三
角形からなるセットの各々に含まれた各々の画素に対す
る予測された画素値を、前記前フレームから求めると共
に、前記６個の三角形からなるセットの各々における各
画素の位置データを求める位置データ決定手段と、

【００３４】前記現六角形における各画素の画素値か
ら、その画素値に対応する予測された画素値を減算する
ことによって、前記６個の三角形からなるセットの各々
に含まれた前記各画素に対する差分画素値を求める差分
画素値決定手段と、

【００３５】前記６個の三角形からなるセットの各々の
各画素の前記位置デ−タと前記Ｎ個の候補動きベクトル
の各々に対応する前記現六角形における特徴点の位置デ
−タとに応じて、予め決定された重みファクターを選択
的に割当てる重みファクター割当手段と、

【００３６】前記差分画素値とその画素値に対応する重
みファクターとを乗算することによって、重み付けされ
た差分画素値を求める重み付け手段と、

【００３７】前記現六角形の各々に対応する重み付けさ
れた差分画素値を平均することによって、前記現六角形
の各々における６個の三角形からなる前記Ｎ個のセット
に対するＮ個の誤差値を求める誤差値決定手段と、

【００３８】前記Ｎ個の誤差値を比較して、最小の誤差
を発生する一つの誤差値を選択すると共に、前記選択さ
れた最小の誤差値に対応する動きベクトルを前記Ｎ個の
候補動きベクトルの各セットから選択する動きベクトル
選択手段と、

【００３９】前記対象特徴点に対する前記動きベクトル
格納手段に格納された初期動きベクトルを前記選択され
た動きベクトルで更新する初期動きベクトル更新手段
と、

【００４０】前記全ての初期動きベクトルが更新された
時、前記更新された動きベクトルを前記動きベクトルの
セットとして取出す動きベクトル取出し手段とを有す
る。

【００４１】

【発明の実施の形態】以下、本発明の好適な実施の形態
について、図面を参照しながらより詳しく説明する。

【００４２】図１には、本発明の新規な動き推定デバイ
ス２００を用いる映像信号符号化システムのブロック図
が示されている。入力ディジタル映像信号は、現フレー
ム信号として第１フレームメモリ１００に格納される。

【００４３】動き推定デバイス２００にて、第１フレー
ムメモリ１００から取出されたラインＬ１０上の現フレ
ーム信号と、第２フレームメモリ１２４から取出された
ラインＬ１２上の再構成された前フレーム信号とを処理
して、特徴点に対する推定された第１セットの動きベク
トルと、それらの位置データとを求める。この動き推定
デバイス２００の詳細は図２を参照して詳しく述べられ
る。動き推定デバイス２００から第１セットの動きベク
トルは、ラインＬ２０を介して現フレーム動きベクトル
検知器１２６とエントロピー符号化器１０７とに供給さ
れる。その間に、特徴点に対する位置データはラインＬ
２５を通じて現フレーム動きベクトル検知器１２６に供
給される。

【００４４】この現フレーム動きベクトル検知器１２６
にて、動き推定デバイス２００から供給されたラインＬ
２０及びＬ２５上の第１セットの動きベクトル及び位置
データを用いて、ラインＬ１０上の現フレームにおける
全ての画素に対する第２セットの動きベクトルが求めら
れる。第２セットの動きベクトルを求めるために、先
ず、準特徴点が特定される。このような準特徴点は、前
フレームの特徴点から第１セットの動きベクトルの分だ
けシフトされた現フレームの画素を表す。準特徴点が特
定された後、現フレームにおける残りの画素点、即ち、
非準特徴点に対する動きベクトルが次のように求められ
る。

【００４５】最初に、準特徴点を連結するラインセグメ
ントと重ならない複数の多角形、例えば、六角形が定義
される。その後、各多角形を形成する準特徴点とそれら
の各々に対応する特徴点との間の位置関係に基づいて、
現フレームの各多角形に含まれた各画素に対する前フレ
ーム上の予測された位置が求められる。その次に、予測
された位置に基づいて、各画素に対する予測された画素
値が前フレームから得られて、そして現フレームにおけ
る画素と前フレームから予測された画素との間の変位か
ら現フレームにおける各画素に対する動きベクトルが求
められる。求められた第２セットの動きベクトルは、動
き補償器１３０へ供給されて画素単位で予測された現フ
レームを発生する。

【００４６】この動き補償器１３０は、予測された現フ
レームに含まれるべき画素の各値を第２セットに含まれ
た動きベクトルの各々を用いて、第２フレームメモリ１
２４から取出した予測された現フレーム信号をラインＬ
３０を介して減算器１０２と加算器１１５へ供給する。

【００４７】減算器１０２にて、ラインＬ１１上の現フ
レーム信号からラインＬ３０上の予測された現フレーム
信号を減算して、その結果のデータ、即ち、それらの間
の差分画素値を表すフレーム差分信号は、映像信号エン
コーダ１０５へ供給されるが、ここでそのフレーム差分
信号は、例えば、離散的コサイン変換（ＤＣＴ）法と、
公知の量子化法とを用いて１セットの量子化された変換
係数に符号化される。

【００４８】次に、量子化された変換係数は、エントロ
ピー符号化器１０７と映像信号デコーダ１１３へ伝送さ
れる。エントロピー符号化器１０７においては、映像信
号エンコーダ１０５からの量子化された変換係数とライ
ンＬ２０上の第１セットの動きベクトルとは、例えば、
ランレングス符号化法と可変長符号化法との組合わせを
用いて各々符号化されて伝送される。一方、映像信号デ
コーダ１１３は、映像信号エンコーダ１０５からの量子
化された変換係数を逆量子化法と逆ＤＣＴ法とを用いて
再構成されたフレーム差分信号に変換する。

【００４９】映像信号デコーダ１１３からの再構成され
たフレーム差分信号とラインＬ３０上の予測された現フ
レーム信号とは、加算器１１５にて加算されることによ
って、第２フレームメモリ１２４上に前フレーム信号と
して書き込まれるべき再構成されたフレーム信号が出力
される。このフレーム差分信号の再構成は、エンコーダ
が受信機のデコーダの動作をモニターするために必要で
あり、これによって、エンコーダにて再構成された現フ
レーム信号が受信機のデコーダの現フレーム信号からず
れることを防止する。

【００５０】本発明の動き推定デバイス２００以外の上
述した映像信号符号化システムの詳細な説明は、本願出
願の出願人による係属中のＥＰＣ特許出願番号第９５，
１０６，８５４．３号、また米国特許出願番号第０８／
４３４，８０８号の「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡ
ＲＡＴＵＳ ＦＯＲ ＥＮＣＯＤＩＮＧ／ＤＥＣＯＤＩ
ＮＧ Ａ ＶＩＤＥＯ ＳＩＧＮＡＬ」明細書に開示さ
れており、本願に引用例として加えられる。

【００５１】非特徴点に対する動きベクトルを特定する
映像信号符号化装置の他の異なる例が、本願出願の出願
人による１９９４年１２月３０日に出願された係属中の
米国特許出願番号第０８／３６７，５２０号「ＭＥＴＨ
ＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＥＮＣＯ
ＤＩＮＧ Ａ ＶＩＤＥＯ ＳＩＧＮＡＬ ＵＳＩＮＧ
ＰＩＸＥＬ−ＢＹ−ＰＩＸＥＬ ＭＯＴＩＯＮ ＰＲ
ＥＤＩＣＴＩＯＮ」に開示されており、これも本願に引
用例として加えられる。それらの映像信号符号化装置に
おいては、画素位置から最も近位の準特徴点への距離
と、動きベクトルを計算するのに用いられるべき他の準
特徴点を含む予め定められた拡張された半径との和によ
って定義された所定の半径を有する円の境界内に配置さ
れた準特徴点の動きベクトルを平均することによって、
非準特徴点に対する各画素位置の動きベクトルが求めら
れる。

【００５２】図２を参照すると、図１に示した本発明の
動き推定デバイス２００の詳細なブロック図が示されて
いる。図２に示したように、ラインＬ１２上の前フレー
ム信号は特徴点選択器２１０、特徴点動きベクトル検知
器２２０及び現六角形信号予測器２６０に入力される。
そして、ラインＬ１０上の現フレーム信号は、第３フレ
ームメモリ２７０に入力され格納される。

【００５３】特徴点選択器２１０においては、前フレー
ムに含まれた画素から、複数の特徴点が選択される。そ
れらの特徴点の各々は、前フレームにおいて物体の動き
を表しうる画素点である。

【００５４】図３を参照すると、１０×７画素の例示的
なフレームが示されている。そのフレームの中心の周り
に移動物体が存在し、移動物体の動きが１セットの画素
（例えば、５１１乃至５１９）によって適正に表現さ
れるならば、それらの画素はそのフレームの特徴点とし
て選択される。

【００５５】本発明の好適な実施の形態において、多様
なタイプのグリッド、例えば、図４に示した六角形グリ
ッドを用いて、特徴点が求められる。図４に示したよう
に、特徴点は、グリッドの結節点上に配置される。

【００５６】図２を再度参照すると、特徴点選択器２１
０から選択された特徴点の位置デ−タは、ラインＬ２５
を介して図１に示した現フレーム動きベクトル検知器１
２６へ供給されると共に、特徴点動きベクトル検知器２
２０と六角形位置デ−タ選択器２４０に入力されて格納
される。

【００５７】特徴点動きベクトル検知器２２０にて、特
徴点選択器２１０からの特徴点の位置デ−タと第３フレ
ームメモリ２７０から取出された現フレーム信号とに基
づいて、選択された特徴点に対する第１セットの初期動
きベクトルが求められる。第１セットの初期動きベクト
ルの各々は、前フレームにおける特徴点とこの特徴点に
最も類似な現フレームにおける画素との間の空間的変位
を表す。画素単位で動きベクトルを検知するため、多数
の処理アルゴリズムが提案されている。本発明の好適な
実施の態様においては、ブロック整合アルゴリズムが用
いられる。即ち、特徴点の位置データが特徴点選択器２
１０から受信される場合、対象特徴点を有する前フレー
ムのＭ×Ｍ画素（例えば、５×５画素）の特徴点ブロッ
クが図１に示した第２フレームメモリ１２４からライン
Ｌ１２を介して取出される。ここで、対象特徴点はＭ×
Ｍ画素の特徴点ブロックの中央に配置され、Ｍは奇数で
ある。その後、特徴点ブロックに対する動きベクトルが
誤差関数、例えば、平均絶対誤差（ＭＡＥ）または平均
２乗誤差（ＭＳＥ）から求めた類似計算に基づいて特定
される。この誤差関数は、特徴点ブロックと、第３フレ
ームメモリ２７０から取出された現フレームの概ねより
大きい探索領域（例えば、１０×１０画素）に含まれた
同一の大きさの複数の各候補ブロックとの差を表す。こ
こで動きベクトルは、特徴点ブロックと最小の誤差関数
をもたらす候補ブロックとの間の変位を表す。

【００５８】その後、特定された動きベクトルは、特徴
点の初期動きベクトルとして設定される。全ての特徴点
に対する初期動きベクトルを求めた後、初期動きベクト
ルは、第１セットの初期動きベクトルとして動きベクト
ルメモリ２３０に供給されて格納される。

【００５９】一方、六角形位置データ選択器２４０はそ
の内部に格納された特徴点の各々を対象特徴点として順
番に割り振る。図５に示したように、対象特徴点（例え
ば、５１７）はその瞬間に対象特徴点として選択されな
い６個の隣接した特徴点（５１１乃至５１６）により取
り囲まれることによって、対象特徴点５１７が中心に位
置して６個の三角形（５２１乃至５２６）を提供する前
六角形（例えば、５００）を形成する。前六角形５００
を形成する各対象特徴点（例えば、５１７）とその対象
特徴点に隣接する６個の特徴点（例えば、５１１乃至５
１６）に対する位置データは、動きベクトルメモリ２３
０へ伝送される。六角形位置データ選択器２４０から動
きベクトルメモリ２３０への位置データの伝送は、コン
トローラ３００からの第１制御信号ＣＳ１によって制御
される。

【００６０】動きベクトルメモリ２３０に格納された初
期動きベクトルの格納状態をモニターする、コントロー
ラ３００は、第１及び第２制御信号ＣＳ１、ＣＳ２を六
角形位置データ選択器２４０と動きベクトル変位発生デ
バイス２５０へ出力することによって、それらの動作を
制御する。

【００６１】一方、六角形位置データ選択器２４０から
の対象特徴点の位置データに応じて、動きベクトルメモ
リ２３０に格納された対応する初期動きベクトルが、予
め定められた回数分だけ動きベクトル変位発生デバイス
２５０へ順番に供給され、また対象特徴点に隣接する６
個の特徴点に対する位置データに応じて、対応する動き
ベクトルが読み取られて、現六角形信号予測器２６０へ
伝送される。

【００６２】動きベクトル変位発生器２５２と加算器２
５４とからなる動きベクトル変位発生デバイス２５０
は、各対象特徴点の初期動きベクトルにつきＮ個の候補
動きベクトルよりなる１セットの候補動きベクトルを発
生する働きをする。ここで、Ｎは正の整数である。

【００６３】詳しくは、コントローラ３００からの第２
制御信号ＣＳ２に応じて、動きベクトル変位発生器２５
２に予め格納されたＮ個の予め定められた変位が順番に
読み取られると共に、加算器２５４に供給される。本発
明の好適な実施の態様では、各初期動きベクトルに対し
て変位が水平方向及び垂直方向に０，０から±２，±２
までの範囲内で設定されるのが好ましい。従って、この
場合にＮは２５である。次に、Ｎ個の変位と各対象特徴
点に対する初期動きベクトルとが、加算器２５４で順番
に加算されることによって、初期動きベクトル毎にＮ個
の候補動きベクトルよりなる１セットの候補動きベクト
ルが発生される。その後、Ｎ個の候補動きベクトルより
なるセットは、現六角形信号予測器２６０と動きベクト
ル選択デバイス２９０へ供給される。

【００６４】現六角形信号予測器２６０では、ラインＬ
１２上の前フレーム信号から現六角形に含まれた全ての
画素に対する予測された画素値を得る。予測された画素
値を得るため、先ず、動きベクトルメモリ２３０から前
六角形５００を形成する６個の頂点に対する初期動きベ
クトルが読み取られ、６個の特徴点（即ち、前六角形５
００上において６個の頂点５１１乃至５１６）からそれ
らの各々に対応する初期動きベクトル分だけシフトされ
た現フレームの画素を表す準特徴点（例えば、図６に示
した５１１′乃至５１６′）が求められる。準特徴点が
求められた後、６個の準特徴点（５１１′乃至５１
６′）を連結することによって図６に示した現六角形５
００′が定義される。

【００６５】次に、前六角形５００における目標特徴点
に対するＮ個の候補動きベクトルのセットによって、現
フレームで発生された画素を表すＮ個の目標準特徴点の
セットが求められる。準特徴点とＮ個の目標準特徴点が
求められた後、Ｎ個の目標準特徴点の各々とその各々に
隣接する２つの準特徴点とを連結することによって、Ｎ
個の目標準特徴点の各々に対する６個の三角形からなる
１セットが定義される。図６には、６個の準特徴点（５
１１′乃至５１６′）を連結して現六角形（例えば、５
００′）を発生する過程が図解されている。現六角形５
００′は目標準特徴点５１７′を有することによって、
例えば、図５または図６に破線にて示したように、前六
角形５００に対応する６個の三角形（５２１′乃至５２
６′）よりなる１セットを形成する。図面には詳しく示
されていないが、各々の現六角形は、前六角形５００に
おける目標特徴点５１７から得たＮ個の候補動きベクト
ルによって６個の三角形よりなるＮ個のセットを有する
ことは、当業者には容易に理解されるであろう。

【００６６】次に、Ｎ個の目標準特徴点の各々に対し
て、公知のアフィン変換技法を用いて各々の現六角形内
の全ての画素に対する予測が行われる。当業者には良く
知られているように、移動物体の回転、平行移動及び大
きさの変更などの任意の順序はアフィン変換法により表
現されうる。

【００６７】図６に例示したように、現六角形５００′
における３つの画素（即ち、２つの頂点５１１′、５２
１′と一つの目標特徴点５１７′）が前六角形５００に
おいてそれら各々の特徴点５１１、５１２及び５１７に
対応する準特徴点として特定されると仮定すると、現六
角形５００′の三角形５２１′における画素は、次式の
ようなアフィン変換法によって前六角形５００の三角形
５２１の画素に相互に関連付けられる。

【００６８】

【数１】

【００６９】ここで、ｘ、ｙは、現六角形内の画素の
ｘ、ｙにおける座標を表し、ｘ′、ｙ′は、前六角形内
の予測された位置の座標を表す。そして、６個のａ、
ｂ、ｃ、ｄ、ｅ、ｆはアフィン変換係数である。

【００７０】６個のアフィン変換係数は、相互に関連付
けられた特徴点と、準特徴点とからなる３個のセット、
即ち、５１１−５１１′、５１２−５１２′、５１７−
５１７′から得られた６個の線形方程式を解くことによ
って得られる。一旦６個のアフィン変換係数が得られる
と、三角形５２１′内の残り各画素は、アフィン変換方
程式を用いて三角形５２１における一つの位置に写像さ
れる。このような方法で、現六角形５００′内に含まれ
た各三角形における画素が、前六角形５００から予測さ
れる。２つの隣接する三角形の境界上の画素は、２つの
三角形うちの何れか一つから予測されうる。６個の三角
形からなるＮ個のセットが全て処理されるまで、現六角
形における画素の予測過程は繰り返して行われる。現六
角形を形成する、元の目標準特徴点とその特徴点に隣接
する６個の準特徴点との位置データと、現六角形に含ま
れた全ての画素に対する位置データとは、現六角形信号
を発生するために適した現六角形信号発生器２８０へ供
給される。そして、Ｎ個の目標準特徴点の各々と現六角
形に含まれた各画素に対する位置データは、動きベクト
ル選択デバイス２９０へ供給される。次に、６個の三角
形からなる各セットに対応する予測された画素値の各々
は、動きベクトル選択デバイス２９０へ供給される。

【００７１】現六角形信号発生器２８０は、現六角形信
号予測器２６０からの対応する位置データに応じて現六
角形における各画素値を第３フレームメモリ２７０から
順番に取出すことによって、各画素値を動きベクトル選
択デバイス２９０へ供給する。動きベクトル選択デバイ
ス２９０は、減算器２９２、重みファクター発生器２９
４、乗算器２９６、誤差値計算器２９７、比較器２９８
及び動きベクトル選択器２９９からなる。

【００７２】次に、減算器２９２は、現六角形信号発生
器２８０からの対応する画素値から現六角形信号予測器
２６０からの予測された画素値を減算することによっ
て、現六角形の６個の三角形からなる各セットに対する
差分画素値を求める。その後、減算器２９２にて求めら
れたその差分画素値は、乗算器２９６へ順番に供給され
る。

【００７３】一方、現六角形信号予測器２６０からの現
六角形における各画素の位置データと、Ｎ個の目標準特
徴点の各々に対する位置データとに応じて、本発明の重
みファクター発生器２９４は、その内部に予め格納され
た複数の重みファクターの何れか一つを選択的に発生す
る。本発明によると、現六角形における各画素の位置が
Ｎ個の目標準特徴点の各々に近いほど、その画素はより
大きい重みファクターを有するという概念に基づいて、
重みファクターは好ましく設定される。それは、目標準
特徴点に対応する特徴点に対する正確な動きベクトルを
求めることにおいては、その目標準特徴点に近い画素が
遠く離れている画素より重要であるためである。本発明
の好適な実施の形態では、重みファクターは、０．４乃
至１の範囲内で特定される。この重みファクターは、例
えは、次表のように表すことができる（ここで、範囲の
間隔は１．９のサイズを有し、重みファクターの範囲は
０．４乃至１の範囲と仮定する）。

【００７４】

【表１】

【００７５】前記表から分かるように、各々の目標準特
徴点の位置と現六角形における各画素の位置との間の距
離が０乃至１．９の間にあると、その重みファクター
は、１として選択され、そして、それらの間の距離が４
乃至５．９の間にあると、重みファクターは０．６とし
て選択される。次に、減算器２９２からの各差分画素値
と重みファクター発生器２９４からの各差分画素値に対
応する重みファクターとが乗算器２９６へ同時に供給さ
れる。

【００７６】この乗算器２９６は、減算器２９２からの
差分画素値と重みファクター発生器２９４からの対応す
る重みファクターとを乗ずることによって、重み付けさ
れた差分画素値を誤差値計算器２９７へ供給する。誤差
値計算器２９７にて、６個の三角形からなる各セットに
対する誤差値が、それに対応する重み付けされた差分画
素値を平均することによって得られ、各々の予測された
現六角形に対してＮ個の誤差値よりなる１セットを発生
する。その後、各セットのＮ個の誤差値は比較器２９８
へ供給される。

【００７７】この比較器２９８は、上記各セットのＮ個
の誤差値を比較して、各セットから最小の誤差値を選択
する。比較処理を通じて、比較器２９８は現六角形の各
々に対して最小の誤差値にて動きベクトルを表す選択信
号を発生した後、その選択信号を動きベクトル選択器２
９９へ供給する。

【００７８】動きベクトル選択器２９９は比較器２９８
からの選択信号に応じて、格納されたＮ個の候補動きベ
クトルからなるセットから選択された最小の誤差値に対
応する動きベクトルを、選択された各々の特徴点に対す
る動きベクトルとして選択する。その後、各々の特徴点
に対する選択された動きベクトルはラインＬ２０を通じ
て図１に示した現フレーム動きベクトル検知器１２６へ
供給されると共に、動きベクトルメモリ２３０へ供給さ
れて、格納された目標特徴点に対する動きベクトルが、
選択された動きベクトルで更新される。対象特徴点に対
する更新された動きベクトルは、それに隣接する特徴点
に対する動きベクトルを求める場合に基準動きベクトル
として用いられることに注意すべきである。

【００７９】上記において、本発明の特定の実施の形態
について説明したが、本発明の範囲を逸脱することなく
当業者は種々の改変をなし得るであろう。

【００８０】

【発明の効果】従って、本発明によれば、改善された特
徴点単位の動きベクトル推定法を用いて特徴点に対する
動きベクトルを正確に推定することによって、映像信号
符号化システムの性能を向上することができる。

【図面の簡単な説明】

【図１】本発明の新規な動き推定デバイスを用いるイメ
ージ信号符号化システムのブロック図である。

【図２】図１に示した動き推定デバイスの詳細なブロッ
ク図である。

【図３】特徴点を定義するための例示的なフレームを図
解した図である。

【図４】本発明の好適な実施の形態に基づく、特徴点を
選択するために用いられる前フレーム上に写像された六
角形グリッドを例示する図である。

【図５】前フレームにおける六角形の形成を図解した図
である。

【図６】現フレームにおける六角形の形成を図解した図
である。

【符号の説明】

１０５ 映像信号エンコーダ １０７ エントロピー符号化器 １１３ 映像信号デコーダ １２６ 現フレーム動きベクトル検知器 １３０ 動き補償器 ２００ 動き推定デバイス ２１０ 特徴点選択器 ２２０ 特徴点動きベクトル検知器 ２５２ 動きベクトル変位発生器 ２３０ 動きベクトルメモリ ２４０ 六角形位置データ選択器 ２５４ 加算器 ２６０ 現六角形信号予測器 ２７０ 第３フレームメモリ ２８０ 現六角形信号発生器 ２９０ 動きベクトル選択デバイス ２９２ 減算器 ２９４ 重みファクター発生器 ２９６ 乗算器 ２９７ 誤差値計算器 ２９８ 比較器 ２９９ 動きベクトル選択器 ３００ コントローラ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 映像信号符号化システムに用いられ、
   特徴点に対する１セットの動きベクトルを推定する動き
   ベクトル推定方法であって、前記各々の特徴点が、前フ
   レーム上の写像された六角形グリッドの結節点に位置し
   た画素の位置によって定義される前記動きベクトル推定
   方法であって、 （ａ）前記特徴点の各々を逐次的に対象特徴点として割
   当てる特徴点割当過程であって、前記対象特徴点は、そ
   の特徴点に隣接する６個の特徴点により取り囲まれるこ
   とによって、前六角形を定義し、この前六角形は６個の
   三角形よりなる１セットの三角形を有し、前記三角形の
   各々は前記対象特徴点とそれに隣接する２つの特徴点と
   を連結することによって形成される、特徴点割当過程
   と、 （ｂ）現フレームの特徴点と前フレームの特徴点との間
   の第１セットの初期動きベクトルを求める初期動きベク
   トル検知過程と、 （ｃ）前記第１セットの初期動きベクトルを格納する初
   期動きベクトル格納過程と、 （ｄ）前記第１セットの初期動きベクトルを用いて、前
   記前六角形の各々に対応する現フレームにおける現六角
   形を定義する現六角形定義過程と、 （ｅ）対応する対象特徴点に対する前記初期動きベクト
   ルの各々と予め決められたＮ個の変位の各々とを順番に
   加算することによって、初期動きベクトル毎にＮ個の候
   補動きベクトルよりなる１セットの候補動きベクトルを
   求めるの候補動きベクトル決定過程と、 （ｆ）前記各々の現六角形における前記６個の三角形か
   らなるセットの各々に含まれた各々の画素に対する予測
   された画素値を、前記前フレームから求めると共に、前
   記６個の三角形からなるセットの各々における各画素の
   位置データを求める位置データ決定過程と、 （ｇ）前記現六角形における各画素の画素値から、その
   画素値に対応する予測された画素値を減算することによ
   って、前記６個の三角形からなるセットの各々に含まれ
   た前記各画素に対する差分画素値を求める差分画素値決
   定過程と、 （ｈ）前記６個の三角形からなるセットの各々の各画素
   の前記位置データと前記Ｎ個の候補動きベクトルの各々
   に対応する前記現六角形に於ける特徴点の位置データと
   に応じて、予め定められた重みファクターを選択的に割
   当てる重みファクター割当て過程と、 （ｉ）前記差分画素値とその画素値に対応する重みファ
   クターとを乗算することによって、重み付けされた差分
   画素値を求める重み付け過程と、 （ｊ）前記現六角形の各々に対応する重み付けされた差
   分画素値を平均することによって、前記現六角形の各々
   に於ける６個の三角形からなる前記Ｎ個のセットに対す
   るＮ個の誤差値を求める過程と、 （ｋ）前記Ｎ個の誤差値を比較して、最小の誤差を発生
   する一つの誤差値を選択する最小誤差値選択過程と、 （ｌ）前記選択された最小の誤差値に対応する動きベク
   トルを、前記Ｎ個の候補動きベクトルの各セットから選
   択する動きベクトル選択過程と、 （ｍ）前記対象特徴点に対する前記格納された初期動き
   ベクトルを、前記選択された動きベクトルで更新する動
   きペクトル更新過程と、 （ｎ）前記全ての初期動きベクトルが更新されるまで、
   前記過程（ｄ）乃至（ｍ）を繰り返す反復過程とを有す
   ることを特徴とする動きベクトル推定方法。
2. 【請求項２】 前記現六角形を定義する現六角形定義
   過程（ｄ）は、 前記特徴点とその特徴点の動きベクトルとに基づいて、
   前記現フレームにおける準特徴点を特定する準特徴点特
   定過程であって、前記現六角形は、前記前六角形を定義
   する特徴点に対応する準特徴点を連結することによって
   形成される、準特徴点特定過程を含むことを特徴とする
   請求項１に記載の動きベクトル推定方法。
3. 【請求項３】 前記位置データ決定過程（ｆ）が、 前記各三角形を形成する準特徴点とそれらに対応する特
   徴点との間の位置関係に基づいて、前記各画素に対する
   前記前フレーム上の予測された位置を求める予測位置決
   定過程と、 前記予測された位置に基づいて、前記各画素に対する予
   測された画素値を求める予測画素決定過程とを含むこと
   を特徴とする請求項２に記載の動きベクトル推定方法。
4. 【請求項４】 映像信号符号化システムに用いられ、
   特徴点に対する１セットの動きベクトルを推定する動き
   ベクトル推定装置であって、前記各々の特徴点が前フレ
   ーム上の写像された六角形グリッドの結節点に位置した
   画素の位置によって定義される、前記動きベクトル推定
   装置であって、 前記各々の特徴点を逐次的に対象特徴点として割当てる
   特徴点割当て手段であって、前記対象特徴点は、その対
   象特徴点に隣接する６個の特徴点により取り囲まれるこ
   とによって、前六角形を定義し、この前六角形は６個の
   三角形よりなる１セットの三角形を有し、各々の三角形
   は前記対象特徴点とそれに隣接する２つの特徴点とを連
   結することによって形成される、該特徴点割当て手段
   と、 現フレームの特徴点と前フレームの特徴点との間の第１
   セットの初期動きベクトルを求める初期動きベクトル検
   知手段と、 前記第１セットの初期動きベクトルを格納する初期動き
   ベクトル格納手段と、 前記第１セットの初期動きベクトルを用いて、前記前六
   角形の各々に対応する現フレームにおける現六角形を定
   義する現六角形定義手段と、 対応する対象特徴点に対する前記初期動きベクトルの各
   々とＮ個の変位とを順番に加算することによって、初期
   動きベクトル毎にＮ個の候補動きベクトルよりなる１セ
   ットの候補動きベクトルを求める候補動きベクトル決定
   手段と、 前記各々の現六角形における前記６個の三角形からなる
   セットの各々に含まれた各々の画素に対する予測された
   画素値を、前記前フレームから求めると共に、前記６個
   の三角形からなるセットの各々における各画素の位置デ
   ータを求める位置データ決定手段と、 前記現六角形における各画素の画素値から、その画素値
   に対応する予測された画素値を減算することによって、
   前記６個の三角形からなるセットの各々に含まれた前記
   各画素に対する差分画素値を求める差分画素値決定手段
   と、 前記６個の三角形からなるセットの各々の各画素の前記
   位置データと前記Ｎ個の候補動きベクトルの各々に対応
   する前記現六角形における特徴点の位置データとに応じ
   て、予め決定された重みファクターを選択的に割当てる
   重みファクター割当手段と、 前記差分画素値とその画素値に対応する重みファクター
   とを乗算することによって、重み付けされた差分画素値
   を求める重み付け手段と、 前記現六角形の各々に対応する重み付けされた差分画素
   値を平均することによって、前記現六角形の各々におけ
   る６個の三角形からなる前記Ｎ個のセットに対するＮ個
   の誤差値を求める誤差値決定手段と、 前記Ｎ個の誤差値を比較して、最小の誤差を発生する一
   つの誤差値を選択すると共に、前記選択された最小の誤
   差値に対応する動きベクトルを前記Ｎ個の候補動きベク
   トルの各セットから選択する動きベクトル選択手段と、 前記対象特徴点に対する前記動きベクトル格納手段に格
   納された初期動きベクトルを前記選択された動きベクト
   ルで更新する初期動きベクトル更新手段と、 前記全ての初期動きベクトルが更新された時、前記更新
   された動きベクトルを前記動きベクトルのセットとして
   取出す動きベクトル取出し手段とを有することを特徴と
   する動きベクトル推定装置。
5. 【請求項５】 前記現六角形定義手段が、 前記特徴点とその特徴点の動きベクトルとに基づいて、
   前記現フレームにおける準特徴点を特定する準特徴点特
   定手段であって、前記現六角形は、前記前六角形を定義
   する特徴点に対応する準特徴点を連結することによって
   形成される、準特徴点特定手段を含むことを特徴とする
   請求項４に記載の動きベクトル推定装置。
6. 【請求項６】 前記位置データ決定手段が、 前記各三角形を形成する準特徴点とそれらに対応する特
   徴点との間の位置関係に基づいて、前記各画素に対する
   前記前フレーム上の予測された位置を求める予測位置決
   定手段と、 前記予測された位置に基づいて、前記各画素に対する予
   測された画素値を求める予想画素決定手段とを含むこと
   を特徴とする請求項５に記載の動きベクトル推定装置。