JPH11506576A - 特徴点ベース動き推定技法を用いる映像信号符号化方法及びその装置 - Google Patents

Abstract

(57)【要約】 本発明の符号化方法は、復元基準フレーム内に含まれた画素から特徴点の組を選択し、現フレーム上で準特徴点の組を決定し、準特徴点の組に対する初期動きベクトルの組を決定し、準特徴点のうち一つを主な準特徴点として選択し、各主な準特徴点の初期動きベクトルを複数の候補動きベクトルに加算して、複数の更新済みの初期動きベクトルを発生し、各主な現多角形内に含まれた各画素に対する元基準フレーム上の予測位置を決定し、各画素値に対する予測画素値を求めて複数の予測主な現多角形を形成し、現多角形と各予測主な現多角形との間の差分を計算して複数のピーク信号対雑音比を発生し、更新済みの初期ベクトルのうち一つを選択された更新済みの初期動きベクトルとして選択して、主な準特徴点の初期動きベクトルを選択された更新済みの初期ベクトルで更新し、初期動きベクトルの全体が更新されるまで上記過程を繰り返す。

Description

【発明の詳細な説明】 特徴点ベース動き推定技法を用いる映像信号符号化方法及びその装置発明の技術分野 本発明は、映像信号符号化装置に関し、特に、改善された特徴点ベース動き推 定技法を用いてディジタル映像信号を符号化して、高画質のディジタル映像信号 の伝送レートを効果的に減らし得るディジタル映像信号符号化装置に関する。背景技術 周知のように、ディジタル形態の映像信号の伝送は、アナログ信号の伝送より 良好な画質を保持し得る。一連の映像「フレーム」から構成される映像信号をデ ィジタル形態で表現する時、とりわけ、高精細度テレビ（ＨＤＴＶ）システムの データ伝送には、大量のディジタルデータが必要である。しかし、通常の伝送チ ャネル上の利用可能な周波数帯域は制限されているため、その伝送チャネルを経 て大量のディジタルデータを伝送するためには、伝送すべきデータを圧縮するか 、または減らす必要がある。多様な映像圧縮技法のうち、統計的符号化技法と、 時間的、空間的圧縮技法とを組み合わせた、いわゆるハイブリッド符号化技法が 最も効率的なものとして知られている。 殆どのハイブリッド符号化技法は、動き補償ＤＰＣＭ（差分パルス符号変調） 、２次元ＤＣＴ（離散的コサイン変換）、ＤＣＴ係数の量子化、ＶＬＣ（可変長 符号化）などを用いる。この動き補償ＤＰＣＭは、現フレームとその前フレーム または後続フレーム（即ち、基準フレーム）との間の物体の動きを推定し、物体 の動きに応じて現フレームを予測して、現フレームとその予測値との間の差を表 す差分信号を発生するプロセスである。この技法は、例えば、Staffan Ericsson 氏の論文の「Fixed and Adaptive Predictors for Hybrid Predictive/Transfor m Coding」，IEEE Transactions on Communications,COM-33，NO.12(1985年12月 )と、Ninomiya及びOhtsuka 氏の論文の「A Motion-Compensated Interframe Cod ing Scheme for Television Pictures」，IEEE Transactions on Communication s,COM-30,NO.1(1982年１月)に開示されている。 映像データ間の空間的冗長性を除去するまたは、低減する２次元ＤＣＴは、デ ィジタル映像データのブロック（例えば、８ｘ８画素よりなるブロック）を変換 係数のデータの組に変換する。この技法は、例えば、Chen及びPratt 氏の論文「 Scene Adaptive Coder」,IEEE Transactions on Communications,COM-32,NO.3(1 984 年３月)に開示されている。そのような変換係数のデータを量子化部、ジグ ザグ走査及びＶＬＣにて処理することによって、伝送すべきデータの量を効果的 に圧縮することができる。 詳述すると、動き補償ＤＰＣＭでは、現フレームとその基準フレームとの間の 動きの推定に基づいて、現フレームのデータを対応する基準フレームのデータか ら推定する。このようにして、推定された動きは、基準フレームと現フレームと の間の画素の変位を表す２次元の動きベクトルによって表現される。 物体の画素の変位を推定するのには基本的に２つの方法がある。そのうちの一 つは、ブロックベース推定法であり、他の一つは画素ベース推定法である。ブロ ックベース動き推定法においては、現フレームのブロックは基準フレームのブロ ックと最も良好な整合が得られるまで比較する。これにより、全ブロックに対す るフレーム間変位ベクトル（これは、複数の画素よりなるブロックがフレーム間 でどの位移動したかを示す）を伝送されるべき現フレームに対して推定し得る。 このようなブロック整合技法は、ITU Telecommunication Standardization Se ctor Study Group 15、Working Party 15/1 Experts Group on Very Low Bit Ra te Visual Telephony、「Video Codec Test Model，TMN4 Rev1」、（1994年10月 25日）に開示されているように、ビデオシーケンスに含まれたＰフレーム及びＢ フレームを予測するのに用いられ得る。ここで、Ｐまたは予測フレームは（基準 フレームとしての）前フレームから予測され、Ｂまたは両方向予測フレームは（ 基準フレームとしての）前フレーム及び後続フレームから予測される。詳述する と、いわゆるＢフレームの符号化においては、前後方変位ベクトルを求めるため に両方向動き推定法を用いる。前方変位ベクトルは、Ｂフレームと（基準フレー ムとしての）前イントラ（Ｉ）または予測（Ｐ）フレームとの間の物体の動きを 推定して求められ、後方変位ベクトルは、Ｂフレーム及び（基準フレーム としての）後続イントラ（Ｉ）または予測（Ｐ）フレームに基づいて求められる 。しかしながら、ブロックベース動き推定法においては、ブロックの境界で現れ るブロッキング効果が動き補償プロセスの際に生じ得、また、ブロック内の全画 素が一方に移動しない場合には、正確な動きを推定しにくくなることによって、 全体的な画質が低下される。 一方、画素ベース動き推定法を用いると、全ての画素に対して変位が求められ る。この方法によると、画素値をより正確に推定し得、スケール変更（例えば、 映像平面に鉛直した動き、即ち、ズーミング）も簡単に扱うことができる。しか し、この画素ベース動き推定法においては、動きベクトルが全ての画素に対して 求められるため、実際に全ての動きベクトルのデータを受信機へ伝送することは 不可能である。 画素ベース動き推定法によって生じる過度な伝送データに関する問題を克服す るための方法のうちの一つとして、特徴点ベース動き推定法がある。 この特徴点ベース動き推定法においては、選択された画素（即ち、特徴点）の組 に対する動きベクトルが受信機へ伝送される。ここで、各特徴点は隣接画素を表 し得る画素として規定されることによって、受信機においては、各特徴点に対す る動きベクトルを用いて非特徴点に対する動きベクトルを復元するかまたは近似 化することができる。本願発明と出願人を同じくする係属中の米国特許出願番号 第08/367,520号明細書に、「Method and Apparatus for Encoding a Video Sign al Using Pixel-by-Pixel Motion Estimation」との各称で開示されているよう に、特徴点ベース動き推定法を採用するエンコーダにおいては、最初、前フレー ムに含まれている全ての画素から複数の特徴点が選択される。しかる後、選択さ れた特徴点に対する動きベクトルが求められる。各動きベクトルは、前フレーム における一つの特徴点と現フレームにおける対応する整合点（即ち、最も類似な 画素）との間の空間的変位を表す。詳述すると、各特徴点に対する整合点は、周 知のブロック整合アルゴリズムを用いて現フレーム内の探索領域で求められる。 ここで、特徴点ブロックは選択された特徴点を取り囲むブロックとして定義され 、探索領域は対応する特徴点の位置を取り囲む所定のエリア内の領域として定義 される。 この場合、選択された特徴点に対応する全探索領域を通じて整合特徴点のうち 最も良好な一つのみを求めるのが最も好ましい。しかしながら、特徴点の整合の 際に、複数の同一の最適整合特徴点ブロックが得られる場合も有る。従って、特 徴点ブロック及び対応する探索領域との間でそのような相関性を有する特徴点に 対する動きベクトルを、正確に検索するのは困難である。さらに、現フレームに おいて、探索領域が基準フレームにおける特徴点と現フレームにおける対応する 整合点（即ち、最も類似な画素）との間の空間的変位によって決定されない場合 は、正確な動きを推定しにくくなることによって、全体的な画質が低下されると いう不都合がある。発明の開示 従って、本発明の目的は、特徴点に対する動きベクトルを効果的に推定するこ とによって、高画質のディジタル映像信号の伝送率を効率的に減らし得るディジ タル映像信号符号化方法を提供することにある。 本発明の他の目的は、映像信号符号化システムに用いられ、特徴点ベース動き 推定法を用いて動きベクトルを効果的に推定して、高画質のディジタル映像信号 の伝送率を効率的に減らし得るディジタル映像信号符号化装置を提供することに ある。 本発明のさらに他の目的は、特徴点ベース動き推定法及びブロックベース動き 推定法を選択的に用いて、全体的な映像の画質を効果的に向上させ得る映像信号 符号化システムを提供することにある。 上記の目的を達成するために、本発明の好適な一実施例によれば、特徴点ベース 動き推定技法を用いて、映像信号で表現された、現フレームと復元基準フレーム 及び元基準フレームを有する基準フレームとの間の動きベクトルの組を推定する 動きベクトル推定方法であって、前記復元基準フレーム内に含まれた画素から、 複数の重複多角形を有する多角グリッドを形成する特徴点の組を選択する第ａ過 程と、前記特徴点の組に基づいて、前記現フレーム上で準特徴点の組を決定する 第ｂ過程と、前記準特徴点の組に対する、各成分がゼロに設定される初期動きベ クトルの組を決定する第ｃ過程と、前記準特徴点のうちのいずれか一つを、該当 準特徴点に隣接するＮ個の隣接準特徴点を有するＬ個の主な準特徴点として選択 する第ｄ過程であって、該Ｎ個の隣接準特徴点が前記主な準特徴点と前記Ｎ個（ Ｍ、Ｎは正の整数）の隣接準特徴点との間を結ぶ線分により規定される主な現多 角形を形成する、前記第ｄ過程と、固定されている前記各主な準特徴点の初期動 きベクトルを、前記主な現多角形内の予め定められた領域を取り囲むＭ個の候補 動きベクトルに加算して、Ｍ個の更新済みの初期動きベクトルを発生する第ｅ過 程と、前記主な準特徴点に対する前記各Ｍ個の更新済みの初期動きベクトル及び 対応する隣接準特徴点の前記Ｍ個の初期動きベクトルに基づいて、前記各主な現 多角形内に含まれた各画素に対する前記元基準フレーム上の予測位置を決定する 第ｆ過程と、前記元基準フレームからの予測位置に基づいて前記各画素値に対す る予測画素値を求めて、Ｍ個の予測された主な現多角形を形成する第ｇ過程と、 前記現多角形と前記予測された主な現多角形の各々との間の差分を計算し、Ｍ個 のピーク信号対雑音比（ＰＳＮＲ）を発生する第ｈ過程と、前記更新済みの初期 ベクトルのうちのいずれか一つを、最大のＰＳＮＲを有する予測された主な現多 角形をもたらす選択された更新済みの初期動きベクトルとして選択して、前記主 な準特徴点の初期動きベクトルを前記選択された更新済みの初期ベクトルで更新 する第ｉ過程と、前記初期動きベクトルの全体が更新されるまで、前記第ｄ過程 〜前記第ｉ過程を繰り返す第ｊ過程と、前記繰返し過程が予め定められた回数だ け行われるまで、前記第ｊ過程を繰り返す第ｋ過程とを含むことを特徴とする動 きベクトル推定方法が提供される。 本発明の好適な他の実施例によれば、映像信号符号化システムに用いられ、特 徴点ベース動き推定技法を用いて、映像信号で表現された、現フレームと復元基 準フレーム及び元基準フレームを有する基準フレームとの間の動きベクトルの組 を推定する動きベクトル推定装置であって、前記復元基準フレームから、複数の 重複多角形を有する多角グリッドを形成する特徴点の組に用いられるべき、画素 の組を選択する第１選択手段と、前記特徴点の組に対応する前記現フレーム上で 準特徴点の組を決定する準特徴点決定手段と、前記準特徴点の組に対する、各成 分がゼロに設定される初期動きベクトルの組を格納する格納手段と、前記準特徴 点の組から該当準特徴点に隣接するＮ個の隣接準特徴点を有するＬ個の主な準特 徴点を選択する第２選択手段であって、該Ｎ個の隣接準特徴点が前記主な準特徴 点と前記Ｎ個（Ｌ、Ｎは正の整数）に隣接準特徴点との間を結ぶ線分により規定 される非重複の主な現多角形を形成する、前記第２選択手段と、固定されている 前記各主な準特徴点の初期動きベクトルを、前記各非重複の主な現多角形内の予 め定められた領域を取り囲むＭ個の候補動きベクトルに加算して、前記各主な準 特徴点に対するＭ個の更新済みの初期動きベクトルを発生する加算手段と、前記 各更新済みの初期動きベクトル及び対応する隣接準特徴点の前記初期動きベクト ルに基づいて、前記各非重複の主な現多角形内に含まれた各画素に対する前記元 基準フレーム上で予測位置を決定する予測位置決定手段と、前記予測位置に基づ いて前記元基準フレームから予測画素を求めることによって、前記各非重複の主 な現多角形に対するＭ個の予測された主な現多角形を形成する予測画素発生手段 と、前記各非重複の主な現多角形と対応する前記Ｍ個の予測された主な現多角形 との間の差分を計算し、前記各非重複現多角形に対するＭ個のピーク信号対雑音 比（ＰＳＮＲ）を発生する差分計算手段と、前記各主な準特徴点に対する前記更 新済みの初期ベクトルのうちのいずれか一つを、最大のＰＳＮＲを有する予測さ れた主な現多角形をもたらす選択された更新済みの初期動きベクトルとして選択 して、Ｌ個の選択された更新済みの初期動きベクトルを発生する第３選択手段と 、前記格納手段内に格納された前記各主な準特徴点に対する前記初期動きベクト ルを、前記対応する選択された更新済みの初期動きベクトルを用いて更新する更 新手段と、前記初期動きベクトルの全体が予め定められた回数だけ更新された場 合、前記格納手段からの前記初期動きベクトルの組を前記動きベクトルの組とし て取出す動きベクトル取出手段とを含むことを特徴とする動きベクトル推定装置 が提供される。図面の簡単な説明 図１は、本発明による特徴点ベース動き補償部が組み込まれた映像信号符号化 装置のブロック図であり、 図２は、（Ａ）及び（Ｂ）よりなり、各々フレームシーケンスを説明するため の概略的な模式図あり、 図３は、図１中の動き補償部の詳細なブロック図であり、 図４は、図３中の動きベクトル探索部の例示的なブロック図であり、 図５は、（Ａ）及び（Ｂ）よりなり、各々現フレーム及び復元予測フレームの 例示的な模式図であり、 図６は、（Ａ）〜（Ｅ）よりなり、各々本発明による特徴点選択過程を説明す るための例示的な模式図であり、 図７は、（Ａ）及び（Ｂ）よりなり、各々本発明による動きベクトル探索過程 を説明するため模式図である。発明の実施の様態 以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。 図１には、本発明による映像信号符号化システムのブロック図が示されている。 この符号化システムはフレーム再配列部101、減算部102、映像信号エンコーダ10 5、映像信号デコーダ113、加算部115、第１フレーム格納部120、第２フレーム格 納部130、エントロピー符号化部107 及び動き補償部150 から構成されている。 入力ディジタル映像信号は、図２に示したように、二つのフレーム（または、 ピクチャ）シーケンスを有し、第１フレームシーケンスは一つのイントラ（Ｉ） フレームI1と、三つの両方向予測フレームB1、B2、B3と、三つの予測フレームP1 、P2、P3とを有し、第２フレームシーケンスは一つのイントラ（Ｉ）フレームI1 と、三つの前方予測フレームF1、F2、F3と、三つの予測フレームP1、P2、P3とを 有する。従って、映像信号符号化システムは二つのシーケンス符号化モード、即 ち、第１シーケンス符号化モード及び第２シーケンス符号化モードを備える。 第１シーケンス符号化モードにおいて、ラインＬ17は第１スイッチ103 によっ てラインＬ11に接続されて、I1、B1、P1、B2、P2、B3、P3からなる第１フレーム シーケンスが第１スイッチ103 を通じてフレーム再配列回路101 に供給される。 このフレーム再配列回路101 は入力シーケンスを例えばI1、P1、B1、P2、B2、P3 、B3のディジタル映像信号に再配列することによって、Ｂフレームに対する両方 向予測フレーム信号を求める。その後、再配列されたディジタル映像信号は、ラ インＬ18を介して第２スイッチ104 ａに、ラインL12 を介して第１フレーム格納 部120 に、ラインL1を介して動き補償部150 に各々供給される。 第２シーケンス符号化モードにおいては、ラインＬ17は第１スイッチ103 により ラインＬ11に接続されて、I1、F1、P1、F2、P2、F3、P3からなる第２フレームシ ーケンスが第１スイッチ103 を通じて、ラインＬ12を介して第１フレーム格納部 120 に、ラインL1を介して動き補償部150 に、ラインL18 を介して第２スイッチ 104aに各々供給される。第１スイッチ103 は、従来のシステム制御部、例えば、 マイクロプロセッサ（図示せず）からのシーケンスモード制御信号CS1 により駆 動される。上述したことから分かるように、第１シーケンス符号化モードで行わ れる場合、再配列による遅延があるため、テレビ電話及び電子会議等の適用分野 においては第２シーケンス符号化モードが低遅延モードとして効率的に用いられ 得る。 図１に示したように、映像信号符号化システムは、二つのフレーム符号化モー ド、即ち、フレーム間符号化モード及びフレーム内符号化モードを選択的に行う のに用いられる第２スイッチ104a及び第３スイッチ104bを備える。公知のように 、第２スイッチ104a及び第３スイッチ104bは、システム制御部からのフレームモ ード制御信号CS2 により同時に駆動される。 フレーム間符号化モードにおいて、インタフレームＩ1 は、現フレーム信号とし てラインＬ14を介して映像信号エンコーダ105 に直接に供給される。この現フレ ーム信号は例えば、離散的コサイン変換（ＤＣＴ）及び周知の量子化技法の一つ を用いて、量子化変換係数の組に符号化される。また、インタフレームＩ1は、 第１フレーム格納部120 のフレームメモリ121 内の元基準フレームとして格納さ れる。ここで、第１フレーム格納部120は、ラインＬ2、Ｌ3 及びＬ4 を介して動 き補償部150 に各々接続されている三つのフレームメモリ121、122 及び123 を 備える。しかる後、量子化変換係数はエントロピー符号化部107 及び映像信号デ コーダ113 に各々供給される。エントロピー符号化部107 において、映像信号エ ンコーダ105 からの量子化変換係数は、例えば、可変長符号化技法を用いて同時 に符号化され、その伝送のための伝送器（図示せず）に伝送される。 一方、映像信号デコーダ113 は、逆量子化及び逆離散的コサイン変換技法を用い て、映像信号エンコーダ105 からの量子化変換係数を復元イントラフレーム（フ レーム間）信号に再度変換する。その後、映像信号デコーダ113 からの復元フレ ーム間信号は、第２フレーム格納部130 のフレームメモリ131 内の復元基準フレ ームとして格納される。ここで、第２フレーム格納部130 は、ラインＬ´2、Ｌ ´3、Ｌ´4 を介して動き補償部150 に各々接続されている三つのフレームメモ リ131、131、133 を備える。 インタ符号化モードにおいて、インタフレーム（例えば、予測フレームP1、両方 向予測フレームまたは前方予測フレームF1）は、現フレーム信号として動き補償 部150 及び減算部102 に各々供給され、第１フレーム格納部120 のフレームメモ リ131に格納される。ここで、いわゆるインタフレームは両方向予測フレームB1 、B2、B3、予測フレームP1、P2、P3及び前方予測フレームF1、F2、F3を備える。 しかる後、既にフレームメモリ121 に格納されていた元基準フレームは、ライン Ｌ2 を介して動き補償部150 に供給され、フレームメモリ122 にシフトされるか または格納される。この動き補償部150 は、後述するように、ブロックベース動 き補償チャネル及び特徴点ベース動き補償チャネルを有する。 現フレームが予測フレームP1である場合、ラインＬ1 上の現フレーム信号及びラ インL ´1 上の第２フレーム格納部130 のフレームメモリ131 からの復元基準フ レーム信号は、ブロックベース動き補償チャネルを通じて処理され、ラインＬ30 上に予測現フレーム信号を発生し、ラインＬ20上に動きベクトルの組を発生する ために、現フレーム信号を予測する。現フレームが前方予測フレームF1（または 、両方向予測フレームB1）である場合には、ラインＬ1 上の現フレーム信号、ラ インＬ2、Ｌ3、Ｌ4 のうちの一つ上の第１フレーム格納部120 からの元基準フレ ーム信号、及びラインＬ´2、Ｌ´3、Ｌ´4 のうちの一つ上の第２フレーム格納 部130 からの復元基準フレーム信号は、特徴点ベース動き補償チャネルを通じて 処理され、ラインＬ30上に現フレーム信号を発生し、ラインＬ20上に動きベクト ルの組を各々発生するために、現フレーム信号を予測する。図３を参照して、動 き補償部150 を詳細に説明する。 減算部102 においては、ラインＬ３０上の予測現フレーム信号とラインＬ15上 の現フレーム信号との間の差が求められ、結果データ（即ち、差分画素値を表す 誤差信号）は映像信号エンコーダ105 に入力される。ここで、誤差信号は、例え ば、ＤＣＴ及び周知の量子化法の一つを用いて、量子化変換係数の組に符号化さ れる。即ち、現フレームと予測現フレームとの間の差によって求められた誤差が ＤＣＴ符号化される。この場合、誤推定された動きベクトルにより発生された激 しく劣化された領域のみを補償するため、量子化幅の大きさは大きい値に設定さ れる。 続いて、量子化変換係数は、エントロピー符号化部107 及び映像信号デコーダ 113 に各々供給される。エントロピー符号化部107 において、映像信号エンコー ダ105 からの量子化変換係数及び動き補償部150 からラインＬ20を介して伝送さ れた動きベクトルは、例えば、可変長符号化技法を用いて同時に符号化され、そ の伝送のために伝送器（図示せず）に伝送される。 一方、映像信号デコーダ113 は、逆量子化及び逆離散的コサイン変換を用いて 、映像信号エンコーダ105 からの量子化変換係数を復元誤差信号に再度変換する 。 映像信号デコーダ113 からの復元誤差信号及びラインL16 を介して動き補償部 150 から入力された予測現フレーム信号は、第３スイッチ104 ｂを介して加算部 115 にて組み合せられることによって、ラインＬ´1 を介して、第２フレーム格 納部130 内に前フレームとして格納されるべき復元基準フレーム信号を供給する 。 第２フレーム格納部130 は、例えば、図１に示したように、直列に接続されて いる三つのフレームメモリ131、132 及び133 を備える。即ち、加算部115 から の復元フレーム信号は、最初、例えば、フレームメモリ131 に格納された後、ラ インＬ2 を介して動き補償部150 に供給され、加算部115 からの次の復元フレー ム信号がフレームメモリ131 に入力される場合、フレーム単位でフレームメモリ 132 にシフトされる。このプロセスは、映像符号化動作が行われる間、順に繰り 返される。 図２を参照すると、上記した第１及び第２フレームシーケンスの例示図が示さ れている。図示したように、現フレームが予測フレームP1である場合、動きベク トルの組ＳＭＶ１は、復元インタフレームＩ1 を用いて、第２フレーム格納部13 0 から取出された基準フレームとしてブロック単位で求められる。同様に、現フ レームP2及びP3に対する動きベクトルの各組ＳＭＶ２及びＳＭＶ３は、各々基準 フレームP1及びP2を用いて求められる。 現フレームが両方向予測フレームB1である場合、前方向動きベクトルの組ＦＭ Ｖ１は、第２フレーム格納部130 から取出された復元基準フレームI1及び第１フ レーム格納部120 から取出された元基準フレームI1を用いて、特徴点から求めら れる。同様に、現フレームB1に対する後方向動きベクトルの組ＢＭＶ１は、元基 準フレームP1及び復元基準フレームP1を用いて求められる。しかる後、映像信号 符号化システムは、前方向動きベクトルの組ＦＭＶ１と後方向動きベクトルの組 ＢＭＶ１との間で選択され、それに対応する動きベクトルを伝送する。 現フレームが前方予測フレームF1である場合、前方向動きベクトルの組ＦＭＶ２ は、第１フレーム格納部120 から取出された元基準フレームI1及び第２フレーム 格納部130 から取出された復元基準フレームF1を用いて、特徴点から求められる 。 上述したように、動き推定及び補償のため、第１及び第２フレームシーケンス に含まれた各フレームは、第１及び第２フレーム格納部120、130 内に下記の〔 表Ｉ］及び〔表II〕に示したように配列される。 ここで、Ｉ１：前方向動き推定に対して用いられるフレーム Ｐ１、Ｐ２：後方向動き推定に対して用いられるフレーム 上記のように、予測フレームP1、P2、P3は、ブロックベース動き推定を用いたＤ ＣＴベース予測符号化（いわゆる、ＴＭＮ４）技法を通じて再構成され、介在フ レーム（即ち、両方向予測フレームB1、B2、B3）または、前方予測フレームF1、 F2、F3は、本発明による改善された特徴点ベース動き補償−離散的コサイン変換 （ＭＣ−ＤＣＴ）技法を用いて再構成される。 図３には、図１に示した動き補償部150 の詳細なブロック図が示されている。図 ３に示したように、動き補償部150 は、三つの入力選択部154、155 及び156、 ブロックベース動き補償部151、第１特徴点ベース動き補償部152、第２特徴点ベ ース動き補償部153 及び二つの出力選択部157、158 を備える。 従来のブロック整合アルゴリズムを用いたブロックベース動き補償部151 は、各 予測フレームP1、P2、P3に対する動きベクトルの組を検出し、それに対応する予 測フレームに対する予測現フレームを発生する。従って、〔表Ｉ〕及び〔表II〕 に示したように、予測フレームＰ１が現フレームとしてブロックベース動き補償 部151 に供給される場合、入力選択部154 は、ラインＬ´2 上の復元インタフレ ームＩ1 を基準フレームとして、ブロックベース動き補償部151 に供給する。ブ ロックベース動き補償部151 においては、動きベクトルの組が推定され、予測現 フレーム信号がその推定を通じて構成される。その後、動きベクトルの組及び予 測現フレーム信号は、ラインＬ20及びＬ30上の各出力選択部157、158 を介して 、エントロピー符号化部107 及び減算部102 に各々供給される。 アフィン変換を用いる第１特徴点ベース動き補償部152 は、各両方向予測フレー ムB1、B2、B3または前方予測フレームF1、F2、F3に対する前方向推定の動きベク トルの組を検出し、それに対応する両方向または前方予測フレームに対する予測 現フレームを発生する。従って、ラインＬ1 上の両方向予測フレームB1が、現フ レームとして第１特徴点ベース動き補償部152 に供給される場合、入力選択部15 5 は、〔表Ｉ〕に示したように、ラインＬ2 上の元イントラフレームＩ1 を元基 準フレームとして第１特徴点ベース動き補償部152 に供給する。入力選択部156 は、ラインＬ´2 上の復元イントラフレームＩ1 を復元基準フレームとして第１ 特徴点ベース動き補償部152 に供給して、予測フレームを発生する。第１特徴点 ベース動き補償部152 においては、前方向推定の動きベクトルの組が復元基準フ レーム及び元基準フレームを用いて推定され、予測現フレーム信号が復元基準フ レームを用いて構成される。続いて、前方向推定の動きベクトルの組及び予測現 フレーム信号は、ラインＬ20、Ｌ30上の各出力選択部157、158 を介して供給さ れる。ここで、各出力選択部157 及び158 は、システム制御部（図示せず）から の制御信号CS5 及びCS6 によって制御される。 第２特徴点ベース動き補償部153 は後述するアフィン変換を用いて、各両方向予 測フレームB1、B2、B3に対する各後方向推定の動きベクトルの組を検出し、それ に対応する両方向予測フレームに対する予測現フレームを発生する。従って、両 方向予測フレームB1が、現フレームとして第２特徴点ベース動き補償部153 に供 給される場合、ラインＬ2 上の元基準フレームP1は、元基準フレームとして第２ 特徴点ベース動き補償部153 に供給され、ラインＬ´2 上の復元予測フレームP1 は、復元基準フレームとして第２特徴点ベース動き補償部153に供給される。第 ２特徴点ベース動き補償部153 において、後方向推定の動きベクトルの組は復元 基準フレーム及び元基準フレームを用いて求められ、予測現フレーム信号は復元 基準フレームを用いることによって求められる。その後、後方向推定の動きベク トルの組及び予測現フレーム信号は、ラインＬ20、Ｌ30上の出力選択部157、158 に各々供給される。 図４には、図３中の特徴点ベース動き補償部の詳細なブロック図が示されてい る。第２フレーム格納部130 からのラインＬ´２上の復元基準フレームは、特徴 点の組を発生する特徴点選択部210 と動き補償部240 とに各々入力される。 その後、特徴点の組は、動きベクトル探索部230 及び動き補償部240 に各々供 給される。動きベクトル探索部230 は、元基準フレーム及び現フレームを受取り 、特徴点の組に対する動きベクトルの組を発生する。この動きベクトルの組は、 動きベクトルの組及び特徴点の組に基づいて、予測現フレームを発生する動き補 償部24に伝送される。 特徴点選択部21 において、特徴点の組は復元基準フレーム内に含まれた複数 の画素から選択される。ここで、各特徴点は一つの画素の位置によって規定され る。図５（Ａ）及び（Ｂ）には、現フレーム及び復元基準フレームの例が示され ている。 図６（Ａ）〜（Ｅ）は、本発明による特徴点選択プロセスを説明するための模 式図である。図６（Ａ）に示したように、各エッジは、公知のソベル(Sobel)エ ッジ検出器（例えば、A.K.Jain氏の論文、「Fundamentals of Digital Image Pr ocessing」、1989年、Prentice-Hall International 参照）を用いて、図５（Ｂ ）に示した復元基準フレームＰ（ｘ、ｙ）で検出される。ソベル演算子からの出 力｜▽Ｐ（ｘ、ｙ）｜は、予め定められた閾値Ｔｅと比較される。この予め定め られた閾値Ｔｅは、本発明によって６として好適に選択される。ソベル演算子 からの出力値｜▽Ｐ（ｘ、ｙ）｜が予め定められた閾値Ｔｅより小さい場合、出 力値｜▽Ｐ（ｘ、ｙ）｜は０に設定される。そうでない場合には、その出力値が 変換されない。従って、図６（Ａ）のエッジ映像信号ｅｇ（ｘ、ｙ）は、下記の ように定義される。 ｅｇ（ｘ、ｙ）＝０ ；|▽Ｐ（ｘ、ｙ）|<Ｔｅの場合 ＝|▽Ｐ（ｘ、ｙ）|；その他の場合 本発明の好適実施例において、特徴点は、図６（Ｂ）に示したように、複数の重 複六角形を有する六角グリッドを用いたグリッド技法を用いて決定される。図６ （Ｃ）に示したように、六角形610 は、七つのグリッド点611 〜617 を結ぶ線分 によって決定される。六角形610 に含まれたグリッド点617 は、正方形より隣接 グリッド点611 〜616をさらに取り囲むことによって、特徴点がより効果的に組 合わせられるようにする。六角形610 は六つの非重複三角形621 〜626 を有し、 グリッド点611 〜617 は該三角形621 〜626 の頂点である。六角形610 の解像度 は、本発明によってラインＨＨ及びＨＶにより決定され、好ましくは、各々１３ 及び１０に設定される。 図６（Ｄ）を参照すると、各グリッド点（例えば、G1〜G4）に対して、非重複 探索範囲（例えば、SR1 〜SR4）が設定される。探索範囲ＳＲ１に位置したエッ ジ点（例えば、E7）は、エッジ点（例えば、E7）を取り囲む八つの画素の和値が 最大となる場合、グリッド点（例えば、G1）に対する特徴点になる。従って、特 徴点Diは次のように求められる。 Di =｛(x,y)|Max Σ[k=-1、1]Σ[l=-1、1] EG(x+k、y+1)｝ 式(2) ここで、Σ[x=0、I]Σ[y=0、J]Z(x、y) = Z(0,0)+Z(0,1)+…+Z(0,I)+Z(1,0)+…+Z(1,J)+…+Z(I,0)+Z(I,J) ＥＧ：探索範囲内のエッジ点の値 ｉ：正の整数 特徴点の組は、式（２）を用いて決定される。ここで、特徴点の組は、エッジ 点上に重複するグリッド点と、非重複探索範囲ＳＲｉ内に位置し、それを取り囲 む画素点の最大和値を有するエッジ点と、非重複探索範囲内に含まれたエッジ点 のない該当グリッド点とを備える。 その後、最大和値を有するエッジ点が一つ以上存在する場合には、グリッド点に 最も近いエッジ点を特徴点として決定する。 特徴点の組が決定された場合、図６（Ｂ）に示した六角グリッドは、図６（Ｅ ）に示す六角形の特徴点グリッドとして変形される。六角形の特徴点グリッドが 決定された後、特徴点の組は動きベクトルの組を検出する、図４の動きベクトル 探索部230 に供給される。本発明によると、アフィン変換を用いる収束プロセス は、動きベクトルの組を探索するのに用いられる。 図７（Ａ）及び（Ｂ）には、本発明による動きベクトル探索の過程を説明する ための模式図が示されている。準特徴点の組は、特徴点の組を用いて現フレーム で決定される。ここで、各復元基準フレームの特徴点は、それに対応する現フレ ームの準特徴点にマッピングされる。各準特徴点(例えば、D1〜D30)に対する初 期の動きベクトルは（０、０）に設定される。 しかる後、準特徴点（例えば、D7）がその動きベクトルの推定のため処理され るべき主な準特徴点として割当てられるか捨てられる際、主な現多角形700 が収 束の過程で用いられる。主な現多角形700 は、主な準特徴点D7と、主な準特徴点 D7を取り囲むそれに隣接する準特徴点（例えば、D1〜D6）とを接続する線分によ り決定される。主な現多角形700 は、六つの非重複三角形701 〜706 を備える。 ここで、主な準特徴点は三角形の共通頂点上に位置する。 その後、予め定められた候補動きベクトルの数が、順に準特徴点D7の初期動き ベクトルに加算される。ここで、予め定められた候補動きベクトルの数は、水平 及び垂直に０〜±７の範囲内で好適に選択され、候補動きベクトルD7Y1は、三角 形701が逆になるので許されない。候補動きベクトルD7X1は、更新された初期動 きベクトルD7D ´7 を発生するため、該六つの隣接する特徴点D1〜D6の初期動き ベクトルを変更せず、主な準特徴点D7の初期ベクトルに加えられる。従って、更 新された初期動きベクトルD7D ´7 は、主な準特徴点D7と候補準特徴点D ´7 と の間の変位を表す。 主な現多角形700 に含まれた各画素に対する予測位置は、更新された初期動き ベクトル及び隣接する準特徴点の初期ベクトルを用いて、元基準フレーム上に決 定される。 しかる後、主な現多角形700 に含まれた各画素の位置は、予測位置に対応する 元基準フレーム上の画素値によって補間され、予測された主な現多角形を形成す る。本発明の好適実施例によると、このプロセスは、三つの特徴点（例えば、D1 、D2、D7）を有する各三角形(例えば、701)にて周知のアフィン変換により行わ れる。アフィン変換は、下記のように定義される。 ここで、（ｘ、ｙ）：予測された主な現多角形内の画素のｘ及びｙ座標 （ｘ´、ｙ´）：元基準フレーム上の予測位置 ａ〜ｆ：アフィン変換係数 六つのマッピングパラメータａ、ｂ、ｃ、ｄ、ｅ、ｆは、三つの準特徴点（例え ば、D1、D2、D7）の動きベクトルを用いてユニークに決定される。一旦アフィン 変換係数が決定されると、三角形701 における各残余画素は、元基準フレームの 位置上にマッピングされ得る。元基準フレームの予測位置（ｘ´、ｙ´）が多く の場合において整数の組でないため、予測位置（ｘ´、ｙ´）で補間されたグレ イレベルは、公知の双線形補間技法(bilinear interpolation technique)を用い て求められる。アフィンマッピングプロセスが各三角形701 〜706 に別に適用さ れる。その後、候補動きベクトルに対する予測された主な現多角形が求められる 。 その後、予測された主な現六角形は現六角形700 と比較され、予測された主な 現六角形のピーク信号対雑音比(ＰＳＮＲ:peak signal to noise ratio)及び現 六角形が増加するかがチェックされる。この場合、主な準特徴点D7の初期動きベ クトル（０、０）は、更新済みの初期動きベクトルD7D ´7 に更新される。 このプロセスは、残余の候補動きベクトルに対して反復され、また、第１過程 における上記現フレームに含まれた全ての準特徴点にも行われる。 図７（Ｂ）を参照すると、第１過程が完成されたとする場合、準特徴点D7は、 主な準特徴点にセットされ、隣接する準特徴点D1〜D6に対する更新された初期動 きベクトルは、D1D ´2、D2D ´2、D3D ´3、D4D ´4、D5D ´5及びD6D ´6 で ある。同様にして、予め定められた候補動きベクトルは、主な準特徴点D7D ´7 の初期動きベクトルに順に加算される。例えば、候補動きベクトルD ´7X2 は、 それに隣接する六つの特徴点D1D ´1、D2D ´2、D3D ´3、D4D ´4、D5D ´5、D 6D ´6 の動きベクトルを変更せず、初期動きベクトル主な準特徴点D7D ´7 の 初期ベクトルに加算される。従って、更新された初期動きベクトルはD7X2になる 。上述したように、予め定められた候補動きベクトルの数は、水平及び垂直に０ 〜±７の範囲内で好適に選択される。しかし、候補動きベクトルD7Y2は、三角形 701 が逆になるので許容されない。 主な現多角形700 に含まれた各画素に対する予測位置は、更新された動きベク トルD7X2及び隣接する準特徴点D1D ´1、D2D ´2、D3D ´3、D4D ´4、D5D ´5 及びD6D ´6 の初期ベクトルを用いて、元基準フレーム上で決定される。しかる 後、主な現多角形700 に含まれた各画素の位置は、予測された主な現多角形700 ´（図７（Ｂ）の点線）からの予測位置に対応する元基準フレーム上の画素値に よって補間される。 続いて、予測された主な現多角形700 ´は、現六角形と比較され、予測された 主な現六角形のＰＳＮＲ及び現六角形が増加するかがチェックされる。この場合 、主な準特徴点D7D ´7 の初期動きベクトルは、更新済みの初期動きベクトルD7 X2に更新される。 このプロセスは、残余候補動きベクトルに対して反復され、また、第２過程に おける現フレームに含まれた全ての準特徴点にも行われる。 上記プロセスは、動きベクトルが収束されるまで全ての特徴点に行われるが、 好ましくは、殆どの場合、動きベクトルが５番目の段階の前に収束されるため、 第５段階に設定される。 上述したように、収束の過程において、各特徴点の変位は、動きベクトルとし て表われ、各六角形の六つの三角形は、その頂点特徴点の変位を用いて独立的に アフィン変換される。変位がより良好なＰＳＮＲを供給する場合、主な準特徴点 の動きベクトルは順に更新される。従って、収束の過程は、ズーミング、回転ま たはスケーリング物体を有する元映像により近くし得る予測映像を決定する整合 プロセスにおいて非常に効果的である。 本発明の好適実施例によると、このプロセスは、ハードウェアの実行のため、 三つの過程にて行われ得る。図７（Ａ）に示したように、主な非重複現多角形を 形成する、D1、D3及びD5として表示された準特徴点は、最初、各六つの隣接する 特徴点（D2、D7、D6、D10、D11、D17）、(D2、D4、D7、D12、D13、D19)、(D4、D 6、D7、D8、D9、D15)を用いて同時に処理される。 図４を再び参照すると、その後、全ての準特徴点に対して求められた動きベク トルは、復元基準フレームを用いて予測現フレーム信号を発生する動き補償ブロ ック240 に、全ての特徴点に対して動きベクトルとして供給される。即ち、予測 現フレーム信号は、復元前フレーム及び求められた動きベクトルを用いるアフィ ン変換によって求められる。上述したように、このマッピングは、復号化システ ム（図示せず）が復元基準フレームのみ有するため、復元基準フレームが元基準 フレームの代わりに用いられたことを除いては、動きベクトル検索プロセスに対 して用いられたアフィン変換を用いて同一に行われる。 一方、符号化システムは、特徴点ベース動き補償を用いて、動きベクトルのみ 有する非常に正確な映像を発生するので、現フレームと予測現フレームとの間の 差分またはエラー信号は伝送されない。 上述したように、特徴点ベース動き補償を用いた本発明の符号化システムは、 動き補償の組を正確に得ることによって、符号化効果をより向上させ得る。 特徴点ベース動き補償アルゴリズムは映像特徴点に基づき、アフィン変換は物体 の回転及びズーミングを補償するのに用いられる。通常の場合、動き補償された 映像は、高画質のより高いＰＳＮＲを有する。もし大量の動きにおける予測を失 敗したとき、エラー映像は、大きい量子化幅を有するＤＣＴを用いて符号化され 伝送され得る。詳述すると、２４k bpsにて本発明の符号化システムを用いてよ り正確な物体の画質を得ることができる。また、特徴点の位置はフレーム単位で 変更するため、本発明の符号化システムは、基準フレームとして、符号化部及び 復号化部ともに存在して特徴点の位置情報を伝送する必要がない復元現フレーム を用いる。さらに、本発明の符号化システムに用いられた画素単位動き補償は、 動きベクトルのみ有するアフィン変換を用いてズーミング、回転及び物体のスケ ーリングを補償し得るため、ブロックベース動き補償より高画質の物体を発生す る。 上記において、本発明の特定な実施例について説明したが、本細書に記載した 特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論 である。

Claims (1)

1. 【特許請求の範囲】 １．特徴点ベース動き推定技法を用いて、映像信号で表現された、現フレームと 復元基準フレーム及び元基準フレームを有する基準フレームとの間の動きベクト ルの組を推定する動きベクトル推定方法であって、 前記復元基準フレーム内に含まれた画素から、複数の重複多角形を有する多 角グリッドを形成する特徴点の組を選択する第ａ工程と、 前記特徴点の組に基づいて、前記現フレーム上で準特徴点の組を決定する第 ｂ工程と、 前記準特徴点の組に対する、各成分がゼロに設定される初期動きベクトルの 組を決定する第ｃ工程と、 前記準特徴点のうちのいずれか一つを、該当準特徴点に隣接するＮ個の隣接 準特徴点を有するＬ個の主な準特徴点として選択する第ｄ工程であって、該Ｎ個 の隣接準特徴点が前記主な準特徴点と前記Ｎ個（Ｎは正の整数）の隣接準特徴点 との間を結ぶ線分により規定される主な現多角形を形成する、前記第ｄ工程と、 固定されている前記各主な準特徴点の初期動きベクトルを、前記主な現多角 形内の予め定められた領域を取り囲むＭ個の候補動きベクトルに加算して、Ｍ個 の更新済みの初期動きベクトルを発生する第ｅ工程と、 前記主な準特徴点に対する前記各Ｍ個の更新済みの初期動きベクトル及び対 応する隣接準特徴点の前記Ｍ個の初期動きベクトルに基づいて、前記各主な現多 角形内に含まれた各画素に対する前記元基準フレーム上の予測位置を決定する第 ｆ工程と、 前記元基準フレームからの予測位置に基づいて前記各画素値に対する予測画 素値を求めて、Ｍ個の予測された主な現多角形を形成する第ｇ工程と、 前記現多角形と前記予測された主な現多角形の各々との間の差分を計算し、 Ｍ個のピーク信号対雑音比（ＰＳＮＲ）を発生する第ｈ工程と、 前記更新済みの初期ベクトルのうちのいずれか一つを、最大のＰＳＮＲを有 する予測された主な現多角形をもたらす選択された更新済みの初期動きベクト ルとして選択して、前記主な準特徴点の初期動きベクトルを前記選択された更新 済みの初期ベクトルで更新する第ｉ工程と、 前記初期動きベクトルの全体が更新されるまで、前記第ｄ工程〜前記第ｉ工 程を繰り返す第ｊ工程と、 前記繰返し工程が予め定められた回数だけ行われるまで、前記第ｊ工程を繰 り返す第ｋ工程 とを含むことを特徴とする動きベクトル推定方法。 ２．前記第ａ工程が、 Ｐ（ｘ、ｙ）が前記基準フレームであり、｜▽Ｐ(x、y)｜が周知のソベル演 算子からの出力であり、Ｔｅが予め定められた閾値である時、前記復元基準フレ ームにおけるエッジ映像ｅｇ（ｘ、ｙ）を次のように ｅｇ（ｘ、ｙ）＝０ ；|▽Ｐ（ｘ、ｙ）|<Ｔｅの場合 ＝|▽Ｐ（ｘ、ｙ）|；その他の場合 検出する第a1工程と、 エッジ映像上で、複数の重複多角形を形成するための多数のグリッド点を有 する多角グリッドを決定する第a2工程と、 前記各グリッド点に対する非重複探索範囲を決定する第a3工程と、 前記探索範囲内に位置し、周辺画素点の和値が最大となるエッジ点と重複す る、非重複探索範囲に含まれたエッジ点のないグリッド点を有する前記特徴点の 組を決定する第a4工程 とを有することを特徴とする請求の範囲１に記載の動きベクトル推定方法。 ３．前記特徴点の組が、一つまたは複数のエッジ点が前記探索範囲で同一の最大 の和値を有する場合、前記多角グリッドに最も近接するエッジ点を有することを 特徴とする請求の範囲２に記載の動きベクトル推定方法。 ４．前記多角形が六角形であり、Ｎは６であることを特徴とする請求の範囲３に 記載の動きベクトル推定方法。 ５．前記主な現六角形が、前記主な準特徴点とそれに隣接する前記準特徴点とを 結ぶ線分によって規定される六つの三角形を備えることを特徴とする請求の範囲 ４に記載の動きベクトル推定方法。 ６．前記周辺画素点の数が８であり、前記予め定められた反復回数が５回であり 、前記予め定められた閾値が６であることを特徴とする請求の範囲５に記載の動 きベクトル推定方法。 ７．前記予め定められた領域が、垂直及び水平方向に０〜±７の範囲を有するこ とを特徴とする請求の範囲６に記載の動きベクトル推定方法。 ８．ＥＧが前記探索範囲内のエッジ点の値であり、ｉが正の整数である時、前記 特徴点Ｄｉが次のように Di =｛(x,y)|Max Σ[k=-1、1]Σ[l=-1、1] EG(x+k、y+1)｝ ここで、Σ[x=0、I]Σ[y=0、J]Z(x、y) = Z(0,0)+Z(0,1)+…+Z(0,I)+Z(1,0)+…+Z(1,J)+…+Z(I,0)+Z(I,J) 定義されることを特徴とする請求の範囲７に記載の動きベクトル推定方法。 ９．映像信号符号化システムに用いられ、特徴点ベース動き推定技法を用いて、 映像信号で表現された、現フレームと復元基準フレーム及び元基準フレームを有 する基準フレームとの間の動きベクトルの組を推定する動きベクトル推定装置で あって、 前記復元基準フレームから、複数の重複多角形を有する多角グリッドを形成 する特徴点の組に用いられるべき、画索の組を選択する第１選択手段と、 前記特徴点の組に対応する前記現フレーム上で準特徴点の組を決定する準特 徴点決定手段と、 前記準特徴点の組に対する、各成分がゼロに設定される初期動きベクトルの 組を格納する格納手段と、 前記準特徴点の組から該当準特徴点に隣接するＮ個の隣接準特徴点を有する Ｌ個の主な準特徴点を選択する第２選択手段であって、該Ｎ個の隣接準特徴点が 前記主な準特徴点と前記Ｎ個（Ｌ、Ｎは正の整数）の隣接準特徴点との間を結ぶ 線分により規定される非重複主な現多角形を形成する、前記第２選択手段と、 固定されている前記各主な準特徴点の初期動きベクトルを、前記各非重複主 な現多角形内の予め定められた領域を取り囲むＭ個の候補動ベクトルに加算して 、前記各主な準特徴点に対するＭ個の更新済みの初期動きベクトルを発生する加 算手段と、 前記各更新済みの初期動きベクトル及び対応する隣接準特徴点の前記初期動 きベクトルに基づいて、前記各非重複主な現多角形内に含まれた各画素に対する 前記元基準フレーム上で予測位置を決定する予測位置決定手段と、 前記予測位置に基づいて前記元基準フレームから予測画素を求めることによ って、前記各非重複主な現多角形に対するＭ個の予測された主な現多角形を形成 する予測画素発生手段と、 前記各非重複主な現多角形と対応する前記Ｍ個の予測された主な現多角形と の間の差分を計算し、前記各非重複現多角形に対するＭ個のピーク信号対雑音比 （ＰＳＮＲ）を発生する差分計算手段と、 前記各主な準特徴点に対する前記更新済みの初期ベクトルのうちのいずれか 一つを、最大のＰＳＮＲを有する予測された主な現多角形をもたらす選択された 更新済みの初期動きベクトルとして選択して、Ｌ個の選択された更新済みの初期 動きベクトルを発生する第３選択手段と、 前記格納手段内に格納された前記各主な準特徴点に対する前記初期動きベク トルを、前記対応する選択された更新済みの初期動きベクトルを用いて更新する 更新手段と、 前記初期動きベクトルの全体が予め定められた回数だけ更新された場合、前 記格納手段からの前記初期動きベクトルの組を前記動きベクトルの組として取出 す動きベクトル取出手段 とを含むことを特徴とする動きベクトル推定装置。 10．前記第１選択手段が、 Ｐ（ｘ、ｙ）が前記基準フレームであり、｜▽Ｐ(x、y)｜が周知のソベル演 算子からの出力であり、Ｔｅが予め定められた閾値である時、前記復元基準フレ ームにおけるエッジ映像ｅｇ（ｘ、ｙ）を次のように ｅｇ（ｘ、ｙ）＝０ ；|▽Ｐ（ｘ、ｙ）|<Ｔｅの場合 ＝|▽Ｐ（ｘ、ｙ）|；その他の場合 検出するエッジ映像検出手段と、 エッジ映像上で、複数の重複多角形を形成するための多数のグリッド点を有 する多角グリッドを決定する多角グリッド決定手段と、 前記各グリッド点に対する非重複探索範囲を決定する非重複探索範囲決定手段 と、 前記探索範囲内に位置し、周辺画素点の和値が最大となるエッジ点と重複す る、非重複探索範囲に含まれたエッジ点のないグリッド点を有する前記特徴点の 組を決定する特徴点決定手段 とを含むことを特徴とする請求の範囲９に記載の動きベクトル推定装置。 11．前記特徴点の組が、一つまたは複数のエッジ点が前記探索範囲で同一の最大 の和値を有する場合、前記多角グリッドに最も近接するエッジ点を有することを 特徴とする請求の範囲10に記載の動きベクトル推定装置。 12．前記多角形が六角形であり、Ｎは６であることを特徴とする請求の範囲11に 記載の動きベクトル推定装置。 13．前記主な現六角形が、前記主な準特徴点とそれに隣接する前記準特徴点とを 結ぶ線分によって規定される六つの三角形を備えることを特徴とする請求の範囲 12に記載の動きベクトル推定装置。 14．前記周辺画素点の数が８であり、前記予め定められた反復回数が５回であり 、前記予め定められた閾値が６であることを特徴とする請求の範囲13に記載の動 きベクトル推定装置。 15．前記予め定められた領域が、垂直及び水平方向に０〜±７の範囲を有するこ とを特徴とする請求の範囲14に記載の動きベクトル推定装置。 16．現フレーム及び基準フレームを有する複数のフレームを備えるディジタル映 像信号を符号化して、該映像信号の伝送率を減らすディジタル映像信号符号化装 置であって、前記ディジタル映像信号の復元基準フレームを格納する第１格納手 段と、 前記ディジタル映像信号の元基準フレームを格納する第２格納手段と、 ブロックベース動き推定を用いて、前記現フレームと前記復元基準フレーム との間の複数の動きベクトルを検出し、前記複数の動きベクトル及び前記復元 基準フレームに基づいて、第１予測現フレームを発生する第１の動き補償手段と 、 特徴点ベース動き推定を用いて、前記復元基準フレームから特徴点の組を選 択し、前記現フレームと前記特徴点の組に対応する前記元基準フレームとの間に 動きベクトルの組を検出し、前記動きベクトルの組及び前記復元基準フレームに 基づいて、第２予測フレームを発生する第２の動き補償手段と、 前記複数の動きベクトル及び前記第１予測現フレーム、または前記動きベク トルの組及び前記第２予測現フレームを、選択された動きベクトル及び前記予測 現フレームとして選択的に供給する選択手段と、 前記予測現フレームと前記現フレームとの間の変位を表すエラー信号を変換 符号化し、変換符号化エラー信号を発生する変換符号化手段と、 前記変換符号化エラー信号及び前記選択された動きベクトルを統計的に符号 化して、伝送されるべき符号化映像信号を発生する統計的符号化手段 とを含むことを特徴とするディジタル映像信号符号化装置。 17．前記第２の動き補償手段が、 前記復元基準フレームからの画素の組を、複数の重複多角形を有する多角グ リッドを形成する特徴点の組として選択する第１選択手段と、 前記特徴点の組に対応する前記現フレーム上で、準特徴点の組を決定する準 特徴点決定手段と、 前記準特徴点の組に対する、各成分がゼロに設定される初期動きベクトルの 組を格納する格納手段と、 前記準特徴点の組から、前記主な準特徴点及びＮ個（Ｎは正の整数）の隣接 する準特徴点とを結ぶ線分によって規定される非重複主な現多角形を形成する、 Ｎ個の隣接準特徴点を有するＬ個（Ｌは正の整数）の主な準特徴点を選択する第 ２選択手段と、 前記各主な準特徴点に対する前記隣接特徴点の初期動きベクトルが固定され ており、前記各主な準特徴点の初期動きベクトルを、前記各非重複主な現多角形 内の予め定められた範囲を取り囲むＭ個の候補動きベクトルに加算し、前記各主 な準特徴点に対するＭ個（Ｍは正の整数）の更新された初期動きベクトル を発生する加算手段と、 前記更新された初期動きベクトル及び前記隣接準特徴点に対応する前記初期 動きベクトルに基づいて、前記各非重複主な現多角形内に含まれた各画素に対す る前記元基準フレーム上の予測位置を決定する予測位置決定手段と、 前記予め定められた位置に基づいて、前記元基準フレームから予め定められ た画素値を求めることによって、前記各非重複主な現多角形に対するＭ個の予測 された主な現多角形を形成する画素値計算手段と、 前記各非重複主な現多角形と前記対応するＭ個の予測された主な現多角形と の間の差分を求め、前記各非重複主な現多角形に対するＭ個のピーク信号対雑音 比（ＰＳＮＲ）を発生する差分計算手段と、 前記各主な準特徴点に対して、更新済みの初期動きベクトルのうちのいずれ か一つを、最大のＰＳＮＲを有する前記予測された主な現多角形をもたらす選択 された更新済みの初期動きベクトルとして選択してＬ個の選択された更新された 初期ベクトルを発生する第３選択手段と、 前記格納手段に格納された前記各主な準特徴点に対する前記初期動きベクト ルを前記対応する選択された更新済みの初期動きベクトルを用いて更新する更新 手段と、 前記初期動きベクトルの全てが予め定められた回数より更新された際、前記 格納手段から前記初期動きベクトルの組を前記動きベクトルの組として取出す動 きベクトル取出し手段 とを含むことを特徴とする請求の範囲16に記載のディジタル映像信号符号化装 置。 18．前記第１選択手段が、 Ｐ（ｘ、ｙ）が前記基準フレームであり、｜▽Ｐ(x、y)｜が周知のソベル演 算子からの出力であり、Ｔｅが予め定められた閾値である時、前記復元基準フレ ームにおけるエッジ映像ｅｇ（ｘ、ｙ）を次のように ｅｇ（ｘ、ｙ）＝０ ；|▽Ｐ（ｘ、ｙ）|<Ｔｅの場合 ＝|▽Ｐ（ｘ、ｙ）|；その他の場合 検出するエッジ映像検出手段と、 エッジ映像上で、複数の重複多角形を形成するための多数のグリッド点を有す る多角グリッドを決定する多角グリッド決定手段と、 前記各グリッド点に対する非重複探索範囲を決定する非重複探索範囲決定手 段と、 前記探索範囲内に位置し、周辺画素点の和値が最大となるエッジ点と重複す る、非重複探索範囲に含まれたエッジ点のないグリッド点を有する前記特徴点の 組を決定する特徴点決定手段 とを有することを特徴とする請求の範囲17に記載のディジタル映像信号符号化 装置。 19．前記多角形が六角形であり、Ｎは６であり、前記主な現六角形が、前記主な 準特徴点とそれに隣接する準特徴点とを結ぶ線分により規定される六つの三角形 を有し、前記予測位置決定手段が公知のファイン変換を用いることを特徴とする 請求の範囲18に記載のディジタル映像信号符号化装置。 20．前記周辺画素点の数が８であり、前記予め定められた反復回数が５回であり 、前記予め定められた閾値が６であることを特徴とする請求の範囲19に記載のデ ィジタル映像信号符号化装置。 21．前記予め定められた領域が、垂直及び水平に０〜±７の範囲を有することを 特徴とする請求の範囲20に記載のディジタル映像信号符号化装置。