JPH08307874A - 映像信号符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 特徴点単位の動き推定法を用いて、動きベク
トルを推定して映像信号を効果的に符号化する。 【解決手段】 前フレ−ムを格納する第２フレームメモ
リ（１２４）、前フレ−ムから処理領域を検出して、領
域情報を発生する処理領域検出ブロック（２１０）、複
数の画素を特徴点として選択する特徴点選択ブロック
（２３０）、第１組の動きベクトルを検出する特徴点動
きベクトル探索ブロック（２４０）、現フレ−ム内に含
まれた全ての画素に対する第２組の動きベクトルを検出
する現フレーム動きベクトル検出ブロック（２５０）、
予測された現フレ−ムを決定する動き補償ブロック（２
６０）、第１フレ−ム差分信号を発生する減算器（１０
２）、第１フレ−ム差分信号を符号化する映像信号エン
コーダ（１０５）と、再構成されたフレ−ム差分信号を
発生する映像信号デコーダ（１１３）、再構成された現
フレ−ム信号を前フレ−ム信号として発生する加算器
（１１５）、第１フレ−ム差分信号、第１組の動きベク
トル及び領域情報を統計的に符号化するエントローピ符
号化器（１０７）を含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は映像信号を符号化す
るための装置に関し、特に、特徴点単位の動き推定法を
用いて、映像信号を効果的に符号化し得る映像信号符号
化装置に関する。

【０００２】

【従来の技術】周知のように、従来のディジタル映像信
号の伝送は、アナログ信号の伝送より良好な画質を保持
し得る。一連のイメ−ジ「フレ−ム」から構成された映
像信号がディジタル信号として表現される場合、特に、
高精細度テレビ（ＨＤＴＶ）の場合、大量のデ−タが伝
送されなければならない。しかし、従来の伝送チャネル
の使用可能な周波数帯域幅は限定されているので、その
大量のディジタルデ−タを伝送するためには、伝送すべ
きデ−タを圧縮してその量を低減する必要がある。多様
な圧縮技法にうち、確率的符号化技法と、時間的、空間
的圧縮技法とを組み合わせた、いわゆるハイブリッド符
号化技法が最も効率的なものとして知られている。

【０００３】殆どのハイブリッド符号化技法は、動き補
償ＤＰＣＭ（差分パルス符号変調）、２次元ＤＣＴ（離
散的コサイン変換）、ＤＣＴ係数の量子化、ＶＬＣ（可
変長符号化）などを用いる。この動き補償ＤＰＣＭは、
現フレ−ムとその前フレ−ムとの間の物体の動きを推定
し、物体の動きに応じて現フレ−ムを予測して、現フレ
−ムとその予測値との間の差を表す差分信号を生成する
方法である。

【０００４】動き補償されたＤＰＣＭデータのような映
像デ−タ間の空間的冗長性を除去する２次元ＤＣＴにお
いては、例えば、８×８画素のディジタル映像のブロッ
クを一組の変換係数のデ−タに変換する。この技法は、
例えば、Chen及びPratt の論文「Scene Adaptive Code
r」,IEEE Transactions on Communications, COM-32,N
O.3(198年３月）に開示されている。そのような変換係
数のデ−タを量子化器、ジグザグスキャナ及びＶＬＣに
て処理することによって、伝送すべきデ−タの量を効果
的に圧縮することができる。

【０００５】詳述すると、動き補償ＤＰＣＭでは、現フ
レ−ムとその前フレ−ムとの間の動きの推定に基づい
て、現フレ−ムのデ−タを、対応する前フレ−ムのデ−
タから予測する。そのような推定された動きは、前フレ
−ムと現フレ−ムとの間の画素の変位を表す２次元の動
きベクトルによって定義される。物体の画素の変位を推
定するには概ね２つの方法がある。そのうち、一つはブ
ロック単位の推定法であり、もう一つは画素単位の推定
法である。

【０００６】ブロック単位の動き推定法においては、現
フレ−ムのブロックを前フレ−ムのブロックと最も良好
な整合が求められるまで比較する。これから、伝送され
る現フレ−ムに対して、ブロック全体に対するフレ−ム
間の変位ベクトル（フレ−ム間で画素のブロックがどの
位移動したかを表す）が推定される。しかしながら、こ
のブロック単位の動き推定法においては、ブロックの境
界で現れるブロッキング効果が動き補償過程で発生する
おそれがあり、また、ブロック内の全画素が同様に移動
しない場合には、正確な動きを推定しにくくなり、これ
によって、全体的な画算が低下してしまう。

【０００７】一方、画素単位の推定法を用いると、変位
はあらゆる画素に対して求められる。この方法は画素値
をより正確に推定し得、大きさ変更（例えば、映像面に
鉛直の動き、即ち、ズーミング）も簡単に扱うことがで
きる。しかし、この画素単位の動き推定法においては、
動きベクトルがあらゆる画素に対して求められるため、
実際に全ての動きベクトルのデータを受信機へ伝送する
ことは不可能である。画素単位の動き推定法を用いて生
じる過度な伝送データに関する問題を克服するための方
法のうちの一つが、特徴点単位の動き推定法である。

【０００８】この特徴点単位の動き推定法においては、
１組の選択された画素（即ち、特徴点）に対する動きベ
クトルが受信機へ伝送されるが、ここで各々の特徴点
は、物体の動きを代表し得る画素として規定されるた
め、受信機においては、その特徴点に対する動きベクト
ルから現フレームの各画素に対する動きベクトルが復元
されるかまたは近似されることができる。本願発明と出
願人を同じくする係属中の米国特許出願番号第０８／３
６７５２０号明細書に、「Method and Apparatusfor En
coding a Video Signal Using Pixel-by-Pixel Motion
Estimation」という各称でに開示されているように、特
徴点単位の動き推定法を採用している符号化器において
は、最初、グリッド技法または／及びエッジ検出技法を
用いて、前フレ−ムに含まれているあらゆる画素から複
数の特徴点が選択される。しかる後、その選択された特
徴点に対する動きベクトルが求められるが、ここで、各
々の動きベクトルは、前フレームにおける一つの特徴点
と現フレ−ムにおける対応する整合点（即ち、最も類似
な画素）との間の空間的変位を表す。より詳しくは、各
々の特徴点に対する整合点が現フレ−ム内の探索領域で
求められるが、ここで、この探索領域は対応する特徴点
の位置を取り囲む予め定められた領域として定義され
る。

【発明が解決しようとする課題】

【０００９】たとえ、上記の特徴点単位の動き推定法を
用いて、伝送すべきデ−タの量を相当量減らすことがで
きるとしても、このような方法において、グリッド技法
または／及びエッジ検出技法を用いる場合、移動物体だ
けでなく動きのない固定物体からも多くの特徴点が選定
される。このような多量の特徴点により、前述する符号
化方法を行うためにはより複雑な回路が必要となり、そ
の動きベクトルを求めるのに過度な計算上の負担が生じ
てしまう。更に、例えば、６４ｋｂ／ｓの伝送チャネル
幅を有する低ビットレートのコーデックシステムを効果
的に実現するために、伝送すべきデ−タの量を更に低減
する必要がある。

【００１０】従って、本発明の主な目的は、低ビットレ
ートのビデオコーデックシステムに用いられ、特徴点単
位の動き推定法を用いて、映像信号における移動物体を
取り囲む領域から選択された１組の動きベクトルを推定
して、映像信号を効果的に符号化し得る改善された映像
信号符号化装置を提供することにある。

【００１１】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明によれば、動き補償映像信号符号化器に用
いられ、ディジタル映像信号の現フレ−ム及びその前フ
レ−ムに基づいて、予測された現フレ−ムを決定するた
めの映像信号符号化装置であって、前記現フレ−ムと前
記前フレ−ムとの間の差に基づいて、前記前フレ−ムか
ら移動物体を取り囲む処理領域を検出して、検出された
処理領域を表す領域情報を発生する領域検出手段と、前
記領域情報に基づいて、前記検出された処理領域内に含
まれた画素のうち、複数の画素を特徴点として選択する
特徴点選択手段と、前記現フレームと前記前フレームと
の間で、前記特徴点の各々に対する動きを表す第１の組
の動きベクトルを求める第１の動きベクトル検出手段
と、前記第１の組の動きベクトルを用いて、前記現フレ
−ム内に含まれたあらゆる画素に対する第２の組の動き
ベクトルを求める第２の動きベクトル検出手段と、前記
第２の組の動きベクトルを用いて、前フレ−ムにおいて
前記現フレーム内の複数の画素の中のいずれか一つに対
応する画素値を前記現フレ−ム内の該当画素値として割
当てて、前記予測された現フレ−ムを求める動き補償手
段とを含むことを特徴とする。

【００１２】

【発明の実施の形態】以下、本発明の好適な実施例につ
いて図面を参照しながらより詳しく説明する。図１に
は、本発明の現フレ−ム予測ブロック１５０を用いるデ
ィジタル映像信号を圧縮するための映像信号符号化装置
のブロック図が示されている。図示したように、現フレ
−ム信号は入力ディジタル映像信号として、第１フレ−
ムメモリ１００へ供給され格納される。また、第１フレ
ームメモリ１００内の入力ディジタル映像信号は、ライ
ンＬ１０を通じて現フレ−ム予測ブロック１５０へ供給
される。実際に、この入力ディジタル映像信号は第１フ
レ−ムメモリ１００からブロック単位で読み出されて、
ラインＬ１１を通じて減算器１０２へ供給される。入力
ディジタル映像信号のブロックの大きさは、典型的に、
８×８画素乃至３２×３２画素の範囲にある。

【００１３】以下、図２及び図３を参照して述べられる
ように、本発明の現フレーム予測ブロック１５０は、特
徴点単位の動き推定法を用いて、再構成された前フレー
ムの処理領域で１組の動きベクトルを求める。第１フレ
ームメモリ１００から取り出されたラインＬ１０上の現
フレーム信号と、第２フレームメモリ１２４から取り出
されたラインＬ１２上の前フレーム信号とを用いて、特
徴点全体に対する動きベクトルを求めた後、ラインＬ３
０上へ予測された現フレーム信号を発生する。これらの
動きベクトルは画素単位で現フレームを予測するのに用
いられる。同時に、現フレーム予測ブロック１５０は、
１組の動きベクトルと領域の位置を表す領域情報とをラ
インＬ２０を通じてエントロピー符号化器１０７へも供
給する。

【００１４】減算器１０２においては、ラインＬ１１上
の現フレーム信号からラインＬ３０上の予測された現フ
レーム信号を減算して、その結果データ、即ち、差分画
素値を表すエラー信号を映像信号エンコーダ１０５に供
給する。この映像信号エンコーダ１０５にて、エラー信
号は、例えば、ＤＣＴ及び既知の量子化方法のうちの一
つを用いて、１組の量子化された変換係数に符号化され
る。その後、量子化された変換係数はエントロピー符号
化器１０７及び映像信号デコーダ１１３へ各々伝送され
る。

【００１５】エントロピー符号化器１０７にて、映像信
号エンコーダ１０５からの量子化された変換係数、動き
ベクトル及び領域情報は、例えば、既知の可変長符号化
法を用いて、各々符号化されて伝送機(図示せず)へ伝送
される。映像信号デコーダ１１３は、映像信号エンコー
ダ１０５からの量子化された変換係数を逆量子化及び離
散的逆コサイン変換を用いて、再構成されたエラー信号
に再度変換する。映像信号デコーダ１１３からの再構成
されたエラー信号と、現フレーム予測ブロック１５０か
らのラインＬ３０上の予測された現フレーム信号とは加
算器１１５にて組み合わせられることによって、第２フ
レームメモリ１２４に前フレーム信号として格納される
べき再構成されたフレーム信号を発生する。

【００１６】図２を参照すると、図１に示した現フレー
ム予測ブロック１５０の詳細なブロック図が示されてい
る。この現フレーム予測ブロック１５０は処理領域検出
ブロック２１０、特徴点選択ブロック２３０、特徴点動
きベクトル探索ブロック２４０、現フレーム動きベクト
ル検出ブロック２５０及び動き補償ブロック２６０を含
む。

【００１７】第１フレームメモリ１００からのラインＬ
１０上の現フレーム信号と、第２フレームメモリ１２４
からのラインＬ１２上の前フレーム信号とは、処理領域
検出ブロック２１０に入力される。この処理領域検出ブ
ロック２１０は現フレーム信号と前フレーム信号との間
の差を用いて、移動物体を含む処理領域を検知する働き
をする。図３を参照すると、２つの重なったフレーム３
００（即ち、現フレーム及び前フレーム）が一例として
示されており、各々のフレームは５×７個の映像ブロッ
クを有する。各々の映像ブロックは複数の画素、例え
ば、１６×１６画素を有する。重なったフレームが４つ
の物体（例えば、３つの固定物体３１０、３２０及び３
３０）と一つの移動物体３４０とを含み、２つのフレー
ム間の差が移動物体３４０を取り囲む複数の映像ブロッ
クを有する領域３５０で表される場合、領域３５０は処
理領域として称する。処理領域３５０を検出した後、処
理領域検出ブロック２１０は、移動物体３４０を取り囲
む映像ブロックの位置データに基づいて、選択された処
理領域を表す領域情報を発生する。この領域情報は特徴
点選択ブロック２３０、現フレーム動きベクトル検出ブ
ロック２５０及びエントロピー符号化器１０７へ各々供
給される。

【００１８】特徴点選択ブロック２３０においては、処
理領域検出ブロック２１０からの領域情報及び第２フレ
ームメモリ１２４からの前フレーム信号を用いて、前フ
レーム信号の処理領域内に含まれる複数の画素から複数
の特徴点が選択される。かかる複数の特徴点は、フレー
ム内の物体の動きを代表し得る画素として定義される。
本発明の好ましい実施例において、これらの複数の特徴
点は、例えば、図４に示した四角グリッド（図４Ａ）ま
たは重複された６角グリッド（図４Ｂ）のような多様な
タイプのグリッドを用いる既知のグリッド技法により求
められる。図示したように、これらの特徴点はグリッド
のノード上に置かれる。本発明の好ましい実施例におい
ては、図５に示すように、上記のグリッド技法と共にエ
ッジ検出技法を用いる。この技法において、物体のエッ
ジとグリッドとが合う交点が特徴点として選択される。
特徴点選択ブロック２３０から選択された複数の特徴点
は、特徴点動きベクトル探索ブロック２４０に入力され
る。この特徴点選択ブロック２３０は、領域情報に基づ
いて特徴点に対する位置データを発生して、特徴点動き
ベクトル探索ブロック２４０及び現フレーム動きベクト
ル検出ブロック２５０に各々供給する。 ラインＬ１０
上の現フレーム信号及びラインＬ１２上の前フレーム信
号を用いて、特徴点動きベクトル探索ブロック２４０
は、選択された特徴点に対する第１の組の動きベクトル
を求める。この第１の組の動きベクトル各々は、前フレ
ーム内の特徴点と現フレーム内の該特徴点に最も類似な
画素との間の空間的変位を表す。このように、画素単位
で動きベクトルを求めるのに利用可能な多くの処理アル
ゴリズムがある。本発明の好ましい実施例においては、
ブロック整合アルゴリズムが用いられる。このブロック
整合アルゴリズムにおいては、最初、その中心に特徴点
を有する前フレームの特徴点ブロックが、図１に示した
第２フレームメモリ１２４からラインＬ１２を介して取
り出される。その後、例えば、ＭＳＥ（平均２乗エラ
ー）またＭＡＥ（平均絶対エラー）のようなエラー関数
を用いて、特徴点ブロックと同一の大きさを有する複数
の候補ブロックの各々との間の類似度計算が行われた
後、特徴点に対する動きベクトルが決定される。これら
の候補ブロックの各々は、図１に示した第１フレームメ
モリ１００から取り出された現フレームのＰ×Ｑ画素
（例えば、１０×１０画素）の一般により大きい探索領
域内に含まれる。ここで、動きベクトルは、最小エラー
関数値をもたらす特徴点ブロックと候補ブロックとの間
の変位を表す。その後、決定された動きベクトルは特徴
点に対する動きベクトルとしてセットされる。特徴点に
対する動きベクトルは、第１の組の動きベクトルとし
て、現フレーム動きベクトル検出ブロック２５０及びエ
ントロピー符号化器１０７（図１）へラインＬ２０を通
じて供給される。

【００１９】現フレーム動きベクトル検出ブロック２５
０においては、特徴点動きベクトル探索ブロック２４０
からの第１の組の動きベクトルと、特徴点選択ブロック
２３０からの特徴点の位置データと、処理領域検出ブロ
ック２１０からの領域情報とを用いて、現フレーム内の
あらゆる画素に対する第２の組の動きベクトルが求めら
れる。本発明の好ましい実施例において、この第２の組
の動きベクトルは、既知のアフィン変換技法を用いて決
定される。この第２の組の動きベクトルを決定するため
には、最初に、準特徴点を求める。この準特徴点（Ｑ
Ｐ）は、第１組の動きベクトルにより前フレーム処理領
域内に含まれる特徴点からシフトされた現フレームの画
素を表す。準特徴点が求められた後、複数の重複しない
多角形（例えば、三角形）が図６Ａに示されているよう
に、例えば、３つの隣接する準特徴点を結ぶことによっ
て画定される。

【００２０】本発明の好ましい実施例において、任意に
分布している１組の準特徴点から固有の三角形は、最も
高い優先順位を有する準特徴点から始め、準特徴点中の
いずれか一つとそれに最も近い準特徴点との間に新たな
ラインセグメントを加えることによって形成される。例
えば、７つの準特徴点（例えば、ＱＰ１乃至ＱＰ７）は
図６Ａに示されているように、６×５の画素を有する現
フレームの四角処理領域に無作為に分布している場合、
準特徴点に対するラインセグメントの形成は、ＱＰ１か
らＱＰ７の順序にラインセグメントで結ばれてなされ
る。ここで、かっこ内の数字は、四角処理領域の左上部
のコーナーの基準点（例えば、画素Ｐ１）から測定され
たＱＰのＸ成分及びＹ成分の座標を表す。即ち、優先順
位はｙ成分の値のがより小さい準特徴点に与えられる。
同一のＹ成分の値を有する準特徴点が多数個ある場合、
優先順位はそれらの間でＸ成分の値がより小さい準特徴
点に与えられる。

【００２１】詳述すると、図６Ａに示されている１組の
準特徴点に対して、最初、ＱＰ１に対してラインセグメ
ントＱＰ１ＱＰ４が選択され、その後、ＱＰ２に対して
ラインセグメントＱＰ２ＱＰ３が選択される。下位の優
先順位のＱＰ３ＱＰ４は、ＱＰ３に対して既にＱＰ２Ｑ
Ｐ３が選択されているので、ラインセグメントとして選
択される。より下位の優先順位を有する準特徴点（即
ち、ＱＰ４）は最も近い準特徴点ＱＰ５及びＱＰ６を有
する。この場合、Ｙ成分の値がより小さい準特徴点ＱＰ
５が優先順位を有するため、ラインセグメントＱＰ４Ｑ
Ｐ５が決定される。同様に、ラインセグメントＱＰ５Ｑ
Ｐ６、ＱＰ６ＱＰ４及びＱＰ７ＱＰ３が、順次に準特徴
点ＱＰ５、ＱＰ６及びＱＰ７に対するラインセグメント
として決定される。かかる過程は、新たに引かれたライ
ンセグメントが前に選択されたラインセグメントの中の
いずれとも重複されるか交差されることなく、あらゆる
ラインセグメントが決定されるまで行われる。

【００２２】その後、第２の組の動きベクトルがアフィ
ン変換技法を用いて計算される。当技術分野によく知ら
れているように、移動物体の回転、並進及び大きさ変更
などの状態変化はアフィン変換技法を用いて表示し得
る。

【００２３】図６Ｂに示したように、現フレーム内の３
つの画素（Ａ、Ｂ及びＣ）が前フレーム内のそれらの各
々の準特徴点Ａ′、Ｂ′及びＣ′に対応する準特徴点と
して決定される場合、現フレームの三角形ＡＢＣ内の画
素と、前フレームの三角形Ａ′Ｂ′Ｃ′内の画素との相
関はアフィン変換技法により次式（１）のように定義さ
れる。

【数１】 ここで、（ｘ，ｙ）は現フレーム内の画素の×成分及び
ｙ成分の座標を表し、（ｘ′，ｙ′）は前フレーム内の
予測位置の座標を表し、ａ乃至ｆはアフィン変換係数を
表す。

【００２４】これらの６つのアフィン変換係数は、３組
の関連特徴点及び準特徴点（即ち、Ａ−Ａ′、Ｂ−
Ｂ′、Ｃ−Ｃ′）から求められた６つの線形方程式を解
いて計算される。アフィン変換係数が求められた場合、
三角形ＡＢＣ内の残りの画素の各々は、上記式（１）を
用いて三角形Ａ′Ｂ′Ｃ′内の位置にマッピングされ
る。かかる方法により、現フレーム内の各三角形内の画
素はその前フレームの画素から予測される。図６Ａに示
したように、２つの連続する三角形の境界線上の画素、
例えば、Ｐ１は２つの三角形の中のいずれか一つから予
測され得る。その後、現フレーム内の各々の画素に対す
る動きベクトル、即ち、Ｐ（ｘ，ｙ）は、画素Ｐとその
予測値Ｐ′（ｘ′，ｙ′）との間の変位から次式（２）
のように求められる。

【数２】 ここで、Ｍ×及びＭｙは、画素Ｐに対する動きベクトル
のｘ成分及びｙ成分を表す。

【００２５】本発明の好ましい実施例において、現フレ
ーム内の処理領域の外部に存在する画素に対する動きベ
クトルは、論理値“０”と設定される。図２を参照する
と、現フレーム動きベクトル検出ブロック２５０からの
現フレームの画素に対する第２の組の動きベクトルは、
動き補償ブロック２６０へ供給される。

【００２６】この動き補償ブロック２６０は、入力され
た第２の組の動きベクトルの各々を用いて、図１に示し
た第２フレームメモリ１２４から予測された現フレーム
内に含まれるべき各々の画素値を読み出すことによっ
て、ラインＬ３０を介して加算器１１５及び減算器１０
２（図１）へ予測された現フレーム信号を供給する。動
きベクトルの２つの成分（即ち、Ｍ×及びＭｙ）が整数
でない場合、即ち、画素単位の動きベクトルでない場
合、予測された画素の値は動きベクトルにより表示され
る位置周辺の画素の画素値を補間することによって、求
めることができる。

【００２７】本発明の他の好ましい実施例において、上
記式（１）から求められた予測位置を、第２の組の動き
ベクトルで再整列されることなく、現フレーム動きベク
トル検出ブロック２５０から動き補償ブロック２６０へ
直接供給し得る。また、現フレーム内の処理領域の外部
に存在する画素に対する予測位置は、前フレームの処理
領域の外部に置かれる各画素の位置と同一なものとして
みなす。その後、動き補償ブロック２６０は 第２フレ
ームメモリ１２４から予測位置に対応する画素を取り出
して、ラインＬ３０上へ予測された現フレーム信号を供
給する。

【００２８】図７を参照すると、本発明に基づいて、図
２に示した処理領域検出ブロック２１０のブロック図が
示されている。第１フレームメモリ１００からの現フレ
ーム信号及び第２フレームメモリ１２４からの前フレー
ム信号は、減算器７００へ入力される。

【００２９】減算器７００は、現フレームの画素値とそ
れに対応する前フレーム信号の画素値との間の差Ａ（図
３に示し）を画素単位で計算する働きをする。減算器７
００から計算されたデータ（即ち、フレーム差分信号）
は、絶対化ブロック７１０へ供給される。この絶対化ブ
ロック７１０は、フレーム差分信号内に含まれた各画素
の差分値をその絶対値に変換する。その後、絶対化され
たフレーム差分信号は第１コンパレータ７２０へ供給さ
れるが、この第１コンパレータ７２０は、絶対化された
フレーム差分信号の各絶対化された画素の差分値を予め
定められた閾値ＴＨ１と比較する。その後、その絶対化
された フレーム差分信号は、２つのタイプのデータ
（即ち、１または０）を有するように変換される。即
ち、各々の絶対化された画素差分値がＴＨ１より小さい
場合、その絶対化された画素の差分値は論理値“０”と
設定される。そうでない場合には、論理値“１”と設定
される。第１コンパレータ７２０からの変換されたフレ
ーム差分信号は、ブロック単位でスイッチＳＷ１の端子
１へ供給される。

【００３０】このスイッチＳＷ１においては、コントロ
ーラ（図示せず）からの制御信号ＣＳ１に応じて、端子
１は端子３に接続される。第３フレームメモリ内に変換
されたフレーム差分信号が完全に満たされるまで、第３
フレームメモリ７３０が満たされた場合、スイッチＳＷ
１３端子１は端子１から分離され、端子２と接続され
る。一方、制御信号ＣＳ２に応じて、スイッチＳＷ２の
端子４は端子６に接続されて、第３フレームメモリを雑
音除去ユニット７４０に連結させる。その結果、第３フ
レームメモリ７３０に格納された変換されたフレーム差
分信号は端子４及び端子６を通じて雑音除去ユニット３
４０に供給される。

【００３１】この雑音除去ユニット７４０においては、
変換されたフレーム差分信号に含まれ得るスポット雑音
が検出されて除去される。このスポット雑音は、画素の
差分値と隣接する画素の平均値またはメディアン差分値
とを比較することによって容易に検出し得る。しかし、
変換されたフレーム差分信号の各画素の差分値が２つの
タイプのデータ（即ち、１及び０）に表示されるため、
雑音除去ユニット７４０は既知のウィンドイング方法を
用いて、スポット雑音を検出する。即ち、雑音除去ユニ
ット７４０は、適切に選択されたウィンドウ内の“１”
の値を有する画素差分値をカウントする。ここで、ウィ
ンドウの中央には処理しようとする目標の画素差分値
（即ち、“１”）を含む。その後、カウント数は予め定
められた数ＴＨ２と比較される。カウント数が予め定め
られた数ＴＨ２より小さい場合、目標の画素差分値はス
ポット雑音としてみなされ、端子２及び端子３を介する
更新過程を通じて、目標の画素差分値“１”は“０”と
割り当てる。そうでない場合、目標の画素差分値は変わ
らない。

【００３２】目標の画素差分値が更新された場合、コン
トローラはスイッチＳＷ２を制御するために、制御信号
ＣＳ２を発生する。即ち、スイッチＳＷ２にて、端子４
は端子５に連結され、第３フレームメモリ７３０からの
雑音が除去されたフレーム差分信号はカウンタ７５０へ
伝送される。このカウンタ７５０においては、各映像ブ
ロック内に含まれた“１”の値を有する画素差分値の数
がカウントされる。その後、そのカウントされた数は順
次にブロック単位で第２コンパレータ７６０へ供給され
る。この第２コンパレータ７６０においては、“１”の
値を有する画素差分値のカウント数は予め定められた数
ＴＨ３と比較される。カウント数が予め定められた数Ｔ
Ｈ３より大きい場合、映像ブロックの代表値として
“１”が割り当てられ、そうでない場合、“０”が割り
当てられる。

【００３３】図８を参照すると、図３に示されている２
つのフレーム間の差に基づいて、ブロック代表値のアレ
イが図解されている。図示したように、“１”処理領域
内に含まれた映像ブロックに割り当てられ、“０”は処
理領域の外部に置かれる映像ブロックに割り当て。アレ
イのブロック代表値は領域情報として順次走査されて、
図１のエントロピー符号化器１０７及び特徴点選択ブロ
ック２３０へ供給される。上記において、本発明の特定
な実施例について説明したが、本発明に記載した特許請
求の範囲を逸脱することなく、当業者は種々の変更を加
え得ることは勿論である。

【００３４】

【発明の効果】従って、本発明によれば、現フレームと
その前フレームとの間の差を用いて、動きベクトル検出
器が移動物体を取り囲む処理領域を初期に検出するた
め、本発明の符号化器は、処理領域から制限的に選択さ
れた特徴点に対する動きベクトルを求め得、計算上の負
担や伝送すべき動きベクトルの量を大幅に軽減して全体
的な符号化の効率を向上させることができる。

【図面の簡単な説明】

【図１】本発明による現フレーム予測ブロックを有する
映像信号符号化装置のブロック図である。

【図２】図１に示した現フレーム予測ブロック１５０の
詳細なブロック図である。

【図３】移動物体を有する２つの重なったフレームを一
例に示した模式図である。

【図４】Ａ及びＢよりなり、Ａは特徴点を選択するため
の四角グリッドを示す図であり、Ｂは六角グリットを示
す図である。

【図５】Ａ及びＢよりなり、Ａは四角グリッド及び物体
のエッジを用いて特徴点を選択する方法を示す図であ
り、Ｂは六角グリッド及び物体のエッジを用いて特徴点
を選択する方法を示す図である。

【図６】Ａ及びＢよりなり、各々は本発明によって現フ
レームの動きベクトルが検出される過程を説明する図で
ある。

【図７】図２に示した処理領域検出ブロック２１０の詳
細なブロック図である。

【図８】図３に示した２つのフレーム間の差に基づい
て、ブロックの代表値をアレイに示した図である。

【符号の説明】

１００ 第１フレームメモリ １０５ 映像信号エンコーダ １０７ エントローピ符号化器 １１３ 映像信号デコーダ １２４ 第２フレームメモリ １５０ 現フレーム予測ブロック ２１０ 処理領域検出ブロック ２３０ 特徴点選択ブロック ２４０ 特徴点動きベクトル探索ブロック ２５０ 現フレーム動きベクトル検出ブロック ２６０ 動き補償ブロック ３００ 減算器 ３１０ 絶対化ブロック ３２０ 第１コンパレータ ３３０ 第３フレームメモリ ３４０ 雑音除去ユニット ３５０ カウンタ ３６０ 第２コンパレータ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 動き補償映像信号符号化器に用いられ、
   ディジタル映像信号の現フレ−ム及びその前フレ−ムに
   基づいて、予測された現フレ−ムを決定するための映像
   信号符号化装置であって、 前記現フレ−ムと前記前フレ−ムとの間の差に基づい
   て、前記前フレ−ムから移動物体を取り囲む処理領域を
   検出して、検出された処理領域を表す領域情報を発生す
   る領域検出手段と、 前記領域情報に基づいて、前記検出された処理領域内に
   含まれる画素のうち、複数の画素を特徴点として選択す
   る特徴点選択手段と、 前記現フレームと前記前フレームとの間で、前記特徴点
   の各々に対する動きを表す第１の組の動きベクトルを求
   める第１の動きベクトル検出手段と、 前記第１の組の動きベクトルを用いて、前記現フレ−ム
   内に含まれるあらゆる画素に対する第２の組の動きベク
   トルを求める第２の動きベクトル検出手段と、 前記第２の組の動きベクトルを用いて、前フレ−ムにお
   いて前記現フレーム内の複数の画素の中のいずれか一つ
   に対応する画素値を前記現フレ−ム内の該当画素値とし
   て割当てて、前記予測された現フレ−ムを求める動き補
   償手段とを含むことを特徴とする映像信号符号化装置。
2. 【請求項２】 前記領域検出手段が、 前記現フレ−ムと前記前フレ−ムとの間の差を画素単位
   で計算して、各々Ｐ×Ｑ画素の差分値を有するＮ×Ｍ個
   のブロック（ここで、Ｎ、Ｍ、Ｐ及びＱは正の整数）を
   有するフレ−ム差分信号を発生する減算手段と、 前記フレ−ム差分信号を絶対化して、絶対化されたフレ
   −ム差分信号を発生する絶対化手段と、 前記絶対化されたフレ−ム差分信号を予め定められた値
   と比較して、前記絶対化されたフレ−ム差分信号の画素
   差分値が前記予め定められた値より小さい場合、前記画
   素差分値として“０”を割り当て、そうでない場合、前
   記画素差分値として“１”を割り当てて、前記絶対化さ
   れたフレーム差分信号を変換されたフレ−ム偏差信号に
   変換する第１比較手段と、 前記変換されたフレ−ム差分信号の各ブロック内に存在
   する“１”の個数を計数するカウント手段と、 前記各ブロックに対するカウント数と予め定められた数
   とを比較して、前記ブロックのカウント数が前記予め定
   められた数より小さい場合、ブロックの代表値として
   “０”を割り当て、そうでない場合、ブロックの代表値
   として“１”を割り当てて、順次に整列されたＮ×Ｍ個
   のブロックの代表値を有する領域情報を発生する第２比
   較手段と含むことを特徴とする請求項１に記載の映像信
   号符号化装置。
3. 【請求項３】 前記第２の組の動きベクトルが、前記第
   １の組の動きベクトルに基づいて求められた前記現フレ
   −ムの処理領域に含まれる全ての画素に対する第３の組
   の動きベクトルと、“０”ベクトルからなり、前記現フ
   レ−ムの処理領域の外部に置かれる画素に対する第４の
   組の動きベクトルとを有することを特徴とする請求項２
   に記載の映像信号符号化装置。
4. 【請求項４】 映像信号符号化器に用いられ、現フレ−
   ムとその前フレ−ムとからなる複数のフレームを有する
   ディジタル映像信号の伝送量を減らすための映像信号符
   号化装置であって、 前記ディジタル映像信号の前記前フレ−ムを格納するメ
   モリ手段と、 前記現フレ−ムと前記前フレ−ムとの間の差に基づい
   て、前記前フレ−ムから移動物体を取り囲む処理領域を
   検出して、検出された処理領域を表す領域情報を発生す
   る処理領域検出手段と、 前記領域情報に基づいて、前記検出された処理領域内に
   含まれる画素のうち、複数の画素を特徴点として選択す
   る特徴点選択手段と、 前記現フレ−ムと前記前フレ−ムとの間で、前記選択さ
   れた複数の画素の各々に対する動きベクトルを表す第１
   の組の動きベクトルを検出する第１の動きベクトル検知
   手段と、 前記第１の組の動きベクトルを用いて、前記現フレ−ム
   内に含まれた全ての画素に対する第２の組の動きベクト
   ルを検出する第２の動きベクトル検出手段と、 前記第２の組の動きベクトルを用いて、前記前フレ−ム
   において、前記現フレ−ム内の複数の画素中の一つに対
   応する各画素の値を前記現フレーム内の該当画素の値と
   して割当てて、前記予測された現フレ−ムを決定する動
   き補償手段と、 前記現フレ−ムから前記予測された現フレ−ムを減算し
   て、第１フレ−ム差分信号を発生する減算手段と、 離散的コサイン変換及び量子化ブロックを用いて、前記
   第１フレ−ム差分信号を符号化する復号化手段と、 前記符号化された第１フレ−ム差分信号を復号化して、
   再構成されたフレ−ム差分信号を発生する符号化手段
   と、 前記再構成されたフレ−ム差分信号と前記予測された現
   フレ−ム信号とを組み合わせて、再構成された現フレ−
   ム信号を前記前フレ−ム信号として発生する加算手段
   と、 前記第１フレ−ム差分信号、前記第１組の動きベクトル
   及び前記領域情報を統計的に符号化するエントローピ符
   号化手段とを含むことを特徴とする映像信号符号化装
   置。
5. 【請求項５】 前記領域検出手段が、 前記現フレ−ムと前記前フレ−ムとの間の差を画素単位
   で計算して、各々Ｐ×Ｑ画素の差分値を有するＮ×Ｍ個
   のブロック（ここで、Ｎ、Ｍ、Ｐ及びＱは正の整数）を
   有するフレ−ム差分信号を発生する減算手段と、 前記フレ−ム差分信号を絶対化して、絶対化されたフレ
   −ム差分信号を発生する絶対化手段と、 前記絶対化されたフレ−ム差分信号を予め定められた値
   と比較して、前記絶対化されたフレ−ム差分信号の画素
   差分値が前記予め定められた値より小さい場合、前記画
   素差分値として“０”を割り当て、そうでない場合、前
   記画素差分値として“１”を割り当てて、前記絶対化さ
   れたフレーム差分信号を変換されたフレ−ム偏差信号に
   変換する第１比較手段と、 前記変換されたフレ−ム差分信号の各ブロック内に存在
   する“１”の個数を計数するカウント手段と、 前記各ブロックに対するカウント数と予め定められた数
   とを比較して、前記ブロックのカウント数が前記予め定
   められた数より小さい場合、ブロックの代表値として
   “０”割り当て、そうでない場合、ブロックの代表値と
   して“１”を割り当てて、順次に整列されたＮ×Ｍ個の
   ブロックの代表値を有する領域情報を発生する第２比較
   手段と含むことを特徴とする請求項４に記載の映像信号
   符号化装置。
6. 【請求項６】 前記第２の組の動きベクトルが、前記第
   １の組の動きベクトルに基づいて求められた前記現フレ
   −ムの処理領域に含まれる全ての画素に対する第３組の
   動きベクトルと、“０”ベクトルからなり、前記現フレ
   −ムの処理領域の外部に位置する画素に対する第４組の
   動きベクトルとを有することを特徴とする請求項５に記
   載の映像信号符号化装置。