JPH0993584A

JPH0993584A - 動きベクトル検出装置及び動きベクトル検出方法

Info

Publication number: JPH0993584A
Application number: JP24496095A
Authority: JP
Inventors: Yoshitaka Furukubo; 良隆古久保
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-09-22
Filing date: 1995-09-22
Publication date: 1997-04-04

Abstract

(57)【要約】【課題】エッジ領域が複数の動きの異なる領域にまた
がっている場合にも、正確な動きベクトルを求めること
ができる。【解決手段】エッジ領域検出部３で検出したエッジ領
域を、上記エッジ領域分割部４で個々のエッジ領域に分
割し、さらに、エッジ画素分割部５で上記個々のエッジ
領域をエッジ画素毎に分割し、動きベクトル検出部１０
で上記エッジ画素毎の動きベクトルを検出し、動きベク
トルマップ作成部６で上記画素毎の動きベクトルから上
記個々のエッジ領域毎の動きベクトルを求め、動きベク
トル調整部７で上記エッジ画素をセグメント毎に分割し
て上記セグメント毎の代表動きベクトルを求め、動きベ
クトルマップ作成部８で上記物体又は領域全体の動きベ
クトルを求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体又は領域の動
きベクトルを検出する動きベクトル検出装置及び動きベ
クトル検出方法に関する。

【０００２】

【従来の技術】従来、画像信号の高能率符号化は、画像
信号の持つ相関の高さを利用して冗長性を削減する方法
であり、画像信号の伝送や記録の際に必要不可欠なもの
である。この画像信号の高能率符号化方法として、予測
符号化のような画像を画素単位に扱う符号化方法や、離
散コサイン変換（Discrete Cosine Transform：以下、
ＤＣＴという）に代表される直交変換符号化やウェーブ
レット変換のようなサブバンド符号化等が存在する。

【０００３】予測符号化の代表的な手法としては、フレ
ーム内ＤＰＣＭ（Differential Pulse Code Modulatio
n）等がある。このフレーム内ＤＰＣＭは、原画素と復
号化した近傍画素の差分を量子化して符号化する方法で
ある。

【０００４】このような予測符号化方法は、必要な圧縮
率が１／２〜１／４程度と、それほど高くない場合には
有効であるが、それ以上の高圧縮率の場合には適さな
い。一方、直交変換符号化やサブバンド符号化は、圧縮
率が１／１０以上と高い場合に用いられており、現在は
ＤＣＴを用いた手法が一般的に多く用いられている。こ
れは、ＤＣＴが高速アルゴリズムを有し、ハード化が容
易である等の理由によるものであり、ＪＰＥＧやＭＰＥ
Ｇ等の画像符号化方式の国際標準にも採用されている。

【０００５】ＤＣＴを用いた画像符号化方式は、画像信
号の低周波成分の電力がきわめて大きいという特徴を利
用し、ＤＣＴによって求められた画像信号の周波数成分
を量子化する際に低周波成分の量子化ステップサイズは
小さく、高周波成分のステップサイズは大きくすること
によって、全体として情報量を圧縮する手法である。

【０００６】しかし、量子化を行うことによってブロッ
ク歪み及びモスキート雑音が生じてしまうという問題点
があり、特にマクロブロックを単位とした処理であるこ
とに起因するブロック歪みは、符号化速度が低い場合に
顕著になる。このため、超低ビットレートの画像符号化
を行うためには新たな高能率符号化方法が必要である。

【０００７】そこで、超低ビットレートでの伝送や記録
を目的とした画像符号化方式として、人間の視覚特性が
物体の輪郭線に特に敏感であるということを考慮し、原
画像中の輪郭線部分を重点的に保存することにより低ビ
ットレートでも視覚的に優れた復元性を実現しようとす
る手法が提案されている。

【０００８】このような原画像中の輪郭線部分を重点的
に保存する画像符号化方法においては、静止画像中の物
体の輪郭線いわゆるエッジ領域をいかに効率良く抽出
し、符号化するかが重要となる。さらに、動画像符号化
処理において符号化効率を上げるための手段として、静
止画像から抽出されたエッジ領域の動き補償処理が必要
となる。このエッジ領域の動き補償とは、隣接するフレ
ーム内のエッジ領域間の対応関係を調べ、対応付けがな
されたエッジに関しては前フレームのエッジ領域に対す
る動きベクトルと変形パラメータとを送り、対応が付か
なかったエッジに関してのみ新たに位置情報などの符号
化を行うものである。従って、隣接するフレーム間でエ
ッジの対応付けを行うことが必要となるが、このとき、
各エッジ領域の動きベクトルが必要となる。

【０００９】ここで、従来の各フレームの輪郭線を対応
付けるための各エッジ領域の動きベクトルを求める方法
について説明する。

【００１０】図６には、従来のエッジ領域の動きベクト
ル検出装置の概略的な構成を示す。

【００１１】図６に示す動きベクトル検出装置におい
て、現フレームバッファ４１及び次フレームバッファ４
２に格納される、入力信号として連続する２つのフレー
ム画像信号ＢＤ₀、ＢＤ₁を用いる。

【００１２】まず、処理対象である現フレーム信号ＢＤ
₀を現フレームバッファ４１からエッジ領域検出部４３
に送る。このエッジ領域検出部４３の概略的な構成を図
７に示し、現フレーム画像からエッジ領域を抽出する処
理手順を説明する。

【００１３】図７において、現フレーム信号ＢＤ₀から
成る原画像の画素信号ＣＤ₀は、差分フィルタであるソ
ーベル（Sobel）フィルタを用いたエッジ強度算出部６
１、６２に入力される。このとき、エッジ強度算出部６
１では、図８Ｂに示すタップ係数のソーベルフィルタが
用いられ、エッジ強度算出６２では、図８Ａに示すタッ
プ係数のソーベルフィルタが用いられる。これにより、
エッジ強度算出部６１では水平方向のエッジ強度を示す
エッジ強度信号ＣＤ₁が得られ、エッジ強度算出部６２
では垂直方向のエッジ強度を示すエッジ強度信号ＣＤ₂
が得られる。

【００１４】このエッジ強度信号ＣＤ₁は乗算器６３で
自乗されて水平方向のエッジ強度信号電力ＣＤ₄が出力
され、また、エッジ強度信号ＣＤ₂は乗算器６４で自乗
されて垂直方向のエッジ強度信号電力ＣＤ₅が出力され
る。

【００１５】この水平方向のエッジ強度信号電力ＣＤ₄
と垂直方向のエッジ強度信号電力ＣＤ₅とは加算器６５
で加算され、注目画素のエッジ強度を示す信号ＣＤ₇を
得る。

【００１６】ここで、物体の輪郭や物体間の境界線等の
エッジ領域と、テクスチャ領域内のエッジ領域との特性
の違いを考慮に入れた場合には、エッジ領域とテクスチ
ャ領域とを分離するための特徴量として、画素値（階調
値）の局所的な変化特性と大局的な変化特性とを示す指
標値を用いる手法が有効である。この画素値の局所的な
変化特性を表す特徴量としては、エッジ領域か否かを判
定する際に重要な特徴量である注目画素のエッジ強度が
ある。また、画素値の大局的な変化特性を表す特徴量と
しては、注目画素周辺の空間周波数分布をあげることが
できる。このエッジ領域検出部４３では、画素値の大局
的な変化特性を示す特徴量として空間周波数を示す特徴
量を用いる。

【００１７】このため、フィルタリング処理部６６にお
いて、原画像の画素信号ＣＤ₀の、ハイパスフィルタ
（ＨＰＦ：High Pass Filter）、ローパスフィルタ（Ｌ
ＰＦ：Low Pass Filter）、又はバンドパスフィルタ
（ＢＰＦ：Band Pass Filter）を介した出力値をそれぞ
れ算出する。フィルタリング処理部６６において用いる
ＨＰＦの例としては、例えば図１０に示す３×３のタッ
プ数のソーベルフィルタ等があるが、この他に、５×
５、７×７等のタップ数のＨＰＦや、タップ係数が異な
るフィルタも適用することができる。

【００１８】また、大局的な変化特性を表す特徴量とし
て、局所的な変化特性を表す特徴量である空間周波数の
特徴量の一定領域内における平均値などを用いる。そこ
で、このような大局的な変化特性を示す特徴量を求める
際に必要な局所的特徴量を得るためのマスク領域を、注
目領域周辺に設定する。このマスク領域の種類として、
図９に示す窓領域ＷＡ₃、ＷＡ₄が考えられる。

【００１９】図９に示すマスク領域である窓領域Ｗ
Ａ₃、ＷＡ₄は、注目画素ＣＰが持つエッジ強度の法線方
向にあり、注目画素ＣＰを境界とする注目画素ＣＰの両
側の１次元の領域であり、一方の１次元のマスク領域を
窓領域ＷＡ₃、他方の１次元のマスク領域を窓領域ＷＡ₄
とする。これは、エッジ領域ＥＡ₃を境界として大きく
変わる画素値の変化を、エッジ領域ＥＡ₃の両側の特徴
量の関係から得ようとするものである。

【００２０】以上のような各種の特徴量を用いたエッジ
領域抽出のための閾値決定の処理は、図７のフィルタリ
ング処理部６６、マスク領域設定回路６７、及び閾値決
定回路６８を用いる。

【００２１】まず、原画像の画素信号ＣＤ₀がフィルタ
リング処理部６６に入力されて得られる出力信号ＣＤ₃
を、マスク領域設定回路６７に入力する。このマスク領
域設定回路６７ではマスク領域を設定し、この設定され
たマスク領域内から求められる特徴量ＣＤ₆を算出す
る。そして、閾値決定回路６８において、特徴量ＣＤ₆
及び加算器６５からのエッジ強度を示す信号ＣＤ₇をパ
ラメータとする閾値関数Ｆに応じて閾値信号ＣＤ₈を求
める。

【００２２】尚、閾値関数Ｆは、テクスチャ領域とエッ
ジ領域とを分離するために最適と思われる閾値を取れる
ようにシミュレーションによって決定されるものであ
る。

【００２３】閾値決定回路６８において用いられる閾値
関数としては、例えば図１０に示すように、注目画素の
エッジ強度Ｅと、２つのマスク領域内の平均値Ｍ₁、Ｍ₂
との関係を示す閾値関数Ｆ₁が用いられる。この閾値関
数Ｆ₁は、以下の（１）式で示される。

【００２４】｛Ｍ₁−（ａＥ−ｂ）｝｛Ｍ₂−（ａＥ−ｂ）｝＝ｃ・・・（１）（ａ、ｂ、ｃは定数）この（１）式に示すマスク領域内の平均値Ｍ₁、Ｍ₂の値
により、以下の（２）式に示す閾値Ｔとなるエッジ強度
Ｅが得られる。

【００２５】Ｔ＝Ｆ₁（Ｍ₁・Ｍ₂）・・・（２）閾値が決定された後、エッジ強度を示す信号ＣＤ₇と閾
値決定回路６８から出力される閾値信号ＣＤ₈とを比較
器６９に入力する。例えば、比較器６９からの出力信号
ＣＤ₉は、注目領域がテクスチャ領域であるときには
０、エッジ領域であるときには１として出力される。こ
れにより、注目画素がテクスチャ領域であるのか、ある
いはエッジ領域であるのかを判断する。

【００２６】従って、比較器６９からの出力信号ＣＤ₉
を各画素の画素値として得られる画像は、エッジ領域抽
出によって抽出されたエッジ領域であり、このエッジ領
域から成る画像をエッジ画像と呼ぶこととする。

【００２７】尚、図７のエッジ領域信号ＣＤ₉は、図６
に示されるエッジ領域検出部４３から出力されるエッジ
領域信号ＢＤ₂に相当する。

【００２８】このエッジ領域信号ＢＤ₂はエッジ画素分
割部４４に入力されて、個々のエッジ画素毎に分割さ
れ、個々のエッジ画素信号ＢＤ₃となる。個々のエッジ
画素信号ＢＤ₃は、各エッジ画素毎の動きベクトルを求
める動きベクトル検出部５０に入力される。

【００２９】ここで、動きベクトル検出部５０の動作説
明に用いるための個々のエッジ画素信号ＢＤ₃の具体的
な例を図１１に示す。

【００３０】図１１では、２次元の画像信号中に含まれ
る１つのエッジ領域信号ＢＤ₂を黒い画素で示し、これ
ら複数の黒い画素で示す領域をエッジ領域ＥＡ₂とす
る。尚、個々のエッジ画素信号ＢＤ₃は、個々の画素Ｄ₁
〜Ｄ₂₄で示される。このエッジ領域ＥＡ₂の中央の画素
Ｄを中心にして探索領域ＳＡ₂が設けられ、また、この
エッジ領域ＥＡ₂の周辺にはエッジ近傍窓領域ＷＡ₂が設
定される。この探索領域ＳＡ₂とは、ブロックマッチン
グの際に、予測エッジ領域の中心画素が移動する範囲を
示すものである。また、エッジ近傍窓領域ＷＡ₂とは、
ブロックマッチングの際の誤差評価に用いられる領域で
あり、エッジ画素信号ＢＤ₃を図６の窓領域設定回路５
１に入力して求める。

【００３１】窓領域設定回路５１においては、エッジ近
傍窓領域の設定処理を行う。具体的には、窓領域設定回
路５１に入力されたエッジ領域内の任意のエッジ画素か
ら一定の距離内に存在する画素をエッジ近傍窓領域の画
素とする。

【００３２】このようにして設定されたエッジ近傍窓領
域信号ＢＤ₄と、現フレーム信号ＢＤ₀及び次フレーム信
号ＢＤ₁とを差分値算出回路５２に入力する。

【００３３】この差分値算出回路５２では、エッジ近傍
窓領域信号ＢＤ₄に示されるエッジ近傍窓領域の各画素
において、現フレームの画素値と、この現フレームの画
素に対応する次フレームの画素値との差分の自乗値を求
め、エッジ近傍窓領域全体の合計を誤差信号ＢＤ₅とし
て出力する。このエッジ近傍窓領域内の誤差信号ＢＤ₅
は、探索領域内の各画素に対して求められる。このよう
にして求められた誤差信号ＢＤ₅は、最小誤差検出回路
５３に入力され、最小誤差を持つ画素位置を検出する。

【００３４】例えば、図１２において、最小誤差を持つ
窓領域である窓領域ＷＡ₂´が現フレームのエッジ近傍
窓領域ＷＡ₂の下方に見つかった場合には、現フレーム
のエッジ領域ＥＡ₂の任意の画素Ｄと、この画素Ｄに対
応する予測エッジ領域ＥＡ₂´内の画素Ｄ´との位置関
係を比較する。この比較により、画素Ｄから画素Ｄ´へ
の移動量として、（水平方向，垂直方向）＝（２，１
０）が求められる。この移動量がエッジ領域ＥＡ₂の動
きベクトル信号ＢＤ₆として、最小誤差検出回路５３か
ら出力される。

【００３５】このように、個々のエッジ領域毎に求めら
れた動きベクトル信号ＢＤ₆は、エッジ画素信号ＢＤ₃と
共に動きベクトルマップ作成部４５に入力される。この
動きベクトルマップ作成部４５では、個々の画素が持つ
動きベクトルを集計し、フレーム中に存在する全エッジ
領域の動きベクトル信号ＢＤ₇を作成する。

【００３６】このように、超低ビットレートにおける画
像信号符号化を行う際に、原画像の輪郭線を重点的に保
存する符号化方法を用い、この符号化方法を動画像符号
化に適用する場合には、各静止画像中に含まれる輪郭
線、即ちエッジ領域を全てチェーンコーディング等で符
号化すると、情報量が膨大となり、符号化効率が低下し
てしまうので、連続するフレーム内の輪郭線を対応付け
る。対応が付いた輪郭線に対しては、初期値となるフレ
ーム内の輪郭線位置情報のみを送り、以後のフレームで
は移動・変形パラメータ等の形状の差分情報のみを符号
化する。これにより、情報量を削減することができる。

【００３７】この場合には、各フレーム中の輪郭線の対
応付けを行う際に、各輪郭線の動きベクトルを求める必
要がある。

【００３８】

【発明が解決しようとする課題】ところで、上述のよう
なエッジ領域毎の動きベクトル検出方法においては、エ
ッジ領域の形状に沿ったエッジ近傍領域を窓領域とする
ブロックマッチングを行うときに、対象とするエッジ領
域に拡大・縮小・回転・融合・切断等の変形が生じた場
合には、正確な動きベクトルを求めることができないと
いう問題が存在する。

【００３９】例えば、図１１に示すエッジ領域ＥＡ
₁が、図１３に示すように、太い点線で分割される左右
２つの領域ＡＲ₁₁及び領域ＡＲ₁₂にまたがる輪郭線であ
るときに、領域ＡＲ₁₁に表される物体は右下方向に移動
し、領域ＡＲ₁₂に表される物体は上方向に移動する場合
には、次フレームでは、図１４に示すように、エッジ領
域ＥＡ₁´の内の、右側の領域ＡＲ₂₁の隣接するエッジ
画素列を示すエッジリストＬ₁のエッジ画素と左側の領
域ＡＲ₂₂の隣接するエッジ画素列を示すエッジリストＬ
₂のエッジ画素とは異なった方向に移動する。

【００４０】しかし、上述したようなエッジ領域毎の動
きベクトル検出方法を用いた場合には、エッジリストＬ
₁とエッジリストＬ₂とを分割することができないため、
求められる動きベクトルは２つの領域の影響を互いに受
けたものになってしまい、正確な動きベクトルを求める
ことができない。

【００４１】即ち、静止画像中のエッジ領域に、動きの
異なる物体間にまたがるエッジが存在する場合には、個
々のエッジ領域毎にブロックマッチングを行う動きベク
トル検出方法では正確な動きベクトルを得ることができ
ない。

【００４２】そこで、本発明は上述の実情に鑑み、エッ
ジ領域が複数の動きの異なる領域にまたがっている場合
にも、正確な動きベクトルを求めることができる動きベ
クトル検出装置を提供するものである。

【００４３】

【課題を解決するための手段】本発明に係る動きベクト
ル検出装置及び動きベクトル検出方法は、フレーム画像
を物体又は領域毎に分割した後に上記物体又は領域を画
素毎に分割し、この画素毎の動きベクトルを検出し、上
記画素毎の動きベクトルを用いて、上記物体又は領域全
体の動きベクトルを求める。

【００４４】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。

【００４５】図１には、本発明に係る動きベクトル検出
方法を用いる動きベクトル検出装置の実施の形態の概略
的な構成を示す。

【００４６】この動きベクトル検出装置は、フレーム画
像を物体又は領域毎に分割する領域分割手段であるエッ
ジ領域検出部３及びエッジ領域分割部４と、上記エッジ
領域分割部４からの物体又は領域を画素毎に分割し、こ
の画素毎の動きベクトルを検出する動きベクトル検出手
段であるエッジ画素分割部５及び動きベクトル検出部１
０と、上記動きベクトル検出部１０からの画素毎の動き
ベクトルを用いて、上記物体又は領域全体の動きベクト
ルを求める動きベクトルマップ作成手段である動きベク
トルマップ作成部６、動きベクトル調整部７、及び動き
ベクトルマップ作成部８とを有して成る。

【００４７】具体的には、上記エッジ領域検出部３で
は、物体の輪郭線を表すエッジ領域を検出し、さらに、
上記エッジ領域分割部４では上記エッジ領域を個々のエ
ッジ領域に分割して、上記エッジ画素分割部５では上記
個々のエッジ領域をエッジ画素毎に分割し、上記動きベ
クトル検出部１０では上記エッジ画素毎の動きベクトル
を検出し、上記動きベクトルマップ作成手段では、上記
エッジ画素毎の動きベクトルを用いて上記物体又は領域
全体の動きベクトルを求める。

【００４８】このとき、上記動きベクトルマップ作成手
段の動きベクトル調整部７では、上記動きベクトル検出
部１０からの画素毎の動きベクトルを用いて、上記物体
又は領域を構成する複数の画素を類似の動きベクトルを
持つ画素から成るセグメント毎に分割し、上記セグメン
ト毎の代表動きベクトルを求める。

【００４９】また、上記動きベクトル調整部７では、上
記複数の画素を上記セグメント毎に分割する際に、上記
画素毎の動きベクトルにメディアンフィルタをかける。
また、上記動きベクトル調整部７では、上記複数の画
素を上記セグメント毎に分割する際に、上記画素毎の動
きベクトルにハイパスフィルタをかけた後の出力値の内
の大きい出力値を上記セグメントの境界点とする。

【００５０】次に、この動きベクトル検出装置の動作に
ついて、以下に詳細に説明する。

【００５１】尚、この実施の形態においては、動きベク
トル検出装置が超低ビットレートにおける画像信号符号
化のための動き補償処理部に用いられるものとし、２つ
の物体間にまたがる輪郭線をエッジ領域とし、このエッ
ジ領域における動きベクトルの抽出を行う場合の動作に
ついて述べる。

【００５２】まず、物体の輪郭線の保存に重点を置いた
超低ビットレート画像符号化の代表的な手法として、３
ＣＣ（3 Component Coding）がある。この３ＣＣとは、
原画像をエッジ部分、輝度情報、及びテクスチャ画像情
報に分離し符号化を行うものである。

【００５３】ここで、３ＣＣによるエンコード処理回路
の概略的な構成を図２に示し、また、３ＣＣによるデコ
ード処理回路の概略的な構成を図３に示す。

【００５４】図２の３ＣＣによるエンコード処理回路で
は、入力画像信号ＤＤ₀をローカル光生成／符号化部２
１及びエッジ情報検出／符号化部２２に入力する。この
ローカル光生成／符号化部２１では、入力画像信号ＤＤ
₀から画像の大局的な輝度情報を示すローカル光（Local
Luminance）成分を求めて符号化し、出力信号ＤＤ₁を
得る。また、エッジ情報検出／符号化部２２では、画像
の輪郭線部分を抽出して符号化し、出力信号ＤＤ₂を得
る。この出力信号ＤＤ₁はローカル光信号であり、出力
信号ＤＤ₂はエッジ情報信号である。

【００５５】上記出力信号ＤＤ₁及び出力信号ＤＤ₂は、
エッジ情報デコード部２３に送られてエッジ画像を再構
成する処理によりエッジ画像信号ＤＤ₃を得る。このエ
ッジ画像信号ＤＤ₃と上記入力画像信号ＤＤ₀との差分を
差分回路２４で求め、テクスチャ画像信号ＤＤ₄を得
る。

【００５６】このテクスチャ画像信号ＤＤ₄は、テクス
チャ画像情報符号化部２５に送られて、エントロピー符
号化処理によって符号化され、テクスチャ画像情報信号
ＤＤ ₅が出力される。

【００５７】このように、入力画像信号ＤＤ₀は、最終
的には、符号化されたローカル光信号、符号化されたエ
ッジ情報信号、及び符号化されたテクスチャ画像情報信
号に変換される。

【００５８】一方、図３の３ＣＣによるデコード処理回
路では、符号化されたローカル光信号ＥＤ₁は、デコー
ド処理部３１に入力されてデコード処理され、信号ＥＤ
₄が出力される。

【００５９】また、符号化されたエッジ情報信号ＥＤ₂
は、エッジ情報デコード部３２に入力される。このエッ
ジ情報デコード部３２には、上記信号ＥＤ₄も入力され
ている。このエッジ情報デコード部３２では、信号ＥＤ
₄とエッジ情報信号ＥＤ₂とを用いてデコード処理を行う
ことにより、エッジ再構成画像信号ＥＤ₅を得る。

【００６０】また、符号化されたテクスチャ画像情報信
号ＥＤ₃は、テクスチャ画像情報デコード部３３に入力
されてデコード処理され、テクスチャ画像信号ＥＤ₆を
得る。

【００６１】上記得られたエッジ再構成画像信号ＥＤ₅
及びテクスチャ画像信号ＥＤ₆を加算回路３４において
加算することにより、再構成された画像信号ＥＤ₇を得
る。

【００６２】上述のような３ＣＣによるエンコード処理
及びデコード処理では、物体の輪郭線の保存に重点をお
いて画像の符号化を行っており、同一の情報量でより多
くの輪郭線情報を保存することが再構成された画像の画
質向上となる。このように、３ＣＣを動画像に適用した
場合には、連続するフレームにおいて同一の物体（領
域）に属する輪郭線が、多少の変形や移動を伴いながら
存在することとなる。

【００６３】そこで、連続する各フレーム内のエッジの
内、同一の物体上の同一の箇所に存在する輪郭線を対応
付けることにより、対応付けができた輪郭線の情報は、
第１フレームにおける位置情報のみを符号化し、以後の
連続するフレーム内でのエッジ情報は、前フレームの対
応するエッジからの移動量や変形パラメータで表すこと
により、情報量の削減が見込まれる。このときの移動量
や変形パラメータは、エッジ領域中の動きベクトルから
求められる。

【００６４】そこで、エッジ領域内の動きベクトルを検
出する手法が必要になる。このとき、対象のフレーム画
像のエッジ領域内の各エッジ画素について一定の範囲の
窓領域を設定し、ブロックマッチングを行うことにより
得られる各画素における動きベクトルを基に、同一の動
きベクトルを持つ領域毎に分類し、各々の領域毎の代表
の動きベクトルを求める。

【００６５】また、エッジ領域内の画素に対してのみで
はなく、画像中の全ての画素に対して動きベクトル検出
を行い、類似する領域毎に分割する場合もある。

【００６６】図１の動きベクトル検出装置において、現
フレームバッファ１及び次フレームバッファ２に格納さ
れる、入力信号として連続する２つのフレーム画像信号
ＡＤ₀、ＡＤ₁を用いる。

【００６７】まず、処理対象フレーム画像の現フレーム
信号ＡＤ₀を現フレームバッファ１からエッジ領域検出
部３に送る。

【００６８】このエッジ領域検出部３でエッジ抽出処理
により得られたエッジ領域信号ＡＤ₂は、エッジ領域分
割部４に入力され、個々のエッジ領域毎に分割されて個
々のエッジ領域信号ＡＤ₃となる。この個々のエッジ領
域信号ＡＤ₃は、エッジ画素分割部５に入力され、個々
のエッジ画素毎に分割されて個々のエッジ画素信号ＡＤ
₄となる。個々のエッジ画素信号ＡＤ₄は、各エッジ画素
毎の動きベクトルを求める動きベクトル検出回路１０に
入力される。

【００６９】ここで、動きベクトル検出回路１０におけ
る処理動作を、図４に示すエッジ領域ＥＡ₁を用いて具
体的に説明する。

【００７０】図４では、２次元の画像信号中に含まれる
１つのエッジ領域信号ＡＤ₃を複数の黒い画素で示し、
各エッジ画素を画素Ｄ₁〜Ｄ₂₄とする。

【００７１】各エッジ画素毎の動きベクトルを求める際
には、注目画素を中心として一定の範囲の探索領域を設
定し、各探索画素毎に探索画素を中心とした矩形の窓領
域を設定してブロックマッチングを行う。図４において
は、探索画素を画素Ｄ₆とする場合に、画素Ｄ₆を中心に
設定される、縦７画素、横７画素の太い点線内の７×７
の矩形領域が探索領域ＳＡ₁とされ、エッジ領域ＥＡ₁の
周辺に設定される、縦５画素、横５画素の太い点線内の
５×５の矩形領域が窓領域ＷＡ₁とされる。

【００７２】エッジ画素周辺の窓領域は、エッジ画素信
号ＡＤ₄に対する動きベクトルを求める際に用いられる
ものであり、エッジ画素信号ＡＤ₄を窓領域設定回路１
１に入力することにより、窓領域信号ＡＤ₅として出力
される。

【００７３】このようにして設定された窓領域信号ＡＤ
₅と、現フレーム信号ＡＤ₀及び次フレーム信号ＡＤ₁と
を差分値算出回路１２に入力する。

【００７４】この差分値算出回路１２では、窓領域信号
ＡＤ₅に示される窓領域の各画素において、現フレーム
の画素値と次フレームの画素値との差分の自乗値を求
め、エッジ近傍窓領域全体の合計を誤差信号ＡＤ₆とし
て出力する。この誤差信号ＡＤ₆は、最小誤差検出回路
１３に入力され、最小誤差を持つ画素位置を検出する。
最小誤差を持つ探索画素であるエッジ画素の位置と注目
画素との移動量が、そのエッジ画素の動きベクトル信号
ＡＤ₇となる。

【００７５】具体的には、図４に示すエッジ領域ＥＡ₁
のエッジリストが、次フレームにおいて、図１４に示す
エッジ領域ＥＡ₁´のエッジリストに変化したときに
は、動きベクトル信号ＡＤ₇として、図５に示す水平方
向の動きベクトル（Ｈ）の値及び垂直方向の動きベクト
ル（Ｖ）の値が求められる。

【００７６】この後、動きベクトル信号ＡＤ₇は、エッ
ジ画素信号ＡＤ₄と共に動きベクトルマップ作成部６に
入力され、エッジ領域ＥＡ₁中の全ての画素毎の動きベ
クトル信号ＡＤ₈が求められる。この動きベクトル信号
ＡＤ₈は、動きベクトル調整部７に入力される。

【００７７】この動きベクトル調整部７では、各画素毎
の動きベクトルは個々のエッジリスト毎にまとめられ
る。これにより、類似する動きベクトルを持つ画素が隣
接する場合には、それらの画素は同一の物体上の領域、
即ちセグメントであるとみなされる。このように、各画
素がセグメント毎に分割された後、各々のセグメント毎
の代表動きベクトル信号ＡＤ₉が求められる。

【００７８】ここで、動きベクトル調整処理部７につい
て具体的に説明する。

【００７９】各エッジ画素毎に求められた動きベクトル
の中には、局所的な画素変化の影響により、周囲の動き
ベクトルとは関連の無い誤りベクトルが得られる場合が
ある。このような誤りベクトルが存在する場合には、エ
ッジリストをセグメントに分割する際に誤った箇所で分
割してしまう原因となる。そこで、動きベクトル調整処
理部７では、このようなノイズの影響を避けるため、セ
グメント分割処理の前処理として、メディアンフィルタ
によるノイズ除去処理を行う。即ち、誤りベクトルを削
除する。

【００８０】図５に示すノイズを除去後の水平方向及び
垂直方向の動きベクトルの値は、３タップのメディアン
フィルタを水平方向及び垂直方向に別々に用いた場合の
処理結果である。この場合、画素Ｄ₁₅の水平方向の動き
ベクトルの値−１が変更され、前後の画素Ｄ₁₄、画素Ｄ
₁₇の動きベクトルの値０と同じ値となっている。

【００８１】このノイズ除去後の動きベクトル信号を、
類似する動きベクトルのセグメントに分類するため、
（１，−１）のＨＰＦを用いてフィルタリングした出力
値の自乗値を、隣接した動きベクトルの差分信号として
求める。この差分信号の値が大きくなる箇所は、動きベ
クトルが大きく変化する境界であると考えられる。そこ
で、閾値以上の値を示す箇所をセグメントの境界とみな
す。図５では、画素Ｄ₁₃と画素Ｄ₁₄との間をセグメント
の境界とみなし、画素Ｄ₁〜画素Ｄ₁₃をエッジリスト
Ｌ₁、画素Ｄ₁₄〜画素Ｄ₂₄をエッジリストＬ₂とする。

【００８２】この求められた各セグメント毎に、セグメ
ント内に含まれる全画素の動きベクトルの平均値を求め
る。このセグメントの全画素の動きベクトルの平均値を
代表動きベクトルとする。図５の各セグメントの代表動
きベクトルに示されるように、右側のエッジリストＬ₁
は右下方向に、左側のエッジリストＬ₂は上方向に移動
していることが分かる。

【００８３】尚、代表動きベクトルとして、セグメント
内の各画素の動きベクトルの平均値を用いる代わりに、
モードやＮランクの動きベクトル等の特定の特徴を示す
動きベクトルを用いることもできる。ここで、モードと
はセグメント内の各画素の動きベクトルの出力値をソー
トした後に得られる最多頻度の動きベクトルであり、Ｎ
ランクとは、セグメント内の各画素の動きベクトルの出
力値をソートした後に得られるＮ番目の値である。

【００８４】代表動きベクトル信号ＡＤ₉は、個々のエ
ッジ領域信号ＡＤ₃と共に動きベクトルマップ作成部８
に入力される。この動きベクトルマップ作成部８では、
個々のセグメントが持つ動きベクトルを集計し、フレー
ム中に存在するエッジ領域全体の動きベクトル信号ＡＤ
₁₀を出力する。

【００８５】尚、各セグメントの代表動きベクトルを用
いて、アフィン変換により、エッジ領域の拡大又は縮小
係数や回転係数等のパラメータを求めることもできる。

【００８６】上述のような動きベクトル検出装置におい
て、動きの異なる物体の領域にまたがるエッジ領域にお
いても、動きベクトルを各画素毎に求め、類似する動き
ベクトルをもつ領域毎に分割し、各領域の代表動きベク
トルを求めることにより、より正確な動きベクトルを求
めることができる。

【００８７】

【発明の効果】以上の説明からも明かなように、本発明
に係る動きベクトル検出装置及び動きベクトル検出方法
は、フレーム画像を物体又は領域毎に分割した後に上記
物体又は領域を画素毎に分割し、この画素毎の動きベク
トルを検出し、上記画素毎の動きベクトルを用いて、上
記物体又は領域全体の動きベクトルを求めることによ
り、動きの異なる物体の領域にまたがるエッジ領域にお
いても、正確な動きベクトルを求めることができるの
で、連続するフレーム内のエッジ領域の対応付けを行う
際に、対応付けが成功するエッジ領域の割合が増し、符
号化効率を高めることができる。

【図面の簡単な説明】

【図１】本発明に係る動きベクトル検出装置の実施の形
態の概略的な構成図である。

【図２】３ＣＣのエンコード処理回路の概略的な構成図
である。

【図３】３ＣＣのデコード処理回路の概略的な構成図で
ある。

【図４】図１の動きベクトル検出装置におけるエッジ領
域、窓領域、及び検索領域を示す図である。

【図５】各画素の動きベクトルの値及び動きベクトルの
平均値を示す図である。

【図６】従来の動きベクトル検出装置の実施の形態の概
略的な構成図である。

【図７】エッジ領域検出部の概略的な構成図である。

【図８】ソーベルフィルタのタップ係数を示す図であ
る。

【図９】１次元のマスク領域を示す図である。

【図１０】閾値関数を示す図である。

【図１１】エッジ領域、窓領域、及び探索領域を示す図
である。

【図１２】現フレーム及び次フレームの各窓領域を示す
図である。

【図１３】次フレームにおけるエッジ領域の周辺領域の
移動方向を示す図である。

【図１４】現フレーム及び次フレームの各エッジ領域の
位置を示す図である。

【符号の説明】

１現フレームバッファ２次フレームバッファ３エッジ領域検出部４エッジ領域分割部５エッジ画素分割部６動きベクトルマップ作成部７動きベクトル調整部８動きベクトルマップ作成部１０動きベクトル検出部１１窓領域設定回路１２差分値算出回路１３最小誤差検出回路

Claims

【特許請求の範囲】

【請求項１】フレーム画像を物体又は領域毎に分割す
る領域分割手段と、上記領域分割手段からの物体又は領域を画素毎に分割
し、この画素毎の動きベクトルを検出する動きベクトル
検出手段と、上記動きベクトル検出手段からの画素毎の動きベクトル
を用いて、上記物体又は領域全体の動きベクトルを求め
る動きベクトルマップ作成手段とを有して成ることを特
徴とする動きベクトル検出装置。
【請求項２】上記領域分割手段では、物体の輪郭線を
表すエッジ領域を検出して個々のエッジ領域に分割し、
上記動きベクトル検出手段では、上記個々のエッジ領域
をエッジ画素毎に分割して上記エッジ画素毎の動きベク
トルを検出し、上記動きベクトルマップ作成手段では、
上記エッジ画素毎の動きベクトルを用いて上記物体又は
領域全体の動きベクトルを求めることを特徴とする請求
項１記載の動きベクトル検出装置。
【請求項３】上記動きベクトルマップ作成手段では、
上記動きベクトル検出手段からの画素毎の動きベクトル
を用いて、上記物体又は領域を構成する複数の画素を類
似の動きベクトルを持つ画素から成るセグメント毎に分
割し、上記セグメント毎の代表動きベクトルを求めるこ
とを特徴とする請求項２記載の動きベクトル検出装置。
【請求項４】上記動きベクトルマップ作成手段では、
上記複数の画素を上記セグメント毎に分割する際に、上
記画素毎の動きベクトルにメディアンフィルタをかける
ことを特徴とする請求項３記載の動きベクトル検出装
置。
【請求項５】上記動きベクトルマップ作成手段では、
上記複数の画素を上記セグメント毎に分割する際に、上
記画素毎の動きベクトルにハイパスフィルタをかけた後
の出力値の内の大きい出力値を上記セグメントの境界点
とすることを特徴とする請求項３記載の動きベクトル検
出装置。
【請求項６】上記動きベクトルマップ作成手段では、
上記セグメントを構成する画素毎の動きベクトルの平均
値、上記画素毎の動きベクトル内の最多頻度の動きベク
トル、又は上記画素毎の動きベクトルをソートした後の
所定の動きベクトルを上記セグメント毎の代表動きベク
トルとすることを特徴とする請求項５記載の動きベクト
ル検出装置。
【請求項７】上記動きベクトルマップ作成手段では、
上記セグメント毎の代表動きベクトルを用いて、エッジ
領域全体の拡大、縮小、又は回転係数を求めることを特
徴とする請求項６記載の動きベクトル検出装置。
【請求項８】フレーム画像を物体又は領域毎に分割す
る領域分割工程と、上記物体又は領域を画素毎に分割し、この画素毎の動き
ベクトルを検出する動きベクトル検出工程と、上記画素毎の動きベクトルを用いて、上記物体又は領域
全体の動きベクトルを求める動きベクトルマップ作成工
程とから成ることを特徴とする動きベクトル検出方法。
【請求項９】上記領域分割工程では、物体の輪郭線を
表すエッジ領域を検出して個々のエッジ領域に分割し、
上記動きベクトル検出工程では、上記個々のエッジ領域
をエッジ画素毎に分割して上記エッジ画素毎の動きベク
トルを検出し、上記動きベクトルマップ作成工程では、
上記エッジ画素毎の動きベクトルを用いて上記物体又は
領域全体の動きベクトルを求めることを特徴とする請求
項８記載の動きベクトル検出方法。
【請求項１０】上記動きベクトルマップ作成工程で
は、上記動きベクトル検出手段からの画素毎の動きベク
トルを用いて、上記物体又は領域を構成する複数の画素
を類似の動きベクトルを持つ画素から成るセグメント毎
に分割し、上記セグメント毎の代表動きベクトルを求め
ることを特徴とする請求項９記載の動きベクトル検出方
法。
【請求項１１】上記動きベクトルマップ作成工程で
は、上記複数の画素を上記セグメント毎に分割する際
に、上記画素毎の動きベクトルにメディアンフィルタを
かけることを特徴とする請求項１０記載の動きベクトル
検出方法。
【請求項１２】上記動きベクトルマップ作成工程で
は、上記複数の画素を上記セグメント毎に分割する際
に、上記画素毎の動きベクトルにハイパスフィルタをか
けた後の出力値の内の大きい出力値を上記セグメントの
境界点とすることを特徴とする請求項１０記載の動きベ
クトル検出方法。
【請求項１３】上記動きベクトルマップ作成工程で
は、上記セグメントを構成する画素毎の動きベクトルの
平均値、上記画素毎の動きベクトル内の最多頻度の動き
ベクトル、又は上記画素毎の動きベクトルをソートした
後の所定の動きベクトルを上記セグメント毎の代表動き
ベクトルとすることを特徴とする請求項１２記載の動き
ベクトル検出方法。
【請求項１４】上記動きベクトルマップ作成工程で
は、上記セグメント毎の代表動きベクトルを用いて、エ
ッジ領域全体の拡大、縮小、又は回転係数を求めること
を特徴とする請求項１３記載の動きベクトル検出方法。