JPH0993585A

JPH0993585A - 動きベクトル検出装置及び動きベクトル検出方法

Info

Publication number: JPH0993585A
Application number: JP24496195A
Authority: JP
Inventors: Yoshitaka Furukubo; 良隆古久保; Atsushi Murayama; 淳村山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-09-22
Filing date: 1995-09-22
Publication date: 1997-04-04

Abstract

(57)【要約】【課題】画像中の動きベクトルを求める画素の周辺に
動きが異なる領域が存在する場合にも、正確な動きベク
トルを求めることができる。【解決手段】エッジ領域検出部３で検出した現フレー
ムのエッジ領域を、エッジ画素分割部４でエッジ画素毎
に分割し、動きベクトル検出部１０で、上記各エッジ画
素に対して設定される、異なる大きさ及び形状の複数の
窓領域の最小誤差を持つ画素をそれぞれ検出し、上記複
数の窓領域の最小誤差を持つ各画素と上記エッジ画素と
の間の動きベクトルにより上記エッジ画素の最適な窓領
域を検出して、動きベクトルマップ作成部５で、各エッ
ジ画素の最適な窓領域による動きベクトルを用いてエッ
ジ領域全体の動きベクトルを求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体又は領域の動
きベクトルを検出する動きベクトル検出装置及び動きベ
クトル検出方法に関する。

【０００２】

【従来の技術】従来、画像信号の高能率符号化は、画像
信号の持つ相関の高さを利用して冗長性を削減する方法
であり、画像信号の伝送や記録の際に必要不可欠なもの
である。この画像信号の高能率符号化方法として、予測
符号化のような画像を画素単位に扱う符号化方法や、離
散コサイン変換（Discrete Cosine Transform：以下、
ＤＣＴという）に代表される直交変換符号化やウェーブ
レット変換のようなサブバンド符号化等が存在する。

【０００３】予測符号化の代表的な手法としては、フレ
ーム内ＤＰＣＭ（Differential Pulse Code Modulatio
n）等がある。このフレーム内ＤＰＣＭは、原画素と復
号化した近傍画素の差分を量子化して符号化する方法で
ある。

【０００４】このような予測符号化方法は、必要な圧縮
率が１／２〜１／４程度と、それほど高くない場合には
有効であるが、それ以上の高圧縮率の場合には適さな
い。一方、直交変換符号化やサブバンド符号化は、圧縮
率が１／１０以上と高い場合に用いられており、現在は
ＤＣＴを用いた手法が一般的に多く用いられている。こ
れは、ＤＣＴが高速アルゴリズムを有し、ハード化が容
易である等の理由によるものであり、ＪＰＥＧやＭＰＥ
Ｇ等の画像符号化方式の国際標準にも採用されている。

【０００５】ＤＣＴを用いた画像符号化方式は、画像信
号の低周波成分の電力がきわめて大きいという特徴を利
用し、ＤＣＴによって求められた画像信号の周波数成分
を量子化する際に低周波成分の量子化ステップサイズは
小さく、高周波成分のステップサイズは大きくすること
によって、全体として情報量を圧縮する手法である。

【０００６】しかし、量子化を行うことによってブロッ
ク歪み及びモスキート雑音が生じてしまうという問題点
があり、特にマクロブロックを単位とした処理であるこ
とに起因するブロック歪みは、符号化速度が低い場合に
顕著になる。このため、超低ビットレートの画像符号化
を行うためには新たな高能率符号化方法が必要である。

【０００７】そこで、超低ビットレートでの伝送や記録
を目的とした画像符号化方式として、人間の視覚特性が
物体の輪郭線に特に敏感であるということを考慮し、原
画像中の輪郭線部分を重点的に保存することにより低ビ
ットレートでも視覚的に優れた復元性を実現しようとす
る手法が提案されている。

【０００８】このような原画像中の輪郭線部分を重点的
に保存する画像符号化方法においては、静止画像中の物
体の輪郭線いわゆるエッジ領域をいかに効率良く抽出
し、符号化するかが重要となる。さらに、動画像符号化
処理において符号化効率を上げるための手段として、静
止画像から抽出されたエッジ領域の動き補償処理が必要
となる。このエッジ領域の動き補償とは、隣接するフレ
ーム内のエッジ領域間の対応関係を調べ、対応付けがな
されたエッジに関しては前フレームのエッジ領域に対す
る動きベクトルと変形パラメータとを送り、対応が付か
なかったエッジに関してのみ新たに位置情報などの符号
化を行うものである。従って、隣接するフレーム間でエ
ッジの対応付けを行うことが必要となるが、このとき、
各エッジ領域の動きベクトルが必要となる。

【０００９】ここで、従来の各フレームの輪郭線を対応
付けるための各エッジ領域の動きベクトルを求める方法
について説明する。

【００１０】図８には、従来のエッジ領域の動きベクト
ル検出装置の概略的な構成を示す。

【００１１】図８に示す動きベクトル検出装置におい
て、現フレームバッファ４１及び次フレームバッファ４
２に格納される、入力信号として連続する２つのフレー
ム画像信号ＢＤ₀、ＢＤ₁を用いる。

【００１２】まず、処理対象である現フレーム信号ＢＤ
₀を現フレームバッファ４１からエッジ領域検出部４３
に送る。このエッジ領域検出部４３の概略的な構成を図
９に示し、現フレーム画像からエッジ領域を抽出する処
理手順を説明する。

【００１３】図９において、現フレーム信号ＢＤ₀から
成る原画像の画素信号ＣＤ₀は、差分フィルタであるソ
ーベル（Sobel）フィルタを用いたエッジ強度算出部６
１、６２に入力される。このとき、エッジ強度算出部６
１では、図１０Ｂに示すタップ係数のソーベルフィルタ
が用いられ、エッジ強度算出６２では、図１０Ａに示す
タップ係数のソーベルフィルタが用いられる。これによ
り、エッジ強度算出部６１では水平方向のエッジ強度を
示すエッジ強度信号ＣＤ₁が得られ、エッジ強度算出部
６２では垂直方向のエッジ強度を示すエッジ強度信号Ｃ
Ｄ₂が得られる。

【００１４】このエッジ強度信号ＣＤ₁は乗算器６３で
自乗されて水平方向のエッジ強度信号電力ＣＤ₄が出力
され、また、エッジ強度信号ＣＤ₂は乗算器６４で自乗
されて垂直方向のエッジ強度信号電力ＣＤ₅が出力され
る。

【００１５】この水平方向のエッジ強度信号電力ＣＤ₄
と垂直方向のエッジ強度信号電力ＣＤ₅とは加算器６５
で加算され、注目画素のエッジ強度を示す信号ＣＤ₇を
得る。

【００１６】ここで、物体の輪郭や物体間の境界線等の
エッジ領域と、テクスチャ領域内のエッジ領域の特性と
の違いを考慮に入れた場合には、エッジ領域とテクスチ
ャ領域とを分離するための特徴量として、画素値（階調
値）の局所的な変化特性と大局的な変化特性とを示す指
標値を用いる手法が有効である。この画素値の局所的な
変化特性を表す特徴量としては、エッジ領域か否かを判
定する際に重要な特徴量である注目画素のエッジ強度が
ある。また、画素値の大局的な変化特性を表す特徴量と
しては、注目画素周辺の空間周波数分布をあげることが
できる。このエッジ領域検出部４３では、画素値の大局
的な変化特性を示す特徴量として空間周波数を示す特徴
量を用いる。

【００１７】このため、フィルタリング処理部６６にお
いて、原画像の画素信号ＣＤ₀の、ハイパスフィルタ
（ＨＰＦ：High Pass Filter）、ローパスフィルタ（Ｌ
ＰＦ：Low Pass Filter）、又はバンドパスフィルタ
（ＢＰＦ：Band Pass Filter）を介した出力値をそれぞ
れ算出する。フィルタリング処理部６６において用いる
ＨＰＦの例としては、例えば図１０に示す３×３のタッ
プ数のソーベルフィルタ等があるが、この他に、５×
５、７×７等のタップ数のＨＰＦや、タップ係数が異な
るフィルタも適用することができる。

【００１８】また、大局的な変化特性を表す特徴量とし
て、局所的な変化特性を表す特徴量である空間周波数の
特徴量の一定領域内における平均値などを用いる。そこ
で、このような大局的な変化特性を示す特徴量を求める
際に必要な局所的特徴量を得るためのマスク領域を、注
目領域周辺に設定する。このマスク領域の種類として、
図１１に示す窓領域ＷＡ₃、ＷＡ₄が考えられる。

【００１９】図１１に示すマスク領域である窓領域ＷＡ
₃、ＷＡ₄は、注目画素ＣＰが持つエッジ強度の法線方向
にある、注目画素ＣＰを境界とする注目画素ＣＰの両側
の１次元の領域であり、一方の１次元のマスク領域を窓
領域ＷＡ₃、他方の１次元のマスク領域を窓領域ＷＡ₄と
する。これは、エッジ領域ＥＡ₃を境界として大きく変
わる画素値の変化を、エッジ領域ＥＡ₃の両側の特徴量
の関係から得ようとするものである。

【００２０】以上のような各種の特徴量を用いたエッジ
領域抽出のための閾値決定の処理は、図９のフィルタリ
ング処理部６６、マスク領域設定回路６７、及び閾値決
定回路６８を用いる。

【００２１】まず、原画像の画素信号ＣＤ₀がフィルタ
リング処理部６６に入力されて得られる出力信号ＣＤ₃
を、マスク領域設定回路６７に入力する。このマスク領
域設定回路６７ではマスク領域を設定し、この設定され
たマスク領域内から求められる特徴量ＣＤ₆を算出す
る。そして、閾値決定回路６８において、特徴量ＣＤ₆
及び加算器６５からのエッジ強度を示す信号ＣＤ₇をパ
ラメータとする閾値関数Ｆに応じて閾値信号ＣＤ₈を求
める。

【００２２】尚、閾値関数Ｆは、テクスチャ領域とエッ
ジ領域とを分離するために最適と思われる閾値を取れる
ようにシミュレーションによって決定されるものであ
る。

【００２３】閾値決定回路６８において用いられる閾値
関数としては、例えば図１２に示すように、注目画素の
エッジ強度Ｅと、２つのマスク領域内の平均値Ｍ₁、Ｍ₂
との関係を示す閾値関数Ｆ₁が用いられる。この閾値関
数Ｆ₁は、以下の（１）式で示される。

【００２４】｛Ｍ₁−（ａＥ−ｂ）｝｛Ｍ₂−（ａＥ−ｂ）｝＝ｃ・・・（１）（ａ、ｂ、ｃは定数）この（１）式に示すマスク領域内の平均値Ｍ₁、Ｍ₂の値
により、以下の（２）式に示す閾値Ｔとなるエッジ強度
Ｅが得られる。

【００２５】Ｔ＝Ｆ₁（Ｍ₁・Ｍ₂）・・・（２）閾値が決定された後、エッジ強度を示す信号ＣＤ₇と閾
値決定回路６８から出力される閾値信号ＣＤ₈とを比較
器６９に入力する。例えば、比較器６９からの出力信号
ＣＤ₉は、注目領域がテクスチャ領域であるときには
０、エッジ領域であるときには１として出力される。こ
れにより、注目画素がテクスチャ領域であるのか、ある
いはエッジ領域であるのかを判断する。

【００２６】従って、比較器６９からの出力信号ＣＤ₉
を各画素の画素値として得られる画像は、エッジ領域抽
出によって抽出されたエッジ領域であり、このエッジ領
域から成る画像をエッジ画像と呼ぶこととする。

【００２７】尚、図９のエッジ領域信号ＣＤ₉は、図８
に示されるエッジ領域検出部４３から出力されるエッジ
領域信号ＢＤ₂に相当する。

【００２８】このエッジ領域信号ＢＤ₂はエッジ画素分
割部４４に入力されて、個々のエッジ画素毎に分割さ
れ、個々のエッジ画素信号ＢＤ₃となる。個々のエッジ
画素信号ＢＤ₃は、各エッジ画素毎の動きベクトルを求
める動きベクトル検出部５０に入力される。

【００２９】ここで、動きベクトル検出部５０の動作説
明に用いるための個々のエッジ画素信号ＢＤ₃の具体的
な例を図１３に示す。

【００３０】図１３では、２次元の画像信号中に含まれ
る１つのエッジ領域信号ＢＤ₂を黒い画素Ｄ₁〜Ｄ₂₄で示
し、これら複数の黒い画素で示す領域をエッジ領域ＥＡ
₁とする。また、このエッジ領域ＥＡ₁に隣接する２つの
領域ＡＲ₁₁、ＡＲ₁₂を斜線で示している。領域ＡＲ
₁₁は、次フレームにおいて矢印で示す右下方向に移動す
る領域であり、領域ＡＲ₁₂は、次フレームにおいて矢印
で示す上方向に移動する領域である。尚、個々のエッジ
画素信号ＢＤ₃は、図１３において個々の画素Ｄ₁〜Ｄ₂₄
で示される。

【００３１】また、画素Ｄ₆を中心に設定される、縦７
画素、横７画素の太い点線内の７×７の矩形領域を探索
領域ＳＡ₁とし、エッジ領域ＥＡ₁の周辺に設定される、
縦５画素、横５画素の太い点線内の５×５の矩形領域を
エッジ近傍の窓領域ＷＡ₁とする。探索領域ＳＡ₁は、ブ
ロックマッチングの際に予測エッジ領域の中心画素が移
動する範囲を示すものである。また、エッジ近傍の窓領
域ＷＡ₁は、ブロックマッチングの際の誤差評価に用い
られ、エッジ画素信号ＢＤ₃を図８の窓領域設定回路５
１に入力して求める。

【００３２】窓領域設定回路５１においては、エッジ近
傍の窓領域の設定処理を行う。具体的には、窓領域設定
回路５１に入力されたエッジ画素から一定の距離内に存
在する画素を探索領域とし、その探索領域ＳＡ₁内の各
画素を順に注目画素として、この注目画素の周辺領域を
エッジ近傍の窓領域の画素とする。

【００３３】このようにして設定された窓領域信号ＢＤ
₄と、現フレーム信号ＢＤ₀及び次フレーム信号ＢＤ₁と
を差分値算出回路５２に入力する。

【００３４】この差分値算出回路５２では、窓領域信号
ＢＤ₄に示される窓領域の各画素において、現フレーム
の画素値と次フレームの画素値との差分の自乗値を求
め、窓領域全体の合計を誤差信号ＢＤ₅として出力す
る。この誤差信号ＢＤ₅は、最小誤差検出回路５３に入
力され、最小誤差を持つ画素位置を検出する。

【００３５】ここで、図１４に、現フレームのエッジ画
素のエッジ領域ＥＡ₁と次フレームの黒色で示すエッジ
画素のエッジ領域ＥＡ₁´との位置関係を具体的に示
す。

【００３６】図１４の画素Ｄ₆において、最小誤差を持
つ窓領域が画素Ｄ₆´に見つかった場合には、現フレー
ムの画素Ｄ₆と最小誤差の画素Ｄ₆´との位置関係を比較
し、移動量として（水平方向，垂直方向）＝（２，１）
が求められる。この移動量がエッジ領域ＥＡ₁の動きベ
クトル信号ＢＤ₆として、最小誤差検出回路５３から出
力される。

【００３７】このように、個々のエッジ領域毎に求めら
れた動きベクトル信号ＢＤ₆は、エッジ画素信号ＢＤ₃と
共に動きベクトルマップ作成部４５に入力される。この
動きベクトルマップ作成部４５では、個々の画素が持つ
動きベクトルを集計し、フレーム中に存在する全エッジ
領域の動きベクトル信号ＢＤ₇を作成する。

【００３８】このように、超低ビットレートにおける画
像信号符号化を行う際に、原画像の輪郭線を重点的に保
存する符号化方法を用い、この符号化方法を動画像符号
化に適用する場合には、各静止画像中に含まれる輪郭
線、即ちエッジ領域を全てチェーンコーディング等で符
号化すると、情報量が膨大となり、符号化効率が低下し
てしまうので、連続するフレーム内の輪郭線を対応付け
る。対応が付いた輪郭線に対しては、初期値となるフレ
ーム内の輪郭線位置情報のみを送り、以後のフレームで
は移動・変形パラメータ等の形状の差分情報のみを符号
化する。これにより、情報量を削減することができる。

【００３９】この場合には、各フレーム中の輪郭線の対
応付けを行う際に、各輪郭線の動きベクトルを求める必
要がある。また、この各輪郭線の動きベクトルを、輪郭
線内部の各エッジ画素の動きベクトルを基に求める場合
には、各画素毎のできるだけ正確な動きベクトルを求め
る必要がある。

【００４０】

【発明が解決しようとする課題】ところで、上述のよう
なエッジ領域毎の動きベクトル検出方法においては、ブ
ロックマッチングの際に注目エッジ画素周辺の一定範囲
を窓領域とするとき、対象とするエッジ領域が複数の領
域にまたがっている場合には、誤った動きベクトルを検
出するという問題が生じる。これは、注目エッジ画素の
複数の周辺領域がそれぞれ異なる方向に移動していた場
合に、注目エッジ画素において設定した窓領域内に異な
る動きベクトルを持つ領域が入り、互いに影響し合うこ
とにより、正しい誤差曲面が得られなくなるためであ
る。

【００４１】例えば、図１３示されるエッジ領域の内の
画素Ｄ₁₆において動きベクトル検出を行う際に、画素Ｄ
₆において示されている５×５の窓領域ＷＡ₁を設定して
動きベクトル検出を行うとする。このとき、画素Ｄ
₁₆は、領域ＡＲ₁₁内の画素であるため、求める動きベク
トルとしては、領域ＡＲ₁₁の動きを示すことが望まれ
る。しかし、この場合には、窓領域ＷＡ₁内には領域Ａ
Ｒ₁₁の画素のみでなく、領域ＡＲ₁₂の画素も含まれてし
まう。この結果、領域ＡＲ₁₂の画素の動きに影響され、
領域ＡＲ₁₁の動きとは異なった動きベクトルが生じてし
まう。

【００４２】即ち、エッジ領域検出処理によって求めら
れるエッジ領域は、動きの方向が異なる領域間にまたが
るときがあり、個々のエッジ画素毎に一定の大きさの窓
領域を用いたブロックマッチングを行う動きベクトル検
出方法で、領域の境界に近いエッジ画素の動きベクトル
を求める場合には、設定する窓領域内に複数の画素値情
報が入り、誤った動きベクトルが検出されてしまう場合
がある。

【００４３】そこで、本発明は上述の実情に鑑み、画像
中の動きベクトルを求める画素の周辺に動きが異なる領
域が存在する場合にも、正確な動きベクトルを求めるこ
とができる動きベクトル検出装置を提供するものであ
る。

【００４４】

【課題を解決するための手段】本発明に係る動きベクト
ル検出装置及び動きベクトル検出方法は、現フレームの
物体又は領域の動きベクトル検出対象となる注目画素に
対して、切換選択可能な複数の動きベクトル検出モード
の内の上記注目画素の周辺領域の特徴に適応した動きベ
クトル検出モードを用いて動きベクトルを検出し、この
動きベクトル及び画素情報を用いて、上記物体又は領域
毎の動きベクトルを求める。

【００４５】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。

【００４６】図１には、本発明に係る動きベクトル検出
方法を用いる動きベクトル検出装置の実施の形態の概略
的な構成を示す。

【００４７】この動きベクトル検出装置は、現フレーム
の物体又は領域の動きベクトル検出対象となる注目画素
に対して、切換選択可能な複数の動きベクトル検出モー
ドの内の上記注目画素の周辺領域の特徴に適応した動き
ベクトル検出モードを用いて動きベクトルを検出する動
きベクトル検出手段であるエッジ領域検出部３、エッジ
画素分割部４、及び動きベクトル検出部１０と、上記動
きベクトル検出部１０からの動きベクトル及び上記エッ
ジ画素分割部４からの画素情報を用いて、上記物体又は
領域毎の動きベクトルを求める動きベクトルマップ作成
手段である動きベクトルマップ作成部５とを有して成
る。

【００４８】具体的には、エッジ領域検出部３及びエッ
ジ画素分割部４で、物体の輪郭線を表すエッジ領域を検
出してエッジ画素毎に分割し、上記動きベクトル検出部
１０では、上記注目画素に対して、異なる大きさ及び形
状の複数の窓領域をそれぞれ設定し、所定の探索領域内
で、上記複数の窓領域内の各画素について、上記現フレ
ームと上記現フレームの次のフレームとの差分の自乗値
を算出した後に、上記複数の窓領域について最小誤差を
持つ画素をそれぞれ検出し、上記複数の窓領域の最小誤
差を持つ各画素と上記注目画素との間の動きベクトルに
より最適な窓領域を検出して、この最適な窓領域による
動きベクトルを出力する動きベクトル検出モードを用い
る。

【００４９】このとき、上記注目画素の周辺領域に類似
の動きベクトルを持つ領域が存在するときには、上記類
似の動きベクトルを持つ領域を含む大きな窓領域を用
い、上記注目画素の周辺領域に異なる動きベクトルを持
つ領域が隣接するときには、上記異なる動きベクトルを
持つ領域よりも近い類似の動きベクトルを持つ領域内の
小さな窓領域を用いる。

【００５０】また、上記動きベクトル検出部１０では、
上記注目画素からの距離に基づいた重み付けを行う。

【００５１】次に、この動きベクトル検出装置の動作に
ついて、以下に詳細に説明する。

【００５２】尚、この実施の形態においては、動きベク
トル検出装置が超低ビットレートにおける画像信号符号
化のための動き補償処理部に用いられるものとし、２つ
の物体間にまたがる輪郭線をエッジ領域とし、このエッ
ジ領域における動きベクトルの抽出を行う場合の動作に
ついて述べる。

【００５３】まず、物体の輪郭線の保存に重点を置いた
超低ビットレート画像符号化の代表的な手法として、３
ＣＣ（3 Component Coding）がある。この３ＣＣとは、
原画像をエッジ部分、輝度情報、及びテクスチャ画像情
報に分割し符号化を行うものである。

【００５４】ここで、３ＣＣによるエンコード処理回路
の概略的な構成を図２に示し、また、３ＣＣによるデコ
ード処理回路の概略的な構成を図３に示す。

【００５５】図２の３ＣＣによるエンコード処理回路で
は、入力画像信号ＤＤ₀をローカル光生成／符号化部２
１及びエッジ情報検出／符号化部２２に入力する。この
ローカル光生成／符号化部２１では、入力画像信号ＤＤ
₀から画像の大局的な輝度情報を示すローカル光（Local
Luminance）成分を求めて符号化し、出力信号ＤＤ₁を
得る。また、エッジ情報検出／符号化部２２では、画像
の輪郭線部分を抽出して符号化し、出力信号ＤＤ₂を得
る。この出力信号ＤＤ₁はローカル光信号であり、出力
信号ＤＤ₂はエッジ情報信号である。

【００５６】上記出力信号ＤＤ₁及び出力信号ＤＤ₂は、
エッジ情報デコード部２３に送られてエッジ画像を再構
成する処理によりエッジ画像信号ＤＤ₃を得る。このエ
ッジ画像信号ＤＤ₃と上記入力画像信号ＤＤ₀との差分を
差分回路２４で求め、テクスチャ画像信号ＤＤ₄を得
る。

【００５７】このテクスチャ画像信号ＤＤ₄は、テクス
チャ画像情報符号化部２５に送られて、エントロピー符
号化処理によって符号化され、テクスチャ画像情報信号
ＤＤ₅が出力される。

【００５８】このように、入力画像信号ＤＤ₀は、最終
的には、符号化されたローカル光信号、符号化されたエ
ッジ情報信号、及び符号化されたテクスチャ画像情報信
号に変換される。

【００５９】一方、図３の３ＣＣによるデコード処理回
路では、符号化されたローカル光信号ＥＤ₁は、デコー
ド処理部３１に入力されてデコード処理され、信号ＥＤ
₄が出力される。

【００６０】また、符号化されたエッジ情報信号ＥＤ₂
は、エッジ情報デコード部３２に入力される。このエッ
ジ情報デコード部３２には、上記信号ＥＤ₄も入力され
ている。このエッジ情報デコード部３２では、信号ＥＤ
₄とエッジ情報信号ＥＤ₂とを用いてデコード処理を行う
ことにより、エッジ再構成画像信号ＥＤ₅を得る。

【００６１】また、符号化されたテクスチャ画像情報信
号ＥＤ₃は、テクスチャ画像情報デコード部３３に入力
されてデコード処理され、テクスチャ画像信号ＥＤ₆を
得る。

【００６２】上記得られたエッジ再構成画像信号ＥＤ₅
及びテクスチャ画像信号ＥＤ₆を加算回路３４において
加算することにより、再構成された画像信号ＥＤ₇を得
る。

【００６３】上述のような３ＣＣによるエンコード処理
及びデコード処理では、物体の輪郭線の保存に重点をお
いて画像の符号化を行っており、同一の情報量でより多
くの輪郭線情報を保存することが再構成された画像の画
質向上となる。このように、３ＣＣを動画像に適用した
場合には、連続するフレームにおいて同一の物体又は領
域に属する輪郭線が、多少の変形や移動を伴いながら存
在することとなる。

【００６４】そこで、連続する各フレーム内のエッジの
内、同一の物体上の同一の箇所に存在する輪郭線を対応
付けることにより、対応付けができた輪郭線の情報は、
第１フレームにおける位置情報のみを符号化し、以後の
連続するフレーム内でのエッジ情報は、前フレームの対
応するエッジからの移動量や変形パラメータで表すこと
により、情報量の削減が見込まれる。このときの移動量
や変形パラメータは、エッジ領域中の動きベクトルから
求められる。

【００６５】そこで、エッジ領域内の動きベクトルを検
出することが必要になる。このとき、画像中の各画素ま
たはエッジ領域中の各画素において動きベクトルを求め
る際に、注目画素が存在する周囲の状況に合わせて、複
数の動きベクトル検出モードを適応的に使い分ける。

【００６６】その際に用いる動きベクトル検出モード
は、領域の形状や大きさに合わせて異なる窓領域の形状
や大きさを適応的に変化させるブロックマッチング法で
ある。

【００６７】具体的には、最適なサイズの窓領域を用い
たブロックマッチング法を用いており、注目画素周辺に
動きの異なる領域が存在しない場合には大きな窓領域を
用い、注目画素周辺に他の動きの異なる領域が隣接して
いる場合には、この異なる領域を含まないような小さい
窓領域を用いるものである。

【００６８】図１の動きベクトル検出装置において、現
フレームバッファ１及び次フレームバッファ２に格納さ
れる、入力信号として連続する２つのフレーム画像信号
ＡＤ₀、ＡＤ₁を用いる。

【００６９】まず、処理対象である現フレーム信号ＡＤ
₀を現フレームバッファ１からエッジ領域検出部３に送
る。

【００７０】このエッジ領域検出部３でエッジ抽出処理
により得られたエッジ領域信号ＡＤ₂は、エッジ画素分
割部４に入力され、個々のエッジ画素毎に分割されて個
々のエッジ画素信号ＡＤ₃となる。個々のエッジ画素信
号ＡＤ₃は、各エッジ画素毎の動きベクトルを求める動
きベクトル検出回路１０に入力される。

【００７１】ここで、動きベクトル検出回路１０におけ
る処理動作を、図１３に示されるエッジ領域ＥＡ₁を用
いて具体的に説明する。

【００７２】各エッジ画素毎の動きベクトルを求める際
には、注目画素を中心として異なる範囲の窓領域を設定
し、それぞれの窓領域を用いてブロックマッチングを行
う。この際、説明を簡略化するために、探索領域の大き
さは一定とする。

【００７３】この動きベクトル検出回路１０では、異な
るサイズの矩形の窓領域でブロックマッチングを行う。
まず、エッジ画素信号ＡＤ₃が、それぞれ異なるサイズ
の矩形の窓領域を設定する窓領域設定回路１１₁、１
１₂、１１₃、・・・にそれぞれ入力される。窓領域設定
回路１１₁、１１₂、１１₃、・・・では、注目画素周辺
にそれぞれ３×３、５×５、７×７、・・・の窓領域を
設定する窓領域信号ＡＤ₄₁、ＡＤ₄₂、ＡＤ₄₃、・・・が
それぞれ生成される。これらの窓領域信号ＡＤ₄₁、ＡＤ
₄₂、ＡＤ₄₃、・・・は、現フレーム信号ＡＤ₀及び次フ
レーム信号ＡＤ₁と共に、差分値算出回路１２₁、１
２₂、１２₃、・・・にそれぞれ入力される。

【００７４】差分値算出回路１２₁、１２₂、１２₃、・
・・では、窓領域信号ＡＤ₄₁、ＡＤ₄ ₂、ＡＤ₄₃、・・・
に示される窓領域内画素の各画素において、現フレーム
の画素と次フレームの画素値との差分の自乗値をそれぞ
れ求め、エッジ近傍窓領域全体の合計を誤差信号Ａ
Ｄ₅₁、ＡＤ₅₂、ＡＤ₅₃、・・・としてそれぞれ出力す
る。但し、誤差信号ＡＤ₅₁、ＡＤ₅₂、ＡＤ₅₃、・・・
は、図１３の探索領域ＳＡ₁の各画素に対して求めるも
のとする。

【００７５】これらの誤差信号ＡＤ₅₁、ＡＤ₅₂、Ａ
Ｄ₅₃、・・・は、最小誤差検出回路１３₁、１３₂、１３
₃、・・・にそれぞれ入力され、最小誤差を持つ画素位
置を検出する。最小誤差を持つエッジ画素の位置と注目
画素との移動量が、そのエッジ画素の動きベクトル信号
ＡＤ₆₁、ＡＤ₆₂、ＡＤ₆₃、・・・となる。

【００７６】異なるサイズの窓領域を用いて求められた
動きベクトル信号ＡＤ₆₁、ＡＤ₆₂、ＡＤ₆₃、・・・は、
最適窓領域検出回路１４に入力され、注目画素において
最も有効な窓領域のサイズから得られた動きベクトルを
選択する。

【００７７】ここで、最適窓領域検出回路１４における
最適窓領域の決定方法を、図４及び図５を用いて具体的
に説明する。

【００７８】ある注目画素における検出された動きベク
トルを窓領域のサイズ順に列挙した場合に、窓領域のサ
イズが変わることによる動きベクトルの変化特性として
は、大きく分けて２つの場合が考えられる。その代表的
な例を、図４Ａ及び図５Ａに示す。この図４Ａ及び図５
Ａの縦軸は動きベクトルを１次元に射影したときの値を
示し、横軸は窓領域の大きさを示す。

【００７９】まず、図４Ａに示す変化特性では、小さい
窓領域を用いた場合、即ち窓領域ＳＷ₁の範囲では極小
解に陥りやすいため、得られる動きベクトルが安定しな
いが、一定のサイズ以上になった場合、即ち窓領域ＭＷ
₁の範囲では、領域ＢＳ₁₁の範囲で正確な動きベクトル
が得られるようになる。しかし、さらに大きな窓領域を
用いた場合、即ち窓領域ＬＷ₁の範囲では異なった動き
ベクトルを持つ近傍の領域が窓領域内に入ってしまうた
め、再び正確な動きベクトルが求められなくなる。

【００８０】そこで、最適窓領域検出回路１４では、窓
領域ＭＷ₁の範囲を選択するために、図４Ａに示された
動きベクトル列に対し、（１，−１）のＨＰＦを用いて
差分値を求める。

【００８１】この差分値の変化を窓領域の大きさ順に列
挙したものを図４Ｂに示す。

【００８２】図４Ｂの小さい窓領域ＳＷ₁を用いた場合
には動きベクトルが安定しないため、差分値が連続して
大きな値を示すが、それ以上の大きさの窓領域ＭＷ₁を
用いた場合には、差分値が小さくなる。その後、さらに
大きな窓領域ＬＷ₁を用いた場合には、この窓領域ＬＷ₁
の範囲と上記窓領域ＭＷ₁との境界で、再び大きな差分
が得られる。そこで、窓領域の大きい場合から差分値を
求め、最初の極大点と次の極大点の間にある領域ＢＳ₁₂
の範囲の窓領域のサイズを最適サイズとみなす。

【００８３】次に、図５Ａに示す変化特性のように、小
さい窓領域ＳＷ₂を用いた場合の極小解により動きベク
トルが安定しない範囲と、一定のサイズ以上の窓領域Ｍ
Ｗ₂を用いた場合の正確な動きベクトルが得られる範囲
しか存在しない場合には、動きベクトルの差分値を求め
ると、図５Ｂのように小さい窓領域ＳＷ₂の範囲におい
てのみ差分値が大きくなる。このような場合は、注目画
素の近傍に動きの異なる領域が存在しないと考えられる
ため、図５Ｂの窓領域ＭＷ₂の範囲のように窓領域を大
きくとることができる。よって、図５Ｂの差分値が大き
な値を示す窓領域ＳＷ₂より大きな窓領域ＭＷ₂を最適サ
イズと見なす。このときの領域ＢＳ₂₂の範囲が最適サイ
ズを示す。

【００８４】このような可変ブロックサイズのブロック
マッチングを図１３に示すエッジ領域ＥＡ₁に対して用
いた場合に、画素Ｄ₅、画素Ｄ₁₆、画素Ｄ₂₁において選
択された窓領域のサイズを図６に示す。

【００８５】図６の画素Ｄ₅のような動きの異なる領域
の境界部分から遠いエッジ画素においては、７×７のサ
イズの大きな窓領域ＷＡ₅を用いるが、境界に近づくに
つれて窓領域は小さくなり、画素Ｄ₂₁では５×５の中程
度のサイズの窓領域ＷＡ₁₆を用い、画素Ｄ₁₆では３×３
の最小のサイズの窓領域ＷＡ₁₆を選択していることが分
かる。

【００８６】これにより、画素Ｄ₅のように動きの異な
る領域が近傍にない場合は、大きな窓領域を用いること
により、大局的で正確な動きベクトルを求めることがで
き、動きの異なる領域の境界に近づくにつれ、異なる動
きの領域を含まない小さな窓領域を用いることにより、
局所的ではあるが、ほぼ正確な動きベクトルを求めるこ
とができる。

【００８７】上述の処理を最適窓領域検出回路１４で行
うことにより、最適な窓領域サイズを用いて得られた動
きベクトル信号ＡＤ₇を得ることができる。この動きベ
クトル信号ＡＤ₇は、エッジ画素信号ＡＤ₃と共に、動き
ベクトルマップ作成部５に入力され、エッジ領域毎にま
とめられた動きベクトル信号ＡＤ₈が出力される。

【００８８】エッジ領域毎の動きベクトル信号ＡＤ
₈は、動きベクトル調整部６に入力されて、類似する動
きベクトルを持つ領域いわゆるセグメント毎に分割され
ることにより、各々のセグメント毎の代表ベクトル信号
ＡＤ₉が出力される。

【００８９】このように、可変ブロックサイズの動きベ
クトル検出を行うことにより、動きの異なる領域が近傍
にない場合は、大きな窓領域を用いて大局的で正確な動
きベクトルを求めることができ、動きの異なる領域の境
界に近づくにつれ、動きの異なる領域を含まない小さな
窓領域を用いて、局所的ではあるがほぼ正確な動きベク
トルを求めることができる。

【００９０】また、ブロックマッチングを用いて動きベ
クトル検出を行う際に、窓領域の大きさや形状を変化さ
せても、極小解の影響により正確な動きベクトルが求め
られない場合には、誤差曲面への注目画素からの距離を
考慮に入れた重み付け処理を用いることが考えられる。

【００９１】ここで、誤差曲面への重み付け係数の具体
的な例を図７に示す。

【００９２】この図７に示す重み付け係数を、ブロック
マッチングの際に探索領域ＳＡの画素毎に得られる誤差
値に対して掛け合わせる。これにより、極小解による動
きベクトルのばらつきを押さえることができる。従っ
て、動きベクトル調整部６において類似する動きベクト
ルを持つセグメント毎に分割したり、各々のセグメント
毎の代表ベクトル信号ＡＤ₉を求めたりする際に、不適
当な分割箇所や代表ベクトルの誤差を減らすことができ
る。

【００９３】

【発明の効果】以上の説明からも明かなように、本発明
に係る動きベクトル検出装置及び動きベクトル検出方法
は、現フレームの物体又は領域を検出して、この物体又
は領域を画素毎に分割し、上記物体又は領域の動きベク
トル検出対象となる注目画素に対して、切換選択可能な
複数の動きベクトル検出モードの内の上記注目画素の周
辺領域の特徴に適応した動きベクトル検出モードを用い
て動きベクトルを検出し、この動きベクトル及び画素情
報を用いて、上記物体又は領域毎の動きベクトルを求め
ることにより、異なる動きベクトルを持つ領域が近傍に
存在する場合においても、可変ブロックサイズの動きベ
クトル検出方法を用いるので、動きの異なる領域が近傍
にない場合には、大きな窓領域を用いることにより大局
的で正確な動きベクトルを求めることができ、また、動
きの異なる領域の境界に近づくにつれ、動きの異なる領
域を含まない小さな窓領域を用いることにより、局所的
ではあるが、ほぼ正確な動きベクトルを求めることがで
きる。これにより、連続するフレーム内のエッジ領域の
対応付けの際に、対応付けが成功するエッジ領域の割合
が増し、符号化効率を高めることができる。

【図面の簡単な説明】

【図１】本発明に係る動きベクトル検出装置の実施の形
態の概略的な構成図である。

【図２】３ＣＣのエンコード処理回路の概略的な構成図
である。

【図３】３ＣＣのデコード処理回路の概略的な構成図で
ある。

【図４】第１の画素単位の可変ブロックサイズのブロッ
クマッチングを説明するための図である。

【図５】第２の画素単位の可変ブロックサイズのブロッ
クマッチングを説明するための図である。

【図６】エッジ領域と可変ブロックサイズブロックマッ
チングとによる窓領域を示す図である。

【図７】誤差局面に対する重み付け係数を示す図であ
る。

【図８】従来の動きベクトル検出装置の実施の形態の概
略的な構成図である。

【図９】エッジ領域検出部の概略的な構成図である。

【図１０】ソーベルフィルタのタップ係数を示す図であ
る。

【図１１】１次元のマスク領域を示す図である。

【図１２】閾値関数を示す図である。

【図１３】エッジ領域及び周辺領域を示す図である。

【図１４】現フレーム及び次フレームの各エッジ領域の
位置を示す図である。

【符号の説明】

１現フレームバッファ２次フレームバッファ３エッジ領域検出部４エッジ画素分割部５動きベクトルマップ作成部６動きベクトル調整部１０動きベクトル検出部１１₁、１１₂、１１₃ 窓領域設定回路１２₁、１２₂、１２₃ 差分値算出回路１３₁、１３₂、１３₃ 最小誤差検出回路１４最適窓領域検出回路

Claims

【特許請求の範囲】

【請求項１】現フレームの物体又は領域の動きベクト
ル検出対象となる注目画素に対して、切換選択可能な複
数の動きベクトル検出モードの内の上記注目画素の周辺
領域の特徴に適応した動きベクトル検出モードを用いて
動きベクトルを検出する動きベクトル検出手段と、上記動きベクトル検出手段からの動きベクトル及び画素
情報を用いて、上記物体又は領域毎の動きベクトルを求
める動きベクトルマップ作成手段とを有して成ることを
特徴とする動きベクトル検出装置。
【請求項２】上記動きベクトル検出手段では、上記物
体の輪郭線を表すエッジ領域を検出してエッジ画素毎に
分割することを特徴とする請求項１記載の動きベクトル
検出装置。
【請求項３】上記動きベクトル検出手段では、上記注
目画素に対して、異なる大きさ及び形状の複数の窓領域
をそれぞれ設定し、所定の探索領域内で、上記複数の窓
領域内の各画素について、上記現フレームと上記現フレ
ームの次のフレームとの差分の自乗値を算出した後に、
上記複数の窓領域について最小誤差を持つ画素をそれぞ
れ検出し、上記複数の窓領域の最小誤差を持つ各画素と
上記注目画素との間の動きベクトルにより最適な窓領域
を検出して、この最適な窓領域による動きベクトルを出
力する動きベクトル検出モードを用いることを特徴とす
る請求項２記載の動きベクトル検出装置。
【請求項４】上記動きベクトル検出手段では、上記注
目画素の周辺領域に類似の動きベクトルを持つ領域が存
在するときには、上記類似の動きベクトルを持つ領域を
含む大きな窓領域を用い、上記注目画素の周辺領域に異
なる動きベクトルを持つ領域が隣接するときには、上記
異なる動きベクトルを持つ領域よりも近い類似の動きベ
クトルを持つ領域内の小さな窓領域を用いることを特徴
とする請求項３記載の動きベクトル検出装置。
【請求項５】上記動きベクトル検出手段では、上記注
目画素からの距離に基づいた重み付けを行うことを特徴
とする請求項２記載の動きベクトル検出装置。
【請求項６】現フレームの物体又は領域の動きベクト
ル検出対象となる注目画素に対して、切換選択可能な複
数の動きベクトル検出モードの内の上記注目画素の周辺
領域の特徴に適応した動きベクトル検出モードを用いて
動きベクトルを検出する動きベクトル検出工程と、上記動きベクトル及び画素情報を用いて、上記物体又は
領域毎の動きベクトルを求める動きベクトルマップ作成
工程とから成ることを特徴とする動きベクトル検出方
法。
【請求項７】上記動きベクトル検出工程では、上記物
体の輪郭線を表すエッジ領域を検出してエッジ画素毎に
分割することを特徴とする請求項６記載の動きベクトル
検出方法。
【請求項８】上記動きベクトル検出工程では、上記注
目画素に対して、異なる大きさ及び形状の複数の窓領域
をそれぞれ設定し、所定の探索領域内で、上記複数の窓
領域内の各画素について、上記現フレームと上記現フレ
ームの次のフレームとの差分の自乗値を算出した後に、
上記複数の窓領域について最小誤差を持つ画素をそれぞ
れ検出し、上記複数の窓領域の最小誤差を持つ各画素と
上記注目画素との間の動きベクトルにより最適な窓領域
を検出して、この最適な窓領域による動きベクトルを出
力する動きベクトル検出モードを用いることを特徴とす
る請求項７記載の動きベクトル検出方法。
【請求項９】上記動きベクトル検出工程では、上記注
目画素の周辺領域に類似の動きベクトルを持つ領域が存
在するときには、上記類似の動きベクトルを持つ領域を
含む大きな窓領域を用い、上記注目画素の周辺領域に異
なる動きベクトルを持つ領域が隣接するときには、上記
異なる動きベクトルを持つ領域よりも近い類似の動きベ
クトルを持つ領域内の小さな窓領域を用いることを特徴
とする請求項８記載の動きベクトル検出方法。
【請求項１０】上記動きベクトル検出工程では、上記
注目画素からの距離に基づいた重み付けを行うことを特
徴とする請求項７記載の動きベクトル検出方法。