JP2738325B2

JP2738325B2 - 動き補償フレーム間予測装置

Info

Publication number: JP2738325B2
Application number: JP879295A
Authority: JP
Inventors: 裕横山
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1995-01-24
Filing date: 1995-01-24
Publication date: 1998-04-08
Anticipated expiration: 2013-04-08
Also published as: US5646691A; JPH08205194A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像の符号化におい
て、定められた複数個の代表点における動きベクトルか
ら、画面内の全ての画素位置での動きベクトルを補間す
ることにより、動画像の動き補償フレーム間予測を行う
装置に関する。特に、代表点の配置を被写体の輪郭に適
合する位置に修正し、動き補償フレーム間予測を行う装
置に関する。

【０００２】

【従来の技術】代表点の位置を被写体の輪郭に適合する
位置に修正し、動き補償フレーム間予測を行う方法とし
て、１９９３年電子情報通信学会春季大会Ｄ−２９５
「輪郭適応動き補償の基礎検討」に記載の方法が知られ
ている。この方法ではフレーム間差分情報から移動物体
の輪郭線を検出し、代表点を輪郭線上に配置するように
修正している。代表点位置の修正において、まず輪郭線
からの距離に応じたポテンシャル場を作る。代表点間は
弾性結合しているものと考える。そして、ポテンシャル
・エネルギーと弾性エネルギーとの総和を最小化する。
すなわち、各代表点における前記エネルギーに基づく合
力を計算し、代表点を前記合力の働く方向へ、その大き
さに応じて移動する。この処理を代表点が輪郭上に配置
されるまで、あるいは、所定の回数だけ繰り返し実行す
る。この方法により、代表点を結んで構成される区画構
造を、ある程度まで被写体構造に適応させることがで
き、予測性能も改善させることができる。

【０００３】図１４に従来の装置の構成例を示す。ま
ず、初期代表点配置設定手段１０１において、基本とな
る初期代表点配置を設定し、初期代表点位置情報１５１
および代表点接続情報１５２を出力する。輪郭検出手段
１０２において、入力画像を解析し、輪郭線情報１５４
を検出する。ポテンシャル場設定手段１１０では、輪郭
線からの距離に応じて画面内の各画素にポテンシャル値
を与え、ポテンシャル場１６２を生成する。次に、初回
は初期代表点位置情報１５１を、以降は修正代表点位置
情報１５８を代表点位置情報１５３として選択し、代表
点適合度評価手段１０５では、それぞれの代表点位置で
のポテンシャル・エネルギーをその代表点の検出輪郭と
の適合度として評価する。代表点位置相互関係評価手段
１１１では、代表点間の弾性エネルギーを評価し、代表
点位置相互関係評価値１６３として出力する。代表点位
置修正手段１０６では、代表点がある質量を持つ質点と
仮定し、前記エネルギーから質点に働く力を求め運動方
程式を導き、質点の単位時間経過後の移動位置を計算
し、その位置へ代表点位置を修正し、修正代表点位置情
報１５８を生成する。代表点適合度評価手段１０５、代
表点位置相互関係評価手段１１１、代表点位置修正手段
１０６での処理をすべての代表点について適用し、さら
にこれらの処理を終了条件が満足されるまで繰り返し実
行する。終了条件が満足されたら、動きベクトル検出手
段１０７では、入力画像および参照画像を用い、最終的
に修正された各代表点位置における動きベクトル１５９
を検出する。動き補償予測手段１０８では、検出した動
きベクトル１５９に基づく画面内の全ての画素位置での
動きベクトルを補間し、画素ごとの予測値を計算し、予
測画像１６０を生成する。

【０００４】

【発明が解決しようとする課題】前記の従来の方法で
は、エネルギー最小化原理により、代表点配置の修正を
行っているが、エネルギー値の評価は、代表点位置のみ
で評価している。そのため、代表点を輪郭上に配置する
ように修正しても、代表点を結んで構成される区画の境
界線が輪郭に沿うとは限らない。これを図２を用いて説
明する。図２では３角形格子の格子点上に代表点を定
め、隣接した３つの代表点を頂点とする３角形を一つの
区画とする。区画内の全ての画素の動きベクトルは３つ
の頂点で検出した動きベクトルから内挿計算で補間す
る。ここでは、図２（ａ）のような規則的な配置を初期
配置とし、これを図２（ｂ）のように検出された輪郭線
に適合するように修正することを考える。前記従来の方
法では、代表点同士が弾性結合しているので、他の代表
点との距離をあまり変えない範囲で、最も近い輪郭線上
に代表点を移動する。その結果、図２（ｃ）のような配
置が得られる。この場合、代表点を結んで構成される区
画の境界線は輪郭に沿っていない。すなわち、輪郭線を
含んだ区画が存在する。この区画内部では異なる複数の
被写体が含まれており、輪郭線を境に異なった動きが見
られる場合でも、当該区画内部の全ての画素の動きベク
トルは、３つの同じ代表点での動きベクトルを用いて補
間される。その結果、動き補償予測画像に視覚的に不自
然な変形歪みを発生することがある。

【０００５】以下では、区画の境界線が輪郭に適合して
いるか否かによる、予測画像上での歪みの発生状況につ
いて説明する。

【０００６】まず、図３で歪みの発生する状況を説明す
る。図３は３つの代表点を頂点とする３角形の区画内に
被写体輪郭が存在している場合を示しており、網掛け部
が移動物体、他は静止背景とする。このとき、代表点の
動きベクトルとして、移動物体上ではある大きさの動き
ベクトルが、静止背景上では大きさ０の動きベクトルが
検出されたとする。各区画内部では全ての画素の動きベ
クトルを、その区画を構成する３つの代表点での動きベ
クトルを用いて補間する。そのため、移動物体上の画素
位置での動きベクトルの補間にも静止背景上の代表点が
使用されることになる。その結果、変形していない被写
体が伸び縮みするような変形歪みを生じることがある。

【０００７】つぎに、図４で歪みの発生が抑制される状
況を説明する。図４は輪郭線の上に区画の境界線が適合
している場合を示しており、網掛け部は移動物体、他は
静止背景とする。このとき、代表点の動きベクトルとし
て、移動物体上ではある大きさの動きベクトルが、静止
背景上では大きさ０の動きベクトルが検出されたとす
る。ここで、移動物体を含む区間での補間に用いられる
動きベクトルは、全て移動物体の動きを反映したもので
あり、不適切な動きベクトルを含まない。その結果、伸
び縮みするような変形歪みの発生を抑制することができ
る。また、区画の境界部を境にして、互いに異なる代表
点を参照して補間を行うので、区画の境界線を被写体輪
郭に合わせることにより、被写体構造に応じた動きベク
トルの内挿処理を実現できる。

【０００８】本発明の目的は、代表点を結んで構成され
る区画の境界線が、被写体の輪郭に沿うように代表点の
配置を修正することで、動きベクトルの補間における誤
りを減らし、変形歪みの少ない動き補償フレーム間予測
画像を生成することにある。

【０００９】

【課題を解決するための手段】第１の発明は、動画像の
符号化に際し、画面内に定められた複数個の代表点にお
ける動きベクトルからの画面内の全ての画素位置での動
きベクトルを補間することで、動き補償フレーム間予測
を行う装置において、代表点の初期配置を設定し代表点
位置情報と代表点接続情報を出力する初期代表点配置設
定手段と、入力画像を解析し輪郭線を検出する輪郭検出
手段と、初回は前記初期代表点位置情報を、以降は修正
代表点位置情報を代表点位置情報として選択し、前記代
表点位置情報と前記代表点接続情報とを参照し、代表点
を結んで構成される区画の境界線を検出し、前記区画境
界線の位置情報を出力する区画境界線検出手段と、前記
区画境界線の前記位置情報を用い、前記区画境界線毎の
前記検出輪郭との適合度を評価し評価値を出力する区間
境界線適応度評価手段と、前記代表点毎に注目する代表
点に接続している複数の区画境界線の適合度評価値を用
い、前記代表点の前記検出輪郭との適合度を評価し評価
値を出力する代表点適応度評価手段と、前記代表点の適
合度評価値を用い、前記代表点位置を修正し、修正代表
点位置を出力し、前記修正結果が所定の終了条件を満た
しているかを判定し、満たしていなければ区画の境界線
を検出する手段の実行に戻る代表点位置修正手段と、前
記代表点接続情報を用い、入力画像と参照画像とのフレ
ーム間での動きベクトルを前記修正代表点位置で検出す
る動きベクトル検出手段と、前記修正代表点位置と前記
代表点接続情報と前記動きベクトルおよび参照画像を用
いて予測画像を生成し、出力する動き補償予測手段から
構成されることを特徴とする。

【００１０】第２の発明は、第１の発明の動き補償フレ
ーム間予測装置において、規則的に初期配置された代表
点の位置に対し、検出輪郭線の近傍の代表点を最も近い
輪郭線上に予め移動させておく初期代表点位置修正手段
を更に備えることを特徴とする。

【００１１】第３の発明は、第１の発明の動き補償フレ
ーム間予測装置において、検出された輪郭線からの距離
に応じてポテンシャル場を設定するポテンシャル場設定
手段を更に備え、前記ポテンシャル場を画素の輪郭適合
度評価に用いることを特徴とする。

【００１２】第４の発明は、第３の発明のポテンシャル
場設定手段において、輪郭線に近いほど位置変化による
ポテンシャルの値の変動が大きく、輪郭線から遠いほど
位置変化によるポテンシャルの値の変動が小さくなる性
質をもつ関数で前記ポテンシャル場を与えることを特徴
とする。

【００１３】第５の発明は、第１の発明の動き補償フレ
ーム間予測装置において、代表点接続情報と前記代表点
位置情報から、代表点相互の位置関係により作用する相
互位置エネルギーを評価する代表点位置相互関係評価手
段を更に備え、評価値を代表点位置修正手段に用いるこ
とを特徴とする。

【００１４】

【作用】第１の発明によれば、代表点配置の修正を行う
場合の評価に、代表点位置だけでなく代表点を結んで構
成される区画の境界線上の画素を含めて評価するので、
区画の境界線が被写体の輪郭線上に沿うように、代表点
配置が修正される。したがって、動きベクトルの補間に
おける誤りが減り、変形歪みの少ない動き補償フレーム
間予測画像を生成できる。

【００１５】この効果を図２の例を用いて説明する。図
２では、図２（ａ）のような規則的な配置を初期配置と
して、これを図２（ｂ）のように検出された輪郭線に適
合するように修正することを考える。本発明によれば、
代表点を結んで構成される区画の境界線が輪郭に沿うよ
うに代表点の配置を修正する。その結果、図２（ｄ）の
ような配置が得られる。代表点の動き検出を、移動物体
に注目して行うことにより、移動物体内部の画素位置へ
の動きベクトルの補間には、移動物体外部の不適切な代
表点を参照しないので、視覚的に不自然な変形歪みの発
生を抑制することができる。

【００１６】第２の発明によれば、初期代表点配置を予
め輪郭線上に配置させるので、輪郭適応のための収束を
早くすることができる。

【００１７】第３の発明によれば、ポテンシャル場を導
入しエネルギー最小化原理により代表点配置の修正を行
うことで、代表点を結んで構成される区画の境界線を被
写体の輪郭線上に適合させる修正が効率よく実行でき
る。

【００１８】第４の発明によれば、エネルギー最小化原
理により代表点配置の修正を行うとき、ポテンシャル・
エネルギーの設定において、輪郭線に近いほど位置変化
によるポテンシャル変動が大きくなるように設定する。
これにより、輪郭線近傍に位置する代表点がより強く引
き込まれ、修正されるべき位置により早く到達できる。
また、輪郭線から遠いほど位置変化によるポテンシャル
変動が小さくなるように設定することで、輪郭線近傍に
ない代表点は位置変化の影響をあまり受けず、区画構造
を崩さないように修正を行うことができる。

【００１９】第５の発明によれば、代表点位置相互の関
係を代表点位置修正に用いているので、代表点の配置形
態をあまり乱すことなく配置の修正を行うことができ
る。

【００２０】

【実施例】図１に第１の発明の一実施例を示す。まず、
初期代表点配置設定手段１０１において、基本となる初
期代表点配置を設定し、初期代表点位置情報１５１およ
び代表点接続情報１５２を出力する。また、輪郭検出手
段１０２において、入力画像を解析し、輪郭線情報１５
４を検出する。ここで、初回は前記代表点の位置情報１
５１を、以降は修正された代表点位置情報１５８を代表
点位置情報１５３として選択する。区画境界線検出手段
１０３では、前記代表点位置情報１５３と前記代表点接
続情報１５２とを用いて、代表点を結んで構成される区
画の境界線を検出し、前記区画境界線位置情報１５５を
出力する。区画境界線適合度評価手段１０４では、前記
区画境界線位置情報１５５を用い、前記区画境界線と前
記検出輪郭との適合度を評価し評価値１５６を出力し、
代表点適合度評価手段１０５では、当該代表点に連結し
ている複数の区画境界線の適合度評価値１５６を用い、
前記代表点位置での前記検出輪郭との適合度を評価し評
価値１５７を出力する。代表点位置修正手段１０６で
は、前記代表点評価値１５７を参照し、代表点の適合度
を大きくする位置へ代表点位置を修正し、修正代表点位
置情報１５８を出力し、所定の終了条件を満たしている
かを判定する。終了条件を満たしていなければ区画の境
界線を検出する手段の実行に戻り、満たしていれば次の
手段の処理の実行に進む。動きベクトル検出手段１０７
では、最終的に修正された各代表点位置における入力画
像および参照画像とのフレーム間での動きベクトル１５
９を検出する。動き補償予測手段１０８では、検出した
動きベクトル１５９に基づき画面内の全ての画素位置で
の動きベクトルを補間し、画素ごとの予測値を計算し、
予測画像１６０を生成する。

【００２１】図１０に第２の発明の一実施例を示す。こ
れは、前記図１に示した実施例における繰り返し処理の
終了条件に早く到達するよう、予め初期代表点配置の修
正を行う方式である。初期代表点位置修正手段１０９で
は、規則的に配置された初期代表点配置を、検出輪郭線
の近傍になる代表点を最も近い輪郭線上に移動させ、初
期代表点位置を修正し修正初期代表点位置情報１６１を
生成する。

【００２２】図１１に第３の発明の実施例を示す。これ
は、前記図１に示した実施例における適合度の評価にエ
ネルギーを導入し、エネルギー最小化により代表点配置
を修正する方式である。ポテンシャル場設定手段１１０
では輪郭線からの距離に応じて画面内の各画素にポテン
シャル値を与え、ポテンシャル場１６２を生成する。こ
の場合、区画境界線適合度評価手段１０４では、輪郭線
との適合度をポテンシャル値を用いて評価する。

【００２３】図１２に第５の発明の実施例を示す。これ
は、前記図１に示した実施例における代表点位置修正手
段で参照するデータとして、代表点位置の相互関係も使
用して修正する方式である。代表点位置相互関係評価手
段１１１では、代表点位置情報１５３と代表点接続情報
１５２とを用いて、互いに接続している代表点間に働く
作用を評価し、評価値１６３を出力する。代表点位置修
正手段１０６では、前記代表点位置相互関係評価値１６
３と代表点適合度評価値１５７とを参照し、代表点位置
を修正する。

【００２４】図１３に上記の発明の組み合わせによる実
施例を示す。これは、前記図１に示した実施例に、前記
図１０、図１１、図１２で説明したそれぞれの実施例で
追加した手段をすべて組み合わせたものである。

【００２５】以下では、各処理手段を個別に説明する。

【００２６】初期代表点配置設定手段１０１で、修正の
元となる規則的な配置をもつ代表点配置を設定する。当
該手段において設定される代表点の初期配置の例を図５
に示す。図５（ａ）は矩形格子に対角線を追加した格
子、図５（ｂ）は正３角形を基本とした格子であり、そ
れぞれ格子の交点に代表点を配置した例である。

【００２７】また、規則的な配置を使用することの他に
も、輪郭に適合させるための処理の収束を早くするため
に、初期代表点位置修正手段１０９を用いて、前記規則
的な代表点配置を予め変形しておくこともできる。変形
の方法としては、検出輪郭線近傍の代表点を最も近い輪
郭線上に移動させることで実現できる。実際の変形方法
としては、例えば画像上の距離として４近傍距離（ｌ¹
−ノルム距離）を定義する場合は、まず、ある代表点位
置を距離０の起点とし、１画素ずつ太め処理により４近
傍の点を拡張していきながら、距離の値を測っていく。
この太め処理により最初に到達した輪郭線を構成する画
素を最も近い輪郭線上の点とみなし、この位置に代表点
を移動させる。距離の定義としてはｌ^N−ノルム（Ｎ＝
１，２，…，∞）距離や、８角形距離を利用することが
できる。特に、ｌ^N−ノルム距離において、Ｎ＝１のと
きは４近傍距離、Ｎ＝２のときはユークリッド距離、Ｎ
＝∞のときは８近傍距離の定義と等価である。これらの
定義による原点から位置（ｘ，ｙ）までの距離ｄ（ｘ，
ｙ）は、

【００２８】

【数１】

【００２９】と表される。これらの距離尺度を使った、
ある１画素からの距離の例を図６に示す。図６は中央の
０の画素からの距離を示している。この初期配置修正に
おいて、大きな位置変動を抑制するために、距離に対し
て閾値を設定し、閾値の範囲内に輪郭線があれば代表点
を移動させ、さもなくば移動させない、としてもよい。

【００３０】輪郭検出手段１０２における、輪郭線の検
出方法について説明する。輪郭検出では、より被写体構
造を正確に抽出するように、画像の領域分割を行い、分
割領域の境界線を輪郭として検出する。領域分割の方法
としては、例えば特願平６−１９６５６２に記載の方法
のように、画素毎の輝度、色、位置、動きの特徴量を用
いたクラスタリングによる方法が利用できる。また、輪
郭検出には、フレーム間差分に閾値処理を施して、差分
値の大きい部分を輪郭として検出する方法や、エッジ検
出フィルタを施して輪郭線を検出する方法を利用するこ
とができ、ここで述べた方法に限られるわけではない。
また、領域分割を行う場合でも、領域成長法やヒストグ
ラムを用いる方法があり、ここで述べた方法に限られる
わけではない。

【００３１】区画境界線検出手段１０３における、区画
の境界線を構成する画素の検出方法について説明する。
ここでは、ある代表点での適合度を評価するときの方法
について説明する。まず、ある代表点に注目したとき、
代表点接続情報を用いて、当該代表点に接続している他
の代表点を選択する。次に、当該代表点と前記接続代表
点のそれぞれとの２点を検出し、２点を結ぶ線分を当該
代表点に連結する区画境界線とする。代表点画素位置情
報を用いて、前記２点の位置を求め、当該区画境界線の
位置情報として出力する。

【００３２】次に、ポテンシャル場設定手段１１０を使
ってポテンシャルの値を定義し、代表点の修正に用いる
場合を説明する。ポテンシャル場設定手段１１０では、
前記検出した輪郭線からの距離に応じてポテンシャル場
を作る。距離の定義については、初期代表点位置修正手
段の説明で述べた方式が使用できる。いずれの場合も輪
郭線との距離は、その位置から最も近い輪郭線上の画素
までの距離と定義する。距離の値からポテンシャル場へ
の変換においては、前記距離の値をそのままポテンシャ
ル場の値として定義してもよい。あるいは、輪郭に近い
代表点を強く引き込み、逆に、輪郭から離れた場所では
代表点の位置変化による影響が少なくなるような、輪郭
線からの距離に対する関数でポテンシャル場を与えても
よい。たとえば、距離の２乗に反比例する形式を用いる
こともできる。この場合ある画素（ｘ，ｙ）と輪郭線と
の距離がｄ（ｘ，ｙ）のとき、この画素位置でのポテン
シャルの値Ｐ（ｘ，ｙ）を

【００３３】

【数２】

【００３４】と定める。Ａ（＞０）は適当な定数であ
り、Ｂ（＞０）は分母を０にしないため、計算上の都合
で追加した項である。

【００３５】区画境界線適合度評価手段１０４におけ
る、評価方法について説明する。ここでは、ある代表点
配置における、特定の区画境界線の輪郭適合度を評価す
る。まず、区画境界線位置情報から、区画を構成する画
素位置を順次計算する。つづいて、それぞれの画素につ
いて検出輪郭との適合度を評価する。ここで、前記ポテ
ンシャル場が利用できる場合は、当該画素位置でのポテ
ンシャルの値そのものを評価値として出力する。この場
合、値が小さいほど、輪郭に適合していると評価でき
る。また、前記ポテンシャル場を利用せずに、適合度を
評価する場合は、例えば、当該画素と最も近い輪郭線ま
での距離値を評価値として出力する。距離の定義につい
ては、初期代表点位置修正手段の説明で述べた方式が使
用できる。この場合も値が小さいほど、輪郭に適合して
いると評価できる。区画境界線の適合度は前記画素毎の
適合度評価の一画素当りの平均値とする。上記のように
定義された画素の輪郭適合度を用いると、平均値が小さ
いほど、輪郭に適合していると評価できる。境界線の適
合度の計算に合計ではなく画素あたりの平均値を使うの
は、以下の理由による。合計を使うと、画素毎の適合度
が常に負の値で定義されている場合には、値を小さくす
るために負の値を多く取り入れようとし、修正により区
画の境界線を長くする傾向が生じる。逆に画素毎の適合
度が常に正の値で定義されている場合には、値を小さく
するために正の値を取り除こうとし、修正により区画の
境界線を短くする傾向が生じる。そこで、これらの傾向
を抑制するために平均値を使用する。すなわち、ｋ番目
の区画境界線ｅｄｇｅ_kのその位置での適合度Ｍ（ｋ）
は、画素位置（ｘ，ｙ）での画素評価値をＰ（ｘ，ｙ）
とすると、

【００３６】

【数３】

【００３７】と表される。Ｎ_kはｅｄｇｅ_kを構成する
画素数である。上記の定義により、境界線の長さに関わ
らず、適合度の評価が可能となる。

【００３８】代表点適合度評価手段１０５における評価
方法について説明する。ここでは、ある代表点配置にお
ける、特定の代表点位置での輪郭適合度を評価する。先
ず、前記のポテンシャル場が利用できる場合から説明す
る。この場合、当該代表点のその位置での輪郭適合度
は、当該代表点に連結した区画境界線の適合度の合計と
して定義できる。すなわち前記区画境界線の適合度Ｍ
（ｋ）を使うと、代表点ｇｒｉｄ_iの適合度Ｅ（ｉ）は

【００３９】

【数４】

【００４０】と表される。ここで、ｅｄｇｅ_kは代表点
ｇｒｉｄ_iに連結している区画の境界線を示し、記号→
は連結関係を示すものと定義する。すなわち、この評価
では図７に示すように、代表点だけでなく、当該代表点
に連結している区画の境界線を構成するすべての画素を
評価に用いるので、区画境界線を検出輪郭に適合させる
ことができる。

【００４１】代表点位置修正手段１０６において、代表
点位置を修正する方法について説明する。この方法で
は、代表点の適合度が高くなるように、位置を修正して
いく。修正方法の一例としては、まずそれぞれの代表点
について、その位置にある場合と、上下左右に指定の範
囲内で位置を移動したときの全ての移動位置での適合度
を測り、適合度が最も大きくなる位置へ移動する。以上
の修正処理を全ての代表点について適用する。この処理
では、一つの代表点位置の修正が、他の代表点の輪郭適
合度に影響するので、さらに全代表点に対する処理を繰
り返し実行し、収束させる。ただし、動き補償フレーム
間予測の際、画面内のすべての画素に対する予測値が定
義できることを保証するため、画面周辺上の代表点は周
辺に沿った方向にしか動かさない。また、画面の４隅の
代表点は不動とする。前記前代表点に対する修正処理の
終了の判定は、適合度の変化が無くなるまでか、位置の
修正がなくなるまで、あるいは所定の繰り返し回数だけ
実行するまでとする。

【００４２】代表点位置の修正には輪郭線の適合度だけ
でなく、代表点位置相互関係評価手段１１１を用い、代
表点相互に働く作用を評価しこれを追加することもでき
る。このようなデータを使用することで、代表点を結ん
で構成される区画構造をあまり大きく変化させない範囲
で配置を修正させることが可能である。例えば、隣接の
代表点相互が弾性結合していると仮定して、代表点間の
距離のその自然長からの変化に比例した弾性エネルギー
を追加することもできる。

【００４３】さらに代表点位置の修正は、ここに示した
ように、元の位置から上下左右に動かした候補位置での
適合度を評価し、最大の適合度を与える位置に修正して
もよいし、ポテンシャル場や代表点間相互に働く力を定
義し、これらが使用できる場合には、代表点がある質量
を持つ質点と仮定し、前記定義したエネルギーから質点
に働く力を求め運動方程式を導き、質点の単位時間経過
後の移動位置を計算し、その位置へ代表点位置を修正す
る方法をとることもできる。

【００４４】動きベクトル計算手段１０７における、代
表点での動きベクトルの検出の方法について説明する。
動きベクトルの検出には、ブロック・マッチング法を用
いることができる。マッチングの対象領域には固定サイ
ズの矩形ブロックを用いてもよく、この場合は代表点接
続情報１５２は必要ない。また、代表点位置を追跡して
マッチングをとることが重要な場合には、代表点近傍ほ
ど重み付けしたブロック・マッチングを用いることがで
きる。たとえば、代表点の位置を（ｘ₀，ｙ₀）、マッ
チング評価範囲ＲをＲ＝｛（ｘ，ｙ）｜ｘ₁≦ｘ≦
ｘ₂，ｙ₁≦ｙ≦ｙ₂｝としたとき、評価位置（ｘ，
ｙ）での重みｗは、ｗ（ｘ，ｙ）＝ｂｓ−（｜ｘ−ｘ₀｜＋｜ｙ−ｙ₀｜）（４）と定義する。ここでｂｓはｂｓ＝ｍａｘ｛｜ｘ₁−ｘ₀
｜＋｜ｙ₁−ｙ₀｜，｜ｘ₁−ｘ₀｜＋｜ｙ₂−ｙ
₀｜，｜ｘ₂−ｘ₀｜＋｜ｙ₁−ｙ₀｜，｜ｘ₂−ｘ₀
｜＋｜ｙ₂−ｙ₀｜｝である。重み付けの方法として
は、マッチング評価範囲の領域で任意の重み係数マップ
を設定することができ、ここに述べた方法に限られな
い。

【００４５】動きベクトル検出は、所定の候補ベクトル
から、予測誤差が最小となるベクトルを選択する。すな
わち、ある候補ベクトル（ｖ_x，ｖ_y）を選んだときの
予測誤差量Ｅｒｒ（ｖ_x，ｖ_y）は、現フレーム画像を
Ｃ（ｘ，ｙ）、参照フレーム画像をＰ（ｘ，ｙ）とする
と、

【００４６】

【数５】

【００４７】で評価する。評価は計算の負荷軽減のため
に２乗和ではなく絶対値和を用いて、以下のように計算
してもよい。

【００４８】

【数６】

【００４９】あるいは、上記ブロック・マッチングを使
う方法において、評価対象領域に矩形ブロック形状を使
う場合のほかに、注目代表点に隣接する３角形の区画領
域を結合した６角形領域を使うことができる。この場
合、注目代表点に関する代表点接続情報１５２を用い
て、前記６角形領域を定める。ただし、画面周辺部では
６角形とは限らない。

【００５０】さらに、マッチング法で検出した動きベク
トルを予測結果を参照して再修正することも可能であ
る。例えば、マッチング法で検出した動きベクトルを中
心として動きベクトルの探索範囲を設定する。それぞれ
の候補ベクトルに対して、注目代表点に隣接する３角形
の区画領域における動き補償予測誤差を評価し、誤差が
最小となる候補ベクトルを動きベクトルとして検出す
る。

【００５１】動き補償予測手段１０８における、予測画
像の生成方法の一例について説明する。まず、供給され
る修正代表点位置情報１５８と代表点接続情報１５２と
を用いて、３角形の区画を生成する。それぞれの３角形
の区画について、３つの頂点の動きベクトルから、区画
内部の各画素の動きベクトルを線形内挿で求める。例え
ば図８のように、ある３角形ＡＢＣの内部の点Ｐにおけ
る動きベクトル

【００５２】

【外１】

【００５３】は、３つの頂点での動きベクトル

【００５４】

【外２】

【００５５】から、

【００５６】

【数７】

【００５７】により求めることができる。このように区
画内部の全ての画素位置での動きベクトルを補間し、画
素毎に動き補償位置を求める。

【００５８】あるいは、画素毎の動き補償位置を求める
方法として、図９のように、フレーム間で対応する３角
形の区画間でマッピングをとり、対応をアフィン変換で
表現する方法を利用することもできる。この方法によれ
ば、まず、それぞれの３角形の区画について、対応する
３組の頂点位置から、アフィン変換パラメータを計算す
る。次に、３角形内部の画素の動き補償位置は、前記ア
フィン変換パラメータから算出する。

【００５９】アフィン変換を利用する場合の、動き補償
位置の計算法について説明する。２次元のアフィン変換
は式（８）のように６つのパラメータａ〜ｆにより、あ
る位置（ｘ，ｙ）に対応した参照画像上の動き補償位置
（ｘ′，ｙ′）を表現する。

【００６０】

【数８】

【００６１】ここで、ある３角形の３頂点の位置を（ｘ
₁，ｙ₁），（ｘ₂，ｙ₂），（ｘ₃，ｙ₃）とし、こ
の３角形に対応する参照画像上での３頂点の位置を
（ｘ′₁，ｙ′₁），（ｘ′₂，ｙ′₂），（ｘ′₃，
ｙ′₃）とすると、

【００６２】

【数９】

【００６３】が成立する。この式を以下のように解くこ
とによりパラメータを計算することができる。

【００６４】

【数１０】

【００６５】３角形内部の画素の動き補償位置は、求め
たアフィン変換パラメータから式（８）により計算す
る。

【００６６】上記のようにして画素毎に動き補償位置を
求め、参照画像上の前記動き補償位置での画素値をフレ
ーム間予測値とする。参照画像上でサンプル点上にない
画素の値は、双一次補間により計算する。補間は
（ｘ′，ｙ′）での画素値をＰ（ｘ′，ｙ′）とし、ｘ
₀＝［ｘ′］，ｙ₀＝［ｙ′］，α＝ｘ′−［ｘ′］，
β＝ｙ′−［ｙ′］とおいて、Ｐ（ｘ′，ｙ′）＝（１−α）・（１−β）・Ｐ（ｘ₀，ｙ₀）＋α・（１− β）・Ｐ（ｘ₀＋１，ｙ₀）＋（１−α）・β・Ｐ（ｘ₀，ｙ₀＋１）＋α・β ・Ｐ（ｘ₀＋１，ｙ₀＋１）（１１）により計算する。ここで、［ｘ］はｘを越えない最大の
整数を示す。

【００６７】このように画面内の全ての画素位置での予
測値を計算し、画面全体の予測画像を生成し出力する。

【００６８】以上、実施例をもって本発明を詳細に説明
したが、本発明はこの実施例に限定されるものではな
い。実施例では、動画像の符号化に用いるための動き補
償フレーム間予測装置として、時間的に差のある複数の
フレーム間での予測を行う装置について説明している
が、動画像符号化以外にも応用できる。例えば、多眼画
像に適用することも可能である。この場合、動きに関す
る情報は視差に対応させる。フレーム間予測では、多眼
画像の１フレームを参照画像とし、別な１フレームを入
力画像として、前記参照画像から代表点の視差を検出
し、前記入力画像に対する視差補償により予測画像を生
成させる。

【００６９】

【発明の効果】以上説明したように本発明では、被写体
輪郭部の視覚的に不自然な変形歪みを抑制することがで
きる。このため、本発明を動画像の符号化に用いた場
合、予測誤差がほとんど符号化することができない状況
でも、視覚的に歪みの少ない画像の再現が可能である。

【図面の簡単な説明】

【図１】第１の発明の動き補償フレーム間予測装置の一
実施例を示すブロック図である。

【図２】輪郭適応により代表点配置を修正する方法を示
す図である。

【図３】輪郭適応が十分に行われていない場合の動き補
償フレーム間予測の状況を示す図である。

【図４】輪郭適応が十分に行われた場合の動き補償フレ
ーム間予測の状況を示す図である。

【図５】代表点の初期配置を示す図である。

【図６】各種の定義による距離の値を示す図である。

【図７】エネルギーの評価に使用する画素を示す図であ
る。

【図８】３角形区画内部の動きベクトルを線形内挿で計
算する方法を示す図である。

【図９】３角形区画のマッピングにより動き補償予測を
する方法を説明する図である。

【図１０】第２の発明の動き補償フレーム間予測装置の
一実施例を示すブロック図である。

【図１１】第３の発明の動き補償フレーム間予測装置の
一実施例を示すブロック図である。

【図１２】第５の発明の動き補償フレーム間予測装置の
一実施例を示すブロック図である。

【図１３】本発明の動き補償フレーム間予測装置の一実
施例を示すブロック図である。

【図１４】従来の動き補償フレーム間予測装置を示すブ
ロック図である。

【符号の説明】

１０１初期代表点配置設定手段１０２輪郭検出手段１０３区画境界線検出手段１０４区画境界線適合度評価手段１０５代表点適合度評価手段１０６代表点位置修正手段１０７動きベクトル検出手段１０８動き補償予測手段１０９初期代表点位置修正手段１１０ポテンシャル場設定手段１１１代表点位置相互関係評価手段１５１初期代表点位置情報１５２代表点接続情報１５３代表点位置情報１５４輪郭線情報１５５区画境界線位置情報１５６区画境界線適合度評価値１５７代表点適合度評価値１５８修正代表点位置情報１５９動きベクトル１６０予測画像１６１修正初期代表点位置１６２ポテンシャル場１６３代表点位置相互関係評価値

Claims

(57)【特許請求の範囲】

【請求項１】動画像の符号化に際し、画面内に定められ
た複数個の代表点における動きベクトルからの画面内の
全ての画素位置での動きベクトルを補間することで、動
き補償フレーム間予測を行う装置において、代表点の初
期配置を設定し代表点位置情報と代表点接続情報を出力
する初期代表点配置設定手段と、入力画像を解析し輪郭
線を検出する輪郭検出手段と、初回は前記初期代表点位
置情報を、以降は修正代表点位置情報を代表点位置情報
として選択し、前記代表点位置情報と前記代表点接続情
報とを参照し、代表点を結んで構成される区画の境界線
を検出し、前記区画境界線の位置情報を出力する区画境
界線検出手段と、前記区画境界線の前記位置情報を用
い、前記区画境界線毎の前記検出輪郭との適合度を評価
し評価値を出力する区間境界線適応度評価手段と、前記
代表点毎に注目する代表点に接続している複数の区画境
界線の適合度評価値を用い、前記代表点の前記検出輪郭
との適合度を評価し評価値を出力する代表点適応度評価
手段と、前記代表点の適合度評価値を用い、前記代表点
位置を修正し、修正代表点位置を出力し、前記修正結果
が所定の終了条件を満たしているかを判定し、満たして
いなければ区画の境界線を検出する手段の実行に戻る代
表点位置修正手段と、前記代表点接続情報を用い、入力
画像と参照画像とのフレーム間での動きベクトルを前記
修正代表点位置で検出する動きベクトル検出手段と、前
記修正代表点位置と前記代表点接続情報と前記動きベク
トルおよび参照画像を用いて予測画像を生成し、出力す
る動き補償予測手段から構成されることを特徴とする動
き補償フレーム間予測装置。
【請求項２】規則的に初期配置された代表点の位置に対
し、検出輪郭線の近傍の代表点を最も近い輪郭線上に予
め移動させておく初期代表点位置修正手段を更に備える
ことを特徴とする請求項１記載の動き補償フレーム間予
測装置。
【請求項３】前記検出された輪郭線からの距離に応じて
ポテンシャル場を設定するポテンシャル場設定手段を更
に備え、前記ポテンシャル場を画素の輪郭適合度評価に
用いることを特徴とする請求項１記載の動き補償フレー
ム間予測装置。
【請求項４】前記ポテンシャル場設定手段において、輪
郭線に近いほど位置変化によるポテンシャルの値の変動
が大きく、輪郭線から遠いほど位置変化によるポテンシ
ャルの値の変動が小さくなる性質をもつ関数で前記ポテ
ンシャル場を与えることを特徴とする請求項３記載の動
き補償フレーム間予測装置。
【請求項５】前記代表点接続情報と前記代表点位置情報
から、代表点相互の位置関係により作用する相互位置エ
ネルギーを評価する代表点位置相互関係評価手段を更に
備え、評価値を前記代表点位置修正手段に用いることを
特徴とする請求項１記載の動き補償フレーム間予測装
置。