JPH08149460A - 動画像処理装置、動画像符号化装置および動画像復号化装置 - Google Patents

Abstract

(57)【要約】 【目的】一連の動画像中でエッジの消失・出現が生じて
も、そのエッジが構成するセグメントを適切に決定し、
その３次元形状の抽出を可能とする。 【構成】動画像の各フレームを画像分析部１１で分析し
た結果のエッジの位置情報と分析値、および、動き推定
・対応探索部１５で対応のとれなかった特徴点の情報が
補正処理部２２に入力される。補正処理部２２は、対応
がとれない特徴点が出現した場合に、以前のフレームで
消失または出現した特徴点から今回出現した特徴点への
移動が、既に抽出したいずれかのセグメントの移動と同
様な移動かどうかを調べ、同様な移動だった場合には、
前記消失あるいは出現した特徴点はそのセグメントを構
成する特徴点と決定し、記憶部１３に記憶されている内
容を補正する。また、その補正の情報は符号化部２３に
より符号化される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、たとえば、画像を構成
する各物体の３次元モデルとその動きに基づいて連続的
な動画像を符号化する動画像符号化装置に用いられ、画
像を構成する各セグメントの連続的な動画像中の動きに
基づいて、そのセグメントの３次元モデルを獲得する動
画像処理装置、および、その獲得された情報に基づいて
連続的な動画像を符号化および復号化する動画像符号化
装置、動画像復号化装置に関する。

【０００２】

【従来の技術】動画像系列の中の各物体の３次元モデル
を使って動画像を符号化することで、動画像系列を圧縮
する方法が提案されている。各物体の３次元形状とその
動きがわかれば、元の動画像系列と全く同じ動画像系列
が生成できる。そこで、たとえば画像通信において、送
信側と受信側で３次元モデルを共有し、送信側で入力画
像の動きの情報を検出し、受信側でその動きの情報から
画像合成を行えば、画像が再生できる。この場合、動き
の情報のみを伝送すればよいことから超低レートでの画
像通信が期待できる。具体的には、顔の３次元構造モデ
ルをワイヤフレームに変形し送信側と受信側で共有し、
表情などの特徴のみを伝送して顔画像の合成を行う方法
が盛んに試みられている。

【０００３】しかし、この符号化方法を自然画像に応用
する場合には、予め３次元モデルを用意しておくことは
不可能であり、与えられた動画像系列から３次元モデル
を抽出する必要がある。そのような、動画像系列の中か
ら３次元形状モデルを抽出し、そのモデルを利用して動
画像を符号化する方法としては、Hans George Musmann
、Michael Hotter、Jorn Ostermannらによる「OBJECT-
ORIENTED analysis coding of moving images．」〔Sig
nal processing:Image Communication 1(1989):117-13
8,Elsvier SCIENCE PUBLISHERS B.V. 〕に開示されてい
る方法がある。この方法によれば、エッジ部分について
は動きベクトルを求めそれを利用して奥行きを求め、エ
ッジ以外の部分については奥行きを補間して、３次元形
状を推測する。また、輝度情報は、３次元上に属性とし
てマッピングし、補間された３次元形状のデータと共に
送出を行っている。

【０００４】また、本願出願人の係わる同様な方法とし
て、次のような方法がある。動画像系列の１フレーム目
の各セグメントの２次元形状情報に、所定の奥行き方向
の情報を付加して３次元モデルの初期値とする。その３
次元モデルの動きを推定し、その推定に基づいて得られ
る画像と入力される各フレームの画像の各特徴点の位置
を比較し、その３次元モデルの全体的な動きと各特徴点
のズレを抽出する。その３次元モデルの全体の動き（動
き推定値）、および、各特徴点のズレに基づいて、順次
前記３次元モデルを更新し、忠実度の高い３次元モデル
を獲得する。また、符号化に際しては、初期値として３
次元モデルと属性を伝送し、２フレーム目以降は前記全
体の動きと各特徴点のずれのみを伝送すればよいので高
い圧縮率で符号化が可能となる。

【０００５】

【発明が解決しようとする課題】しかし前記方法におい
て、３次元モデルを投影して得られる画像と入力される
各フレームの画像の特徴点の位置を比較するために、そ
れらの特徴点を対応付ける必要があるが、この対応付け
が適切にできない場合があった。その結果、各セグメン
トの３次元構造が適切に抽出できないという問題を生じ
た。また、各フレームにより得られた特徴点の情報は、
逐次各セグメントに反映していかないと、全体の動きの
推定値の誤差が大きくなり、ズレの情報が大きくなるた
め、圧縮率が下がりノイズも増えるという問題も生じ、
動画像を適切に符号化できなくなるという問題を生じ
た。

【０００６】前記対応付けができない場合とは、前フレ
ームに存在していた特徴点が現フレームに存在しない場
合（以後、消失と言う）や、前フレームに存在していな
い特徴点が現フレームに現れた場合（以後、出現と言
う）などである。そのような、具体例を図１１に示す。
図１１は、特徴点が消失したり出現したりする例を示す
図である。図１１（Ａ）は、微妙な特徴量の変化により
特徴点が検出できたりできなかったりする例である。図
１１（Ｂ）は、物体自信の回転運動により稜線が隠れた
り現れたりする例である。図１１（Ｃ）は、物体が画像
領域の境界付近を移動しているため画像領域に含まれた
り画像領域からはみ出したりしている例である。図１１
（Ｄ）は、他の物体の影になり一度隠れた後再び現れる
例である。図１１（Ｅ）は、新たな物体が現れる例であ
る。

【０００７】したがって、本発明の目的は、消失したり
出現した特徴点を適切に処理することにより、３次元モ
デルの獲得が適切に行える動画像処理装置を提供するこ
とにある。また、その３次元モデルを用いて、動画像を
適切に符号化することができる動画像符号化装置、およ
び、その符号化された信号を適切に復号化することがで
きる動画像復号化装置を提供することにある。

【０００８】

【課題を解決するための手段】フレーム間で対応付けが
行えない特徴点であっても、すでに抽出したセグメント
の特徴点であれば、そのセグメントと同様の動きをする
可能性が高い。したがって、対応が得られなかった特徴
点については、その特徴点の動きを検出し、同様の動き
をするセグメントを調べるようにした。具体的には、出
現した特徴点は、以前に消失した特徴点をその消失した
特徴点の属していたセグメントの移動に従って移動させ
た位置と重なるか否かを調べるようにした。また、フレ
ーム間にまたがった出現特徴点の位置の差が、いずれか
のセグメントの移動による結果となっているか否かを調
べるようにした。

【０００９】したがって、本発明の動画像処理装置は、
連続的な動画像の各フレームより特徴点を抽出する画像
分析手段と、前記連続的な動画像の最初のフレームより
セグメントを抽出するセグメンテーション手段と、前記
各特徴点に奥行き情報を付与し各セグメントごとに３次
元モデル形状情報として記憶する形状記憶手段と、前記
各３次元モデルのフレーム間の動きを推定する動き推定
手段と、前記推定された動きに基づいて現フレームのそ
の３次元モデルを移動させた投影像の特徴点と、次フレ
ームの前記各特徴点との対応を求める対応探索手段と、
前記対応する特徴点間の差を求める差算出手段と、前記
各対応点間の差に基づいて、前記形状記憶手段に記憶さ
れている各セグメントの３次元モデルの形状情報を更新
する更新手段とを有し、入力された連続的な動画像よ
り、その動画像を構成する各セグメントの３次元形状情
報を抽出する動画像処理装置であって、前記対応探索手
段において対応が得られなかった特徴点の属するセグメ
ントを、前記動き推定手段により推定された各セグメン
トの３次元モデルの動きと、その特徴点の動きとを比較
し、その特徴点と一体的に動いているセグメントをその
特徴点の属するセグメントとすることにより決定する特
徴点補正手段をさらに有する。

【００１０】好適には、前記特徴点補正手段は、次フレ
ームの特徴点と対応が得られなかった現フレームの特徴
点を消失した特徴点とし、その消失した特徴点の位置を
その特徴点の属していたセグメントの３次元モデルの前
記推定された動きに基づいて順次更新しておき、次フレ
ーム以降のフレームにおいて前フレームの特徴点と対応
が得られなかった特徴点が出現した際に、その出現した
特徴点の位置と前記消失した特徴点の更新された位置と
の距離を算出し、前記距離が所定値以下であった場合
に、その出現した特徴点は前記消失した特徴点が属して
いたセグメントに属すると決定する。

【００１１】また好適には、前記特徴点補正手段は、前
フレームの各セグメントを構成する特徴点と対応が得ら
れなかった特徴点を第１の出現特徴点とし、その第１の
出現特徴点の位置を前記抽出された各セグメントの３次
元モデルの前記推定された動きに基づいて順次移動させ
ておき、前記第１の出現特徴点が出現したフレーム以降
のフレームにおいて、前フレームの各セグメントを構成
する特徴点と対応が得られなかった特徴点を第２の出現
特徴点とし、その第２の出現特徴点の位置と、前記第１
の出現特徴点の更新された各位置との距離を各々算出
し、前記算出された各距離の最小の距離が予め定めた所
定値以下であった場合に、その最小距離の位置に前記第
１の出現特徴点を移動させた動きのセグメントを、前記
第１および第２の出現特徴点が属するセグメントと決定
する。

【００１２】特定的には、前記特徴点補正手段は、前記
手段により対応が得られなかった特徴点の属するセグメ
ントが決定されなかった場合に、その対応が得られなか
った出現特徴点が、前記いずれかのセグメントの３次元
モデルの投影像と連続的な位置に存在していた場合に、
その特徴点はそのセグメントに属すると決定する処理を
さらに行う。また特定的には、前記特徴点補正手段は、
前記手段により対応が得られなかった特徴点の属するセ
グメントが決定されなかった場合に、その対応が得られ
なかった出現特徴点が、前記いずれかのセグメントの３
次元モデルの投影像と連続的な位置に存在しており、前
記出現特徴点の前記画像分析手段による分析値と、前記
連続部分のそのセグメントの特徴点の前記分析値とを比
較し、それらの特徴点の分析値が同一的である場合に、
前記出現した特徴点は前記セグメントに属すると決定す
る処理をさらに行う。

【００１３】さらに好適には、前記特徴点補正手段は、
前記手段により対応が得られなかった特徴点の属するセ
グメントが決定されなかった場合に、その対応が得られ
なかった出現特徴点が所定数以上連続的に存在していた
場合に、その連続的な出現特徴点を新たなセグメントと
決定する処理をさらに行う。

【００１４】また、本発明の動画像符号化装置は、連続
的な動画像を符号化する動画像符号化装置であって、前
記いずれかの本発明の動画像処理装置と、前記動画像処
理装置の前記セグメンテーション手段により抽出された
前記連続的な動画像の最初のフレームの各セグメント
と、前記動画像処理装置の前記画像分析手段により分析
された前記セグメントの各特徴点の分析値とを、初期デ
ータとして符号化する初期符号化手段と、前記動画像処
理装置の動き推定手段により推定された前記各セグメン
トの３次元モデルのフレーム間の動き推定値と、前記動
画像処理装置の前記差算出手段により算出された各特徴
点間の差と、前記動画像処理装置の前記特徴点補正手段
により得られた対応が得られなかった各特徴点の補正情
報とを、前記連続的な動画像の各フレームごとに符号化
する符号化手段とを有する。

【００１５】また、本発明の動画像復号化装置は、符号
化されたデータより連続的な動画像を得る動画像復号化
装置であって、符号化された初期データより、前記連続
的な動画像の最初のフレームの各セグメントと、前記各
セグメントの各特徴点の分析値とを復号化する初期復号
化手段と、前記初期復号化手段により復号化された各セ
グメントの特徴点に奥行き情報を付与し、各セグメント
ごとの３次元モデル形状情報として記憶する形状記憶手
段と、符号化された各フレームごとのデータより、各セ
グメントの３次元モデルのフレーム間の動き推定値と、
前記動き推定値に基づいて３次元モデルを移動させた投
影像の特徴点と次フレームの対応する特徴点の差と、前
記対応の得られなかった特徴点の補正情報とを復号化す
る復号化手段と、前記復号化手段により復号化された前
記動き推定値と前記対応する特徴点の差に基づいて、前
記形状記憶手段に記憶されている各セグメントごとの３
次元モデルの形状情報を更新する更新手段と、前記復号
化手段により復号化された前記対応の得られなかった特
徴点の補正情報に基づいて、前記形状記憶手段に記憶さ
れている特徴点の情報を補正する補正手段と、前記形状
記憶手段に記憶されている各セグメントの特徴点の、消
失した旨の補正情報が付与されている特徴点以外の特徴
点に基づいて、各フレームごとの画像を合成する画像合
成手段とを有する。

【００１６】

【作用】本発明の動画像処理装置によれば、消失したり
出現したりしてフレーム間で対応のとれなかった特徴点
について、属する可能性のあるセグメントの３次元モデ
ルの動きの情報に基づいてその特徴点を移動させ、別の
フレームのその移動させた特徴点の位置に同様の特徴点
が存在すれば、それらの特徴点は同じ特徴点であり、そ
の特徴点はその動きの情報を有するセグメントに属する
ものと判定している。剛体においては、同一物体を構成
する特徴点は一体的に移動することから、逆に、一体的
に移動する特徴点は同一の物体を構成する特徴点である
可能性が高い。したがって、前記手段により適切にその
特徴点の属するセグメントを決定でき、その結果、その
セグメントの３次元モデルの形状情報が精度よく獲得で
きる。

【００１７】また本発明の動画像符号化装置によれば、
前記本発明の動画像処理装置により精度よくそのセグメ
ントの３次元モデルの形状情報が獲得できるので、全体
の動き推定値の誤差が小さくなり、各特徴点のズレも小
さくなるため、高圧縮率で、ノイズが減り再現性のよい
動画像の符号化が可能となる。また本発明の動画像復号
化装置によれば、対応が得られない特徴点の補正を行う
補正処理を行っているので、消失したり出現したりする
特徴点も忠実に復号化することができ、適切に動画像を
復号化できる。

【００１８】

【実施例】本発明の一実施例の動画像符号化装置につい
て、図１〜図９を参照して説明する。図１は、本発明の
一実施例の動画像符号化装置１０の構成を示すブロック
図である。動画像符号化装置１０は、画像分析部１１、
初期設定部１２、記憶部１３、動き推定・対応探索部１
５、動き処理部１６、投影部１７、量子化部１９、カル
マンフィルタ２１、補正処理部２２、および、符号化部
２３より構成される。本実施例の動画像符号化装置１０
は、ＶＴＲまたはビデオなどからの動画像系列から図示
せぬ連続シーケンス検出部により検出された連続した画
像データを入力され、その各画像データ系列を圧縮し、
伝送路５０に送出する圧縮伝送装置である。また、この
動画像符号化装置１０は、後述する動画像復号化装置３
０と協働して画像処理系を構成する。

【００１９】以下、各部の動作について説明する。画像
分析部１１は、順次入力される各フレームの画像データ
を分析し、特徴点を抽出し、特徴点の位置と分析値を求
める。本実施例においては、入力画像データに対して、
異なる解像度スケールを持つ複数のフィルタで画像デー
タの分析を行い、エッジを構成する点を特徴点として検
出し、入力画像データを特徴画像データであるエッジの
画像データに変換し、そのエッジを構成する各点の位置
と分析値を抽出する。

【００２０】また画像分析部１１は、各連続シーケンス
の１フレーム目の入力画像データより、画像を合成する
ために必要なＤＣ成分を抽出する。その１フレーム目の
画像データに対して得られた特徴点の位置と分析値は初
期設定部１２と符号化部２３に、ＤＣ成分は符号化部２
３に出力される。また、２フレーム目以降の画像データ
に対する特徴点の位置と分析値は動き推定・対応探索部
１５と補正処理部２２に出力される。

【００２１】初期設定部１２は、画像分析部１１より入
力された１フレーム目の特徴画像データの特徴点の位置
と分析値より、セグメンテーションを行い、この画像デ
ータを構成しているセグメントを抽出し、各セグメント
毎の特徴点の情報を記憶部１３に記憶する。このセグメ
ンテーションは、カラー画像から赤・緑・青・明度・色
相・彩度の信号、および、テレビ信号に対応したＹ信
号、Ｉ信号、Ｑ信号の合計９種類の特徴を抽出し、その
特徴に関するヒストグラムを作成し、再帰的しきい値処
理により行う。

【００２２】記憶部１３は、各セグメントの各特徴点に
ついて、位置情報Ｘ，Ｙ，Ｚと、分析値ｇ、確率共分散
行列ｖ、付加情報ａを記憶する記憶手段であり、メモリ
により構成される。記憶部１３に記憶されている情報
は、入力された連続シーケンスがＳ個のセグメントを有
し、各セグメントがＵs 個（ｓ＝１〜Ｓ）のエッジより
構成され、その各エッジがＮsu個（ｕ＝１〜Ｕs 、ｓ＝
１〜Ｓ）の特徴点より構成される場合、式１のように表
される。

【００２３】

【数１】

【００２４】なお、確率共分散行列ｖsun （ｎ＝１〜Ｎ
su、ｕ＝１〜Ｕs 、ｓ＝１〜Ｓ）は、各エッジを構成す
る点のちらばりであるので、同一のエッジを構成する各
特徴点については同一の値が格納される。

【００２５】記憶部１３に記憶されている情報は、ま
ず、１フレーム目についての情報が初期設定部１２より
入力され、初期データが生成される。その後、２フレー
ム目以降の画像データが入力されるごとに、後述するカ
ルマンフィルタ２１、および、補正処理部２２によりそ
の内容が更新される。

【００２６】動き推定・対応探索部１５は、前フレーム
の画像のエッジ画像の各点の情報｛Ｆsun ｝と現フレー
ムのエッジ位置と分析値から、セグメントの動いた量を
推定し、１フレーム前の各点の情報｛Ｆsun ｝と、現フ
レームのエッジ画像の特徴点の対応付けを行う。なお、
その動きの推定は、入力画像のエッジに対してカメラ座
標系から見た３次元的な平行移動量ｔ、回転移動量ωを
計算により求める。以下、図２および図３を参照して動
き推定、および、対応探索の方法について説明する。図
２は、座標系の説明をする図であり、３次元空間の点Ｐ
を望む様子を示す図である。図３は、動き推定・対応探
索の方法を説明する図であり、仮想の投影像の説明をす
る図である。

【００２７】まず、図２において、座標系ＸＹＺはカメ
ラ座標系で、座標系の原点はレンズの中心で、光軸は奥
行き方向となるＺ軸と一致させているものとする。この
ような座標系においては、点Ｐの像はＸＹ平面に平行で
原点からカメラの焦点距離ｆだけ離れた所に設置された
平面に投影されると考えることができる。この投影面上
の点Ｐの像の位置がカメラより入力された画像上の画素
の位置となる。その投影面に対して、その面のＺ軸との
交点を原点とし、Ｘ軸およびＹ軸と平行な座標系ｘｙを
設定する。

【００２８】ＸＹＺ空間内の点Ｐの座標をｐ＝（Ｘp ，
Ｙp ，Ｚp ）、点Ｐのｘｙ平面上の像である点Ｑの座標
をｑ＝（ｘq ，ｙq ）とすると、点Ｑの座標ｑは式２の
ように表される。

【００２９】

【数２】

【００３０】あるセグメントｓ（ｓ＝１〜Ｓ）がＮsu個
の点の情報で表され、それら各点の位置はｐsun ＝（Ｘ
sun ，Ｙsun ，Ｚsun ）（ｎ＝１〜Ｎsu）で表されると
する。このセグメントが、相対的にＸ軸周りにΔωｘ、
Ｙ軸周りにΔωｙ、Ｚ軸周りにΔωｚ回転し、また、Δ
ｔ＝（Δｔｘ，Δｔｙ，Δｔｚ）だけ平行移動した場
合、このセグメントを構成する各点ｐsun の移動量Δｐ
sun ＝（ΔＸsun ，ΔＹsun ，ΔＺsun ）は、前記各軸
周りの回転Δωｘ，Δωｙ，Δωｚ、および，平行移動
量Δｔが小さいとすると、式３のようになる。

【００３１】

【数３】

【００３２】点ｐsun のｘｙ平面上への投影点をｑsun
＝（ｘsun ，ｙsun ）とすると、前記セグメントの移動
にともなう投影点ｑsun の移動量Δｑsun ＝（Δｘsun
，Δｙsun ）は式４のようになる。

【００３３】

【数４】

【００３４】式２と式４より式５が得られる。

【００３５】

【数５】

【００３６】式２および式５を、Ｎ個の点の内のｍ＝１
〜ＭのＭ個に適用すると、式６のようになる。

【００３７】

【数６】

【００３８】Δｑについては、新たな画像が入力される
前に得ていた３次元位置ｐｍの式２による仮想の投影点
ｑｍ’に対応する画像上の点が分からないので、図３に
示すように、３次元位置情報の仮想の投影像Ｉｐにおい
て物体像Ｉｒのｑｍから最も近い点と仮定する。Ｍ≧３
のとき回転および平行移動量のパラメータΔｃの推定値
Δｃ’は、最小自乗法により式７により求められる。

【００３９】

【数７】

【００４０】式７により得られたΔｃ’による３次元位
置情報の移動量Δｑsun を式２より計算して、新たに式
４により仮想の投影像を作り、同様に近い点を対応点と
仮定し、式７の計算を繰り返し、式８のようにしていく
と、仮想の投影像と物体像Ｉｒは近づく。

【００４１】

【数８】

【００４２】この計算を、Σ｜Δｑsun ｜² が予め定め
た所定値ε以下になるまで繰り返すことにより、元の画
像の３次元位置情報ｐsun に対する新たな画像の対応点
ｑsun が求められる。この動き推定・対応探索の方法に
よれば、物体を剛体と仮定し、回転および平行移動につ
いての６個のパラメータで３次元位置情報を構成する点
を式２のように拘束することで、個々の点それぞれ独立
にではなく、包括的に行われている。る。したがって、
全体として矛盾のない対応関係が全ての点について得ら
れ、誤対応による３次元位置情報におけるノイズが減
る。

【００４３】動き処理部１６は、動き推定・対応探索部
１５により得られた、各セグメントの平行移動量ｔ、回
転移動量ω、によって各セグメントの情報｛Ｆsun ｝の
位置情報を、３次元空間において平行および回転移動さ
せる。

【００４４】投影部１７は、各セグメントの各点の３次
元位置ｐsun ＝（Ｘsun ，Ｙsun ，Ｚsun ）を画像上の
位置ｑsun ＝（ｘsun ，ｙsun ）に変換し、得られた画
像上の点ｑsun に分析値ｇsun を与える。３次元位置ｐ
sun から投影点ｑsun への変換は式２により行う。

【００４５】加算部１８で、投影後の各特徴点の情報
｛Ｆsun ｝の画像上での位置ｑsun ’と対応する入力画
像のエッジ位置ｑsun との差を求める。

【００４６】量子化部１９は、前記加算部１８により求
められた差を量子化し、フラクチュエーションを求め
る。量子化方法としては、一定の適切な量子化ステップ
（たとえば１画素幅）による線形な量子化、いくつかの
線形でない量子化ステップを設定した非線形量子化、量
子化ステップを固定せず、入力される画像の性質により
量子化ステップを適宜変える量子化などがあり、要求さ
れる伝送レート、画質に応じて、適切な量子化方法を用
いれば良い。たとえば、高圧縮率が要求される場合に
は、量子化ステップを大きくしたり、画像に直線が多く
量子化ノイズによる直線の不連続性が目立つ場合は、非
線形量子化を行い、フラクチュエーションの小さい部分
の量子化を細かくするようにする。求められたフラクチ
ュエーションは、符号化部２３およびカルマンフィルタ
２１に入力される。なお、カルマンフィルタ２１に入力
されるフラクチュエーションは、加算部２０で再び投影
後の各特徴点の位置ｑsun ’に対応づけられて入力され
る。

【００４７】カルマンフィルタ２１は、前の画像におけ
る各セグメントの各点の情報｛Ｆsun ｝の３次元位置ｐ
sun とそれに対応する入力画像のエッジ位置ｑsun から
３次元位置ｐsun を更新する。カルマンフィルタはノイ
ズを含むシステムにおいて時系列の観測量から状態量の
最小自乗推定値を逐次得ることのできるフィルタであ
る。本実施例において、状態量は３次元位置ｐsun 、観
測量である２次元位置ｑsun である。２次元位置ｑsun
にはΔｑsun の量子化によるノイズが含まれる。また、
動き推定値にもノイズが含まれる。初期値の平面上の３
次元形状｛ｐsun｝は、カルマンフィルタによりセグメ
ントに動きがあるごとに、実際の３次元形状に近づくよ
うに更新されていく。各点の情報｛Ｆsun ｝における確
率共分散行列ｖsun はｐsun の確率共分散行列（３×
３）でｐsun を更新するのに用いられ、同時に確率共分
散行列ｖsun も更新される。

【００４８】補正処理部２２は、エッジを追跡する際
に、記憶されている前のフレームの画像に存在したエッ
ジが現在のフレームの画像に存在しなかったり（消
失）、逆に現在のフレームの画像に存在するエッジが、
記憶されている前のフレームの画像に存在しなかったり
（出現）した場合に、そのような、消失したエッジや、
新たに出現したエッジなどに対する処理を行う。このエ
ッジの消失、および、出現に対する補正処理の方法につ
いて、図４〜図９を参照して説明する。

【００４９】まず、図４を参照して補正処理部２２によ
り行われる補正処理の流れを説明する。図４は、補正処
理部２２により行う補正処理の流れを示す概略図であ
る。補正処理部２２においては、画像分析部１１より入
力されるエッジ情報、分析値と、動き推定・対応探索部
１５より入力される動き推定値と、記憶部１３に記憶さ
れている前フレームの各情報とを比較し、消失、出現を
検出する。処理の流れとしては、まず、エッジの消失を
検出し処理し、次に出現したエッジを検出し処理する。
出現したエッジの処理としては、まず、既存のエッジに
加えることが可能か否かをチェックし、次に新しいセグ
メントを構成するエッジか否か、未知のエッジとして保
留しておく否かをチェックする。

【００５０】以下、各処理方法について説明する。ま
ず、消失した点は、すぐに記憶部１３から削除せず、消
失したという印を付加情報として付加した上で保存す
る。保存する際、消失した部分が属していたセグメント
の動き推定値に基づいて３次元位置ｐsun を移動させ
る。確率共分散行列ｖsun 、分析値ｇsun 、および、属
するセグメントはそのままにしておく。

【００５１】出現については、まず、入力画像における
エッジで記憶中の点と対応のなかった点を抜き出し、そ
れを出現エッジとする。出現エッジは図５のように連結
性を調べて連結した開曲線または閉曲線となる点の集合
に分ける。次に、過去に消失したエッジで再び出現した
ものが有るか否かを調べる。記憶部１３に記憶されてい
る消失したという印のついた点を、過去に属していたセ
グメントの動きにしたがって３次元位置を移動させ投影
する。そして、消失したという印のついた点を投影した
付近に、新たに出現したエッジが存在すれば、消失した
という印を除いてその点を対応の取れた点として復活さ
せる。復活させた点の３次元位置ｐsun 、確率共分散行
列ｖsun は、カルマンフィルタ２１により更新されるよ
うにする。このような処理により、たとえば図１１の
（Ｄ）の小円のように一時的に消失した部分は適切に処
理される。

【００５２】前述した消失の印が付いた点に対する処理
の流れを図６に示す。まず、消失した旨の印が付加情報
として付加された記憶部１３に記憶されている特徴点の
情報は、その特徴点の属するセグメントの運動パラメー
タにしたがって位置が移動され（ステップ６１）、画面
上に投影する（ステップ６２）。次に、出現エッジの中
からその近くに対応するエッジが有るか否かを探索する
（ステップ６３）。対応エッジが存在した場合には（ス
テップ６４）、その消失の印を削除し、そのエッジを通
常の存在する特徴点情報として有効にする。対応エッジ
が存在しなかった場合には（ステップ６５）、この消失
されたエッジに対する処理は終了する（ステップ６
６）。

【００５３】消失した点の再出現の処理後、残った出現
エッジのそれぞれの集合について、さらに、対応のとれ
たセグメントに属するエッジか否かを判断する。この判
断の方法について図７および図８を参照して説明する。
前記判断は、対象の出現エッジが、対応のとれている画
像のエッジと矛盾なく接続しているか否かを調べる。こ
れは、接続している位置で特徴点の分析値ｇsun が概ね
連続になっていれば矛盾なく接続しているとする。図７
に示すようなセグメントＬａ，Ｌｂでは、各々点Ｐｃ付
近で矛盾なく接続していると判断された場合に、出現エ
ッジの集合Ｌａ，Ｌｂは、それぞれセグメント１、２に
属するとし、そのセグメントに加える。

【００５４】既存のセグメントに追加される出現エッジ
には、奥行き値（Ｚ成分）として対応があった入力画像
のエッジと接続している部分（図７の点Ｐｃ）の奥行き
値を与え、Ｘ、Ｙ成分として、そのＺ成分の値に基づい
て式２より求めた値を与える。また、分析値は出現エッ
ジの集合を構成する点の画像分析結果をそのまま与え
る。

【００５５】そして、消失エッジとの対応付け、およ
び、既存セグメントへの追加のいずれにもあてはまら
ず、いずれのセグメントにも属していないと判断された
出現エッジは未知セグメントとする旨の印を付加情報と
して付加し、記憶部１３に記憶しておく。

【００５６】前述の、消失したエッジの再出現の処理
後、残った出現エッジに対する処理の流れを図８に示
す。残った出現エッジ｛Ｌ１〜Ｌｋ｝が入力されると、
まず最初の出現エッジＬ１に対して（ステップ６７）、
記録されている各セグメントを構成するエッジとの関係
を調べ（ステップ６８）、そのエッジと接続される既存
セグメントのエッジが有るか否かを調べる（ステップ６
９）。接続される可能性のあるセグメントがあった場合
には、その接続点における分析値を比較し連続性のチェ
ックを行う（ステップ７０）。その結果、矛盾なく接続
されるものであれば（ステップ７１）、その出現エッジ
をその接続させるセグメントに属するエッジとして、３
次元位置、確率共分散行列、分析値を付与され（ステッ
プ７３）、記憶部１３に記憶される（ステップ７４）。

【００５７】また、ステップ６９において接続するエッ
ジが無い場合、および、ステップ７１において接続に矛
盾があると判定された場合には、その出現エッジを対応
セグメントが未知である旨の印を付加情報として付加す
る（ステップ７２）。そして、別個のセグメントとし
て、３次元位置、確率共分散行列、分析値が付与され
（ステップ７３）、記憶部１３に記憶される（ステップ
７４）。そして、全ての出現エッジについて、この処理
を行ったか否かをチェックし（ステップ７５）、まだ未
チェックの出現エッジが残っていれば次の出現エッジに
対して同じ処理を繰り返し（ステップ７６）、全ての出
現エッジに対してこの処理が終了したら、処理を終了す
る（ステップ７７）。

【００５８】記憶中の点と対応があった入力画像のエッ
ジと矛盾なく接続している出現エッジの処理により、
ａ、ｂ，ｃのパタンで生じた出現エッジの一部が記憶に
取り入れられる。前記２つの処理で残った出現エッジは
その時点でどのセグメントに属するか判断せず、セグメ
ントは未知という印をつけておく。

【００５９】そして、前述した処理により、セグメント
が未知という印を付けられている特徴点は、次のように
処理する。セグメントがＳ個あるとする。各セグメント
について動き推定・対応探索部１５で動き推定値が求め
られているが、セグメント未知の点が仮にセグメントｓ
（ｓ＝１〜Ｓ）に属するとし、３次元位置をセグメント
ｓの動き推定値によって移動させてみる。移動させる前
のセグメント未知の特徴点の３次元位置は、セグメント
ｓの重心のＺ成分、あるいは、前の入力画像のエッジに
おいて対応点が最も近くにあったセグメントｓに属する
点のＺ成分などを奥行き値とし、初期設定部１２と同様
にして与える。セグメント未知の点を移動後、投影した
時、その近傍に対応する出現エッジが存在するか否か探
す。このような操作をＭ個のセグメント全てに対して行
い、その結果セグメント未知の点は、最も良く対応する
出現エッジがあったセグメントに属するとする。

【００６０】この処理の流れを図９に示す。Ｅｍは対応
する出現エッジとの対応の程度を評価する関数で対応の
度合いが高いほどＥｍが大きくなる。セグメント未知の
特徴点が入力されたら、まず、初期値設定をした後（ス
テップ７８）、セグメントｓの動き推定値を読み込む
（ステップ７９）。その動き推定値に基づいて、出現エ
ッジを移動させ（ステップ８０）、その近傍に対応する
出現エッジが存在するか否かを探す（ステップ８１）。
そして、所定範囲内に対応するエッジが存在する場合に
は、予め定めた対応の程度を評価する評価関数Ｅｍを計
算する（ステップ８２）。計算結果が、それまでの他の
セグメントに対して行った評価関数Ｅｍの計算結果の最
大値Ｅmax よりも大きい場合には、その最大値を計算結
果で更新し、最も対応の度合いの高いセグメントとして
セグメントの番号を記憶する（ステップ８４）。

【００６１】そして、セグメント番号を更新して（ステ
ップ８５）、次のセグメントに対して同じ処理を繰り返
す（ステップ８６）。すべてのセグメントに対して前記
処理を行ったら（ステップ８６）、最も対応の度合いの
高いセグメントとして、有効な値が記憶されていればそ
のセグメントをこの未知の特徴点の属するセグメントと
する（ステップ８８）。有効なセグメントが見つからな
かっった特徴点については、新セグメントとするか否か
を判断する処理に移る（ステップ８９）。

【００６２】適切に対応するセグメントが存在しなかっ
た出現エッジに対しては、まず、画素数が所定の数より
少ないものはノイズと考えて無視する。図１１（Ｅ）の
右側のように無視できない出現エッジは（Ｓ＋１）番目
の新セグメントを新たに設定し、３次元位置、確率共分
散行列、分析値をその出現エッジの各点について与え
る。

【００６３】符号化部２３は、入力された動画像系列の
情報を符号化し、伝送路５０に送出する。符号化部２３
は、各連続画像シーケンスの１フレーム目の画像データ
については、画像分析部１１より入力されたエッジ位置
｛ｑｎ｝、分析値、および、ＤＣ成分を符号化する。ま
た、２フレーム目以降の画像データについては、各セグ
メント毎に、動き推定・対応探索部１５より出力される
動き推定値と、量子化部１９より出力されるフラクチュ
エーション｛Δｑsun ｝を符号化し、出力する。なお、
全体的にフラクチュエーションが小さいセグメントにつ
いては画質に対する影響が少ないので、動き推定値のみ
を送る場合もある。

【００６４】このように、動画像符号化装置１０によれ
ば、連続的な連続画像において、記憶されている前のフ
レームの画像に存在し現在のフレームの画像に存在しな
かったエッジ（消失エッジ）や、現在のフレームの画像
に存在し前のフレームの画像に存在しないエッジ（出現
エッジ）を適切に対処可能なので、適切に記憶されてい
る情報の更新が可能で、ノイズが少なく高い圧縮率の精
度よい動画像符号化装置が提供できる。

【００６５】次に、本発明の一実施例の動画像復号化装
置について、図１０を参照して説明する。図１０は、本
発明の一実施例の動画像復号化装置３０の構成を示すブ
ロック図である。動画像復号化装置３０は、初期復号化
部３４、初期設定部３２、画像合成部３１、記憶部３
３、補正処理部４２、動き処理部３６、第２の投影部３
９、カルマンフィルタ４１、および、第１の投影部３７
より構成される。本実施例の動画像復号化装置３０は、
伝送路５０より伝送された符号化された動画像系列を展
開し、画像合成部３１より出力する動画像復号化装置で
ある。また、この動画像復号化装置３０は、前述した動
画像符号化装置１０と協働して画像処理系を構成する。

【００６６】以下、各部の動作について説明する。復号
化部３４は、伝送路５０より伝送された信号を受信し、
復号化して各情報を取り出し、適宜各部に出力する受信
手段である。連続シーケンスの画像の１フレーム目のデ
ータについては、エッジ位置｛ｑｎ｝と、分析値、およ
び、ＤＣ成分を受信信号より分離し、エッジ情報と分析
値を初期設定部３２に、エッジ情報と分析値とＤＣ成分
を画像合成部３１に出力する。また、２フレーム目以降
のデータについては、受信信号より、各セグメントごと
の動き推定値、フラクチュエーション、ＤＣ成分、およ
び、補正処理に関する情報に分離する。動き推定値は、
動き処理部３６およびカルマンフィルタ４１に、フラク
チュエーションは加算部４０に、ＤＣ成分は画像合成部
３１に、また補正処理に関する情報は補正処理部４２に
出力される。

【００６７】初期設定部３２は、初期復号化部３４より
入力されたエッジ情報および分析値に基づいて、各セグ
メントごとの、そのセグメントを構成する特徴点の情報
に展開し、記憶部３３に記憶する。この処理により、動
画像復号化装置３０の記憶部３３の内容は、前述したよ
うな動画像符号化装置の記憶部内の情報と同一の内容と
なる。

【００６８】記憶部３３は、エッジ画像の各特徴点の情
報を、セグメントごとに記憶しておく記憶手段であり、
メモリにより構成され、前述した動画像符号化装置１０
の記憶部１３と同じ構成である。

【００６９】動き処理部３６は、復号化部３４により入
力された動き推定値に基づいて、記憶部３３に記憶され
ている各セグメントを移動させる。第２の投影部３９
は、動き処理部３６により移動された各セグメントを画
像上に投影する。加算部４０は、第２の投影部３９によ
り投影された画像情報に対して、復号化部３４より入力
されたフラクチュエーションを各特徴点に加え、得られ
た画像情報をカルマンフィルタ４１に入力する。

【００７０】カルマンフィルタ４１は、前述した動画像
符号化装置１０のカルマンフィルタ２１と同じ働きを
し、記憶部３３に記憶されている各セグメントの情報を
更新する。

【００７１】第１の投影部３７は、カルマンフィルタ４
１により更新された画像情報に基づいて、各セグメント
を画像上に投影する。画像合成部３１は、復号化部３４
および第１の投影部３７より入力されたエッジ情報、分
析値、およびＤＣ成分に基づいて、画像データを復元し
出力する画像合成部である。まず、復号化部３４より入
力された１フレーム目の画像データについて、エッジ画
像と各点の分析値、および、ＤＣ成分から、動画像符号
化装置への入力画像とほぼ等しい画像を合成する。ま
た、２フレーム目以降の画像データについては、第１の
投影部３７より入力されたエッジ情報、および、分析値
と、復号化部３４より入力されるＤＣ成分に基づいて画
像を合成し、出力する。なお、その際、付加情報の消失
したという印のついた点を除いて画像合成を行う。

【００７２】以上、説明したように、動画像復号化装置
３０によれば、３次元形状データとその動きの情報によ
り符号化された動画像系列においても、前記３次元形状
データで単純に表せない、消失したエッジ情報や出現エ
ッジ情報を補正することができるので、そのような動画
像についても、原画像に忠実に再現性よく復号化するこ
とができる。

【００７３】

【発明の効果】本発明の動画像処理装置によれば、消失
したり出現した特徴点を適切に処理することができるの
で、連続的な動画像より適切に各セグメントの３次元モ
デルを獲得できる。また、本発明の動画像符号化装置に
よれば、本発明の動画像処理装置を用いているので、動
画像を高圧縮率で低ノイズで適切に符号化することがで
きる。さらに、本発明の動画像復号化装置によれば、消
失したり出現した特徴点を適切に補正処理することがで
き、再現性のよい動画像を合成することができる。

【図面の簡単な説明】

【図１】本発明の一実施例の画像符号化装置の構成を示
すブロック図である。

【図２】図１に示した画像符号化装置の動き推定・対応
探索の方法を説明する図であり、３次元空間の点Ｐを望
む様子を示し座標系の説明をする図である。

【図３】図１に示した画像符号化装置の動き推定・対応
探索の方法を説明する図であり、仮想の投影像の説明を
する図である。

【図４】図１に示した画像符号化装置の補正処理の流れ
の概要を示す概略図である。

【図５】フレーム間で出現したエッジの例を示す図であ
る。

【図６】図１に示した画像符号化装置の補正処理部にお
ける、消失の印が付いた特徴点に対する処理の流れを示
す図である。

【図７】出現したエッジを既存のセグメントに加える例
を示す図である。

【図８】図１に示した動画像符号化装置の補正処理部に
おける、出現したエッジを既存のセグメントに加える処
理の流れを示す図である。

【図９】図１に示した動画像符号化装置の補正処理部に
おける、セグメントが未知という印を付けられている特
徴点に対する処理の流れを示す図である。

【図１０】本発明の一実施例の画像復号化装置の構成を
示すブロック図である。

【図１１】フレーム間でエッジの対応がとれない例を示
す図である。

【符号の説明】

１０…動画像符号化装置 １１…画像分析部 １２…初期設定部 １３…記憶部 １４…初期符号化
部 １５…動き推定・対応探索部 １６…動き処理部 １７…投影部 １８…加算部 １９…量子化部 ２０…加算部 ２１…カルマンフィルタ ２２…補正処理部 ２３…符号化部 ３０…動画像復号化装置 ３１…画像合成部 ３２…初期設定部 ３３…記憶部 ３４…初期復号化
部 ３６…動き処理部 ３７…第１の投影
部 ３９…第２の投影部 ４０…加算部 ４１…カルマンフィルタ ４２…補正処理部 ４３…復号化部 ５０…伝送路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０３Ｍ 7/36 9382−5Ｋ Ｇ０６Ｆ 15/66 ３３０ Ｈ

Claims (8)

【特許請求の範囲】
1. 【請求項１】連続的な動画像の各フレームより特徴点を
   抽出する画像分析手段と、 前記連続的な動画像の最初のフレームよりセグメントを
   抽出するセグメンテーション手段と、 前記各特徴点に奥行き情報を付与し各セグメントごとに
   ３次元モデル形状情報として記憶する形状記憶手段と、 前記各３次元モデルのフレーム間の動きを推定する動き
   推定手段と、 前記推定された動きに基づいて現フレームの当該３次元
   モデルを移動させた投影像の特徴点と、次フレームの前
   記各特徴点との対応を求める対応探索手段と、前記対応
   する特徴点間の差を求める差算出手段と、前記各対応点
   間の差に基づいて、前記形状記憶手段に記憶されている
   各セグメントの３次元モデルの形状情報を更新する更新
   手段とを有し、入力された連続的な動画像より、該動画
   像を構成する各セグメントの３次元形状情報を抽出する
   動画像処理装置であって、 前記対応探索手段において対応が得られなかった特徴点
   の属するセグメントを、前記動き推定手段により推定さ
   れた各セグメントの３次元モデルの動きと、該特徴点の
   動きとを比較し、当該特徴点と一体的に動いているセグ
   メントを該特徴点の属するセグメントとすることにより
   決定する特徴点補正手段をさらに有する動画像処理装
   置。
2. 【請求項２】前記特徴点補正手段による前記特徴点の属
   するセグメントを決定は、 次フレームの特徴点と対応が得られなかった現フレーム
   の特徴点を消失した特徴点とし、 該消失した特徴点の位置を当該特徴点の属していたセグ
   メントの３次元モデルの前記推定された動きに基づいて
   順次更新しておき、 次フレーム以降のフレームにおいて前フレームの特徴点
   と対応が得られなかった特徴点が出現した際に、該出現
   した特徴点の位置と前記消失した特徴点の更新された位
   置との距離を算出し、 前記距離が所定値以下であった場合に、該出現した特徴
   点は前記消失した特徴点が属していたセグメントに属す
   ると決定する処理を含む請求項１記載の動画像処理装
   置。
3. 【請求項３】前記特徴点補正手段による前記特徴点の属
   するセグメントを決定は、 前フレームの各セグメントを構成する特徴点と対応が得
   られなかった特徴点を第１の出現特徴点とし、 該第１の出現特徴点の位置を前記抽出された各セグメン
   トの３次元モデルの前記推定された動きに基づいて順次
   移動させておき、 前記第１の出現特徴点が出現したフレーム以降のフレー
   ムにおいて、前フレームの各セグメントを構成する特徴
   点と対応が得られなかった特徴点を第２の出現特徴点と
   し、 該第２の出現特徴点の位置と、前記第１の出現特徴点の
   更新された各位置との距離を各々算出し、 前記算出された各距離の最小の距離が予め定めた所定値
   以下であった場合に、該最小距離の位置に前記第１の出
   現特徴点を移動させた動きのセグメントを、前記第１お
   よび第２の出現特徴点が属するセグメントと決定する処
   理を含む請求項１または２記載の動画像処理装置。
4. 【請求項４】前記特徴点補正手段において、前記対応が
   得られなかった特徴点の属するセグメントが決定されな
   かった場合に、該特徴点補正手段は、 当該対応が得られなかった出現特徴点が、前記いずれか
   のセグメントの３次元モデルの投影像と連続的な位置に
   存在していた場合に、当該特徴点は該セグメントに属す
   ると決定する処理をさらに行う請求項１〜３いずれか記
   載の動画像処理装置。
5. 【請求項５】前記特徴点補正手段において、前記対応が
   得られなかった特徴点の属するセグメントが決定されな
   かった場合に、該特徴点補正手段は、 当該対応が得られなかった出現特徴点が、前記いずれか
   のセグメントの３次元モデルの投影像と連続的な位置に
   存在しており、前記出現特徴点の前記画像分析手段によ
   る分析値と、前記連続部分の当該セグメントの特徴点の
   前記分析値とを比較し、それらの特徴点の分析値が同一
   的である場合に、前記出現した特徴点は前記セグメント
   に属すると決定する処理をさらに行う請求項１〜３いず
   れか記載の動画像処理装置。
6. 【請求項６】前記特徴点補正手段において、前記対応が
   得られなかった特徴点の属するセグメントが決定されな
   かった場合に、該特徴点補正手段は、 当該対応が得られなかった出現特徴点が所定数以上連続
   的に存在していた場合に、当該連続的な出現特徴点を新
   たなセグメントと決定する処理をさらに行う請求項１〜
   ５いずれか記載の動画像処理装置。
7. 【請求項７】連続的な動画像を符号化する動画像符号化
   装置であって、 前記請求項１〜６いずれか記載の動画像処理装置と、 前記動画像処理装置の前記セグメンテーション手段によ
   り抽出された前記連続的な動画像の最初のフレームの各
   セグメントと、前記動画像処理装置の前記画像分析手段
   により分析された前記セグメントの各特徴点の分析値と
   を、初期データとして符号化する初期符号化手段と、 前記動画像処理装置の動き推定手段により推定された前
   記各セグメントの３次元モデルのフレーム間の動き推定
   値と、前記動画像処理装置の前記差算出手段により算出
   された各特徴点間の差と、前記動画像処理装置の前記特
   徴点補正手段により得られた対応が得られなかった各特
   徴点の補正情報とを、前記連続的な動画像の各フレーム
   ごとに符号化する符号化手段とを有する動画像符号化装
   置。
8. 【請求項８】符号化されたデータより連続的な動画像を
   得る動画像復号化装置であって、 符号化された初期データより、前記連続的な動画像の最
   初のフレームの各セグメントと、前記各セグメントの各
   特徴点の分析値とを復号化する初期復号化手段と、 前記初期復号化手段により復号化された各セグメントの
   特徴点に奥行き情報を付与し、各セグメントごとの３次
   元モデル形状情報として記憶する形状記憶手段と、 符号化された各フレームごとのデータより、各セグメン
   トの３次元モデルのフレーム間の動き推定値と、前記動
   き推定値に基づいて３次元モデルを移動させた投影像の
   特徴点と次フレームの対応する特徴点の差と、前記対応
   の得られなかった特徴点の補正情報とを復号化する復号
   化手段と、 前記復号化手段により復号化された前記動き推定値と前
   記対応する特徴点の差に基づいて、前記形状記憶手段に
   記憶されている各セグメントごとの３次元モデルの形状
   情報を更新する更新手段と、 前記復号化手段により復号化された前記対応の得られな
   かった特徴点の補正情報に基づいて、前記形状記憶手段
   に記憶されている特徴点の情報を補正する補正手段と、 前記形状記憶手段に記憶されている各セグメントの特徴
   点の、消失した旨の補正情報が付与されている特徴点以
   外の特徴点に基づいて、各フレームごとの画像を合成す
   る画像合成手段とを有する動画像復号化装置。