JPH06282651A

JPH06282651A - 運動領域輪郭検出装置

Info

Publication number: JPH06282651A
Application number: JP5067825A
Authority: JP
Inventors: Kenji Nagao; 健司長尾; Masayoshi Soma; 正宜相馬; Shigeru Ando; 繁安藤; Michihiro Kobayakawa; 倫広小早川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-03-26
Filing date: 1993-03-26
Publication date: 1994-10-07
Anticipated expiration: 2015-02-07
Also published as: JP3006338B2; US5587927A

Abstract

(57)【要約】【目的】本発明は、運動領域領域検出装置に関するも
のであり、従来法に含まれていた画像速度算出という本
質的に困難な過程を避けて、濃淡の勾配共分散を用いて
画像分類を直接に行なうことにより高精度かつ安定的な
輪郭検出を実現することを目的とする。【構成】本発明は、動画像濃淡の勾配共分散を算出す
る手段と、これを基に様々な画像分類特徴量を抽出する
手段と、この分類特徴を用いて画素の分類を行なう手段
と、画素分類の結果を用いて輪郭候補を限定する手段
と、この輪郭候補領域から可能な輪郭を選出する手段を
有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、マルチメディアコンピ
ュータのための動画像の管理・編集や検索、テレビ電
話、分散会議システムをはじめとする動画像通信に於け
る画像データの圧縮、また放送や映像製作系向けの画像
編集等の技術に応用される運動領域輪郭検出装置に関す
るものである。

【０００２】

【従来の技術】従来、運動領域の輪郭検出装置は、大別
して２通りの構成よりなっていた。

【０００３】第１の構成は、図５に示すように動画像の
各画素毎に画像速度（オプティカルフロー）を検出する
画像速度算出部と、算出した画像速度場に対してガウス
フィルター等のぼかしフィルターを適用するぼかしフィ
ルター適用部と、ぼかしフィルターを適用した速度場に
対して、ラブラシアンフィルター等のエッジ検出演算子
を適用するエッジ検出部を備えるものである。

【０００４】第２の構成は、図６に示すようにＳｎａｋ
ｅｓというモデルを基に構成されるものである。

【０００５】これは、もともと静止画像から物体の輪郭
を正確に抽出するために開発されたものを動画像に適用
したものである。

【０００６】ユーザが初期輪郭を入力する手段と、画像
濃淡の空間変動エネルギーを計算する手段と、入力され
た初期輪郭から出発する輪郭曲線の滑らかさを算出する
手段と、空間変動エネルギーと輪郭曲線の滑らかさを評
価基準として現在の輪郭からよりエネルギーの低い輪郭
に逐次更新的な輪郭を変形させていく次輪郭生成手段
と、これ以上低い輪郭に移動することができないという
局所最小判定手段を有する。

【０００７】動画系列への拡張は、前フレームでの検出
結果を初期輪郭として同じ手続きを繰り返すことにより
実現される。

【０００８】

【発明が解決しようとする課題】しかしながら、第１の
構成は、速度場を安定的な求める方法が未だに開発され
ていないこと、また、それゆえ不安定な速度場データに
基づいて以降の処理を行わなければならないことによる
信頼性の低下という問題があり十分な方法に至っていな
い。

【０００９】また、第２の構成では、動画像固有の速度
情報の利用を最初から捨てて、初期輪郭をユーザの指定
に頼るため応用が限定されてしまう点で応用範囲の観点
から満足できるものではない。

【００１０】さらに、画像情報としては、濃淡の空間変
動のみを利用するため、濃淡の急変が必ずしも物体の輪
郭に対応しないような一般的な状況では、初期輪郭を真
の輪郭に非常に近い位置に設定する必要があり、Ｓｎａ
ｋｅモデルに基づく装置そのものの意義（価値）に疑問
が生ずる。

【００１１】本発明は上記従来の課題を解決するもの
で、速度場算出の過程を踏むことなく、動画像固有の特
徴を抽出し、これを基にユーザからの初期輪郭の指定を
必要とすることなく、幅広い応用を前提として、高精度
かつ安定的に輪郭を検出することを目的とする。

【００１２】

【課題を解決するための手段】上記課題を解決するため
に本発明は、画像濃淡の勾配共分散を算出する勾配共分
散算出手段と勾配共分散を基に、速度算出の過程を経ず
して画像の分類特徴を生成する分類特徴量抽出手段と、
この分類特徴をもとに画素の分類を生々する画素分類手
段と、この分類から輪郭の可能な候補領域を限定する輪
郭候補領域限定手段と、この輪郭候補領域から可能な輪
郭曲線を選出する輪郭選出手段を有するものである。

【００１３】

【作用】動画像データが入力されると、勾配共分散算出
手段が動画像の各画素毎に濃淡fの勾配の共分散を算出
する。これは、濃淡の時間、空間の偏微分をfx,fy,ftと
したときに、

【００１４】

【数６】

【００１５】を算出することである。各勾配の充分広い
範囲に渡る積分は０になることはよく知られているの
で、［Sij］は共分散行列の意味を持つことは容易に理
解される。

【００１６】画像の濃淡変化の特徴は、濃淡の時空間勾
配の分布の広がりの次元によって特徴づけられるので、
この共分散行列を用いることによって、着目画素付近で
の濃淡変動を分類することができる。

【００１７】この濃淡変動の分類のための特徴量を抽出
するのが、分類特徴量抽出手段である。

【００１８】例えば、濃淡エッジの部分では、模様は特
定の方向にのみ変動するので、空間勾配(fx,fy)の分布
は１次元に縮退する。これに対して領域の内部では、一
般に(fx,fy)は２次元的な広がりを持つ。

【００１９】又、画素が運動的な性質、即ち、画像中で
運動物体の内部に位置する場合は、よく知られているよ
うに時空間勾配(fx,fy,ft)の間に線形関係が成立し、分
布が２次元に縮退する。これに対して、運動境界や回転
の中心部位では、そのような線形関係がなく、分布は３
次元的な広がりを持つ。

【００２０】このように、勾配分布の広がりの次元を解
析することで、動画像の画素を分類することができる。
分類特徴量抽出手段は、そのような分布の広がりの次元
の性質を定量的に評価する手段である。即ち、広がりの
次元が２次元的であったり、３次元的であったりするこ
との信頼性を評価するものである。

【００２１】画素分類手段は、分類特徴量抽出手段が各
画素毎に生成した複数の分類特徴量の関係から、各画素
の局所的な分類、即ち、隣の画素との関係等は無視して
その画素の分類特徴量のみを用いて分類を生成するもの
である。

【００２２】再分類手段は、この局所的な分類の結果に
対して、近傍領域内での一貫性の拘束を適用することに
より、ひとつの画素での情報のみからは判断できないよ
うな分類の再分類を行なうものである。

【００２３】このような問題は、コンピュータビジョン
の分野ではアパーチャ問題と呼ばれている。例えば、模
様がほとんどないような部分では、その局所的な領域を
観測するだけでは、その小さい領域が静止しているのか
運動しているのか、また、運動しているとしてもどの方
向に運動しているのかを判断することができない。同様
に、模様の変化がある一定の方向を向いている場合は、
その模様の変化と垂直な方向の変化成分は観測できても
その変化の方向の運動成分は局所的にはとらえられな
い。

【００２４】このような問題を解決するために、再分類
手段のためのひとつの方法は、画素毎に得られた分類の
近傍領域内での論理的整合性を拘束として、逐次更新的
に分類をその論理的拘束に関して一貫したものに改良し
ていく（これは弛緩法と呼ばれる）手段である。この場
合、再分類手段は、論理的整合性の規則表現を保持する
一貫性規則保持手段と、その規則を用いて弛緩法を実行
する弛緩法実行手段を有する。

【００２５】再分類手段によって、動画像の画素毎に分
類が定まると、次に、この分類を基に、輪郭候補領域限
定手段が、輪郭の候補を限定する。

【００２６】最後に、この限定された輪郭候補領域か
ら、輪郭線選出手段が可能な輪郭を抽出する。

【００２７】これは、大きな幅の輪郭候補片に含まれる
幅１の曲線を取り出すことに相当するため、その選択枝
は無数に存在することになる。

【００２８】また、一般にしきい値処理をほどこした結
果得られる輪郭候補領域は連結した領域となることは少
なく、むしろ輪郭候補の小領域片が散乱した状態とな
る。そこで、輪郭候補の部分集合である小領域片の長軸
（及び短軸）によって輪郭片を直線近似する。曲線選択
の方法としてこの他に輪郭曲線の滑らかさの拘束の導入
が考えられるが、輪郭候補領域が連結領域でない場合、
滑らかさの拘束を強引に導入するのは大きな誤差を生む
原因となる。

【００２９】

【実施例】以下、本発明の実施例を図を用いて説明す
る。図１は本発明の一実施例における運動領域輪郭検出
装置の構成を示す概念図である。以下、各構成要素につ
いてその処理を説明する。

【００３０】動画像が入力手段を介して、勾配共分散算
出演算器１に入力されると、画素Xに於けるSijは以下の
算法により計算される。

【００３１】

【数７】

【００３２】ここで、濃淡の勾配fkは、ロバート勾配等
適当な差分演算子を用いて計算される。分類特徴量抽出
器２は、このように離散値計算されたSijに対して加算
と乗算を組み合わせて適用することにより、平均的濃淡
変動特徴量：P1

【００３３】

【数８】

【００３４】異方的濃淡変動特徴量：P2

【００３５】

【数９】

【００３６】一次元的運動特徴量／非運動特徴量抽出：
P3

【００３７】

【数１０】

【００３８】二次元的運動特徴量／非運動特徴量抽出：
P4

【００３９】

【数１１】

【００４０】を画素毎に計算する。続いて、画素分類器
３が、これらの特徴量を用いて、図２に示す二進探索法
の算法に従って、画素の第１段階の分類を生成する。分
類ラベルの意味を表に示す。

【００４１】

【表１】

【００４２】第１段階の分類の結果得られた分類のう
ち、SO_FIX,SO_CHG,S1_FIX,S1_MOT,S1_ACRは、局所的分
類の中で最終分類とすることができないものであるの
で、さらに、再分類器４が図３に示す算法によって、近
傍画素間の分類の整合がとれるように、再分類を行な
う。

【００４３】再分類の結果は、画素が静止領域に含まれ
るのか、運動領域内部に含まれるのか、また、運動境界
や回転中心付近なのか、さらには、解釈不能な画素かを
判別したものとなる。

【００４４】この再分類の過程は最適化法を逐次処理に
より実行するので計算量が問題となるが、その場合再分
類の過程はバイパスすることも可能である。

【００４５】輪郭候補領域限定手段５は、再分類の結果
に於て運動境界か回転中心付近に含まれる画素の集合よ
りなる領域を輪郭候補領域として限定する。

【００４６】再分類の過程をバイパスする場合は、第１
番目の分類の結果S1_ACR,S2_ACR（表１）のラベルに分
類された画素の集合を輪郭候補領域Dとして限定する。

【００４７】最後に、群化手段と傾き選出手段と質量中
心算出手段より構成される輪郭線選出手段６が以下のよ
うな手順で可能な輪郭線を選び出す。

【００４８】まず、図４に示すように群化手段６１が輪
郭候補領域の全体集合Dから、その部分集合である小領
域Dk(k=1,2,3..L)を以下を満たすように生々する。図４
において、Ｄ_kは破線で囲まれた領域に含まれる斜線部
分の集合よりなる。

【００４９】

【数１２】

【００５０】この小領域Dkに含まれる点位置の集合を{X
i=(xi,yi)}(i=1,2,3…n),xi,yiは点xiのそれぞれx,y座
標を示す。

【００５１】質量中心位置算出手段６２は、

【００５２】

【数１３】

【００５３】に基づいて、小領域Dkの質量中心位置Xck
を算出する。傾き算出手段６３は、

【００５４】

【数１４】

【００５５】に示される2x2行列（数１４）の最大の固
有値λmax²に対応する固有ベクトルの方向Ｔ（単位ベク
トル）を計算し、これをこの小領域Dkの向き（傾き）と
する。

【００５６】最後に２点Xc-λmax・T、Xc+λmax・Tを結
ぶ線分を小領域Dkを代表する輪郭片とする。

【００５７】以上の手続きを全てのDkに対して行なう。

【００５８】

【発明の効果】以上のように本発明によれば、（１）画
像の速度場算出の過程を経ることなく動画像の特徴を抽
出し、（２）これを基に、近似的な輪郭の指定をユーザ
に強制することなく、可能な輪郭片を抽出するので、従
来法における課題が解決され、応用における自由度が大
きく、又、高精度で安定的な輪郭検出を実現できる。

【図面の簡単な説明】

【図１】本発明の一実施例における運動領域輪郭検出装
置の構成を示す概念図

【図２】本発明の一実施例における画素の第１段階の分
類を示す概念図

【図３】本発明の一実施例における再分類（第２段階の
分類）の手順を示すアルゴリズム図

【図４】本発明の一実施例における群化手段の機能を示
す概念図

【図５】従来の運動領域輪郭検出装置の構成を示す第一
の概念図

【図６】従来の運動領域輪郭検出装置の構成を示す第二
の概念図

【符号の説明】

１勾配共分散算出演算器２分類特徴量抽出器３画素分類器４再分類器５輪郭候補領域限定手段６輪郭選出手段６１群化手段６２質量中心位置算出手段６３傾き算出手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者小早川倫広神奈川県茅ケ崎市十間坂１−５−57 Ｂ− 306

Claims

【特許請求の範囲】

【請求項１】入力された動画像の画素毎に濃淡ｆの時
空間勾配共分散【数１】を算出する勾配共分散算出手段と、前記勾配共分散算出
手段の出力である勾配共分散を基に種々の分類特徴量を
生成する分類特徴量抽出手段と、前記分類特徴抽出手段
が抽出した複数の画像分類特徴量を基に、画素の分類を
出力する画素分類手段と、前記画素分類手段が出力した
画素の分類結果を隣接画素間での一貫性規則に基づき再
分類する再分類手段と、前記再分類手段が出力した再分
類の結果を基に、画像上での物体輪郭の候補領域を限定
する第１の輪郭候補領域限定手段と、前記輪郭候補領域
限定手段が出力した画像上の輪郭候補領域から輪郭の可
能な候補曲線を選び出す輪郭線選出手段を具備すること
を特徴とする運動領域輪郭検出装置。
【請求項２】分類特徴量抽出手段は、濃淡の勾配分散
Sijを用いて平均的濃淡変動特徴量【数２】を算出する等方的濃淡変動特徴量抽出手段と異方的濃淡
変動特徴量【数３】を算出する異方的濃淡変動特徴量抽出手段と、一次元的
運動特徴量／非運動特徴量【数４】を算出する一次元的運動特徴量／非運動特徴量抽出手段
と、二次元的運動特徴量／非運動特徴量【数５】を算出する二次元的運動特徴量／非運動特徴量抽出手段
とを具備することを特徴とする請求項１記載の運動領域
輪郭検出装置。
【請求項３】画素分類手段は、分類特徴抽出手段が出
力した画素毎の種々の分類特徴量を基に二進木探索を行
なう二進木探索手段を具備することを特徴とする請求項
１記載の運動領域輪郭検出装置。
【請求項４】再分類手段は、再分類のための逐次更新
手続きに用いる隣接画素間の一貫性の拘束を保持する一
貫性規則保持手段と、前記一貫性規則保持手段に保持さ
れた規則をもとに、逐次改良的に画像の再分類を行う弛
緩法実行手段とを具備することを特徴とする請求項１記
載の運動領域輪郭検出装置。
【請求項５】請求項１記載の勾配共分散算出手段と、
同じく分類特徴量抽出手段と同じく画素分類手段と、画
素分類手段が出力した分類結果をもとに物体輪郭の候補
領域を限定する第２の輪郭候補領域限定手段と、前記輪
郭候補領域限定手段が出力した輪郭の候補領域から可能
な輪郭の候補曲線を選び出す輪郭線選出手段を具備する
ことを特徴とする運動領域輪郭検出装置。
【請求項６】請求項１記載の勾配共分散算出手段と、
分類特徴抽出手段と、画素分類手段と、再分類手段とを
具備することを特徴とする画像分類装置。
【請求項７】分類特徴算出手段は、請求項３記載の分
類特徴抽出手段であることを特徴とする請求項６記載の
画像分類装置。
【請求項８】画素分類手段は、請求項４記載の画素分
類手段であることを特徴とする請求項６記載の画像分類
装置。
【請求項９】再分類手段は、請求項４記載の再分類手
段であることを特徴とする請求項６記載の画像分類装
置。
【請求項１０】輪郭線選出手段は、輪郭候補領域に含
まれる点からなる点の集合を生々する群化手段と、群化
された点集合領域の長軸と短軸方向を計算する傾き算出
手段と、点集合領域の質量中心位置を計算する質量中心
位置算出手段を具備することを特徴とする請求項１記載
の運動領域輪郭検出装置。
【請求項１１】輪郭線選出手段は、輪郭候補領域に含
まれる点からなる小領域（点の集合）を生々する群化手
段と、群化された点集合領域の長軸と短軸方向を計算す
る傾き算出手段と、点集合領域の質量中心位置を計算す
る質量中心位置算出手段を具備することを特徴とする請
求項５記載の運動領域輪郭検出装置。
【請求項１２】請求項１記載の勾配共分散算出手段
と、請求項２記載の二次元的運動特徴量／非運動特徴量
抽出手段と、前記二次元的非運動特徴量抽出手段の出力
をもとに、物体輪郭の候補領域を限定する第３の輪郭候
補領域限定手段と、請求項１記載の輪郭線選出手段を具
備することを特徴とする運動領域輪郭検出装置。