JP2928356B2

JP2928356B2 - 動画像領域分割装置

Info

Publication number: JP2928356B2
Application number: JP2225531A
Authority: JP
Inventors: 憲男田川
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1990-08-28
Filing date: 1990-08-28
Publication date: 1999-08-03
Anticipated expiration: 2014-08-03
Also published as: JPH04106673A

Description

【発明の詳細な説明】〔目次〕概要産業上の利用分野従来の技術（第４図）発明が解決しようとする課題課題を解決するための手段（第１図）作用実施例（第２図、第３図）発明の効果〔概要〕動画像領域分割装置に係り、オプティカル・フローからフロー・パラメータを算出
し、クラスタリングするとき、雑音や閾値の不良設定等
で一度間違った統合をしてもその後の処理に影響を及ぼ
さないようにすることを目的とし、各画素のフロー・パラメータをその周辺のオプティカ
ル・フローを用いて算出する複数のフロー・パラメータ
出力手段と、これらのフロー・パラメータ出力手段の算
出したフロー・パラメータを複数の組のパラメータ空間
に変換出力する画像−パラメータ空間変換手段と、前記
各組のパラメータ空間をクラスタ処理する複数のクラス
タ処理手段と、前記クラスタ処理手段から出力されたク
ラスタリングされたパラメータ空間を画像に変換するパ
ラメータ空間−画像変換手段と、このパラメータ空間−
画像変換手段から出力された複数の分割画像を統合する
分割画像出力手段を具備したことを特徴とする。

〔産業上の利用分野〕

本発明は、二次元の動画像から物体の三次元情報（運
動と構造）を推定するため、あるいは互いに異なる運動
をする物体を二次元の画像から分離するための前処理と
して、二次元画面上に得られたオプティカル・フロー
を、物体の同一平面とみなせる領域に分散するものに関
する。

〔従来の技術〕

オプティカル・フローとは、観測者と物体との間の相
対的な運動により生じる画面上のみかけの速度分布であ
る。オプティカル・フローの算出法には、大きく分け
て、特徴点の対応ずけによる手法と、時空間微分を用い
る手法がある。これらはいずれも周知のものであり、前
者は例えば物体のコーナの如き特徴点の移動量より算出
するものであり、一般に物体の動きが大きいときに用い
られ、後者は特徴点の対応がとれないときにも利用でき
る手法であり画素の周辺の濃度値の微分をとることによ
りその動きを検知するものであり、動きが小さいときに
用いられるものである。また物理的に同じ動きであって
も、動画像のコマ数を細かくとれば“小さな動き”、荒
くとれば“大きな動き”として扱うことができる。

本発明では、その手法は問わないが、画面全体にわた
ってオプティカル・フローが密に得られているもの、つ
まり各画素について後述するオプティカル・フローのベ
クトルが得られているものとし、その結果を用いて領域
分割を行うものである。

まずオプティカル・フローから三次元の移動物体の同
一平面領域を分割・抽出するための従来技術について説
明する。なお、仮定として、三次元空間から二次元画像
への投影は中心投影であり、物体は剛体運動をしている
ものとする。物体は多面体で近似されたものと考え、そ
の三次元空間中の各面に対応する二次元画面上の領域を
１つの領域として分割する。

オプティカル・フローはベクトルであり、（ｕ、ｖ）
で表す。ここでｕはＸ成分であり、ｖはＹ成分である。
平面の剛体運動を仮定した場合、同一平面内では、
（ｕ、ｖ）は画面上の座標（Ｘ、Ｙ）の関数として次式
で与えられる。

ｕ＝u_O＋A_X＋B_Y＋E_X ²＋F_XY ……（１）ｖ＝v_o＋C_x＋D_y＋E_xy＋F_Y ² ……（２）ここで、u_o、v_O、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆをフロー・
パラメータと呼ぶ。またベクトルとしてΦと記す。

ところで従来の領域分割の手法は、同一平面内のフロ
ー・パラメータから、最小二乗法を用いて求めた最適な
フロー・パラメータを使えば前記（１）、（２）式で再
構成される（ｕ、ｖ）と実際の観測データとの誤差（雑
音等による）は小さくなることを原理としている。

したがって、ある小さな領域から徐々に領域を拡大し
てゆき、そのつど、その領域内のデータからフロー・パ
ラメータΦとそのときの誤差の標準偏差σを求める。そ
して、第４図に示すように、このσがあらかじめ設定さ
れた閾値以下であれば同一領域として統合する。また閾
値を超えた場合は、領域の拡大を行わずに、別の領域を
探すことになる。

この第４図の方法では、計算量が多いこと、最初に選
択する小領域に依存した分割になる危険性が存在するこ
と、雑音の影響を受け易いことがある。

したがって、これを改善するため、本出願人は、平成
２年３月16日に特願平２−67642号「オプティカル・フ
ロー画像における領域分割方式及び分割装置」により、
画像を想定する平面パッチの大きさ以内のブロックに分
割し、各ブロックのフロー・パラメータとこれによる誤
差の分散を予め計算しておき、誤差の小さいものから優
先的に、フロー・パラメータ空間の距離によって統合判
断することを提案した。

〔発明が解決しようとする課題〕

ところで、前記のものでは、最小分解能がブロック・サイズになってしまうこと、領域の拡張の際に、雑音の影響や閾値の不良設定等
で、一度間違った統合をしたとき、その後の処理に影響
を及ぼすこと、即ちエラーが発散する危険性を持つこ
と、等の問題点がある。

したがって、本発明の目的は、画素単位の分解能が得
られ、１度統合しても再び分けることが可能であるとい
ういわゆる処理の流れに依存しない分割を行うことがで
きるオプティカル・フロー画像の動画像領域分割装置を
提供することである。

〔課題を解決するための手段〕

前記目的を達成するため、本発明では、第１図（Ａ）
に示す如く、第１図フロー・パラメータ出力部１−１、
第２フロー・パラメータ出力部１−２……、画像−パラ
メータ空間変換部２、第１クラスタ処理部３−１、第２
クラスタ処理部３−２……、パラメータ空間−画像変換
部４、分割画像出力部５等を設ける。

入力画像を画素単位に分割して前記手法により得られ
たオプティカル・フローよりその周りの数点（例えば９
×９、25×25）を用いて最小二乗推定により前記フロー
・パラメータを求める。このため画素数分の第１フロー
・パラメータ出力部１−１、第２フロー・パラメータ出
力部１−２……を用意して並列計算を行う。そしてこれ
ら第１フロー・パラメータ出力部１−１、第２フロー・
パラメータ出力部１−２……ではフロー・パラメータの
形でスムージング処理（局所的平均化処理）を施すこと
により、画素数が多い場合と同程度の効果を得る。

このようにして各画素に対応したフロー・パラメータ
（u_o、v_o、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）を画像−パラメー
タ空間変換部２によりパラメータ空間に写像する。しか
しパラメータ空間は、前記の如く、パラメータが８個の
ため８次元となり、このままでは計算量が非常に多くな
るので、本発明では、対称性を持つパラメータを組とし
て、４つのパラメータ空間（u_o、v_o）、（Ａ、Ｃ）
（Ｂ、Ｄ）、（Ｅ、Ｆ）において独立に、且つ並列にク
ラスタリングを行う。

したがって、第１クラスタ処理部３−１でパラメータ
空間（u_o、v_o）についてのクラスタリングを行い、第２
クラスタ処理部３−２でパラメータ空間（Ａ、Ｃ）につ
いてクラスタリングを行い、図示省略した第３クラスタ
処理部３−３、第４クラスタ処理部３−４でそれぞれパ
ラメータ空間（Ｂ、Ｄ）、（Ｅ、Ｆ）についてのクラス
タリングを行う。このようにしてクラスタリングを並行
処理することができる。

このクラスタリングの手法は、基本的にはｋ平均アル
ゴリズムを用いる。すなわちクラスタ数を初め１とし
て、これを逐次増加してゆき、後述するようにクラスタ
数を決めるものである。

即ち、クラスタ数を１から逐次増加し、最後に近くの
クラスタ同志を後述するように統合し、最後結果とす
る。ｋ平均アルゴリズムは、あらかじめ設定されている
数のクラスタ中心を、初期値として任意の位置に与えて
おき、各サンプル値（パラメータ・ベクトル）を最も近
いクラスタ中心に対応させ、分割した後、そのクラスタ
内で中心位置を計算し直し、同様の処理を施す。そして
中心位置の変更がそれ以上なければ終了する。

このアルゴリズムをそのまま用いたのではクラスタ数
を適応的に定めることができない。そこでクラスタの標
準偏差に閾値を設けることを考える。まず上記のｋ平均
アルゴリズムを用いてクラスタに分割し、各クラスタの
標準偏差を計算し、閾値以下であれば１つのクラスタと
して決定し、閾値以上であればその付近にクラスタ中心
を新たに追加して分割する。そしてまたクラスタとして
除かれていないサンプル値について、再びｋ平均アルゴ
リズムを用いてクラスタに分割し、標準偏差により判定
する。

以上を全てのクラスタの標準偏差が閾値以下になるま
で繰り返す。

このようにしてパラメータ空間−画像変換部４で、そ
れぞれの結果を画像領域に写像し直して、前記パラメー
タ空間（u_o、v_o）、（Ａ、Ｃ）、（Ｂ、Ｄ）、（Ｅ、
Ｆ）に対応した４つの分割画像を得る。

そしてこれらを分割画像出力部５で統合して、ANDと
してのラベリング結果を得る。第１図（Ｂ）は、３つに
クラスタリングされた第１分割画像P₁と４つにクラスタ
リングされた第２分割画像P₂をAND統合して10にクラス
タリングされた統合画像Ｐを得る状態を示す。

なお、パラメータ空間でのクラスタが画像領域では必
ず１つの領域に対応しているとは限らず、孤立点もしく
は小さなかたまりを形成している場合が考えられるが、
このようなものは適当にまわりの領域に分類する。

〔作用〕

これによりあるパラメータ空間で雑音等の理由により
間違った誤統合を行っても、他のパラメータ空間で正し
い統合が行われることになるので、誤りを補正すること
ができる。しかも画素単位の分解能を得ることができ
る。

〔実施例〕

本発明の一実施例を第２図及び第３図に基づき説明す
る。

第２図は本発明の一実施例構成図、第３図はその動作
説明図である。

第２図において、第１図と同記号は同一部分を示す。

第１フロー・パラメータ出力部１−１はフロー・パラ
メータを計算するフロー・パラメータ計算部10−１、フ
ロー・パラメータをスムージング処理するスムージング
部10−２を有する。第２フロー・パラメータ出力部１−
２及び図示省略した他のフロー・パラメータ出力部も同
様に構成される。

第１クラスタ処理部３−１はパラメータ（u_o、v_o）を
クラスタリング処理するものであり、例えばｋ平均アル
ゴリズムによるクラスタ分割処理を行うクラスタ分割部
20−１と、クラスタを分割するか否かを判定するクラス
タ判定部20−２と、中心距離の近いクラスタ同志を統合
するクラスタ統合部20−３を具備する。パラメータ
（Ａ、Ｃ）をクラスタリング処理する第２クラスタ処理
部３−２及び図示省略した他のクラスタ処理部も同様に
構成されている。

分割画像出力部５は、パラメータ（u_o、v_o）、（Ａ、
Ｃ）、（Ｂ、Ｄ）、（Ｅ、Ｆ）の４つの分割画像（ラベ
リング画像）のアンドをとって重ねて１つの分割画像を
得る分割画像統合部５−１と、平面近似する最小の大き
さ以下の領域についてまわりとの統合を行うか否かを判
別する小領域分類部５−２を具備する。

次に本発明の動作を、第２図、第３図により説明す
る。

入力画像の各画素について、算出されたその周りの点
のオプチカル・フローを用い、フロー・パラメータ計算
部10−１により最小二乗推定によりフロー・パラメータ
（u_o、v_o、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）を計算する。この
場合、局所的なマスクを考え、この中の点を用いて前記
フロー・パラメータを計算し、マスク中央の画素に対応
する値とする。このマスクを画像左上隅より一画素ずつ
ずらして走査することにより全画素について計算される
ことになる。このマスクサイズとしては、９×９、25×
25等が使用される。

これらの各フロー・パラメータは、雑音の影響を除去
するため、スムージング処理部10−２でスムージング処
理される。手法としては、前記と同様のマスクを用い
て、例えば移動平均法、メディアン・フィルタ、選択的
局所平均化等の手法を用いればよい。このスムージング
処理により、前記におけるマスクサイズを小型化して
計算を速くしたことのかわりに雑音の影響を受け易くな
ったことを、これにより補うことができる。このように
フロー・パラメータ出力部を画素数分のエレメントを用
意することにより並列計算可能となり計算時間の短縮を
はかることができる。

各画素について得られているサンプル値｛Ｘ｝を、画
像−パラメータ空間変換部２によりパラメータ空間に写
像する。このとき、各パラメータを対称性を持つパラメ
ータを組にして４つのパラメータ空間（u_o、v_o）、
（Ａ、Ｃ）、（Ｂ、Ｄ）、（Ｅ、Ｆ）として出力する。

この４つのパラメータ空間毎にクラスタリング・パラ
メータの設定を並列的に行う。説明の簡略化のため、第
１クラスタ処理部３−１において、パラメータ空間
（u_o、v_o）をクラスタリングする例について説明する
が、他のパラメータ空間（Ａ、Ｃ）、（Ｂ、Ｄ）、
（Ｅ、Ｆ）も同様にしてクラスタリングされる。まずク
ラスタリング・パラメータのクラスタ数Ｎの初期値とし
て、クラスタ分割部20−１において、Ｎ＝１と設定す
る。また１つのクラスタの要素数の最小値Ｃ、すなわち
平面近似する最小の大きさと、クラスタの広がりに関す
る閾値σつまりクラスタに許す標準偏差（ｘ軸方向の標
準偏差σ₁、ｙ軸方向の標準偏差σ₂）と、クラスタ中心
Ziを、初期値として０≦ｉ≦Ｎの任意の位置に設定す
る。

それからクラスタ分割部20−１は、サンプル値｛ｘ｝
をクラスタ中心がもっとも近いサンプル集合Si（０≦ｉ
≦Ｎ）に分類する。

クラスタ分割部20−１はクラスタSiの要素数CiがCi＜
ＣであればSiを消滅させてＮをデクリメントする。この
Siに属していたＸについては、Zj以外に最も近い中心を
見つけ、そのクラスタに分類する。

クラスタ分割部20−１はSiの新しいクラスタ中心を計
算し、元の中心とのずれを調べる。すべてのクラスタに
ついて中心のずれがなくなるまで前記に戻りクラスタ
リングを繰り返す。

ここでクラスタの中心Ziは次式で計算する。

Zi＝（Σｘ）/Ci Ｘ∈Si （ｏ≦ｉ＜Ｎ）次にクラスタ判定部20−２は各クラスタSiについて、
中心位置からのバラつき（標準偏差：σ₁₁、σ₁₂）を計
算し、バラつきの大きさがクラスタとして適当かどうか
判断する。

標準偏差は次式で計算する。

判定としては、σ₁₁＜σ₁かつσ₁₂＜σ₂であれば適当
であるとして、そのクラスタを決定し、このクラスタに
属するサンプル値にラベルを与える。

クラスタ判定部20−２は、それ以外のクラスタ、つま
り確定されていないクラスタの有無をチェックし、確定
されていないクラスタが存在すれば中心位置を２つの点
に分離し、Ｎを増やす。２点としては、標準偏差が大き
い方の軸に沿って、ｋσmaxだけ足した点と引いた点と
する。ここでｋは０＜ｋ＜１の定数である。そして前記
に戻りクラスタリングをやり返すことになる。

以上の処理により、必要以上に細かく分割されてしま
う恐れがあるため、中心間距離の近いクラスタ同志の統
合を考える。このため、クラスタ統合部20−３では中心
間距離をすべて計算し、閾値以下であれば統合する。こ
こで閾値としては、各クラスタ内の中心からの平均距離
を、すべてのクラスタで平均したもの等を用いればよ
い。

このようにして、第１クラスタ処理部３−１、第２ク
ラスタ処理部３−２……等で並列して行われたパラメー
タ（u_o、v_o）、（Ａ、Ｃ）、（Ｂ、Ｄ）、（Ｅ、Ｆ）の
各二次元空間でのクラスタリング結果を、パラメータ空
間−画像変換部４において、画像での領域分割結果に戻
す。

分割画像統合部５−１ではこのようにして得られた４
つの分割画像（ラベリング画像）のANDをとり、１つの
分割画像を得る。

小領域分類部５−２では、平面近似する最上の大きさ
以下の領域について、まわりとの統合を考える。隣接す
る領域のフロー・パラメータと小領域のフロー・パラメ
ータとの距離（パラメータ空間における中心位置間の距
離）を調べ、最も近い領域に統合する。

なお、オプティカル・フロー（Ｕ、Ｖ）に正規性の雑
音が加わった場合、フロー・パラメータに生じる雑音も
正規性となり、オプティカル・フローの雑音レベルが推
定できれば、これよりフロー・パラメータの雑音もある
程度予想できる。したがってその標準偏差をクラスタリ
ングで使用する閾値σとすることが可能である。

オプティカル・フローに加わる雑音が、最小二乗法に
より推定されたフロー・パラメータにどのような影響を
与えるかを説明する。

いまオプティカル・フロー（Ui、Vi）に雑音ΔUi、Δ
Viが加ったときの、各フロー・パラメータの誤差を、Δ
u_o、Δv_o、ΔＡ……とする。最小二乗推定を用いること
から、 Σ〔ui＋Δui−｛uo＋Δuo＋（Ａ＋ΔＡ）xi＋（Ｂ＋Δ
Ｂ）yi＋（Ｅ＋ΔＥ）xi＋（Ｆ＋ΔＦ）yi）xi｝〕²＋
Σ〔vi＋Δvi−｛vo＋Δvo＋（Ｃ＋Ｃ）ｘ＋（Ｄ＋ΔD
y）ｙ＋（Ｅ＋ΔＥ）xi＋（Ｆ＋ΔＦ）yi）｝² を最小にするようなΔuo、Δvo、ΔＡ……を求めること
になる。

ここでｉは同一パラメータを持つ領域内の点であり、
（xi、yi）はｉ点の座標を表す。またΔuo、Δvo、ΔＡ
……それぞれに関して偏微分したものを０とおくことに
より、以下のようなマトリクスでフロー・パラメータの
雑音を表すことができる。

ここでΣu_iは雑音Δu_iの平均のサンプリング点数倍し
たもの、ΣΔv_iは雑音Δv_iの平均のサンプリング点数倍
したものである。

すなわちフロー・パラメータの誤差は、オプティカル
・フローに加わる雑音の一次結合となる。したがっても
との雑音が正規性を示していれば、その線形結合も正規
性を示す。つまりΔＵ、ΔＶの平均及び分散が知れてい
れば、Δu_o、Δv_o、ΔＡ……の平均、分散も推定でき
る。

〔発明の効果〕

本発明によれば、例えば、（u_o、v_o）のクラスタリン
グに雑音の影響が存在しても、雑音の影響のない（Ａ、
Ｃ）、（Ｂ、Ｄ）、（Ｅ、Ｆ）のクラスタリングにより
得られた分割画像とAND統合することにより分割エラー
の発散を防止することができるので、正確なクラスタリ
ングを行うことができる。

しかも、フロー・パラメータ（Ｕ、Ｖ）は８次元空間
であるが、これを例えば二次元空間の４組のパラメータ
空間により演算を行うことができるので、演算速度を向
上させ、効率のない処理を行うことができる。

また、必要に応じて画素単位の分解能を得ることがで
きる。

【図面の簡単な説明】

第１図は本発明の原理構成説明図、第２図は本発明の一実施例構成図、第３図はその動作説明図、第４図は従来例説明図である。１−１……第１フロー・パラメータ出力部１−２……第２フロー・パラメータ出力部２……画像−パラメータ空間変換部３−１……第１クラスタ処理部３−２……第２クラスタ処理部４……パラメータ空間−画像変換部５……分割画像出力部

Claims

(57)【特許請求の範囲】

【請求項１】入力された画像データよりフロー・パラメ
ータを算出し、これにもとづき入力画像をクラスタリン
グする動画像領域分割装置において、各画素のフロー・パラメータをその周辺のオプティカル
・フローを用いて算出する複数のフロー・パラメータ出
力手段（１−１、１−２……）と、これらのフロー・パラメータ出力手段（１−１、１−２
……）の算出したフロー・パラメータを複数の組のパラ
メータ空間に変換出力する画像−パラメータ空間変換手
段（２）と、前記各組のパラメータ空間をクラスタ処理する複数のク
ラスタ処理手段（３−１、３−２……）と、前記クラスタ処理手段（３−１、３−２……）から出力
されたクラスタリングされたパラメータ空間を画像に変
換するパラメータ空間−画像変換手段（４）と、このパラメータ空間−画像変換手段（４）から出力され
た複数の分割画像を統合する分割画像出力手段（５）を
具備したことを特徴とする動画像領域分割装置。
【請求項２】前記複数のフロー・パラメータ出力手段及
び複数のクラスタ処理手段は、それぞれ並列動作するこ
とを特徴とする請求項（１）記載の動画像領域分割装
置。
【請求項３】前記フロー・パラメータ出力手段には雑音
の影響を抑制するスムージング処理手段を設け、また前
記クラスタ処理手段にはクラスタが空間的広がり面より
適当か否かを標準偏差により判定するクラスタ判定手段
と、クラスタ中心間の距離より判定して近いものを統合
するクラスタ統合手段を設けたことを特徴とする請求項
（１）記載の動画像領域分割装置。
【請求項４】前記分割画像出力手段には、十分な点数が
得られていない小領域を、まわりの領域の中でパラメー
タ空間においてより近い領域に分類する小領域分類手段
（５−２）を設けたことを特徴とする請求項（１）記載
の動画像領域分割装置。