JPH04106673A - 動画像領域分割装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔目次］ 概要 産業上の利用分野 従来の技術（第４図） 発明が解決しようとする課題 課題を解決するための手段（第１図） 作用 実施例（第２図、第３図） 発明の効果 〔概要〕 動画像領域分割装置に係り、 オプティカル・フローからフローパラメータを算出し、
クラスタリングするとき、雑音や闇値の不良設定等で一
度間違った統合をしてもその後の処理に影響を及ぼさな
いようにすることを目的とし、 各画素のフロー・パラメータをその周辺のオプティカル
・フローを用いて算出する複数のフロー・パラメータ出
力手段と、これらのフロー・ノぐラメータ出力手段の算
出したフロー・パラメータを複数の組のパラメータ空間
に変換出力する画像パラメータ空間変換手段と、前記各
組のノ々ラメタ空間をクラスタ処理する複数のクラスタ
処理手段と、前記クラスタ処理手段から出力されたクラ
スタリングされたパラメータ空間を画像に変換するパラ
メータ空間−画像変換手段と、このノ々ラメタ空間−画
像変換手段から出力された複数の分割画像を統合する分
割画像出力手段を具備したことを特徴とする。

〔産業上の利用分野〕

本発明は、二次元の動画像から物体の三次元情報（運動
と構造）を推定するため、あるいは互いに異なる運動を
する物体を二次元の画像から分離するための前処理とし
て、二次元画面上に得られたオプティカル・フローを、
物体の同一平面とみなせる領域に分散するものに関する
。

［従来の技術］ オプティカル−フローとは、観測者と物体との間の相対
的な運動により生じる画面上のみかけの速度分布である
。オプティカル・フローの算出法には、大きく分けて、
特徴点の対応ずけによる手法と、時空間微分を用いる手
法がある。これらはいずれも周知のものであり、前者は
例えば物体のコーナの如き特徴点の移動量より算出する
ものであり、一般に物体の動きが大きいときに用いられ
、後者は特徴点の対応がとれないときにも利用できる手
法であり画素の周辺の濃度値の微分をとることによりそ
の動きを検知するものであり、動きが小さいときに用い
られるものである。また物理的に同じ動きであっても、
動画像のコマ数を細かくとれば“小さな動き”、荒くと
れば“大きな動き”として扱うことができる。

本発明では、その手法は問わないが、画面全体にわたっ
てオプティカル・フローが密に得られているもの、つま
り各画素について後述するオプティカル・フローのベク
トルが得られているものとし、その結果を用いて領域分
割を行うものである。

まずオプティカル・フローから三次元の移動物体の同一
平面領域を分割−抽出するための従来技術について説明
する。なお、仮定として、三次元空間から二次元画像へ
の投影は中心投影であり、物体は剛体運動をしているも
のとする。物体は多面体で近似されたものと考え、その
三次元空間中の各面に対応する二次元画面上の領域を１
つの領域として分割する。

オプティカル・フローはベクトルであり、（Ｕ、■）で
表す。ここでＵはＸ成分であり、■はＹ成分である。平
面の剛体運動を仮定した場合、同一平面内では、（ｕ、
ｖ）は画面上の座標（Ｘ、Ｙ）の関数として次式で与え
られる。

ｕ＝ｕ６＋＾、＋ＢＹ＋ＥＸ”＋Ｆｌｌ　　　　　−’
−（１）ｖ　−ｖ、＋ｃ＊＋Ｄ、＋Ｅ、、＋ＦＹ”　　
　　　−（２）ここで、ｕｏ、Ｖｏ　、Ａ、Ｂ、Ｃ，Ｄ
、Ｅ、Ｆをフロー・パラメータと呼ぶ。またヘクトルと
してΦと記す。

ところで従来の領域分割の手法は、同一平面内のフロー
・パラメータから、最小二乗法を用いて求めた最適なフ
ロー・パラメータを使えば前記（１）、（２）式で再構
成される（ｕ、ｖ）と実際の観測デ〜りとの誤差（雑音
等による）は小さくなることを原理としている。

したがって、ある小さな領域から徐々に領域を拡大して
ゆき、そのつど、その領域内のデータからフロー・パラ
メータΦとそのときの誤差の標準偏差σを求める。そし
て、第４図に示すように、このσがあらかじめ設定され
た闇値以下であれば同一領域として統合する。また闇値
を超えた場合は、領域の拡大を行わずに、別の領域を探
すことになる。

この第４図の方法では、計算量が多いこと、最初に選択
する小領域に依存した分割になる危険性が存在すること
、雑音の影響を受は易いことがある。

したがって、これを改善するため、本出願人は、平成２
年３月１６日に特願平２−６７６４２号［オプティカル
・フロー画像における領域分割方式及び分割装置」によ
り、画像を想定する平面バッチの大きさ以内のブロック
に分割し、各ブロックのフロー・パラメータとこれによ
る誤差の分散を予め計算しておき、誤差の小さいものか
ら優先的に、フロー・パラメータ空間の距離によって統
合判断することを提案した。

〔発明が解決しようとする課題］ ところで、前記のものでは、 ■　最小分解能がブロック・サイズになってしまうこと
、 ■　領域の拡張の際に、雑音の影響や闇値の不良設定等
で、−度量違った統合をしたとき、その後の処理に影響
を及ぼすこと、即ちエラーが発散する危険性を持つこと
、 等の問題点がある。

したがって、本発明の目的は、画素単位の分解能が得ら
れ、１度統合しても再び分けることが可能であるという
いわゆる処理の流れに依存しない分割を行うことができ
るオプティカル・フロー画像の動画像領域分割装置を提
供することである。

〔課題を解決するための手段〕

前記目的を達成するため、本発明では、第１図（Ａ）に
示す如く、第１フロー・パラメータ出力部１−１、第２
フロー・パラメータ出力部１−２、画像−パラメータ空
間変換部２、第１クラスタ処理部３−１、第２クラスタ
処理部３−２パラメ一タ空間−画像変換部４、分割画像
出力部５等を設ける。

入力画像を画素単位に分割して前記手法により得られた
オプティカル・フローよりその周りの数点（例えば９×
９．２５Ｘ２５）を用いて最小二乗推定により前記フロ
ー・パラメータを求める。

このため画素数分の第１フロー・パラメータ出力部１−
１、第２フロー・パラメータ出力部１−２を用意して並
列計算を行う、そしてこれら第１フロー・パラメータ出
力部１ｉ、第２７０パラメータ出力部１−２−ではフロ
ー・パラメータの形でスムージング処理（局所的平均化
処理）を施すことにより、画素数が多い場合と同程度の
効果を得る。

このようにして各画素に対応したフロー・パラメータ（
ｕｏ　、Ｖｏ、Ａ、Ｂ、Ｃ，Ｄ、Ｅ、Ｆ）を、Ｆ！ｊＩ
−パラメータ空間変換部２によりパラメタ空間に写像す
る。しかしパラメータ空間は、前記の如く、パラメータ
が８個のため８次元となり、このままでは計算量が非常
に多くなるので、本発明では、対称性を持つパラメータ
を組として、４つのパラメータ空間（ｕｏ　、Ｖｏ　）
、（Ａ、Ｃ）、（Ｂ、Ｄ）、（Ｅ、Ｆ）において独立に
、且つ並列にクラスタリングを行う。

したがって、第１クラスタ処理部３−１でパラメータ空
間（ｕｏ　、Ｖｏ　）についてのクラスタリングを行い
、第２クラスタ処理部３−２でパラメタ空間（Ａ、Ｃ）
についてクラスタリングを行い、図示省略した第３クラ
スタ処理部３−３、第４クラスタ処理部３−４でそれぞ
れパラメータ空間（Ｂ、Ｄ）、（Ｅ、Ｆ）についてのク
ラスタリングを行う。このようにしてクラスタリングを
並行処理することができる。

このクラスタリングの手法は、基本的にはに平均アルゴ
リズムを用いる。すなわちクラスタ数を初め１として、
これを逐次増加してゆき、後述するようにクラスタ数を
決めるものである。

即ち、クラスタ数を１から逐次増加し、最後に近くのク
ラスタ同志を後述するように統合し、最終結果とする。

ｋ平均アルゴリズムは、あらかじめ設定されている数の
クラスタ中心を、初期値として任意の位置に与えでおき
、各サンプル値（パラメータ・ヘクトル）を最も近いク
ラスタ中心に対応させ、分割した後、そのクラスタ内で
中心位置を計算し直し、同様の処理を施す。そして中心
位置の変更がそれ以上なければ終了する。

このアルゴリズムをそのまま用いたのではクラスタ数を
適応的に定めることができない。そこでクラスタの標準
偏差に闇値を設けることを考える。

まず上記のに平均アルゴリズムを用いてクラスタに分割
し、各クラスタの標準偏差を計算し、闇値以下であれば
１つのクラスタとして決定し、闇値以上であればその付
近にクラスタ中心を新たに追加して分割する。そしてま
たクラスタとして除かれていないサンプル値について、
再びに平均アルゴリズムを用いてクラスタに分割し、標
準偏差により判定する。

以上を全てのクラスタの標準偏差が闇値以下になるまで
繰り返す。

このようにしてパラメータ空間−画像変換部４で、それ
ぞれの結果を画像領域に写像し直して、前記パラメータ
空間（ｕｏ、ｖ。）、（Ａ、Ｃ）、（Ｂ、Ｄ）、（Ｅ、
Ｆ）に対応した４つの分割画像を得る。

そしてこれらを分割画像出力部５で統合して、ＡＮＤと
してのラベリング結果を得る。第１図（Ｂ）は、３つに
クラスタリングされた第１分割画像Ｐ１と４つにクラス
タリングされた第２分割画像Ｐ２をＡＮＤ統合して１０
にクラスタリングされた統合画像Ｐを得る状態を示す。

なお、パラメータ空間でのクラスタが画像領域では必ず
１つの領域に対応しているとは限らず、孤立点もしくは
小さなかたまりを形成している場合が考えられるが、こ
のようなものは適当にまわりの領域に分類する。

〔作用〕

これによりあるパラメータ空間で雑音等の理由により間
違った誤統合を行っても、他のパラメタ空間で正しい統
合が行われることになるので、誤りを補正することがで
きる。しかも画素単位の分解能を得ることができる。

〔実施例〕

本発明の一実施例を第２図及び第３図に基づき説明する
。

第２図は本発明の一実施例構成図、第３図はその動作説
明図である。

第２図において、第１図と同記号は同一部分を示す。

第１フロー・パラメータ出力部１−１はフロー・パラメ
ータを計算するフロー・パラメータ計算部１０−１、フ
ロー・パラメータをスムージング処理するスムージング
部１０−２を有する。第２フロー・パラメータ出力部１
−２及び図示省略した他のフロー・パラメータ出力部も
同様に構成される。

第１クラスタ処理部３−１はパラメータ（ｕ　。

ｖｏ）をクラスタリング処理するものであり、例えばに
平均アルゴリズムによるクラスタ分割処理を行うクラス
タ分割部２０−１と、クラスタを分割するか否かを判定
するクラスタ判定部２０２と、中心距離の近いクラスタ
同志を統合するクラスタ統合部２０−３を具備する。パ
ラメータ（Ａ、Ｃ）をクラスタリング処理する第２クラ
スタ処理部３−２及び図示省略した他のクラスタ処理部
も同様に構成されている。

分割画素出力部５は、パラメータ（ｕｏ　、ｖ。

）、（Ａ、　Ｃ）、（Ｂ、　Ｄ）、（Ｅ、　Ｆ）の４つ
の分割画像（ラベリング画像）のアンドをとって重ねて
１つの分割画像を得る分割画像統合部５１と、平面近似
する最小の大きさ以下の領域についてまわりとの統合を
行うか否かを判別する小領域分類部５−２を具備する。

次に本発明の動作を、第２図、第３図により説明する。

■　入力画像の各画素について、算出されたその周りの
点のオプチカル・フローを用い、フロー・パラメータ計
算部１０−１により最小二乗推定によりフロー・パラメ
ータ（ｕｏ、ｖｏ、Ａ、Ｂ、Ｃ，Ｄ、Ｅ、Ｆ）を計算す
る。この場合、局所的なマスクを考え、この中の点を用
いて前記フロー・パラメータを計算し、マスク中央の画
素に対応する値とする。このマスクを画像左上隅より一
画素ずつずらして走査することにより全画素について計
算されることになる。このマスクサイズとしては、９×
９．２５Ｘ２５等が使用される。

■　これらの各フロー・パラメータは、雑音の影響を除
去するため、スムージング処理部１０２でスムージング
処理される。手法としては、前記■と同様のマスクを用
いて、例えば移動平均法、メデイアン・フィルタ、選択
的局所平均化等の手法を用いればよい。このスムージン
グ処理により、前記■におけるマスクサイズを小型化し
て計算を速くしたことのかわりに雑音の影響を受は易く
なったことを、これにより補うことができる。二のよう
にフロー・パラメータ出力部を画素数分のエレメントを
用意することにより並列計算可能となり計算時間の短縮
をはかることができる。

■　各画素について得られているサンプル値（Ｘ）を、
画像−パラメータ空間変換部２によりパラメータ空間に
写像する。このとき、各パラメタを対称性を持つパラメ
ータを組にして４つのパラメータ空間（ｕｏ　、Ｖｏ　
）、（Ａ、Ｃ）、（Ｂ、Ｄ）、（Ｅ、Ｆ）として出力す
る。

■　この４つのパラメータ空間毎にクラスタリング・パ
ラメータの設定を並列的に行う。説明の簡略化のため、
第１クラスタ処理部３−１において、パラメータ空間（
ｕｏ、■。）をクラスタリングする例について説明する
が、他のパラメータ空間（Ａ、Ｃ）、（Ｂ、Ｄ）、（Ｅ
、Ｆ）も同様にしてクラスタリングされる。まずクラス
タリング・パラメータのクラスタ数Ｎの初期値として、
クラスタ分割部２０−１において、Ｎ＝１と設定する。

また１つのクラスタの要素数の最小値Ｃ１すなわち平面
近似する最小の大きさと、クラスタの広がりに関する閾
値σつまりクラスタに許す標準偏差（Ｘ軸方向の標準偏
差σ１、ｙ軸方向の標準偏差σ２）と、クラスタ中心Ｚ
ｉを、初期値として０≦ｉ≦Ｎの任意の位置に設定する
。

■　それからクラスタ分割部２０−１は、サンプル値（
Ｘ）をクラスタ中心がもっとも近いサンプル集合５ｉ（
０≦ｉ≦Ｎ）に分類する。

■　クラスタ分割部２０−１はクラスタＳｉの要素数Ｃ
ｉがＣｉ＜ＣであればＳｉを消滅させてＮをデクリメン
トする。このＳｉに属していたＸについては、Ｚｊ基以
外最も近い中心を見つけ、そのクラスタに分類する。

■　クラスタ分割部２０−１はＳｉの新しいクラスタ中
心を計算し、元の中心とのずれを調べる。

すべてのクラスタについて中心のずれがなくなるまで前
記■に戻りクラスタリングを繰り返す。

ここでクラスタの中心Ｚｉは次式で計算する。

Ｚｉ−（Σｘ）／Ｃ１ ＸＥＳ　ｒ　　　　（０≦ｉ　＜　Ｎ　）■　次にクラ
スタ判定部２０−２は各クラスタＳｉについて、中心位
置からのハラつき（標準偏差：σ１１、σ、２）を計算
し、ハラつきの大きさがクラスタとして適当かどうか判
断する。

標準偏差は次式で計算する。

Ｘ、ＺＥＳｉ　　　（０≦ｌ≦Ｎ） 判定としては、σ、〈σ１かつσ、２〈σ２であれば適
当であるとして、そのクラスタを決定し、このクラスタ
に属するサンプル値にラベルを与える。

■　クラスタ判定部２０−２は、それ以外のクラスタ、
つまり確定されていないクラスタの有無をチエツクし、
確定されていないクラスタが存在すれば中心位置を２つ
の点に分離し、Ｎを増やす。

２点としては、標準偏差が大きい方の軸に沿って、ｋσ
ｍａｘだけ足した点と引いた点とする。ここでｋはＯ＜
ｋ＜１の定数である。そして前記■に戻りクラスタリン
グをやり返すことになる。

［相］　以上の処理により、必要以上に細かく分割され
てしまう恐れがあるため、中心間距離の近いクラスタ同
志の統合を考える。このため、クラスタ統合部２０−３
では中心間距離をすべて計算し、闇値以下であれば統合
する。ここで闇値としては、各クラスタ内の中心からの
平均距離を、すべてのクラスタで平均したもの等を用い
ればよい。

■　このようにして、第１クラスタ処理部３１、第２ク
ラスタ処理部３−：２−等で並列して行われたパラメー
タ（ｕ、、ｖ。）、（Ａ、Ｃ）、（Ｂ、Ｄ）、（Ｅ、Ｆ
）の各二次元空間でのクラスタリング結果を、パラメー
タ空間−画像変換部４において、画像での領域分割結果
に戻す。

■　分割画像統合部５−１ではこのようにして得られた
４つの分割画像（ラベリング画像）のＡＮＤをとり、１
つの分割画像を得る。

■　小領域分類部５−２では、平面近位する最上の大き
さ以下の卸誠について、まわりとの統合を考える。隣接
する領域のフロー・パラメータと小領域のフロー・パラ
メータとの距離（パラメタ空間における中心位置間の距
離）を調べ、最も近い領域に統合する。

なお、オプティカル・フロー（Ｕ、■）に正規性の雑音
が加わった場合、フロー・パラメータに生じる雑音も正
規性となり、オプティカル・フロの雑音レベルが推定で
きれば、これよりフロー・パラメータの雑音もある程度
予想できる。したがってその標準偏差をクラスタリング
で使用する閾値σとすることが可能である。

オプティカル・フローに加わる雑音が、最小二乗法によ
り推定されたフロー・パラメータにどのような影響を与
えるかを説明する。

いまオプティカル・フロー（ＬＪｉ、Ｖｉ）に雑音△Ｕ
ｉ、ΔＶｉが加ったときの、各フロー・パラメータの誤
差を、Δｕ０、Δｖ０、Δ＾−とする。最小二乗推定を
用いることから、 Σ　［ｕｉ＋△ｕｉ−（ｕｏ＋△ｕｏ＋（Ａ十へＡ）ｘ
ｉ十（Ｂ十ΔＢ）ｙｉ　＋（Ｅ＋八へ）ｘｉ＋（Ｆ＋Δ
Ｆ）ｙｉ）ｘｉ　）　）　”十Σ（ｖｉ＋Δｖｉ−（ｖ
ｏ＋Ａｖｏ＋（Ｃ＋Ｃ）ｘ　＋　（Ｄ＋△ｏｙ＞　ｙ±
（Ｅ＋ΔＥ）ｘｉ＋（Ｆ＋ΔＦ）ｙｉ）　）　”を最小
にするような△ｕｏ、Δｖｏ、△Ａ　−を求めることに
なる。

ここでｉは同一パラメータを持つ領域内の点であり、（
ｘｉ　、　ｙｉ）はｉ点の座標を表す。またΔＵＯ１Δ
ｖｏ、Δへ−それぞれに関して偏微分したものを０とお
くことにより、以下のようなマトリクスでフロー・パラ
メータの雑音を表すことができる。

以下余白 ここでΣ△Ｕ、は雑音△Ｕ、の平均のサンプリング点数
倍したもの、Σ△Ｖ、は雑音ΔＶ、の平均のサンプリン
グ点数倍したものである。

すなわちフロー・パラメータの誤差は、オプティカル・
フローに加わる雑音の一次結合となる。

したがってもとの雑音が正規性を示していれば、その線
形結合も正規性を示す。つまりΔＵ、Δ■の平均及び分
散が知れていれば、Δｕｏ、Δ■。、Δ＾−の平均、分
散も推定できる。

〔発明の効果〕

本発明によれば、例えば、（ｕｏ、ｖｏ）のクラスタリ
ングに雑音の影響が存在しても、雑音の影響のない（Ａ
、Ｃ）、（Ｂ、Ｄ）、（Ｅ、Ｆ）のクラスタリングによ
り得られた分割画像とＡＮＤｉ合することにより分割エ
ラーの発散を防止することができるので、正確なりラス
タリングを行うことができる。

しかも、フロー・パラメータ（Ｕ、■）は８次元空間で
あるが、これを例えば二次元空間の４組のパラメータ空
間により演算を行うことができるので、演算速度を向上
させ、効率のよい処理を行うことができる。

また、必要に応じて画素単位の分解能を得ることができ
る。

第３図はその動作説明図、 第４図は従来例説明図である。

１−１　−第１フロー〜パラメータ出力部１−２−第２
フロー・パラメータ出力部２−画像−パラメータ空間変
換部 ３−１−−−第１クラスタ処理部 ３−２−第２クラスタ処理部 ４−パラメータ空間−画像変換部 ５−分割画像出力部

Claims (4)

【特許請求の範囲】
1. （１）入力された画像データよりフロー・パラメータを
   算出し、これにもとづき入力画像をクラスタリングする
   動画像領域分割装置において、各画素のフロー・パラメ
   ータをその周辺のオプティカル・フローを用いて算出す
   る複数のフロー・パラメータ出力手段（１−１、１−２
   ・・・・・・）と、これらのフロー・パラメータ出力手
   段（１−１、１−２・・・・・・）の算出したフロー・
   パラメータを複数の組のパラメータ空間に変換出力する
   画像−パラメータ空間変換手段（２）と、 前記各組のパラメータ空間をクラスタ処理する複数のク
   ラスタ処理手段（３−１、３−２・・・・・・）と、前
   記クラスタ処理手段（３−１、３−２・・・・・・）か
   ら出力されたクラスタリングされたパラメータ空間を画
   像に変換するパラメータ空間−画像変換手段（４）と、 このパラメータ空間−画像変換手段（４）から出力され
   た複数の分割画像を統合する分割画像出力手段（５）を
   具備したことを特徴とする 動画像領域分割装置。
2. （２）前記複数のフロー・パラメータ出力手段及び複数
   のクラスタ処理手段は、それぞれ並列動作することを特
   徴とする請求項（１）記載の動画像領域分割装置。
3. （３）前記フロー・パラメータ出力手段には雑音の影響
   を抑制するスムージング処理手段を設け、また前記クラ
   スタ処理手段にはクラスタが空間的広がり面より適当か
   否かを標準偏差により判定するクラスタ判定手段と、ク
   ラスタ中心間の距離より判定して近いものを統合するク
   ラスタ統合手段を設けたことを特徴とする請求項（１）
   記載の動画像領域分割装置。
4. （４）前記分割画像出力手段には、十分な点数が得られ
   ていない小領域を、まわりの領域の中でパラメータ空間
   においてより近い領域に分類する小領域分類手段（５−
   ２）を設けたことを特徴とする請求項（１）記載の動画
   像領域分割装置。