JPH07200833A

JPH07200833A - 画像化システムにおいて移動物体の数を決定し画像の点と移動物体とを関連させる方法

Info

Publication number: JPH07200833A
Application number: JP6296506A
Authority: JP
Inventors: Uiriamu Gia Shii; ウィリアムギアシー
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1993-12-08
Filing date: 1994-11-30
Publication date: 1995-08-04
Also published as: US5579401A

Abstract

(57)【要約】（修正有）【目的】複数の移動物体を含む画像において独立的に
移動する剛性物体の特徴グループ分けを提供する。【構成】画像における移動剛性物体の特徴グループ分
けは、複数の独立的に移動する剛性物体を含む３次元シ
ーンについての、一連の２次元直交投影を処理すること
によって達成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像における移動する物
体の特徴グループ化に関し、特に、複数の独立的に移動
する剛性物体を含む３次元シーンの一連の２次元直交投
影の処理に関する。

【０００２】

【発明の背景】複数の独立的に移動する剛性物体を含む
一連の２次元画像を分析してその移動する物体について
の３次元情報を確認する方法において、画像フレームに
共通な剛性物体に関連する特徴あるいは点を容易に識別
するために、様々な従来技術を利用することができる。
同様に、選択された剛性物体のすべての特徴あるいは点
が、一旦、連続する画像フレームで識別されると、その
選択された剛性物体についての所望の３次元情報を与え
るために、従来技術を利用することができる。

【０００３】しかし、画像のどの剛性物体に、連続する
画像フレームにおけるどの特徴あるいは点が関連すると
識別して判定するためのさらに良好なプロセスが、なお
必要とされている。本発明はこの必要性に向けられてい
る。

【０００４】従来技術の処理は、全画像フレームに共通
な特徴あるいは点を識別することを想定した。本発明
は、複数のそのような剛性物体を含む画像において、ど
の剛性物体にどの特徴あるいは点が関連しているかを判
定することができる。

【０００５】カメラは、複数の独立的に移動する剛性物
体から成る画像を録画する。運動はカメラに相対的であ
り、従ってカメラは固定座標系を決定する。シーンが
「背景」を含み、そしてカメラが動いている場合、この
背景はカメラに関して動いている別の対象として現れる
であろう。

【０００６】本発明の教示によれば、３次元空間におい
て自由に運動する１組の剛性物体によって、２次元投影
が発生される。この投影は、物体の量およびその各自の
運動の独立度によって決定される非常に特殊な構造特性
を持つマトリックスの数学的積によって特定される。本
発明は、２次元観測セットから、これらの構造を再生成
することに関する。

【０００７】より詳細には、画像処理の分野において、
特徴検出アルゴリズムおよび技術を各画像フレームに適
用して、各フレームにおける画像に共通な点あるいは特
徴を識別し、かつ位置指定することは周知である。例え
ば、画像フレームにおける対象の各コーナを識別するこ
とができるし、画像フレームにおけるその座標を決定す
ることができる。

【０００８】さらに、対象の位置および速度を、カメ
ラ、ビデオレコーダ等から得られるように、一連の画像
フレームから判定する方法も、当業者には周知である。

【０００９】本発明は、対象の位置と速度に関して「前
置」特徴検出器と「後置」プロセッサの間の肝要なリン
クを提供する。すなわち、本発明を実行するために使用
されるコンピュータは、その入力として、各画像フレー
ムにおける特徴点およびその座標についてのデータを、
通常、標準特徴検出器からの電気信号の形で受信し、
〔この特徴検出器は例えば、トマシ（Ｔｏｍａｓｉ）と
カナデ（Ｋａｎａｄｅ）によって「点特徴の検出および
トラッキング」と題するレポート，（Ｔｅｃｈ．レポー
トＣＭＵ−ＣＳ−９１−１３２，カーネギーメロン大
学，コンピュータサイエンス校，ピッツバーグ，Ｐ
Ａ．）の中で記述されたもの〕そしてその出力におい
て、複数のそのような移動物体を含む一連の画像におい
て、検出された特徴点のどれがそれぞれの移動物体に関
連するかを表すデータを発生して、さらに、各移動物体
の軌道のアプリケーション依存の処理が行われる。

【００１０】本発明は、衝突回避のような分野において
も利用される。例えば、静止していることも、動いてい
ることもあり得る車の前に置かれたカメラは、シーンの
画像を録画する。車道を走行する自動車の場合、画像は
背景、道路標識、路上を走る他の車輌等々を含むことが
できる。画像フレームシーケンスは、標準特徴検出器に
よって、前処理される。本発明に従うと、結果のデータ
は汎用コンピュータに与えられ、そこで検出された点
は、各画像フレームにおける特定特徴あるい物体に関し
てグループ分けされる。どの点が画像のどの移動物体に
関連するかについてのデータは、例えば、通常の衝突一
致装置に与えられて、もしあれば、どの移動物体がその
車輌に衝突するか、どの移動物体がその車輌から離れる
か、あるいはどの移動物体がその移動物体と一致して運
動するかを判定する。また、どの対象が背景の一部、あ
るいは車輌にとって危険をもたらさない、道路外の対象
であるかを判定することもできる。特徴グループ分けが
行われなければ、特徴点を検出するだけでは適切な衝突
一致に帰着しないであろう。

【００１１】同じ方法で発明は、例えば、通りすぎる多
くの移動物体の中からロボットを区別するための、ロボ
ット視覚システムに応用することができる。発明はま
た、運動ロボットの衝突回避のためのロボット視覚シス
テムにも有用である。別の利用は、ロボットハンドの画
像点を、そのハンドによって操作されている対象の画像
点と対照させてグループ分けするあるいは区別すること
である。

【００１２】上記例は、発明が利用され得るアプリケー
ションを例示したにすぎない。本発明が多くの他の画像
処理アプリケーションにおいて有用であることは、当業
者には明らかであろう。

【００１３】これらの説明のための実施例の各々におい
て、本発明は、検出された特徴点を表す通常の特徴検出
器からのデータを受信し、かつデータを処理して、複数
の移動物体を含む画像におけるそれぞれの移動物体から
生じてくる検出された点をグループ分けする手段を提供
し、従って画像フレームにおける各移動物体に関連する
点に基づいて処理データに、追加の信号処理が実行され
る。

【００１４】

【発明が解決しようとする課題】本発明の主目的は、複
数の移動物体を含む画像において独立的に移動する剛性
物体の特徴グループ分けを提供することにある。

【００１５】発明の他の目的は、画像のどの点あるいは
特徴が各自の移動する剛性物体に関連しているかの判定
を与えることにある。

【００１６】発明のさらに他の目的は、画像に存在する
独立的に移動する物体の数の判定を与えることにある。

【００１７】

【課題を解決するための手段】本発明はマトリックス解
析に依存して、その各々が独立運動を経験することがで
きる、複数の剛性物体を含む画像におけるそれぞれの剛
性物体に、点を関連させる。マトリックスの列は、検出
され、トラックされた点あるいは特徴に関連し、そして
行は、連続する画像フレームにおける点のｘとｙ（２次
元）の場所に関する。点の従属性は、運動の従属性によ
って決定される。

【００１８】各検出点に関するデータは、特徴検出器に
よって、各フレームごとに、得られる。データはマトリ
ックスに入れられ、次いでそれは、データ収集の終り
に、大型バッチプロセスに従う。

【００１９】マトリックスの階数が決定される。マトリ
ックス階数は、画像における移動物体の量に関連する。

【００２０】ガウス・ヨルダンアルゴリズムがマトリッ
クスに適用されて、独立自由度の数、すなわち、マトリ
ックスにおける非是ゼロ要素、を決定する。結果はＳの
独立列およびＰ−Ｓの従属列となり、但し、Ｐは点の総
数である。列が従属であれば、同じ物体から関連する点
が生じる。

【００２１】単一の剛性な移動物体の実施例を考えてみ
る。２次元ビューが固定カメラのｘ−ｙ面にあり、そし
て移動物体上の点（特徴）の集合がマトリックスＷで特
定される場合、但し、Ｗ＝〔ｗ₁ｗ₂・・・ｗ_n〕そしてｗ_iは、下記から成る列ベクトルである。

【００２２】

【数１】

【００２３】但し、ｘ_i，ｙ_iおよびｚ_iは参照の体心
フレームにおけるｉ番目の点の座標である。点ｗの一般
の３次元回転および平行移動は、▲Ｔ_wとして特定する
ことができて、この場合、３×４変換▲Ｔは下記で示さ
れ、

【００２４】

【数２】

【００２５】但し、Ｕは、物体座標原点の周りの回転を
表す、行列式１を有する３×３ユニタリマトリックスで
あり、そしてｔ_x，ｔ_yおよびｔ_zは平行移動の成分で
ある。回転した点の２次元投影は、▲Ｔの３番目の行を
切り捨てることによって得られるので、Ｔは次のように
なる。

【００２６】

【数３】

【００２７】３要素行ベクトルｕ_iは互いに直交ｕ、ユ
ークリッド長さｌを持つ。画像における点の水平（ｈ）
および垂直（ｖ）座標は、下記で示される、

【００２８】

【数４】

【００２９】次に、各フレームは異なる変換Ｔ_j，ｊ＝
１，・・・，ｍの結果であると仮定する。マトリックス
Ｑを下記で表されるものとする、

【００３０】

【数５】

【００３１】すべての点Ｘに対する全フレームにおける
観測集合Ｄは次式で示される、Ｄ＝ＱＷ但し、Ｄは、その行の組合せがすべてのｎ点ｗ_iの投影
のｈ−ｖ座標である２ｍ×ｎマトリックスである。

【００３２】点が平面あるいは下位次元空間に位置しな
い限り、Ｗの階数は４であり、従ってそれは最大階数を
持っている。十分な数の別々の変換があり（最小２）そ
してそれらが、Ｑもまた最大階数（４）を持つほど十分
に独立である限り、Ｄの階数は４であるだろう。誤りが
あっても、Ｄは最大階数、すなわちｍｉｎ（２ｍ，ｎ）
を持つようになるであろう。

【００３３】特異値分解（ＳＶＤ）変換を利用して、観
測したＤに対する最も近い階数４のマトリックスを計算
することができるが、それは先ず、ＤのＳＶＤを、Ｄ＝
ＵΣＶ^Tとして計算し、次いで、 ▲Ｄ＝▲Ｕ▲Σ▲Ｖ^T と近似する、この場合、▲Ｕおよび▲Ｖ^TはＵおよびＶ
のそれぞれ最初の４列であり、そして▲ΣはΣの上方４
×４ブロックである（従って対角線上の最大の４特異値
を含む）。

【００３４】トマシおよびカナデは、「画像ストリーム
による形状および運動：正射影事例における全報告」と
題するレポート（ＴｅｃｈレポートＣＭＵ−ＣＳ−９２
−１０４カーネギーメロン大学コンピュータサイエンス
学部，ピッツバーグ，ＰＡ．およびＴＲ９２−１２７
０，コーネル大学コンピュータサイエンス学部，イタ
カ，ＮＹ．）の中で、各フレームの原点を、各ビューの
点セットの重心として計算することによって、先ず、平
行移動を取除いた。この原点は、元の３次元物体におけ
る点セットの重心の投影であり、従って、それは、重心
を固定することによって運動を有効に修正して、３次元
空間の原点に位置する。従って、どの平行移動も取除か
れて、結果の運動は原点の周りの回転のみである。この
結果、最後の列Ｑおよび最後の行Ｗが落ちた階数３のシ
ステムになる。次いで、トマシとカナデは、ＳＶＤを適
用することによって、単一移動物体のフレームに対する
３次元座標を回復して、Ｄに対して最も近い階数３の近
似値を計算する。彼らの方法は単一物体のみに利用する
ことができる。

【００３５】ボウルト（Ｂｏｕｌｔ）およびブラウン
（Ｂｒｏｗｎ）は、「分解に基づく運動の区分」と題す
る論文（視覚運動についてのＩＥＥＥワークショップ紀
要，１７９〜１８６ページ，１９９１年１０月）の中
で、トマシとカナデのアプローチを重複物体に拡張する
ことを提案している。右特異ベクトルの成分のクラスタ
分析が行われ（ＳＶＤ分解のＶの列）そしてこれらのク
ラスタは物体に対する点のクラスタ化を表す、と主張し
ている。また、原点をすべての観測した特徴の重心に移
し、そして結果のデータは、ｓが剛性物体の数である場
合に階数３ｓを持っている。実際に、以下で示されるよ
うに、階数は、シフトなしで４ｓ、そしてシフトによっ
て４ｓ−１になることができる。本方法は階数情報を利
用する。

【００３６】本発明は完全４次元システムに関し、そし
て新規マトリックス分解を利用して、基本的マトリック
ス構造を回復し、重複物体に利用できるアプローチとな
っている。

【００３７】

【実施例】図１では、カメラ１０は、複数の移動物体を
含むシーンに関する一連の画像を録画する。この一連の
画像は、カメラから特徴検出器１２に与えられ、検出器
において、移動物体から生ずる点は、画像における各点
のそれぞれの座標に沿って、識別される。良好な特徴検
出器が、前掲のトマシとカナデによるレポートＣＭＵ−
ＣＳ−９１−１３２に記述されている。識別された点の
座標は、出力として、特徴検出器１２からコンピュータ
１４に与えられ、以下で述べるような本発明の主旨に従
って、処理される。コンピュータ１４の出力には、シー
ンに存在する移動物体の量に対応する情報があり、そし
て識別された点のそれは、それぞれの物体と関連してい
る。コンピュータ１４の出力はアプリケーション専用プ
ロセッサ１６に与えられて、シーンにおける各物体の軌
道を決定する。

【００３８】以下の記述は、一連の画像に存在する物体
の量、および各それぞれの物体に関連する画像の識別さ
れた点に対応する情報を与えるために、コンピュータ１
４によって実行されるプロセスを説明する。

【００３９】ｓ個の物体があり、そして各物体は、マト
リックスＷ_p，ｐ＝１，・・・，ｓにまとめられた座標
を有する１組のｎ_p特徴点を持つ、と仮定する。特徴点
およびその各自の座標は、標準特徴検出を利用して、従
来通りに、得られる。次いで、点の全集合は、下記で表
される。

【００４０】Ｍ＝ｄｉａｇ（Ｗ₁，Ｗ₂，・・・，Ｗ_s）これはブロック対角マトリックスと称することができる
が、各ブロックは４×ｎ_pの長方形であり、従ってＭは
正方形マトリックスではない。

【００４１】ｊ番目のフレームにおけるｐ番目の対象
は、Ｔ_jpで表される変換／投影に従うものと仮定する。
Ｔを、項目Ｔ_jp，ｊ＝１，・・・，ｍ；ｐ＝１，・・
・，ｓを有するブロックマトリックスとする。すると、
観測したデータは、

【００４２】

【外１】

【００４３】Ｄ＝ＴＭとして表すことができる。

【００４４】このマトリックスの階数は４ｓにすぎない
であろう。そして４ｓは、各物体において少なくとも４
つの非同平面特徴点が選択される場合、および全物体に
対して独立的運動を空間をスパンするに足る多くの独立
的運動がある場合に、達成されるであろう。

【００４５】Ｄの階数が既知である場合、これは独立し
た物体の数の下限である。Ｄの階数はＳＶＤを利用して
推定することができるが、それは多数の点に対しては、
幾分高価な計算である。さらに、ＳＶＤ推定によって、
独立移動物体に対する、点のグループ分けについての直
接情報は与えられない。Ｄの各列は単一の特徴点を表
す。単一物体に関連する特徴点集合は、列ベクトルの２
ｍ次元空間の４（またはそれ以下）次元部分空間に位置
する。従って、これらの部分空間および、そこにある部
分ベクトルが識別されるならば、物体に対する特徴点の
グループ分けは識別されるであろう。Ｄの低減した行の
階段形式（以下では階段形式と称す）は、それをまさに
識別し、一方、マトリックスの階数を識別している。

【００４６】階段形式は、ガウス・ヨルダン消去を、部
分的ピボット演算と共に、Ｄの行に応用することによっ
て形成される。このアルゴリズムの概要は（Ｒ行および
Ｃ列のマトリックスに対して）下記の通りである。 Col:=1 Row:=1 while(Row ≦R and Col ≦C ）do Switch rows so that largest of｜D _i, _Col｜.i=Ro
w.・・・・.R is in D _Row.Col. if D_Row.Col≠0 then Divide row Row by D _Row.Col. (D_Row.Col. is the Pivot) for Other.row:=all other rows except Row Subtract D_{Other.row.Col.}times row Row from row Other.row. endfor Row:=Row+l. endif Col:=Col+l endwhile Rank of matrix is Row-l ノイズおよび数値誤りがある場合、このアルゴリズムは
通常、最大階数マトリックスを示すであろう。この問題
を回避するために、ｉｆ文におけるゼロピボットの試験
は、次の形式の試験と置換されねばならない。

【００４７】if D_Row.Col.＞tolerance then この場合、許容値は、ノイズから生ずる小さい数を、ゼ
ロとして処理するように選択される。階段形式の一般利
用において、正確な許容値を決定することは非常に難し
い問題であり、そして階数決定のために、一層安定した
ＳＶＤの方がより好まれるかの１つの理由でもあるが、
このアプリケーションでは、問題の本質および構造につ
いての知識が、許容値のサイズに関する優先情報を与え
る。その上、階数に対する正確な値を得ることは必要で
はない。重要なことは、高いパーセンテージで、点がそ
の所属する対象に割当てられることである。全部の点を
割当てることができなければ、割当てられなかった点は
無視されることがあり得る。Ｔが最大階数を持ち、そし
て簡約化において数値誤りが生じない場合、Ｍの階段形
式はＤの階段形式と同じであることに注目されたい。

【００４８】階段形式への簡約化中に、今度は各列が、
ピボット要素の中の単一の１以外はすべてのゼロを含む
列に（このことは、ｉｆ試験が成功する列で発生し、そ
れは基本列と称される）、または厳密に１つの他の基本
列が１を持つ行においてのみ、非ゼロを含んでいる列
に、簡約化されるであろう。

【００４９】基本列は、Ｍの階段形式の列によってスパ
ンされる空間に対する基礎を形成する。Ｍの構造のため
に、最大４つの基本列が各剛性物体に関連するであろ
う。

【００５０】列は点に対応する。誤りがなければ、変換
マトリックスが最大階数を持つ場合、階段形式の同じ行
中に非ゼロ要素を持つどんな２つの列でも、同じ剛性物
体に属す点に対応する。

【００５１】観測マトリックスＤは、変換マトリックス
Ｔによる左方乗算によって、物体マトリックスＭから生
成される。これはＷについてのみ行演算を行う。Ｔが最
大階数を持つ場合、Ｍの行階数に関しては何の情報も失
われていない。階段形式への簡約もまた、行演算を利用
し、従って、行交換から離れた、階段形式へのＭの直接
簡約と同じマトリックスに帰着する。Ｍ＝ｄｉａｇ（Ｗ
_p）の階段形式は、そのブロックが各Ｗ_pの階段形式と
なっていて、それらが明言された特性を持つブロック対
角マトリックスである。

【００５２】上述のアプローチは、孤立した大きい平行
移動に敏感な部分的ピボット演算を利用している（これ
によって、マトリックスの特定行を大きくして、それが
第１ピボットとして選択されるように仕向けることがで
きるが、アルゴリズムは、各剛性物体に対する基礎とし
て、良好な選択である、すなわち、ほとんど従属してい
ない、基本列を選択する方が、都合がよいであろう。こ
の理由のために、完全ピボット演算を利用することは注
目に値するが、この演算は、すべてのピボットしていな
い列を見て、最大要素に基づいて、次のピボットとして
の最良候補を決定する。また、Ｄについて、ある予備ス
ケーリングおよびシフト演算を実行することも好まし
く、その結果、最大要素が最良ピボットであることが示
される。列スケーリングの選択について、以下で説明す
る。行スケーリングは、行から任意のスケーリングを取
除くために行われ、従って行はすべてサイズの同じ等級
を有する。スケーリングによってマトリックスの階数に
は影響を及ぼさない。実際に、直交投影が行われ、そし
てスケールの変化がない場合、行スケーリングは必要で
なく、そして全行がほぼ同じサイズのままであろう。し
かし、直交仮想が、通常得られる透視図への近似である
場合には、対象のカメラからの距離が変化するにつれ
て、スケーリングが発生するであろう。ビューの大きい
平行移動によってもまた、対応する行に対するスケール
の明らかな変化を生じる。各行が原点に「集中する」よ
うにそれを平行移動させ、そしてある単純ノルムが同じ
になるように各行をスケールすることによって、これら
の変動の大部分を取除くであろう。

【００５３】次の実施例において、以下の演算が行われ
る、すなわち、各行は先ずシフトされ、そして（−１，
＋１）の範囲に位置するようにスケールされる。シフト
は、各フレームの平行移動を変えることに対応する。シ
フトが不適切であれば、階数を１だけ減らすことができ
るし、あるいは原データに各物体に対する独立平行移動
が含まれていなければ、階数を１だけ増やすことができ
るであろう。いずれの場合も、重要ではないであろう。
次いで、完全ピボット計算を利用して、次のピボットを
選択する。行は上記アルゴリズムにおけるように変換さ
れ、列は、元の点との対応を保持するために、交換され
ない。

【００５４】次の実施例は「人為的」である。それは、
単位立方体の中で任意に選択されたそれぞれ７つの点の
ある、２つの剛性物体を生成することによって形成され
た。次いで、各物体は、不規則に回転され、平行移動さ
れて、それぞれが１４の点を持つ１０フレームを発生
し、表１の２０×２１マトリックスを得る。

【００５５】

【表１】

【００５６】この実施例では、最初の７点は第１物体に
対応し、そして次の７点は第２物体に対応する。表２の
階段形式から分かるように、基本列は３〜６，８および
１１〜１３である。注目すべきことは、列１から７まで
の行１，４，６および８、そして列８から１４までの行
２，３，５および７に複数の非ゼロがあり、列１から７
までは１つの剛性物体に対応し、そして列８から１４ま
では第２の剛性物体に対応することを示すことである。

【００５７】

【表２】

【００５８】実際には、測定および数値誤りを考慮に入
れなければならない。次の実施例では、表１の観測マト
リックスＤが、各項目に、ガウス確率変数、平均ゼロお
よび標準偏差０．００５を加算することによって破損さ
れている。上述のように階段形式が計算されたが、ピボ
ットとして、許容値＝０．１より小さい量の要素を無視
するようセットされた。その結果、表３では、再び、階
数８を表す。０．１より小さい要素はゼロであると想定
すれば、点を物体に割当てることに関して、正確な推論
がなされ得る。

【００５９】

【表３】

【００６０】このアルゴリズムは、同一であってはなら
ない２つの許容値を利用する。第１の許容値は階段形式
への簡約で利用されて、ピボットが、いつ選択されるか
を判定する。第２の許容値は、グループ分けに利用され
た観測アプリケーションにおいて、どの要素が非ゼロで
あるかを決定するのに利用することができる。ピボット
が選択されていない行の全要素は、ゼロであると考えら
れねばならない（そうでなければ、別のピボットが選択
されなければならない）が、他の非ゼロ（非基本列の）
は点のグループ分けを表すので、アルゴリズムは別の許
容値を利用してグループ分けを決めることができる、例
えば、もっと控えめにして、グループ分け誤りを避ける
ためには、より大きく、そして不十分な接続性情報を得
た場合は、より小さい許容値を利用する。第１の許容値
は「階数許容値」そして第２のものは「グループ分け許
容値」と称される。

【００６１】特徴検出アルゴリズムからデータが得られ
るので、このアルゴリズムは不確実性の測度を発生する
ことが期待される。不確実性の測度がすべての点に対し
て同じである場合、不確実性のサイズに基づいた許容値
×問題のサイズに対する因数を直接、利用することがで
きる。問題のサイズに対する因数は、階段形式への簡約
中、誤りが組合されるので、誤りの成長を説明してい
る。不確実性の測度が点ごとに異なる場合、差異を取除
くために、データは列ごとに最初にスケールされねばな
らない。各列は画像における単一の点の連続を表すの
で、どの因数によって列をスケールすることでも、その
列の許容の効果を調整することに等しい。従って、点ｗ
_iに対する不確実性推定値が任意の絶対単位でδ_iであ
る場合、ｉ番目の列はδ_iで除算されねばならない。

【００６２】データは、自然選択のスケーリングおよび
許容値の大きさの等級を表す。階数の乗算因数および許
容値のグループ分けについての問題が残っている。階数
の許容値が大きすぎると、基本列の選択が少なすぎて、
少なめの独立対象を誤って表示する。階数の許容値が小
さすぎると、基本列の選択が多すぎて、多すぎる対象を
表示してしまう。非常に小さい階数許容値という極端な
場合には、すべての列が基本列として選択されて（測定
誤りのために列を独立にすると仮定して）、グループ分
けが不可能になる。最悪ケース誤り分析は、階段形式へ
の簡約での誤りが２^Nに成長する、但し、

【００６３】

【数６】

【００６４】は各フレームにおける点の数、と表示され
るが、完全ピボット演算に対する一般の通念および経験
によって、Ｎに近い成長が期待され、従って妥当な階数
許容値はＮ^*許容値である、と表示される、この場合、
許容値はどの成分においても最大誤りの推定値である。

【００６５】また、階数許容値を決定するのに適応アプ
ローチを利用することもできる。それは、提案されたも
のより大きいレベルで開始し、そして階段形式への簡約
が開始することができるが、この場合、現在の階数許容
値以下のものはピボット決定では、ゼロであると考えら
れる（しかし、計算でゼロにセットされない）。簡約が
完了した後、階数許容値より大きいか、またはそれに等
しい項目を持たない列がある場合、階数許容値は大きす
ぎるという表示としてとることができて、その許容値は
低減され、そして階段形式への簡約を繰返すことができ
る。もちろん、原データが、全フレームにおける原点に
固定されている点に対応する列を持つ場合、その列は、
常に、階数許容値より少ない全項目を持ち、そして適応
アルゴリズムに繰返し階数許容値を低減させるであろ
う。この理由のために、先ずデータを前処理し、そして
その全項目がデータ不確実性の推定値より小さいどんな
点（列）でも取除くこと（あるいは、それらをより大き
い値に移動させること）が必要である。階数許容値が適
応アルゴリズムで低減される場合、階段形式への簡約を
再開始する必要はない。必要なことのすべては、現在可
能なピボットを含むものがあるかどうかを確かめるため
に、ピボット列として、前に選択されなかった列を再走
査することである。このプロセスは、簡約サイクルが終
了して、現在の階数許容値よりすべて小さい要素を持つ
非基本列が無くなるまで、繰返すことができる。

【００６６】グループ分け許容値の選択が小さすぎる
と、非基本列が余りにも多くの基本列に従属し、その結
果、基本列が同じ剛性物体の部分である、と不正確に判
定されてしまう。グループ分け許容値が大きすぎると、
同じ物体に属する基本列を識別することができないこと
もあり得る。大きいグループ分け許容値の極端な場合に
は、非基本列が他のどの列にも従属していないと判定さ
れることもあり得る。非基本列が許容値内で完全にゼロ
である場合にのみ、非基本列はどの基本列にも従属せ
ず、そしてそのような列は、前の段落で説明した前処理
において取除かれるので、そのような列を識別すること
によって、グループ分け許容値が大きすぎると表示す
る。従って、これは、グループ分け許容値に対する適応
アプローチを提案している、すなわち、データ誤りの推
定値でグループ分けを開始し、そしてグループ分けプロ
セス実行する。余り多くの基本列が単一グループの部分
であると判定される（５以上）場合、グループ分け許容
値は増加する（このアプローチは、以下で説明する変換
退化の場合には修正されねばならない）。

【００６７】階段形式への簡約後、結果のマトリックス
の列を加算することは興味深い。この結果は解明的であ
るが、それは、データに誤りがなく、そして階段形式へ
の簡約が誤りなしで行われる場合、（可能な回転に加え
て）移動される物体に属する点に対応するすべての列の
列の和は１であるが、移動されない物体に対応する点の
列の和は、１組の測度ゼロ（任意の回転のどんな妥当な
空間においても）においてのみ、１である。

【００６８】この結果は、次のアルゴリズムにおいて、
列をグループ分けするのに利用することができる。

【００６９】Ｄのいずれかの列、例えば第１の、を選択
し、そしてそれをＤの全列から減算する、従って、選択
された列に対応する対象および同一的に移動したどの対
象に属す全部の点から、どんな移動も取除く。階段形式
への簡約を実行し、そしてその和が１と著しく異なるよ
うな列を識別する。このプロセスは、移動されなかった
対象に対応する基本列を識別しないので、識別された列
における非ゼロが、基本列を識別するのに利用されねば
ならない。そこで、次の分析のために、列を取除くこと
ができる（それら共通移動を持つ重複物体に対応し得
る）。次いで、データの残りは同じプロセスによって分
析することができる、すなわち、別の列が選択され、そ
してデータの残りから減算されて、同じ移動を有する、
次の対象（または対象グループ）を識別することができ
る。

【００７０】２つの形式の退化が可能であり、単一対象
上の点が３より小次元の部分空間に位置している「対象
退化」、および変換マトリックスが最大階数ではない
「変換退化」である。両退化の効果を検査し、そして前
者はアルゴリズムに影響を与えず、そして後者は、それ
に影響を与えることができるが、困難を克服する技術の
あることが、明らかになるであろう。

【００７１】対象退化の事例では、マトリックスＷ_iで
表される１つ以上の対象は、４より小さい、例えばｒ_i
の階数を持つ。このことは、それが次のように表される
ことを意味する。

【００７２】Ｗ_i＝Ｂ_iＳ_i 但し、Ｂ_iは、対象のための基礎を形成する、ベクトル
の４×ｒ_iマトリックスであるが、それはＷ_iにおける
すべてのベクトルは、Ｂ_iの列の直線的組合せとして表
すことができ、そしてＳ_iの各列は、Ｗ_iの対応する列
を、Ｂ_iのｒ_i列の直線的組合せとして表しているから
である。Ｓ_iは最大階数ｒ_iであることに注目された
い。

【００７３】Ｄの階段形式が形成される場合、マトリッ
クスＳ_iの階段形式も形成されるであろう。Ｓ_iの階段
形式は、１に等しい単一非ゼロ項目を有するｒ_Iの基本
列ベクトルから成り、そして列の残りは、その対象に対
する基本列におけるピボットに対応する行の重複非ゼロ
を含むであろう。従って、列は点に対応する、そして階
段形式の同じ行にある非ゼロ要素を持つどの２列も、変
換マトリックスが最大階数を持つ場合には、同じ剛性物
体に属す点に対応する、という一般的観測になってい
る。

【００７４】変化マトリックスが最大階数を持たない場
合には、２つの可能性がある。事例Ｉ：単一対象の変換は、４より小さい階数である。事例II：１対象の変換は、他の対象の変換に線形従属し
ている。

【００７５】事例Ｉは、その兆候が対象退化のそれと見
分けがつかないので、何の困難も生じない。事例IIは手
順を複雑にすることもある。

【００７６】変換マトリックスＴにｔの階数欠陥がある
場合、４_s×ｔマトリックスＢがあり、Ｔのゼロベクト
ルを持ち、従ってＴＢ＝０事例Ｉでは、これらのゼロベクトルの各々（Ｂのコラ
ム）は、単一対象変換に、すなわち、第１対象変換に対
するＴの最初の４列、第２対象変換に対するＴの第２の
４列、等々に対応する行にのみ、非ゼロを含んでいる。
事例IIでは、ゼロベクトルは、線形従属になっているす
べての対象変換に対応する列に、非ゼロを含むであろ
う。

【００７７】一般に、Ｂの列は〔ｂ^Tｌ〕^Tの形式を持
つと想定する（Ｂの列の最後の要素は非ゼロである、と
いう想定は、観測データＤの列の変換によって達成する
ことができる）。Ｎ×ＮマトリックスＰを次のように定
義する、

【００７８】

【数７】

【００７９】下記によって与えられたデータマトリック
スＤを考える、Ｄ＝ＴＭ＝ＴＰＰ^-1Ｗ先ず、注目すべきことは、ｂの定義のために、ＴＰはＴ
の最初のＮ−１列の後に、全部ゼロから或る列が続く、
ということである。次に、Ｐ^-1はＰと同じ構造であるが
ｂの記号が反転しているマトリックスであることに注目
されたい。従って、Ｐ^-1Ｗは、ｂにおける項目に従っ
て、最後の行の倍数が前の行から減算されているマトリ
ックスＷである。ＴＰの最後の列はゼロであるので、Ｐ
^-1Ｗの最後の行は無視することができる。従って、Ｄ＝Ｔ′Ｗ′ 但し、Ｔ′は、Ｔの最初のＮ−１列であり、そしてＷ′
は、先ず、前の行からＷの最後の行の適切な倍数を減算
し、そしてＷの最後の行を切り捨てることによって、Ｗ
から導出される。事例ＩとIIは別々に考慮すると有利で
ある。

【００８０】事例Ｉでは、単一の剛性物体に対応するＷ
の行のみが、Ｂの列で非ゼロを持つので、Ｐ^-1によって
生じる行演算は単一Ｗ_iのみに影響を与える。従って、
ＷからＷ′への変更によってＷ_iの１つの行の大きさを
１だけ低減する。その効果は、低減した階数のＷ_iと同
等である。

【００８１】事例IIでは、Ｗ′を得るためのＷの変化に
よってＷ_iの１つを変えるだけでなく（その列の全部が
データの終わりにスイッチされているとすれば、最後の
１つを）、そのＷ_iの倍数を、別のＷ_jを有する行に加
算するであろう。列を適切に交換することによって、
Ｗ′マトリックスは、下記のように、上三角形ブロック
になるであろう、

【００８２】

【数８】

【００８３】但し、ＸはＷ_iの最後の行のベクトル倍数
である（Ｗ_iの変換が、Ｗ_i-1の変換より多く、線形従
属している場合には、Ｗ′の最後のブロックの列には、
より多くの非ゼロ項目があるだろう）。行−階段形成
は、前の剛性物体に従属する第２の剛性物体を示すこと
になるので、事例IIの退化はグループ分けアルゴリズム
に影響を与えるであろう。先ず、わずか４つの基本列に
対応する非ゼロを持つ階段形式の非基本列を識別するこ
とによって、この事例を処理するようにアルゴリズムを
修正することができる。これらは、上式のＷ_i-1に属す
点に対応する。これらが見つかった後で、Ｗ_i-1に対応
する対象が識別されている。次いで、多数の基本列に従
属する点が識別されて、第２の対象を識別することがで
きる。

【００８４】２つの対象間に２以上の従属性がある場
合、同様な引き数は、上述の簡約演算（Ｔの列の削除、
他の行からＷの行の倍数の減算、およびその行をＷから
削除）が繰返されることを示す。その結果がブロック上
三角形である間、上で提示された変更を利用することが
できる。

【００８５】後の方の従属性によって、Ｗ_i-1の行を最
後のブロックから減算させて、ブロック上三角形を破壊
することが可能である。それが生じたら、階段形式への
分解におけるピボット列の選択を再考する必要がある
（これは現在の階段形式で開始して行うことができ
る）。基本列の正しい選択が見つかった場合、階段形式
は、４×４より大きいブロックを持つブロック上三角形
になるであろう。より大きいブロックが見つかった場
合、ピボット列選択の全組合せを考慮する必要があるよ
うに思われる。これは従属ブロックのサイズの指数であ
り、従って、最悪のケースでは、問題の大きさの指数に
なり得る。

【００８６】実際の場合では、将来のフレームは、前に
識別されていない新規特徴点をもたらすことができて、
前のフレームで識別されたその他のものは消失すること
ができる。以前の製作者達のＳＶＤアプローチでは、そ
のような点は完全にドロップすることが要求された。本
発明では、各新規フレームグループを、それらが得られ
る際に処理する実時間に（十分高速な処理装置であると
想定して）基本的に、適用され得るアルゴリズムが記述
されている。

【００８７】最初に、対象に点を予備割当とするための
十分なデータを得るために、十分な量のフレームを観測
しなければならない。すべての対象にどんな点も存在し
ない場合には、それら切り捨てられねばならない。新規
データが得られると、新規点を識別することができて、
前の点は消失する。消失することは何も問題を起こさな
い。列がマトリックスから切り捨てられるだけである。
それらが基本列でない場合、何もする必要はない。それ
らが基本列である場合には、同じ対象におけるこれらの
点に属する列から、別の基本列が識別される必要があ
る。これは、簡約マトリックスにおける階段形式簡約に
よって行われることができる。原データに戻る必要はな
い。新規点が識別される場合、幾つかのフレームが観測
されるまで、それらは無視されねばならない。その時点
で、新規点が観測されているこれらの行のみを利用し
て、階段簡約を実行することができる。基本列はすでに
識別されたので、この簡約のなすべきことのすべては、
現存の基本列に関してのこれら新規列（点）の従属性を
判定することである。そのような従属性が観測される場
合、点は現存の対象によってグループ分けすることがで
きる。何も観測されない場合には、それは新規対象にお
ける点の候補である。

【００８８】画像のそれぞれの移動物体に関する特徴あ
るいは点をグループ分けした後で、アプリケーション専
用装置に情報が与えられて、例えば、衝突一致、あるい
はロボット視覚アプリケーションのような、次の適切な
信号処理が行われる。特定アプリケーションに従って、
追加処理は点グループ分けに依存して、グループ分けし
た点に関連する移動物体の軌跡を決定する。

【００８９】画像中の移動物体に関連する点あるいは特
徴のグループ分けについて説明してきたが、当業者には
明らかなように、本発明の広い原理および精神から逸脱
することなく、変更例等が可能である。

【００９０】

【発明の効果】本発明によれば、複数の移動物体を含む
画像において独立的に移動する剛性物体の特徴グループ
分けを実現できる。また、画像のどの点あるいは特徴が
各自の移動する剛性物体に関連しているかの判定を与え
ることができ、さらには、画像に存在する独立的に移動
する物体の数の判定を実現できる。

【図面の簡単な説明】

【図１】本発明の概略を示す図である。

【符号の説明】

１０カメラ１２特徴検出器１４コンピュータ１６プロセッサ

Claims

【特許請求の範囲】

【請求項１】画像化システムにおいて、複数の移動物体
を含む画像フレームにおける独立移動物体の数を決定
し、そして画像における点を各自の移動物体と関連させ
る方法であって、一連の画像フレームにおける識別された点に関する画像
データを得るステップと、マトリックスＷの列ベクトルｗ_iが各ｉ番目の点の座標
を含んでいるようなマトリックスＷを形成するステップ
と、すべての点の集合をＭ＝ｄｉａｇ（ｗ₁，ｗ₂，・・
・，ｗ_s）で表すステップとを含み、但し、ｗ_p，ｐ＝
１，・・・，ｓ、そしてｓ個の物体があり、各物体は１
組のｎ_p等を持つ、項目Ｔ_jp，ｊ＝１，・・・，ｍおよ
びｐ＝１，・・・，ｓを有するブロック変換マトリック
スＴを形成するステップを含み、但し、Ｔ_jpは変換／投
影に従う、ｊ番目のフレームにおけるｐ番目の物体であ
る、観測データ、マトリックスＤをＤ＝ＴＭと表すステ
ップと、マトリックスＤの階段形式を形成するステップと、画像の独立物体の数および各自の物体に関連するその点
に対応するデータを、マトリックスＤの階段形式から発
生するステップとを含み、マトリックスＴが最大階数を
持つ場合、同じ行に非ゼロ要素を持つ列は同じ剛性物体
に属す点に対応し、そしてマトリックスＤの階段形式の
階数は画像における独立物体の数の下限となっている、
ことを特徴とする移動物体の数を決定し画像の点と移動
物体とを関連させる方法。
【請求項２】マトリックスＴが最大階数でない場合、前
記ブロック変換マトリックスＴを形成するステップは、
マトリックスＴの列を削除するステップと、他の行から
Ｗの行の倍数を減算するステップと、その行をＷから削
除するステップとを含むことを特徴とする請求項１記載
の方法。
【請求項３】マトリックスＤの階段形式を形成するステ
ップは、許容値を選択するステップを含んでいることを
特徴とする請求項１記載の方法。
【請求項４】マトリックスＤの階段形式を形成するステ
ップは、階数許容値およびグループ分け許容値を選択す
るステップを含んでいることを特徴とする請求項１記載
の方法。
【請求項５】マトリックスＤの階段形式を形成するステ
ップは、マトリックスＤの行にガウス・ヨルダン消去を
適用するステップを含んでいることを特徴とする請求項
１記載の方法。
【請求項６】マトリックスＤの階段形式を形成するステ
ップは、列スケーリングおよびマトリックスＤのシフト
を含んでいることを特徴とする請求項１記載の方法。
【請求項７】マトリックスＤの階段形式を形成するステ
ップは、行スケーリングおよびマトリックスＤのシフト
を含んでいることを特徴とする請求項１記載の方法。
【請求項８】マトリックスＤの階段形式を形成するステ
ップは、許容値を選択するステップを含んでいることを
特徴とする請求項２記載の方法。
【請求項９】マトリックスＤの階段形式を形成するステ
ップは、階数許容値およびグループ分け許容値を選択す
るステップを含んでいることを特徴とする請求項２記載
の方法。
【請求項１０】マトリックスＤの階段形式を形成するス
テップは、マトリックスＤの行にガウス・ヨルダン消去
を適用するステップを含んでいることを特徴とする請求
項２記載の方法。
【請求項１１】マトリックスＤの階段形式を形成するス
テップは、列スケーリングおよびマトリックスＤのシフ
トを含んでいることを特徴とする請求項２記載の方法。
【請求項１２】マトリックスＤの階段形式を形成するス
テップは、行スケーリングおよびマトリックスＤのシフ
トを含んでいることを特徴とする請求項２記載の方法。
【請求項１３】カメラ、特徴検出器、コンピュータおよ
び処理装置を有する画像化システムにおいて、複数の移
動物体を含む画像フレームにおける独立移動物体の数を
決定し、そして画像における点を各自の物体と関連させ
る方法であって、カメラによって録画され、そして特徴検出器によって処
理された一連の画像フレームにおける識別された点に関
するコンピュータ画像データとして得るステップと、マトリックスＷの列ベクトルｗ_iが各ｉ番目の点の座標
を含んでいるようなマトリックスＷを形成するステップ
と、全部の点の集合をＭ＝ｄｉａｇ（ｗ₁，ｗ₂，・・・，
ｗ_s）で表すステップを含み、但し、ｗ_p，ｐ＝１，・
・・，ｓ、そしてｓ個の物体があり、各物体は１組のｎ
_p特徴を持つ、項目Ｔ_jp，ｊ＝１，・・・，ｍおよびｐ＝１，・・・，
ｓを有するブロック変換マトリックスＴを形成するステ
ップを含み、但し、Ｔ_jpは変換／投影に従う、ｊ番目の
フレームにおけるｐ番目の対象である、観測したデータ、マトリックスＤをＤ＝ＴＭとして表す
ステップと、マトリックスＤの階段形式を形成するステップと、処理装置に、画像における独立物体の数および各自の物
体に関連するその点に対応するデータを、マトリックス
Ｄの階段形式から与えるステップとを含み、マトリック
スＴが最大階数を持つ場合、同じ行に非ゼロ要素を持つ
列は同じ剛性物体に属す点に対応し、そしてマトリック
スＤの階段形式の階数は画像における独立物体の数の下
限となっている、ことを特徴とする移動物体の数を決定
し画像の点と移動物体とを関連させる方法。
【請求項１４】マトリックスＴが最大階数でない場合、
前記ブロック変換マトリックスＴを形成するステップ
は、マトリックスＴの列を削除するステップと、他の行
からＷの行の倍数を減算するステップと、その行をＷか
ら削除するステップとを含んでいることを特徴とする請
求項１３記載の方法。
【請求項１５】マトリックスＤの階段形式を形成するス
テップは、許容値を選択するステップを含んでいること
を特徴とする請求項１３記載の方法。
【請求項１６】マトリックスＤの階段形式を形成するス
テップは、階数許容値およびグループ分け許容値を選択
するステップを含んでいることを特徴とする請求項１３
記載の方法。
【請求項１７】マトリックスＤの階段形式を形成するス
テップは、マトリックスＤの行にガウス・ヨルダン消去
を適用するステップを含んでいることを特徴とする請求
項１３記載の方法。
【請求項１８】マトリックスＤの階段形式を形成するス
テップは、許容値を選択するステップを含んでいること
を特徴とする請求項１４記載の方法。
【請求項１９】マトリックスＤの階段形式を形成するス
テップは、階数許容値およびグループ分け許容値を選択
するステップを含んでいることを特徴とする請求項１４
記載の方法。
【請求項２０】マトリックスＤの階段形式を形成するス
テップは、マトリックスＤの行にガウス・ヨルダン消去
を適用するステップを含んでいることを特徴とする請求
項１４記載の方法。