JPH07264458A - 移動物体追跡装置 - Google Patents

Abstract

(57)【要約】 【目的】迅速且つ高精度で対象物のトラッキングを行
う。 【構成】画像入力部１を介して画像は撮像され、その映
像信号６はディジタル変換器２でディジタル画像信号７
に変換され、一旦、画像格納部３に格納され、画像処理
部４に送られる。画像処理部４では、カメラ姿勢デ―タ
１０と画像デ―タ８とが解析され、その中にある移動物
体が解析されることで、移動物体の位置姿勢に関するパ
ラメ―タからなる移動物体デ―タ９が算出される。この
移動物体デ―タ９はカメラコントロ―ル部５に送出され
て解析され、移動物体を追跡しながら撮影する為にどの
ようにカメラを移動すればよいかを示すカメラ姿勢デ―
タ１０が算出される。そして、該カメラ姿勢デ―タ１０
は画像入力処理部１と画像処理部４とに送出され、カメ
ラの移動を実行しながらの撮影が行われる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は移動物体の３次元の位置
パラメ―タと３個の角度回転パラメ―タの合わせて６次
元での物体の移動を検出して次の物体の動きを予測する
装置に係り、特に移動物体の６次元解析を行うことによ
り、移動物体の追尾やバーチャルリアリティの為の移動
物体６次元解析などに用いられる移動物体追跡装置に関
する。

【０００２】

【従来の技術】従来、文献「Christ Harris ，“Tracki
ng with Rigid Models，”in ActiveVision edited by
Andrew Blake and Alan Yuille ，MIT Press ，1993，p
p．59−74」には、移動する既知形状の物体をトラッキ
ングしながら、物体の３次元空間内の平行運動と回転運
動をカルマンフィルタ(Kalman Filter) を用いて推定す
る技術が示されている。

【０００３】この技術では既知形状物体のモデル特徴線
分と画像から入力された画像線分の対応を検索する手段
において、既知物体のモデル線分上にコントロールポイ
ント（Control Points）を予め設定しておき、トラッキ
ングする物体の予測線画を現時点での対象物の位置姿勢
推定値を用いて作成し、予測線画上に設定されたコント
ロールポイントから抽出された画像線分特徴までの距離
を画像内で計測する。そして、この計測された距離がゼ
ロとなるような対象物の微小回転θ＝（θ_x，θ_y ，θ
_z ）と微小平行移動Δ＝（Δ_x ，Δ_y ，Δ_z ）を算出し
て物体の位置姿勢の推定値の修正を行う。

【０００４】こうして新たに得られた位置姿勢の推定値
と速度の推定値とカルマンフィルタを利用して、次の時
刻での物体の位置姿勢の推定値を算出して、物体のトラ
ッキングを実現している。

【０００５】

【発明が解決しようとする課題】しかしながら、前述の
従来技術に係る移動物体追跡装置にあっては、既知物体
のモデル線分上にコントロールポイントを予め設定して
おき、トラッキングする物体の予測線画を現時点での対
象物の位置姿勢推定値を用いて作成し、予測線画上に設
定されたコントロールポイントから抽出された画像線分
特徴までの距離を画像内で計測するために、予測線画内
のモデル線分特徴と抽出すべき画像線分は充分近くに存
在しなければならず、更に対象物の写っている背景の画
像線分が対応を取るべき対象物の画像線分よりモデル特
徴線分の近くに存在する場合、誤って背景の画像線分と
モデル線分が対応をとる可能性が高い。

【０００６】つまり、予測線画内のモデル線分特徴と抽
出すべき画像線分が離れている場合や背景が複雑な場合
などには、不安定に対象物のトラッキングを行うといっ
た問題があった。

【０００７】本発明は上記問題に鑑みてなされたもの
で、その目的とするところは、モデル特徴線分が抽出す
べき画像線分とある程度離れていて、更に背景が複雑で
対象物と非常に類似している場合においても、迅速且つ
適確に対象物のトラッキングを行うことにある。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明の移動物体追跡装置は、対象物を撮影するカ
メラを有し映像信号を生成する画像入力部と、映像信号
をディジタル画像に変換するディジタル変換部と、ディ
ジタル画像を記憶する画像格納部と、ディジタル画像を
処理する画像処理部と、画像入力部の移動を制御するカ
メラコントロール部を設けた移動物体追跡装置におい
て、上記画像処理部は、対象物の形状モデルをモデル特
徴の形で記憶するモデルデータ格納手段と、上記対象物
の位置姿勢を規定する位置姿勢パラメータの時刻ｔ_n に
おける値ｐ（ｔ_n ）を時刻ｔ_n 以前の時刻ｔ_n-m （m=1,
2,3,…,n;nは整数）において推定された位置姿勢パラメ
ータ値ｐ（ｔ_n-m ）を利用して予測する位置姿勢予測手
段と、上記時刻ｔ_n における位置姿勢パラメータの予測
値とカメラコントロール部が生成する時刻ｔ_n における
カメラの位置姿勢パラメータを利用して、対象物を規定
するモデル特徴のうち撮影される画像で可視と予測され
る少なくとも一部のモデル特徴を選択し、そのモデル特
徴が画像内でとり得るモデルパラメータの予測値を算出
するモデル特徴予測手段と、上記モデルパラメータの予
測値に基いてモデル特徴に対応可能な画像特徴の候補を
画像入力部により撮影された画像内から抽出し、その画
像特徴の画像パラメータを算出する画像特徴抽出手段
と、上記モデル特徴と画像特徴との間の対応を探索し、
対応のとれたモデル特徴のモデルパラメータと画像特徴
の画像パラメータ間の関係を利用して対象物の位置姿勢
パラメータの予測値を更新する特徴対応探索手段とを有
し、上記の処理を各時刻で繰り返しながら対象物の追跡
を行うことを特徴とする。

【０００９】

【作用】即ち、本発明の移動物体追跡装置では、位置姿
勢予測手段が次の時刻における移動物体の位置姿勢パラ
メ―タを予測することで、次の時刻でカメラコントロ―
ル部がカメラを移動制御することによって、移動物体を
カメラで確実に撮影できる。また、モデル特徴予測手段
は、位置姿勢予測手段が予測した移動物体の３次元的位
置と姿勢のパラメ―タを利用することで、そのカメラ画
像で観察される可視のモデル特徴だけを選択し、限定さ
れたモデル特徴だけを選択可能となる。また、それら可
視モデル特徴が画像内に現れる際の取り得るパラメ―タ
の値を予測しかつ制限するために、モデル特徴以外の特
徴を排除し、画像特徴を抽出する領域を減少させること
ができる。このためモデル特徴と画像特徴が対応する可
能性のある特徴だけを優先的に抽出することができる。
一方、画像特徴抽出手段は、上記の可視モデル特徴に類
似した画像特徴だけを制限された領域内で抽出するた
め、画像内に現れる外乱を減少させることができる。さ
らに、この画像特徴抽出手段では、モデル特徴に類似し
た画像特徴を１個ばかりでなく、対応する可能性のある
候補を複数個抽出し、特徴対応探索手段では、これらの
候補のうちで最適なものを、対象物の位置姿勢パラメ―
タの取り得る値を考慮しながら探索するので、誤った候
補を選択する可能性を減少させる。そして、この対応関
係を利用して次の時刻の移動物体の位置姿勢を予測する
といった全体のサイクルを構成するので、安定した移動
対象物の追跡が実現できるのである。かかる作用によ
り、モデル特徴線分が抽出すべき画像特徴線分がある程
度離れていても更に背景が複雑かつ対象物と非常に類似
していても本移動物体追跡装置は、安定且つ高速に対象
物のトラッキングする。

【００１０】

【実施例】以下、図面を参照して、本発明の実施例につ
いて説明する。

【００１１】図１は本発明の第１の実施例に係る移動物
体追跡装置の構成を示すブロック図である。尚、第１の
実施例に係る移動物体追跡装置においては、対象物の形
状が判っているものと仮定して、以下の説明を行うこと
にする。

【００１２】この図１に示されるように、対象物を撮影
する画像入力部（カメラ）１を介して画像は撮像され、
その映像信号６はディジタル変換器２でディジタル画像
信号７に変換される。こうして変換されたディジタル画
像信号７は、一旦、画像格納部（メモリ部）３に格納さ
れ、この格納された画像デ―タ８はデ―タ処理を行う画
像処理部４に送られる。尚、画像処理部４に画像メモリ
に対応する格納部があれば、画像格納部３は画像処理部
４に含まれてもよいことは勿論であり、画像処理部４は
汎用のコンピュ―タシステムでもよいことは勿論であ
る。

【００１３】上記画像処理部４では、カメラの位置姿勢
の情報を算出することができるカメラ姿勢デ―タ１０と
画像デ―タ８とを解析し、その中に撮影された移動物体
を解析することにより、移動物体の位置姿勢に関するパ
ラメ―タから構成される移動物体デ―タ９を算出する。
そして、この移動物体デ―タ９はカメラコントロ―ル部
５に送出される。

【００１４】カメラコントロ―ル部５では、この移動物
体デ―タ９を解析して、移動物体を追跡しながら撮影す
る為にどのようにカメラを移動すればよいかを示すカメ
ラ姿勢デ―タ１０を算出する。そして、該カメラ姿勢デ
―タ１０は画像入力処理部１と画像処理部４とに送出さ
れ、カメラの移動を実行しながらの撮影が行われる。こ
こで、上記画像処理部４では、その処理が図２に示され
る構成要素に基づいて実行される。即ち、画像処理部４
は、対象物である移動物体の３次元モデルデ―タを格納
するモデルデ―タ格納部２０とモデル特徴が画像内でと
り得るパラメ―タの予測をするモデル特徴予測部２１、
画像特徴を抽出する画像特徴抽出部２２、モデル特徴と
画像特徴との対応の探索を行う特徴対応探索部２３、対
象物の位置姿勢パラメ―タを予測する位置姿勢予測部２
４とで構成されている。

【００１５】上記モデルデ―タ格納部２０には、移動物
体の３次元モデルが格納されており、その３次元モデル
デ―タ２５はモデル特徴予測部２１に送られる。モデル
特徴予測部２１は、カメラコントロ―ル部５が算出する
カメラなどの撮影装置の位置姿勢（視点）の情報である
カメラ姿勢デ―タ１０と、対象物の位置や姿勢に関する
情報である対象物の位置姿勢予測パラメ―タ２８と、モ
デルデ―タ格納部２０が送出する３次元モデルデ―タ２
５とを利用して、対象物である移動物体をカメラで撮影
した時に該対象物を規定する特徴がそのカメラ画像でと
り得るパラメ―タと、該パラメ―タがどのように画像内
で誤差を持つかを予測し、該予測値をモデルパラメ―タ
として送出する。

【００１６】こうして予測されたモデルパラメ―タ２６
は、次の画像特徴抽出部２２に送られる。そして、画像
特徴抽出部２２は、その各モデル特徴のモデルパラメ―
タを利用してモデル特徴に対応し得る画像特徴を抽出
し、その画像特徴を規定するパラメ―タである画像パラ
メ―タ２７を測定値とその測定値の誤差分散の推定値の
形で算出する。そして、モデル特徴予測部２１で算出さ
れたモデルパラメ―タ２６と画像特徴抽出部２２で算出
された画像パラメ―タ２７とを利用して、特徴対応探索
部２３は所定の評価式を利用しながら、モデル特徴と画
像特徴間の最適な対応を探索すると同時に、その対応関
係から移動物体の位置姿勢を規定する位置姿勢パラメ―
タの予測値を更新する。この結果である更新された対象
物の位置姿勢パラメ―タ２９の更新値は、位置姿勢予測
部２４に送出される。

【００１７】そして、位置姿勢予測部２４では、次に移
動物体が撮影される時刻における移動物体の位置姿勢を
予測し、該予測値を移動物体デ―タ９としてカメラコン
トロ―ル部５に送ると同時に、該予測値を位置姿勢パラ
メ―タ予測値２８としてモデル特徴予測部２１に送出す
る。

【００１８】以下、上記画像処理部４を構成する各部２
０乃至２４について説明するに先立ち、第１の実施例で
使用する座標系について説明する。

【００１９】対象物が世界座標系（ｘ_w ，ｙ_w ，ｘ_w ）
の中に置かれているとすると、該対象物は世界座標系の
中で、ある位置である姿勢を有して存在することにな
る。

【００２０】従って、対象物の各点を世界座標系
（ｘ_w ，ｙ_w ，ｘ_w ）で表現すためには、対象物の基準
点Ｐ₀ と基準姿勢Ｑ₀ が世界座標系でどのように表現で
きるかを示せばよいことになる。

【００２１】いま、基準原点Ｐ₀ の世界座標系（ｘ_w ，
ｙ_w ，ｚ_w ）での位置をＰ₀ ＝（ｐ_x ，ｐ_y ，ｐ_z ）と
し、基準姿勢Ｑ₀ をＱ₀ ＝（φ_x ，φ_y ，φ_z ）とす
る。

【００２２】ここに、（ｐ_x ，ｐ_y ，ｐ_z ）はＰ₀ の世
界座標系におけるｘ，ｙ，ｚ座標系を表し、φ_x ，
φ_y ，φ_z は図３に示すように、それぞれ世界座標系か
ら見てｘ_w 軸，ｙ_w 軸，ｚ_w 軸に対する回転角度を示し
ている。対象物内の各点Ｐのｘ，ｙ，ｚ座標が局所座標
系でＰ（ｘ_r ，ｙ_r ，ｚ_r ）の値をとるとすると、その
世界座標系での位置（ｘ_w ，ｙ_w ，ｚ_w ）は、

【数１】 と、斉次変換行列Ｈ＝Ｈ（ｐ_x ，ｐ_y ，ｐ_z ；φ_x ，φ
_y ，φ_z ）を用いて示すことができる。ここで、Ｈは、

【数２】 といった移動パラメ―タと回転パラメ―タの項に分解さ
れ、それぞれは、

【数３】 と示される。

【００２３】このように、対象物の各点の世界座標系で
の位置は、対象物の基準原点Ｐ₀ ＝（ｐ_x ，ｐ_y ，
ｐ_z ）と基準姿勢Ｑ₀ ＝（φ_x ，φ_y ，φ_z ）の世界座
標系での表現と、対象物の局所的座標系（ｘ_r ，ｙ_r ，
ｚ_r ）での対象物点の相対座標を利用して示すことがで
きる。

【００２４】次に図２に示す画像処理部４の各部で行わ
れる処理を具体的に説明する。

【００２５】図２に示すモデルデ―タ格納部２０には、
対象物を記述するモデルが格納されており、該対象モデ
ルとしては対象物を多面体として近似したものを利用す
る。図４はこの多面体の一例を示す図である。例えば、
この図４に示すような直方体を表現するには、それを構
成する６個の面である側面１００，上面１０１，側面１
０２，底面１０３，側面１０４，側面１０５を定義し、
次にその面を構成する１２本の稜線１０６乃至１１７を
定義し、最後にそれに稜線を構成する頂点１１８（Ｐ₀
（ｘ₀ ，ｙ₀ ，ｚ₀ ）），…，１２５（Ｐ７（ｘ₇ ，ｙ
₇ ，ｚ₇ ））を定義することになる。いずれにしても、
こうした特徴はそれを記述する座標からなるパラメ―タ
に基づいて表現される。

【００２６】また、このモデル化に際して、その対象物
に対して基準となる、ある一点Ｐ₀（１１８）と基準と
なる回転姿勢Ｑ₀ を考える。例えば、この基準原点Ｐ₀
（１１８）と基準姿勢Ｑ₀ を用いると、対象物の局所座
標系（ｘ_r ，ｙ_r ，ｚ_r ）を構成することができる。

【００２７】この図４に示されるように、Ｐ₀ （１１
８）によって、局所座標系の原点が定義され、Ｑ₀ によ
ってその座標系のｘ_r ，ｙ_r ，ｚ_r 軸の方向が定義され
るのである。対象物を構成する全ての点は、この局所座
標系の３次元点Ｐ（ｘ_r ，ｙ_r，ｚ_r ）として表現する
ことができる。

【００２８】モデルデ―タ格納部２０では、多面体のモ
デルを上記のように３種のデ―タタイプ、即ち、（１）
対象物を構成する面領域、（２）面領域の輪郭を構成す
る稜線、（３）稜線の２端点を構成する頂点を用いる。

【００２９】具体的には、 多面体： ｛面１，面２，…｝ 面１： ｛稜線１，稜線２，稜線３，…｝ 面２： ｛稜線８，稜線９，稜線１０，…｝ 稜線１： ｛点１，点２｝ 稜線２： ｛点３，点４｝ 点１： （ｘ_１，ｙ_１，ｚ_１） 点２： （ｘ_２，ｙ_２，ｚ_２） といった形の階層構造により対象物を定義する。

【００３０】ここで、多面体は、それを構成する面の集
合からなる。この各面である面１，面２等は、その面の
輪郭を構成する稜線から構成される。一方、各稜線は、
その稜線の２端点から構成され、最後の点は、その３次
元座標から構成される。この階層構造を有する多面体デ
―タはモデル特徴予測部２１に送出される。

【００３１】次に図２における位置姿勢予測部２４は、
前時刻の２つの位置姿勢パラメ―タを利用して次時刻で
の位置姿勢パラメ―タを予測するものである。時刻を表
すインデックスをｋとして、前時刻とその１時刻前をｔ
_k-2 とｔ_k-1 とした場合、これら前時刻での上記位置姿
勢パラメ―タのそれぞれの時刻の値をｐ(k-2),ｐ(k-1)
とする。このとき、ｋ＞３ならば、ｐ(k-2),ｐ(k-1) の
値を利用して、ｐ(k)の値を予測する。尚、予測手段と
しては、例えば次式に表される線形予測による方法が考
えられる。

【００３２】

【数４】 ここに、ε(k) は対象物の運動に関する予測しきれない
誤差要素を示し、ａ，ｂは定数である。このようにし
て、線形予測ができると、該予測値ｐ(k) に関して、そ
の予測値の誤差の期待値と誤差の分散値を考えることが
できる。ここでいう誤差とは、上記式におけるε(k) に
関するものである。これらの予測値の誤差の期待値と分
散は対象となる移動物体の性質によるものである。

【００３３】本実施例では、移動物体毎に該予測値の誤
差の期待値と誤差分散の性質が予め判っていると仮定す
る。ε(k) は６次元ベクトルであるので、その期待値も
６次元ベクトルとなり、誤差分散は６×６の共分散行列
で表現することができる。

【００３４】いま、このε(k) の期待値をε_m (k) と
し、その誤差共分散行列をＢ(k) で表すこととする。こ
れらの予測誤差の期待値と誤差共分散行列が求められる
と、時刻ｋにおけるｐ(k) の予測の期待値と誤差共分散
行列を求めることがきる。

【００３５】これは、位置姿勢予測部２４において時々
刻々ｐ(k) の予測値の期待値と誤差共分散行列を算出す
ることになる。これからｐ(k-1) とｐ(k-2) における予
測値の期待値と誤差共分散行列が与えられたときに、ど
のようにしてｐ(k) の予測期待値と誤差共分散行列を算
出するかについて解説する。尚、ｐ(k) の予測期待値を
ｐ_m (k) とし、その誤差共分散行列をΣ(k) とする。

【００３６】いま、ｐ(k-1),ｐ(k-2) において、特徴対
応探索部が算出した予測期待値の更新値と誤差共分散行
列の更新値をｐ_m (k-1),ｐ_m (k-2),Σ(k-1),Σ(k-2) と
し、このときの予測期待値ｐ_m (k) を算出する方法につ
いて説明する。

【００３７】上記（４）式において、期待値のオペレー
タＥ［］をとることにより、 ｐ_m (k) ＝Ｅ [ｐ(k)]＝ａｐ_m (k-1) ＋ｂｐ_m (k-2) ＋
ε_m (k) を求めることができる。

【００３８】一方、ε(k) の誤差共分散行列に関しては
以下の２通りについて説明する。

【００３９】第１の場合はｐ(k-1) とｐ(k-2) の誤差の
大きさがε(k) の誤差に比べて小さい場合である。この
場合には、ｐ(k) の誤差共分散行列はε(k）の誤差共分
散行列により近似することができる。

【００４０】即ち、 Σ(k) ＝Ｂ(K) とおくことができる。

【００４１】第２の場合はｐ(k-1) とｐ(k-2) の誤差間
の相関が小さい場合である。一般的に、特徴対応探索部
２３では、各時刻位置姿勢の更新が行われるので、ｐ(k
-1)とｐ(k-2) の誤差間の相関は小さくなることが予期
される。この時には、ｐ(k)の誤差共分散行列Σ(k)
は、 Σ(k) ＝ａ² Σ(k-1) ＋ｂ² Σ(k-2) ＋Ｂ(K) により近似することができる。ｐ(k-1) とｐ(k-2) の誤
差の間の相関が無視できないときには、式（４）に立ち
返ってΣ(k) を計算できるのは勿論である。

【００４２】このように、第１の実施例では予測期待値
とその誤差共分散行列を利用して、各種パラメ―タの予
測値を表現する。位置姿勢予測部２４は、この予測期待
値と誤差の共分散行列を予測値として別の部に送出す
る。

【００４３】ここで、先に図１に示した第１の実施例で
使用されるカメラコントロ―ル部５と画像入力部１につ
いて説明する。画像入力部１は、対象物体の移動に伴っ
て、その対象物体が撮影できるような自動移動機構が装
着されている。

【００４４】図５は画像入力部１の構成を示した図であ
る。画像入力部１は、画像を撮影するカメラ１３０と、
カメラの位置姿勢を移動させる自動移動機構である回転
装置と移動装置１３１乃至１３３とからなる。ここで、
回転装置１３１，１３２は、それぞれｘ軸とｙ軸に関す
る回転を行わせる回転装置であり、移動装置１３３はｚ
軸方向の移動を行うための移動装置である。尚、これら
回転装置１３１，１３２と移動装置１３３は、カメラコ
ントロ―ル部５からのカメラ姿勢デ―タにより駆動され
る。

【００４５】そして、カメラコントロ―ル部５は、画像
処理部４の位置姿勢予測部２４が時々刻々予測する移動
物体の位置姿勢パラメ―タに基づいて、画像入力部１を
どの位置姿勢に移動すべきかを制御するカメラ姿勢デ―
タ１０を算出する。

【００４６】この図５に示す自動移動機構１３１乃至１
３３では、画像入力部１内のカメラの位置と姿勢が３自
由度で変更できるようになっている。さらに、この図５
に示される３自由度ではカメラの位置姿勢をｘ軸の回転
Ψ_x とｙ軸の回転Ψ_y とｚ軸方向の移動ｄ_z により制御
できるようになっている。これらの制御機構の動作は正
確で再現性のあるものであると仮定する。この仮定の下
では、カメラが有するカメラ座標系での点（ｘ，ｙ，
ｚ）と回転Ψ_x ，Ψ_y と移動ｄ_z により変換された座標
系における対応点（ｘ_c ，ｙ_c ，ｚ_c ）との関係は、

【数５】 によって示される。ここに、Ｍはカメラの移動を表す変
換行列であり、Ψ_x ，Ψ_y ，ｄ_z の関数であり、具体的
には、

【数６】 と示される。

【００４７】そして、回転後の座標系内の点（ｘ_c ，ｙ
_c ，ｚ_c ）をカメラで撮影したときには、その対応する
画像点（ｕ，ｖ）は、

【数７】 により表現することができる。ここで、カメラはピンホ
―ル型のカメラでモデル化した。また、ｗは遠近効果を
表すパラメ―タであり、ｕ，ｖの値はｕ＝ｕｗ／ｗ，ｖ
＝ｖｗ／ｗにより算出できる。さらに、Ｃは３×４のカ
メラ較正行列であり、カメラの焦点距離ｆや固定された
カメラ位置に関するパラメ―タに関する関数である。例
えばズ―ム機構が装着されているカメラシステムでは、
上記のＣをカメラ焦点距離ｆにより較正することによ
り、３次元点（ｘ_c ，ｙ_c ，ｚ_c ）とカメラ画像内の点
（ｕ，ｖ）との対応を取ることができる。

【００４８】即ち、Ｃは、

【数８】 といった形の関数として示されるので、行列Ｃの要素を
ｆの関数として較正することができる。従って、ズ―ム
機能はこのカメラ較正行列だけを変更することにより、
座標系の変換を考えることができる。

【００４９】さらに、回転前のカメラ座標系での３次元
点（ｘ，ｙ，ｚ）を回転後のカメラ座標系で観察したと
きに、その画像点（ｕ，ｖ）との対応関係は、

【数９】 により示される。

【００５０】第１の実施例ではカメラの座標系を３個の
パラメ―タとズ―ムに関する焦点距離ｆの関数として示
したが、こうした座標系の取り方は上記の方法だけによ
るものではない。即ち、カメラを移動させるｓ自由度の
移動軸等を制御するパラメ―タをｍ＝（ｍ₁ ，ｍ₂ ，
…，ｍ_s ）とすれば、行列Ｍはｍの関数として、Ｍ＝Ｍ
（ｍ）という関数形で表現することができる。

【００５１】さて、カメラコントロ―ル部５では、位置
姿勢予測部２４が算出した次時刻における対象物の位置
姿勢パラメ―タの予測値の期待値を利用して、カメラの
コントロ―ルを行う。具体的には、対象物の重心の位置
を（ｘ_g ，ｙ_g ，ｚ_g ）として、その画像内の位置が画
像内の中心（ｕ_g ，ｖ_g ）になるようにカメラを移動す
る。この計算のためには、

【数１０】 となるカメラ移動パラメ―タｍを算出すればよい。この
算出にあたって、カメラの移動パラメ―タｍの次元が上
式の制約条件数の２より大きいときには、解は一意に定
まらない問題点があるが、そのときは現時点から次時点
までの移動距離が最小になるような解ｍを求めればよ
い。

【００５２】即ち、現時刻のカメラ移動パラメ―タをｍ
₀ としたとき、

【数１１】 を最小とするｍで制約式（１０）を満たすものを解とし
て求めればよい。

【００５３】この解法は、非線形方程式の最適解として
求められることは明確である。このようにして算出され
たカメラ移動パラメ―タｍ₁ ，ｍ₂ ，…，ｍ_s は、カメ
ラ移動デ―タとして、画像入力部１に装着されている自
動移動機構１３１，１３２，１３３に送出され、画像入
力部１ではカメラの移動が行われる。

【００５４】次に図２に示すモデル特徴予測部２１で
は、モデルデ―タ格納部２０が格納している３次元モデ
ルデ―タ２５と、位置姿勢予測部２４が算出する対象物
の位置姿勢予測パラメ―タ２８を利用して、カメラ画像
内で可視と思わるモデル特徴を選択し、そのモデル特徴
がカメラ画像内のどの位置に存在するかを予測する。

【００５５】そして、このモデル特徴に関する３種類の
モデルパラメ―タ２６を画像特徴抽出部２２と特徴対応
探索部２３に送出する。以下、この３種類のモデルパラ
メ―タ２６がどのようなものかを説明する。

【００５６】対象物の基準となる位置Ｐ₀ と姿勢Ｑ₀ の
世界座標系での表現に対して推定値を利用することがで
きる。

【００５７】具体的には、ｐ(k) ＝（ｐ_x ，ｐ_y ，
ｐ_z ；φ_x ，φ_y ，φ_z ）で使用される６個のパラメ―
タを確率的に表現したり、ある領域制限を用いて示すこ
とができる。こうしたパラメ―タを確率的に表現する方
法は、先に位置姿勢予測部２４で説明したように、（ｐ
_x ，ｐ_y ，ｐ_z ；φ_x ，φ_y ，φ_z ）の予測値の期待値
とその誤差の共分散行列を用いるものである。こうした
確率的な表現を利用すると、更に適当な閾値を用いるこ
とでパラメ―タの存在範囲を制限することができる。
いま、ｐの予測期待値ｐ_m とｐの誤差共分散行列Σを利
用すると、適当な閾値ｄを利用して、

【数１２】 なる集合を定義すると、閾値ｄを制御することによって
ｐの存在する範囲を制限することができる。第１の実施
例では、この領域のことを位置姿勢パラメ―タ限定領域
と称する。

【００５８】先に説明したように、第１の実施例では、
対象物を認識するときには、各時刻毎に対象となる移動
物体の位置や姿勢の予測値と誤差共分散行列が推定でき
ると仮定している。このような場合、モデル特徴予測部
２１では、対象物を撮影装置（カメラ等）の位置や姿勢
情報と移動物体の位置や姿勢の推定値の情報とに基づい
て、対象物がどのように撮影装置に映るかを予測する。
これは、例えば対象物は３次元的に位置するところの平
均的予測値ｐ_m を利用して、対象モデルから予測画像を
生成する方法によって実現することができる。

【００５９】こうした予測画像を生成する方法について
は文献「O.I.Camps ，L.G.Snapiro，and R.M.Haralic
k，“Object Recognition using Prediction and Proba
bilistic Matching，”Proceedings of the 1992 IEEE
International Conference onIntelligent Robots and
Systems ，Raleign ，NC，1992，pp．1044−1052．」に
記述されているように、対象物のモデルを利用すること
により実現できる。

【００６０】ここで、多面体を例にとって、こうした予
測図が生成される過程について説明する。モデルデ―タ
格納部２０が格納している３次元モテルデ―タ２５は、
多面体を面要素、稜線要素、点要素の階層構造で表現す
ることを先に述べた。

【００６１】多面体の場合には、各面を構成するのはそ
の境界を表す線分である。従って、予測図では、そうし
た線分のどの部分がカメラが置かれている視点から見え
るか否か（可視か、不可視か）を決定すればよい。

【００６２】これを実現するために、各線分上の点と視
点とを結ぶ線分が他の面と交差するか否かを順次調べ、
いずれの面とも交差しなければ、その点は可視な点とし
て登録してゆくという方法を取ることにより予測画を生
成することができる。

【００６３】ここで、図６はその出力例を示したもので
ある。この図６に示されるように、２３本の線分１４０
乃至１６２が可視線分として選択される。これらの線分
は各々の線分を構成する２端点の座標によって表現され
る。

【００６４】例えば可視線分１４０の場合には、その２
端点あるＰ₀ ( ｘ0,ｙ0,ｚ0 ) （符号１６３）とＰ₁ (
ｘ1,ｙ1,ｚ1)（符号１６４）によって表現される。そし
て、こうして一つの予測画像が生成されると、次にその
予測画像から対象物を規定する特徴を選択することがで
きる。この特徴としては、特徴点や線分或いは曲線など
を考えることができる。

【００６５】第１の実施例では、モデル特徴として、図
６に示される直線成分（線分）をモデル特徴として利用
する。このように算出されるモデル特徴である線分の端
点の３次元座標が第１種のモデルパラメ―タとして、画
像特徴抽出部２２と特徴対応探索部２３に送出される。

【００６６】次のステップでは、こうしたモデル特徴が
画像内またはパラメ―タ空間内でどのような特徴を示す
かを説明する。いま、対象物の特徴を規定する対象物の
局所座標系でのパラメ―タをｓとする。尚、話を簡単に
するために、モデル特徴となる線分の端点Ｐの座標につ
いて考える。そして、対象物局所座標系での位置座標ｓ
＝（ｘ，ｙ，ｚ）を有する３次元点Ｐに関して、その点
をカメラによって観察する場合を考える。

【００６７】世界座標系での対象物の位置Ｐ₀ と姿勢Ｑ
₀ が不確定であるために、カメラでこの点Ｐを観察する
と、その像のカメラ画像内で予測される位置と姿勢も不
確定となる。それが、どの程度不確定かを表現するため
には、対象物の原点の位置姿勢パラメ―タが有するＰ₀
とＱ₀ の予測誤差共分散行列をカメラ画像内の像に伝播
すればよい。

【００６８】文献２「A.Kosaka and A.C.Kak，“Fast v
ision-guided mobile robot navigation using model-b
ased reasoning and prediction of uncertainties，
“Computer Vision ，Graphics，and Image Processing
--Image Understanding ，November 1992,271-329」に
示されているように、先ず対象局所座標系での３次元点
Ｐ：ｓ＝（ｘ，ｙ，ｚ）と、そのカメラ像Ｐ′との関係
を定式化する。

【００６９】簡単のために、撮影装置をＴＶカメラとし
て、それをピンホ―ル型のカメラとしてモデル化したも
のとし、更にカメラが正しく較正されているとすると、
カメラ画像内の点Ｐ′の位置ｑ＝（ｕ，ｖ）は、

【数１３】 となる。ここに、Ｃ＝（ｃ_ij）（ｉ＝１，２，３；ｊ＝
１，２，３，４）はカメラ較正行列と呼ばれ３×４の実
行列である。そして、Ｍ＝Ｍ（ｍ₁ ，ｍ₂ ，…，ｍ_n ）
は、世界座標の原点に対するカメラの移動を表すカメラ
移動行列であり、ｍ₁ ，ｍ₂ ，…，ｍ_n はその移動パラ
メ―タを示す。さらに、Ｈ＝Ｈ（ｐ_x ，ｐ_y ，ｐ_z ；φ
_x ，φ_y ，φ_z ）は４×４の行列、上記（２），（３）
式に示される対象物局所座標系から世界座標系への変換
行列である。ここでは、計算を簡単にするために、Ｔ＝
（ｔ_ij）＝ＣＭとおく。ｗは遠近効果を表すパラメ―タ
であり、実際の画像内の位置ｑ（ｕ，ｖ）は（ｕｗ／
ｗ，ｖｗ／ｗ）の演算によって得ることができる。

【００７０】さて、Ｐ₀ とＱ₀ の予測に含まれている誤
差成分を３次元点Ｐのカメラ像ｑ＝（ｕ，ｖ）に伝播す
るためには、先ずＰ₀ とＱ₀ が持つ予測の不確定さをｐ
の予測期待値ｐ_m とｐの誤差共分散行列Σによって表現
しておく。この方法に関しては前述した通りである。

【００７１】すると、ｑ＝（ｕ，ｖ）の予測期待値ｑ_m
＝（ｕ_m ，ｖ_m ）は、遠近効果を表すパラメ―タｗの期
待値ｗ_m を利用して、

【数１４】 で求められる。さらに、上記（１３）式を変形し、ｗ_m
の項を除去した後、ｕ_m，ｖ_m をｐの関数として表す。
その後、その方程式に関して、ｐ_m ，ｑ_m ＝（ｕ_m ，ｖ
_m ）のまわりでの変分δｐ＝ｐ−ｐ_m ，δｑ＝ｑ−ｑ_m
を考えれば、

【数１５】 と示される。ここで、Ｆは（ｕ_m ，ｖ_m ）のｐ_m に対す
るJacobi行列である。

【００７２】ｑの誤差共分散行列Ωは、期待値をとるオ
ペレ―タをＥ［^* ］とすると、

【数１６】 と示される。ここでは、対象物の位置姿勢パラメ―タｐ
の誤差共分散に関する次式で示される関係を用いた。

【００７３】

【数１７】 以上のように、ｑ＝（ｕ，ｖ）の予測期待値とその誤差
共分散行列を求めることができる。さらに、このｑ＝
（ｕ，ｖ）の予測期待値と誤差共分散行列に基づいて、
ｑの存在する範囲を確率的に制限することができる。

【００７４】例えば、

【数１８】 で示される空間を定義し、ある閾値ｄを制御変数とし
て、領域をＡ（ｑ_m ，Σ_q；ｄ）によって制限すればよ
い。ここで、制御変数ｄを大きくとれば、より大きな確
率でｑはＡ（ｑ_m ，Σ_q ；ｄ）の中に含まれることにな
る。

【００７５】第１の実施例では、このようにして制限さ
れる画像内限定領域のことを画像探索限定領域と称す
る。

【００７６】以上の説明では、３次元点に対して、その
画像内の予測できる位置の期待値とその誤差成分の算出
を説明した。実際に、本実施例で用いるモデル特徴は、
線分特徴であるので、線分自体が画像内で存在し得ると
予測できる領域も限定する必要がある。これを行うため
には、まずモデル特徴である線分の各端点に関して、カ
メラ画像内の画像探索限定領域を求め、それらを組み合
わせることにより直線の画像探索限定領域を実現するこ
とができる。

【００７７】ここで、図７はこの方法を示す図である。
即ち、図７（ａ）は、直線成分１７０の２端点Ｐ₁ （１
７１）とＰ₂ （１７２）の画像探索限定領域１７３，１
７４が構築される。図７（ｂ）は、これら端点１７１，
１７２の画像探索限定領域１７３，１７４から、それを
含む凸閉包を作り、それを直線成分１７０（Ｐ₁ Ｐ₂）
のが画像探索限定領域１７５とするものである。

【００７８】この画像探索限定領域は必ずしも、図７に
示されるように、最小の閉領域で構成する必要はない。
例えば、図７（ｃ）に示されるように、直方領域１７６
で近似しても構わない。このようにして算出される画像
探索限定領域は、第２種のモデルパラメ―タとして画像
特徴抽出部２２と特徴対応探索部２３に送出される。直
線成分の抽出に関しては、ハフ変換が有効な部であるこ
とが知られている（文献２「A.Kosaka and A.C.Kak，
“Fast vision-guided mobile robot navigation using
model-based reasoning and prediction of uncertain
ties，“Computer Vision ，Graphics，and Image Proc
essing--Image Understanding ，November 1992 ， 271
-329」に記載）。

【００７９】さらに、予め直線成分は３次元空間内で、

【数１９】 と示される。ここに、［ｘ₁ ，ｙ₁ ，ｚ₁ ］^T と
［ｘ₂ ，ｙ₂ ，ｚ₂ ］^T は直線上の任意の２点、ｔは媒
介変数である。こうした３次元上の直線をピンホ―ルモ
デルで近似できるカメラで撮影すると、その撮影像は直
線としてカメラ画像上に現れる。

【００８０】ここで、図８に示されるように、上記直線
１８０を原点１８１からの距離ρ（１８２）と、直線の
法線の方向γ（１８３）によって表現したのがハフ変換
であり、（ρ，γ）が作る空間はハフ空間と称される。
対象物の位置と姿勢の基準パラメ―タＰ₀ とＱ₀ の値が
不確定のときには、こうしたハフ変換のパラメ―タのカ
メラ画像内での値も不確定となる。

【００８１】ところで、前述したように、Ｐ₀ とＱ₀ の
位置姿勢パラメ―タ限定領域をハフ空間パラメ―タに伝
播することにより、ハフ空間パラメ―タの画像探索限定
領域も計算することができる。

【００８２】いま、このｑ＝（ρ，γ）の対応するパラ
メ―タの予測期待値をｑ_m ＝（ρ_m，γ_m ）、誤差共分
散行列をΩとする。ハフ空間パラメ―タ等のパラメ―タ
に関連する画像探索限定領域を計算するためには、以下
のような方法（１）乃至（４）を取ればよい。

【００８３】（１）位置姿勢予測部２４から対象物の予
測された位置姿勢パラメ―タを受け取って、例えばその
値をｐとする。そして、このｐに関する予測期待値ｐ_m
と誤差共分散行列Σを受け取る。

【００８４】（２）モデルデータ格納部２０から対象物
のモデル特徴を線分の端点の座標パラメ―タとして受け
取る。そのパラメ―タは、対象物の局所座標系で表現さ
れるものである。そして、例えば該モデル特徴のパラメ
―タをｓとする。

【００８５】（３）モデル特徴に対応するカメラ画像内
での可視モデル特徴線分を選択し、その特徴をカメラ画
像内で表現するためのハフ空間パラメ―タｑを設定す
る。

【００８６】（４）ｓ，ｑ，ｐを関連づけるパラメ―タ
間の方程式ｆ（ｓ，ｑ，ｐ）＝０を求める。次に、ハフ
空間パラメ―タｑに関連する予測値を計算する。先ず期
待値ｑ_m を求めるには、方程式、

【数２０】 を解けばよい。一方、共分散行列Ωを求めるためには、
ｆ（ｓ，ｑ，ｐ）＝０の方程式の予測期待値ｐ_m ，ｑ_m
のまわりでの変分をとることで求められる。

【００８７】具体的には、

【数２１】 の変分方程式において、ｆ（ｓ，ｑ_m ，ｐ_m ）＝０であ
ることを利用すると、

【数２２】 を利用することができ、最後に、

【数２３】 といった線形方程式によって、変分δｑを変分δｐによ
って表現することができる。いま、前式の変換行列の部
分をＦで表すと、 δｑ＝Ｆδｐ （２６） で表現される方程式が求められ、このことからｑの誤差
共分散行列Σ_q は、 Ω＝ＦΣＦ^T （２７） の形で示される。その後、適当な閾値ｄを選択して、式
（１８）で示されるようなパラメ―タ領域Ａ（ｑ_m ，Σ
_q ；ｄ）を算出する。

【００８８】一旦、ハフ空間パラメ―タの予測期待値と
誤差共分散行列から生成される画像探索限定領域は、

【数２４】 の形で示される。尚、第１の実施例では、上記のハフ空
間内での画像探索限定領域のことをハフ空間探索限定領
域と称することにする。

【００８９】次に図９はハフ空間探索限定領域１８４を
示す図である。前述のようにして算出されるハフ空間探
索限定領域は、第３種のモデルパラメ―タとして、画像
特徴抽出部と特徴探索部に送出される。

【００９０】実際に直線成分であるモデル特徴を画像内
から抽出するためには、このように限定した領域の範囲
だけについて、対応する直線成分を抽出すればよいこと
になる。このことは、後に画像特徴抽出部２２の説明で
詳細に説明する。このようにして、モデル特徴予測部２
１で対象物を規定する特徴がどのような見え方をし、そ
の特徴を表現するパラメ―タがどのような値を取り得る
かが計算される。

【００９１】以上の説明をまとめると、モデル特徴予測
部２１では３種のパラメ―タを予測し、それをモデルパ
ラメ―タ２６として画像特徴抽出部２２と特徴対応探索
部２３に送出することになる。

【００９２】これら３種のモデルパラメ―タ２６とは、 （１）可視線分の端点の３次元座標 （２）上記（１８）式で示される線分の端点の画像探索
限定領域 （３）上記（２６）式で示される線分のハフ空間探索限
定領域 である。これらのモデルパラメ―タは、画像特徴抽出部
２２において画像内からモデル特徴を抽出する際に利用
される。

【００９３】次に図２における画像特徴抽出部２２では
モデル特徴予測部２１で選択されたモデル特徴に対応す
る画像特徴をカメラ画像の中から抽出することが行われ
る。ここでは、Ｐ₁ ，Ｐ₂ を端点とする直線成分Ｐ₁ ，
Ｐ₂ の抽出を例として説明する。モデル特徴予測部で作
られた線分に関する情報で画像特徴抽出部２２が利用す
るのは、 （１）線分の端点のカメラ画像内での位置の画像探索限
定領域 （２）線分のハフ変換パラメ―タのハフ空間探索限定領
域 の２点である。以下、画像特徴抽出部が、こうした情報
を利用して、どのようにして直線成分の画像特徴を抽出
するかについて説明する。

【００９４】直線成分の画像特徴を抽出するには、以下
のような方法を用いる。

【００９５】（１）直線成分のハフ空間探索限定領域に
対応するハフ累積行列Ｄ（ρ，γ）を用意する。ここ
で、ハフ空間は適当に離散化しておく。この行列の大き
さは、ハフ変換パラメ―タの限定された大きさに対応す
る。例えば、いまρの取り得る範囲を［ρ_min ，
ρ_max ］、γの取り得る範囲を［γ_min ，γ_max ］の長
方領域で近似すれば、この行列は、上記のρ，γの範囲
を包含するものであればよい。そして、次に該ハフ累積
行列Ｄ（ρ，γ）を零初期化する。

【００９６】（２）限定された画像空間を長方領域［ｕ
_min ，ｕ_max ］×［ｖ_min ，ｖ_max ］で近似し、その領
域に対して、所望の直線の平均的傾き（ハフ空間パラメ
―タγは直線成分の法線方向を表すので、γに直交する
方向が直線成分の傾きに相当する）に特に感度のある微
分オペレ―タを施す。こうしたオペレ―タの例は、例え
ば文献３「R.M.Haralick and L.G.Shapiro，Computer a
nd Rpbot Vision ，Addison Wesley，1992，pp． 371-4
52」の第８章に示されているように、線形型のフィルタ
で構成することができる。この特別なフィルタを適用す
るのは、できるだけノイズの影響を抑えて、所望の方向
の直線成分を検出するためである。そしてこのフィルタ
を限定された画像領域に適用する。フィルタの出力の絶
対値がある閾値より大きな画素（ｕ，ｖ）に関しては、
その画素は直線成分に対応するエッジを構成する可能性
があると考え、γの取り得る全ての範囲の角度方向につ
いてそれに対応するρを計算する。即ちγをγ_min から
γ_max まで値を変えながら、 ρ＝ｕcos γ＋ｖsin γ （２９） を計算し、それに対応する（ρ，γ）のハフ累積行列の
値Ｄ（ρ，γ）を１増やす。以上のことを、限定された
画像領域内の全ての画素について繰り返す。

【００９７】（３）ハフ累積行列Ｄ（ρ，γ）の中から
ピ―クを捜し、そのピ―クに対応する直線成分を限定さ
れた画像内で本当に直線成分として存在する時には、そ
のピ―クに対応する直線成分として登録する。この
（３）の操作をある所望の直線成分が検出できるか、あ
る一定以上の大きさのピ―クを検出できるまで繰り返
す。

【００９８】ハフ変換により画像特徴である直線成分を
抽出することができるが、こうして抽出された画像特徴
はハフ空間のパラメ―タによって測定される。この測定
値（ρ，γ）には、勿論、誤差成分が含まれている可能
性がある。こうした誤差成分の大きさは予め推定するこ
とができる。ここでは、このような誤差成分をその推定
誤差共分散行列Λで示す。

【００９９】この結果、画像特徴抽出部２２が特徴対応
探索部２３へ出力する画像パラメ―タ２７は、各モデル
特徴に対応する画像特徴の候補についてのハフパラメ―
タの測定値ｒ＝（ρ，γ）とその測定値に関する推定誤
差共分散行列Λとなる。

【０１００】次に図２における特徴対応探索部２３の処
理について説明する。

【０１０１】上記画像特徴抽出部２２により抽出された
画像特徴候補は、画像パラメ―タとして特徴対応探索部
２３に送出されるが、その候補は各モデル特徴について
複数個存在する可能性がある。

【０１０２】この図２における特徴対応探索部２３は、
各モデル特徴について最適な画像特徴を選択し、その結
果を用いて対象物の位置姿勢パラメ―タの予測値を更新
し、その予測値２９を位置姿勢予測部２４へ送出するも
のである。

【０１０３】以下の説明では、モデル特徴の名称と画像
特徴の名称をそのパラメ―タ値を持って表現することに
する。例えば、モデル特徴パラメ―タｓによって規定さ
れるモデル特徴のことを簡略的にモデル特徴ｓと称し、
画像特徴パラメ―タｒによって規定される画像特徴のこ
とを簡略的に画像特徴ｒと称することにする。

【０１０４】先ずこのような場合における最適な対応探
索について説明する。この説明をするために、モデル特
徴はｓ₁ ，ｓ₂ ，…，ｓ_n で表され、各モデル特徴ｓ_i
について、画像特徴抽出部２２で抽出された画像特徴候
補がｍ_i 個であり、それは｛ｒ_i ¹ ，ｒ_i ² ，…，ｒ_i
^mi｝で示されるものとする。

【０１０５】このとき対応関係とは、 （ｓ₁ ，ｒ₁ ），（ｓ₂ ，ｒ₂ ），…，（ｓ_n ，ｒ_n ） （３０） で示されるようなｒ₁ ，ｒ₂ ，…，ｒ_n を、それぞれ
｛ｒ₁ ¹ ，ｒ₁ ² ，…，ｒ₁ ^m1，nil ｝，｛ｒ₂ ¹ ，ｒ
₂ ² ，…，ｒ₂ ^m2，nil ｝，｛ｒ_n ¹ ，ｒ_n ² ，…，ｒ
_n ^nm，nil ｝から選択することになる。

【０１０６】ここで、各候補の集合に含まれているnil
のシンボルは、モデル特徴に対応する画像特徴候補がな
いことを表すものである。

【０１０７】このようなnil を含めて対応を考えるの
は、遮蔽等の影響でモデル特徴が他の物体に覆い隠され
ているために対応する画像特徴が抽出できない場合やノ
イズ等の影響で正しいパラメ―タが算出できない場合等
に対処するためのものである。一方、最適な対応を探索
するために、所定の評価式を導入する。

【０１０８】ここで、最適性を評価としては、文献２
「A.Kosaka and A.C.Kak，“Fast vision-guided mobil
e robot navigation using model-based reasoning and
prediction of uncertainties，”Computer Vision ，
Graphics，and Image Processing--Image Understandin
g ，November 1992,271-329 」に記載されているのと同
様な評価の方法をとる。

【０１０９】即ち、（ｓ₁ ，ｒ₁ ），（ｓ₂ ，ｒ₂ ），
…，（ｓ_n ，ｒ_n ）で示されるモデル特徴ｓ_i と画像特
徴候補ｒ_i の組について、ｒ_i がnil となる数が最も少
なく、且つ、これらの（ｓ₁ ，ｒ₁ ），（ｓ₂ ，
ｒ₂ ），…，（ｓ_n ，ｒ_n ）の間で評価されるある評価
関数Ｄが最適となる組み合わせを最適解とする。

【０１１０】上記の文献２では、このような最適な対応
探索を行う方法を詳述している。

【０１１１】この方法はカルマンフィルタを利用して対
象物の位置姿勢パラメ―タの予測値を更新することで、
その予測値に含まれる誤差分散を減少させ、各モデル特
徴に対応可能な画像特徴候補の数を減少させるアルゴリ
ズムを利用している。

【０１１２】そして、このアルゴリズムを対応探索の探
索空間で最適な解が発見できるまで実行している。先
ず、この方法で最適解を定義するために、その評価関数
Ｄをいかに作成するかについて説明する。

【０１１３】いま、対象物の位置姿勢パラメ―タの予測
値ｐ＝（ｐ_m ，Σ）が与えられているとき、ｓで表され
るモデル特徴がｒで表される画像特徴が対応する確率
を、 prob（ｓ→ｒ｜ｐ） （３１） と定義する。

【０１１４】対象物の位置姿勢パラメ―タの予測値ｐ＝
（ｐ_m ，Σ）とモデル特徴パラメ―タｓが加えられる
と、画像特徴パラメ―タの予測値を算出することができ
る。

【０１１５】そのパラメ―タをｑ＝（ｑ_m ，Ω）とする
と、ｒが期待値ｑ_m に近ければ近い程、高い確率でモデ
ル特徴ｓが画像特徴ｒに対応すると考えることがきるの
で、この確率を平均がｑ_m で分散行列がΩの正規分布で
近似する。

【０１１６】即ち、

【数２５】 により定義するのである。

【０１１７】次に２個のモデル特徴ｓ₁ ，ｓ₂ と２個の
画像特徴候補ｒ₁ ，ｒ₂ とが対応する確率を考えると、
式（３１）を拡張して、

【数２６】 で示される。

【０１１８】上式の第２項の条件付き確率は、モデル特
徴ｓ₁ が画像特徴候補ｒ₁ と対応すると仮定したとき
に、モデル特徴ｓ₂ が画像特徴候補ｒ₂ に対応する確率
を示したものである。

【０１１９】ここで、実際にこの条件付き確率を考え
る。対象物の位置姿勢パラメ―タｐ、モデル特徴を表す
パラメ―タｓ，モデル特徴に対応する画像特徴パラメ―
タをｑとすると、この３個のパラメ―タ間には以下のよ
うな非線形制約式が成立する。 ｆ（ｓ，ｑ，ｐ）＝０ （３４） 例えば、モデル特徴として２端点（ｘ₁ ，ｙ₁ ，
ｚ₁ ），（ｘ₂ ，ｙ₂ ，ｚ₂）からなる線分を取り上げ
ると、その画像特徴は線分として扱うことができ、その
ハフパラメ―タをｑとすれば、 ｓ＝（ｘ₁ ，ｙ₁ ，ｚ₁ ；ｘ₂ ，ｙ₂ ，ｚ₂ ），ｑ＝（ρ，γ）（３５） として扱うことができる。

【０１２０】対象物の位置姿勢パラメ―タｐ＝（ｐ_x ，
ｐ_y ，ｐ_z ，φ_x ，φ_y ，φ_z ）について考えると、上
記（３４）式は、

【数２７】 で示される。このような制約式に対して、パラメ―タｓ
で規定されるモデル特徴とパラメ―タｑで規定される画
像特徴が対応することが判ったならば、その値を上式に
代入することによりｐの値を算出することができる。

【０１２１】しかしながら、実際には画像特徴を規定す
るパラメ―タｑの値には、測定誤差が含まれているため
に上式は必ずしも成立するとは限らない。

【０１２２】これに対して、先に説明した第１の実施例
で扱うような問題ではｐには予測値ｐ_m とその誤差成分
の共分散行列Σが存在し、またｑの測定値ｒがどの程度
の誤差成分を含むかを予め測定しておくことができる。
その誤差成分としては測定値ｒをその平均値で、その誤
差成分を誤差共分散行列Λで表現することができる。文
献２「A.Kosaka and A.C.Kak，“Fast vision-guided m
obile robot navigation using model-based reasoning
and prediction of uncertainties，”Computer Visio
n ，Graphics，and Image Processing--Image Understa
nding ，November 1992,271-329 」に記載されているよ
うに、上記（３４）式で示されるようなモデル特徴ｓと
画像特徴ｒが対応し、対象物の位置姿勢パラメ―タの予
測値が与えられているときには、条件の部分に含まれる
対象物の位置姿勢パラメ―タを更新すると解釈すること
ができる。

【０１２３】このような解釈を実現する方法としては、
カルマンフィルタの利用がある。このフィルタでは、モ
デル特徴と画像特徴の各対応関係が形成する上記（３
４）式で表される制約式を利用して、１個１個の対応が
確定すると同時にもとの対象物の位置姿勢パラメ―タの
予測値ｐ_m と誤差成分の共分散行列を更新するものであ
る。例えば画像特徴の測定値をｒとしたときに、その誤
差の期待値を０、その誤差共分散行列をΛとすれば、１
個のモデル特徴と画像特徴の対応関係により、対象物の
位置姿勢パラメ―タの予測値と誤差共分散行列は
（ｐ_m ，Σ）は、以下の（ｐ_m ′，Σ′）に更新するこ
とができる。

【０１２４】

【数２８】 但し、Ｋ，Ｍ，Ｗは、

【数２９】 で示される。ここで重要なことは上式により対象物の位
置姿勢パラメ―タの誤差共分散Σ′は更新され、その予
測値の誤差成分の大きさは減少することである。即ち、
モデル特徴と画像特徴の対応関係は、予め与えられる対
象物の位置姿勢パラメ―タの予測誤差に含まれる誤差分
散を減少させ、予測に関する不確定さを減少させること
になる。このように対象物の位置姿勢パラメ―タの予測
誤差の大きさが一旦減少すると、モデル特徴が画像内に
存在する画像探索限定領域もより減少することが判る。

【０１２５】以上より、上記（３３）式は、

【数３０】 のように示すことができる。ここで、ｐ(1) はカルマン
フィルタにより更新された対象物の位置姿勢パラメ―タ
の予測値を表している。ここで重要なことは、このよう
に更新された対象物の位置姿勢パラメ―タの予測値にお
いては、その画像特徴とパラメ―タの予測値（ｑ_m (1)
，Ω'(1)）も更新されることである。

【０１２６】従って、次のモデル特徴ｓ₂ の画像特徴候
補の集合の中で、確率prob（ｓ₂ →ｒ₂ ｜ｐ(1) ）の値
がある一定値より小さくなったときには、その候補を画
像特徴候補から除去できることとなる。ここで、ｐ(i)
(i=1,2,3…,n-1) は、上記ｐ(1) と同様にカルマンフィ
ルタにより更新されたパラメータ予測値を表す。

【０１２７】次にモデル特徴ｓ₁ ，ｓ₂ ，…，ｓ_n のｎ
個が与えられたとき、それらが画像特徴ｒ₁ ，ｒ₂ ，
…，ｒ_n と対応する確率を考え、この確率をＰとすれ
ば、

【数３１】 実際には、この値の対数をとった値Ｄを評価式とし、Ｄ
を最大とするような組み合せを探索することになる。

【０１２８】

【数３２】 いままでの説明をまとめると、以下のようになる。

【０１２９】即ち、ｎ個のモデル特徴ｓ_i （ｉ＝１，
２，…，ｎ）に対して、それに対応する可能性のある画
像特徴候補の集合｛γ_i ¹ ，γ_i ² ，…，γ_i ^mi，nil
｝が与えられているとき、nil が対応することが最も
少ない組み合せの中で、評価関数Ｄを最小にするもとを
選択せよというのが与えられた問題である。

【０１３０】次に最適対応の探索の実際について説明す
る。

【０１３１】図１０乃至図１３は最適な対応探索を行う
処理を示すフローチャートである。尚、この図１０乃至
図１３において、最適対応探索は、手続き「対応探索」
及び「match 」により行う。

【０１３２】先ず手続き「対応探索」から説明する。こ
の手続きは最適対応探索を実際に行うための主手続きで
ある。以下、図１０に従ってこれを説明する。

【０１３３】手続き「対応探索」においては、数種のパ
ラメータが使用される。対象物の位置姿勢パラメータで
ある（ｐ_m ，Σ）、最適性を評価するための２個の尺度
Ｄ，Ｃ、モデル特徴と画像特徴の対応関係を格納する集
合Ｇ、集合Ｇが形成する対象物の位置姿勢パラメータの
更新値（ｐ_G ，Σ_G ）である。ここで、Ｓはモデル特徴
と画像特徴候補の対応関係を保存するための変数であ
る。

【０１３４】いま、対応探索すべきモデル特徴をｓ₁ ，
ｓ₂ ，…，ｓ_n とし、画像特徴候補を、それぞれ｛ｒ₁
¹ ，ｒ₁ ² ，…，ｒ₁ ^m1，nil ｝，｛ｒ₂ ¹ ，ｒ₂ ² ，
…，ｒ₂ ^m2，nil ｝，｛ｒ_n ¹ ，ｒ_n ² ，…，ｒ_n ^mn，
nil ｝とする。このときＳはモデル特徴と画像特徴候補
の組から構成される集合であり、Ｓ＝｛（ｓ₁ ，
ｒ₁ ），（ｓ₂ ，ｒ₂ ），…，（ｓ_i ，ｒ_i ） （４
６）と示すことができる。ここに、ｒ_j （ｊ＝１，２，
…，ｉ）は｛ｒ_j ¹ ，ｒ_j ²，…，ｒ_j ^mj，nil ｝の中
のいずれかの要素であり、Ｓの要素の個数ｉはｎ以下の
整数である。変数Ｄは上記（４５）式で示した評価式の
部分和を表すものであり、変数ＣはＳ内に含まれる画像
特徴候補のうちのnil の個数を表している。

【０１３５】変数（ｐ_m ，Σ）は対象物の位置姿勢パラ
メ―タの予測値を示すもので、この対応探索の手続きを
始める際に判っている位置姿勢パラメ―タの予測値を表
している。ＧはＳと同様な形をしたモデル特徴と画像特
徴の集合であり、これは後に説明する手続き「match 」
において、それまでに探索できた最適解を格納するもの
である。（ｐ_G ，Σ_G ）は、解Ｇに対応する対象物の位
置姿勢パラメ―タを示している。

【０１３６】続いて、手続き対応探索のステップＳ２で
は、上記のパラメータの初期化が行われる。即ち、Ｓと
Ｇは空集合として初期化され、ＤとＣの値は“０”で初
期化される。尚、（ｐ_m ，Σ）の初期値は、この対応探
索が行われる前の対象物の位置姿勢パラメ―タを示して
いる。

【０１３７】このステップＳ２で、これらＳ，Ｄ，Ｃ，
（ｐ_m ，Σ），Ｇの初期値が設定されると、次のステッ
プＳ３で再帰的手続き「match 」が呼ばれて、最適解が
存在する場合にはＧの中にその解が格納される。

【０１３８】ステップＳ４では、解Ｇが空集合であるか
否かが判定される。そして、空でないときには、ステッ
プＳ５で、その解を最適解として扱い、そのときの対応
する対象物の位置姿勢パラメ―タ（ｐ_G ，Σ_G ）が位置
姿勢予測部に報告される。これに対して、Ｇが空である
ときには、ステップＳ７で対応探索が失敗したことを報
告し、その結果は位置姿勢予測部に送られる。

【０１３９】次に第２の手続き「match 」を、図１１乃
至１３を参照して説明する。

【０１４０】ステップＳ１０１では、現在探索中の解Ｓ
の適性がチェックされる。その具体的内容は図１２に示
されている。

【０１４１】先ずステップＳ２００では、今までに発見
された最適な解Ｇと現在探索中の部分解Ｓとが比較され
る。そして、いままでに解Ｇが発見できている場合には
ステップＳ２０１でＧとＳとが比較される。この比較は
解Ｇと部分解Ｓのいずれかが優れた解かを比較すること
になる。具体的には、Ｓ内のnil の数がＧ内のnil の数
より大きいときにはＳはもはや最適解とはなり得ないの
で、Ｇの方が優れた解であると判定する。

【０１４２】一方、ＧとＳのnil の数が等しい場合に
は、Ｇに対応するＤの値とＳに対応するＤの値を比較
し、Ｇに対応するＤの方がＳに対応するＤより大きい場
合には、やはりＧの方が優れた解であると判定する。

【０１４３】このステップＳ２０１で、Ｇの方がＳより
優れた解であると判定できた場合には、現在探索中の部
分解Ｓは最適解となり得ないので、この手続きmatch を
終了するようにリターンする（ステップＳ２０２）。

【０１４４】そして、ステップ２０３では、Ｓの中にあ
るnil の数はある一定値と比較される。この一定値より
Ｓ内のnil の数が大きければ、やはりこの部分解Ｓに基
づいた解は最適解とはなり得ないとして、この解の探索
は中止するため、この手続きmatch からリターンする
（ステップＳ２０４）。これは、ある一定以上の個数分
のnil を含んだ解は自動的に排除するためのものであ
る。

【０１４５】続いて、ステップ２０５では、Ｓの中に含
まれるnil 以外に対応する画像特徴候補の数を数える。
この数がある一定以上のときには、自動的にこの解を近
似最適解としてステップ２０６に移り、部分解として表
現されるＳ，ｐｍ，Σを解Ｇ，ｐＧ，ΣＧに代入して、
この手続きからリターンする（ステップＳ２０７）。

【０１４６】そして、ステップＳ２０８では、ｎ個の全
てのモデル特徴が調べ終わったか否かが判定される。ｎ
個の全てのモデル特徴が調べ終わったときには、ステッ
プＳ２０９で解Ｇが存在するか否かが判定される。そし
て、Ｇが空集合であるときにはステップＳ２１４でＳを
モデル特徴ｎ個からなる最良解としてＧに登録する。ま
た、その解が算出する対象物の位置姿勢パラメータの値
（ｐm ，Σ）を（ｐG ，ΣG ）として登録する。そし
て、ステップＳ２１５で、この手続きからリターンす
る。

【０１４７】一方、ステップ２０９で解Ｇが存在してい
ることがわかった場合には、ステップ２１０で解ＧとＳ
が比較される。ステップＳ２０１と同様に、ＤとＣの値
から判断して、Ｓの方が優れた解であることが判断でき
たときには、ステップＳ２１２でこの解ＳをＧに代入
し、その解が算出する対象物の位置姿勢パラメ―タの値
（ｐm ，Σ）を（ｐG ，ΣG ）として登録し、この手続
きからリターンする（ステップＳ２１３）。

【０１４８】ステップ２１０で解Ｇの方がＳより優れた
解であることが判ったときには、この手続きを終了する
（ステップＳ２１１）。そして、ステップＳ２０８で、
部分解Ｓがモデル特徴の全てを含んでいないことが判っ
たときには部分解の適性チェック１０１を終了し、次の
ステップである図１１のＳ１０２へと移行する（ステッ
プＳ２１６）。

【０１４９】図１１のステップＳ１０２では、次に処理
すべきモデル特徴の選択とその画像特徴候補の集合Ｒs
の作成が行われる。この処理に関して、以下、図１３を
参照して説明する。

【０１５０】先ずステップＳ３００において、部分解Ｓ
に含まれていないモデル特徴を集め、その集合をＱに設
定する。この後のステップＳ３０１からステップＳ３０
９の間で、次に考慮すべきモデル特徴ｓを集合Ｑから選
択し、それに対応する可能性のある画像特徴候補の集合
Ｒs を決定することになる。

【０１５１】この処理のために、ステップＳ３０１でＲ
s を仮に全モデル特徴の全画像特徴候補からなる集合に
設定する。続いて、Ｑが空集合になるまでステップＳ３
０４からステップＳ３０８が処理される。

【０１５２】ステップＳ３０３では、Ｑが空集合である
かを判定する。そして、空集合となったならば、図１３
で示される処理は終了し、ステップＳ３０９を経て、図
１１のステップＳ１０３へと移行する。そうでなければ
ステップＳ３０４へと移行する。次いで、ステップＳ３
０４では、集合Ｑ内の先頭のモデル特徴ｓi が選択さ
れ、このｓi はＱから除去される。

【０１５３】続いて、ステップＳ３０５では、このモデ
ル特徴ｓi に対応する画像パラメータ（ｑm ，Ω）が算
出される。この算出においては、手続きmatch が呼ばれ
た時点での対象物の位置姿勢パラメータの予測値（ｐm
，Σ）と上記（２２）乃至（２７）式が利用される。
この後、ステップＳ３０６では、この予測値（ｑm ，
Ω）と式（２８）のマハラノビス距離を利用してモデル
特徴ｓi に現時点で対応し得る画像特徴候補を集合Ｒに
格納する。このＲ内の要素数とＲs 内の要素数がステッ
プＳ３０７で比較される。

【０１５４】そして、Ｒの要素数がＲ_S の要素数より大
きいときには、ステップＳ３０８でｓi がｓに、ＲがＲ
s に変更される。一方、そうでない場合とステップＳ３
０８を終了したときには再びステップＳ３０３へと移行
する。

【０１５５】このようなステップＳ３００からＳ３０９
を処理することにより、モデル特徴ｓには最も画像特徴
候補の数がもっとも小さいモデル特徴が、Ｒs はｓに対
応する画像特徴候補の集合が代入される。

【０１５６】ステップＳ１０３では、画像特徴候補の集
合Ｒs が空集合であるか否かが判定される。そして、Ｒ
s が空集合でないときにはステップＳ１０４へと移る。
Ｒsの中にはマハラノビス距離の２乗が小さい順に整列
している。

【０１５７】一般的にマハラノビス距離の２乗が小さい
有望な画像特徴候補を先に選択し、その候補とモデル特
徴が要素となる解の探索を進める。具体的には、Ｒs の
先頭にある画像特徴候補ｒが選択され、Ｒs からこの画
像特徴候補ｒが除去される。続いて、ステップＳ１０５
では、モデル特徴ｓと画像特徴候補ｒの組（ｓ，ｒ）を
Ｓに加えたものをＳnew とし、ｐ＝（ｐm ，Σ）におけ
るモデル特徴ｓと画像特徴候補ｒの対応を評価するため
の評価値log prob(s→ r｜p)が算出され、この値とＤと
を加えたものをＤnew とする。一方、ｒはnil ではなか
ったので、Ｃの値はこの対応関係により増えないためＣ
new にＣを代入する。

【０１５８】さらに、ステップＳ１０６では、現時点で
の対象物の位置姿勢パラメータの予測値（ｐm ，Σ）を
対応関係（ｓ，ｒ）を用いて更新する。この方法は、先
に述べた通りである。そして、この更新された対象物の
位置姿勢パラメータの予測値を（ｐm new 、Σnew ）と
する。

【０１５９】このように更新された対象物の位置姿勢パ
ラメータ（ｐmnew，Σnew ）と、Ｓnew ，Ｄnew ，Ｃne
w の値を利用して、ステップＳ１０７では再帰的に本手
続きmatch が呼ばれ、最適解の探索を進める。

【０１６０】ステップＳ１０７が終了すると、再びステ
ップＳ１０３へと移行する。前述のステップＳ１０３か
らステップＳ１０７では、画像特徴候補の集合Ｒ_S 内の
候補が各々確認されることになる。

【０１６１】一方、ステップＳ１０３でＲs が空集合と
なったときには、モデル特徴に対応するものが、nil し
かなくなったことを意味する。

【０１６２】そして、ステップＳ１０８では、まず現在
の部分解であるＳに（ｓ，nil ）を加えたものをＳnew
とし、続いてＤnew の値を現時点でのＤに設定し、Ｃの
値を１増やしてＣnew に格納し、位置姿勢パラメータの
予測値は更新しないまま、ｐmnewとΣnew はｐm とΣの
値を代入する。この後、ステップＳ１０９では、再帰的
に本手続きmatch が呼ばれる。最後にステップＳ１１０
では、この手続き「match 」が終了する。

【０１６３】このように、特徴対応探索部２３では、モ
デル特徴と画像特徴間の最適な対応探索が行われる。こ
のようにして対応探索した結果、対象物の新しい位置姿
勢パラメータの予測値が算出され、この予測値は位置姿
勢予測部に送出される。

【０１６４】以上、本発明の第１の実施例に係る移動物
体追跡装置について説明したが、第１実施例では、位置
姿勢予測部が対象物の位置姿勢パラメ―タ探索限定領域
を予測し、その限定領域をモデル特徴予測部が各モデル
特徴についての画像内とハフパラメ―タ空間内の探索限
定領域を設定するため、画像特徴抽出部が安定にかつ高
速に対応する可能性のある画像特徴だけを抽出すること
ができる。

【０１６５】また、特徴対応探索部２３は、モデル特徴
と画像特徴間の最適な対応を探索するので、誤った対応
の画像特徴を選択する確率が減少し、位置姿勢パラメ―
タの誤った推定を行う確率を減少させることができる。
以上のような点で従来の方法で行われていたものより、
安定な移動物体の追跡が可能となる。

【０１６６】次に本発明の第２実施例に係る移動物体追
跡装置について説明する。尚、第２の実施例で述べられ
ている移動物体追跡装置においては、第１の実施例と同
様に対象物の形状が判っているものと仮定する。

【０１６７】図１４は、第２の実施例に係る移動物体追
跡装置の構成を示すブロック図である。基本的な情報の
流れは第１実施例で示された概観と同様であるが、第２
の実施例はカメラを移動させる必要がないときにその使
用が限るため、先に図５に示したようなカメラコントロ
―ル部５を有しない構成となっている。

【０１６８】この概観を説明すると、カメラにより対象
物を撮影する画像入力部（カメラ）１を介して画像は撮
影され、その映像信号６はディジタル変換器２でディジ
タル画像信号７に変換される。こうして変換されたディ
ジタル画像信号７は、一旦、画像格納部（メモリ部）３
に格納され、格納された画像デ―タ８は、デ―タ処理を
行う画像処理部４に送られる。

【０１６９】勿論、画像処理部４に画像メモリに対応す
る格納部があれば、画像格納部３は画像処理部４に含ま
れてもよい。また、画像処理部４は、汎用のコンピュ―
タシステムであってもよい。そして、画像処理部４では
画像デ―タ８を解析し、その中に撮影された移動物体を
解析することで、移動物体の位置姿勢に関するパラメ―
タから構成される移動物体デ―タ９を算出する。

【０１７０】画像処理部４では、その処理が図１５の示
すような構成要素に基づいて実行される。この画像処理
部４の構成はカメラが移動する必要がないために、カメ
ラコントロ―ル部５が必要ないという点において第１実
施例と異なる。また、モデルデ―タ格納部２０に少なく
とも２枚の異った時刻の画像を入力し、画像特徴抽出部
２２において、その少なくとも２枚の画像デ―タから差
分画像を生成し、差分画像内で差異が現れた部分の輪郭
や領域から抽出される画像特徴のうち、モデル特徴と対
応するものを優先的に選択するという方法を取ってい
る。

【０１７１】このため、モデルデ―タ格納部２０、モデ
ル特徴予測部２１、位置姿勢予測部２４、特徴対応探索
部２３の構成は第１実施例と全く同様であるので、その
説明は省略する。また、第２の実施例で使用する座標系
についても第１実施例と同様であるため説明を省略す
る。

【０１７２】この第２の実施例においては、特徴のある
画像特徴抽出部２２及び上記優先的に選択された画像特
徴とモデル特徴との対応の探索を行う特徴対応探索部２
３についてのみ詳細に説明する。

【０１７３】図１５において、画像処理部４の情報の流
れとその中で第１実施例と異なる画像特徴抽出部２２
と、画像特徴抽出部で優先的に抽出された画像特徴とモ
デル特徴との対応探索方法を説明する。

【０１７４】モデルデ―タ格納部２０には、移動物体の
３次元モデルデ―タ２５が格納されており、その３次元
モデルデ―タ２５はモデル特徴予測部２１に送られる。
モデル特徴予測部２１は、対象物の位置や姿勢に関する
情報である対象物の位置姿勢予測パラメ―タ２８とモデ
ルデ―タ格納部が送出する３次元モデルデ―タ２５とを
利用して、対象物である移動物体をカメラで撮影した時
に、その対象物を規定する特徴がそのカメラ画像でとり
得るパラメ―タとそのパラメ―タがどのように画像内で
制限されるかを予測する。

【０１７５】こうして予測されたパラメ―タであるモデ
ルパラメ―タ２６は次の画像特徴抽出部２２に送られ、
その各モデル特徴を制限された予測パラメ―タを利用し
モデル特徴に対応し得る画像特徴を抽出する。

【０１７６】その際、モデルデ―タ格納部２０に２枚の
異なった時刻の画像を入力し、画像特徴抽出部２２にお
いて、その２枚の画像デ―タから差分画像を生成し、差
分画像で差異が現れた部分の輪郭や領域から生成される
画像特徴のうち、モデル特徴と対応するものに対してそ
の画像特徴を選択する。

【０１７７】この選択された画像特徴を規定するパラメ
―タである画像パラメ―タ２７を算出する。そして、モ
デル特徴予測部２１で算出されたモデルパラメ―タ２６
と画像特徴抽出部２２で算出された画像パラメ―タ２７
を利用して、特徴対応探索部２３は上記画像パラメ―タ
２７とモデルパラメ―タ２６を利用してモデル特徴と画
像特徴間の最適な対応を探索すると同時に、その対応関
係から移動物体の位置姿勢を規定する位置姿勢パラメ―
タ２９を算出する。

【０１７８】この結果である更新された対象物の位置姿
勢パラメ―タは、位置姿勢予測部２４に送出される。そ
して、位置姿勢予測部２４では、次に移動物体が撮影さ
れる時刻における移動物体の位置姿勢を予測しモデル特
徴予測部２１に送出する。

【０１７９】次に画像特徴抽出部２２で行われる処理を
具体的に説明する。

【０１８０】画像特徴抽出部２２では、モデル特徴予測
部２１で選択されたモデル特徴に対応する画像特徴をカ
メラ画像の中から抽出することが行われる。ここでは、
Ｐ₁，Ｐ₂ を端点とする直線成分Ｐ₁ ，Ｐ₂ の抽出を例
として説明する。

【０１８１】モデル特徴予測部２１で作成されたある直
線に関する情報は、 （１）直線成分の端点のカメラ画像内での画像探索限定
領域 （２）直線成分のハフ変換パラメ―タのハフ空間探索限
定領域 の２点である。

【０１８２】第２の実施例における画像特徴抽出部２２
では、先ず少なくとも２枚の画像デ―タから差分画像を
生成し、差分画像で差異が現れた部分の輪郭や領域から
上記（１），（２）の条件を満たす画像特徴候補を抽出
することにより、特徴対応探索部が必要とする画像特徴
を準備するものである。

【０１８３】以下、画像特徴抽出部２２で行われる処理
について、モデル特徴が線分要素の場合を例にして説明
する。勿論、方法は別種類のモデル特徴についても応用
可能なことは明らかである。画像特徴抽出部２２では以
下のステップをとる。

【０１８４】（１）画像格納部３から撮影時刻の異質な
る２枚の画像を画像特徴抽出部２２に入力する。このう
ち少なくとも１枚の画像は、該当時刻に関する画像とす
る。

【０１８５】（２）この画像特徴抽出部２２において上
記２枚の画像からその差分画像を生成する。その差分画
像はある閾値において２値化される。

【０１８６】ここで、図１６は差分画像を作成する様子
を表したものである。この図１６において、画像２００
から画像２０１の差分をとり、画像２０２を作成する。
このために図中の画像２００と画像２０１の２枚の画像
を画像格納部３から画像特徴抽出部２２に入力する。こ
の２枚の画像２００、２０１から差分画像である画像２
０２を生成する。画像２０２では８ビットの濃淡値を持
つ場合、その閾値を０から２５５の間の適当なしきい値
を利用して２値化画像に変換する。

【０１８７】変換された画像は図１６の画像２０２に示
すように０又は１の値となる。ここで差がしきい値より
大きかった部分は黒（１）で表されており、しきい値以
下であった部分は白（０）で表されている。

【０１８８】（３）２値化された画像２０２から対象物
の輪郭に対応するエッジ部分を抽出する。エッジ抽出方
法は画像２０２において３×３画素からなるマスクを走
査し、３×３画素の中に１画素でも濃度（０，１）が異
なった画素を含むような中心画素をエッジ成分として画
像２１１に登録することによる。こうしてエッジ画素と
して登録された画像２１１を細線化することで、輪郭成
分からなる画像２１２を生成する。

【０１８９】（４）先に第１の実施例に示した各モデル
特徴の画像探索規定領域とハフ空間探索限定領域を利用
して、上記の画像２１２からモデル線分に対応可能な画
像特徴線分候補を抽出する。これを実現する方法として
は、モデル特徴パラメ―タ予測値の期待値と誤差分散共
分散行列が作り出す画像探索限定領域内にある輪郭成分
について、その輪郭を追跡することにより行う。この追
跡に関しては、ある一定間隔ごとの輪郭上の点を利用し
て、その輪郭の接線の傾きのなす角度を求め、その角度
が限定されたハフ空間内にあれば、画像特徴候補となる
エッジ点として登録する。以下、この処理を輪郭線分を
追跡しながら施し、そうした点がある一定以上の長さに
わたり、連続しているときには、その連続した線分領域
を画像特徴候補として登録することを行なう方法であ
る。図１６において、線分２０３，２０４，…，２１０
はこうした画像特徴を表したものである。

【０１９０】（５）こうして抽出された画像特徴線分に
ついて各々のハフパラメ―タｑ＝（ρ，γ）を求める。
更に、このハフパラメ―タ測定値ｑに関連する誤差成分
の推定誤差共分散行列を付加し、これらの組を画像パラ
メ―タとする。

【０１９１】このようにして、各モデル特徴について、
画像特徴候補が抽出され、画像パラメ―タが算出され
る。第１の実施例の場合と異なり、ハフパラメ―タ空間
上でヒストグラムを生成する必要がなくなる為、処理の
高速化を実現できる。

【０１９２】即ち、抽出された画像特徴候補に関する画
像パラメ―タ２７は特徴対応探索部２３に送出される。
第１の実施例と同様に、特徴対応探索部２３でモデル特
徴との最適な対応が探索され、その結果から対象物の位
置姿勢パラメ―タの予測値が更新される。以後の処理は
第１の実施例の場合と同様であるので説明を省略する。

【０１９３】以上説明したように、第２の実施例に係る
移動物体追跡装置では、モデル特徴に対応する可能性の
ある画像特徴を差分画像内から抽出することにより、請
求項１に記載の安定に移動物体を追跡する効果をさらに
増加させることができる。即ち、本移動物体追跡装置の
処理部にある画像特徴抽出部の計算量が減少すると共
に、確実に画像特徴を抽出できるので、高速にかつ安定
に移動物体を追跡することができる。

【０１９４】次に本発明の第３の実施例に係る移動物体
追跡装置について説明する。尚、第３の実施例における
実現可能な装置の概観は第１実施例と同様である為、そ
の図示と説明を省略する。

【０１９５】第３の実施例で扱う移動物体は、第１の実
施例で扱う物体を更に拡張したものである。即ち、第１
実施例で扱った物体では、全体が剛体として扱われてい
たのであるが、第３の実施例で扱う物体は移動物体が部
分的に剛体な部材から成り立っており、それらの結合が
変化するものである。

【０１９６】ここでは、図１７に示すロボットのグリッ
パ―形状をした移動物体の場合を考える。この図１７に
示されるように、移動物体は、剛体３００、剛体３０
１、剛体３０２から成り、剛体３００に対して剛体３０
１と剛体３０２は、それぞれｄ／２と−ｄ／２だけスラ
イドするように構成されている。すなわち、剛体３０１
と剛体３０２の位置姿勢パラメ―タは、剛体３００の位
置姿勢パラメ―タと剛体間の結合関係を表すパラメ―タ
ｄ（３０３）により決定することができる。

【０１９７】このため、対象物の移動をパラメ―タによ
り表現するには、剛体３００の位置姿勢パラメ―タｐ＝
（ｐ_x ，ｐ_y ，ｐ_z ；φ_x ，φ_y ，φ_z ）と、剛体３０
０から剛体３０１、剛体３０２への相対距離を規定する
パラメ―タｄ（３０３）の７個のパラメ―タをもってす
れば充分である。

【０１９８】このように、対象物が剛体のパ―ツから構
成される場合には１個の基準となる剛体パ―ツの位置姿
勢パラメ―タｐ＝（ｐ_x ，ｐ_y ，ｐ_z ；φ_x ，φ_y ，φ
_z ）と、この基準とした剛体パ―ツから別の剛体パ―ツ
への結合関係を表すパラメ―タ群ｄ＝（ｄ₁ ，ｄ₂ ，
…，ｄ_m ）を利用して新たなパラメ―タｐｃ＝（ｐ，
ｑ）＝（ｐ_x ，ｐ_y ，ｐ_z ；φ_x ，φ_y ，φ_z ；ｄ₁ ，
ｄ₂ ，…，ｄ_m ）を定義することにより、新たなパラメ
―タｐｃをもって、剛体全体の位置姿勢を決定すること
ができる。以下、このよう新たなパラメ―タｐｃのこと
を一般化位置姿勢パラメ―タと称することにする。

【０１９９】第３の実施例は、第１実施例とは異なる移
動物体の一般化位置姿勢パラメ―タを設定することを特
徴とする。また、第３の実施例における画像処理部４で
の作用又は構成は移動物体の位置姿勢パラメ―タに関し
て新たなパラメ―タが追加されているだけなので、第１
実施例におけるモデルデ―タ格納部２０においてどのよ
うなパラメ―タが追加されたかを例を挙げて説明するの
みとする。他の画像処理部４の作用と構成は第１実施例
と同様である為、その図示と説明を省略する。モデルデ
―タ格納部２０では、基本要素となる剛体パ―ツを各々
別々に第１実施例で示されるようなモデルデ―タとして
格納してある。即ち、各剛体パ―ツには基準となる原点
とその姿勢に基づき、その原点からの相対的座標をもっ
てモデル特徴が定義されている。

【０２００】例えば図１８の剛体３０１は、その原点が
Ｐ₀ （ｘ₀ ，ｙ₀ ，ｚ₀ ）（３０４）に設定されてお
り、第１の実施例と同様に、面情報、稜線の情報、頂点
の情報によって記述されるのである。

【０２０１】モデル特徴予測部２１では、上記の一般化
位置姿勢パラメ―タにより、可視のモデル特徴を選択す
ることかできる。これを実現する方法としては、一般化
位置姿勢パラメ―タの予測期待値を利用して、世界座標
系における各パ―ツの原点の位置姿勢を算出し、続い
て、各剛体が持つモデル特徴の世界座標における位置を
算出する。このようにすることで、対象物全体の全モデ
ル特徴の世界座標における位置を算出することがきる。
この後は、第１の実施例のモデル特徴予測部２１が行っ
たのと同様に、モデル特徴のうち可視であるモデル特徴
の選択とその画像探索限定領域とハフ空間探索限定領域
を抽出することができる。

【０２０２】画像特徴抽出部２２においては、第１の実
施施例の場合と等価な処理が行われるので、ここではそ
の説明を省略する。

【０２０３】そして、この画像特徴抽出部２２で抽出さ
れた画像特徴候補とモデル特徴の間の対応が探索され
る。この対応探索において、その方法は第１の実施例と
同様である。異なる点は位置姿勢パラメ―タだけを推定
するのではなく、一般化位置姿勢パラメ―タｐ_c を推定
する必要があることである。

【０２０４】これを行うためには、モデル特徴ｓと画像
特徴ｒと一般化位置姿勢パラメ―タｐ_c の間の非線形制
約式、 ｆ（ｓ，ｒ，ｐ_c ）＝０ を構築し、非線形制約式とカルマンフィルタを利用し
て、一般化位置姿勢パラメ―タの予測値の更新を行って
ゆけばよい。この方法では、一般化位置姿勢パラメ―タ
の次元が６以上である点が異なる点である以外は、第１
の実施例と同様であるので説明は省略する。

【０２０５】以上説明したように、第３の実施例に係る
移動物体追跡装置では、各パ―ツ毎に位置姿勢パラメ―
タを追跡する必要がなくなり、処理の高速化を図ること
ができる。また、剛体パ―ツ間の制約関係がパラメ―タ
推定中いつも満たされているので、安定した位置姿勢推
定が可能となり、移動物体追跡を安定化させることがで
きる。

【０２０６】次に本発明の第４実施例に係る移動物体追
跡装置について説明する。

【０２０７】第４の実施例における移動物体追跡装置の
構成は第１の実施例と同様であるため、その図示と説明
を省略する。また、該装置の概観における画像処理部４
の各部の構成も同様に第１実施例と同様であるため、そ
の図示と説明は省略する。

【０２０８】第４の実施例では、第１実施例に対してモ
デル特徴予測部２１と特徴対応探索部２３に多少の異な
りがある。この異なった手段により、第１実施例よりも
更に効果のある、高速且つ安定な対象物の追跡装置を提
案する。

【０２０９】モデル特徴予測部２１における第１実施例
と異なる点とは、可視と予測されるモデル特徴線分に関
して画像特徴と対応が得られる可能性の高いモデル特徴
に優先順位を付け、この優先順位に基づいて特徴対応探
索部２３でモデル特徴と画像特徴を対応探索を行う。こ
の可視と予測されるモデル特徴の優先順位をつけるにあ
たっては、モデル特徴を優先順位別のグル―プに分類す
る方法を提案する。

【０２１０】モデル特徴予測部２１において、可視と予
測されるモデル特徴を周辺に類似したモデル特徴がある
か否かによりグル―プ化し、類似したモデル特徴がない
グル―プ内のモデル特徴を優先的に処理することによ
り、特徴対応探索部２３が安定的に最適の対応が探索で
きるようにしたことに特徴がある。

【０２１１】第１実施例と同様の画像処理部４では、対
象物である移動物体の３次元モデルデ―タを格納するモ
デルデ―タ格納部２０とモデル特徴が画像内でとり得る
パラメ―タの予測をするモデル特徴予測部２１、画像特
徴を抽出する画像特徴抽出部２２、モデル特徴と画像特
徴との対応の探索を行う特徴対応探索部２３、対象物の
位置姿勢パラメ―タを予測する位置姿勢予測部２４とで
構成される。

【０２１２】第４の実施例ではモデル特徴として線分特
徴を考える。モデル特徴予測部２１において可視と予測
されたモデル特徴に対して、そのモデル特徴である線分
特徴を調査し、その調査においてそれぞれのモデル特徴
をグル―プ化する。

【０２１３】そして、そのグル―プ化されたモデル特徴
は、続いてモデル特徴と画像特徴との対応探索のための
優先順位を付け、その優先順位において特徴対応探索部
２３において対応探索を実行する。

【０２１４】以下、こうしたグル―プ化が行われるモデ
ル特徴予測部２１と、このグル―プ化により特徴対応探
索が実行される特徴対応探索部２３での処理について説
明する。モデル特徴予測部２１において、カメラ画像上
で可視と予測されたモデル特徴のモデルパラメ―タの画
像探索限定領域とハフ空間探索限定領域を算出する部は
第１実施例と同様であるため、その説明を省略する。こ
の算出された可視と予測されるモデル特徴線分をある基
準に従ってグル―プに分類する。そして、この分類され
たグル―プの優先順位付けを行う。

【０２１５】このグル―プ分類方法と優先順位を付ける
方法について、図１９を参照して説明する。この図１９
中には移動対象物の可視モデル特徴線分を４０１から４
２６までの記号で示してある。各可視モデル特徴線分の
位置や傾き、長さは全て上記モデル特徴予測部２１によ
り算出することが可能な為、その情報を利用する。

【０２１６】優先順位を決定するためのグル―プ化に関
しては、第４の実施例では、以下の２種のグル―プ化の
方法を説明するが、どちらの方法でも、その効果は同様
である。第１グル―プ化の方法は以下の通りである。

【０２１７】先ず、第１グル―プ化方法について説明す
る。

【０２１８】（１）異なる２個のモデル特徴に関して、
それらの画像探索限定領域とハフ探索限定領域の両方に
共通部分がある組は、同一のグル―プに加える。そし
て、こうして生成されたグル―プ内で、画像内で予測さ
れる線分の長さが大きい順に並べ替える。例えば図１９
について、そうしたグル―プ化を行うと、｛４０６，４
１６，４１４｝，｛４０７，４１７，４１５，４０
８｝，｛４１０，４０９，４０１｝，｛４１２，４１
１，４０５｝，｛４０４，４１３｝，｛４２２，４２
１｝，｛４２３，４２５，４２０，４１９｝が一つのク
ル―プにまとめられる。また、｛４０２｝，｛４０
３｝，｛４１８｝，｛４２４｝，｛４２６｝は周辺に類
似したモデル線分が存在しないため、単独で一つのグル
―プを生成する。

【０２１９】（２）上記で決定された各グル―プに関し
て、次の評価尺度を用いて優先順位を付ける。即ち、グ
ル―プ内のモデル特徴数が小さいグル―プに高い優先順
位を与える。そして、モデル特徴数が同一グル―プにお
いては、先頭にある最も長いモデル特徴を比較し、その
長さが大きい方のグル―プに高い優先順位を与える。

【０２２０】以上の操作により、モデル特徴はグル―プ
化され、且つ各グル―プには優先順位が付けられる。例
えば図１９によれば｛４０２｝，｛４０３｝，｛４２
６｝の順位が付けられ、次に｛４１３，４０４｝，｛４
１２，４１１，４０５｝，｛４１０，４０９，４０
１｝，｛４０６，４１６，４１４｝，｛４０７，４１
７，４１５，４０８｝，｛４２３，４２５，４２０，４
１９｝，｛４２４，４２２，４２１，４１８｝のグル―
プが続くような優先順位の付け方になる。

【０２２１】（３）こうしてグル―プ化と優先順位付け
が行われたモデル特徴が、その優先順位を保ったまま画
像特徴抽出部と特徴対応探索部に送出される。

【０２２２】例えば上記の例では、｛４０２，４０３，
４２６，４１３，４０４，４１２，４１１，４０５，４
１０，４０９，４０１，４０６，４１６，４１４，４０
７，４１７，４１５，４０８，４２３，４２５，４２
０，４１９，４２４，４２２，４２１，４１８｝という
具合になる。

【０２２３】このような優先順位を付けることにより、
高い優先順位のモデル特徴に対応する画像特徴候補の数
は低い優先順位のモデル特徴に比べて小さいことが予想
されること、及び長さの大きいモデル特徴の方が画像内
から抽出され易いことの２点が満足されることとなる。

【０２２４】次に第２のグル―プ化方法について説明す
る。

【０２２５】図１９で示されているような移動対象物に
おいて、直線成分をモデル特徴として扱っていた。こう
したモデル特徴では、３次元的に平行な直線群が多く存
在することが判る。特徴対応探索部２３において、モデ
ル特徴に対応する画像特徴を探索する際に、対象物の位
置姿勢パラメ―タを更新しながら、その誤差分散量を減
少させてゆくには、各段階で幾何学的な見地から有効な
モデル特徴の選択が重要となる。例えば、同一平面上に
ある直線成分だけを利用して対象物の位置姿勢パラメ―
タの予測値を更新しようとしても、モデル特徴が作る空
間が縮退しているので、対象物の位置姿勢パラメ―タの
更新が必ずしも順調に行われないとう問題点がある。こ
うした問題が生じないように、第４の実施例の第２のモ
デル特徴のグル―プ化では、モデル特徴が張る空間も分
類基準に入れるのである。

【０２２６】そして、このグル―プ化の基準は以下のと
おりである。

【０２２７】（１）３次元遷移座標で互いに平行である
モデル特徴を同一のグル―プとする。例えば、図１９に
おいては、 グル―プ１：｛４０１，４０４，４０５，４０９，４１
０，４１１，４１２，４１３｝ グル―プ２：｛４０２，４０６，４１４，４１６，４１
８，４２１，４２２，４２４，４２６｝ グル―プ３：｛４０３，４０７，４０８，４１５，４１
７，４１９，４２０，４２３，４２５｝ がこれらのグル―プに対応する。これらを大グル―プと
称することにする。

【０２２８】（２）（１）で生成された各大グル―プの
中のモデル特徴において、画像探索限定範囲とハフ空間
探索限定範囲の両方が共通部分を持つものを更にグル―
プ化する。このようにしてグル―プ化されたグル―プ内
で、要素数の小さい順に且つ画像内での長さの大きい順
に整列させる。大グル―プ内のグル―プのことを小グル
―プと称する。

【０２２９】大グル―プ１：｛｛４１３，４０４｝，
｛４１２，４１１，４０５｝，｛４１０，４０９，４０
１｝｝ 大グル―プ２：｛｛４０２｝，｛４２６｝，｛４０６，
４１４，４１６｝，｛４２４，４２２，４２１，４１
８｝｝ 大グル―プ３：｛｛４０３｝，｛４０７，４１７｝，
｛４１５，４０８｝，｛４２３，４２５，４２０，４１
９｝｝ （３）（２）で求められた大グル―プ内の先頭の小クル
―プを比較し、要素数の少ない小グル―プを優先する
（条件１）、先頭が最も長いモデル特徴を含んだ小グル
―プを優先する（条件２）といった条件のもとで、小グ
ル―プの優先順位を付ける。先の例では、 ｛４０２，４０３，４１３，４０４，４２６，４０７，
４１７，４１２，４１１，４０５，４１５，４０８，４
０６，４１４，４１６，４１０，４０９，４０１，４２
３，４２５，４２０，４２４，４２２，４２１，４１
８｝ の順になる。

【０２３０】このような処理にすることにより、特徴対
応探索部２３において、対象物の位置姿勢パラメ―タの
更新を行う際、幾何学的な縮退等が起こる可能性が減少
し、効果的に位置姿勢パラメ―タの誤差分散の減少を達
成することができる。従って、少数のモデル特徴が画像
特徴の組み合わせにより、対象物の位置姿勢パラメ―タ
の誤差分散の絞り込みができるようになり、処理の高速
化が実現できる。

【０２３１】以上、２つのグル―プ化の例を挙げて、モ
デル特徴予測部２１における処理を説明してきたが、グ
ル―プ化によってモデル特徴に優先順位をけることによ
り、モデル特徴の個数を制限することもできる。

【０２３２】即ち、モデル特徴予測部２１において、あ
る一定値より多数のモデル特徴が可視であると判断でき
たときには、第４の実施例で処理すべきモデル特徴し優
先順位が高い順に可視モデル特徴を選択することができ
る。これにより、画像特徴抽出部２２や特徴対応探索部
２３で、常に一定量の処理だけをするように制御でき
る。

【０２３３】ところで、画像特徴抽出部２２により抽出
された画像特徴候補は、各モデル特徴について複数個存
在する可能性がある。特徴対応探索部２３は各モデル特
徴について最適な画像特徴を選択することを行うもので
ある。

【０２３４】第４の実施例において、各モデル特徴につ
いて最適な画像特徴を選択する手段は第１実施例と同様
であるが、この各モデル特徴について上記優先順位の付
けられたモデル特徴を優先して、最適な画像特徴を選択
することを特徴とする特徴対応探索部２３を特色とする
構成になっている。つまり、上記モデル特徴予測部２１
において各々のモデル特徴について優先順位が付けられ
る。この優先順位とは各モデル特徴について最適な画像
特徴を選択する特徴対応探索部２３において、モデル特
徴と画像特徴の対応の探索を実行する際、上記優先順位
のついたモデル特徴についての対応探索を優先的に実行
することを意味する。

【０２３５】ここで、図２０は特徴対応探索部２３にお
ける手続きを示す図である。

【０２３６】この図２０では、手続き「対応探索」の部
分は、第１の実施例と同様であるので省略してある。手
続き「match 」において、第１の実施例と異なる部分は
ステップＳ１０２の処理である。

【０２３７】図１３で示される第１の実施例のステップ
Ｓ１０２では、集合Ｑに含まれる全てのモデル特徴ｓに
ついて、対応可能性のある画像特徴候補の数を算出し
て、その中から最も少ない候補数のモデル特徴を選択し
ていた。

【０２３８】第４の実施例では、ステップＳ４００にお
いて、予め定められたモデル特徴の優先順位に従って最
も優先順位の高いモデル特徴ｓを選択する。続いて、第
１の実施例のステップＳ３０５と同様に、ステップＳ４
０１において、そのｓに対応する可能性のある画像特徴
を順序集合Ｒ_s に格納することになる。このようにして
モデル特徴ｓと画像特徴候補集合Ｒs が決定された後、
手続き「match 」のステップＳ１０３へ移行する。

【０２３９】従って、第１の実施例の場合と異なり、残
りのモデル特徴全てについて、画像特徴候補の対応の検
証をする必要がなくなる点、及び優先順位の高いモデル
特徴については、そのモデル特徴の画像探索制限領域内
とハフ空間探索制限領域内に類似した画像特徴が存在す
る可能性がないため、抽出される画像特徴候補の数は１
以下であることが期待できる点で対応探索が容易になる
可能性が高くなる。

【０２４０】以上説明したように、第４の実施例に係る
移動物体追跡装置では、モデル特徴と画像特徴の対応探
索を実行する際に、各モデル特徴の中でも対応関係の可
能性の高いモデル特徴を優先して対応探索をすることに
より、特徴対応探索部２３の対応の検索処理時間を短縮
することができる上、対応の信頼性が高くなる。このた
め移動対象物のトラッキングを行う際、高速且つ安定に
追跡することを可能にする。

【０２４１】次に第５実施例に係る移動物体追跡装置に
ついて説明する。

【０２４２】第５の実施例に係る移動物体追跡装置にお
いては、対象物の形状が判っているものと仮定する。そ
して、第５の実施例に係る移動物体追跡装置の構成は第
１実施例と同様である為、その図示と説明を省略する。
さらに、画像処理部４におけるモデルデ―タ格納部２
０、モデル特徴抽出部２１、画像特徴抽出部２２、特徴
対応探索部２３、位置姿勢予測部２４の基本構成は第１
実施例と同様であるのでその図示と説明を省略する。

【０２４３】第５の実施例の特徴は、対象物の位置姿勢
パラメ―タを予測する位置姿勢予測部２４から得られる
次の時刻の対象物の位置姿勢パラメ―タの推定値を利用
して、カメラコントロ―ル部５でズ―ムフォ―カスなど
の画像の拡大縮小機能を作用させ、画像内の対象物の大
きさを制御し、位置姿勢パラメ―タの推定値により、対
象物とカメラとの距離を算出して、カメラの対象物への
焦点距離をカメラコントロ―ラ部５で制御することにあ
る。

【０２４４】図２１は第５の実施例の説明で使用される
画像処理部４とカメラコントロ―ル部５の内容を示した
ものである。第１実施例との違いは、モデル特徴予測部
２１が生成するモデルデ―タがカメラコントロ―ル部５
に送出される点にある。

【０２４５】先ず前者のカメラコントロ―ル部５で画像
内の対象物の大きさを制御する方法について詳しく説明
する。

【０２４６】第１の例では、モデル特徴予測部２１が次
の時刻の可視のモデル特徴の画像内の位置を予測したモ
デルデ―タ２６を利用することにより、カメラコントロ
―ル部５では、それら全てのモデル特徴を包み込む最小
円を計算する。

【０２４７】この最小円の計算の方法は図２２を参照し
て説明する。モデル特徴予測部２１は、画像内に出現す
ると予測される可視モデル特徴の端点を算出する。カメ
ラコントロ―ル部５では、この算出された画像内に出現
すると予測されるモデル特徴の端点の画像内座標を受け
取り、この全ての端点の座標内平均値を計算する。

【０２４８】例えばｎ個の端点の座標が（ｕ₁ ，
ｖ₁ ），（ｕ₂ ，ｖ₂ ），…，（ｕ_n ，ｖ_n ）とする
と、この端点の座標内の平均座標値は（（ｕ₁ ＋ｕ₂ ＋
…＋ｕ_n ）／ｎ，（ｖ₁ ＋ｖ₂ ＋…＋ｖ_n ）／ｎ）とな
る。この座標内の平均座標値を対象物を包み込む最小円
の中心点とする。

【０２４９】この図２２において、中心点５００はこの
点を示す。この中心点から一番離れている端点を包み込
む最小円の半径とする。つまり、図２２中の端点５０１
（ｕ₁ ，ｖ₁ ）がこの中心点から最も離れている端点と
して、その中心点と端点との距離をこの最小円の半径と
している。この作用により、次時刻で可視と予測される
モデル特徴の全てを包み込む最小円を設定することがで
きる。

【０２５０】この最小円を利用して、画像内の対象物を
カメラコントロ―ル部５では、どの程度のズ―ムフォ―
カスをするのかの制御信号を算出し、その制御信号を画
像入力部１に送出する。具体的には、最小円の半径があ
る値より小さくなった場合は、この最小円の半径が画像
内でほぼ一定になるように拡大するズ―ムフォ―カス信
号を生成する。また、最小円の半径がある値より大きく
なった場合は、この最小円の半径が画像内でほぼ一定に
なるように縮小するズ―ムフォ―カス信号を生成する。
この最小円の利用方法も当然、各種の変形、変更が可能
である。

【０２５１】例えば、この最小円の面積がある閾値よ
り、小さくなった場合に限りズ―ムフォ―カスをかける
ように制御信号を生成することが考えられる。また、同
様に、この最小円がある閾値より大きくなったときに限
りズ―ムフォ―カスをかけて、最小円の半径を小さくし
て、ほぼ一定値になるようにしてもよい。

【０２５２】こうして、カメラコントロ―ル部５によっ
て算出されたこの最小円の情報でカメラコントロ―ル部
により拡大するか縮小するかを決定し、その決定によ
り、カメラコントロ―ル部のズ―ムフォ―カス機能を働
かせることにより、対象物の画像内での大きさをおおむ
ね一定に保つことができる。

【０２５３】一方、第２の例では、対象物の位置姿勢パ
ラメ―タを予測する位置姿勢予測部２４から得られる次
の時刻の対象物の位置姿勢パラメ―タの推定値を利用す
ることにより、カメラコントロ―ル部５では、カメラか
ら対象物までの距離を算出しその算出値に基づいて、カ
メラフォ―カス位置を変更することを特徴とする。

【０２５４】このカメラコントロ―ル部５でのカメラか
ら対象物までの距離の算出方法とその距離情報からカメ
ラフォ―カス位置を更新する方法について以下に詳述す
る。いま、世界座標における時刻ｔにおけるカメラ位置
をｃ(t) とし、時刻ｔにおける移動物体の位置姿勢パラ
メ―タのうち、移動物体の位置を表すパラメ―タをｐ
(t) とすれば、移動物体からカメラまでのベクトルはｐ
(t) −ｃ(t) によって示すことができる。尚、カメラの
光軸を表す世界座標系でのベクトルａ(t) で表すものと
する。但し、ａ(t) の大きさは１とする。このとき物体
からカメラまでの距離はベクトルｐ(t) −ｃ(t) とベク
トルａ(t) の内積の絶対値、 ｜（ｐ(t) −ｃ(t) ，ａ(t) ）｜ により示すことができる。この距離に応じてカメラコン
トロ―ル部５のフォ―カス機能がカメラを常に対象物に
焦点を合わせるように制御信号を画像入力部１に送出す
る。カメラに取りつけられているカメラフォ―カス機能
は従来カメラに取り付けられているフォ―カス機能で充
分である。これらの作用により、対象物の位置姿勢に応
じて、ぼけの少ない画像を撮影することができる。

【０２５５】以上説明したように第５の実施例によれ
ば、対象物の画像内での大きさをおおむね一定に保つこ
とができるので、画像内のモデル特徴を抽出することが
容易になり、認識の安定化を図ることや、抽出すべき可
視モデル特徴の数をある一定数以上に観察できるので、
遮蔽や陰影などの影響があっても、対象物の位置姿勢パ
ラメ―タを安定に推定することができる。

【０２５６】さらに、第５の実施例の第２の例の作用に
より、カメラから対象物への焦点距離を対象物が移動す
ることでカメラコントロ―ル部５を制御することによっ
て、対象物の位置姿勢に応じてぼけの少ない画像を撮影
することができるので、ぼけによる画像特徴の抽出の困
難さを解消することができ、安定した移動物体の追跡を
するなどの特徴がある。

【０２５７】次に第６の実施例に係る移動物体追跡装置
ついて説明する。

【０２５８】第６実施例は、前の時刻の画像特徴又は対
応探索の結果を利用して現時刻の対応探索の処理時間を
短縮したり、対応探索の信頼性を向上させるものであ
る。

【０２５９】この第６の実施例では、前の時刻の画像の
濃淡情報を利用して対応探索時間の短縮を実現する方法
（第１の例）、前の時刻の画像の濃淡情報を利用して対
応探索の信頼性を向上させる方法（第２の例）、前の時
刻のモデル特徴と画像特徴の対応探索結果を利用して現
時刻の対応探索の処理時間を短縮する方法（第３の
例）、前の時刻の更新された対象物の位置姿勢パラメ―
タを利用して対象物の速度を計算し対応探索するモデル
特徴の数を制御し対応探索処理時間を短縮する方法（第
４の例）の４つの例を挙げて説明する。

【０２６０】尚、第６の実施例における装置の構成は、
第１実施例と同様であるため、その図示と説明を省略す
る（図１を参照）。また、モデルデ―タ格納部２０、モ
デル特徴予測部２１、位置姿勢予測段２４、画像特徴抽
出部２２、特徴対応探索部２３の基本的作用は、第１実
施例や第４実施例と同様である為、その説明を簡略化す
る。この第６の実施例の特徴は前の時刻の画像特徴（濃
淡値）、又は対応探索の結果をそれぞれの情報格納部に
格納しておき、その情報格納部に格納されていた前の時
刻の種々の情報を利用して、新しい作用と効果を生み出
しているため、それぞれの画像処理部の構成要素に情報
格納部が設けられている。

【０２６１】その為、第１実施例とは情報の流れなどが
異なるが、以下、画像処理部４の各構成要素を４つの例
により説明し、その情報の流れを詳述する。

【０２６２】先ず前の時刻の濃淡情報を利用する第１の
例について説明する。

【０２６３】第６の実施例の第１の例における前の時刻
の濃淡情報を利用して対応探索を安定に作動させる方法
の画像処理部は図２３に示すような構成要素に基づいて
実行される。この画像処理部４は対象物である移動物体
の３次元モデルデ―タ２５を格納するモデルデ―タ格納
部２０とモデル特徴が画像内でとり得るパラメ―タの予
測をするモデル特徴予測部２１、画像特徴を抽出する画
像特徴抽出部２２、モデル特徴と画像特徴との対応の検
索を行う特徴対応探索部２３、対象物と位置姿勢パラメ
―タを予測する位置姿勢予測部２４、更に特徴対応探索
部２３により得られたモデル特徴と画像特徴の対応関係
が成立したモデル特徴に関して該モデル特徴の左右また
は上下近傍の画像の濃淡値を格納する前時刻対応デ―タ
格納部３０とで構成される。

【０２６４】この図２３を参照して情報の流れを説明す
ると、第１実施例と同様にモデル特徴予測部２１はカメ
ラコントロ―ル部５からのカメラ姿勢デ―タ１０と位置
姿勢予測パラメ―タ２８と、モデルデ―タ格納部２０か
らの３次元モデルデ―タ２５とを利用して、その対象物
を規定する特徴がカメラ画像でとり得るパラメ―タとそ
のパラメ―タがどのように画像内で制限されるかを予測
する。

【０２６５】こうして予測されたパラメ―タであるモデ
ルパラメ―タ２６は次の画像特徴抽出部２２ではモデル
特徴に対応し得る画像特徴を抽出し、その画像特徴を規
定するパラメ―タである画像パラメ―タ２７を算出す
る。

【０２６６】この２つのパラメ―タを利用して、特徴対
応探索部２３は所定の評価式を利用しながら、モデル特
徴と画像特徴間の最適な対応を探索すると同時に、その
対応関係から移動物体の位置姿勢を規定する位置姿勢パ
ラメ―タ２９を算出する。

【０２６７】ここまでは第１の実施例による処理と同様
であるが、第６の実施例の第１の例では、この最適なモ
デル特徴と画像特徴の対応探索の結果、画像デ―タから
モデル特徴線分の近傍の濃淡値を前時刻対応デ―タ格納
部３０に格納する。つまり、特徴対応探索部２３で得ら
れたモデル特徴の近傍の濃淡情報３２を画像デ―タから
前時刻対応デ―タ格納部３０に格納する。

【０２６８】この前時刻対応デ―タ格納部３０に格納さ
れた濃淡情報３２は、次の時刻でのモデル特徴と画像特
徴の対応探索を行う際に、その対応が正確に対応してい
るかどうかについて新たな検証条件として利用する。こ
のように濃淡情報を利用する理由は、ある時刻ｔ₁ と近
接する時刻ｔ₂ において、同一のモデル特徴に対応する
画像特徴付近の濃淡値は時刻ｔ₁ と時刻ｔ₂ の差が十分
小さければほぼ同様であるということに基づくものであ
る。このような理由のもとで、上記の例を実現するため
に、画像特徴抽出部２２は画像特徴のハフパラメ―タの
測定値と推定誤差共分散行列の他に、その画像特徴の近
傍の濃淡情報も算出する。

【０２６９】図２４は、この様子を表したものである。
即ち、この図２４において、時刻ｔ₁ に撮影された対象
物６００、抽出された画像特徴線分６０２、抽出された
画像特徴６０２を境界線として分離される２個の領域に
おいて画像特徴６０２の近傍領域を考える。これらに
は、左（上）近傍領域６０４と右（下）近傍領域６０５
がある。画像特徴抽出部２２では、これら２個の近傍内
の濃淡情報を抽出する。濃淡情報としては以下の数種を
考えることができ、これらのいずれの情報を使うかは対
象物の種類などに依存する。

【０２７０】（１）近傍内の平均濃度値 （２）近傍内の平均濃度値と分散値 （３）カラ―画像を扱うときには色情報など さて、このように抽出された濃淡情報は、特徴対応探索
部２３に送出される。そして、特徴対応探索部２３で
は、モデル特徴予測部２１で可視と予測されたモデル特
徴と、画像特徴抽出部２２で探索された画像特徴とが照
合される。

【０２７１】いま、時刻ｔ₁ において、この特徴対応探
索部２３でモデル特徴ｍ₁ と画像特徴ｒ₁ の対応が正し
いと照合されたとする。このとき、特徴対応探索部２３
は、モデル特徴ｍ₁ の近傍条件を調査し、その近傍の一
方が対象物の面内にある場合には、その面に対応する画
像特徴ｒ₁ の濃淡情報ｎ₁ を含めて前時刻対応デ―タ格
納部３０に送出する。一方、両方とも対象物の面内にあ
るときには、その両面に対応する画像特徴ｒ₁ の濃淡情
報ｎ₁ を前時刻対応デ―タ格納部に送出する。次の時刻
ｔ₂ において、前記時刻対応デ―タ格納部に格納された
モデル特徴ｍ₁ に関する濃淡情報ｎ₁ が特徴対応探索部
２３に送出される。モデル特徴ｍ₁ がモデル特徴予測部
２３が生成するモデルデ―タ内に含まれている場合に
は、即ちモデル特徴ｍ₁ が時刻ｔ₂ においても可視の場
合には、特徴対応探索部２３は第１の実施例で述べられ
る処理を実行する前に、画像特徴抽出部２２が抽出した
画像特徴候補の確認を行う。具体的には、モデル特徴ｍ
₁ の各画像特徴候補ｒの濃淡情報ｎについて、 （１）濃淡情報が平均濃淡値で示されるならば、前時刻
対応デ―タ格納部３０が送出したモデル特徴ｍ₁ の平均
濃淡値ｎ₁ と画像特徴候補ｒの平均濃淡値ｎとの差（ｎ
−ｎ₁ ）を計算する。そして、この濃度差の絶対値がし
きい値より大きければ、画像特徴候補ｒは、モデル特徴
ｍ₁ の候補から除外する。

【０２７２】（２）濃淡情報が平均濃淡値と分散量で示
されるならば、前時刻対応デ―タ格納部３０が送出した
モデル特徴ｍ₁ の平均濃淡値ｎ₁ と標準偏差σ₁ と画像
特徴候補ｒの平均濃淡値ｎと標準偏差σから、以下の値
を算出する。

【０２７３】

【数３３】 この値ｄがあるしきい値より大きければ、画像特徴候補
ｒは、モデル特徴ｍ₁の候補から除外する。

【０２７４】（３）濃淡情報が色情報で示されるなら
ば、前時刻対応デ―タ格納部３０が送出したモデル特徴
ｍ₁ の色相ｎ₁ と画像特徴候補ｒの色相ｎとの差（ｎ−
ｎ₁ ）を算出する。そして、この差の絶対値がしきい値
より大きければ、画像特徴候補ｒは、モデル特徴ｍ₁ の
候補から除外する。

【０２７５】以上の処理を施すことにより、対応探索の
処理を実行する前に、対応しえない画像特徴候補を除去
することができる。

【０２７６】以上説明したように、第６の実施例の第１
の例では、モデル特徴と画像特徴候補の対応探索に先立
ち、対応し得ない画像特徴を予め除去できるので、対応
探索処理の安定化と高速化を図ることができる。

【０２７７】次に前の時刻の濃淡情報を利用する第２の
例について説明する。

【０２７８】第６の実施例の第２の例における前の時刻
の濃淡情報を利用して対応探索を高速に且つ安定に作動
させる方法の画像処理部４は、図２５に示すような構成
要素に基づいて実行される。この画像処理部４は、第１
の例と同様に対象物である移動物体の３次元モデルデ―
タ２５を格納するモデルデ―タ格納部２０とモデル特徴
が画像内でとり得るパラメ―タの予測をするモデル特徴
予測部２１、画像特徴を抽出する画像特徴抽出部２２、
モデル特徴と画像特徴との対応の探索を行う特徴対応探
索部２３、対象物の位置姿勢パラメ―タを予測する位置
姿勢予測部２４、更に特徴対応探索部２３により得られ
たモデル特徴と画像特徴の対応関係が成立したモデル特
徴に関して、そのモデル特徴の左右（又は上下）近傍の
画像の濃淡値を格納する前時刻対応デ―タ格納部３０と
で構成されている。

【０２７９】図２５を参照しながら情報の流れを説明す
ると、第１の例と同様に、モデル特徴予測部２１は、カ
メラコントロ―ル部５からのカメラ姿勢デ―タ１０と位
置姿勢予測パラメ―タ２８と、モデルデ―タ格納部２０
からの３次元モデルデ―タ２５を利用して、その対象物
を規定する特徴がそのカメラ画像でとり得るパラメ―タ
とそのパラメ―タがどのように画像内で制限されるかを
予測する。

【０２８０】こうして予測されたパラメ―タであるモデ
ルパラメ―タ２６は、次の画像特徴抽出部２２ではモデ
ル特徴に対応し得る画像特徴を抽出し、その画像特徴を
規定するパラメ―タである画像パラメ―タ２７を算出す
る。この２つのパラメ―タを利用して特徴対応探索部２
３は所定の評価式を利用しながら、モデル特徴と画像特
徴間の最適な対応を探索すると同時に、その対応関係か
ら移動物体の位置姿勢を規定する位置姿勢パラメ―タ２
９を算出する。

【０２８１】ここまでは第１の例と同様であるが、この
対応のとれたモデル特徴線分の近傍の濃淡値情報の流れ
が第６の実施例の第２の例は異なり、その作用により、
第２の例の独特の効果を生み出す。勿論、この第２の例
での濃淡情報としては、第１の例で示された濃淡情報と
同様なものが送られるのでその説明は省略する。

【０２８２】この最適なモデル特徴と画像特徴の対応探
索の結果、特徴対応探索部２３で得られたモデル特徴の
近傍の濃淡情報３８を画像デ―タから前時刻対応デ―タ
格納部３７に格納する。そして、この前時刻対応デ―タ
格納部３７に格納された濃淡情報３８は、モデル特徴予
測部２１において、現時刻では上記濃淡値情報が得られ
たモデル特徴が可視であるかどうかを判定する。

【０２８３】そして、そのモデル特徴が可視であると判
定されたなら、次の画像特徴抽出部２２において、その
モデル特徴の推定領域に画像デ―タから算出して得られ
た複数の画像特徴が上記濃度情報を満足するかどうかを
個々の画像特徴線分に対して調査し、上記濃度情報を満
足する画像特徴だけを選択して特徴対応探索部２３でモ
デル特徴と対応探索を実行する。

【０２８４】この作用によって、モデル特徴と画像特徴
の対応探索を行う際、対応探索する画像特徴に対応の可
能性の高い画像特徴が優先して探索される為、対応探索
処理時間を短縮することができ、また安定した対応探索
を実行することができる。

【０２８５】時刻ｔ₁ においてモデル特徴と画像特徴の
対応探索が終了した後、各モデル特徴ｍ_i (i=1,2,3,
…,n) に対応した画像特徴ｒ_i の左右近傍の濃淡情報が
前時刻対応デ―タ格納部３７に送出され格納される。

【０２８６】位置姿勢予測部２４が次時刻ｔ₂ における
対象物の位置姿勢パラメ―タの予測値を算出したとき、
モデル特徴予測部２１は時刻ｔ₂ における可視モデル特
徴を選択する。モデル特徴予測部２１は更に前時刻対応
デ―タ格納部から前時刻で対応のとれたモデル特徴に関
するデ―タと、その左右または上下近傍の濃淡情報を受
け取る。

【０２８７】そして、モデル特徴ｍ_i が時刻ｔ₁ で対応
がとれ、時刻ｔ₂ で可視であると予測されたときには、
モデル特徴に関するモデルデ―タには、前時刻対応デ―
タ格納部３７に格納されていたモデル特徴ｍ_i の濃淡情
報が画像特徴抽出部２２に転送される。

【０２８８】画像特徴抽出部２２では、こうして濃淡情
報が付加されたモデル特徴に対応する画像特徴を抽出す
る際、この濃淡情報を利用して画像特徴を抽出する。即
ち、線分を画像探索限定領域とハフ空間探索限定領域内
から抽出した後、その抽出された画像線分要素の近傍の
濃淡情報を算出する。そして、その算出された濃淡情報
と前時刻対応デ―タ格納部が送出したモデル特徴の濃淡
情報とを比較する。

【０２８９】この比較方法は第１の例の場合と同様であ
る。この比較の結果、抽出された画像特徴線分がモデル
特徴に対応し得ないと判定された場合には、この画像特
徴線分をモデル特徴の候補とはせずに除外する。よっ
て、特徴対応探索部２３においてモデル特徴と画像特徴
の対応探索を行う前に、上記の方法により優先して探索
する画像特徴線分を決定することができる。

【０２９０】以上説明したように、第６の実施例の第２
の例によれば、優先して探索する画像特徴線分を決定す
ることができるため、対応する可能性の高い画像線分か
らモデル特徴と探索を開始するため、モデル特徴と画像
特徴の対応探索時間を短縮することができる。また、対
応する可能性の高い画像線分からモデル特徴と探索を開
始する為、対応探索結果の信頼性が向上する。

【０２９１】次に前の時刻において対応のとれたモデル
線分を優先して探索する第３の例について説明する。第
３の例では、前の時刻で対応がとれたモデル特徴を利用
して現時刻において上記モデル特徴を優先して対応探索
を行うことで、高速に且つ安定に装置を作動させる。
尚、画像処理部４は、図２６に示すような構成要素に基
づいて処理を実行する。

【０２９２】この画像処理部４は、第１の例と同様に対
象物である移動物体の３次元モデルデ―タを格納するモ
デルデ―タ格納部２０とモデル特徴が画像内でとり得る
パラメ―タの予測をするモデル特徴予測部２１、画像特
徴を抽出する画像特徴抽出部２２、モデル特徴と画像特
徴との対応の探索を行う特徴対応探索部２３、対象物の
位置姿勢パラメ―タを予測する位置姿勢予測部２４、特
徴対応探索部２３により得られたモデル特徴と画像特徴
の対応関係が成立してモデル特徴に関して、そのモデル
特徴を格納する前時刻対応デ―タ格納部３３とで構成さ
れている。

【０２９３】図２６を参照して、その情報の流れを説明
すると、第１の例と同様にモデル特徴予測部２１は、カ
メラコントロール部５からのカメラ姿勢データ１０と位
置姿勢予測パラメータ２８と、モデルデータ格納部から
の３次元モデルデータ２５を利用して、その対象物を規
定する特徴がそのカメラ画像でとり得るパラメータとそ
のパラメータがどのように画像内で制限されるかを予測
する。

【０２９４】そして、予測されたパラメータであるモデ
ルパラメータ２６は次の画像特徴抽出部２２では、モデ
ル特徴に対応し得る画像特徴を抽出し、その画像特徴を
規定するパラメータである画像パラメータ２７を算出す
る。この２つのパラメータを利用して、特徴対応探索部
２３は、所定の評価式を利用しながら、モデル特徴と画
像特徴間の最適な対応を探索すると同時に、その対応関
係から移動物体の位置姿勢を規定する位置姿勢パラメー
タ２９を算出する。

【０２９５】ここまでは、第２の例と同様であるが、モ
デル特徴と画像特徴が対応探索した結果、対応のとれた
モデル特徴のデータ３４が一時的に前時刻対応データ格
納部３３に格納された後にモデル特徴予測部２１に流れ
た後の処理の点で第２の例と異なり、その作用により、
第３の例の独特の効果を生み出す。

【０２９６】この最適なモデル特徴と画像特徴の対応探
索の結果、特徴対応探索部２３で対応が確認されたモデ
ル特徴の情報３４を前時刻対応データ格納部３３に格納
する。位置姿勢予測部２４が算出した次時刻の対象物の
位置姿勢パラメータの予測値を利用して、モデル特徴予
測部２１は次時刻で可視と予測されるモデル特徴を選択
する。続いて、モデル特徴予測部２１は、前時刻対応デ
ータ格納部３３が格納していたモデル特徴データ３４と
この可視と予想されるモデル特徴を比較し、モデル特徴
を２グループに分類する。

【０２９７】いま、前時刻対応データ格納部３３が格納
しているモデル特徴の集合をＡで表し、モデル特徴予測
部２１が次時刻で可視と予測したモデル特徴の集合をＢ
で表す。このとき第１のモデル特徴のグループを、集合
Ａと集合Ｂの共通部分を、

【数３４】 で示し、この第２のモデル特徴のグループを集合Ｂから
集合Ａを差し引いたモデル特徴の集合Ｄ＝Ｂ−Ａで表
す。この後、集合Ｃと集合Ｄ内のモデル特徴を実施例４
で説明した方法で各々優先順位を付ける。そして、順序
付けられた集合をＣの方を優先順位が高くなるように集
合ＣとＤを結合する。

【０２９８】こうして結合されたモデル集合の順序集合
Ｅを画像特徴抽出部２２と特徴対応探索部２３に送出す
る。そして、特徴対応探索部２３では、第４の実施例で
示された方法と同様の方法でモデル特徴と画像特徴の最
適な対応が探索される。これにより、前時刻で対応でき
たモデル特徴が次時刻でも優先的に扱われるようにな
る。

【０２９９】以上説明したように、第６の実施例の第３
の例によれば、モデル特徴と画像特徴の対応探索を行う
場合、対応探索する画像特徴に対応の可能性の高いモデ
ル特徴が優先して探索されるため、対応探索処理時間を
短縮することができ、また安定した対応探索を実行する
ことができる。

【０３００】次に対象物の移動速度に応じて抽出すべき
モデル特徴の数を制御する第４の例について説明する。
第４の例は、モデル特徴予測部２１が、対象物の位置姿
勢推定値から算出される移動速度に応じて次の時刻で選
択する抽出すべきモデル特徴の数を制御することを特徴
とする。

【０３０１】第４の例により対象物の移動速度に応じて
高速に本装置を作動させる画像処理部４は、図２７に示
すような構成要素に基づいて実行される。この画像処理
部４は第１実施例と同様に対象物である移動物体の３次
元モデルデータを格納するモデルデータ格納部２０とモ
デル特徴が画像内でとり得るパラメータの予測をするモ
デル特徴予測部２１、画像特徴を抽出する画像特徴抽出
部２２と、モデル特徴と画像特徴との対応の探索を行う
特徴対応探索部２３、対象物の位置姿勢パラメータを予
測する位置姿勢予測部２４とで構成されている。

【０３０２】図２７を参照しながら図中の情報の流れを
説明すると、第１実施例と同様にモデル特徴予測部２１
は、カメラコントロール部５からのカメラ姿勢データ１
０と位置姿勢予測パラメータ２８と、モデルデータ格納
部２０からの３次元モデルデータ２５を利用して、その
対象物を規定する特徴がそのカメラ画像でとり得るパラ
メータと、そのパラメータがどのように画像内で制限さ
れるかを予測する。

【０３０３】こうして予測されたパラメータであるモデ
ルパラメータ２６は、次の画像特徴抽出部２２では、モ
デル特徴に対応し得る画像特徴を抽出し、その画像特徴
を規定するパラメータである画像パラメータ２７を算出
する。この２つのパラメータを利用して、特徴対応探索
部２３は所定の評価式を利用しながら、モデル特徴と画
像特徴間の最適な対応を探索すると同時に、その対応関
係から移動物体の位置姿勢を規定する位置姿勢パラメー
タ２９を算出する。

【０３０４】ここまでは第１の実施例と同様であるが、
第４の例では、位置姿勢パラメータ２９は位置姿勢予測
部２４にて、対象物の次の時刻の位置姿勢予測パラメー
タを算出すると同時に、前の時刻の対象物の位置姿勢パ
ラメータと新しく更新された現時刻の対象物の位置姿勢
パラメータを利用して対象物の速度を予測する。この速
度情報をモデル特徴予測部２１に送って、モデル特徴予
測部２１が対象物の移動速度に応じて次の時刻で選択す
る抽出すべきモデル特徴の数を制御する。ここで、位置
姿勢予測部２４にてどのように対象物の速度情報を予測
するかを説明すると共に、可視のモデル特徴線分に優先
順位を付けて、どのモデル特徴線分を抽出するべきかを
決定する方法を説明する。

【０３０５】先ず位置姿勢予測部２４は対象物の位置姿
勢パラメータの予測値と同時に対象物の速度も決定す
る。例えば、時刻ｔ_n と時刻ｔ_n-1 における対象物の位
置姿勢パラメータの予測期待値ｐ_m （ｔ_n ）とｐ_m （ｔ
_n-1 ）との差分をとることにより、対象物の位置姿勢速
度ｖを算出することができる。

【０３０６】ｖ＝（ｐ_m （ｔ_n ）−ｐ_m （ｔ_n-1 ））／
（ｔ_n −ｔ_n-1 ） 続いて、位置姿勢予測部２４は、カメラコントロール部
５のカメラ姿勢データを利用してカメラの移動に要する
時間を予測する。この速度により、時刻ｔ＝ｔ_n+1 にお
けるｐ（ｔ_n+1 ）が予測されたとき、その時刻ｔ_n+1 に
おいて対象物の重心がカメラ画像の中心になるような位
置にカメラを移動させるとするとき、該位置までカメラ
を移動するまでに要する時間をｓとすると、対象物の処
理をすることができる時間はｔ_n −ｔ_n-1 −ｓで示すこ
とができる。これら対象物の速度の予測値ｖとカメラの
移動に要する時間の予測値ｓがモデル特徴予測部２１に
搬出される。モデル特徴予測部２１は、これらの対象物
の速度予測値ｖとカメラの移動に要する時間の予測値ｓ
を受け取り、次の位置姿勢パラメータの更新に最大何個
のモデル特徴が利用できるかを推定する。具体的には１
個のモデル特徴を処理するのに要する時間が平均的にあ
るいは最長ｕであるとすると、モデル特徴として処理で
きる数の総数は、Ｍ₀ ＝（ｔ_n −ｔ_n-1 −ｓ）／ｕで表
現できるので、この数Ｍ₀ によりモデル特徴数の限定を
する。

【０３０７】一方、モデル特徴予測部２１では、可視と
予測されるモデル特徴を全て選択し、それを第４の実施
例で示された方法により優先順位を付けて可視モデル特
徴を整列させる。そして、上記整列された可視モデル特
徴から最大Ｍ₀ 個のモデル特徴を優先順位の高いものか
ら選択するのである。

【０３０８】このようにして選択された可視モデル特徴
に関するモデルパラメータは、画像特徴抽出部２２と特
徴探索対応部２３に送出され、画像特徴抽出部２２では
第４の実施例と同様の方法で画像特徴が抽出され、特徴
対応探索部２３でも第４の実施例と同様の方法でモデル
特徴及び画像特徴の最適な対応が探索される。

【０３０９】以上説明したように、第６の実施例の第４
の例によれば、対象物が高速で移動するときには、少数
のモデル特徴を選択することで対象物がカメラで追跡で
きるようにし、対象物の追跡を安定化させることができ
る。また、対象物が低速で移動するときには、多数のモ
デル特徴を選択することで対象物の位置姿勢パラメター
の推定精度を向上することができる。

【０３１０】尚、本発明によれば、以下のような実施態
様を得ることができる。

【０３１１】（１）対象物を撮影するカメラを有し映像
信号を生成する画像入力部と、映像信号をディジタル画
像に変換するディジタル変換部と、ディジタル画像を記
憶する画像格納部と、ディジタル画像を処理する画像処
理部と、画像入力部の移動を制御するカメラコントロー
ル部を設けた移動物体追跡装置において、上記画像処理
部は、上記対象物の形状モデルをモデル特徴の形で記憶
するモデルデータ格納手段と、上記対象物の位置姿勢を
規定する位置姿勢パラメータの時刻ｔ_n における値ｐ
（ｔ_n ）を、時刻ｔ_n 以前の時刻ｔ_n-m （m=1,2,3 …n;
n は整数）において推定された位置姿勢パラメータ値ｐ
（ｔ_n-m ）を利用して予測する位置姿勢予測手段と、上
記時刻ｔ_n における位置姿勢パラメータの予測値とカメ
ラコントロール部が生成する時刻ｔ_n におけるカメラの
位置姿勢パラメータを利用して、対象物を規定するモデ
ル特徴のうち、撮影される画像で可視と予測される少な
くとも一部のモデル特徴を選択し、そのモデル特徴が画
像内でとり得るモデルパラメータの予測値を算出するモ
デル特徴予測手段と、上記モデルパラメータの予測値に
基いてモデル特徴に対応可能な画像特徴の候補を画像入
力部により撮影された画像内から抽出し、その画像特徴
の画像パラメータを算出する画像特徴抽出手段と、上記
モデル特徴と画像特徴との間の対応を探索し、対応のと
れたモデル特徴のモデルパラメータと画像特徴の画像パ
ラメータ間の関係を利用して対象物の位置姿勢パラメー
タの予測値を更新する特徴対応探索手段と、を有し、上
記の処理を各時刻で繰り返しながら対象物の追跡を行う
ことを特徴とする移動物体追跡装置。

【０３１２】（２）上記（１）に記載の移動物体追跡装
置において、少なくともある一定時間カメラを移動させ
る必要のないときには、画像特徴抽出手段において、画
像入力部から上記対象物が撮影された時間的に異なる少
なくとも２枚の画像を画像格納部に入力し、その少なく
とも２枚の画像データから差分画像を生成し、その差異
が現れた部分の輪郭や領域などを画像特徴の抽出に利用
することを特徴とする移動物体追跡装置。

【０３１３】このような構成にて、画像特徴抽出手段に
おいて、カメラの移動のない時間において撮影された少
なくとも２枚の画像デ―タから差分画像を生成し、その
差異が現れた部分の輪郭や領域などを画像特徴の抽出に
利用する。即ち、差分画像で差異が現れた部分の輪郭や
領域から生成される画像特徴のうち、モデル特徴と対応
するものを優先的に選択でき、且つその抽出に関する外
乱を減少させることで画像特徴を抽出する処理時間を短
縮する。

【０３１４】従って、モデル特徴に対応する可能性のあ
る画像特徴を差分画像内から抽出することにより、上記
（１）に記載の移動物体追跡装置の安定に移動物体を追
跡する効果を更に増加させることができ、また、予め設
定された画像内のモデル特徴が存在し得る推定値の誤差
情報を減少させることにより、本移動物体追跡装置の処
理部にある画像特徴抽出部の計算量が減少し、（１）に
記載の移動物体追跡装置の安定に移動移動物体を追跡す
る効果に加えて高速に移動物体を追跡することができ
る。

【０３１５】（３）上記（１）または（２）のいずれか
一方に記載の移動物体追跡装置において、モデルパラメ
―タの算出値に基づいて画像内からモデル特徴に対応可
能な画像特徴の候補を抽出し、その画像特徴の画像パラ
メ―タを算出する画像特徴抽出手段において、画像特徴
の近傍の濃淡値の情報を利用して、時刻ｔ以前にモデル
特徴と対応のとれた画像特徴の左右または上下近傍の濃
淡値の情報と時刻ｔにおける同一モデル特徴に対応する
可能性のある画像特徴の左右または上下近傍の濃淡値の
情報を算出し、上記（１）に記載の特徴対応探索手段に
おいて、モデル特徴と画像特徴と間の対応を探索する
際、上記濃淡値情報を利用する特徴対応探索手段を有す
ることを特徴とする移動物体追跡装置。

【０３１６】このような構成にて、以前にモデル特徴と
対応のとれた画像特徴の左右近傍の濃淡値情報を利用し
て、特徴対応探索手段でモデル特徴と画像特徴との対応
を探索する時に、上記濃淡値情報を探索処理の過程に加
え、そのモデル特徴と画像特徴が対応しているかを検証
する。もし、その対応に関して濃淡値情報に基づく対応
がとれない画像特徴については対応不可とする。この対
応探索に濃淡値情報を付加することにより、モデル特徴
と画像特徴の対応探索結果の検証を行う。

【０３１７】従って、モデル特徴と画像特徴の対応探索
結果の検証を行うことができるので対応探索処理の安定
化を図ることができる。

【０３１８】（４）上記（３）に記載の移動物体追跡装
置において、上記モデル特徴と画像特徴の対応がとれた
モデル特徴の濃淡値の情報を利用して、次の時刻の対象
物がモデル特徴予測手段において上記モデル線分が可視
と判明された場合、画像特徴抽出手段において上記モデ
ル線分の濃淡値情報を前時刻特徴デ―タ格納手段に格納
し、その情報をモデル特徴予測手段において利用するこ
とを特徴とする移動物体追跡装置。

【０３１９】このような構成にて、特徴対応探索手段が
上記モデル特徴と画像特徴の対応がとれたモデル特徴の
濃淡値の情報を利用して、次の時刻の対象物がモデル特
徴予測手段において上記モデル線分が可視と判明された
場合、画像特徴抽出手段において上記モデル線分の濃淡
値情報と対応のある画像特徴線分を優先して上記画像特
徴線分を探索する。

【０３２０】従って、画像特徴抽出手段においてモデル
特徴線分と対応する可能性の高い、画像特徴線分を優先
してモデル特徴線分との対応探索を実行するため、特徴
対応探索手段において対応探索のための処理時間を短縮
することができる。また、対応の可能性の高い画像特徴
線分との対応を優先させて対応探索するため、その対応
探索結果の信頼性が向上する。これらの作用により、高
速に且つ安定に対象物を追跡することを可能にする。

【０３２１】（５）上記（３）に記載の移動物体追跡装
置において、モデル特徴の近傍の濃淡値を利用する際、
濃淡情報としては濃淡値の平均値と分散値を利用するこ
とを特徴とする移動物体追跡装置。

【０３２２】このような構成にて、以前にモデル特徴と
対応のとれた画像特徴の左右または上下近傍の濃淡値の
平均と分散値を利用して、特徴対応探索手段でモデル特
徴と画像特徴との対応を探索する時に、上記濃淡値の平
均値と分散値を検索過程に加え、そのモデル特徴と画像
特徴が対応しているかを検証する。もし、その対応に関
して濃淡値の平均値と分散値に基づくと対応がとれない
画像特徴については対応不可とする。この対応探索に濃
淡値の平均値と分散値を付加することにより、画像特徴
候補の数を減少させることができる。

【０３２３】従って、上記（３）に記載の移動物体追跡
装置の濃淡値情報に対して濃淡値の平均値と分散値を利
用しているため、画像特徴の近傍の画像にテクスチャ―
など模様が含まれている場合にも処理の安定化を図るこ
とができる。

【０３２４】（６）上記（３）に記載の移動物体追跡装
置において、モデル特徴の近傍の濃淡値を利用する際、
濃淡情報としては、対象物の面を含む近傍の濃淡情報だ
けを利用することを特徴とする移動物体追跡装置。

【０３２５】このような構成にて、上記（３）に記載の
移動物体追跡装置の変更例として、さらに高速化を目的
とした構成を説明すると、以前にモデル特徴と対応のと
れた画像特徴の面を含む近傍の濃淡値の情報を利用し
て、特徴対応探索手段でモデル特徴と画像特徴との対応
を探索するので、本クレ―ムの作用は、濃淡値情報に対
して画像特徴の面を含む近傍の濃淡値情報のみを利用し
ているので、背景などと境界に存在する画像特徴に関し
て、背景の濃淡値情報を利用することが必要となくな
る。この作用により、画像特徴候補の数を減少させ、無
駄な濃淡値情報を排除することができる。

【０３２６】従って、上記（３）に記載の移動物体追跡
装置の濃淡値情報に対して画像特徴の面を含む近傍の濃
淡値情報のみを利用しているので、背景などと境界に存
在する画像特徴に関して、背景の濃淡値情報を利用する
ことが必要となくなるので、更にモデル特徴と画像特徴
の対応を検索処理が安定に且つ高速に処理することがで
きる。

【０３２７】（７）上記（３）に記載の移動物体追跡装
置において、濃淡情報として、対象物の色情報を利用す
ることを特徴とする移動物体追跡装置。

【０３２８】このような構成にて、上記（３）に記載の
移動物体追跡装置の特殊例として、カラ―画像などを画
像処理する場合、基本的構成と作用は同様であるが、濃
淡値情報に対して、カラ―情報値を利用することによ
り、画像特徴候補の数を減少させることができる。

【０３２９】従って、上記（３）に記載の移動物体追跡
装置と同様の効果がある。

【０３３０】（８）上記（１）乃至（７）のいずれか一
方に記載の移動物体追跡装置において、モデル特徴と画
像特徴と間の対応を探索しそのモデル特徴のモデルパラ
メ―タと対応できた画像特徴の画像パラメ―タの間の関
係を利用して対象物の位置姿勢パラメ―タを更新する特
徴対応探索手段において、ある時刻ｔi-1 でマッチング
に成功したモデルパラメ―タが、次の時刻ｔi で可視で
あると予想されるならば、そのモデル特徴を先行して対
応する画像パラメ―タの抽出と対応関係の探索を行うこ
とを特徴とする移動物体追跡装置。

【０３３１】このような構成にて、特徴対応探索手段に
おいて、ある時刻ｔi-1 でマッチングに成功したモデル
パラメ―タが、次の時刻ｔi で可視であると予想される
ならば、そのモデル特徴を先行して対応する画像パラメ
―タの抽出と対応関係の探索を行うことにより、以前の
対応探索の際、その対応が正解であったモデルパラメ―
タと画像パラメ―タの対応は正解率が他のモデルパラメ
―タの検索より高い、これにより正解率の高いモデルパ
ラメ―タから検索を順次行っていくことが可能になり、
ある一定以上のモデルバラメ―タと画像パラメ―タの正
解の対応が検索されたならば検索処理を終了する場合な
ど、検索処理時間を上記の作用により短縮することがで
きる。

【０３３２】従って、上記の作用により、特徴対応探索
手段の対応の検索処理時間を短縮することができる上、
正解率の高いモデルパラメ―タと画像パラメ―タを優先
的に検索しているため、対応の信頼性が高くなる。この
ため移動対象物のトラッキングを行う際、高速にかつ安
定に追跡することを可能にする。

【０３３３】（９）上記（１）〜（８）のいずれか一つ
に記載の移動物体追跡装置において、モデル特徴と画像
特徴と間の対応を探索しそのモデル特徴のモデルパラメ
―タと対応できた画像特徴の画像パラメ―タの間の関係
を利用して対象物の位置姿勢パラメ―タを更新する特徴
対応探索手段において、可視と予測されるモデル特徴を
複数のグル―プに分類し、分類されたモデル特徴に優先
順位を付けて、その順位に基づいてモデル特徴に対応す
る画像特徴を抽出することを特徴とする移動物体追跡装
置。

【０３３４】このような構成にて、特徴対応探索手段に
おいて、可視と予測されるモデル特徴を複数のグル―プ
に分類する。このグル―プの分類方法は、例えば周辺に
類似したモデル特徴がない場合は、一つグル―プとし、
またそのモデル特徴があるユニ―クな特徴を保有してる
場合はその特徴を登録し、一つのグル―プとし、また周
辺に類似したモデル特徴が複数存在する場合などはまと
めて一つのグル―プとする。この分類されたモデル特徴
に優先順位を付ける。例えばグル―プのモデル特徴の数
が少ないグル―プから順番に処理を実行するといったよ
うにする。その順位に基づいてモデル特徴に対応する画
像特徴を抽出するので、ユニ―クな特徴を保有するモデ
ル特徴などは画像と対応する可能性が他のモデル特徴よ
り高い。これにより正解率の高いモデルパラメ―タから
検索を順次行っていくことが可能になり、ある一定以上
のモデルパラメ―タと画像パラメ―タの正解の対応が検
索されたなら検索処理を終了する場合など、検索処理時
間を上記の作用により短縮することができる。

【０３３５】従って、上記の作用により、特徴対応探索
手段の対応の検索処理時間を短縮することができる上、
正解率の高いモデルパラメ―タと画像パラメ―タを優先
的に検索しているため、対応の信頼性が高くなる。この
ため移動対象物のトラッキングを行う際、高速なかつ安
定に追跡することを可能にする。

【０３３６】（１０）上記（１）乃至（９）のいずれか
一つに記載の移動物体追跡方法において、その対象物の
位置姿勢を規定する位置姿勢パラメ―タの時刻ｔにおけ
る値ｐ(t) の推定値とその推定値の誤差情報を過去の時
刻t-m （m=1,2,3 …n;n は整数）における値ｐ(t-m) の
推定値あるいはその推定値と誤差情報を利用して予測す
る位置姿勢予測手段において、上記位置姿勢予測手段が
対象物の位置姿勢パラメ―タを予測した結果を利用し
て、カメラコントロ―ラがカメラから対象物までの距離
を算出し、その算出値に基づいて、カメラフォ―カス値
を制御することを特徴とする移動物体追跡装置。

【０３３７】このような構成にて、位置姿勢予測手段が
対象物の位置姿勢パラメ―タを予測した結果を利用し
て、カメラコントロ―ラがカメラから対象物までの距離
を算出し、その算出値に基づいて、カメラフォ―カス値
を制御するため、カメラと移動物体までの距離が推測で
きる。つまり、対象物の位置姿勢パラメ―タの予測値を
位置姿勢予測手段が算出した後、その算出値に基づいて
カメラコントロ―ラがカメラのフォ―カス位置を変更す
る。このカラメラのフォ―カス位置の変更により、ぼけ
の少ない画像を撮影することができる。

【０３３８】従って、対象物の位置姿勢に応じて、ぼけ
の少ない画像を撮影することができるので、ぼけによる
画像特徴の抽出の困難さを解消することができ、安定し
た移動物体の追跡をすることができる。

【０３３９】（１１）上記（１）乃至（１０）のいずれ
か一つに記載の移動物体追跡方法において、その対象物
の位置姿勢を規定する位置姿勢パラメ―タの時刻ｔにお
ける値ｐ(t) の推定値とその推定値の誤差情報を過去の
時刻t-m(m=1,2,3 …n; nは整数) における値ｐ(t-m) の
推定値あるいはその推定値と誤差情報を利用して予測す
る位置姿勢予測手段において、位置姿勢予測手段が予測
した対象物の位置姿勢パラメ―タを用いて、カメラコン
トロ―ル部がカメラを移動するか、あるいはズ―ムフォ
―カスをかけることにより、対象物の画像内の大きさを
制御することを特徴とする移動物体追跡装置。

【０３４０】このような構成にて、位置姿勢予測手段が
次時刻での対象物の位置姿勢パラメ―タを予測したと
き、カメラから移動物体までの距離を算出し、その距離
と対象物の画像内との関係を考えて、移動物体がカメラ
視野内でほぼ同一となるように、カメラを移動させる
か、ズ―ムフォ―カスを調節する。上記構成により、対
象物の奥行きの動きにより対象物が画像に対してはみ出
したり、また小さくなり対象物が認知できなくなるよう
なことを事前に回避する。

【０３４１】従って、対象物の画像内での大きさをおお
むね一定に保つことができるので、画像内のモデル特徴
を抽出することが容易になり、認識の安定化を図ること
ができる。

【０３４２】（１２）上記（１）乃至（１１）のいずれ
か一つに記載の移動物体追跡装置において、その対象物
の位置姿勢を規定する位置姿勢パラメ―タの時刻ｔにお
ける値ｐ(t) の推定値とその推定値の誤差情報を過去の
時刻t-m(m=1,2,3,…,n;nは整数) における値ｐ(t-m) の
推定値あるいはその推定値と誤差情報を利用して予測す
る位置姿勢予測手段において、対象物が複数個の剛体を
結合した形でモデル化できるときには、その剛体間の結
合を規定する結合パラメ―タを付加し、対象物の位置姿
勢パラメ―タと上記の結合パラメ―タを同時に推定する
ことを特徴とする移動物体追跡装置。

【０３４３】このような構成にて、対象物が複数個の剛
体を結合した形でモデル化できるときには、その剛体間
の結合を規定する結合パラメ―タを付加しているため、
この新しいパラメ―タにおいて上記（１）に記載の構成
に結合パラメ―タが付加された構成になり、上記（１）
に記載の装置と同様な作用がある。この結合パラメ―タ
が付加されたことにより、さらに複雑な動き構造をして
いる物体を動的追跡する際にも容易に動的追跡を実現で
きる。

【０３４４】従って、各パ―ツごとに位置姿勢パラメ―
タを追跡する必要がなくなり、処理の高速化を図ること
ができる。また、剛体パ―ツ間の制約関係がパラメ―タ
推定中いつも満たされているので、安定した位置姿勢推
定が可能となり、移動物体追跡を安定化させることがで
きる。

【０３４５】（１３）上記（１）乃至（１２）のいずれ
か一つに記載の移動物体追跡装置において、位置姿勢パ
ラメ―タの予測された位置姿勢パラメ―タ推定値とカメ
ラコントロ―ル部が生成するカメラの位置姿勢パラメ―
タを利用して、対象物を規定するモデル特徴のうち、撮
影される画像内で可視と予測される少なくとも一部のモ
デル特徴を選択し、そのモデル特徴が画像内でとり得る
モデルパラメ―タの予測値を算出するモデル特徴予測手
段において、対象物の位置姿勢推定値から算出される移
動速度に応じて、次の時刻で選択する抽出すべきモデル
特徴の数を制御することを特徴とする移動物体追跡装
置。

【０３４６】このような構成にて、対象物の位置姿勢推
定値から算出される移動速度に応じて、次の時刻で選択
する抽出すべきモデル特徴の数を制御する。この構成に
より、移動物体が高速に移動している場合、その抽出す
べきモデル特徴の数を減少させることにより、抽出すべ
き画像特徴の数を減少させ、最適な対応を探索する処理
時間を減少させる。この作用により、対象物が高速に移
動しても、少数のモデル特徴を選択することにより、処
理時間を最小限にすることができる。

【０３４７】従って、対象物が高速で移動するときに
は、少数のモデル特徴を選択することで対象物がカメラ
で追跡できるようにし、対象物の追跡を安定化させるこ
とができる。また対象物が低速で移動するときには、多
数のモデル特徴を選択することで対象物の位置姿勢パラ
メ―タの推定精度を向上することができる。

【０３４８】尚、本発明は上記実施態様に限定されるこ
となく、その主旨を逸脱しない範囲で種々の改良・変更
が可能であることは勿論である。

【０３４９】

【発明の効果】本発明によれば、モデル特徴が抽出すべ
き画像とある程度離れていて、更に背景が複雑で対象物
と非常に類似している場合においても、迅速且つ適確に
対象物のトラッキングすることが可能な移動物体追跡装
置を提供することができる。

【図面の簡単な説明】

【図１】第１実施例に係る移動物体追跡装置の構成を示
す図である。

【図２】第１実施例の画像処理部の構成要素を示すブロ
ック図である。

【図３】ｘ，ｙ，ｚ軸の座標図である。

【図４】直方体を表現する稜線、頂点の構成図である。

【図５】第１実施例で使用するカメラコントロール部と
画像入力部の模式図である。

【図６】第１実施例の対象物のモデル特徴線分を示す図
である。

【図７】画像探索限定領域を構築するための構築方法図
である。

【図８】ハフパラメータ変換を説明する図である。

【図９】ハフ空間探索限定領域を示す２次元座標図であ
る。

【図１０】手続き対応探索のシーケンスを示すフローチ
ャートである。

【図１１】手続きｍａｔｃｈのシーケンスを示すフロー
チャートである。

【図１２】部分解Ｓの適正チェックのシーケンスを示す
フローチャートである。

【図１３】モデル特徴Ｓの選択と画像特徴候補集合Ｒs
の作成のシーケンスを示すフローチャートである。

【図１４】第２実施例に係る移動物体追跡装置の構成を
示す図である。

【図１５】第２実施例の画像処理部の構成要素のブロッ
ク図である。

【図１６】２枚の画像から差分画像を生成する方法を示
す図である。

【図１７】第３実施例における３つの剛体パラメータの
結合の様子を示す図である。

【図１８】３つの剛体のうちの一つの頂点の座標を示す
図である。

【図１９】第４実施例の対象物のモデル特徴線分を示す
図である。

【図２０】特徴対応探索手段における手続きを示すフロ
ーチャートである。

【図２１】第５実施例の画像処理部の構成要素のブロッ
ク図である。

【図２２】対象物を包み込む最小円の生成方法を示す図
である。

【図２３】第６実施例の第１の例の画像処理部の構成要
素のブロック図である。

【図２４】第６実施例の第１の例における濃淡情報利用
方法を示す図である。

【図２５】第６実施例の第２の例の画像処理部の構成要
素のブロック図である。

【図２６】第６実施例の第３の例の画像処理部の構成要
素のブロック図である。

【図２７】第６実施例の第４の例の画像処理部の構成要
素のブロック図である。

【符号の説明】

１…画像入力部、２…ディジタル変換器、３…画像格納
部、４…画像処理部、５…カメラコントロール部、６…
映像信号、７…ディジタル画像信号、８…画像データ、
９…移動物体データ、１０…カメラ姿勢データ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 Ｇ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 対象物を撮影するカメラを有し映像信号
   を生成する画像入力部と、映像信号をディジタル画像に
   変換するディジタル変換部と、ディジタル画像を記憶す
   る画像格納部と、ディジタル画像を処理する画像処理部
   と、画像入力部の移動を制御するカメラコントロール部
   を設けた移動物体追跡装置において、 上記画像処理部は、 上記対象物の形状モデルをモデル特徴の形で記憶するモ
   デルデータ格納手段と、 上記対象物の位置姿勢を規定する位置姿勢パラメータの
   時刻ｔ_n における値ｐ（ｔ_n ）を、時刻ｔ_n 以前の時刻
   ｔ_n-m （m=1,2,3,…,n;nは整数）において推定された位
   置姿勢パラメータ値ｐ（ｔ_n-m ）を利用して予測する位
   置姿勢予測手段と、 上記時刻ｔ_n における位置姿勢パラメータの予測値とカ
   メラコントロール部が生成する時刻ｔ_n におけるカメラ
   の位置姿勢パラメータを利用して、対象物を規定するモ
   デル特徴のうち、撮影される画像で可視と予測される少
   なくとも一部のモデル特徴を選択し、そのモデル特徴が
   画像内でとり得るモデルパラメータの予測値を算出する
   モデル特徴予測手段と、 上記モデルパラメータの予測値に基いてモデル特徴に対
   応可能な画像特徴の候補を画像入力部により撮影された
   画像内から抽出し、その画像特徴の画像パラメータを算
   出する画像特徴抽出手段と、 上記モデル特徴と画像特徴との間の対応を探索し、対応
   のとれたモデル特徴のモデルパラメータと画像特徴の画
   像パラメータ間の関係を利用して対象物の位置姿勢パラ
   メータの予測値を更新する特徴対応探索手段と、を有
   し、上記の処理を各時刻で繰り返しながら対象物の追跡
   を行うことを特徴とする移動物体追跡装置。