JPH06243251A - 画像特徴抽出装置 - Google Patents

Abstract

(57)【要約】 【目的】３次元空間または２次元空間におかれている対
象物の認識や位置姿勢の推定を高速かつ効率的に実行可
能な画像特徴抽出装置を提供する。 【構成】対象物の位置や姿勢を規定するパラメ―タの取
り得る値を確率的に予測し、その不確定度を計算する対
象物位置・姿勢予測モジュール１２と、パラメ―タの不
確定度を画像面に伝播して、その対象物を規定する特徴
が存在し得る画像内の領域を制限、あるいはその特徴が
画像内で表現されるパラメ―タが作るパラメ―タ空間を
制限する画像特徴予測モジュール１３と、その特徴をそ
の限定された画像領域内またはパラメ―タ空間内で抽出
する画像特徴抽出モジュール１４とを具備する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像特徴抽出装置に関す
る。

【０００２】

【従来の技術】近年、画像処理に関する技術がいろいろ
な分野で自動化を目的として応用されるようになってき
た。そうした画像処理に関する技術は以下の文献に示さ
れている。

【０００３】文献１：Ｄ．Ｈ．バラード著、「任意形状
を検出するための一般化ハフ変換」（D.H.Ballard,″Ge
neralized Hough transform to detect arbitrary shap
es″,Pattern Recognition,Vol.13,No.2,1981,pp.111-1
22．） 文献２：小坂他著、「モデル推論と不確定度予測を視覚
ガイドに用いた移動ロボットのナビゲーション」（A.Ko
saka and A.C.Kak, ″Fast vision-guidedmobile robot
navigation using model-based reasoning and predi
ction ofuncertainties ″,Computer Vision,Graphics,
and Image Processing--Image Understanding, Novembe
r 1992,271-329） 文献３：Ｒ．Ｍ．ハラリック他著、「コンピュータとロ
ボットビジョン」（R.M.Haralick and L.G.Shapiro,Com
puter and Robot Vision,AddisonWesley,1992,pp.371-4
52.） 文献４：Ｏ．Ｉ．カンプス他著、「予測と確率的マッチ
ングを用いた対象認識」（O.I.Camps,L.G.Shapiro,and
R.M.Haralick, ″Object Recognition usingPrediction
and Probabilistic Matching″Proceedings of the 19
92IEEE International Conference on Intelligent Rob
ots and Systems,Raleigh,NC,1992,pp.1044-1052．） 画像処理技術を用いて、対象物の認識を行なう際、従来
から最もよく用いられているのは、対象物の画像を形成
する特徴成分の解析である。この際、特徴成分は、点や
直線的な成分と曲線的な成分の組み合わせ等で表現でき
る場合が多い。こうした輪郭成分を持つ画像は、対象物
をテレビ・カメラで撮影し、その映像信号をＡ／Ｄ変換
器などを介してディジタル変換されるのが一般的であ
る。その変換された画像デ―タに対してディジタル信号
処理が施され、その対象物がどのような形状をしている
のか、あるいはどこに位置するかが計算される。こうし
た処理でまず最初に行なわれることは、対象物が形成す
る輪郭などの特徴の抽出である。

【０００４】従来の画像の輪郭成分を抽出する方法とし
ては、 Sobelオペレ―タなどの微分オペレ―タを画一的
に画像全体に施した後、そのオペレ―タの出力の絶対値
をある定められた閾値と比較し、閾値以上の値を持つ画
素をエッジ点としてまず登録する。次に、そのエッジ点
と近傍点との関係を考慮して輪郭に対応するエッジ点を
選択し、曲線や直線の輪郭に相当する部分を抽出するな
どの方法がとられている。

【０００５】こうして、輪郭に対応するエッジ点が求め
られた後、直線や曲線に対応する部分を求める方法とし
ては、一般化ハフ変換（文献１参照）が考えられる。こ
れは、曲線や直線を記述するパラメ―タを求める際、エ
ッジ各点を通過するあらゆる可能なパラメ―タの候補に
投票して、パラメ―タ空間のピ―クを検出することによ
り、曲線や直線を記述するのに最適なパラメ―タを推定
する方法である。

【０００６】一般化ハフ変換では比較的安定した曲線成
分や直線成分が求められることが知られているが、エッ
ジ点を通過する可能性をもったあらゆる曲線や直線のパ
ラメ―タに投票する関係上、処理時間とパラメ―タ空間
の記憶容量が膨大となるという欠点があった。また、 S
obel微分オペレ―タや LOGオペレ―タを使用するため、
画像自体にノイズが多く含まれるときには、本来対象物
の輪郭ではないエッジ成分を多く含むこととなり、処理
に要する時間はより膨大になるという欠点があった。

【０００７】

【発明が解決しようとする課題】近来、モデル規範型画
像認識のシステムが開発されるようになった。こうした
システムでは、抽出すべき対象のモデルをあらかじめ持
ち、どのような特徴を画像中から抽出すればよいのかが
わかっている場合がある。これは、対象物の CADモデル
などを利用し、その対象物の見える予測シ―ンをあらか
じめ生成して、それと画像内で抽出された特徴との対応
を求めることで、対象物の認識を行なうシステムなどで
ある。

【０００８】例えば、前記した文献２は、移動ロボット
の位置推定を行なう際、ロボットが見るであろうシ―ン
の線画を作成し、その線画を構成する直線成分をモデル
特徴とし、その直線成分が画像内のどこにあるのか不確
定度を計算し、その不確定度に応じて直線成分を画像内
から抽出する方法を考案した。この方法では、画像内で
処理する領域やパラメ―タ空間の領域を制限して処理す
るので、ノイズの多い画像でも、比較的に安定的にモデ
ル特徴に対応する直線成分を抽出することができたが、
モデル特徴としては、直線成分に限られており、曲線成
分などから構成される複雑な形状の特徴抽出は不可能で
あった。また、この文献に述べられている方法において
は、対象物となるものは固定された位置にあり、観察者
の位置すなわちカメラの位置は平面内でだけ可動なもの
であった。従ってロボットの位置の推定はロボットの位
置姿勢を規定する３個のパラメ―タ推定問題として解い
たものにすぎなかった。したがって、より一般的な３次
元対象物体の認識や位置の推定方法を与えるものではな
かった。

【０００９】一方、文献４に表されている方法では、３
次元対象物の認識に対して、その予測図を作成し、その
予測と実際に画像から抽出された画像特徴とを比較する
ことによって、その物体の認識と位置推定を行なうこと
が提案されている。この方法では、画像からの特徴抽出
が対象モデルとは直接関係なく行なわれる。従って、モ
デル対象物以外の物体が存在すると、その物体が形成す
る輪郭特徴も同時に抽出されてしまうため、予測図内の
モデル特徴との対応をとる段階で計算量が膨大となると
いう欠点があった。

【００１０】本発明の画像特徴抽出装置はこのような課
題に着目してなされたものであり、その目的とするとこ
ろは、３次元空間または２次元空間におかれている対象
物の認識や位置姿勢の推定を高速かつ効率的に実行可能
な画像特徴抽出装置を提供することにある。

【００１１】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明は、あらかじめ形状が確定的あるいは確率
的にわかっている対象物を画像の中から抽出する装置に
おいて、対象物の位置や姿勢を規定するパラメ―タの取
り得る値を確率的に予測し、その不確定度を計算する計
算手段と、上記パラメ―タの不確定度を画像面に伝播し
て、対象物を規定する特徴が存在し得る画像内の領域を
制限するかあるいはその特徴が画像内で表現されるパラ
メ―タが作るパラメ―タ空間内の存在領域を制限する制
限手段と、前記特徴を前記制限手段によって制限された
画像領域内またはパラメ―タ空間内で抽出する抽出手段
とを具備する。

【００１２】

【作用】すなわち、本発明の画像特徴抽出装置において
は、まず、対象物の位置や姿勢を規定するパラメ―タの
取り得る値を確率的に予測し、その不確定度を計算す
る。次に、上記パラメ―タの不確定度を画像面に伝播し
て、対象物を規定する特徴が存在し得る画像内の領域を
制限するかあるいはその特徴が画像内で表現されるパラ
メ―タが作るパラメ―タ空間内の存在領域を制限する。
そして、この制限された画像領域内またはパラメ―タ空
間内で前記特徴を抽出する。

【００１３】

【実施例】以下に図面を参照して本発明の第１実施例を
説明する。本実施例で述べられている特徴抽出装置にお
いては、対象物のある基準点からの相対的形状がわかっ
ていると仮定する。

【００１４】図２は第１実施例を実現する画像特徴抽出
装置の概観を示すブロック図である。対象物を撮影する
ＴＶカメラ１を介して画像は撮像され、その画像信号は
ディジタル化（Ａ／Ｄ）変換器２で画像ディジタル信号
に変換される。こうして変換された画像デ―タは、いっ
たん画像メモリ３に格納され、その後、デ―タ処理を行
なうデ―タ処理装置４に送られる。もちろん、デ―タ処
理装置４自体に画像メモリ３に対応するメモリがあれ
ば、画像メモリ３はデ―タ処理装置４に含まれてもかま
わない。また、デ―タ処理装置４は、汎用のコンピュ―
タシステムであってもかまわない。

【００１５】図１は図２のデータ処理装置４の構成を示
す図である。対象物モデル格納モジュ―ル１１には、対
象モデルが格納されており、その対象モデルは画像特徴
予測モジュ―ル１３に送られる。対象物位置・姿勢予測
モジュ―ル１２は、対象物の位置や姿勢を規定するパラ
メ―タを予測するモジュ―ルであり、その予測結果は画
像特徴予測モジュ―ル１３に送られる。画像特徴予測モ
ジュ―ル１３は、カメラ等撮影装置の位置（視点）の情
報と、対象物の位置や姿勢に関する情報に基づいて、対
象物をカメラで撮影した時に、その対象物を規定する可
視なモデル特徴を予測し、そのモデル特徴の情報をモデ
ル特徴−画像特徴対応探索モジュ―ル１５に送るととも
に、そうしたモデル特徴がそのカメラ画像中のどこにあ
ると制限されるのか、あるいはその特徴を規定するパラ
メ―タがパラメ―タ空間内でどのように制限されるかを
計算するモジュ―ルである。

【００１６】この制限に関する情報は次の画像特徴抽出
モジュ―ル１４に送られ、その各特徴を画像内から抽出
するのに適当な方法を選択し、その特徴を制限された画
像空間またはパラメ―タ空間内で抽出する。こうして画
像特徴抽出モジュ―ル１４で抽出された画像特徴と、画
像特徴予測モジュ―ル１３から送られたモデル特徴との
対応が、モデル特徴−画像特徴対応探索モジュ―ル１５
で求められ、その対応関係が対象物位置・姿勢推定モジ
ュ―ル１６に送られ、あらかじめ与えられている対象物
に位置・姿勢推定値を更新する形で、新たな推定値が求
まる。

【００１７】本実施例は特にこうしたモジュ―ルのう
ち、画像特徴を如何に効率よく抽出するかを説明したも
のであり、モデル特徴−画像特徴対応探索モジュ―ル１
５と対象物位置姿勢推定モジュ―ル１６に関しては、詳
しく述べない。

【００１８】前記した文献２で述べられている方法は、
２次元平面上しか移動できないカメラ（ロボット）の位
置が不確定なときに、固定した環境を認識することによ
り、カメラ位置を推定する方法を与えるものであった。
これに対して本実施例で述べられているのは、特に３次
元物体の位置と姿勢が不確定なときに、その物体の３次
元的な位置と姿勢を推定するために、如何にして物体の
特徴を抽出するかを提案したものであり問題設定が本質
的に異なる。

【００１９】以下、各モジュ―ルで行なわれる処理につ
いて直線成分を抽出する場合を中心に説明する。

【００２０】対象モデル格納モジュ―ル１１では、対象
物を記述するモデルが格納されている。対象モデルが剛
体の場合には、それを記述する方法として、対象物を表
す面領域や頂点のモデルなどから構成される。たとえ
ば、直方体を表現するのには、それを構成する６個の面
を記述する方法（面を特徴付ける４個の頂点の３次元座
標）、または直方体を構成する８個の頂点（ｘ１，ｙ
１，ｚ１），…，（ｘ８，ｙ８，ｚ８）によって構成す
る方法、または直方体の稜線１２本を線分として、その
端点に構成する方法等がある。

【００２１】いずれにしても、こうした特徴はそれを記
述するパラメ―タに基づいて表現される。図３は、対象
モデルを面情報を用いて表現したものである。図３の例
では、直方体のような多面体を表現するのに、各面を基
本要素として構成する。各面には、その面を定義する頂
点が付属されている、例えば、図３の面１は、点Ｐ１，
Ｐ２，Ｐ３，Ｐ４によって定義される。さらに各面には
その面の外向きの法線ベクトルが付属されている。

【００２２】このモデル化に際して、その対象物に対し
て基準となる一点Ｐ₀ と、基準となる回転姿勢Ｑ₀ を考
える。この基準原点Ｐ₀ と基準姿勢Ｑ₀ を用いると、対
象物の局所座標系（ｘ₁ ，ｙ₁ ，ｚ₁ ）を構成すること
ができる。図４に示されているように、Ｐ₀ によって、
局所座標系の原点が定義され、Ｑ₀ によってその座標系
のｘ₁ ，ｙ₁ ，ｚ₁ 軸の方向が定義されるわけである。
対象物を構成する全ての点は、この局所座標系の３次元
点Ｐ（ｘ₁ ，ｙ₁ ，ｚ₁ ）として表現することができ
る。

【００２３】さて、次に対象物が世界座標系（ｘ_w ，ｙ
_w ，ｚ_w ）の中に置かれているとすると、その対象物は
世界座標系の中で、ある位置である姿勢を有して存在す
ることになる。従って、対象物の各点を世界座標系（ｘ
_w ，ｙ_w ，ｚ_w ）で表現するためには、対象物の基準点
Ｐ₀ と基準姿勢Ｑ₀ が世界座標系でどのように表現でき
るかを表せばよい。今、基準原点Ｐ₀ の世界座標系（ｘ
_w ，ｙ_w ，ｚ_w ）での位置をＰ₀ ＝（ｐ_x ，ｐ_y ，
ｐ_z ）とし、基準姿勢Ｑ₀ をＱ₀ ＝（φ_x ，φ_y ，
φ_z ）とする。ここに、（ｐ_x ，ｐ_y ，ｐ_z ）はＰ₀ の
世界座標系におけるｘ，ｙ，ｚ座標系を表し、φ_x ，φ
_y ，φ_z は、図４に示すように、それぞれ世界座標系か
らみて、ｘ_w 軸，ｙ_w 軸，ｚ_w 軸に対する回転角度を表
す。

【００２４】すると、対象物内の各点Ｐのｘ，ｙ，ｚ座
標が、局所座標系でＰ（ｘ₁ ，ｙ₁，ｚ₁ ）の値をとる
とすると、その世界座標系での位置（ｘ_w ，ｙ_w ，
ｚ_w ）は、

【数１】 と斉次変換行列Ｈ＝Ｈ（ｐ_x ，ｐ_y ，ｐ_z ；φ_x ，
φ_y ，φ_z ）を用いて表すことができる。ここに、Ｈ
は、

【数２】 という移動パラメ―タを含む行列と回転パラメ―タを含
む行列に分解され、それぞれは

【数３】 と書くことができる。

【００２５】以上述べたように、対象物の各点の世界座
標系での位置は、対象物の基準原点Ｐ₀ ＝（ｐ_x ，
ｐ_y ，ｐ_z ）と基準姿勢Ｑ₀ ＝（φ_x ，φ_y ，φ_z ）の
世界座標系での表現と、対象物を構成する各点は局所的
座標系（ｘ₁ ，ｙ₁ ，ｚ₁ ）での相対座標を利用して表
現できる。すなわち、この対象モデルは、こうして対象
に係わるパラメ―タ群として、対象物の基準原点と基準
姿勢を組み合わせたパラメ―タｐ＝（ｐ_x ，ｐ_y ，
ｐ_z ；φ_x ，φ_y ，φ_z ）と、対象物の局所座標系で表
現できるモデルの特徴のパラメ―タｕによって表現さ
れ、それらは画像特徴予測モジュ―ル１３に送られる。

【００２６】同様に対象物局所座標内で表現される線分
も、その線分の端点を対象物局所座標系で表現しておけ
ば、式（１）で表される点の変換式を利用することによ
り世界座標系での表現を求めることができる。

【００２７】さらに一般的に、各種の対象物を規定する
ようなパタ―ンや特徴は、それらを構成する点を対象物
局所座標系で表現しておき、式（１）で表される点の変
換式を利用することにより世界座標系での表現を求める
ことができる。

【００２８】ある対象物を認識するときには、対象物の
大まかな位置や姿勢がわかっている場合がある。例え
ば、対象物の動きがそれまでの観察によって大まかに推
定できる場合などがその例である。いまこの場合を説明
しよう。

【００２９】時刻ｔ０において対象物の位置と姿勢に関
する観察が行なわれ、その対象物の位置と姿勢がｐ０＝
（ｐ０_x ，ｐ０_y ，ｐ０_z ；φ０_x ，φ０_y ，φ０_z ）
と推定され、その速度ベクトルｖ＝（ｖ_x ，ｖ_y ，
ｖ_z ）と回転速度ベクトル（ω_x，ω_y ，ω_z ）が、ｔ
０からｔ１までのＷ＝（ｖ_x ，ｖ_y ，ｖ_z ；ω_x ，
ω_y ，ω_z ）としたとき、その不確定度が平均値Ｗバ―
と共分散行列Σｗであるとみなされるとき、ｔ１におけ
る対象物の位置と姿勢ｐ１＝（ｐ１_x ，ｐ１_y ，ｐ
１_z；φ１_x ，φ１_y ，φ１_z ）は、以下のような関係
式で書けるので、Δｔ＝ｔ１−ｔ０とすれば、

【数４】 その不確定度は、平均値と共分散行列を用いて表現でき
るが、平均値に関しては、

【数５】 によって求まる。ここに、Trans(^* ) とRPY(^* ) は、式
（３）で表された行列である。一方、共分散行列を求め
るにはｐ１とＶの平均値ｐ１バ―とＷバ―のまわりでの
変分δｐ１＝ｐ１−ｐ１バ―，δＷ＝Ｗ−Ｗバ―との関
係を、（４）（５）を線形化することによって求める。

【００３０】

【数６】 ここにＪはｐ１のＷに対するJacobi行列である。このよ
うに変分の関係式が求まると、ｐ１の共分散行列は、

【数７】 と計算することができる。ここで、Ｅ［^* ］は、期待値
をとるオペレ―タを表す。このように、対象物の動きの
不確定度が統計的にモデル化できるときには、その位置
と姿勢を表すパラメ―タの将来の予測を平均値や共分散
行列を用いて表現することができる。

【００３１】このように、対象物の位置や姿勢を前もっ
て統計的に予測できる場合は他にもある。産業ロボット
などを利用して、部品の組み立てなどを行なう場合に
は、あらかじめ組み立てるべき部品が、ある指定された
場所に前もって置かれている場合が多いが、その位置は
必ずしも正確ではない、そうした場合には、対象物であ
る部品の実際に置かれている場所が指定された場所から
どの程度離れているかを表す誤差を統計的に解析するこ
とにより、その部品の位置の推定値を、平均値と共分散
行列によって表現することができる。

【００３２】対象物位置・姿勢推定モジュ―ル１６は、
このようにして対象物の位置姿勢を表すパラメ―タが統
計的にどのような値を取り得るかを、平均値や共分散行
列などを用いて予測するモジュ―ルである。

【００３３】画像特徴予測モジュ―ル１３は、対象物を
撮影装置（カメラ等）の位置や姿勢情報と、対象物の位
置や姿勢の推定値の情報に基づいて、対象物がどのよう
に撮影装置に映るかを予測する。これは、たとえば対象
物が３次元的に位置するところの予測値の平均値ｐバ―
を利用して、対象モデルから予測画像を生成する方法に
よって実現できる。こうした、予測画像を生成する方法
は、前記した文献４で述べられているように、一般に対
象物のモデルを利用することによって実現することがで
きる。

【００３４】本実施例では図３の多面体の例で、こうし
た予測図がどのように生成されるかを説明する。多面体
の場合には、各面を構成するのは、その境界を表す線分
である。したがって、予測図では、そうした線分のどの
部品がカメラが置かれている視点から見えるか否か（可
視か、不可視か）を決定すればよい。これを実現するた
めに、各線分上の点と視点とを結ぶ線分が他の面と交差
するか否かを順次調べ、もしいずれの面とも交差しなけ
れば、その点は可視な点として登録してゆくという方法
を取ることにより、予測画を生成することができる。図
５はその出力例を表したものである。この図で表されて
いるように、９本の線分

【数８】 が可視な線分として出力される。この際重要なのは、画
像特徴予測モジュ―ル１３では、その出力を対象物局所
座標系でのパラメ―タとして表現している点である。上
記可視なモデル特徴群Ｌ１，Ｌ２，Ｌ３，…，Ｌ９は、
本実施例では詳しく説明しないモデル特徴−画像特徴対
応探索モジュ―ル１５に送られる。

【００３５】こうして、一つの予測画像が生成される
と、次にその予測画像から対象物を規定する特徴を選択
することができる。この特徴としては、特徴点、線分、
あるいは曲線などを考えることができる。次にこうした
特徴が画像内またはパラメ―タ空間内でどのような特徴
を示すかを説明する。前記した文献２で述べられた方法
では、完全にモデル化された動かない環境の中を動くロ
ボットの位置を推定するために、ロボットの位置不確定
度を画像内に伝播した。以下に説明する方法は、その逆
の作業である。すなわち、位置が不確定な対象物を、固
定された撮影装置で撮影したときに、その対象物の画像
内での位置不確定度がどのようになるかを計算するわけ
である。

【００３６】こうした場合には、対象物の基準となる位
置Ｐ₀ と姿勢Ｑ₀ の世界座標系での表現に対して推定値
を利用することができる。具体的には、ｐ＝（ｐ_x ，ｐ
_y ，ｐ_z ；φ_x ，φ_y ，φ_z ）で使用される６個のパラ
メ―タを確率的に表現したり、ある領域制限を用いて表
現したりすることができる。

【００３７】こうしたパラメ―タを確率的に表現する方
法の一つは（ｐ_x ，ｐ_y ，ｐ_z ；φ_x ，φ_y ，φ_z ）の
平均値と共分散行列を用いるものである。こうした確率
的な表現を利用すると、さらに適当な閾値を用いること
によって、パラメ―タの存在範囲を制限することができ
る。ｐの平均値ｐバ―とｐの共分散行列Σ_p を利用する
と、適当な閾値ｄを利用して、

【数９】 なる集合を定義すると、閾値ｄを制御することによっ
て、ｐの存在する範囲を制限することができる。

【００３８】また領域によって制限する方法とは、ｐ＝
（ｐ_x ，ｐ_y ，ｐ_z ；φ_x ，φ_y ，φ_z ）の取り得る領
域をある領域に限定することを意味する。例えば、

【数１０】 で限定される空間Ｂによって限定する方法などがある。
ここで、α_x ，β_x ，…，γ_z ，ε_z などは、定数であ
る。

【００３９】いま、対象物の特徴を規定する対象物の局
所座標系でのパラメ―タをｕとする。このｕとしては、
３次元点の位置座標や曲線を記述する方向ベクトル等
で、対象物の３次元空間中での特徴となるものを表すパ
ラメ―タである。

【００４０】話を簡単にするため、対象物局所座標系で
の位置座標ｕ＝（ｘ，ｙ，ｚ）を有する３次元点Ｐを対
象物の特徴とし、その点特徴をカメラによって観察する
場合を考える。世界座標系での対象物の位置Ｐ₀ と姿勢
Ｑ₀ が不確定であるために、カメラでこの特徴点を観察
するとその像のカメラ画像内での位置と姿勢も不確定と
なる。それがどの程度不確定かを表現するためには、Ｐ
₀ とＱ₀ の不確定度をカメラ画像内の像に伝播すればよ
い。前記した文献２のペ―ジ２８１−２８２に表されて
いるように、まず対象局所座標系での３次元点Ｐ（ｘ，
ｙ，ｚ）とそのカメラ像Ｐ′との関係を定式化する。簡
単のために、撮影装置をＴＶカメラ１として、それをピ
ンホ―ル型のカメラとしてモデル化したとする。さらに
カメラが正しく較正されているとすると、カメラ画像内
の点Ｐ′の位置ｖ＝（ｒ，ｃ）は、

【数１１】 ここに、Ｔ＝（ｔｉｊ）（ｉ＝１，２，３；ｊ＝１，
２，３，４）はカメラ較正行列とよばれ３×４の実行列
である。Ｈ＝Ｈ（ｐ_x ，ｐ_y ，ｐ_z ；φ_x ，φ_y ，
φ_z ）は４×４の行列で、式（２）、（３）に示される
対象物局所座標系から世界座標系への変換行列である。
さらに、ｗは遠近効果を表すパラメ―タであり、実際の
画像内の位置ｖ（ｃ，ｒ）は、（ｒｗ／ｗ，ｃｗ／ｗ）
の演算によって得ることができる。

【００４１】さて、Ｐ₀ とＱ₀ に含まれている不確定度
を３次元特徴点ｕのカメラ像（ｒ，ｃ）に伝播するため
には、まずＰ₀ とＱ₀ の不確定度をｐの平均値ｐバ―と
ｐの共分散行列Σ_p によって表現しておく。この方法に
関しては、前述した通りである。すると、ｖ＝（ｒ，
ｃ）の平均値ｖバ―＝（ｒバ―，ｃバ―）は、遠近効果
を表すパラメ―タｗの平均値ｗバ―を利用して、

【数１２】 で求まる。さらに、式（１２）を変形し、ｗの項を除去
した後、ｒ，ｃをｐの関数として表す。その後、その方
程式に関して、ｐバ―，ｖバ―＝（ｒバ―，ｃバ―）の
まわりでの変分δｐ＝ｐ−ｐバ―，δｖ＝ｖ−ｖバ―を
考えれば、

【数１３】 と書くことができる。ここに、Ｆは（ｒ，ｃ）のｐに対
するJacobi行列である。するとｖの共分散行列Σｖは、
期待値をとるオペレ―タをＥ［^* ］とすると、

【数１４】 と書くことができる。ここで、対象物の位置姿勢パラメ
―タｐの共分散に関する関係式、

【数１５】 を用いた。

【００４２】以上のように、ｖ＝（ｒ，ｃ）の平均値と
共分散行列を求めることができる。さらに、このｖ＝
（ｒ，ｃ）の平均値と共分散行列に基づいて、ｖの存在
する範囲を確率的に制限することができる。例えば、

【数１６】 で表現される空間を定義し、ある閾値ｄを制御変数とし
て、領域をＡ（ｖバ―，Σ_v ；ｄ）によって制限すれば
よい。ここで、制御変数ｄを大きくとれば、より大きな
確率でｖはＡ（ｖバ―，Σ_v ；ｄ）の中に含まれること
になる。

【００４３】図６は、対象物の位置姿勢のパラメ―タに
含まれる不確定度をカメラ画像内に伝播した場合の例を
示したものである。図６（ａ）は対象物局所座標系の原
点Ｐ０の持つ位置姿勢不確定度を楕円体で表したもので
ある。図６（ｂ）は、画像特徴として点を選択したと
き、カメラ画像面に出現が予測される特徴点がどのよう
な不確定度を持つかを表したものである。

【００４４】以上では、特徴として３次元点を用いた
が、対象物を規定するいろいろな特徴は、一般的に対象
物の局所座標系のもとで、あるパラメ―タｕによって表
現することができる。特徴がパラメ―タ化できるときに
は、その特徴がカメラ像として表出するときのパラメ―
タに変換する式を求める。例えば、対象物上の特徴点
は、カメラ画像上で点としてパラメ―タ化され、対象物
上の線分特徴は、カメラ画像上でも線分として表出し、
パラメ―タ化することができる。次に、対象物と姿勢に
含まれている不確定度をカメラ像のパラメ―タに伝播
し、その不確定度に基づいてカメラ像パラメ―タ空間の
制限を行なう。

【００４５】上記の例では、点特徴の場合について、そ
の解法を詳しく述べたが、対象物をパラメ―タｕで記述
するような一般的な場合には、以下のような方法によっ
て不確定度を伝播することができる。

【００４６】（１）対象物の位置・姿勢をパラメ―タ化
する。例えばその値をｐとする。ｐに関する平均値ｐバ
―と共分散行列Σ_p を求める。

【００４７】（２）対象物の特徴をパラメ―タを用いて
表現する。そのパラメ―タは、対象物の局所座標系で表
現されるものである。例えば、その特徴のパラメ―タを
ｕとする。

【００４８】（３）対象物の特徴に対応するカメラ画像
の特徴を選択し、その特徴をカメラ画像内で表現するた
めのパラメ―タｖを設定する。

【００４９】（４）ｕ，ｖ，ｐを関連づけるパラメ―タ
間の方程式ｆ（ｕ，ｖ，ｐ）＝０を求める。次に、パラ
メ―タｖに関連する不確定度を計算する。まず、平均値
ｖバ―を求めるには、方程式

【数１７】 を解けばよい。一方、共分散行列Σｖを求めるために
は、ｆ（ｕ，ｖ，ｐ）＝０の方程式の平均値ｐバ―，ｖ
バ―のまわりでの変分をとることにより求める。具体的
には、

【数１８】 の変分方程式において、ｆ（ｕ，ｐバ―，ｖバ―）＝０
であることを利用すると、

【数１９】 が利用でき、最後に

【数２０】 という線形方程式によって、変分δｖを変分δｐによっ
て表現することができる。今、前式の変換行列の部分を
Ｆで表すとすると、

【数２１】 で表現される方程式が求められ、このことから、ｖの共
分散行列Σｖは、

【数２２】 の形で表現できる。その後、適当な閾値ｄを選択して、
式（１９）で示されるパラメ―タ領域Ａ（ｖバ―，
Σ_v ；ｄ）に限定される。図６（ｂ）のフレ―ム内の楕
円は、こうした画像特徴点の存在制限領域を表したもの
である。

【００５０】以上の例では、特徴が単一のパラメ―タに
よって表現できる場合について説明したが、複数のパラ
メ―タを結合して一つの特徴を表現する場合もある。例
えば、直線成分で、その２個の端点の位置座標がパラメ
―タとして与えられている場合には、前記した文献２が
説明しているように、直線成分全体のカメラ画像内の位
置不確定度を次のようにして求めることができる。

【００５１】まず、直線成分特徴の各端点に関して、そ
のカメラ画像内の位置不確定度を求め、その位置不確定
度から作られる制限領域を組み合わせることによって、
直線の存在制限領域を算出することができる。図７
（ａ）、（ｂ）、（ｃ）はこの方法を表したものであ
る。図７（ａ）は、直線成分の２端点Ｐ１とＰ２の存在
制限領域を構築したものである。図７（ｂ）は、これら
端点の存在制限領域から、それを含む凸閉包を作り、そ
れを直線成分Ｐ₁ Ｐ₂ の存在制限領域としたものであ
る。この存在制限領域は必ずしも、図７（ｂ）のよう
に、最小の閉領域で構成する必要はない。例えば、図７
（ｃ）で示されるように、直方領域で近似しても構わな
い。

【００５２】直線成分の抽出に関しては、ハフ変換が有
効な手段であることが知られている（文献２、ペ―ジ２
８５）。文献２のペ―ジ３００で示されているようにあ
らかじめ直線成分は、３次元空間内で、

【数２３】 と表すことができる。ここに、［ａ，ｂ，ｃ］^T は、直
線の方向を規定する方向余弦、［ｘ₀ ，ｙ₀ ，ｚ₀ ］^T
は直線上の任意の一点、ｔは媒介変数である。こうした
３次元上の直線をピンホ―ルモデルで近似できるカメラ
で撮影すると、その像はやはり直線としてカメラ画像上
に現れる。図８にあるように、その直線を原点からの距
離ρと、直線の法線の方向γによって表現したのがハフ
変換であり、（ρ，γ）が作る空間はハフ空間と呼ばれ
る。もし、対象物の位置と姿勢の基準パラメ―タＰ₀ と
Ｑ₀ の値が不確定のときには、こうしたハフ変換のパラ
メ―タのカメラ画像内における値も不確定となる。

【００５３】前述したようにＰ₀ とＱ₀ の不確定度をハ
フ変換パラメ―タに伝播することにより、ハフ変換パラ
メ―タの不確定度を計算することができる。いま、この
ｖ＝（ρ，γ）の対応するパラメ―タの平均値をｖバ―
＝（ρバー，γバー）、共分散行列をΣｖとする。図９
は、ハフ空間内の不確定度を表したものである。

【００５４】いったん、ハフ変換パラメ―タの不確定度
が計算できると、下式で示されているように、閾値ｄを
用いて、ハフ変換パラメ―タの存在領域を限定すること
ができる。

【００５５】

【数２４】 この限定の方法は、式（１９）に表されている方法と同
様である。実際には直線成分を抽出するためには、この
限定した領域の範囲だけについて、対応する直線成分を
抽出すればよいことになる。このように、画像特徴予測
モジュ―ル１３で対象物を規定する特徴がどのような見
え方をし、その特徴を表現するパラメ―タがどのような
値を取り得るのかが計算される。

【００５６】次に、画像特徴抽出モジュ―ル１４では、
画像特徴予測モジュ―ル１３で選択されたモデル特徴を
カメラ画像の中から抽出することがおこなわれる。ここ
では、Ｐ₁ ，Ｐ₂ を端点とする直線成分Ｐ₁ Ｐ₂ の抽出
を例として説明する。画像特徴予測モジュ―ル１３で作
られたある直線に関する情報は、 （１）直線成分の端点のカメラ画像内での位置の不確定
度 （２）直線成分のハフ変換パラメ―タの不確定度 の２点であった。画像特徴抽出モジュ―ル１４では、こ
うした情報を利用して、直線成分特徴を抽出する方法を
選択する。

【００５７】直線成分を抽出するには、以下のような方
法を用いる。

【００５８】（１）直線成分のハフ変換パラメ―タの存
在領域に対応するハフ累積行列Ｄ（ρ，γ）を用意す
る。ここで、ハフ空間は適当に離散化しておく。この行
列の大きさは、ハフ変換パラメ―タの限定された大きさ
に対応する。例えば、いまρの取り得る範囲を［ρmin
，ρmax ］、γの取り得る範囲を［γmin ，γmax ］
とすれば、この行列は、上記のρ，γの範囲を包含する
ものであればよい。次に、このハフ累積行列Ｄ（ρ，
γ）を零初期化する。

【００５９】（２）限定された画像空間を長方領域［rm
in，rmax，cmin，cmax］で近似し、その領域に対して、
所望の平均的傾き（ハフ変換パラメ―タγは直線成分の
法線方向を表すので、γに直交する方向が直線成分の傾
きに相当する）に特に感度のある微分オペレ―タを施
す。こうしたオペレ―タの例は、例えば、前記した文献
３のpp.403-410のIntegrated Directional Derivative
Gradient Operator で示されているように、線形型のフ
ィルタで構成することができる。この特別なフィルタを
適用するのは、できるだけノイズの影響を抑えて、所望
の方向の直線成分を検出するためである。そしてこのフ
ィルタを限定された画像領域に適用する。

【００６０】フィルタの出力の絶対値がある閾値より大
きな画素（ｒ，ｃ）に関しては、その画素は所望の直線
成分に対応するエッジを構成する可能性があると考え、
γの取り得る全ての範囲の角度方向についてそれに対応
するρを計算する。すなわち、γをγmin からγmax ま
で値を変えながら、

【数２５】 を計算し、それに対応する（ρ，γ）のハフ累積行列の
要素の値Ｄ（ρ，γ）を１増やす。

【００６１】以上のことを、限定された画像領域内の全
ての画素について繰り返す。

【００６２】（３）ハフ累積行列Ｄ（ρ，γ）の中から
ピ―クを捜し、そのピ―クに対応する直線成分を限定さ
れた画像内で本当に直線成分として存在する時には、そ
のピ―クに対応する直線成分として登録する。このステ
ップ（３）の操作をある所望の直線成分が検出できる
か、ある一定以上の大きさのピ―クが検出できるまで、
繰り返す。

【００６３】以上のような操作（１）、（２）、（３）
をすることで画像内の処理をする領域を限定するので、
高速な処理が実現可能となる。また、特別なフィルタを
適用することで、ノイズの影響をできるだけ受けないで
直線成分を抽出することができる。もう一つ重要なこと
として、前記した文献２で述べられた方法では、平面上
を動くロボットの位置と姿勢の推定のための直線成分の
画像特徴抽出方法を述べただけであり、位置と姿勢が不
確定な３次元対象物の画像特徴を抽出する方法は与えて
いなかった。この文献２の方法より複雑な問題を解決す
るために、本実施例では、３次元対象物の位置姿勢不確
定度を上記した方法によって画像面やパラメ―タ空間に
効率よく伝播しているわけである。

【００６４】以下に、第２実施例を説明する。第２実施
例は、対象物の特徴が曲線として表されるものに関し
て、その抽出方法を表したものである。対象モデル格納
モジュ―ル１１と対象物位置・姿勢予測モジュ―ル１２
の機能は、実施例１の場合と同様なので、ここでは、画
像特徴予測モジュ―ル１３と特徴抽出モジュ―ル１４の
機能について述べる。

【００６５】対象モデル格納モジュ―ル１１が対象物の
モデル情報を画像特徴予測モジュ―ル１３に送った後、
画像特徴予測モジュ―ル１３では、その予測画に現れる
曲線成分を選択する。

【００６６】もし、特徴が曲線として表示される時に
は、その曲線を構成する代表点を求め、その代表点に対
する画像内での不確定度をまず求め、それら不確定領域
の閉包を考えることにより、曲線の画像内の存在領域を
制限することができる。

【００６７】曲線の予測生成を行なうには、まずそのモ
デルとなる曲線代表点の不確定度を平均値と分散によっ
て求めておく。

【００６８】モデル曲線は、一般的にパラメ―タを使用
して

【数２６】 の形で記述される。ここに（ｒ，ｃ）は、画像の行・列
方向を表すパラメ―タであり、ｔは曲線をその１端点か
ら長さを規定するパラメ―タである。ｐは曲線の特性を
表すパラメ―タである。

【００６９】曲線全体が一つのセグメントとして抽出す
るのが困難と判断できる場合には、曲線成分が複数の曲
線成分に分割される。分割される曲線成分のことをい
ま、モデル曲線セグメントと命名することにする。この
分割方法としては、例えば以下のような方法を考えるこ
とができる。

【００７０】（１）モデル曲線を均等な間隔で分割す
る。図１０（ａ）に示されているように、モデル曲線の
長さを基準として、曲線を分割して、曲線セグメントを
生成する。

【００７１】（２）モデル曲線の端点を結ぶ直線と曲線
内の最遠点との距離があるしきい値を超えたときには、
その曲線を最遠点で２分割し、さらにその分割された２
つの曲線成分に同様な処理を施し、曲線上の点と端点を
結ぶ直線間の最遠距離がある一定の閾値になるまで、曲
線の分割を繰り返す。図１０（ｂ）に示されているよう
に、端点Ｐ₁ とＰ₂ を結ぶ線分から最も離れた点Ｐ_m を
曲線Ｐ₁ Ｐ₂ の間に求める。Ｐ_m から線分Ｐ₁ Ｐ₂ まで
の距離ｄがある閾値より小さければ、曲線Ｐ₁ Ｐ₂ を一
つの曲線セグメントとして登録する。その閾値より大き
ければ、曲線をＰ₁ Ｐ_m とＰ_m Ｐ₂ の二つのセグメント
に分割し、その二つのセグメントに関して同様な分割を
行なう。

【００７２】（３）モデル曲線の２端点と曲線内の最遠
点とが作る３角形の最遠点での内角がある閾値よりも小
さいときは、最遠点で２分割し、その分割された２つの
曲線成分について、同様な処理を施す。図１０（ｃ）に
示されているように、線分Ｐ₁Ｐ₂ から最も離れた曲線
上の点Ｐ_m を求め、Ｐ₁ Ｐ_m Ｐ₂ が作る角度を調べ、そ
の値がある閾値より小さければ、曲線Ｐ₁ Ｐ₂ を一つの
曲線として登録する。もしそうでなければ、曲線を２つ
の曲線セグメントＰ₁ Ｐ_m とＰ_m Ｐ₂ を生成して、それ
ぞれの曲線セグメントについて同様の分割を繰り返す。

【００７３】（４）モデル曲線の１端点を始点とし、そ
の始点からモデル曲線を構成する代表点を追跡し、その
代表点における接線方向の角度を調べる。上記１端点を
基準とした接線方向の角度変化があるしきい値を超えた
ときには、端点からその代表点までの曲線成分を１つの
モデル曲線セグメントとして登録するとともに、その代
表点を新たな始点として、同様な処理を繰り返す。図１
０（ｄ）に示されているように、曲線上に代表点Ｐ₁ ，
Ｐ₂ ，…，Ｐ₈ をとり、各代表点Ｐｉ（ｉ＝１，２，
…，８）での接線の方向を始点Ｐ₁ から順に計算する。
もしあるＰｉに関して、Ｐ₁ とＰ_i の接線のなす角度φ
_i がある閾値を超えたときには、Ｐ₁ Ｐ_i を曲線セグメ
ントとして登録し、次にＰ_i を始点として同様な処理を
繰り返す。この操作は、始点が終点と一致するまで行な
われる。

【００７４】もちろん、曲線の分割は上記の方法に限定
されるわけではない。こうして、分割がなされた後、各
領域でそれぞれの特徴に見合った方法で、曲線セグメン
トが抽出される。こうした曲線セグメントに関して、そ
の曲線セグメントをもっとも抽出しやすいような方法が
選択される。もう少し具体的に述べれば、与えられたモ
デル曲線セグメントをある領域内で、ある角度方向を持
ったほぼ直線に近い成分としてセグメント化することに
よっておこなう。こうして分割された曲線セグメントの
総数をＮとする。

【００７５】各モデル曲線セグメントを画像内のどこに
捜せばよいかを示す探索領域の計算がまずなされる。

【００７６】次に画像特徴予測モジュ―ル１３では、モ
デル曲線セグメントの端点Ｐ₁ ，Ｐ₂ が形成する線分Ｐ
₁ Ｐ₂ の角度分だけＰ₁ ，Ｐ₂ の探索領域を逆回転す
る。すると回転された新しい座標系で、予測画像を考え
ることができる。図１１（ａ）、（ｂ）は、この回転を
示すためのものである。図１１（ａ）に示すように、曲
線セグメントＰ₁ Ｐ₂ は予測画像内で、θ°分だけ列方
向ｒから傾いている。このθ°分だけ座標系を逆回転し
て、線分Ｐ₁ Ｐ₂ が列方向ｒ′と平行になるようにす
る。図１１（ｂ）のようにこの手法を採用することによ
り、曲線セグメントＰ₁ Ｐ₂ は、予測画像の列方向ｒ′
にほぼ平行な直線成分と見なすことができるようにな
る。その後、この回転された座標系で、Ｐ₁ ，Ｐ₂ の探
索領域が決定される。このＰ₁ ，Ｐ₂ の探索領域から曲
線セグメントＰ₁ Ｐ₂ の探索領域を次に形成する。これ
を生成する方法が図１２（ａ）、（ｂ）に示されてい
る。図１２（ａ）は、Ｐ₁ ，Ｐ₂ の探索領域の凸閉包を
求めて、それを曲線セグメントの探索領域とするものを
表したものであり、図１２（ｂ）は、Ｐ₁ ，Ｐ₂ の探索
領域の長方形閉包により、曲線セグメントＰ₁ Ｐ₂ の探
索領域を近似したものである。こうして、画像特徴予測
モジュ―ル１３では、各曲線セグメントに関する予測画
像内での探索領域が計算される。

【００７７】画像特徴予測モジュ―ル１３からの出力
は、各曲線セグメントに関して、回転された予測画像系
でどの領域にモデル曲線セグメントが存在するか（探索
領域）を表す不確定度が計算された。一方、画像特徴抽
出モジュ―ル１４は、各モデル曲線セグメントに相当す
る画像曲線セグメントを、前記の探索領域内で実際に抽
出する機能を持っている。以下、画像特徴抽出モジュ―
ル１４での処理を図１３に示すフロ―チャ―トを利用し
て説明する。

【００７８】まず、モデル曲線セグメントの総数をＮと
する。そして、各モデル曲線セグメントを表すインデッ
クスをｋとし、ｋ＝１と初期化する（ステップＳ１）。
ここで、ステップは以下単にＳで表す。次に、Ｓ２にお
ける処理を説明する。モデル曲線セグメントｋに対し
て、画像特徴予測モジュ―ル１３では、その探索領域が
回転された座標系で計算された。このステップでは、こ
の回転された座標系に対応するように、原画像の回転を
おこなう。実際には、モデル曲線セグメントの端点
Ｐ₁ ，Ｐ₂ が形成する線分Ｐ₁ Ｐ₂ の角度だけ逆回転す
る。いま、線分Ｐ₁ Ｐ₂ がなす角度をθとし、原画像の
点（ｒ，ｃ）とその回転された対応点（ｒ_p ，ｃ_p ）
は、ある座標上のオフセット分（ｒ₀ ，ｃ₀ ）を考慮す
ると、

【数２７】 で計算できる。この計算で注意すべき点は、回転座標変
換を回転されるべき画像の座標（ｒ_p ，ｃ_p ）を利用
し、その対応点を原画像（ｒ，ｃ）に求めて、その濃淡
値を回転先の画像の濃淡値とすることにある。実際に
は、（ｒ_p ，ｃ_p ）は整数であるが、その原画像中での
対応点の座標（ｒ，ｃ）は整数とならないので、（ｒ，
ｃ）を計算した後、四捨五入などによる整数化の手段を
とるか、対応近傍点を考慮した近似を行なう。ここで
は、その近似化について簡単に説明する。いま、上式
（３０）によって、原画像の対応画素座標（ｒ，ｃ）が
計算できたとする。そして、（ｒ，ｃ）の小数部分を切
り捨てて得た整数座標値を（ｒ１，ｃ１）とする。この
とき、

【数２８】 を計算する。座標値（Ｒ，Ｃ）に対応する原画像の画素
の濃淡値をｇ（Ｒ，Ｃ）で表すことにすれば、求めるべ
き（ｒ，ｃ）に対応する濃淡値は

【数２９】 によって、線形近似値を求めることができる。

【００７９】次にＳ３では、０°の微分に対する２値画
像を作成する。まず原画像を微分するには、図１４
（ａ）に表されるような窓型の線形フィルタを利用する
のが一般的である。例えば、画像の行・列方向を表すイ
ンデックスをそれぞれｒ，ｃとし、原画像の座標（ｒ，
ｃ）における濃淡値をａ（ｒ，ｃ），微分画像の出力を
ｂ（ｒ，ｃ）とすれば、あるウィンドウ型フィルタｗ
（ｉ，ｊ）によって、ｂ（ｒ，ｃ）は以下のような計算
によって求めることができる。

【００８０】

【数３０】 例えば、０°に関する窓型フィルタは、図１４（ｂ），
（ｃ）で表されているようなものである（文献３参
照）。さらに、同文献３のpp.337-352に表されているよ
うに、我々は、所望のフィルタの応答を考慮しながら、
ｗ（ｉ，ｊ）の値を計算することができる。図１４
（ｂ），（ｃ）では、５×５の大きさのフィルタを表し
たが、その大きさは５×５に限定されたわけではない。
ｍ×ｎのようなフィルタであってもかまわない。また線
形のフィルタではなく、空間微分を実行する非線形のフ
ィルタであってもかまわない。

【００８１】こうした微分フィルタの出力ｂ（ｒ，ｃ）
は、おおむね０°方向のエッジ成分を有する画素に関し
て、その絶対値が大きな出力を持つことが期待できる。
次の作業では、この微分画像から、微分の符号を考慮し
た２枚の２値エッジ画像を生成する。具体的には、第１
のエッジ画像は上記微分画像ｂ（ｒ，ｃ）の値がある閾
値 threshold＿positiveより大きな値のとき、対応する
エッジ画像ｅｐ（ｒ，ｃ）を１とし、そうでなければｅ
ｐ（ｒ，ｃ）を０とする。

【００８２】一方、第２のエッジ画像では、上記微分画
像ｂ（ｒ，ｃ）の値がある閾値 threshold＿negativeよ
り小さければ、対応するエッジ画像ｅｎ（ｒ，ｃ）の値
を１とし、そうでなければｅｎ（ｒ，ｃ）の値を０とす
るようにエッジ画像を設定する。ここで、２枚のエッジ
画像を別々に用意しておく理由は、後のエッジ成分の追
跡を行なう連結関係を明確にするためである。

【００８３】微分画像から、こうしてエッジ画像を作成
すると、全体の画像は０または１で構成される２値画像
となる。もちろん、この画像はある角度方向のエッジを
含む画像となるわけであるが、画像ノイズ成分が著しい
時には、この画像の中には未だノイズに対応する疑似の
エッジ成分を含む可能性がある。

【００８４】次のＳ４ではこうしたノイズ成分を取り除
くことを行なう。ここで重要なことは、この２値エッジ
画像の中では、ほぼある特定方向０°に対応する曲線部
分だけを抽出し、その他の角度成分に対応するものは極
力取り除くという点である。前例のように、曲線の探索
領域を限定している関係上、曲線セグメントＰ１Ｐ２の
角度もほぼ限定することができる。その角度範囲をマイ
ナスａ°からプラスａ°とすると、中心角度０°から±
ａ°の範囲で特に感度が高いものを利用すればよい。す
ると、ノイズの除去はあくまでこの範囲に限定すればよ
いことになる。２値画像でこうしたノイズ除去を行なう
には、注目画素の近傍の画素を参照してノイズ成分を除
去する方法が考えられる。

【００８５】一つの例としては、注目画素の近傍に対し
て、ある指定された大きさの２値の要素からなるウィン
ドウ型フィルタ（またはテンプレ―ト型フィルタ）を施
すことによって実現する。例えば、０°方向のエッジに
相反するノイズを除去するテンプレ―ト型フィルタを考
えよう。ある中心画素点（ｒ，ｃ）に対してその近傍を
参照して、その画素を通過する曲線があると思われると
きには、その中心画素に対する出力を１、そうでなけれ
ば０とするようなノイズ除去用のテンプレ―トを作成し
ておけばよい。

【００８６】以下、この処理のことをテンプレ―ト処理
と呼ぶことにする。例えば、図１５（ａ）の例のよう
に、中心点を注目画素（ｒ，ｃ）としたとき、その近傍
５×３の領域を考慮すると、注目画素を通過する曲線が
ある可能性が高い時に、そのテンプレ―ト処理の出力を
１とする。一方、図１５（ｂ）の場合のように、その中
心画素が注目点の場合に、そこを曲線が通過する可能性
が低いので、テンプレ―ト処理の出力を０とする。この
ようなテンプレ―ト処理を実現するには、あらかじめそ
の画素の近傍の画素値に対応したテ―ブルを作成してお
き、ルックアップテ―ブル処理を施すことにより実現で
きる。

【００８７】例えば、中心画素（ｒ，ｃ）の画素のまわ
りの５×３近傍の画素値を利用するルックアップテ―ブ
ル処理を実現するには、（ｒ＋ｉ，ｃ＋ｊ）の位置の２
値の画像値ａ（ｒ＋ｉ，ｃ＋ｊ）に対応して

【数３１】 で計算されるアドレスaddress に対応するテ―ブルをあ
らかじめ作成しておくことにより、ルックアップテ―ブ
ル処理を行なう方法などがある。もちろん、ノイズ除去
の方法はテ―ブルを利用しないものであってもよいし、
テンプレ―トの大きさも５×３に限定されたわけではな
い。

【００８８】このようなノイズの除去によって、２値画
像中にある小さな孤立点などはほとんど除去されると同
時に、分断された曲線部分なども連結されて一つの曲線
に回復される。図１６はこの様子を表したものである。
図中、黒点は、１である画素を表したものであり、黒点
のない部分は０である画素群を表したものである。図１
６（ａ）は、ノイズ除去処理前の２値画像を表し、図１
６（ｂ）は処理後の画像を表したものである。

【００８９】次にＳ５において、ノイズ成分が除去され
た２値画像に対して、次に細線化の処理が施される。こ
れは、上記ノイズ除去の方法だけでは、曲線成分が４連
結または８連結の２値曲線とならないことによる。２値
画像の細線化の方法としては、数多くの方法が提案され
ているので、ここでは詳細を述べないが、最も簡単な方
法はテンプレ―ト型のウィンドウを繰り返し画像に適用
することによって実現するものである（例えば、文献
３、pp.168-173を参照。）。このように細線化用のテン
プレ―ト処理を繰り返し施すことにより、曲線成分は細
線化され、次のステップへ移行する。

【００９０】次に、Ｓ６において、細線化された曲線成
分に関して、おおむね０°方向の曲線成分が追跡され
る。この追跡に関しては、追跡する方向がある一定の角
度に限定されていることを利用する。たとえば、上記例
では、おおむね０°の方向だけの曲線を追跡すればよい
わけである。以下、曲線追跡を説明する。

【００９１】（１）曲線画素の連結次数の計算 まず３×３のウィンドウを利用して、画像を走査し、細
線化された２値画像の各画素の近傍との連結次数を画像
として保存する。この連結次数は、３×３のウィンドウ
内で中央の注目画素が１であるとき、その８個の隣接画
素で１の値を有する画素の数に対応する。その方法を説
明するために曲線の端点と分岐点という２つの用語を定
義する。端点とは曲線の他に接続のない始点又は終点を
意味し、その曲線が一方向にしか接続しない点を表す。
一方、分岐点は曲線が枝分かれする点を意味する。例え
ば、注目画素が曲線の端点の場合には、その結合次数は
１であり、曲線上の点で端点でも分岐点でもない点は、
結合次数が２と表現される。一方、曲線の分岐点は、そ
の次数が３以上の数をして表現される。また、注目画像
の値が０のときには、その連結次数を０となる。こうし
て、連結次数画像は元の細線化された画像と同じ大きさ
で、その各画素に対応する値が整数をとる画像より構成
される。

【００９２】（２）次に、この連結次数画像を走査しな
がら、曲線成分の端点または分岐点を捜す。端点か分岐
点が見つかった時には、その点から、８連結関係で連結
する隣接画素を追跡してゆく。この追跡は、次に分岐点
か端点に到達するまで続けられる。曲線成分を１画素ず
つ追跡してゆくにあたり、現時点での画素の連結次数と
次に連結する画素の連結次数を１ずつ減少させる。こう
してひとつの曲線成分が追跡されるとその曲線成分は、
０°方向性をもった曲線であるかがチェックされる。

【００９３】このチェックの方法は、いろいろ考えられ
る。例えば１つの方法としては、曲線の始点と終点とを
結ぶ直線が、０°が許容する方向角度内である場合に
は、その方向の曲線と認識され、そうでない場合には曲
線とは認識されずにその曲線成分は破棄される。その曲
線成分が、０°の許容する曲線成分であると認識された
場合には、以下に示されるような、デ―タ構造のもと
に、その角度に対応した曲線成分の記述化が行なわれ、
曲線成分として登録される。

【００９４】

【数３２】 ここにｃ＿ｉｄは、曲線の通し番号を表す整数で、ｏ＿
ｉｄは、曲線の方向を示すインデックスｋを示す。曲線
の特性は、曲線の始点の一方が少なくとも、端点であっ
た場合には１、両方とも分岐点であった場合には０で表
現される。一方、ｎは曲線を構成する画素の数で、始点
と終点を含んだ数である。曲線の始点と終点は曲線の追
跡を行なう際に利用した端点または分岐点である。最後
に曲線構成画素群は、曲線の追跡で通過した画素群を表
す。ここに最初の画素は始点に等しく、最後の画素は終
点に等しい。

【００９５】このように一つの曲線要素に対して登録が
終った後、別の曲線の端点または分岐点を連結次数画像
の中に捜し、同様の曲線追跡と登録が実行される。この
処理は、全ての曲線が探索されるまで、すなわち連結次
数画像の中に１が無くなるまで行なわれる。この際、連
結次数画像に１を含むか否かのチェックに際して、画像
全体のチェックする必要はない。まず、曲線を抽出する
まえに、連結次数の全体の和を求め、それをあるカウン
タｓに保存しておく。曲線の追跡を行なう際、連結次数
を１ずつ減らしてゆくが、その際このカウンタｓの値を
１減らす。そして１個の曲線の登録が終了するたびに、
このカウンタの値をチェックし、もしその値が０となれ
ば、曲線の抽出は終了したことになる。

【００９６】こうして、あるモデル曲線セグメントに対
応する画像曲線セグメントの抽出が終了した後、インデ
ックスｋの値を１増やす（Ｓ７）。

【００９７】次に、Ｓ８において、インデックスｋとモ
デル曲線セグメントの総数Ｎとを比較する。もし、ｋの
値がＮより大きくなったときには、以上の処理を終了さ
せる。もし、ｋがＮを超えていなければ、ステップ２に
戻り、次のモデル曲線セグメントで同様な処理が反復さ
れる。

【００９８】Ｓ９では、Ｓ１からＳ８をへて、全モデル
曲線セグメントの画像曲線成分が抽出される。抽出され
た全ての画像曲線成分は式（３５）で示される方法で記
述される。このステップでは各方向で抽出された曲線成
分を一枚の画像に収まるように統合する。

【００９９】式（３５）で表されている曲線成分は、回
転された座標系で求められたものであった。このステッ
プでは、まず回転された座標系で求まった全ての曲線成
分を、原画像の座標系での曲線成分表示にいったん戻し
た後に統合し、新たな曲線成分を生成する。

【０１００】このため、まず原画像と同等の大きさの２
値画像（曲線格納画像）が１個用意され、その初期値と
して全ての画素に０の値が割り付けられる。

【０１０１】式（３５）で表示された曲線群について、
まず式（３０）の座標変換によって、原画像の座標
（ｒ，ｃ）が計算される。座標（ｒ，ｃ）が整数の格子
点に充分近い時には、（ｒ，ｃ）に対応する画素に１を
割り付ける。座標（ｒ，ｃ）が整数の格子点に近くない
場合には、その近傍の２点または４点の格子点１に割り
付ける。整数格子点に近いか否かは、座標（ｒ，ｃ）と
格子点までのユ―クリッド距離を計算し、その値がある
しきい値よりも小さい場合には、充分近いと判断する。

【０１０２】上記の処理をＳ２からＳ８までで抽出され
た全ての曲線成分について行なう。すると曲線格納画像
には、全ての方向に関する曲線成分が画像デ―タとして
表現されることになる。

【０１０３】この曲線格納画像に対して再度細線化の処
理を施す。この細線化を施す理由は、別々の角度方向の
画像で得られた曲線の一部が重なり合う可能性があると
同時に、その一部に１画素程度の誤差が含まれているこ
とがあるからである。こうして細線化を行なうことによ
り、別の角度方向で抽出された曲線の画素間のギャップ
が埋められるので、より正確な曲線が生成される。

【０１０４】さて、この操作によって全部の曲線成分が
２値画像に表現された後、再度曲線追跡を行なう。この
操作はＳ６で説明した方法とほぼ同じである。相違点は
以下の２点である。まず、このＳ９では、曲線の追跡後
に特に角度の制限を設けない点が異なる。さらに、曲線
の追跡に関連して、曲線の特性を表すstatusを利用し
て、非常に短い曲線成分でかつ曲線成分の始点・終点の
少なくても一方が分岐点でなく端点であるものはノイズ
成分として除去する点にある。

【０１０５】これは、曲線抽出を行なう際よく起こるヒ
ゲ成分の除去に対応する。こうして、曲線は式（３５）
によって完全に記述化することができる。もちろん、前
記のような方法で、限定された領域内で画像曲線セグメ
ントを抽出すると必ずしも１個だけのセグメントが抽出
されるとは限らない。このような場合には、図１のモデ
ル特徴−画像特徴対応探索モジュ―ル１５がもっとも適
当な画像曲線セグメントを選択することになる。ここで
はこのモデル特徴−画像特徴対応探索モジュ―ル１５に
ついては説明しない。

【０１０６】本実施例で述べられているように、あらか
じめモデル化された対象物の画像内に表出する曲線成分
を、できるだけ雑音成分を除去しながら効率よく抽出す
ることかできる。

【０１０７】以上、２種の特徴（直線成分と曲線成分）
の抽出方法を中心にして述べたが、本実施例で説明され
た特徴抽出の方法は、こうした特徴に限定されたもので
はない。対象物をモデルとして表現する際、パラメ―タ
を用いて表現できる特徴に関しては、上記の方法を適用
することができるのは言うまでもない。例えば、特徴が
ある空間的な広がりを持ってパタ―ンとして表現できる
ときには、そのパタ―ンに対応するパラメ―タを選択
し、そのパタ―ンがカメラ画像内に投影される像を表現
するパラメ―タを求めて、そのパラメ―タに関する不確
定度を計算することにより、そのパタ―ン特徴の効率的
な抽出が実現できるわけである。また前記した文献１で
述べられているような、一般ハフ変換のパメラ―タに不
確定度を伝播することにより、それに対応する特徴を効
率的に抽出することもできる。

【０１０８】以下に第３実施例について説明する。前述
の実施例では、対象となるモデルは、正確にその形状が
わかっている場合のみに関して説明してきた。本実施例
では、対象のモデル自体に不確定要素が含まれている場
合でも、そのモデルに含まれる特徴を画像内から効率良
く抽出する方法を表わすものである。対象物はその形状
が必ずしも正確にわかっていない場合がある。またその
形状が多少時間的に変化する場合などが考えられる。

【０１０９】こうした場合には、前述したモデル特徴を
記述するパラメ―タｕが確率的にしか表現できない場合
と考えることができる。これはモデル特徴パラメ―タｕ
の平均値と共分散行列によって表現できる場合などがあ
る。これは、モデル特徴パラメ―タｕに対する平均値ｕ
バ―と共分散Σｕが付加されたことを意味する。この場
合にも、そのモデル特徴パラメ―タがカメラ画像内で表
現される画像特徴パラメ―タｖの不確定度を推定するこ
とで、その画像特徴のカメラ画像内での抽出を効率的に
行なうことができる。以下がそのステップである。

【０１１０】（１）対象モデル格納モジュ―ル１１のモ
デル表現には、各モデル特徴のパラメ―タｕが平均値ｕ
バ―と共分散行列Σｕの形で表現され、画像特徴予測モ
ジュ―ル１３に送られる。

【０１１１】（２）対象物位置・姿勢予測モジュ―ル１
２では、対象物の局所座標系の原点の位置・姿勢を示す
パラメ―タの値が予測される。この方法は第１実施例の
場合と同様なので、ここでは省略する。

【０１１２】（３）画像特徴予測モジュ―ル１３では、
対象物位置・姿勢予測モジュ―ル１２で求められた対象
物位置・姿勢のパラメ―タｐと平均値ｐバ―と共分散行
列Σｐが利用される。すなわち、その平均値ｐバ―を利
用して、対象物のカメラ画像での予測画が生成される。
モデル特徴パラメ―タｕに対応する画像特徴パラメ―タ
ｖが決定され、その不確定度が以下のように計算され
る。３個のパラメ―タｐ，ｕ，ｖの間の関係式ｆ（ｕ，
ｖ，ｐ）＝０が決定され、平均値ｐバ―とｕバ―の値を
利用して、ｖの平均値ｖバ―が計算される。

【０１１３】その方法は、ｆ（ｕバ―，ｖバ―，ｐバ
―）＝０の方程式を解くことによって求める。次に、ｕ
の共分散行列を推定する。その方法は、ｆ（ｕ，ｖ，
ｐ）＝０の平均値のまわりでの変分をとることによる。
具体的には、

【数３３】 から、ｆ（ｕバ―，ｖバ―，ｐバ―）＝０であることを
利用して、

【数３４】 を求め、これから変分δｖを変分δｕとδｐによって表
現する：

【数３５】 これを、行列Ｆ，Ｇを用いて以下のように簡単に表現す
る。

【０１１４】

【数３６】 ｕとｐは、統計的に独立であると仮定すると、ｖに対す
る共分散行列Σｖは、以下のように計算することができ
る。

【０１１５】

【数３７】 もし、ｕとｐが独立でないと仮定すると、期待値をとる
オペレ―タをＥ［^* ］としたときに、

【数３８】 という形で計算することができる。以上説明したよう
に、モデル特徴パラメ―タｕの平均値と共分散行列によ
り、モデル特徴パラメ―タｕの不確定度を計算すること
ができる。さらに、これらの統計量を利用して、そのｕ
のとるべき値を制限することができる。

【０１１６】図１７は、不確定度の伝播の模式図を表し
たものである。図１７（ａ）は、対象物の原点の位置・
姿勢不確定度が楕円体で表されるとともに、その原点を
基準とした対象物局所座標系での各頂点の位置不確定度
も楕円体で表現されている。こうした２種の不確定度が
融合され、カメラ画像面へと伝播される。画像特徴予測
モジュ―ル１３で作成された各画像特徴点の不確定度
は、図１７（ｂ）のフレ―ムの楕円によって表現されて
いる。

【０１１７】（４）画像特徴抽出モジュ―ル１４では、
こうしたモデル特徴パラメ―タｕに対応する画像特徴パ
ラメ―タｖが制限された領域内で画像特徴が抽出され
る。抽出する方法は、第１実施例と第２実施例で説明し
たので、ここでは省略する。

【０１１８】本実施例で説明したように、対象物モデル
を規定する特徴の位置やパラメ―タが不確定の場合で
も、その不確定度を統計的に記述しておくことにより、
画像内に表出するその特徴の像を効率的に抽出すること
ができる。

【０１１９】上記、３種の実施例においては、対象物を
３次元物体として説明したきたが、本発明は３次元物体
の特徴抽出に限定されるものではない。２次元物体を抽
出される場合にも、もちろん適用することができる。そ
の場合には、対象物の位置姿勢不確定度を表すパラメ―
タｐを６次元ベクトルから３次元ベクトルとし、対象物
の局所座標系での特徴パラメ―タｕも適当に変更するこ
とによって実現できる。

【０１２０】

【発明の効果】以上詳述したように、本発明によれば、
あらかじめモデル化された対象物を規定する特徴を、画
像内でなるべく雑音の影響を受けず、かつ効率的に抽出
することができる。

【図面の簡単な説明】

【図１】第１実施例を実現する画像特徴抽出装置の概観
を示すブロック図である。

【図２】図１のデータ処理装置の構成を示す図である。

【図３】対象モデルを面情報を用いて表現した図であ
る。

【図４】基準原点Ｐ₀ と基準姿勢Ｑ₀ を用いた対象物の
局所座標系（ｘ₁ ，ｙ₁ ，ｚ₁）を示す図である。

【図５】予測画の出力例を示す図である。

【図６】対象物の位置姿勢のパラメ―タに含まれる不確
定度をカメラ画像内に伝播した場合の例を示す図であ
る。

【図７】直線の存在制限領域を実現する方法を説明する
ための図である。

【図８】ハフ変換を説明するための図である。

【図９】ハフ空間内の不確定度を表した図である。

【図１０】曲線成分を複数の曲線成分に分割する方法を
説明するための図である。

【図１１】座標の回転を示す図である。

【図１２】Ｐ₁ ，Ｐ₂ の探索領域から曲線セグメントＰ
₁ Ｐ₂ の探索領域を生成する方法を説明するための図で
ある。

【図１３】特徴抽出モジュ―ルの処理を示すフロ―チャ
―トである。

【図１４】窓型線形フィルタの例を示す図である。

【図１５】テンプレート処理を説明するための図であ
る。

【図１６】ノイズ除去処理前及び処理後の画像を示す図
である。

【図１７】不確定度の伝播の模式図である。

【符号の説明】

１…ＴＶカメラ、２…Ａ／Ｄ変換器、３…画像メモリ、
４…データ処理装置、１１…対象モデル格納モジュー
ル、１２…対象物位置・姿勢予測モジュール、１３…画
像特徴予測モジュール、１４…画像特徴抽出モジュー
ル、１５…モデル特徴−画像特徴対応探索モジュール、
１６…対象物位置・姿勢推定モジュール。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 あらかじめ形状が確定的あるいは確率的
   にわかっている対象物を画像の中から抽出する装置にお
   いて、 対象物の位置や姿勢を規定するパラメ―タの取り得る値
   を確率的に予測し、その不確定度を計算する計算手段
   と、 上記パラメ―タの不確定度を画像面に伝播して、対象物
   を規定する特徴が存在し得る画像内の領域を制限するか
   あるいはその特徴が画像内で表現されるパラメ―タが作
   るパラメ―タ空間内の存在領域を制限する制限手段と、 前記特徴を前記制限手段によって制限された画像領域内
   またはパラメ―タ空間内で抽出する抽出手段とを具備し
   たことを特徴とする画像特徴抽出装置。