JPH0798208A - 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 平面マーカを撮像手段により斜方向から撮影
し、簡単な画像処理を実施するだけで、高速，高精度且
つロバストに位置姿勢認識を行う。 【構成】 平面状のマーカ６には大円部７，小円部８が
表示される。三次元位置認識装置９は、画像処理部１
０，位置姿勢計算部１１などから構成される。ＣＣＤカ
メラ５で斜方向からマーカ６を撮影すると、その画像デ
ータに基づいて楕円形状の大円部７の重心位置を求め、
撮影画面の中心位置からずれているときには中心位置補
正計算部１３によりカメラ５の回転角度を計算して回動
させる。次に、楕円近似計算を最小二乗推定法により計
算してそのパラメータを求めてカメラ５の位置姿勢を計
算し、この結果に基づいて座標変換行列を計算する。マ
ーカ６の画像処理が簡単になると共に、高速且つ高精度
でロバストに位置姿勢を認識できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、単眼視カメラにより撮
影した画像情報に基づいてその単眼視カメラの三次元位
置および姿勢を認識するようにした視覚に基く三次元位
置および姿勢の認識方法とその装置に関する。

【０００２】

【従来の技術】近年、例えば、自律移動ロボット等のよ
うに、形状および絶対座標位置が既知である対象物体に
対して接近するように移動し、ロボットハンドの先端に
設けたマニピュレータにより対象物体を把持するといっ
た能動的操作を行うようにしたものがある。このような
自律移動ロボット等においては、ＣＣＤカメラなどの撮
像手段を搭載してその二次元的な画像情報に基いて対象
物体に対する自己の三次元的な相対位置を認識すること
が必要になる。この場合、位置認識を行うための装置に
おいては、高精度且つ迅速に計算を行って三次元的な位
置のデータを求めることが要求され、しかも安価に実現
できる構成が望まれている。

【０００３】そこで、従来では、比較的簡単なものとし
て、例えば、特開平３−１６６０７２号公報あるいは特
開平３−１６６０７３号公報に示されるようなものが考
えられている。すなわち、これらにおいては、対象装置
に固定された形状および寸法が既知の特殊な幾何学形状
（マーカと呼ぶ）をカメラにより撮影し、そのマーカの
二次元的な画像情報に基いて、その重心位置を計算する
等の方法により対象装置に対するＣＣＤカメラの相対的
な三次元の位置関係を求め、これに基づいてロボットハ
ンドを移動制御するようにしたものである。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
ような従来構成のものでは、ＣＣＤカメラによるマーカ
の撮影を、ＣＣＤカメラの光軸に対する垂直面内にマー
カ表示面が位置するようにＣＣＤカメラを移動させて行
うようにしており、マーカの撮影画面がマーカ表示面の
二次元的な相対位置と１対１の対応関係となるようにす
る必要があるため、次のような実用上の不具合がある。

【０００５】すなわち、例えば、対象物を把持するため
のロボットハンドにカメラを取り付けていると、対象物
の近傍に配置されたマーカを垂直方向から撮影するため
にロボットハンドを適切な位置まで移動させる必要があ
るが、このとき、ロボットハンド先端のマニピュレータ
が物品の把持状態にある場合などにおいては、その移動
範囲に制約を受けることになる。

【０００６】また、ＣＣＤカメラによりマーカを視野内
に入るように移動させるために、マーカの設置領域が狭
いと、ロボットハンドがその作業環境と接触して互いに
損傷を与える不具合が生ずるため、マーカの設置領域を
ロボットハンドが十分に移動可能となるような作業環境
にする必要があり、作業環境に大きく制約を与えること
になるという不具合がある。

【０００７】ところが、従来、このような不具合を解消
すべく、マーカから斜方向に離れた位置から撮影するこ
とにより、カメラの位置姿勢を高速且つ高精度でロバス
ト（ロバストとは、一般的に、処理や認識の結果がノイ
ズや環境条件の変動によってあまり影響を受けないこと
を定性的に示すことばとして用いられている。）に認識
できるものがなかった。

【０００８】本発明は、上記事情に鑑みてなされたもの
で、その目的は、撮像手段により平面マーカを撮影して
三次元位置を認識するときに、平面マーカに対して撮像
手段を垂直方向に対向させることなく、斜方向から撮影
した画像情報に基づいて、簡単な画像処理を実施するだ
けで、高速且つ高精度でしかもロバストな位置姿勢認識
を行うことができるようにした視覚に基く三次元位置お
よび姿勢の認識方法およびその装置を提供することにあ
る。

【０００９】

【課題を解決するための手段】本発明の視覚に基く三次
元位置および姿勢の認識方法は、所定の直径寸法を有す
る円形部およびこの円形部と特定の位置関係にある指標
部からなりそれら円形部および指標部のそれぞれを背景
部分と異なる濃淡情報あるいは色情報により平面上に表
示されたマーカを備え、前記撮像手段からの画像データ
を二値化されたデジタル画像データに変換する前処理計
算処理ステップと、前記デジタル画像データに基づいて
前記マーカの円形部の中心位置を計算する中心位置計算
処理ステップと、前記撮像手段の撮影視野中心位置と前
記マーカの円形部の中心位置との間の中心間距離を計算
してその値が設定誤差値以内であるか否かを判定する中
心位置判定処理ステップと、前記中心間距離が前記設定
誤差値よりも大きいときに、その中心間距離の値が前記
設定誤差値以内となるように前記撮像手段の撮像姿勢を
変更するための回転パラメータを前記マーカの円形部の
中心位置のデータに基づいて計算する中心位置補正処理
ステップと、前記中心間距離の値が前記設定誤差値以内
であるときに、あらかじめ記憶された前記マーカの形状
寸法を示すマーカデータと前記マーカのデジタル画像デ
ータとに基づいて、最小二乗推定法により前記円形部の
輪郭抽出点の楕円近似計算を行うと共に前記指標部との
傾き角度の計算を行い、前記マーカに対する前記撮像手
段の位置姿勢を示す各種パラメータを計算する位置姿勢
計算処理ステップと、この位置姿勢計算処理ステップに
おける前記撮像手段の位置姿勢を示すパラメータ計算結
果に基づいて、前記撮像手段の基準座標系から見た前記
マーカの位置姿勢を表す座標変換行列を計算する座標変
換行列計算処理ステップとを実行することにより、前記
マーカに対する撮像手段の三次元位置姿勢を認識するよ
うにしたところに特徴を有する。

【００１０】また、本発明の視覚に基く三次元位置およ
び姿勢の認識装置は、所定の直径寸法を有する円形部お
よびこの円形部と特定の位置関係にある指標部からなり
それら円形部および指標部のそれぞれを背景部分と異な
る濃淡情報あるいは色情報により平面上に表示されたマ
ーカと、撮影画像の画像データを出力する撮像手段と、
前記マーカの形状寸法を示すマーカデータが記憶された
記憶手段と、この撮像手段からの画像データを二値化さ
れたデジタル画像データに変換する前処理計算手段と、
前記デジタル画像データに基づいて前記マーカの円形部
の中心位置を計算する中心位置計算手段と、前記撮像手
段の撮影視野中心位置と前記マーカの円形部の中心位置
との間の中心間距離を計算してその値が設定誤差値以内
であるか否かを判定する中心位置判定手段と、前記中心
間距離が前記設定誤差値よりも大きいときに、その中心
間距離の値が前記設定誤差値以内となるように前記撮像
手段の撮像姿勢を変更するための回転パラメータを前記
マーカの円形部の中心位置のデータに基づいて計算する
中心位置補正手段と、前記中心間距離の値が前記設定誤
差値以内であるときに、前記記憶手段に記憶された前記
マーカデータと前記マーカのデジタル画像データとに基
づいて、最小二乗推定法により前記円形部の輪郭抽出点
の楕円近似計算を行うと共に前記指標部との傾き角度の
計算を行い、前記マーカに対する前記撮像手段の位置姿
勢を示す各種パラメータを計算する位置姿勢計算手段
と、この位置姿勢計算手段による前記撮像手段の位置姿
勢を示すパラメータ計算結果に基づいて、前記撮像手段
の基準座標系から見た前記マーカの位置姿勢を表す座標
変換行列を計算する座標変換行列計算手段とを設けて構
成したところに特徴を有する。

【００１１】

【作用】請求項１記載の視覚に基く三次元位置および姿
勢の認識方法によれば、マーカに対して三次元空間の斜
方向に位置する撮像手段によりそのマーカを撮影したと
きに、以下のように各処理ステップを実行することによ
り、マーカに対する撮像手段の三次元位置および姿勢を
認識することができるようになる。

【００１２】すなわち、まず、撮像手段により撮影され
たマーカの画像データは、前処理計算処理ステップにお
いて、二値化されたデジタル画像データに変換され、続
いて中心位置計算処理ステップにおいて、マーカの円形
部の中心位置を重心等の近似計算により求められる。こ
の場合、撮像手段はマーカに対して斜方向から撮影して
いるので、撮像手段の光軸に垂直な面から傾く程、撮影
画面中におけるマーカの円形部の形状は偏平した楕円形
状になる。

【００１３】次に、中心位置判定処理ステップにおい
て、撮像手段の撮影視野中心位置とマーカの円形部の中
心位置との間の中心間距離が計算され、その値が設定誤
差値以内であるか否かが判定されるようになる。

【００１４】このとき、その中心間距離が設定誤差値よ
りも大きいときには、中心位置補正処理ステップにおい
て、その中心間距離の値が前記設定誤差値以内となるよ
うに撮像手段の撮像姿勢を変更するための回転パラメー
タをマーカの円形部の中心位置のデータに基づいて計算
されるようになる。そして、計算されたその回転パラメ
ータに対応した撮影姿勢に撮像手段を回転移動すれば、
マーカを撮影する撮像手段の撮影視野中心位置に円形部
の中心位置が略一致するように移動させることができる
ようになる。

【００１５】この後、再び、前述の中心位置計算処理ス
テップおよび中心位置判定処理ステップを実行すると、
撮像手段の撮影視野中心位置とマーカの円形部の中心位
置との間の中心間距離が設定誤差値以内にはいるように
なったことが判定されるようになる。

【００１６】そして、中心間距離の値が設定誤差値以内
であるときには、位置姿勢計算処理ステップにおいて、
あらかじめ記憶されたマーカの形状寸法を示すマーカデ
ータとマーカのデジタル画像データとに基づいて、最小
二乗推定法により前記円形部の輪郭抽出点の楕円近似計
算が行われると共にその円形部とマーカの指標部との傾
き角度の計算が行われ、マーカに対する撮像手段の位置
姿勢を示す各種パラメータが計算されるようになる。

【００１７】すると、座標変換行列計算処理ステップに
おいて、上述の位置姿勢計算処理ステップにおける撮像
手段の位置姿勢を示すパラメータ計算結果に基づいて、
撮像手段の基準座標系から見たマーカの位置姿勢を表す
座標変換行列が計算され、撮像手段の三次元位置および
姿勢が認識されるようになる。

【００１８】これにより、撮像手段によりマーカを斜方
向から撮影したときの画像データに基づいて撮像手段の
三次元位置および姿勢が認識でき、この場合に、マーカ
の円形部に対する簡単な計算処理を実行するだけで良い
ので、高速且つ高精度で認識できると共に、ロバストな
処理結果を得ることができるようになる。

【００１９】請求項２記載の視覚に基く三次元位置およ
び姿勢の認識装置によれば、マーカに対して三次元空間
の斜方向に位置する撮像手段によりそのマーカを撮影す
ると、以下のように各手段において処理を実行すること
により、マーカに対する撮像手段の三次元位置および姿
勢を認識することができるようになる。

【００２０】すなわち、まず、撮像手段により撮影され
たマーカの画像データは、前処理計算手段により、二値
化されたデジタル画像データに変換され、続いて中心位
置計算手段により、そのデジタル画像データに基づいて
マーカの円形部の中心位置が重心等の計算により求めら
れる。次に、中心位置判定手段により、撮像手段の撮影
視野中心位置とマーカの円形部の中心位置との間の中心
間距離が計算され、その値が設定誤差値以内であるか否
かが判定されるようになる。

【００２１】そして、その中心間距離が設定誤差値より
も大きいときには、中心位置補正手段により、その中心
間距離の値が前記設定誤差値以内となるように撮像手段
の撮像姿勢を変更するための回転パラメータをマーカの
円形部の中心位置のデータに基づいて計算されるように
なる。そして、計算されたその回転パラメータに対応し
た撮影姿勢に撮像手段を回転移動すれば、マーカを撮影
する撮像手段の撮影視野中心位置に円形部の中心位置が
略一致するように移動させることができるようになる。

【００２２】この後、再び、前述の中心位置計算手段お
よび中心位置判定手段により計算処理を実行すると、撮
像手段の撮影視野中心位置とマーカの円形部の中心位置
との間の中心間距離が設定誤差値以内にはいるようにな
ったことが判定されるようになる。

【００２３】そして、中心間距離の値が設定誤差値以内
であるときには、位置姿勢計算手段により、記憶手段に
記憶されているマーカの形状寸法を示すマーカデータと
マーカのデジタル画像データとに基づいて、最小二乗推
定法により前記円形部の輪郭抽出点の楕円近似計算が行
われると共にその円形部とマーカの指標部との傾き角度
の計算が行われ、マーカに対する撮像手段の位置姿勢を
示す各種パラメータが計算されるようになる。

【００２４】次に、座標変換行列計算手段により、上述
の位置姿勢計算手段による撮像手段の位置姿勢を示すパ
ラメータ計算結果に基づいて、撮像手段の基準座標系か
ら見たマーカの位置姿勢を表す座標変換行列が計算さ
れ、この結果、撮像手段の三次元位置および姿勢が認識
されるようになる。

【００２５】これにより、撮像手段によりマーカを斜方
向から撮影した画像データに基づいて撮像手段の三次元
位置および姿勢が認識でき、この場合において、マーカ
の円形部に対する簡単な計算処理を実行するだけで良い
ので、高速且つ高精度で認識できると共に、ロバストな
処理結果を得ることができるようになるのである。

【００２６】

【実施例】以下、本発明を工場内などの軌道上を走行す
る自律移動ロボットに搭載する三次元位置認識装置に適
用した場合の第１の実施例について図１ないし図１３を
参照しながら説明する。全体構成の概略を示す図２にお
いて、自律走行ロボット（図示せず）は、工場内などの
軌道上を走行して所定の作業位置で停止して、本体上部
に取り付けられたロボットハンド１により対象物を把持
したり載置したりするなどの作業を行うものであり、セ
ンサの検出信号や外部情報に基づいて所定の停止位置に
停止するようになっている。

【００２７】ロボットハンド１は、自律走行ロボットの
本体上部に回動可能に保持されたアーム部２とこのアー
ム部２の先端に回動可能に設けられたヘッド部３から構
成され、このヘッド部３に対象物を把持するためのマニ
ピュレータ４が設けられている。そして、ロボットハン
ド１は、図示しない制御装置からの制御信号に応じてア
ーム部２，ヘッド部３およびマニピュレータ４が駆動制
御されるようになっている。

【００２８】この場合、アーム部２は、基端部２ａにお
いて垂直方向の軸を回転軸として水平面内で回動可能と
され、中間部に設けられた関節２ｂにおいて水平方向の
軸を回転軸として垂直面内で回動可能とされている。ま
た、アーム部２の先端部に取り付けられたヘッド部３
は、水平方向の軸を回転軸として垂直面内で回動可能と
され、ヘッド部３の上下方向の軸を回転軸として回動可
能とされると共に、ヘッド部３の突出方向の軸を回転軸
として捩じる方向に回動可能とされている。

【００２９】また、このヘッド部３の上部には、マニピ
ュレータ４の動作に支障を来さない位置に撮像手段とし
ての小形のＣＣＤカメラ５が取り付けられており、その
ヘッド部３と共に移動制御されるようになっている。そ
して、このＣＣＤカメラ５により撮影された画像データ
に基づいて、後述するようにして、ＣＣＤカメラ５の位
置と姿勢が計算により求められると、その結果に応じて
制御装置によりロボットハンド１の動作が駆動制御され
るようになっている。

【００３０】マニピュレータ４により作業する位置に
は、対象物との位置関係があらかじめ決められた関係で
配置されたマーカ６が配設されている。このマーカ６
は、図３に示すように、例えば、長方形状をなす白地の
背景部分に所定半径で描かれた黒色の大円部７と小円部
８からなる。この場合、大円部７は円形部として、小円
部８は指標部として機能するものであり、小円部８は大
円部７の中心位置に対して対象物との方向関係を示す位
置に配置されている。

【００３１】さて、三次元位置認識装置９は、具体的に
は、例えば全体の計算制御を実行させるコンピュータ等
から構成されるもので、その内部の機能的なブロック構
成は図１に示すように構成されている。すなわち、図１
において、三次元位置認識装置９の全体は、概略構成と
して、画像処理部１０，位置姿勢計算手段としての位置
姿勢計算部１１，座標変換行列計算手段としての座標変
換行列計算部１２，中心位置補正手段としての中心位置
補正部１３および記憶手段としてのメモリ１４から構成
されており、それぞれは、後述するフローチャートの流
れに従って計算処理が実行されるようになっている。

【００３２】そして、画像処理部１０は、前処理計算手
段としての前処理計算部１５，中心位置計算手段として
の重心計算部１６および中心位置判定手段としての中心
位置判定部１７から構成される。前処理計算部１５は、
ＣＣＤカメラ５が撮影したマーカ６の画像データを二値
化したデジタル画像データとして出力する。重心計算部
１６は、前処理計算部１５から与えられるデジタル画像
データから楕円形状に撮影されているマーカ６の大円部
７の撮影画面上での重心位置を計算して求めて大円部７
の中心位置データとして出力する。そして、中心位置判
定部１７は、大円部７の中心位置データとＣＣＤカメラ
５の撮影画面の中心位置のデータとの間の距離を中心間
距離として計算し、その中心間距離があらかじめ設定さ
れた設定誤差値δ以内であるか否かを判定してその判定
結果を出力する。

【００３３】位置姿勢計算部１１は、楕円近似計算部１
８，パラメータ計算部１９，位置計算部２０および姿勢
計算部２１から構成されている。楕円近似計算部１８
は、前述の前処理計算部１５にて出力されたデジタル画
像データに基づいて、後述するようにして輪郭抽出点で
あるエッジデータを求め、そのエッジデータをもとにし
て最小二乗推定法を使って楕円近似計算を行う。パラメ
ータ計算部１９は、楕円近似計算により求められた楕円
の各パラメータとメモリ１４内にあらかじめ記憶されて
いるマーカ６の形状寸法等を示すマーカデータとから、
ＣＣＤカメラ５に対する実際のマーカ６の位置関係を示
す各種パラメータを計算により求める。位置計算部２０
は、上述の各種計算結果に基づいて、ＣＣＤカメラ５か
ら見たマーカ６の大円部７の中心位置を計算により求め
る。また、姿勢計算部２１は、同様にしてマーカ６の姿
勢を基準座標に対するデータとして計算する。

【００３４】なお、メモリ１４は、マーカ６の形状寸法
等を示すマーカデータが記憶されると共に、ＣＣＤカメ
ラ５の撮影画角やアスペクト比（画面の縦横の比率）な
どの、あらかじめわかっている情報が記憶されている。
そして、座標変換行列部１２は、上述のようにして求め
られたマーカ６の位置姿勢を表すデータから、ＣＣＤカ
メラ５の座標系を基準としたマーカ６の位置姿勢を表す
座標変換行列を計算して求めるようになっており、その
計算結果を、データ出力部２２を介して自律移動ロボッ
トの動作を制御する制御装置等に与えるようになってい
る。

【００３５】また、中心位置補正計算部１３は、前述の
中心位置判定部１７において、中心間距離が設定誤差値
δよりも大きいと判断されたときに、マーカ６の大円部
７の中心位置がＣＣＤカメラ５の撮影画面の中心位置に
くるようにＣＣＤカメラ５を回転移動させるための回転
角度を計算し、ロボットハンド１の制御装置に制御デー
タを与えてＣＣＤカメラ５を駆動制御するようになって
いる。

【００３６】次に、本実施例の作用について、図４ない
し図１３をも参照し、以下、各処理ステップに対応して
順次説明する。まず、自律走行ロボットは、作業位置近
傍に近付くと、別途に設けられたセンサ等により所定の
停止領域内に停止され、その位置でＣＣＤカメラ５によ
りマーカ６の撮影を行なうようにあらかじめティーチン
グされている。これにより、ＣＣＤカメラ５の撮影視野
内にマーカ６の全体像が取り込まれるようになってい
る。すると、三次元位置認識装置８は、図４に示す認識
プログラムの流れを示すフローチャートにしたがって三
次元位置姿勢の認識を行うための処理ステップを実行す
るようになる。

【００３７】この場合、ＣＣＤカメラ５は、マーカ６を
離れた位置から斜方向に見るようにして撮影するのが一
般的であるので、ＣＣＤカメラ５により撮影されるマー
カ６の大円部７および小円部８の形状は、撮影画面上に
おいては楕円形状をなす図形として投影されている。

【００３８】（ａ）前処理計算処理ステップ（Ｓ１，Ｓ
２） さて、まず、前処理計算部１５は、ステップＳ１にて、
ＣＣＤカメラ５が撮影した画像の画像データを入力す
る。続いてステップＳ２にて、前処理計算部１５は、前
処理計算を実行するようになる。この前処理計算におい
ては、ＣＣＤカメラ５から入力した画像データを所定の
しきい値で二値化することにより、明暗を示すアナログ
データを「１」，「０」などの二値化されたデジタル画
像データに変換して出力するようになる。

【００３９】これにより、マーカ６に黒色で描かれた大
円部７および小円部８に該当する位置のデジタル画像デ
ータと白地の背景部分に該当する位置のデジタル画像デ
ータとが、それぞれ「１」および「０」のいずれかのデ
ジタル画像データとして識別されるようになる。

【００４０】（ｂ）中心位置計算処理ステップ（Ｓ３） この後、ステップＳ３において、重心計算部１６は、撮
影画面上でのマーカ６の大円部７に対応するデジタル画
像データを識別し、続いて識別された大円部７のデジタ
ル画像データの分布状態からその重心位置の座標を計算
により求める。この場合に、求められた重心位置の座標
は、楕円形状に撮影されている大円部７の実際の中心位
置に対応する撮影画面上での座標点とは完全には一致し
ないが、概略的に大円部７の中心位置座標Ｐａとしてい
る。

【００４１】これは、ＣＣＤカメラ５の光軸を垂直に横
切る面からマーカ６の表面が傾いた位置になる程、撮影
画面上における楕円形状の重心位置と大円部７の中心位
置とがずれるからであり、後述する位置姿勢の認識時に
おいては、この誤差をできるだけ少なくすべく、補正の
計算を実施している。

【００４２】（ｃ）中心位置判定処理ステップ（Ｓ４） 次に、ステップＳ４に進むと、中心位置判定部１７にお
いて、いま計算した大円部７の中心位置座標Ｐａ（ｐ
ｘ，ｐｙ）と撮影画面の中心位置座標Ｏ（０，０）との
間の距離を計算して中心間距離Ｄｐとして記憶し、その
中心間距離Ｄｐの値が所定誤差値δ以下であるか否かを
判定するようになる。

【００４３】これは、撮影したマーカ６の大円部７が撮
影画面上においてその中心位置Ｐａが撮影画面の中心位
置Ｏの近傍に存在しているか否かを判定するもので、
「ＮＯ」と判断された場合にはステップＳ５に進み、後
述するように、大円部７の中心位置Ｐａが撮影画面の中
心位置Ｏに近付くようにＣＣＤカメラ５の姿勢が制御さ
れるようになっている。

【００４４】（ｄ）中心位置補正処理ステップ（Ｓ５，
Ｓ６） すなわち、ステップＳ５においては、中心位置補正計算
部１３により、上述のマーカ６の大円部７の中心位置Ｐ
ａ（ｐｘ，ｐｙ）の座標データから、次のようにしてＣ
ＣＤカメラ５の修正データを計算するようになる。

【００４５】いま、ＣＣＤカメラ５により撮影されてい
る画面が、図５（ａ）に示すような状態にある場合を例
にとって説明する。この場合、マーカ６の大円部７の中
心位置Ｐａ（ｐｘ，ｐｙ）は、撮影画面の中心位置Ｏの
右上（第１象限）に存在しており、撮影画面とＣＣＤカ
メラ５の視点Ｖとは、同図（ｂ）に示すような配置関係
となっている。

【００４６】ここで、ＣＣＤカメラ５の光軸方向をＹ
軸、光軸に垂直な面内の上方をＺ軸，光軸に垂直な面内
の光軸方向を向いて右方向をＸ軸とすると、ＣＣＤカメ
ラ５の視点の位置をそのままの状態に保持しながら、図
６に示すように、光軸をＺ軸回りに回転させて撮影画面
上における大円部７の中心位置ＰａをＸ軸方向にｐｘに
相当する距離だけ移動させると共に、光軸をＸ軸回りに
回転させて撮影画面上における大円部７の中心位置Ｐａ
をＹ軸方向にｐｙに相当する距離だけ移動させれば、大
円部７の中心位置Ｐａが撮影画面上の中心位置Ｏに移動
させることができる。

【００４７】そこで、上述の回転移動制御における、Ｚ
軸周りの回転角度およびＸ軸周りの回転角度をそれぞれ
補正角度Ｄ１，Ｄ２とおいて、以下のようにしてＣＣＤ
カメラ５の光軸を大円部７の中心位置Ｐに回転移動させ
るための変換行列Ｔｏ／ｐを求め、ステップＳ６におい
て、ロボットハンド１の制御装置に制御信号として与え
るようになる。

【００４８】すなわち、まず、ＣＣＤカメラ５による撮
影視野を表す横方向および縦方向に対する中心位置Ｏか
らの画角Ｇ１およびＧ２と、ＣＣＤカメラ５の撮影画面
上における水平方向寸法ＰＨおよび垂直方向寸法ＰＶは
既知データであるから、補正角度Ｄ１およびＤ２を以下
のようにして求めることができる。

【００４９】ＣＣＤカメラ５と撮影画面との間の距離を
仮にｆとおくと、 tanＧ１および tanＧ２は、下に示す
式（１），（２）のように表すことができる。また、 t
anＤ１および tanＤ２は、下に示す式（３），（４）の
ように表すことができるから、式（１），（２）から距
離ｆの値をそれぞれ求めて式（３），（４）に代入する
と、 tanＤ１および tanＤ２は、式（５），（６）のよ
うに表すことができるようになる。

【００５０】

【数１】

【００５１】ところで、このように補正角度Ｄ１および
Ｄ２で回転する場合に、実際には、例えば、初めにＺ軸
周りにＣＣＤカメラ５の光軸を補正角度Ｄ１だけ回転さ
せると、回転する前に撮影画面上に対応して位置してい
る大円部７の中心位置Ｐａは、回転した後の撮影画面上
よりも遠い位置に来るので、回転した後の撮影画面上に
投影したときの中心位置Ｐａのｙ座標値ｐｙを補正する
必要がある。

【００５２】このような点を考慮すると、いま、ＣＣＤ
カメラ５の視線方向を図６中に示すＡ点に向けたときに
ＣＣＤカメラ５の上方ベクトルは、式（７）のようにな
る。次に、ＣＤＤカメラ５の視線ベクトルを大円部７の
中心位置座標の点Ｐａに向けるのでその方向ベクトルは
式（８）のようになる。また、これらの基準ベクトルの
外積を行うことにより得られるベクトルは式（９）のよ
うになる。

【００５３】

【数２】

【００５４】したがって、以上式（７）ないし（９）の
ように得られた各ベクトルから、ＣＣＤカメラ５を大円
部７の中心位置座標Ｐａ点に移動するときの座標変換行
列Ｔｏ／ｐは、式（１０）のように得られる。

【００５５】

【数３】

【００５６】そして、このようにしてＣＣＤカメラ５の
光軸を大円部７の中心位置Ｐａに回転移動させる姿勢制
御が行われると、再び、上述の計算処理ステップＳ１な
いしＳ４を繰り返し実行し、前述の中心間距離Ｄｐの値
が誤差値δ以下になったときに、ステップＳ７に移行す
るようになる。

【００５７】（ｅ）位置姿勢計算処理ステップ（Ｓ７〜
Ｓ１０） この状態では、マーカ６の大円部７の中心位置Ｐａとし
て求めた重心位置が、撮影画面の中心位置Ｏに一致して
いる状態となっているので、大円部７の真の中心位置Ｐ
ａがほぼ一致しているとみなして以下に示すような位置
姿勢の計算処理を実行するようになる。

【００５８】すなわち、まず、ステップＳ７に進むと、
楕円近似計算部１８にて、マーカ６のデジタル画像デー
タに基づいて大円部７のエッジデータを抽出し、続い
て、抽出されたエッジデータに基づいて最小二乗推定法
により楕円近似計算を行い、撮影画面上において楕円形
状をなしている大円部７のパラメータを計算する。

【００５９】図７はエッジデータの抽出処理過程を説明
するためのもので、図８はそのフローチャートを示して
いる。デジタル画像データは、撮影画面上に二次元的に
配列されたデータとして記憶されているので、データ検
索の走査ラインを左から右へ向かう方向に設定し、その
走査ラインを下方に所定間隔だけ移動させて順次走査し
ていく。

【００６０】まず、データ検索のための走査を開始する
と、デジタル画像データを取り込み（ステップＴ１）、
取り込んだデジタル画像データの変化幅が一定値を超え
ているか否かを判断する（ステップＴ２）。「ＮＯ」と
判断されたときには、走査ラインが終了するまでの間、
ステップＴ３を経て、ステップＴ１ないしＴ３を繰り返
し実行する。走査ラインが終了してステップＴ３で「Ｙ
ＥＳ」と判断されたときには、ステップＴ４を経てステ
ップＴ５に進み、走査ラインを所定間隔だけ移動させ、
以下、上述のステップを繰り返す。

【００６１】そして、ステップＴ２で「ＹＥＳ」と判断
されたときには、ステップＴ６に進み、データの変化幅
が一定値を超えない区間でそのデジタル画像データの対
応する位置を記憶し（ステップＴ７）、変化幅が一定値
を超えると再びステップＴ３に戻り、以下、上述のステ
ップを繰り返すことにより、大円部７のエッジデータを
抽出し、すべてのデジタル画像データについて検索が終
了すると、ステップＴ４で「ＹＥＳ」と判断して走査を
終了する。

【００６２】このようにして、楕円形状をなす大円部７
のエッジデータが抽出されると、次に、これらのエッジ
データに基づいて最小二乗推定法により楕円近似計算を
実行して楕円の方程式を得る。なお、このとき用いる最
小二乗推定法については、本実施例の説明の後の付録に
詳述しており、その導出過程については後述の文献を参
照している。

【００６３】さて、このようにして求められた大円部７
に相当する撮影画面上における楕円の方程式から、ステ
ップＳ８において、パラメータ計算部１９において、楕
円の長軸寸法ａおよび短軸寸法ｂを求めると共に、その
楕円の傾き角度αを計算により求める。なお、この計算
過程については、最小二乗推定法による導出過程を示す
付録の中に示している。

【００６４】図９はＣＣＤカメラ５の撮影画面上に投影
されたマーカ６の画像を示しており、楕円形状をなす大
円部７の中心位置Ｐａは撮影画面の中心位置Ｏに一致し
ている状態である。そして、大円部７に対応する楕円形
状はその長軸ａおよび短軸ｂが撮影画面上の座標軸に対
して中心位置Ｏを回転中心として傾き角度αだけ左方向
に回転された状態となっている。この状態で、大円部７
の長軸ａはほぼ撮影画面と平行な面内に存在していると
考えることができるので、撮影画面上における長軸ａの
寸法は、マーカ６の傾きに関係なく、ＣＣＤカメラ５と
マーカ６の大円部７までの距離ｄに応じたデータとな
る。

【００６５】そして、ステップＳ９に進むと、位置計算
部２０において、前述の前処理計算部１５にて求められ
ている小円部８の中心位置Ｐｂを示す座標データに基づ
いて、撮影画面上における大円部７および小円部８の各
中心位置Ｐａ，Ｐｂ間を結ぶ直線と短軸ｂとのなす傾き
角度βを計算にて求め、続いて、撮影画面上における大
円部７の長軸寸法ａからＣＣＤカメラ５の視点から大円
部７の中心位置Ｐａまでの距離ｄを求める。

【００６６】すなわち、マーカ６の大円部７の実際の直
径寸法をＤとすると、ＣＣＤカメラ５の画角Ａに対する
撮影画面の寸法の関係から、撮影画面上における長軸寸
法ａの画角がわかるので、次式（１１）のようにして、
その距離ｄを求めることができる。

【００６７】

【数４】

【００６８】次に、ステップＳ１０に進み、姿勢計算部
２１において、以上のようにして求めた長軸寸法ａ、短
軸寸法ｂおよび距離ｄの値に基づき、以下のようにし
て、ＣＣＤカメラ５の光軸と実際のマーカ６の面とのな
す傾き角度θを計算すると共に、得られた角度θと前述
のようにして求めた撮影画面上における大円部７，小円
部８の各中心位置Ｐａ，Ｐｂ間を結ぶ直線と短軸ｂとの
なす傾き角度βとから長軸ａと小円部８の中心点Ｐｂと
のなす実際の傾き角度φを求める。

【００６９】図１０は、図９のような撮影画面が得られ
ている状態での、ＣＣＤカメラ５の視点Ｖとマーカ６の
配置関係を示す図であり、マーカ６の面が撮影画面であ
る投影面Ｓを斜めに横切った状態で示されている。マー
カ６の大円部７の中心位置Ｐａは投影面Ｓの面内に位置
し、大円部７が投影面Ｓと横切る部分の線分が図９にお
ける大円部７に相当する楕円の長軸ａとなっている。

【００７０】まず、図中において、ＣＣＤカメラ５の視
点Ｖと大円部７の中心位置Ｐａを結ぶ直線つまり光軸と
マーカ６の面となす傾き角度θについて求める。この傾
き角度θは、図１１に示すように、図１０の投影面Ｓを
楕円の長軸ａ方向から見たときのマーカ６の面とＣＣＤ
カメラ５とのなす傾き角度に等しいから、前述の式（１
１）のように計算された距離ｄと長軸寸法ａ，短軸寸法
ｂから次のように計算することができる。

【００７１】図１１において、ＣＣＤカメラ５の視点Ｖ
とマーカ６の大円部７の上端と下端とをそれぞれ結んだ
ときに投影面Ｓを横切る点をｔ１およびｔ２とすると、
投影面Ｓの原点Ｏと点ｔ１，点ｔ２とをそれぞれ結ぶ線
分ｒ１，ｒ２の長さ寸法を求めると、式（１２），（１
３）のようになる。そして、線分ｒ１およびｒ２の和
は、楕円の短軸寸法ｂに等しくなるので、これらの関係
から、式（１４）が成り立つようになる。したがって、
式（１４）を sinθについて解くと、２次方程式となる
から、式（１５）のようにその解を得ることができる。

【００７２】

【数５】

【００７３】なお、線分ｒ１およびｒ２を求めることに
より、大円部７の正確な中心位置Ｐａを求めることがで
きる。すなわち、前述のように、重心計算により求めら
れる大円部７の重心位置と実際の大円部７の中心位置が
投影された中心位置Ｐａとの間に生じている誤差は、線
分ｒ１とｒ２の長さが異なることから生ずるもので、重
心計算により算出される重心位置Ｐｇに対して、実際の
中心位置Ｐａは、式（１６）で示すように、線分ｒ１と
ｒ２との差を２で割った誤差Δだけ重心位置から移動さ
せた点となる。また、この誤差Δは、ＣＣＤカメラ５の
視点がマーカ６から遠ざかる程、この誤差は少なくな
る。

【００７４】

【数６】

【００７５】次に、長軸ａと小円部８の中心点Ｐｂとの
なす実際の傾き角度φを、図１２および図１３を参照し
て求める。図１２は、図１１と同様にして投影面Ｓを楕
円の長軸ａ方向から見た側面図であり、図１３はＣＣＤ
カメラ５の視点とマーカ６との位置関係を立体的に示し
たものである。これらの図中、点ｕは実際のマーカ６の
大円部７の中心点Ｐａと小円部８の中心点Ｐｂとを結ん
だ直線が大円部７の周縁部と交差する点を示しており、
点ｕａは投影面Ｓ上に投影された点ｕの位置を示してい
る。

【００７６】投影面Ｓ上において、点ｕａから長軸ａお
よび短軸ｂまでの距離ｕｖおよびｕｈの長さ寸法は、大
円部７の半径ｒ（＝ａ／２），距離ｄ，傾き角度θ，φ
を用いて表すと、それぞれ式（１７），（１８）のよう
になる。前述の傾き角度βは距離ｕｈおよびｕｖの関係
から、 tanβとして表すと、式（１７）および（１８）
から式（１９）のように導かれる。したがって、傾き角
度φは、傾き角度θおよびβとを用いて式（２０）のよ
うになる。

【００７７】

【数７】

【００７８】以上の結果、マーカ６の位置姿勢を示すた
めの各パラメータｄ，α，θ，φを求めることができ
る。

【００７９】（ｆ）座標変換行列計算処理ステップ（Ｓ
１１，Ｓ１２） 次に、ステップＳ１１に進むと、求めた各パラメータ
ｄ，α，θおよびφの値に基づいて、座標変換行列計算
部１２において、ＣＣＤカメラ５から見たマーカ６の位
置姿勢を表す斉次座標系表現の座標変換行列ＭＡＲＫを
式（２１）のように求めるようになる。この場合、座標
変換行列ＭＡＲＫは、式（２２）に示すような４行４列
のホモジニアス行列（斉次座標系を表す変換行列）であ
る。

【００８０】

【数８】

【００８１】また、上述の座標変換行列ＭＡＲＫの各成
分を示す座標変換行列ＴＲＳ，ＲＯＴは、次式（２３）
ないし（２６）のように定義されている。

【００８２】

【数９】

【００８３】この後、ステップＳ１２になると、データ
出力部２２から、座標変換行列ＭＡＲＫに基づいた位置
姿勢信号が図示しないロボットハンド１の制御装置に出
力されるようになる。

【００８４】このような本実施例によれば、平面上に表
示された大円部７および小円部８からなるマーカ６をＣ
ＣＤカメラ５により斜方向から撮影してＣＣＤカメラ５
の位置姿勢を計算するので、ロボットハンド１の作業環
境に制限を与えることなくなり、しかも、この場合に、
マーカ６を簡単な図形としているので、計算処理ステッ
プを簡単にできると共に、その検出精度を向上させるこ
とができ、したがって、ＣＣＤカメラ５の位置姿勢を高
速且つ高精度でロバストに認識することができるように
なる。

【００８５】また、本実施例によれば、重心計算部１６
により検出した撮影画面上における楕円形状をなす大円
部７の重心位置に対して、パラメータ計算部１９におい
ては、大円部７の中心位置Ｐａに対応する位置を補正し
て求めるようにしたので、より正確な位置姿勢を認識す
ることができるようになる。

【００８６】図１４ないし図１６は本発明の第２ないし
第４の実施例を示すもので、マーカ６に代えて、マーカ
２３，２４，２５を用いた場合について示したものであ
る。すなわち、第２の実施例におけるマーカ２３におい
ては、大円部７に代えて円環状をなす大円部２６を設け
たものである。第３の実施例におけるマーカ２４におい
ては、指標部を表す小円部８に代えて、大円部２７内に
白色で示した小円部２８を設けたものである。第４の実
施例におけるマーカ２５においては、第２の実施例で用
いた大円部２６に指標部としての矢印状をなす黒色の指
標２９を貫通させるように表示したものである。

【００８７】そして、このような第２ないし第４の実施
例においても、前記第１の実施例と全く同様にしてマー
カ２３，２４，２５の位置姿勢を認識することができる
ものである。

【００８８】なお、上記各実施例においては、マーカ
６，２３，２４，２５を、白地に黒色で円形部および指
標部を表示したものについて述べたが、これに限らず、
例えば、黒地に白色で表示する構成としても良い。ま
た、同様に、異なる色を用いて表示したマーカを用いる
こともできる。なお、この場合には、カラー撮影可能な
ＣＣＤカメラを用いると共に、前処理計算部にてカラー
信号を二値化するように構成すれば良い。

【００８９】そして、上記各実施例においては、本発明
を自律移動ロボットの三次元位置認識装置に適用した場
合について説明したが、ロボット自身は固定された状態
とされ、作業対象がロボットの近傍に移動してくる構成
の三次元位置認識装置等に適用することもできるもので
ある。

【００９０】（付録） 最小二乗推定法による楕円近似
計算の説明 前述のプログラムのステップＳ７にて実行される、最小
二乗推定法による楕円近似計算の説明をする。なお、計
算の手順については、電子情報通信学会技術研究報告
［画像工学］ＩＥ８８−１０８，Ｐ９−１６に掲載され
た『ディジタル点群の２次曲線による近似について』
（滝山竜三，小野直樹）を参照している。

【００９１】まず、近似すべき楕円の方程式を表すため
に、式（ａ）で示すような一般的な２次曲線の方程式ｆ
（ｘ，ｙ）を考えると、決定すべきパラメータはｈ，
ｂ，ｇ，ｆ，ｃとなる。そして、このような２次曲線の
方程式に対して、Ｎ個の抽出されたエッジデータの座標
データを表す座標点列が式（ｂ）のように与えられてい
るとする。

【００９２】

【数１０】

【００９３】このとき、最小二乗推定を行う場合の評価
関数Ｊを、次式（ｃ）を用いると、パラメータｈ，ｂ，
ｇ，ｆ，ｃを求めるためには、各パラメータで偏微分し
た結果が全て“０”となれば良いから、次式（ｄ）ない
し（ｈ）を満たすように連立方程式を解けば良い。

【００９４】

【数１１】

【００９５】これを５個のパラメータからなるベクトル
Ｐを用いて行列で表現すると、式（ｉ）のようになる。
したがって、この式（ｉ）からベクトルＰを求めると、
式（ｊ）のように求めることができ、これから各パラメ
ータｈ，ｂ，ｇ，ｆ，ｃを得ることができる。

【００９６】

【数１２】

【００９７】ここで、ＤθおよびＤを次式（ｋ）のよう
におくと、式（ａ）で示す方程式ｆ（ｘ，ｙ）が楕円と
なる条件は、式（ｍ）であるから、楕円の中心点Ｐ（ｘ
１，ｙ１）の座標データは、それぞれ式（ｎ）のように
表される。

【００９８】

【数１３】

【００９９】また、楕円の傾き角度αを、０＜θ＜９０
°に制限すると、式（ｏ）のように表すことができるか
ら、この楕円についてその中心点Ｐ（ｘ１，ｙ１）を原
点に移動させ、且つ角度αの傾きを角度０に変換する
と、式（ｐ）のように表すことができる。したがって、
このときの係数Ａ，Ｂは式（ｑ）で示される２次方程式
の根として求めることができる。このとき、ｈ＞０であ
るときには、根の大きい方をＡとし、ｈ＜０であるとき
には、根の小さい方をＡとして選べば良い。

【０１００】

【数１４】

【０１０１】この結果、得られたＡ，Ｂ，Ｃの値によ
り、楕円の長軸ａおよび短軸ｂはそれぞれ次式（ｒ）お
よび（ｓ）のように求めることができるようになり、こ
れらにより、マーカ６の大円部７の長軸寸法ａ，短軸寸
法ｂおよび軸の傾き角度αを求めることができるのであ
る。

【０１０２】

【数１５】

【０１０３】

【発明の効果】以上説明したように、請求項１記載の視
覚に基く三次元位置および姿勢の認識方法によれば、平
面上に表示された円形部および指標部からなるマーカを
用い、このマーカに対して三次元空間の斜方向に位置す
る撮像手段により撮影して各処理ステップを実行するこ
とにより、マーカの画像データを二値化されたデジタル
画像データに変換してその円形部の中心位置を計算し、
中心位置判定処理ステップにおいて、マーカの円形部の
中心位置に対する中心間距離を計算して設定誤差値以内
であるか否かが判定し、その中心間距離が設定誤差値よ
りも大きいときに、設定誤差値以内となるように撮像手
段の撮像姿勢を変更させ、中心間距離が設定誤差値以内
にはいると、最小二乗推定法により円形部の輪郭抽出点
の楕円近似計算を行うと共にその円形部とマーカの指標
部との傾き角度の計算によりマーカに対する撮像手段の
位置姿勢を示す各種パラメータを計算し、座標変換行列
を求めることで、撮像手段の三次元位置および姿勢を認
識するようにしたので、マーカの円形部および指標部に
対する簡単な計算処理を実行することで、高速且つ高精
度で認識できると共に、ロバストな処理結果を得ること
ができるようになるという優れた効果を奏する。

【０１０４】また、請求項２記載の視覚に基く三次元位
置および姿勢の認識装置によれば、上述のマーカを利用
すると共に、上述の各処理ステップを実行する手段を設
けて構成したので、マーカの円形部および指標部に対す
る簡単な計算処理を実行することで、高速且つ高精度で
撮像手段の三次元位置および姿勢を認識できると共に、
ロバストな処理結果を得ることができるという優れた効
果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例を示す全体のブロック構成図

【図２】ロボットハンドとマーカとの関係を示す図

【図３】マーカの平面図

【図４】認識プログラムの概略的なフローチャート

【図５】（ａ）マーカの撮影画面 （ｂ）マーカの撮影画面とＣＣＤカメラの視点との位置
関係を示す図

【図６】中心位置補正処理におけるＣＣＤカメラの姿勢
制御の説明図

【図７】マーカ撮影画面からエッジデータを抽出すると
きの走査ラインの説明図

【図８】エッジデータ抽出プログラムのフローチャート

【図９】中心位置補正処理後のマーカの撮影画面

【図１０】ＣＣＤカメラの視点とマーカの撮影画面およ
び実際のマーカの配置状態との関係を説明する図

【図１１】単軸寸法計算のための撮影画面を大円部長軸
方向から見た作用説明図

【図１２】マーカの傾き計算のための図１１相当図

【図１３】撮影画面の横方向を円形部の長軸方向と一致
させた状態で示す図１０相当図

【図１４】本発明の第２の実施例を示す図３相当図

【図１５】本発明の第３の実施例を示す図３相当図

【図１６】本発明の第４の実施例を示す図３相当図

【符号の説明】

１はロボットハンド、２はアーム部、３はヘッド部、４
はマニピュレータ、５はＣＣＤカメラ（撮像手段）、６
はマーカ、７は大円部（円形部）、８は小円部（指標
部）、９は三次元位置認識装置、１０は画像処理部、１
１は位置姿勢計算部（位置姿勢計算手段）、１２は座標
変換行列計算部（座標変換行列計算手段）、１３は中心
位置補正部（中心位置補正手段）、１４はメモリ（記憶
手段）、１５は前処理計算部（前処理計算手段）、１６
は重心計算部（中心位置計算手段）、１７は中心位置判
定部（中心位置判定手段）、１８は楕円近似計算部、１
９はパラメータ計算部、２０は位置計算部、２１は姿勢
計算部、２２はデータ出力部、２３，２４，２５はマー
カ、２６，２７は大円部（円形部）、２８は小円部（指
標部）、２９は指標（指標部）である。

【手続補正書】

【提出日】平成５年１０月１４日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００５５

【補正方法】変更

【補正内容】

【００５５】

【数３】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００８０

【補正方法】変更

【補正内容】

【００８０】

【数８】

Claims (2)

【特許請求の範囲】
1. 【請求項１】 所定の直径寸法を有する円形部およびこ
   の円形部と特定の位置関係にある指標部からなりそれら
   円形部および指標部のそれぞれを背景部分と異なる濃淡
   情報あるいは色情報により平面上に表示されたマーカを
   備え、このマーカを撮像手段により撮影したときの画像
   データに基づいて以下（ａ）〜（ｆ）の処理ステップを
   実行することを特徴とした視覚に基く三次元位置および
   姿勢の認識方法。 （ａ）前記撮像手段からの画像データを二値化されたデ
   ジタル画像データに変換する前処理計算処理ステップ、 （ｂ）前記デジタル画像データに基づいて前記マーカの
   円形部の中心位置を計算する中心位置計算処理ステッ
   プ、 （ｃ）前記撮像手段の撮影視野中心位置と前記マーカの
   円形部の中心位置との間の中心間距離を計算してその値
   が設定誤差値以内であるか否かを判定する中心位置判定
   処理ステップ、 （ｄ）前記中心間距離が前記設定誤差値よりも大きいと
   きに、その中心間距離の値が前記設定誤差値以内となる
   ように前記撮像手段の撮像姿勢を変更するための回転パ
   ラメータを前記マーカの円形部の中心位置のデータに基
   づいて計算する中心位置補正処理ステップ、 （ｅ）前記中心間距離の値が前記設定誤差値以内である
   ときに、あらかじめ記憶された前記マーカの形状寸法を
   示すマーカデータと前記マーカのデジタル画像データと
   に基づいて、最小二乗推定法により前記円形部の輪郭抽
   出点の楕円近似計算を行うと共に前記指標部との傾き角
   度の計算を行い、前記マーカに対する前記撮像手段の位
   置姿勢を示す各種パラメータを計算する位置姿勢計算処
   理ステップ、 （ｆ）この位置姿勢計算処理ステップにおける前記撮像
   手段の位置姿勢を示すパラメータ計算結果に基づいて、
   前記撮像手段の基準座標系から見た前記マーカの位置姿
   勢を表す座標変換行列を計算する座標変換行列計算処理
   ステップ。
2. 【請求項２】 所定の直径寸法を有する円形部およびこ
   の円形部と特定の位置関係にある指標部からなりそれら
   円形部および指標部のそれぞれを背景部分と異なる濃淡
   情報あるいは色情報により平面上に表示されたマーカ
   と、 撮影画像の画像データを出力する撮像手段と、 前記マーカの形状寸法を示すマーカデータが記憶された
   記憶手段と、 この撮像手段からの画像データを二値化されたデジタル
   画像データに変換する前処理計算手段と、 前記デジタル画像データに基づいて前記マーカの円形部
   の中心位置を計算する中心位置計算手段と、 前記撮像手段の撮影視野中心位置と前記マーカの円形部
   の中心位置との間の中心間距離を計算してその値が設定
   誤差値以内であるか否かを判定する中心位置判定手段
   と、 前記中心間距離が前記設定誤差値よりも大きいときに、
   その中心間距離の値が前記設定誤差値以内となるように
   前記撮像手段の撮像姿勢を変更するための回転パラメー
   タを前記マーカの円形部の中心位置のデータに基づいて
   計算する中心位置補正手段と、 前記中心間距離の値が前記設定誤差値以内であるとき
   に、前記記憶手段に記憶された前記マーカデータと前記
   マーカのデジタル画像データとに基づいて、最小二乗推
   定法により前記円形部の輪郭抽出点の楕円近似計算を行
   うと共に前記指標部との傾き角度の計算を行い、前記マ
   ーカに対する前記撮像手段の位置姿勢を示す各種パラメ
   ータを計算する位置姿勢計算手段と、 この位置姿勢計算手段による前記撮像手段の位置姿勢を
   示すパラメータ計算結果に基づいて、前記撮像手段の基
   準座標系から見た前記マーカの位置姿勢を表す座標変換
   行列を計算する座標変換行列計算手段とを有する構成と
   したことを特徴とする視覚に基く三次元位置および姿勢
   の認識装置。