JPH06243236A - 視覚認識装置の座標系校正パラメータ設定装置 - Google Patents

Abstract

(57)【要約】 【目的】 座標系校正パラメータを短時間に正確に設定
する。 【構成】 座標系校正パラメータとしてのカメラパラメ
ータを設定する際に使用される治具１１は立方体を成
し、互いに隣接する３面の１面には図形“＋"を有する
ラベルを４個設ける一方他の２面には図形“−"を有す
るラベルを夫々４個ずつ設け、各ラベルに番号を付加す
る。こうすることによって、カメラからの画像データに
基づいて治具１１の画像上におけるラベルの図形を識別
して、３次元空間内における治具１１の向きを求めるこ
とができる。その結果、治具１１上の各ラベルにおける
カメラ座標上の位置と物体座標上の位置との対応付けを
人手を介さずに迅速にでき、この対応付けられた両座標
上の位置を用いてカメラパラメータを短時間に正確に設
定できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、３次元空間内の位置
を視覚によって認識することを実現する視覚認識装置
(例えば、ステレオビジョン)によって認識位置決定の際
に使用される定数である座標系校正パラメータ(例え
ば、上記ステレオビジョンではカメラパラメータ等)を
設定する視覚認識装置の座標系校正パラメータ設定装置
に関する。

【０００２】

【従来の技術】従来、３次元空間内の位置を視覚によっ
て認識する視覚認識装置として図６および図７に示すよ
うなものがある。この視覚認識装置は所謂ステレオビジ
ョンであり、このステレオビジョンからの制御データに
よってロボットを動作させるようになっている。尚、図
６では認識対象の３次元空間を平面図で示してあり、図
７では側面図で示してある。

【０００３】カメラ１とカメラ２とで作業台６上の認識
空間７を撮影し、得られた２次元のアナログ画像データ
が画像処理装置３に入力される。そして、画像処理装置
３によって前処理が行われた後の２次元ディジタル画像
データに基づいて、コンピュータ４によって認識空間７
内の３次元の位置が算出される。さらに、こうして得ら
れた認識空間７内の位置に基づいてロボット５の動作量
が算出されて、この動作量を表す制御データがロボット
５の制御部(図示せず)に供給される。そして、上記制御
データに基づく制御部の制御の下にロボット５は動作を
行うのである。

【０００４】その際における上記３次元空間内の位置を
表す３次元座標は、作業台６の表面上に在る１点を原点
とする座標である。そして、ロボット５は作業台６を基
準とする３次元座標系を理解して動作するのである。

【０００５】上述のようなステレオビジョンによるロボ
ット制御系においては、ロボット５が動作する際の位置
を定めるための３次元座標系とカメラ１,２で撮影され
た画像の２次元座標系との２つの座標系が存在する。以
後、上記３次元座標系を物体座標系と言い、２次元座標
系をカメラ座標系と言う。そして、上記物体座標系とカ
メラ座標系との関係を明らかにすれば、カメラ１,２か
らの画像データによって表されるカメラ座標系での位置
から物体座標系での位置を算出できるのである。

【０００６】上記物体座標系とカメラ座標系との関係を
示すものとしてカメラパラメータと呼ばれる行列があ
る。今、上記物体座標系上のある点Ｐ(Ｘ,Ｙ,Ｚ)がカメ
ラ１で撮影された場合の位置Ｐ1とカメラ２で撮影され
た場合の位置Ｐ2を夫々カメラ座標系で次のように表
す。 Ｐ1(Ｘ1,Ｙ1) Ｐ2(Ｘ2,Ｙ2)

【０００７】そうすると、上記カメラパラメータとカメ
ラ座標上の点Ｐ1,Ｐ2の座標と物体座標上の点Ｐの座標
との間には、式(１)および式(２)で表せるような一定の
関係がある。尚、Ｃ11〜Ｃ14,Ｃ21〜Ｃ24,Ｃ31〜Ｃ34,
Ｃ41〜Ｃ44,Ｃ51〜Ｃ54,Ｃ61〜Ｃ64はカメラパラメータ
であり総称してカメラパラメータＣと言う。また、Ｈ1,
Ｈ2は定数である。

【数１】 これらの関係を連立させること等の処理を行えば、カメ
ラ座標系内での位置情報から物体座標系での位置情報を
算出できるのである。尚、この発明はカメラパラメータ
Ｃそのものに関するものではないので上述の関係につい
ての詳細な説明は割愛する。詳細は、“井口征士,佐藤
宏介著「３次元画像計測」：照晃堂"等に記載されてい
る。

【０００８】但し、上記カメラパラメータＣを求めるた
めには、物体座標上の位置が既知である基準点のカメラ
座標上の座標を知る必要がある。その方法としては、以
下のような２つの方法が代表的である。

【０００９】(１) ただ一点だけが表示されるような画
像が得られる基準物体(例えば、発光ダイオード等の光
源)を認識空間７内に設置して物体座標上の位置を測定
する。次に、この基準物体をカメラ１およびカメラ２で
撮影して上記基準物体のカメラ座標上の位置を知る。さ
らに、カメラのピントや位置や向けた方向等の設定は何
も変えずに上記基準物体の位置だけを変えて、同様に上
記基準物体の物体座標上およびカメラ座標上の位置を測
定する。このような操作を複数回行って得られた２つの
座標上の位置データの組に基づいて、カメラパラメータ
Ｃを計算する。

【００１０】上述のような操作は、上記カメラパラメー
タＣを求めるのであれば最低６回は必要であるが、誤差
を考えて十数回実施するのが常である。このように、上
記基準点におけるカメラ座標上の位置と物体座標上の位
置との対応付けを十数回実施する必要があるので、カメ
ラパラメータＣの決定には多くの時間を必要とする。ま
た、上記基準物体を人間が移動したりするので不正確に
なりがちである。

【００１１】(２) 上記物体座標系内に３次元形状が既
知な物体(以下、治具と言う)を置いてカメラ１およびカ
メラ２で撮影する。そして、１回の撮影で得られる画像
から上記治具上の各点(基準点)のカメラ座標上の位置を
計測すれば、１回の撮影で複数の基準点に係る物体座標
上の位置とカメラ座標上の位置との対応を得ることがで
きる。したがって、治具の撮影回数を減らして短時間に
カメラパラメータＣを得ることができる。このような、
３次元の治具の例を図８に示す。

【００１２】この治具８は立方体を成し、互いに隣接す
る３面の夫々に正方形のラベルが４個ずつ設けられて
“１"から“１２"までの番号(図中においては○付きの
数字で表示)が付加されている。そして、ラベル“１"か
らラベル“４"に向かう方向がｘ軸方向、ラベル“１"か
らラベル“２"に向かう方向がｙ軸方向、ラベル“６"か
らラベル“５"に向かう方向がｚ軸方向と定義付けられ
て、作業台６上における認識空間７内に載置されるもの
とする。

【００１３】今、上記治具８をカメラ２で撮影した結
果、図９(a)に示すような治具８の画像８'(以下、単に
治具８'と言う場合もある)が得られたとする。ところ
が、この場合上記３面には全く同じ条件で同じ形状のラ
ベルが設けられているために、図９(a)の画像８'からは
図９(b)に示すように３通りの物体座標系が得られるこ
となる。すなわち、図９(a)に示す如く映し出された治
具８'の前面が図８におけるラベル“９"〜ラベル“１
２"が設けられた面であるとした場合には、垂直方向が
ｚ軸の方向であって図中左右方向がｘ軸であると理解さ
れる。また、ラベル“１"〜ラベル“４"が設けられた面
であるとした場合には、垂直方向がｘ軸の方向であって
左右方向がｙ軸であると理解される。また、ラベル
“５"〜ラベル“８"が設けられた面であるとした場合に
は、垂直方向がｙ軸の方向であって左右方向がｚ軸であ
ると理解される。

【００１４】このように、上記２次元の画像８'からは
３次元空間内における物体座標系のｘ軸,ｙ軸,ｚ軸の方
向が一意には決まらない。このことは、同一カメラを天
井に設置したり壁に設置したり設置位置が変わってカメ
ラ座標系が回転してしまうような場合に顕著である。し
たがって、２次元座標上のどの点が３次元座標上のどの
点に対応するかの判断に際して必ず人間が何らかの決定
を下す必要があり、結局は物体座標系とカメラ座標系と
の対応を決定するためには人間が何らかの判断を下す必
要がある。

【００１５】

【発明が解決しようとする課題】３次元空間内の位置認
識の精度を上げるためには、できるだけ認識対象の物体
にカメラを近付けたり望遠レンズを使用したりする必要
がある。さらに、全体を把握したい場合にはできるだけ
認識対象の物体から離れた位置にカメラを移動する必要
がある。また、認識対象の物体の方向が不都合であるた
めにカメラの位置を変更する必要がある場合や、光の当
たり具合からカメラの位置が限定される場合がある。こ
のように、上記カメラのアングル等はその認識対象の物
体によって変更せざるを得ない場合が多々ある。

【００１６】さらに、上記カメラのピントを変えただけ
でも撮影された画像の大きさが変化したりする。

【００１７】上記カメラパラメータＣは、上述のように
カメラ１,２の位置,角度,拡大率(焦点調整によっても変
化する)や撮影される物体の原点位置,角度等のうち１つ
でも変更した場合には、再計算の必要がある。したがっ
て、撮影対象や撮影条件を頻繁に変えて上記撮影対象物
の３次元空間内の位置を認識する必要がある場合には、
このカメラパラメータＣの計算作業を正確且つ迅速に実
施できることが重要な要素となる。そのために、上述の
基準点の物体座標上の位置とカメラ座標上の位置との対
応付けも正確且つ迅速に実施できる必要がある。

【００１８】ところが、上記基準点の物体座標上の位置
とカメラ座標上の位置とを対応付ける方法(１)において
は、上記基準物体を頻繁に動かして数多くの基準点を設
定してその度に撮影し直すので、長い時間が必要である
という問題がある。また、上記方法(２)においては、３
次元形状が既知な治具８を使用することによって、撮影
対象物の設置回数や撮影回数は少なくなる。しかしなが
ら、上述のように、得られた基準点に係るカメラ座標上
の位置と物体座標上の位置との対応付けを人間が確認す
る必要がある。そのために、基準点に係るカメラ座標上
の位置と物体座標上の位置との対応付けの確認に誤りが
あった場合には、カメラパラメータＣが得られなかった
り誤ったカメラパラメータＣが得られたりするという問
題がある。このカメラパラメータＣの誤算出は、実際の
３次元座標上での位置判定を行って検証するまで不明な
のである。

【００１９】そこで、この発明の目的は、人間の判断を
必要とはせずに短時間に正確に座標系校正パラメータを
設定できる視覚認識装置の座標系校正パラメータ設定装
置を提供することにある。

【００２０】

【課題を解決するための手段】上記目的を達成するた
め、第１の発明は、視覚認識装置によって３次元空間内
の位置を認識するに際して、上記３次元空間内の３次元
座標系とその３次元座標系内にある物体を少なくとも一
つの撮影手段によって撮影して得られた画像内の２次元
座標系との関係を表すための座標系校正パラメータを設
定する視覚認識装置の座標系校正パラメータ設定装置に
おいて、上記３次元空間内における上記撮影手段の撮影
範囲内に設置されて上記３次元座標系の各座標軸に対す
る角度が既知であって互いに識別可能な面を有すると共
に表面に上記３次元座標系での位置が既知の複数の基準
点を有する立体と、上記撮影手段からの上記立体の画像
データに基づいて上記立体の画像上における上記各面を
識別してこの識別結果に従って所定の手順によって上記
立体の上記３次元空間内での向きを求め、この求められ
た３次元空間内での向きに応じて上記立体上の各基準点
における上記２次元座標系での位置と上記３次元座標系
での位置とを所定の手順によって対応付ける座標系対応
付け部と、上記座標系対応付け部によって対応付けられ
た上記各基準点における上記２次元座標系での位置と上
記３次元座標系での位置とを用いて所定の手順によって
上記座標系校正パラメータを設定する座標系校正パラメ
ータ設定部を備えたことを特徴としている。

【００２１】また、第２の発明は、第１の発明の視覚認
識装置の座標系校正パラメータ設定装置において、上記
立体における上記３次元座標系の各座標軸に対する角度
が既知である各面の夫々に互いに識別可能な図形を設け
ると共に、上記座標系対応付け部は図形識別手段を有し
て、上記座標系対応付け部の図形識別手段で上記立体に
おける上記各面の夫々の画像に在る図形を識別すること
によって上記各面を識別可能に成したことを特徴として
いる。

【００２２】また、第３の発明は、第２の発明の視覚認
識装置の座標系校正パラメータ設定装置であって、上記
立体は立方体であり、上記３次元座標系の各座標軸に対
する角度が既知である面は上記立方体における互いに隣
接した３面であり、上記基準点は上記図形であることを
特徴としている。

【００２３】また、第４の発明は、第１の発明の視覚認
識装置の座標系校正パラメータ設定装置において、上記
立体における上記３次元座標系の各座標軸に対する角度
が既知である各面の夫々を互いに識別可能な形状に成す
と共に、上記座標系対応付け部は形状識別手段を有し
て、上記座標系対応付け部の形状識別手段で上記立体に
おける上記各面の画像上での形状を識別することによっ
て上記各面を識別可能に成したことを特徴としている。

【００２４】また、第５の発明は、第１の発明の視覚認
識装置の座標系校正パラメータ設定装置において、上記
立体における上記３次元座標系の各座標軸に対する角度
が既知である各面の夫々の色彩を互いに識別可能な色彩
に成すと共に、上記座標系対応付け部は色彩識別手段を
有して、上記座標系対応付け部の色彩識別手段で上記立
体における上記各面の画像上での色彩を識別することに
よって上記各面を識別可能に成したことを特徴としてい
る。

【００２５】

【作用】第１の発明では、３次元空間内における少なく
とも一つの撮影手段の撮影範囲内に設置された立体が上
記撮影手段によって撮影されると、上記撮影手段からの
上記立体の画像データに基づいて、上記立体における３
次元座標系の各座標軸に対する角度が既知である各面の
夫々の画像が座標系対応付け部によって識別される。そ
して更に、この識別結果に従って、所定の手順によって
上記立体の上記３次元空間内での向きが求められ、この
求められた３次元空間内での向きに応じて上記立体上の
各基準点における上記画像内の２次元座標系での位置と
上記３次元座標系での位置とが所定の手順によって対応
付けられる。

【００２６】そうすると、上記座標系対応付け部によっ
て対応付けられた上記各基準点における上記２次元座標
系での位置と３次元座標系での位置とを用いて、座標系
校正パラメータ設定部によって、上記３次元座標系と上
記画像内の２次元座標系との関係を表すための座標系校
正パラメータが所定の手順によって設定される。

【００２７】こうして、一旦上記３次元空間内における
撮影範囲内に上記立体を設置さえすれば、人間の判断を
介さずに自動的に迅速に上記立体上に設けられた複数の
基準点における上記２次元座標系での位置と上記３次元
座標系での位置とが対応付けられて、上記座標系校正パ
ラメータが短時間に正確に設定される。

【００２８】また、第２の発明では、座標系対応付け部
における図形識別手段によって、上記撮影手段からの上
記立体の画像データに基づいて、上記立体における上記
３次元座標系の各座標軸に対する角度が既知である各面
の夫々の画像に在る図形が識別される。そして、この識
別結果に従って、上記座標系対応付け部によって上記立
体の上記３次元空間内での向きが所定の手順で求められ
て、上記立体上の各基準点における上記２次元座標系で
の位置と上記３次元座標系での位置とが人間の判断を介
さずに自動的に迅速に対応付けられる。

【００２９】また、第３の発明では、座標系対応付け部
における図形識別手段によって、上記撮影手段からの立
方体の画像データに基づいて、上記立方体における隣接
した３面の夫々の画像に在る複数の図形が識別される。
そして、この識別結果に従って、上記座標系対応付け部
によって上記立方体の上記３次元空間内での向きが所定
の手順で求められて、上記立方体上の各図形における上
記２次元座標系での位置と上記３次元座標系での位置と
が対応付けられる。こうして、上記立方体上の各基準点
(図形)における上記２次元座標系での位置と上記３次元
座標系での位置とが人間の判断を介さずに自動的に迅速
に対応付けられる。

【００３０】また、第４の発明では、座標系対応付け部
における形状識別手段によって、上記撮影手段からの上
記立体の画像データに基づいて、上記立体における上記
３次元座標系の各座標軸に対する角度が既知である各面
の画像上での形状が識別される。そして、この識別結果
に従って、上記座標系対応付け部によって上記立体の上
記３次元空間内での向きが所定の手順で求められて、上
記立体上の各基準点における上記２次元座標系での位置
と上記３次元座標系での位置とが人間の判断を介さずに
自動的に迅速に対応付けられる。

【００３１】また、第５の発明では、座標系対応付け部
における色彩識別手段によって、上記撮影手段からの上
記立体の画像データに基づいて、上記立体における上記
３次元座標系の各座標軸に対する角度が既知である各面
の画像上での色彩が識別される。そして、この識別結果
に従って、上記座標系対応付け部によって上記立体の上
記３次元空間内での向きが所定の手順で求められて、上
記立体上の各基準点における上記２次元座標系での位置
と上記３次元座標系での位置とが人間の判断を介さずに
自動的に迅速に対応付けられる。

【００３２】

【実施例】以下、この発明を図示の実施例により詳細に
説明する。図１は、本実施例の視覚認識装置(ステレオ
ビジョン)において座標系校正パラメータ(カメラパラメ
ータＣ)を設定する際に使用される上記立体としての治
具の外観図である。

【００３３】この治具１１は立方体を成し、互いに隣接
する３面１２,１３,１４の夫々には上記図形および基準
点としてのラベルが４個ずつ設けられ、“１"から“１
２"までの番号(図中においては○付きの数字で表示)が
付加されている。

【００３４】そして、上記ラベルのうち、１つの面１２
上に設けられたラベル“１"〜ラベル“４"の図形と、他
の２つの面１３,１４上に設けられたラベル“５"〜ラベ
ル“１２"の図形とを異なるようにしている。すなわ
ち、本実施例においては、上記面１２上に設けられるラ
ベル“１"〜ラベル“４"の図形は“＋"であり、面１３,
１４上に設けられるラベル“５"〜ラベル“１２"の図形
は“−"である。そして、上記治具１１における面１４
に垂直な方向がｘ軸方向、面１３に垂直な方向がｙ軸方
向、面１２に垂直な方向がｚ軸方向と定義付けられてい
る。さらに、面１３,１４と面１２に対向する面とによ
って形成される頂点が原点であると定義付けられてい
る。

【００３５】図２は上記治具１１をカメラで撮影した際
に得られる画像１１'(以下、単に治具１１'と言う場合
もある)である。そして、得られた２次元の画像が図２
(a)に示すような画像１１'である場合には、治具１１の
上面に設けられているラベルの図形は“＋"であるから
上面が面１２であると決定され、必然的に前面が面１３
であり、側面が面１４であると決定される。同様に、得
られた画像が図２(b)に示すような画像１１'である場合
には、図形“＋"を有するラベルが設けられている前面
が面１２であり、側面が面１３であり、上面が面１４で
あると決定される。さらに、得られた画像が図２(c)に
示すような画像１１'である場合には、図形“＋"を有す
るラベルが設けられている側面が面１２であり、上面が
面１３であり、前面が面１４であると決定される。

【００３６】このように、上記治具１１における３面の
うち１つの面１２に設けられているラベルを他の面１
３,１４に設けられているラベルと異なる図形にするこ
とによって、上記３面１２,１３,１４が写ってさえいれ
ばその写っている夫々の面を特定でき、したがって、物
体座標系のｘ軸,ｙ軸,ｚ軸を一義的に決定できるのであ
る。

【００３７】図３は本実施例におけるロボット制御用の
ステレオビジョンの構成を示す。このステレオビジョン
は、図６および図７に示すステレオビジョンと同じ構成
を有しているので、各構成要素には同じ番号を付加して
説明を省略する。尚、本実施例におけるステレオビジョ
ンは、カメラ座標系と物体座標系との対応付けを行う際
に使用されるカメラパラメータＣを得るための治具とし
て、図１に示す治具１１を使用する。

【００３８】上記ステレオビジョンによって物体の３次
元空間内の位置を認識する際において、図３(a)に示す
ように、治具１１の上記図形“＋"を有するラベルが設
けられた面１２側を上にし、作業台６表面の認識空間７
の中心に上記治具１１の原点を位置させ、治具１１の下
面の縁を認識空間７の中心線に沿うようにして、治具１
１を認識空間７内の作業台６上に載置したとする。そう
すると、上記カメラ１によって撮影された治具１１の画
像１１'は図３(b)に示すようになり、カメラ２によって
撮影された治具１１の画像１１'は図３(c)に示すように
なる。

【００３９】以下、上記カメラ２によって撮影された治
具１１の画像１１'に基づいてカメラ座標上における治
具のラベルに付加される番号を識別して、カメラ座標系
における複数のラベルと物体座標系における複数のラベ
ルとを対応付けるカメラ座標/物体座標対応付け法につ
いて説明する。尚、上記カメラ２は、治具１１に向かっ
てカメラ２の光軸の左側に治具１１の原点が在るように
設置されている。

【００４０】図４は、上記座標系対応付け部および図形
識別手段を構成する画像処理装置３およびコンピュータ
４によって実施されるカメラ座標/物体座標対応付け処
理動作のフローチャートである。ステップＳ1で、上記
画像処理装置３によってカメラ２からのアナログ画像信
号が取り込まれ、ノイズ除去,２値化およびラベリング
等の前処理が行われ、治具１１の必要な面にある図形の
みのディジタル画像データが得られる。

【００４１】ステップＳ2で、上記ステップＳ1において
得られたディジタル画像データ(以下、単に画像データ
と言う)に基づいて、１２個のラベル夫々のカメラ座標
上における図形の面積,中心,方向(基準方向に対する角
度),最小投影長(２次元の図形を１次元上に投影した場
合における最も短い長さ),最大投影長(２次元の図形を
１次元上に投影した場合における最も長い長さ)等が算
出される。尚、上記ラベルの面積,中心,角度,最小投影
長および最大投影長等の算出法についてはこの発明とは
直接関係無いので省略するが、このような処理は既知の
画像処理装置によって高速/容易に実施可能である。

【００４２】ステップＳ3で、上記コンピュータ４によ
って、各ラベル毎に“(最大投影長)×(最小投影長)"の
値と“面積"とが比較される。そして、“(最大投影長)
×(最小投影長)＞＞面積"であるラベルは図形“＋"のラ
ベルであると判定され、“(最大投影長)×(最小投影長)
≒面積"であるラベルは図形“−"のラベルであると判定
されて、１２個のラベルが２つのグループにソートされ
る。ステップＳ4で、上記ステップＳ3において図形
“−"のラベルであると分類された各ラベルの図形の方
向が調べられ、方向によって各ラベルが２つのグループ
にソートされる。

【００４３】ステップＳ5で、上記ステップＳ3およびス
テップＳ4によって分類された３つのグループ内におけ
る各ラベルのカメラ座標上の重心(以下、単に重心とい
う)が算出される。こうして、治具１１における３つの
面１２,１３,１４に設けられたラベルの各面毎の重心
Ａ,Ｂ,Ｃが算出される。尚、上記グループ内の各ラベル
の重心は、該等グループ内にある４つのラベルの図形の
中心位置の平均を算出することによって得られる。ステ
ップＳ6で、上記ステップＳ5において算出された３つの
重心Ａ,Ｂ,Ｃの重心Ｚが算出される。

【００４４】ステップＳ7で、上記ステップＳ5において
求められた重心Ａ,Ｂ,Ｃの位置が、上記ステップＳ6に
おいて求められた重心Ｚを原点として第何象限にあるか
が判別される。そして、第１象限に在る重心は治具１１
の画像１１'における上面を表す画像領域に在ると判定
される。また、第２象限に在る重心は治具１１'の前面
を表す画像領域に在ると判定される。また、第３象限に
在る重心は治具１１'の側面を表す画像領域に在ると判
定される。

【００４５】ステップＳ8で、上記ステップＳ3およびス
テップＳ4において判定された３つのグループに属する
ラベルの図形と上記ステップＳ7において判定された各
グループに属するラベルの重心位置とによって、各グル
ープに属するラベルが治具１１の各面１２,１３,１４の
何れに存在するかが特定される。上記治具１１の各面１
２,１３,１４の特定は次のようにして実施される。 (ａ) 図形“＋"を有するラベルの重心が第１象限に在る
場合 ・重心が第１象限に在るラベルは治具１１の面１２上に
在る。 ・重心が第２象限に在るラベルは面１３上に在る。 ・重心が第３象限に在るラベルは面１４上に在る。 (ｂ) 図形“＋"を有するラベルの重心が第２象限に在る
場合 ・重心が第１象限に在るラベルは面１４上に在る。 ・重心が第２象限に在るラベルは面１２上に在る。 ・重心が第３象限に在るラベルは面１３上に在る。 (ｃ) 図形“＋"を有するラベルの重心が第３象限に在る
場合 ・重心が第１象限に在るラベルは面１３上に在る。 ・重心が第２象限に在るラベルは面１４上に在る。 ・重心が第３象限に在るラベルは面１２上に在る。

【００４６】ステップＳ9で、夫々のグループに属する
４つのラベルのうち最も重心Ｚに近いラベルに番号が付
加される。その際に、上記ステップＳ8において治具１
１の面１２上に在ると判定された図形“＋"を有するラ
ベルには番号“１"を付加し、面１３上に在ると判定さ
れた図形“−"を有するラベルには番号“９"を付加し、
面１４上に在ると判定された図形“−"を有するラベル
には番号“５"を付加する。

【００４７】ステップＳ10で、夫々のグループに属する
４つのラベルが各グループ内ラベルの重心(Ａ,Ｂ,Ｃ)の
回りの角度でソートされる。ステップＳ11で、夫々のグ
ループに属するラベルに対して、上記ステップＳ10にお
いてソートされた順に基づいて、上記ステップＳ9にお
いて番号が付加されたラベルに続いて上記重心(Ａ,Ｂ,
Ｃ)を中心として右回りに昇順で番号が付加されてカメ
ラ座標/物体座標対応付け処理動作を終了する。

【００４８】その結果、図２に示すように、カメラ座標
上における治具１１'の各ラベルに物体座標上における
治具１１の対応するラベルの番号が付加される。尚、そ
の際に、上記カメラ座標/物体座標対応付け処理動作に
よるカメラ座標系におけるラベルと物体座標系における
ラベルとの対応付けは、上記画像処理や種々の判断等を
含めても非常に短時間に処理可能なのである。

【００４９】ここで、上記カメラ座標(２次元座標)上に
おける治具１１'に設けられた１２個のラベルの位置
は、上記フローチャートにおけるステップＳ2において
求められる図形の中心によって得られる。一方、物体座
標(３次元座標)上における治具１１に設けられた各ラベ
ルの位置は、図１に示す寸法から求められる。したがっ
て、上記カメラ座標/物体座標対応付け処理動作によっ
てカメラ座標上における治具１１'の各ラベル(基準点)
に物体座標上における治具１１の対応するラベルの番号
を付加することによって、複数の基準点におけるカメラ
座標上の位置と物体座標上の位置との対応付けができる
のである。

【００５０】次に、具体例を上げて上記カメラ座標/物
体座標対応付け処理動作について更に詳細に説明する。
図５は、図４に示すカメラ座標/物体座標対応付け処理
動作フローチャートに従ってカメラ座標上における治具
１１'の各ラベルに番号を付加した際における処理結果
を具体的に示す。以下、図４を参照しつつ図５の説明を
行う。

【００５１】図５(a)は、上記カメラ２からの画像デー
タに基づくカメラ座標系による治具１１'である。この
時点では各ラベルやこのラベルが設けられている治具１
１上の面は認識されていない。図５(b)においては、夫
々のラベル毎の“(最大投影長)×(最小投影長)"の値と
“面積"との比較から図形“＋"を有するラベルのグルー
プ１５と図形“−"を有するラベルのグループ１６とに
ソートされている。…ステップＳ1〜ステップＳ3

【００５２】図５(c)においては、上記グループ１６に
属する８個のラベルがその図形の方向によって４個ずつ
２つのグループ１７,１８にソートされ、グループ１５
に属するラベルの重心Ａとグループ１７に属するラベル
の重心Ｂとグループ１８に属するラベルの重心Ｃが求め
られている。さらに、３つの重心Ａ,Ｂ,Ｃの重心Ｚが求
められている。 …ステッ
プＳ4〜ステップＳ6

【００５３】図５(d)においては、上記重心Ｚを原点と
して第１象限に在る重心Ａは治具１１'の上面を表す画
像領域にあり、第２象限に在る重心Ｂは前面を表す画像
領域に在り、第３象限に在る重心Ｃは側面を表す画像領
域にあると判定されている。さらに、図形“＋"のラベ
ルの重心Ａが第１象限に在るため、グループ１５に属す
るラベルは治具１１の面１２上に在り、グループ１７に
属するラベルは面１３上に在り、グループ１８に属する
ラベルは面１４上に在ると特定されている。つまり、上
記治具１１の上面が面１２,前面が面１３及び側面が面
１４であると特定されて、治具１１の３次元空間内での
向きが求められているのである。…ステップＳ7,ステッ
プＳ8

【００５４】図５(e)においては、上記グループ１５に
属して最も重心Ｚに近く且つ治具１１の面１２に在る図
形“＋"を有するラベルに番号“１"が付加され、グルー
プ１７に属して最も重心Ｚに近く且つ治具１１の面１３
に在る図形“−"を有するラベルに番号“９"が付加さ
れ、グループ１８に属して最も重心Ｚに近く且つ治具１
１の面１４に在る図形“−"を有するラベルに番号“５"
が付加されている。…ステップＳ9 図５(f)においては、上記グループ１５に属する各ラベ
ルに、その重心Ａを中心として右回りに既に番号が付加
されたラベルに隣接するラベルから昇順で番号“２",
“３"および“４"が付加されている。同様にして、グル
ープ１７に属する各ラベルに番号“１０",“１１"およ
び“１２"が付加され、グループ１８に属する各ラベル
に番号“６",“７"および“８"が付加されている。…ス
テップＳ10,ステップＳ11 こうして、上記カメラ座標上における治具１１'の各ラ
ベルに、物体座標上における治具１１の対応するラベル
の番号が付加されるのである。

【００５５】上述のようにして、上記カメラ２に係る１
２個の基準点におけるカメラ座標上の位置と物体座標上
の位置との対応付けが得られると、同様にして、カメラ
１に係る１２個の基準点におけるカメラ座標上の位置と
物体座標上の位置との対応付けを得る。その際における
カメラ座標/物体座標対応付け処理は、基本的にはカメ
ラ２による画像に対するカメラ座標/物体座標対応付け
処理と同じである。但し、上記ステップＳ7において、
各重心Ａ,Ｂ,Ｃの治具１１上の位置を判定する際には、 ・第４象限に在る重心→治具１１'の上面を表す画像領
域 ・第３象限に在る重心→治具１１'の前面を表す画像領
域 ・第２象限に在る重心→治具１１'の側面を表す画像領
域 と判定する必要がある。

【００５６】また、上記ステップＳ8において、各グル
ープに属するラベルが存在する治具１１上の面を特定す
る際には、 (ａ') 図形“＋"を有するラベルの重心が第４象限に在
る場合 ・重心が第２象限に在るラベル→面１３ ・重心が第３象限に在るラベル→面１４ ・重心が第４象限に在るラベル→面１２ (ｂ') 図形“＋"を有するラベルの重心が第３象限に在
る場合 ・重心が第２象限に在るラベル→面１４ ・重心が第３象限に在るラベル→面１２ ・重心が第４象限に在るラベル→面１３ (ｃ') 図形“＋"を有するラベルの重心が第２象限に在
る場合 ・重心が第２象限に在るラベル→面１２ ・重心が第３象限に在るラベル→面１３ ・重心が第４象限に在るラベル→面１４ と特定する必要がある。

【００５７】以後、こうして求められた２４個の基準点
に係るカメラ座標上の座標値(Ｘ1,Ｙ1),(Ｘ2,Ｙ2)と物
体座標上の座標値(Ｘ,Ｙ,Ｚ)を用いて、上記座標系校正
パラメータ設定部を構成するコンピュータ４によって式
(１)及び式(２)を用いてカメラパラメータＣが計算され
る。

【００５８】このように、本実施例においては、上記治
具１１の互いに隣接する３面に４個ずつのラベルを設け
て異なる番号を付加し、そのうちの１つの面上のラベル
の図形を“＋"とし、他の２面のラベルの図形を“−"と
している。したがって、上記治具１１上の１２個のラベ
ルの図形がカメラ１,２の視野範囲に入り、適当な鮮明
さと大きさで且つ紛らわしいものが同時に写っていない
限り、カメラ１,２の取り付け位置や光軸方向には関係
無く、カメラ１,２から取り込まれた画像データに基づ
く治具１１の画像１１'上のラベルに治具１１上の対応
するラベルの番号を画像処理装置３およびコンピュータ
４によって自動的に付加できる。

【００５９】すなわち、本実施例によれば、決められた
位置に一旦治具１１を置きさえすれば、人間の判断を介
さずに自動的に迅速に治具１１上のラベルのカメラ座標
上の位置と物体座標上の位置を対応付けることができ、
このラベルの両座標上の位置関係を用いてカメラパラメ
ータＣを短時間に正確に設定できる。

【００６０】この発明におけるカメラ座標/物体座標対
応付け処理のアルゴリズムは、図４に示すフローチャー
トに限定されるものではない。また、この発明における
ラベルの数や図形やその図形の識別方法は上記実施例に
限定されるものではない。例えば、治具１１の互いに隣
接する３面に各面毎に異なる図形のラベルを設けて夫々
の図形を一度に識別可能にすれば、図４のフローチャー
トにおけるステップＳ4を省略でき、さらに迅速にカメ
ラ座標/物体座標対応付け処理を実施できる。

【００６１】また、上記実施例においては、治具の形状
を立方体として互いに隣接する３面にラベルを設け、１
面におけるラベルの図形を他の２面のラベルの図形と異
なる図形にすることによって治具の２次元画像から３次
元空間内での上記治具の向きを判定可能にしているが、
この発明はこれに限定されるものではない。例えば、図
１における各面１２,１３,１４の形状を異なる形状に成
すと共に、図３における画像処理装置３内に形状識別手
段を設けて、治具の２次元画像における各面の形状の識
別結果に基づいて３次元空間内での上記治具の向きを判
定してもよい。あるいは、図１における各面１２,１３,
１４の色彩を異なる色彩に成すと共に、図３における画
像処理装置３内に色彩識別手段を設けて、治具の２次元
画像における各面の色彩の識別結果に基づいて３次元空
間内での上記治具の向きを判定してもよい。尚、その際
には、上記治具上に設けられる基準点の形状は同じであ
ってもよい。

【００６２】また、上記実施例においては、３次元空間
内での治具の向きを判定するための図形が設けられた
り、特定の形状に形成されたり、特定の色彩が付けられ
たりする面は３次元座標のｘ軸,ｙ軸,ｚ軸に垂直な３面
である。しかしながら、この発明ではこれに限定される
ものではなく、上記ｘ軸,ｙ軸,ｚ軸との角度が既知の面
であればよい。

【００６３】

【発明の効果】以上より明らかなように、第１の発明の
視覚認識装置の座標系校正パラメータ設定装置は、３次
元座標系の各座標軸に対する角度が既知であって互いに
識別可能な面を有すると共に表面に上記３次元座標系で
の位置が既知の複数の基準点を有する立体と、座標系対
応付け部と、座標系校正パラメータ設定部を備えて、上
記座標系対応付け部によって、上記立体の画像上におけ
る上記各面を識別して上記立体の３次元空間内での向き
を求めて上記立体上の各基準点における上記画像内の２
次元座標系での位置と上記３次元座標系での位置とを対
応付け、上記座標系校正パラメータ設定部によって、上
記対応付けられた立体上の各基準点における上記両座標
系での位置を用いて座標系校正パラメータを設定するよ
うにしたので、一旦上記３次元空間内における撮影範囲
内に上記立体を設置するだけで、自動的に且つ迅速に上
記立体上の複数の基準点における上記両座標系での位置
が対応付けられて座標系校正パラメータが設定される。
したがって、この発明によれば、人間の判断を必要とは
せずに短時間に正確に座標系校正パラメータを設定でき
る。

【００６４】また、第２の発明の視覚認識装置の座標系
校正パラメータ設定装置は、上記立体における上記３次
元座標系の各座標軸に対する角度が既知である各面の夫
々に互いに識別可能な図形を設け、上記座標系対応付け
部は図形識別手段を有するので、上記座標系対応付け部
の図形識別手段で上記立体における上記各面の夫々の画
像に在る図形を識別することによって、容易に上記立体
の向きを求めて各基準点の上記両座標系での位置を対応
付けることができる。したがって、この発明によれば、
人間の判断を必要とはせずに短時間に正確に座標系校正
パラメータを設定できる。

【００６５】また、第３の発明の視覚認識装置の座標系
校正パラメータ設定装置は、上記立体を立方体で成し、
この立方体における互いに隣接する３面で上記３次元座
標系の各座標に対する角度が既知である面を成し、上記
立方体上における複数の基準点を上記３面の夫々に設け
られた図形で成したので、上記立体を容易に形成でき且
つ上記座標系対応付け部を簡単な構成にできる。したが
って、この発明によれば、人間の判断を必要とはせずに
短時間に正確に座標系校正パラメータを設定できる視覚
認識装置の座標系校正パラメータ設定装置を容易に提供
できる。

【００６６】また、第４の発明の視覚認識装置の座標系
校正パラメータ設定装置は、上記立体における上記３次
元座標系の各座標軸に対する角度が既知である各面の夫
々を互いに識別可能な形状に成し、上記座標系対応付け
部は形状識別手段を有するので、上記座標系対応付け部
の形状識別手段で例えば直方体や三角柱等を成す上記立
体における各面の画像上での形状を識別することによっ
て、容易に上記立体の向きを求めて各基準点の上記両座
標系での位置を対応付けることができる。したがって、
この発明によれば、人間の判断を必要とはせずに短時間
に正確に座標系校正パラメータを設定できる。

【００６７】また、第５の発明の視覚認識装置の座標系
校正パラメータ設定装置は、上記立体における上記３次
元座標系の各座標軸に対する角度が既知である各面の夫
々の色彩を互いに識別可能に成し、上記座標系対応付け
部は色彩識別手段を有するので、上記座標系対応付け部
の色彩識別手段で上記立体における各面の画像上での色
彩を識別することによって、容易に上記立体の向きを求
めて各基準点の上記両座標系での位置を対応付けること
ができる。したがって、この発明によれば、人間の判断
を必要とはせずに短時間に正確に座標系校正パラメータ
を設定できる。

【図面の簡単な説明】

【図１】この発明の視覚認識装置の座標系校正パラメー
タ設定装置によって座標系校正パラメータを設定する際
に使用される治具の外観図である。

【図２】図１に示す治具をカメラで撮影した際の画像と
物体座標系との関係を示す図である。

【図３】図１に示す治具を用いるロボット制御用ステレ
オビジョンの構成図およびそのステレオビジョンによっ
て得られる２次元画像を示す図である。

【図４】図３に示すステレオビジョンによって実施され
るカメラ座標/物体座標対応付け処理動作のフローチャ
ートである。

【図５】図１に示す治具を用いてカメラ座標/物体座標
対応付け処理を実施した際における処理結果を示す図で
ある。

【図６】ロボット制御用ステレオビジョンの構成図およ
び認識対象３次元空間の平面図である。

【図７】図６に示す認識対象３次元空間の側面図であ
る。

【図８】図６に示すステレオビジョンで座標系校正パラ
メータを設定する際に使用される従来の治具の外観図で
ある。

【図９】図８に示す治具をカメラで撮影した際の画像と
この画像から設定可能な物体座標系を示す図である。

【符号の説明】

１,２…カメラ、 ３…画像処理装
置、４…コンピュータ、 ７…認識空
間、１１…治具、 １２,１３,１
４…面、Ａ,Ｂ,Ｃ,Ｚ…重心。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 視覚認識装置によって３次元空間内の位
   置を認識するに際して、上記３次元空間内の３次元座標
   系とその３次元座標系内にある物体を少なくとも一つの
   撮影手段によって撮影して得られた画像内の２次元座標
   系との関係を表すための座標系校正パラメータを設定す
   る視覚認識装置の座標系校正パラメータ設定装置におい
   て、 上記３次元空間内における上記撮影手段の撮影範囲内に
   設置され、上記３次元座標系の各座標軸に対する角度が
   既知であって互いに識別可能な面を有すると共に、表面
   に上記３次元座標系での位置が既知の複数の基準点を有
   する立体と、 上記撮影手段からの上記立体の画像データに基づいて上
   記立体の画像上における上記各面を識別し、この識別結
   果に従って所定の手順によって上記立体の上記３次元空
   間内での向きを求め、この求められた３次元空間内での
   向きに応じて上記立体上の各基準点における上記２次元
   座標系での位置と上記３次元座標系での位置とを所定の
   手順によって対応付ける座標系対応付け部と、 上記座標系対応付け部によって対応付けられた上記各基
   準点における上記２次元座標系での位置と上記３次元座
   標系での位置とを用いて、所定の手順によって上記座標
   系校正パラメータを設定する座標系校正パラメータ設定
   部を備えたことを特徴とする視覚認識装置の座標系校正
   パラメータ設定装置。
2. 【請求項２】 請求項１に記載の視覚認識装置の座標系
   校正パラメータ設定装置において、 上記立体における上記３次元座標系の各座標軸に対する
   角度が既知である各面の夫々に、互いに識別可能な図形
   を設けると共に、 上記座標系対応付け部は図形識別手段を有して、 上記座標系対応付け部の図形識別手段で上記立体におけ
   る上記各面の夫々の画像に在る図形を識別することによ
   って上記各面を識別可能に成したことを特徴とする視覚
   認識装置の座標系校正パラメータ設定装置。
3. 【請求項３】 請求項２に記載の視覚認識装置の座標系
   校正パラメータ設定装置であって、 上記立体は立方体であり、 上記３次元座標系の各座標軸に対する角度が既知である
   面は、上記立方体における互いに隣接した３面であり、 上記基準点は上記図形であることを特徴とする視覚認識
   装置の座標系校正パラメータ設定装置。
4. 【請求項４】 請求項１に記載の視覚認識装置の座標系
   校正パラメータ設定装置において、 上記立体における上記３次元座標系の各座標軸に対する
   角度が既知である各面の夫々を、互いに識別可能な形状
   に成すと共に、 上記座標系対応付け部は形状識別手段を有して、 上記座標系対応付け部の形状識別手段で上記立体におけ
   る上記各面の画像上での形状を識別することによって上
   記各面を識別可能に成したことを特徴とする視覚認識装
   置の座標系校正パラメータ設定装置。
5. 【請求項５】 請求項１に記載の視覚認識装置の座標系
   校正パラメータ設定装置において、 上記立体における上記３次元座標系の各座標軸に対する
   角度が既知である各面の夫々の色彩を、互いに識別可能
   な色彩に成すと共に、 上記座標系対応付け部は色彩識別手段を有して、 上記座標系対応付け部の色彩識別手段で上記立体におけ
   る上記各面の画像上での色彩を識別することによって上
   記各面を識別可能に成したことを特徴とする視覚認識装
   置の座標系校正パラメータ設定装置。