JPS61129508A - ロボツト用・物体観測装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 イ、「発明の目的」 〔産業上の利用分野） 本発明は、３次元空間内の任意の平面上に置かれた物体
を、可動するロボットアームに取付けられたカメラで値
測し、その２次元の画像データから、物体の３次元にお
ける位置・姿勢を計測するロボット用・物体１ｉ１８値
ｌ＠置に関するものである。

〔従来の技術〕

ロボットで３次元空間の成る面（通常は斜面）に置かれ
た物体をハンドリングする場合、その物体の３次元空間
上の位置と姿勢が分らないと、ハンドリングを行なうこ
とができない。

一方、通常のロボットにおいては、この物体の位置と姿
勢を計測する手段として、カメラ（例えばテレビカメラ
）が用いられる。カメラから得られる情報は、２次元の
位置と姿勢であり、この２次元のデータから、３次元の
情報を得なければならないわけである。そこで本出願人
は、２次元の位置と姿勢データから３次元のデータを得
ることができる「画像計測装置」を昭和５９年１１月２
６日に出願した。

しかし、この出願に係る装置では、物体のｌ１２ｍ手段
であるカメラの位置は固定されたちのである。

即ち、ロボットの作業対象とする広い領域を、−。

度にカバーするような場合のものである。

一方、ロボットの作業によっては、カメラを物体に近付
け、拡大観測して作業をしたい場合もある。この場合は
、通常、カメラをロボットアームの先端部に取付けるの
で、カメラが動くわけである。従って、カメラ位置が固
定のものとした前記出願の装置をそのまま使用すること
はできない。

本発明の目的は、このように、作業対象の物体を観測す
るカメラの位置が移動しても、装置の使用者が補正演算
することなしに、適切に対象物体の３次元のデータを得
ることができるロボット用・物体観測装置を提供せんと
するものである。

ｏ、　　「発明の構成１ （発明の概要〕 ３次元空間内の任意の平面上に置かれた物体をその平面
と垂直に光軸を設定して移動するカメラで撮像し、その
画像データから物体の位置・姿勢を計測する装ばにおい
て、 スクリーン座標系と、ワールド座標系とのオフセット値
（ＳΔ／Ｗ＞を記憶する手段と、画面座標系と、スクリ
ーン座標系のＸ−Ｙ軸からなる２次元直交座標系とのオ
フセット値（ＶΔ／Ｓ）を記憶する手段と、 ワールド座標系と、アーム座標系とのオフセット値（Ａ
Δ／Ｗ）を記憶する手段と、 リストの現在の位置・姿勢のデータ（Ｗｒｉｓｔ／Ｃ）
を記憶する手段と、 上記３種のオフセット値（ＳΔ／Ｗ、ＶΔ／Ｓ。

ＡΔ／Ｗ）とデータ＜　Ｗ　ｒｉｓｔ／　Ｃ）とを用い
て、上記画面座標系とスクリーン座標系のＸ−Ｙ軸から
なる２次元直交座標系とのオフセット値（ＶΔ／Ｓ）を
、リスト座標系に対する画面座標系のオフセット値（Ｖ
Δ／Ｗｒｉｓｔ）に変換する座標変換器（Ｍ＋　、Ｍ２
　、Ｍ３）とを備え、−このオフセットｔｉｌｌ　（Ｖ
　ａ　／　Ｗ　ｒｉｓｔ）は、カメラが移動しても不変
の値であることに着目し、このオフセット値を基にして
、上記と同様な座標変換器（Ｍ、ｌ　、　Ｍ５　、　Ｍ
ｅ　）を用いて、カメラ位置の移動につれ、更新された
オフセット値（ＶΔ′／Ｓ）を得るようにしたものであ
る。

（実施例） 以下、本発明を具体化した一実施例の説明を行なう。

本発明は、上述のように、２次元のデータから３次元の
データを算出するものであり、複数の座標系の相互関係
を予め理解しておく必要があるので、第２図、第３図を
用いてこれを説明する。

第２図は、カメラと、ロボットアームと、物体と、５つ
の座標系を表わしたものである。

同図において、１は物体であり、ロボットはこの物体１
を作業対象（例えば掴む、溶接する）の目的物とする。

そして、この物体１は成る平面Ｈ１の上に乗っていると
する。ここで、この平面Ｈ１上の成る点Ｏｓ　（任意の
点）を原点として、この平面上に座標軸Ｘｓ、Ｙｓをと
る。そして、この原点Ｏｓで平面Ｈ＋に立てた垂直軸を
Ｚｓとし、直交座標系をとる。この３次元の座標系をパ
スクリーン座標系″と呼ぶ。

２はカメラであり、ロボットの作業対象である物体１の
位置と姿勢を認識するためのものである。

物体の“姿勢”を認識する必要性の理由は、ここで言う
物体の“姿勢′°とは、物体の長手方向を示すものであ
り、通常、細長いものを掴む時は、物体の細い部分を掴
むのが安定に保持できるからである。このカメラ２は、
その光軸が前記スクリーン座標系のＺｓ輪軸上配置され
る。そして、このカメラ２によって得られる信号は、Ｚ
ｓ軸から物体１を見た２次元の画像情報である。この画
像情報は、通常、ＣＲＴ　（陰ｉｓ表示管）等で可視化
することができるとともに、画像メモリのプレーン上に
情報として格納される。第２図の（イ）は、この画像メ
モリプレーン上の画素データを概念的に示した図である
。（イ）に示す２次元直交座標系を“画面座標系”と呼
ぶ。（イ）において、点０ｐＧｔｊｉ面座標系の原点、
Ｘｐ、Ｙｐは画面座標系の直交軸である。即ち、カメラ
２で計測される物体１は、（イ）のような２次元の情報
としてロボットに与えられる。

“画面座標系°′と“スクリーン座標系”の関係を第３
図に示す。同図から分るようにＸ−Ｙ平面は、角度ＲＯ
ＬＬａｐ回転し、ｔ　ｆｃ、（ＸＡｐ。

ＹＡｐ）だけ平行移動している。

以上２つの座標系（画面座標系、スクリーン座標系）に
対して、３次元空間内での基準となる座標系が存在する
。この座標系を第２図（ロ）に示し、これを“ワールド
座標系″と呼ぶ。ワールド座標系は、！！ｉ置の使用者
が任意に定める（定義する）座標系であって、例えば、
ロボットが設置されるベンチ上の任意の位置を、その座
標系の原点と適宜窓めるものである。

このワールド座標系とスクリーン座標系とは、通常、Ｘ
、Ｙ、Ｚ軸が成る角度で回転（ＹＡＷＡｓ　、Ｐ　ＩＴ
ＣＨＡｓ　、ＲＯＬＬΔｇ）し、及び平行移動（ＸＡｓ
　、　Ｙ　Ａ　ｓ　、　Ｚ　Ａ　ｓ　）　（７）ｌｌ係
１ｃアル。

ここで、各座標系の相互間の座標軸のズレ及び回転を本
明細書ではｒオフセット値Ｊと言う。即ち、上記し、ま
たは後述する（ＸＡｐ、ＹＡｐ。

ＲＯＬＬａｐ　）、（ＸＡｓ　、ＹＡｓ　、ＺＡｓ　、
ＹＡＷＡｓ　、ＰｒＴｃＨａｓ、ＲＯＬＬΔＳ等）はオ
フセット値である。

３はロボットアームであり、このアームの先端部にカメ
ラ２が取付けられ、ロボット７−ム３は、適当な固定面
に設置される。ロボットアーム３の成る点ＯＡを原点と
して、第２図（ハ）に示すような座標系Ｘａ　、ＹＡ　
、ＺＡをとる。この座標系を゛アーム座標系″と呼ぶ。

アーム座標系の原点ＯＡをロボットアーム３の底面に置
き、このロボットとワールド座標系を同じ作業ベンチ上
に置くとすれば、“６ワールド座標系°′と“アーム座
標系゛′のオフセット値は簡単に実測することができる
。

さらに、カメラ２を保持しているロボットア−ム３の保
持部を原点Ｏｒ（カメラ取付けの基準点）として、この
原点Ｏｒにとった３次元の座標（Ｘｒ、Ｙｒ、Ｚｒ・・
・（ニ））を°“リスト座標系”と呼び（リスト（ｗｒ
ｉｓｔ＞）、この原点Ｏｒをリストと呼ぶ。なお、本明
細ｍでは、カメラ２を保持する手段として、ロボットア
ーム３を例に上げて説明するが、カメラ２の保持手段を
ロボットアームに限定するものではない。例えば、カメ
ラ２を専用に保持・移動させる手段を設けても良い。

従って、本明細書に言う゛°リスト″°とは、ロボット
アームにおける点でなく、「カメラ取付けの基準点」の
意味である。

“アーへ座標系°′と“リスト座標系°°とは、ロボッ
トアームの機械的位置で一義的に定まるものである。従
って、ロボット装置の出力として、この２つの座標系の
関係を表わす信号（例えば、゛アーム座標系”で見た場
合の現在のリストの座標値）は、自動的に出力すること
ができる。

なお、第２図においては、５つの座標系の関係を分り易
く説明するために、カメラ２はロボットアーム３に取付
けられておらず、また、カメラ２自体の形状も大きめに
描いた。しかし、実用上は、カメラ２は第２図のロボッ
トアーム３の先端部に保持され、また、形状も小さくす
ることができる。

以上の５つの座標系の関係を要約すると、次の（１）〜
（４）までとなる。

（１）　　スクリーン座標系は、物体が置かれた平面上
にＸ−Ｙ平面を持つものであるので、ワールド座標系に
対するオフセット値（ＸＡｓ、ＹＡｇ、ＺΔ、、”ｙ’
ＡｗΔｇ、ＰＩＴｃＨΔ、ｑ、ＲｏｌｌΔ３）は、実測
又は図面等から求めることができ、予めレジスタ等に入
力しておくことができる。

（２）画面座標系は、スクリーン座標系の２軸に直交す
る平面上で定義されているため、そのオフセット値（Ｘ
Ａｐ　、ＹＡＰ　、ＲＯＬＬａｐ　）ｔｈＥ、Ｘ。

Ｙ方向の平行移動及び回転だけである。従って、これら
はスケールファクタＫｓｐ（Ｉ述する）とともに、校正
によって、実測値を得ることが可能であり、予めレジス
タ等に入力しておくことができる。

（３）　　ワールド座標系に対するアーム座標系のオフ
セット’ａ　（Ｘａａ　、ＹＡＡ　、ＺａＡ、ＹＡＷＡ
Ａ　。

ＰＩＴＣＨΔＡ、ＲＯＬＬΔＡ）も上述したように実測
することができ、予めレジスタなどに入力しておくこと
ができる。

（４）　　アーム座標系に対するリスト座標系のオフセ
ット値は、上述のように実測するまでもなく、ロボット
装置の出力として得られる。

第１図は本発明に係る装置の全体の動作が分るように描
いたものであり、本発明の特徴とする部分が装置全体の
どの部分に位置するかを明確にするブロック図である。

この第１図の構成は、前記した本出願に先行する出願「
画像計測装置」と、はぼ同様な構成をしている。異なる
点は、カメラの位置が固定でなく動くこと、及び、演算
装置１４が設けられていることである。言替えると、本
発明の装置では、カメラの位置が移動すると、この移動
量にしたがって座標変換器１６に加えるオフセットの値
を演算装置１４により更新した値としている点である。

本発明と先行する出願「画像計測装置」の関係を簡略し
て述べる。

先行出願は、レジスタを介して座標変換器１６へ“スク
リーン座標系′°に対する“画面座標系”のオフセット
値を設定し、座標変換器２２には゛ワー　。

ルド座標系°′に対する゛スクリーン座標系″のオフセ
ット値を設定している。この２つのオフセット値は、カ
メラ位置が固定されているので、１度設定すれば、この
値を変更する必要はない。

しかし、本発明の装置では、カメラ位置が移動するので
、このカメラ位置の移動量にしたがって、座標変換器１
６に導入するオフセット値を順次自動的に更新するよう
にしたものである。

なお、″“ワールド座標系″に対する“′スクリーン座
標系°′のオフセット値は、カメラ位置が移動しても影
響されないので、このオフセット値は更新する必要はな
い。

第１図において、１はロボットの作業対象の物体、２は
カメラ、３はロボットアームである。カメラ２はロボッ
トアーム３に取付けられ、その位瞳が移動するようにな
っている。ここで、カメラ２の移動は、第１図のａに示
すように、スクリーン座標系の面Ｈ１に対して、平行に
動くものとする。４はカメラ３からの信号を受けて、例
えば、ＣＲＴ　（図示せず）等に映像する場合の画像メ
モリである。このメモリ上にスクリーン座標系のＺＳ軸
から見た物体の２次元像の画素が格納されている。即ち
、この画像メモリ４上のデータは“画面座標系”である
。６は重心位置演算器であり、８は慣性主軸角度演算器
である。

重心位置演算器６は、画像メモリ４に格納されている物
体の２次元の像を表わすデータを導入し、これから物体
の画面座標系における重心位−（Ｘｐ　ｃ　＊　Ｙ　ｐ
　ｏ　）を算出する。なお、この重心位置演算器６は、
特に新規なものでなく、既に公知の技術である。

１　　　　　　慣性主軸角度演算！１８は、画像メモリ
４に格納されている物体の２次元の像を表わすデータを
導入し、これから物体の長手方向の角度を演算するもの
である。この結果、第１図の画像メモリ４内に示すよう
に物体の長手方向の角度θＰＧが決定される。なお、こ
の慣性主軸角度演算器８も、特に新規なものでなく、既
に公知の技術である。

１０、１２はレジスタであり、それぞれ第１図に示すよ
うにＸｐｏ、Ｙｐｏ＋　θｐｏを一時記憶しているもの
である。即ち、このレジスタ１０．１２には、画面座標
系での物体の位置と姿勢（２次元３自由度）のデータが
一時記憶される。

１４は演算装置であり、カメラ２の位置が移動すると、
その移動層にしたがってロボットアーム３から信号Ｓｏ
を導入し、゛スクリーン座標系”に対する゛画面座標系
”のオフセット値を自助的に演算し次段に出力するもの
である。この演算装置１４の部分が本発明の主要な特徴
とする部分であり、この部分は詳細に後述する。

１６は後述する演算機能をもつ座標変換器であり、レジ
スタ１０．１２及び演算装置１４から信号を導入し、゛
スクリーン座標系”における物体の位置と姿勢を求める
ものである。

１８はレジスタであり、座標変換器１６で演算された゛
スクリーン座標系″における位置と姿勢（３次元６自由
度）のデータを一時記憶しておくものである。

２０もレジスタであり、ワールド座標系に対するスクリ
ーン座標系のオフセット値（ＸΔＳ。

Ｙａｓ、ＺΔｓ　、ＹＡＷＡｓ　、Ｐ　Ｉ　ＴＣＨΔＳ
。

ＲＯＬＬΔＳ）を導入し、これを一時記憶しておくもの
である。この６つのオフセット値は、既述したように、
例えば、実測又は図面等から求められた値であり、オペ
レータ等が信号＄２としてレジスタに予め入力しておく
ことができる。

２２は後述する演算機能をもつ座標変換器であり、レジ
スタ１８と２０から信号を導入し、゛ワールド座標系゛
°における物体の位置と姿勢を求めるものである。　２
４はレジスタであり、座標変換器２２で演算されたパワ
ールド座標系゛′における位置と姿勢（３次元６自由度
・・・Ｘｗｃ　、Ｙｗｏ　、Ｚｗｏ　、ＹＡＷｗａ　、
Ｐ　Ｉ　ＴＣＨＷ（）　、ＲｏｌＬｗｏ　）のデータを
一時記憶しておくものである。このレジスタ２４の出力
を用いることで、ロボットは目的とする物体をハンドリ
ングすることができる。

前記先願の「画像計測装置」は、 ■　“スクリーン座標系″に対する゛°画面座標系″の
オフセット値を座標変換器１Ｇに導入し、■　“ワール
ド座標系”に対する゛スクリーン座標系”のオフセット
値を座標変換器２２に導入し、■　２つの座標変換器１
６．２２で所定の演算をして、物体の３次元上（ワール
ド座標系）の位置・姿勢のデータを得ている。

いま、カメラ２が移動した場合、その移ｖＪ量にしたが
って、上記■のオフセット値は変動する（但し、■のオ
フセット値は変動しない）。そこで、カメラ２の移り量
にしたがって、■の°°スクリーン座標系°′に対する
”画面座標系°′の更新されたオフセット値等が、演算
装置１４の出力として座標変換器１６に加えられるとす
れば、第１図の装置からは、物体１の３次元（ワールド
座標）における位置・姿勢のデータが得られることは、
先願「画像計測装置」の明１ｌＩＩ書から明らかである
。

従って、本明細書では、第１図の演算装置１４が、カメ
ラ２の移動に応答して、“スクリーン座標系”に対する
“画面座標系″のオフセット値を順次更新して出力して
いる旨を主に詳しく説明する。

第４図は、演算装置１４の構成例を示すブロック図であ
る。同図において、Ｒ＋−Ｒ＋＋はレジスタ、Ｍ＋−Ｍ
ｇは座標変換器、Ｎ＋　、Ｎ２は変換器、ＳＷ＋　、Ｓ
Ｗ２はスイッチである。

レジスタＲ１には、最初のカメラ２の位置・姿勢におけ
る゛°スクリーン座標系′°に対する“″画面座標系″
オフセット値（ＸΔｐ、ＹＡｐ、ＲＯＬＬΔｐ・・・以
下これらを一括して単にＶΔ／Ｓと略す）と、スケーリ
ングファクタＫｓｐがオペレータにより設定される。も
つとも、このスケーリングファクタＫｓｐは、直接第１
図の座標変換器１６へ入力するようにしてもよい。

レジスタＲ５には、゛°ワールド座標系゛′に対する“
スクリーン座標系”のオフセット値（ＸＡｓ。

Ｙａｓ、ＺΔｓ　、ＹＡＷＡｓ　、Ｐ　ｒＴｃＨΔＳ。

ＲＯＬＬΔＳ・・・以下これらを一括して単にＳΔ／Ｗ
と略す）がオペレータにより設定される。

レジスタＲ６には゛ワールド座標系″に対する“アーム
座標系゛′のオフセット値（ＸΔＡ、ＹΔＡ　、Ｚ、ａ
ａ　、ＹＡＷＡＡ　、Ｐ　ｆＴｃＦ−１ａＡ、ＲＯＬＬ
Δ＾・・・以下これらを一括して単にＡΔ／Ｗと略す）
がオペレータにより設定される。これらのオフセット値
■Δ／Ｓ、ＳΔ／Ｗ、ＡΔ／Ｗは、実測等によって得ら
れるデータである。

レジスタＲ７には、゛アーム座標系”における現在のリ
ストの位置・姿勢を示す３次元６自由度のデータ（Ｘｃ
、Ｙｃ、Ｚｃ、ＹＡＷｃ、ＰＩＴＣＨｃ　、ＲＯＬＬｃ
・・・以下これらを一括して単にＷ　ｒｉｓｔ／　Ｃと
略す）がロボットアーム３より自動的に入力される。

レジスタＲ８には、物体の画像を画像メモリ４に格納し
た時点のリストの位置・姿勢を示す３次元６自由度（７
）７’　−タ（ＸＭ　、　ＹＭ　、　ＺＭ　、　ＹＡＷ
Ｍ　、ＰＩＴＣＨＭ　、ＲＯＬＬＭ・・・以下これらを
一括して単にＷｒｉｓｔ／Ｍと略す）がロボットアーム
３より自動的に入力される。

変換器Ｎ１には、レジスタＲ１からオフセットｆｌＶΔ
／Ｓ　（２次元（７）ｔｉｌ）　ｆｆｉ導入サレすコレ
ラ３次元のデータに変換して、次段に出力する。この変
換器Ｎ＋の出力の意味は、次の通りである。画面座標系
のデータ（ＸΔｐ　、ＹＡｐ　、ＲＯＬＬΔｐ）をスク
リーン座標系上に移し、Ｚ軸方向をスクリーン座標系と
同一にとって、２次元の画面座標系を３次元的に表現し
たものである。従って、ｚｍ同士は、同じであるから２
Δｐ＝ｏである。

また、ＹＡＷａｐ　＝Ｏ，ＰＩＴＣＨＡｐ＝Ｏである。

以上のことから、変換器Ｎ＋の具体的構成例としては、
単に、レジスタＲ１からのデータＸΔｐ。

ＹＡｐ、ＲＯＬＬΔｐを次段に出力し、そして、Ｚａｐ
　＝Ｏ，ＹＡＷＡｐ　＝Ｏ，ＰＩＴＣＨΔｐ　−０に接
続したものとして構成される。なお、この変換器Ｎ＋が
設けられている理由は、次段の座標変換器Ｍ１が、３次
元６自由度のデータを２セツト導入し、これを演算する
ような機能としていることに基づく。従って、この座標
変換器Ｍ１が２次元と３次元のデータを導入しても良い
ように設計してあれば、この変換器Ｎ１は不要である。

座標変換器Ｍ１には、変換器Ｎ１とレジスタＲうからオ
フセット値ＶΔ／ＳとＳΔ／Ｗのデータが導入され、“
ワールド座標系”に対する“画面座標形”のオフセット
（以下、単に■Δ／Ｗと略す）の値を次段のレジスタＲ
２に出力する。

座標変換器Ｍ２には、レジスタＲ２とＲ６からオフセッ
ト値■Δ／ＷとＡΔ／Ｗのデータが導入され、“アーム
座標系パに対する“画面座標系°゛のオフセットｆｌｉ
ｔ（以下、単にＶΔ／Ａと略す）を次段のレジスタＲ３
に出力する。

座標変換器Ｍ３には、レジスタＲ３とＲ７からオフセッ
ト値ＶΔ／ＡとＷ　ｒｉｓｔ／　Ｃのデータが導入され
、゛リスト座標系”に対する“画面座標系′。

のオフセット値（以下、単にＶΔ７Ｗｒｔｓｔと略す）
を次段のレジスタＲ４に出力する。

座標変換器Ｍ４には、レジスタＲ４からオフセット値■
Δ／Ｗｒｉｓｔのデータと、スイッチＳＷ＋を介して、
Ｗ　ｒｉｓｔ／　Ｃ又はＷｒｉｓｔ／Ｍのデータが導入
され、カメラ２の位置が移動したことにょる更新された
゛アーム座標系”に対する゛画面座標系″′のオフセッ
ト値　■Δ″／Ａのデータを次段のレジスタＲ９に出力
する。

座標変換器Ｍ５には、レジスタＲ９とＲ６からオフセッ
ト値■Δ′／ＡとＡΔ／Ｗが導入され、更新された゛ワ
ールド座標系″″に対する“画面座標系”のオフセット
値　■Δ−／Ｗのデータを次段のレジスタＲ＋ａに出力
する。

座標変換器Ｍ６には、レジスタＲ＋ｏとＲ５からオフセ
ット値■Δ＝／ＷとＳΔ／Ｗが導入され、更新された゛
スクリーン座標系”に対する“画面座標系′°のオフセ
ット値　ＶΔ＝／Ｓのデータを次段の変ｍ器Ｎ２に出力
する。

変換器Ｎ２は、変換器Ｎ１と同様な構成により、導入し
た３次元６自由度のデータを２次元のデータに変換して
、次段のレジスタＲ＋＋に出力する。

、　　　　　　このレジスタＲ＋＋の内容は、本発明に
係る装置で得ようとしている値、即ち、カメラ２が移動
したことに応答して、その値が更新された“スクリーン
座標系″に対する゛画面座標系″のオフセット値　ＶΔ
′／Ｓのデータであり、この値はスイッチＳＷ２を介し
て、第１図の座標変換器１６に出力される。

以上のように構成された第４図の演算装！１１４の動作
を説明する。

演算装置１ｉ’１４の中には、Ｍ　＋〜Ｍ６までの６個
の座標変換器が設けられているが、これらの座標変換器
は、以下に示す２種類の演算（（１）〜（４）式、（５
）〜（８）式）のうち、どちらかの演算をするように構
成されている。

もつとも、（１）〜（４）式と（５）〜（８）式は、ベ
クトル表示を有頭ベクトルで表わしたものであり、他の
表示、例えば、オイラー角表示によれば、演算の形が本
明細書の式と異なるのは明らかである。即ち、以下に示
す、演算形式は、この手段によれば、確実に所望のデー
タ（更新されたオフセット値　ＶΔ′／Ｓ）を得ことが
できると言う事実を説明するためのものであり、例えば
、オイラー角表示によっても、所望の更新されたオフセ
ット値を得ることができる。言替えると、本発明は、以
下に示す演算式そのものに限定するわけではない。

３次元６自由度のデータ（Ｘ（ｌＬＪＴ、ＹＯＩＪＴ。

ＺＯＵＴ　、ＹＡＷＯＵＴ　、ＰｒＴＣＨｏｕｒ　、Ｒ
ＯＬＬＯＵＴ＞が次式によって得られる。

Ｙ　　Ａ　　ＷＱＪＴ−ｔ　　ａ　　ｎ　−’　　　（
Ｌ　　＋　　ｙ　　／　　Ｌ　２　　コ　）　　　（２
）ＰＩＴＣＨｃＫＪＴ−ｃｏｓ−’　　（Ｌ３３　）　
　　　　　　（３）ＲＯＬＬＱＩＪＴ＝　１：ａｎ−’
　　（Ｌ３　＋　／１３２　）　　　（４）ここに、 Ｋ　−’ＲｔｓｔＺ　（ｌＹＡＷ＋ｘ　）　ｌ”ｂｔＸ
　（ΔＰＩＴＣＨＩＮ　）　姓Ｚ　（ｌＦ？ＱＪ−＋ｎ
　）Ｌ　＝　１Ｋ−Ｆ？ｔｊ−Ｚ　（ＹＡＶＪ＋ｈ　）
Ｉ’ｕＸ　（ＰＩＴＣＨＩＮ　）娃Ｚ　（ＲＯＬＬ　Ｉ
Ｆ４　）（但し、θは角度） なお、 “Ｙ　Ａ　Ｗ　”とは、Ｚ軸回りの回転角を表わし、°
“Ｐ　Ｉ　ＴＣ）ｌ”とは、ＹＡＷ回転後のＸ軸回りの
回転角を表わし、 ＲＯＬ　Ｌ　”とは、その後の２軸回りの回転角を表わ
している。

Ｐ　ＩＴＣＨＯＬＩＴ　　＝Ｃ０８−’　　（Ｑ３３　
）　　　　　（７）ＲＯＬＬＯＩＪＴ　＝　ｔ　ａ　ｎ
−’　　（Ｑ３　＋　／Ｑ３２　）　　（Ｅｌ）ここに ＩＰ　−限Ｚ　（−ＪＲＯＬＬＩＮ）ｘｔ　Ｘ　（−１
ＰＩＴＣＨＩＮ）〜１（−１’ｒＡＷＩ　Ｎ　）Ｑ　＝
　ＩＰ−Ｒｏｔ　Ｚ　（ＹＡＷＩＮ＞・姪Ｘ　（ＰＩＴ
ＣＨＩＮ　）ＲｔＺ　（ＲＯＬＬ　（Ｈ）また、Ｒｏ　
ｔ　Ｚ　（θ）、ＲＯＴＸ（θ）は上記と同様に定義す
る。

レジスタＲ＋　とＲ５にはオフセット値■Δ／ＳとＳΔ
／Ｗが、予め設定されている。このオフセット値は、カ
メラ２が移動し始める最初の位冒におけるデータである
。この２次元のデータを変換器Ｎ＋で３次元のデータに
変換して導入し、座標変換器Ｍ、は、（１）〜（４）式
に示す演暉を行い、オフセット値ＶΔ／Ｗを出力する。

この場合、座標変換器Ｍ＋は、（１）〜（４）式におい
て、次の値にしたものとして演算する。

この結果、ワールド座標系に対する画面座標系の座標軸
のズレ及び回転、即ち、オフセット値（ＶΔ／Ｗ＞がレ
ジスタＲ２に格納される。

次に、座標変換器Ｍ２には、レジスタＲ２とＲ６からデ
ータＶΔ／Ｗ、ＡΔ／Ｗが導入される。

そして、この座標変換器Ｍ２は、（５）〜（８）式に示
す演算を行い、オフセット値ＶΔ／Ａを出力する。

この場合、座標変換器Ｍ２は、（５）〜（８）式におい
て、次の値にしたものとして演算する。

この結果、アーム座標系に対する画面座標系の座標軸の
ズレ及び回転、即ち、オフセット値（ＶΔ／Ａ）がレジ
スタＲ３に格納される。

次に、座標変換器Ｍ３には、レジスタＲ３とＲ７からデ
ータＶΔ／Ａ、　Ｗｒｉｓｔ／Ｃが導入される。

そして、この座標変換器Ｍ３は、（５）〜（８）式に示
す演算を行い、オフセット値ＶΔ／Ｗｒｉｓｔを出力す
る。この場合、座標変換器Ｍ３は、（５）〜（８）式に
おいて、次の随にしたものとして演算する。

この結果、リスト座標系に対する画面座標系の座標軸の
ズレ及び回転、即ち、オフセット値（ＶΔ／Ｗｒｉｓｔ
）がレジスタＲ４に格納される。ここで、ＶΔ／Ｗｒｉ
ｓ（のデータは、リストを基準とした値であるため、ア
ームが移動しても（カメラ２が移動しても）不変の値で
ある。この点が本発明の特徴とする所の一つである。

ここで、第４図に示す装置は、２つの選択をスイッチＳ
　Ｗ　＋で行なうことができるようになっている。

その一つは、座標変換の対−が現在カメラ２が捕えてい
る画像であるときは、スイッチＳＷ＋を接点ａにする。

また、他方は、座標変換の対条が画像メモリ４上の画像
である時は、スイッチＳ　Ｗ　＋を接点すにする。

スイッチＳ　Ｗ　＋を接点ａにした場合は、レジスタＲ
７内の現在のリストの位置・姿勢データＷｒｉＳｔ／　
Ｃと、レジスタＲ４のデータＶ　Ａ　／　Ｗ　ｒｉｓｔ
が座標変換器Ｍ４に取込まれる。

スイッチＳ　Ｗ　＋を接点すにした場合は、レジスタＲ
ａ内の画像を画像メモリ４に取込んだ時のリストの位置
・姿勢のデータＷｒｉｓｔ／Ｍと、レジスタｒ４のデー
タ■Δ／　Ｗ　ｒｉｓｔが座標変換器Ｍ４に取込まれる
。

そして、この座標変換器Ｍ−は、（１）〜（４）式に示
す演算を行い、オフセット値■Δ″／Ａを出力する。こ
の場合、座標変換器Ｍ４は、（１）〜（４）式において
、次の値にしたものとして演算する。

この結果、アーム座標系に対する画面座標系の座標軸の
ズレ及び回転、即ち、オフセット値（ＶΔ′／Ａ）が、
レジスタＲ９に格納される。ここで、■Δ′／Ａのデー
タは、アーム３が動くことにより、カメラ２が移動した
場合の、新しい位、Ｈに関するアーム座標系で見た画面
座標系の原点の位置・姿勢のデータである。

次に、座標変換器Ｍ！Ｉには、レジスタＲ６とＲ９から
データＡΔ／Ｗ、ＶΔ−／Ａが導入される。

そして、この座標変換器Ｍ５は、（１）〜（４）式に示
す演算を行い、オフセット値ＶΔ′／′Ｗを出力する。

この場合、座標変換器Ｍ５Ｇよ、（］）〜（４）式にお
いて、次の値にしたものとして演ｉする。

この結果、カメラ２が移動した新しい位ぼにおいて、ワ
ールド座標系に対する画面座標系の座標軸のズレ及び回
転、即ち、更ｆｒされたオフセット値（ＶΔ′／Ｗ）が
レジスタＲ＋ａに格納される。

次に、座標変換器Ｍ、には、レジスタＲ５とＲｌｏから
データＳΔ／Ｗ、ＶΔ′／Ｗが導入される。そして、コ
ｆ）ｌ！標’ｌｌｔｆｋａＭｇ　ハ、（５）　〜（８）
　式に：示す演算を行い、オフセットＩＩｖΔ−／Ｓを
出力する−このＳ＊−座層書島秀Ｍ１け−ｒζ）〜／Ｒ
）ぜ「おいて、次の値にしたものとして演算する。

この結果、カメラ２が移動した新しい位置において、ス
クリーン座標系に対する画面座標系の座標軸のズレ及び
回転、即ち、更新されたオフセット値（ＶΔ′／Ｓ）が
変換器Ｎ２に出力される。

変換器Ｎ２は、前記した変換器Ｎ＋と丁度逆の変換を行
なっている。即ち、３次元６自由度のデータを導入し、
２次元のデータに変換して、次段のレジスタＲ＋＋に出
力している。この変換器Ｎ２は、前記変換器Ｎ１とほぼ
同様な構成である。

以上のようにして、レジスタＲ＋＋には、カメラ２が移
動したことによる゛スクリーン座標系″に対する“″画
面座標系”の更新されたオフセット値（ＶΔ′／Ｓ）が
格納されたことになる。

この更新されたオフセット１（ＶΔ−／Ｓ）は、スイッ
チＳ　Ｗ　２の接点Ｃを介して、第１図の座標変換器１
６に導入される。

なお、以上の動作は、カメラ２の位置が移動する場合の
ものであり、もし、このカメラ２が固定されている場合
は、第４図の装置は、スイッチＳＷ２の接点をｄにして
いる。従って、レジスタＲ１に設定されたデータは、直
接、第１図の座標変換器１６に出力する。この場合は、
第４因のような多段の演算をする必要がないからである
。

以上の動作により、ロボットアーム３が動き、カメラ２
の位置が移動しても、その移動に従って、自動的に°“
スクリーン座標系′°に対する゛画面座標系”のオフセ
ット値が更新され、第１図の座標変換＠１Ｇに導入され
る。

その後は、先願の「画像計測装置」と同様な動作により
、ワールド座標系における物体１の位置・姿勢が演算さ
れる。即ち、座標変換器１６はレジスタ１０．１２．１
４からデータを導入し、（９）ｌの式の演算を行なうこ
とにより、“°スクリーン座標系”における物体１の位
置と姿勢（３次元６自由度・・・ＸｓＱ　、Ｙｓａ’、
Ｚｓｏ　、ＹＡＷｓｏ　、Ｐ　ＩＴＣＨｉｏ　、ＲＯＬ
Ｌｉｏ　）の値を出力することができる。

（１）　　カメラ２の位置が固定の場合ここで、画面座
標系とスクリーン座標系ではＹＡＷｓｏ＝Ｏ Ｐ　Ｉ　ＴＣＨｉ　ｏ　＝Ｏ ＲＯＬＬ５（！　＝ＲＯＬＬΔｐ＋θＰＧの関係がある
〈第３図から明らか）。

（１０カメラ２をロボットアームに取付けた場合上記と
同様に、 ＹＡＷｓｏ＝Ｏ ＰＩＴＣＨｉｏ−Ｏ ＲＯＬＬｓｅ−ＲＯＬＬＡｐ　′＋θＰ（）の関係があ
る。

また、Ｒｏ　ｔ　Ｚ　（ＲＯＬＬａｐ　）は、（１）　
〜（４）式の所で定義したので省略する。Ｋｓｐはスケ
ールファクタである。

このような演算により、レジスタ１８には、′″スクリ
ーン座標系”における物体１の位置と姿勢（Ｘｓｃ　、
Ｙｓｏ　、Ｚｓｃ　、ＹＡＷｓｅ　、ＰＩＴＣＨｓａ　
、ＲＯＬＬｓｏ　）のデータが一時記憶される。

一方、既述したように、ワールド座標系に対するスクリ
ーン座標系のオフセット値（ＸＡｓ、ＹΔｓ、ＺΔｓ、
ＹＡＷＡｓ、　　ＰＩＴＣＨΔＳ。

ＲＯＬＬΔＳ）は、実測又は図面などから求めることが
可能であり、予めレジスタ２０に入力されている。既述
したように、このオフセット値Ｇよ、カメラ２が移動し
ても、不変のものである。

座標変換器２２はレジスタ１８．２０からデータを導入
し、（１）〜（４）式に示す演算を行い、ワールド座標
系における物体１の位置・姿勢を表わすデータをレジス
タ２４に出力する。この場合、座標変換器２２は、（１
）〜（４）式において、次の値にしたものとして演算す
る。

そして、以上の動作を、カメラ２の位置が変わるたびに
繰返して行なうことができる。従って、レジスタ２４の
内容は、常に、ワールド座標系におけるカメラ２の移動
ごとの更新した物体１の位置・姿勢を表わすものであり
、この値（ＳＯ）を用いて、ロボットは物体１をハンド
リングすることができる。

なお、レジスタＲ＋　＋　Ｒ＋　＋におけるスケールフ
ァクタＫｓｐは、カメラ２を物体１が置かれている平面
Ｈ１に平行に移動するとの仮定の下では、不変となる。

なお、以上の演算は、マイクロシーケンサ等を用いた専
用ハードウェア・アレイプロセッサ又はマイクロプロセ
ッサによる演算等で実現することができる。

第５図と第６図は本発明に係る装置の別の実施例を示し
たブロック図である。この第５図と第６図の装置は、第
１図の装置と異なり、ステレオビジョンのような３次元
画像計測装置を利用した装置に適用して、ワールド座標
系における物体の位置・姿勢を求めるものである。

第５図は第１図に相当し、第６図は第４図に相当する。

第５図において、１〜３は第１図と同様なものであるの
でこの説明は省略する。２５は３次元画像計測装置であ
り、例えば、ステレオビジョンを応用したようなもので
ある。２６．２８はレジスタ、２１は座標変換器、３０
は第６図に詳細を示すような演算装置である。

第６図において、第４図と同一の構成素子番号のものは
、第４図のものと同じ機能を有するものである。

第５図において、３次元画像計測装置のもつ座標系をス
クリーン座標系とすると、３次元画像針Ｗ！４装置の出
力が、そのままレジスタ２６に入力される。レジスタ２
６は第１図のレジスタ１８に対応している。レジスタ２
６の値は、座標変換器２７に入力される。第１図では、
画面座標系のスクリーン座標系に対するオフセットを、
アームの移動に応じて更新して用いたが、ここでは、第
５図の座標変換器２７に入力されるワールド座標系に対
するスクリーン座標系のオフセット（ＳΔ／Ｗ）をアー
ムの移動に応じて更新して用いる。

第６図において、校正等によって得たレジスタＲ２のＳ
Δ／Ｗは、座標変換器Ｍｘ、Ｍｓを通してＳΔ／Ｗｒｉ
ｓｔに変換される。アームが移動しても不変の量として
、第４図のＶΔ７　ｙｙ　ｒｉｓｔの代りに、第６図で
はＳΔ／Ｗｒｉｓｔを用いる。第４図と同様に、Ｓ　ａ
　／Ｗｒｉｓｔは座標変換器Ｍ４．Ｍ５　。

スイッチＳ　Ｗ　２を通り、座標変換器２７に出力され
、レジスタ２８にワールド座標系における位置・姿勢が
正しく得られる。

なお、上述の第４図と第６図においては、回路の１ルー
プ目を説明したが、カメラの位置が移動して、次の更新
したデータ（ＶΔ′／Ｓ）を得る演算は、座標変換器Ｍ
４からスタートすることになる。その理由は、既述した
が、オフセット値（ＶΔ／　Ｗ　ｒｉｓｔ）は、アーム
の移動に影響されない値であるからである。

ハ、「本発明の効果」 以上述べたように、本発明によればカメラをロボットア
ームに取付け、アームが任意の位置・姿勢をとった場合
でも、物体の３次元６自由度における位置・姿勢が直接
得られるので、装置の使用者は補正、１４算の処理から
解放されプログラミング効率が上昇する。そのため、例
えば、ロボットアームと視覚を用いた組立て作業を行な
う場合において、アームを積んだカメラを、必要な部品
の近くに移動させ、効率的に視覚装置を利用する動作を
容易にプログラミングすることができる。更に、ロボッ
トアームの現在のリストの位置・姿勢と、画像を画像メ
モリに取込んだ時のリストの位置・姿勢とを必要に応じ
て切替えて用いることにより、アームの移動中であって
も画像メモリ上の画像に対して正しく位置・姿勢が得ら
れる。

【図面の簡単な説明】

第１図は本発明に係る装置の全体の動作が分るように描
いたものであり本発明の特徴とする部分がｓｉｔ全体の
どの部分に位置するかを明確にするブロック図、第２図
はカメラと物体とロボットアームと５つの座標系の関係
を示した図、第３図は画面座標系とスクリーン座標系と
の関係を示した図、第４図は第１図装置の演算器Ｗ１１
４の具体的構成例を示した図、第５因は本発明に係るロ
ボット用・物体観測装置の別の構成例を示す図、第６図
は第５図装置の演算装置３０の具体的構成例を示した図
である。 １・・・物体、２・・・カメラ、３・・・ロボットアー
ム、４・・・画像メモリ、６・・・重心位置演算器、８
・・・慣性主軸角度演算器、Ｒず〜Ｒ＋　ｒ　、　１０
．１２．１８．２０゜２４、２６．２８・・・レジスタ
、Ｍ冒〜Ｍｅ　、　１１３．２２．２７・・・座標変換
器、１４．３０・・・演算装置、２５・・・３次元画像
計測装置。

Claims (2)

【特許請求の範囲】
1. （１）３次元空間内の任意の平面上に置かれた物体をそ
   の平面と垂直に光軸を設定して移動するカメラで撮像し
   、その画像データから物体の位置・姿勢を計測する装置
   において、 スクリーン座標系と、ワールド座標系とのオフセット値
   （ＳΔ／Ｗ）を記憶する手段と、 画面座標系と、スクリーン座標系のＸ−Ｙ軸からなる２
   次元直交座標系とのオフセット値（ＶΔ／Ｓ）を記憶す
   る手段と、 ワールド座標系と、アーム座標系とのオフセット値（Ａ
   Δ／Ｗ）を記憶する手段と、 リストの現在の位置・姿勢のデータ（Ｗｒｉｓｔ／Ｃ）
   を記憶する手段と、 上記３種のオフセット値（ＳΔ／Ｗ、ＶΔ／Ｓ、ＡΔ／
   Ｗ）とデータ（Ｗｒｉｓｔ／Ｃ）とを用いて、上記画面
   座標系とスクリーン座標系のＸ−Ｙ軸からなる２次元直
   交座標系とのオフセット値（ＶΔ／Ｓ）を、リスト座標
   系に対する画面座標系のオフセット値（ＶΔ／Ｗｒｉｓ
   ｔ）に座標変換する手段（Ｍ＿１、Ｍ＿２、Ｍ＿３）と
   、 前記オフセット値（ＡΔ／Ｗ、ＳΔ／Ｗ）とカメラの移
   動とともに更新された現在のリストの位置・姿勢のデー
   タ（Ｗｒｉｓｔ／Ｃ）とを用いて、上記オフセット値（
   ＶΔ／Ｗｒｉｓｔ）を、更新されたオフセット値（ＶΔ
   ′／Ｓ）に座標変換する手段（Ｍ＿４、Ｍ＿５、Ｍ＿６
   ）と、 を備えたことを特徴とするロボット用・物体観測装置。
2. （２）３次元空間内の任意の平面上に置かれた物体をそ
   の平面と垂直に光軸を設定して移動するカメラで撮像し
   、その画像データから物体の位置・姿勢を計測する装置
   において、 前記物体の画像データを格納する画像メモリと、スクリ
   ーン座標系と、ワールド座標系とのオフセット値（ＳΔ
   ／Ｗ）を記憶する手段と、 画面座標系と、スクリーン座標系のＸ−Ｙ軸からなる２
   次元直交座標系とのオフセット値（ＶΔ／Ｓ）を記憶す
   る手段と、 ワールド座標系と、アーム座標系とのオフセット値（Ａ
   Δ／Ｗ）を記憶する手段と、 リストの現在の位置・姿勢のデータ（Ｗｒｉｓｔ／Ｃ）
   を記憶する手段と、 前記物体の画像を画像メモリに格納した時点のリストの
   位置・姿勢のデータ（Ｗｒｉｓｔ／Ｍ）を記憶する手段
   と、 上記３種のオフセット値（ＳΔ／Ｗ、ＶΔ／Ｓ、ＡΔ／
   Ｗ）とデータ（Ｗｒｉｓｔ／Ｃ）とを用いて、上記画面
   座標系とスクリーン座標系のＸ−Ｙ軸からなる２次元直
   交座標系とのオフセット値（ＶΔ／Ｓ）を、リスト座標
   系に対する画面座標系のオフセット値（ＶΔ／Ｗｒｉｓ
   ｔ）に座標変換する手段（Ｍ＿１、Ｍ＿２、Ｍ＿３）と
   、 前記オフセット値（ＡΔ／Ｗ、ＳΔ／Ｗ）と、物体の画
   像を画像メモリに格納した時点のリストの位置・姿勢の
   データ（Ｗｒｉｓｔ／Ｍ）とを用いて、上記オフセット
   値（ＶΔ／Ｗｒｉｓｔ）を、更新されたオフセット値（
   ＶΔ′／Ｓ）に座標変換する手段（Ｍ＿４、Ｍ＿５、Ｍ
   ＿６）と、 を備えたことを特徴とするロボット用・物体観測装置。