JPH06134691A

JPH06134691A - 位置検出方法およびこれを用いたフレキシブル生産システム

Info

Publication number: JPH06134691A
Application number: JP28646192A
Authority: JP
Inventors: Muneyuki Sakagami; 志之坂上; Sekiyuu Ou; 錫裕王
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-10-23
Filing date: 1992-10-23
Publication date: 1994-05-17

Abstract

(57)【要約】【目的】自立性の高い生産システムを提供することを
目的とする。【構成】疑似情景生成手段２０は、作業環境デ−タ記
憶手段２９に格納されたデ−タに基づいて、視覚ロボッ
ト１５や作業ロボット１４等が設計通りの位置にあった
場合に、視覚ロボット１５により撮影されるであろう情
景を疑似的に合成する。一方、視覚ロボット１５は、作
業環境１の情景を実際に撮影する。作業環境情景理解手
段２２は、該実画像と上記疑似画像とを比較することに
より、作業ロボット１４、視覚ロボット１５等の位置・
姿勢のずれを検出する。【効果】絶対的な基準点が視覚ロボット１５に映って
いない状態でも、作業対象物等の位置・姿勢を検出修正
することができ、自立性の高い生産システムを実現でき
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、製品の組立作業を自動
化するためにコンピュータを活用する生産システムの分
野で、ティーチングレスでロボットシステムに作業を行
わせるフレキシブル生産システムの制御方法に係り、特
に、製品設計データ、加工・組立装置データ、周辺機器
データをもとにコンピュータ・グラフィックスで作成し
た擬似作業環境モデルとテレビカメラを用いた視覚装置
で得られた実作業環境とを対比して自律的に作業を行え
る機能を実現する際に必要となる位置検出法およびこれ
を用いたフレキシブル生産システムおよびその制御方法
に関する。

【０００２】

【従来の技術】従来の生産システムは均一な製品を大量
に供給するための少品種大量生産システムであった。現
在では多様な顧客ニーズに応えるために製品に対する差
別化、個性化へ価値の重点が移るようになり、製品の多
様化、多機能化、製品寿命の短命化に伴い、多品種少量
生産に対応する生産システムの開発が要求されてきてい
る。特に顧客のニーズにあった製品をタイムリーに供給
するためには、受注、設計、製造の全体システムを結ん
だ多品種少量生産に対応した柔軟性の高いフレキシブル
生産システムが要求されてきている。更に、家庭電化製
品の総組立工程は人手作業が主体であるが、季節ごとの
需要の変動に合わせて作業者数を増減することが困難な
ためこれを自動化したいとの要求が高い。

【０００３】従来の少品種大量生産方式ではロボットは
ティーチングプレイバック方式で作業を行っている。ロ
ボットの動作シーケンスはオフラインで決定することが
可能となってきているが、位置情報についてはオンライ
ンティーチングが一般的であり、ティーチング中は生産
ラインを長時間停止する必要があるとともに、ロボット
の操作に熟練した作業者も必要である。また、多くのロ
ボットを使用する場合には生産ライン全体の立ち上げに
長時間を要する。

【０００４】一方フレキシブル生産システムを実現する
ためには、作業計画部門からの指示に基づいて設備構成
を変更したり、ロボットの位置を変更する必要がある。
このためには正確な位置にロボットを持っていくのでは
なく不正確な位置にいるなりにロボットを自律的に行動
させる必要がある。この従来例として、特開平３−７３
２８４号公報に記載された方法がある。従来例による方
法は作業環境内に存在する運動物体に関する情報をロボ
ットに与えて、ロボットに的確な行動をさせることを目
的にしたものである。そのために、知識データベースと
して行動の手順やいろいろの状況に応じた動作などの知
識を格納していた。

【０００５】また、作業環境の模擬画像をリアルタイム
で表示して、実環境とシミュレーション環境とをオーバ
ーレイ表示し、シミュレーション環境モデルの位置・姿
勢が実環境のそれと違ってしまったような場合に、シミ
ュレーション環境モデルの位置・姿勢データを実環境の
それと一致するように人が簡単に修正を行えるようにす
るという従来例が特開平３−５５１９４号公報に記載さ
れている。この従来例はロボットの遠隔操作が目的であ
り、画像解析自体は人が行っていた。

【０００６】また、操作対象物の画像が操作用手先の画
像で隠れる場合でも操作対象の認識を可能とし、あるい
は操作対象物と操作用手先との相対位置関係の認識を人
が可能とする画像を表示するという従来例が特開平３−
６０９８９号公報に記載されている。この従来例も遠隔
操作が目的であり、画像解析自体は人が行っていた。

【０００７】

【発明が解決しようとする課題】上述の顧客のニーズに
あった製品をタイムリーに供給する、受注、設計、製造
の全体システムを結んだ多品種少量生産に対応した柔軟
性の高いフレキシブル生産システムを実現するために
は、生産設備の構成を変更したり、ロボットの位置を変
更しなければならない。このような条件のもとで製造す
るためには、設備全体の信頼性を高くすることが必須で
ある。このためには、作業計画通りに作業対象が所期の
位置に存在することを確認することや、所期の位置から
ずれている場合にはそのずれを知ってそのずれに対応し
た動作を行う自律性を生産システムにもたす必要があ
る。しかし、従来はこの生産システムの自律性を実現す
る手段がなかった。特開平３−７３２８４号公報に記載
の従来技術では、知識データベースにロボットの行動手
順やいろいろの状況に応じた動作などの知識を格納して
おき、作業環境内に存在する運動物体に関する情報をも
とにロボットに的確な行動をさせる方法が提案されてい
る。しかしながら、情景として捕らえた作業環境を解析
するためには、情景入力装置がどこにあればどのように
見えるかということが情景として前もってわかっていな
ければならない。従来技術では、作業対象はどう見える
とか、周辺装置はどう見えるとか、ロボットはどう見え
るとか、部分的にどこがどう見えるか具体的にわかる手
段がないので、実作業環境を解析することは困難であっ
た。

【０００８】本発明は上記のような問題点を解決し、作
業環境を解析し、ロボット等の位置の特定を行うための
位置検出およびその修正などを自動的に行うことのでき
る、自立性の高いフレキシブル生産システムを提供する
ことを目的としてなされたものである。

【０００９】また、本発明は、カメラ、対象物等の位置
検出方法およびこれを用いた位置検出装置を提供するこ
とを目的とする。

【００１０】

【課題を解決するための手段】本発明は上記目的を達成
するためになされたもので、その一態様としては、作業
環境中にある被撮影物の位置を決定する位置検出装置に
おいて、上記被撮影物を撮影する情景検出手段と、上記
情景検出手段の実際の位置を示す実デ−タと、上記被撮
影物についての設計上の位置・姿勢を示す設計デ−タと
を格納された記憶手段と、上記被撮影物が上記設計上の
位置・姿勢にあったと仮定した場合、上記情景検出手段
が撮影しているであろう画像を、上記実デ−タおよび上
記設計デ−タを用いて疑似的に作成する疑似情景作成手
段と、上記疑似的に作成した画像上における被撮影物の
各点の位置と、上記被撮影物を上記情景検出手段が実際
に撮影した画像上における当該被撮影物の上記各点と対
応する各点の位置とのずれを抽出し、該ずれの値を用い
て上記被撮影物の位置・姿勢を検出する情景理解手段
と、を有することを特徴とする位置検出装置が提供され
る。

【００１１】また、この位置検出装置と、上記位置検出
装置の検出した上記被撮影物の位置と、当該被撮影物の
設計上の位置・姿勢とを比較し、両者が一致していない
場合には、当該被撮影物の位置・姿勢と、該被撮影物の
設計上の位置・姿勢とのうち少なくとも一方を修正し、
両者を一致させる修正手段とを有することを特徴とする
フレキシブル生産システム。

【００１２】本発明の他の態様としては、作業環境中に
ある被撮影物を撮影する情景検出手段の位置検出装置に
おいて、上記被撮影物の実際の位置を示す実デ−タと、
上記情景検出手段についての設計上の位置・姿勢を示す
設計デ−タとを格納された記憶手段と、上記情景検出手
段が上記設計上の位置・姿勢にあったと仮定した場合、
該情景検出手段によって撮影されるであろうはずの画像
を、上記実デ−タおよび上記設計デ−タを用いて疑似的
に作成する疑似情景作成手段と、上記疑似的に作成した
画像上における上記被撮影物の各点の位置と、上記被撮
影物を上記情景検出手段が実際に撮影した画像上におけ
る当該被撮影物の上記各点と対応する各点の位置とのず
れを抽出し、該ずれの値を用いて上記情景検出手段の位
置・姿勢を検出する情景理解手段と、を有することを特
徴とする情景検出手段の位置検出装置が提供される。

【００１３】また、この情景検出手段の位置検出装置
と、上記情景検出手段の位置検出装置の検出した情景検
出手段の位置と、当該情景検出手段の設計上の位置・姿
勢とを比較し、両者が一致していない場合には、当該情
景検出手段の位置・姿勢と、該情景検出手段の設計上の
位置・姿勢とのうち少なくとも一方を修正し、両者を一
致させる修正手段とを有することを特徴とするフレキシ
ブル生産システムが提供される。

【００１４】本発明の他の態様としては、情景検出手段
が撮影した被撮影物毎のうち、各被撮影物毎に予め定め
られた設計上の位置・姿勢からずれている被撮影物を検
出する位置ずれ被撮影物検出装置において、上記情景検
出手段および各被撮影物について予め定められた設計上
の位置・姿勢を示す設計デ−タを格納した記憶手段と、
上記被撮影物および上記情景検出手段が上記設計上の位
置・姿勢にある場合に、該情景検出手段によって撮影さ
れるであろう画像を、上記設計デ−タを用いて疑似的に
作成する疑似画像作成手段と、該疑似的に作成した画像
上における上記被撮影物の各点の位置と、上記被撮影物
を上記情景検出手段が実際に撮影した画像上における当
該被撮影物の上記各点に対応する各点の位置とのずれを
抽出し、該ずれの値を用いて上記情景検出手段の位置・
姿勢を暫定的に決定する処理を、少なくとも３つの被撮
影物について、各被撮影物毎に実行する情景理解手段
と、各被撮影物毎に決定した情景検出手段の位置間の一
致性を判定し、他の暫定位置との一致性の小さい暫定位
置に対応した被撮影物は、上記設計上の位置・姿勢から
のずれが大きいと判定する機能を有する判定手段と、を
有すること特徴とする位置ずれ被撮影物の検出装置が提
供される。

【００１５】

【作用】自律的なフレキシブル生産システムでは、作業
計画通りに作業がなされているかまた次の作業が予定通
りに行えるかを各作業ごとに確認する必要がある。その
ためには、まず、情景入力センサによって得られる２次
元的な映像から、作業対象物の３次元的な位置および姿
勢を検出することが必要となる。また、情景入力センサ
によって、常に、確認したい作業点等を見るためには、
必要に応じて情景入力センサの位置を適切な位置に変更
し、いわゆる”のぞき込み”動作を行う必要がある。そ
して、そのためには、該情景入力センサの位置を正確に
検出・修正することが必要となる。この場合、特定の基
準点を設け常に該基準点を用いて位置を検出することは
できない。なぜならば、該情景入力センサは、必要に応
じて移動等するものだからである。

【００１６】そこで、本発明は以下において述べる手法
によって、情景入力センサ、対象物の実際の位置・姿勢
の検出および修正を行っている。

【００１７】まず、概要を説明する。

【００１８】情景入力センサが作業計画で指定された位
置に指定された方向を向いているときに、作業計画通り
の場合には作業環境がどのように見えるかを設計データ
と作業計画データをもとにコンピュータグラフィックス
で疑似作業環境画面として生成する。

【００１９】続いて、疑似作業環境画面内で、色やエッ
ジなどの期待される特徴点の候補を選択し、実作業環境
内に対応する特徴点を探す。生産現場においては、作業
環境は既知である。また生産ライン等の製造設備も既知
のものが多い。したがって、常時画像処理容易な基準と
なる特徴点を用意しておくことが可能である。

【００２０】ズーム機能付きの情景入力センサを広角に
して情景を取り込めばそれらの特徴点の何個かを識別で
きる。この空間座標既知な特徴点の疑似作業環境画面位
置と情景入力センサの取り込んだ実作業環境画面位置と
の差異から情景入力センサの空間内の粗位置を決定でき
る。また、必要に応じて、ズーム機能を拡大にした情景
入力センサで情景を取り込めば精密な三次元空間位置を
決定できる。

【００２１】最後に実作業環境画面と疑似作業画面を重
ね合わせて、一致するかどうか確認する。全情景が一致
して、作業計画と異なるところがなければ作業計画通り
に作業が行われていることになる。一方異なるところが
あれば、どの部分が異なるのかを設計データや作業計画
データをもとに一部品毎または部組品毎にパターンマッ
チング処理して調べ、作業対象や周辺装置の位置姿勢が
異なる場合にはデータベースの中の該当するデータを変
更したり、作業ロボットの位置姿勢のみ異なる場合には
作業ロボットの位置姿勢を変更する。また、情景全体や
作業ロボットの背景がずれていた場合は情景入力装置の
位置や方向を変更し、実作業環境の情景がコンピュータ
グラフィックスの情景と一致するように、作業計画通り
の作業を行う。

【００２２】次に、情景入力センサによって得られる２
次元的な映像に基づいて、該映像を撮影している情景入
力センサ（ビデオカメラ）自身や、撮影されている作業
対象物の３次元的な位置・姿勢を検出する方法ついて詳
細に説明する。

【００２３】本発明においては、予め与えられた位置デ
−タ等から作成される疑似作業環境画面と、情景入力セ
ンサによって得られる実作業環境画面位置との差異から
三次元空間上における位置および姿勢を決定している。

【００２４】まず、これ以降の説明の前提となる、作業
環境のモデルを図４に示した。ここでは、簡単のために
ロボットやワークを長方体と見なし、単に”対象物”と
呼ぶことにする。この作業環境内には情景入力センサと
して一台のビデオカメラ（つまり、情景入力センサ）を
装備した自走ロボットと、四つの対象物とがある。ビデ
オカメラは対象物が見える位置・姿勢に設定しておく。

【００２５】作業環境内には、各個別の対象物とは独立
した、静止座標系が設けられている。この静止座標系を
導入したのは、単に、座標変換などの処理を容易にする
ためである。ビデオカメラは、独自の視覚座標系を有し
ている。また、４つの対象物も、それぞれ独立した対象
物座標系を持っており、各対象物の特徴点（例えば頂
点）の座標は、対象物座標系上において定義されてい
る。その一方で、物体についての座標系（つまり、視覚
座標系、対象物座標系。これ以降、視覚座標系、対象物
座標系を総称して、”ロ−カル座標系”という場合があ
る。）自体の原点は、静止座標系上において定義される
のが一般的である。このように、対象物座標系の原点を
静止座標系上において定義する一方で、対象物の頂点な
どの座標は、対象物座標系上において定義したことによ
り、”対象物”の動きを、単に、静止座標系上におい
て”対象物座標系”の動きとして、とらえることができ
る。これによって、（対象物座標系において定義され
た）対象物上の頂点の座標は全く変化せず、演算処理を
単純化することができる。これら各座標系間の関係を図
５に示した。図中、点Ｓが静止座標系の原点、点Ｃが視
覚座標系の原点、点Ｐが対象物座標系の原点である。

【００２６】また、三次元空間上（この場合、静止座標
系上）において、ロ−カル座標系（つまり、対象物座標
系、視覚座標系）の位置・姿勢を特定するためには、６
個のパラメータを必要とする。つまり、位置のパラメー
タとして、各ロ−カル座標系の原点の静止座標系上にお
ける位置（ｘ，ｙ，ｚ）が、また、姿勢のパラメータと
して静止座標系のｘ，ｙ，ｚ軸まわりの、各ロ−カル座
標系の回転角度θx，θy，θzが必要となる。従って、
これ以降においては、静止座標系上における視覚座標系
の原点Ｃの位置を（Ｃx，Ｃy，Ｃz）として、また、静
止座標系のｘ軸、ｙ軸、ｚ軸周りにおける視覚座標系の
姿勢をθ1、θ2、θ3、として示す。同様に、静止座標
系上における対象物座標系の原点Ｐの位置を（Ｐx，Ｐ
y，Ｐz）として、また、静止座標系のｘ軸、ｙ軸、ｚ軸
周りにおける視覚座標系の姿勢をθα、θβ、θγとし
て示す。

【００２７】疑似作業環境画面の作成について説明す
る。

【００２８】該疑似作業環境画面の作成は、予め与えら
れた３次元的デ−タ（対象物の形状や特徴点、また、該
対象物の置かれているべき位置および姿勢等、に関する
デ−タ）のすべてを、一旦、静止座標系に変換し（注：
静止座標系に限定されるものではなく、いずれかの一つ
の座標系に変換すればよい。）、その後、改めてこれを
視覚座標系上に変換し、さらに（ビデオカメラにより撮
影される画面に相当する）２次元画面へ変換することに
より行われる。

【００２９】上記視覚座標系上で定義されている座標を
静止座標系へ変換するにはまず、（Ｃx，Ｃy，Ｃz）だ
け平行移動を行い、その後、静止座標系のｙ軸、ｘ軸、
ｚ軸について、それぞれ、θ2、θ1、θ3、だけ回転さ
せればよい。対象物座標座標系上で定義されている座標
を静止座標系へ変換する場合にも同様に、まず、（Ｐ
x，Ｐy，Ｐz）だけ平行移動を行い、その後、静止座標
系のｙ軸、ｘ軸、ｚ軸について、それぞれ、θβ、θ
α、θγだけ回転させればよい。

【００３０】この処理を数式化して示したのが数１、数
２である。なお、ここでは簡単のために，ｓｉｎθiを
ｓi，ｃｏｓθiをｃiで表わすことにする。

【００３１】視覚座標系上の点を静止座標系上に変換す
る座標変換行列ＴCSは、

【００３２】

【数１】

【００３３】と表せる。該式中のＴransは平行移動変換
行列である。また、Ｒotは回転移動変換行列であり、Ｒ
ot（ｙ，θ2）はｙ軸回りにθ2回転することを意味す
る。

【００３４】同様に，静止座標系に対する対象物座標系
上の点を静止座標系上に変換する座標変換行列ＴPSは、

【００３５】

【数２】

【００３６】と表せる。

【００３７】したがって，静止座標系上の任意の点Ｅ
（Ｅx，Ｅy，Ｅz，１）を、視覚座標系上に変換した場
合の座標ＥCは

【００３８】

【数３】

【００３９】となる。

【００４０】同様に，対象物座標系上の任意点の位置ベ
クトルＯ（ＯXp，ＯYp，ＯZp，１）を、視覚座標系上に
変換した場合の座標ＯCは

【００４１】

【数４】

【００４２】と表せる。

【００４３】上記数１〜数４の変換式を用いて視覚座標
系上に集められた座標デ−タは、上述したとおり（ビデ
オカメラにより撮影される画面に相当する）２次元画面
へ変換される。ここでは、視覚座標系上の任意の点ＥC
を該２次元画面上に変換する場合の画面位置座標の求め
方について説明する。

【００４４】視覚座標系上における任意点ＥCは、図６
に示すとおり、レンズを介して撮像面の点Ｇに結像す
る。なお、視覚座標系は、その原点がレンズの中心に位
置するように設定される。該図中の点１と点２は、視覚
座標系のｚC軸に垂直な平面内にある。また、点３と点
４も、同様に、視覚座標系のｚC軸に垂直な平面内にあ
る。従って、点０，点１，点２の形成する三角形と、点
０，点３，点４のなす三角形とは、相似である。従っ
て、撮像面上の点Ｇは、

【００４５】

【数５】

【００４６】として求まる。ここでｚｍはズームの倍率
に比例した係数であり，以降，これを”ズーム倍率係
数”と呼ぶことにする。

【００４７】同様に，対象物座標系上の任意の点Ｏの画
面上の点Ｇｐは、

【００４８】

【数６】

【００４９】として求まる。

【００５０】上述の関係式（数１〜数６）を用いれば，
設計データをもとに対象物がビデオカメラでどう見える
かを計算できる。なお、同じ画面位置に複数のものがあ
る場合には、ＯZcで表す距離情報に基づいてビデオカメ
ラとの距離を判定し、手前側に位置するもののみを表示
することができる。このようにして疑似作業環境画面を
生成することができる。

【００５１】次に，ビデオカメラが実際の作業環境を撮
影することによって得た二次元画面位置情報を用いて、
三次元空間位置情報を求める方法について説明する。

【００５２】該三次元空間位置情報は、上記処理によっ
て得た疑似作業環境画面と、ビデオカメラによって実際
に撮影して得た作業画面とを比較し、両画面間のずれ”
を抽出することによって得ることができる。この場合、
検出された両画面の”ずれ”を、ビデオカメラ自体の位
置・姿勢のずれとして抽出する場合と、撮影された対象
物等の位置・姿勢のずれとして抽出する場合とで、処理
内容等が異なる。そのため、以下においては、両処理を
分けて説明を行う。

【００５３】まず、最初に、ビデオカメラ自体の位置・
姿勢のずれとして扱う場合の処理について説明する。こ
の場合には、対象物の実際の位置・姿勢が予めわかって
いることを前提とする。また、疑似作業画面としては、
上記ビデオカメラが予め定められた設計どおりの位置・
姿勢にあった場合、該ビデオカメラの画面上においてこ
の対象物がどのように見えているかを示す画像を作成す
る。そして、該画像と、実画面とを比較することによっ
てビデオカメラの位置・姿勢を決定する。なお、該比較
処理は、実際には以下のような数学的な演算を行うこと
によってなされる。

【００５４】数３、数５からわかるように、数５のＧの
成分ＧｘとＧｙは、静止座標系上における、視覚座標系
の原点Ｃの位置（Ｃx，Ｃy，Ｃz）、と、姿勢θ1，θ
2，θ3、ズーム倍率係数ｚｍの７つのパラメータで表わ
すことができる。

【００５５】静止座標系上において、視覚座標系（つま
り、ビデオカメラ）を移動した場合、ビデオカメラの実
際の位置（Ｃj′_(j'=x,y,z)，θi′_(i'=1,2,3)，ｚ
ｍ′）と、設計位置（Ｃj_(j=x,y,z)，θi_(i=1,2,3)，ｚ
ｍ）との間に、ずれ（△Ｃj_(j=x, _y, _z)，△θ
i_(i=1,2,3)，△ｚｍ）が生じていたとする。この時、パ
ラメータの実際の値Ｃj′_(j'=x,y,z)，θ
i′_(i'=1,2,3)，ｚｍ′の間には、

【００５６】

【数７】

【００５７】の関係が成り立っている。この時，画面上
に写る点Ｇ′の位置は、

【００５８】

【数８】

【００５９】となる。ここで，ΔＧｘ，ΔＧｙは実位置
と設計位置の差で生じた画面上の位置差である。パラメ
ータの誤差ΔＣj_(j=x,y,z)，Δθi_(i=1,2,3)，Δｚｍが
十分に小さい時には位置差ΔＧは

【００６０】

【数９】

【００６１】と表すことができる。ここで，例えばΔＧ
ｘの第一項は数５より、

【００６２】

【数１０】

【００６３】と表せる。また、該数１０に含まれてい
る、δＥXc／δＣｘ，δＥZc／δＣｘは、数３，数１よ
り

【００６４】

【数１１】

【００６５】と求まる。他の項についても同様にして求
まる。

【００６６】数９より，一つの特徴点で２つの関係式が
成り立つ。ｎ個の特徴点の画面位置差ΔＧnを

【００６７】

【数１２】

【００６８】と書くことにする。ここで，ΔＧn，Ｘ，
Ｒnは、特徴点の画面位置差行列，パラメータ誤差行列
及び偏微分係数行列で、それぞれ下記数１３〜数１５で
示されるものである。

【００６９】

【数１３】

【００７０】

【数１４】

【００７１】

【数１５】

【００７２】である。ところで，数１３のΔＧnは疑似
画像と実画像との特徴点の画面位置差から求まる。ま
た，設計データを数１５に代入すれば偏微分係数行列Ｒ
nも計算できる。したがって、数１３よりパラメータ誤
差Ｘは次式で求まる。

【００７３】

【数１６】

【００７４】これは疑似逆行列を用いて最小２乗法で連
立方程式を解いたことになり，特徴点の数が多いほど精
度が高くなる。逆に，最低４点の特徴点があれば，（Ｒ
nT・Ｒn）-1が計算でき，パラメータ誤差Ｘを求めるこ
とができる。なお、ＲnTはＲnの転置行列である。

【００７５】ところで，数１２はパラメータ誤差が十分
に小さいとしたときの近似式であり，数１６はその近似
式の解である。実際の解はこの近似解を数７に代入し設
計値を更新し、これを数１５に代入し，数１６を求め直
す繰り返し演算をし，ある範囲内に収束させる方法で求
める。この演算により、静止座標系上における視覚座標
系（ビデオカメラ）の位置と姿勢、ズーム倍率係数を決
定できる。以降これを単に”ビデオカメラ位置決定法”
と呼ぶことにする。

【００７６】作業画面と、疑似作業画面との間のずれ
を、対象物の位置・姿勢のずれとして扱う場合の処理に
ついて説明する。この場合には、ビデオカメラの実際の
位置・姿勢が予めわかっていることを前提とする。ま
た、疑似作業画面としては、上記対象物が予め定められ
た設計どおりの位置・姿勢にあった場合、該ビデオカメ
ラの画面上においてこの対象物がどのように見えている
かを示す画像を作成する。そして、該画像と、実画面と
を比較することによって対象物の位置・姿勢を決定す
る。なお、該比較処理は、実際には以下のような数学的
な演算を行うことによってなされる。

【００７７】数６のＧｐの成分ＧｐｘとＧｐｙは、静止
座標系上における、対象物座標系の原点Ｐの位置（Ｐ
x，Ｐy，Ｐz）と、姿勢θα，θβ，θγ，及びビデオ
カメラのズ−ム倍率係数ｚｍの７つのパラメータで表す
ことができる。

【００７８】静止座標系上において、対象物座標系（つ
まり、対象物）を移動した場合、対象物の実際の位置
（Ｐj′(ｊ’＝ｘ，ｙ，ｚ），θi′（ｉ’＝α，β，
γ），ｚｍ′）と、設計位置（Ｐj（ｊ＝ｘ，ｙ，
ｚ），θi（ｉ＝α，β，γ），ｚｍ）との間に、ずれ
（△Ｐj（ｊ＝ｘ，ｙ，ｚ），△θi（ｉ＝α，β，
γ），△ｚｍ）が生じていたとする。すると、疑似作業
環境画面と、実際に撮影した画面との間には、該ずれに
相当する差が生じる。そこで、ビデオカメラ位置決定方
法と同様に、この画面位置差と偏微分係数行列からパラ
メータ誤差を求めれば、静止座標系上における対象物の
実際の位置、姿勢、ズーム倍率係数を決定できる。以降
これを単に”対象物位置決定法”と呼ぶことにする。

【００７９】ビデオカメラ位置決定法と対象物位置決定
法との違いは、上述したとおり、前者が画面内にある複
数の対象物の特徴点情報に基づいて自己（ビデオカメ
ラ）の位置を決定するものであるのにたいし、後者は、
該特徴点情報に基づいて対象物そのものの位置姿勢を決
定する点である。

【００８０】ここまでの説明において述べてきた、対象
物位置決定法は、その原理上、ビデオカメラの実際の位
置・姿勢が正確にわかっていることが前提となる。正確
な位置がわかっていなければ、実際のビデオカメラとは
異なる視点から見た疑似画像を作成することになり、そ
の結果、対象物位置決定の精度が悪くなってしまうから
である。同様の理由から、ビデオカメラ位置決定法も、
対象物位置の実際の位置・姿勢が正確にわかっているこ
とが前提になる。つまり、両者は、互いに依存しあって
おり、ビデオカメラと、すべての対象物とのうち、どち
らかの実際の位置があらかじめ正確にわかっていなけれ
ば、正確な位置検出等は行うことができない。しかし、
移動するロボットのアームにビデオカメラが設置されて
いるような場合には、ビデオカメラと対象物の何個かが
同時に設計位置からずれていることが予想される。従っ
て、上記対象物位置決定法等の適用は、特定の状況（例
えば、ビデオカメラが固定されているような場合）に限
られるという問題が残っている。そこで、本願発明者
は、この問題についても、以下において述べる２種類の
手法によって実用上問題がない程度にまで解決してい
る。

【００８１】まず、本発明の第１の手法の概要を説明す
る。

【００８２】最初に、複数の対象物を用いて、暫定的
に、ビデオカメラの位置を決定する。そして、これらの
対象物のうち位置ズレしているものを捜し出す。その
後、設計位置通りの位置にあった対象物の特徴点情報を
用いて、改めて、ビデオカメラの位置を再決定する。さ
らに、この後、今度はビデオカメラの再決定された位置
で、位置ズレしている対象物の位置姿勢を決定する。

【００８３】以下、図７を用いて該手法を詳しく説明す
る。この場合、初期状態において、対象物Ｐ０〜Ｐ２
は、設計位置通りの正しい位置にあるが、対象物Ｐ３お
よびビデオカメラは、設計位置からズレているものとす
る。

【００８４】［ステップａ１］対象物Ｐ０〜Ｐ３と、ビ
デオカメラとのすべてが、設計位置にあった場合に見え
るであろう画面を、予め有する設計デ−タを用いて疑似
的に作成する。

【００８５】そして、該疑似画像と、実際にビデオカメ
ラによって撮影された画像とを用いて、ビデオカメラ位
置決定法によって（注：この場合、対象物Ｐ０〜Ｐ３の
位置・姿勢は、すべて正しい位置にあるものとみなして
行うことになる。）、ビデオカメラの位置および姿勢
（つまり、静止座標系上における、視覚座標系の原点の
位置、および視覚座標系の姿勢）を求める。以下、ここ
で求めたビデオカメラの位置および姿勢”を、単に”推
定カメラ位置”という。しかし、位置ずれしている対象
物Ｐ３の特徴点情報をも用いているため、ここで求めた
ビデオカメラの位置・姿勢（つまり、推定カメラ位置）
は、静止座標系上における実際の位置とは一致していな
い。

【００８６】［ステップａ２］続いて、ステップａ１で
求めた推定カメラ位置にビデオカメラがあり、かつ対象
物が設計位置にあった場合に、見えるであろう画面を、
予め有する設計デ−タを用いて疑似的に作成する。そし
て、該疑似画像と、実際にビデオカメラによって撮影さ
れた画像とを用いて、対象物位置決定法により（注：こ
の場合、上記推定カメラ位置に、実際にビデオカメラが
あるものとみなして行うことになる。）、静止座標系上
における各対象物Ｐ０〜Ｐ３の位置および姿勢（つま
り、静止座標系上における、各対象物座標系の原点の位
置、および各対象物座標系の姿勢）を暫定的に決定す
る。以下、ここで求めた対象物の位置および姿勢を、単
に”推定対象物位置”という。

【００８７】しかし、このようにして得た推定対象物位
置が、静止座標系上における対象物Ｐ０〜Ｐ３の実際の
位置・姿勢と一致しているとは限らない。対象物位置決
定法を行う際に仮定した、推定カメラ位置と、ビデオカ
メラの実際の位置との一致が、本当に成立しているとは
限らないからである。

【００８８】［ステップａ３］静止座標系上の三次元空
間上において、対象物を上記推定対象物位置に、ビデオ
カメラを推定カメラ位置に設定する（注：該設定は、疑
似的に行うものであり、ビデオカメラ、対象物などを実
際に設置するものではない。）。そして、この後、上記
対象物を設計位置にまで（疑似的に）移動させる。この
場合、該対象物の移動と共に、上記推定対象物位置と推
定カメラ位置との間に成り立っていた相対的な位置関係
を保ったまま、ビデオカメラも（疑似的に）移動し、対
象物が上記設計位置にあるときの、ビデオカメラの位置
・姿勢を求める。これ以降、ここで求めたビデオカメラ
の位置を”第２次推定カメラ位置”という。そして、こ
の第２次推定カメラ位置の算出を各対象物毎に行う。

【００８９】この処理を実際行う場合の具体的な演算処
理の内容を説明する。

【００９０】上述のステップａ１で得た推定カメラ位置
をＣ_2x，Ｃ_2y，Ｃ_2z，θ₂₁，θ₂₂，θ₂₃、とすると、視
覚座標系上で定義されている座標を、静止座標系へ座標
変換するための行列は、数１より、下記数１７のように
表すことができる。

【００９１】

【数１７】

【００９２】また、ステップａ２で得た、対象物Ｐ₀に
ついての推定対象物位置をＰ_0x，Ｐ₀ _y，Ｐ_0z，θ₀α，
θ₀β，θ₀γ、とすると、対象物座標系上で定義されて
いる座標を、静止座標系へ座標変換するための行列は、
数２より、下記数１８のように表すことができる。

【００９３】

【数１８】

【００９４】対象物Ｐ₀上の特徴点列Ｘｎを、視覚座標
系上に変換したものをＹｎとすると、Ｙｎは、数１９の
ように表される。

【００９５】

【数１９】

【００９６】一方、対象物Ｐ₀が設計位置にあった場合
の位置・姿勢（つまり、対象物Ｐ₀の設計位置）を、Ｐ
_t0x，Ｐ_t0y，Ｐ_t0z，θ_t0α，θ_t0β，θ_t0γとする
と、静止座標系への座標変換行列は、数２より、下記数
２０のように表すことができる。

【００９７】

【数２０】

【００９８】ここでもし、ビデオカメラの実際の位置・
姿勢が、Ｃ_3x，Ｃ_3y，Ｃ_3z，θ₃₁，θ₃₂，θ₃₃であった
とする。また、この視覚座標系上で定義されている座標
を、静止座標系へ座標変換するための行列は、下記数２
１のように表すことができる。

【００９９】

【数２１】

【０１００】対象物Ｐ₀上の特徴点列Ｘｎを、実際の視
覚座標系上に変換したものをＹｎ’とすると、Ｙｎ’
は、数２２のように表される。

【０１０１】

【数２２】

【０１０２】ここで、この時，画面に全く同じ情景が写
っていると、つまり、Ｙｎ＝Ｙｎ’と考えると、下記数
２３の関係が成り立つはずである。

【０１０３】

【数２３】

【０１０４】従って、数２４の関係が成り立つ。

【０１０５】

【数２４】

【０１０６】今、Ｃ_2x，Ｃ_2y，Ｃ_2z，θ₂₁，θ₂₂，
θ₂₃、Ｐ_0x，Ｐ_0y，Ｐ_0z，θ₀α，θ₀β，θ₀γ、
Ｐ_t0x，Ｐ_t0y，Ｐ_t0z，θ_t0α，θ_t0β，θ_t0γ、は既
知であるから、数１９、数２０、数２２は、一意に求ま
る。そして、この結果と、数２４とを用いれば数２１
は、下記数２５、数２６のように求めることができる。

【０１０７】

【数２５】

【０１０８】

【数２６】

【０１０９】［ステップａ４］各対象物について求めた
第２次推定カメラ位置間の距離を算出する。

【０１１０】［ステップａ５)］ここで各々の対象物毎
に求めた第２次推定カメラ位置の一致性をみれば、いず
れの対象物の位置がずれているかを判断することができ
る。すなわち、実際の位置と設計位置とが一致している
対象物Ｐ０〜Ｐ２を用いて算出した第２次推定カメラ位
置は、すべて一致するはずである。一方、設計位置から
ずれた位置にある対象物Ｐ３を用いて算出した第２次推
定カメラ位置は、他と一致しないはずである。従って、
量子化誤差の許容範囲外の距離を持つ対象物を判別すれ
ば、設計位置にない対象物を割り出すことができる。

【０１１１】［ステップａ６］実際に設計位置上にある
ことが判明した対象物Ｐ０〜Ｐ２の特徴点情報を用い
て、改めて、正確にビデオカメラの位置を決定する。

【０１１２】［ステップａ７］ステップａ６で決定され
た正確なビデオカメラの位置を用いて、許容範囲外にあ
った対象物Ｐ３の位置および姿勢を決定する。

【０１１３】この手順で設計位置にない対象物とビデオ
カメラの位置を精度高く決定できる。次に第２の手法
を説明する。

【０１１４】該手法においては、各対象物毎に、ビデオ
カメラ位置決定法を適用しビデオカメラの位置を決定す
る（以下、ここで求めたビデオカメラの位置を”暫定位
置”という。）。

【０１１５】そして、この後は、上記第１の手法のステ
ップ（ａ５）〜ステップ（ａ７）と同様の処理を行う。
つまり、ここで求めた各対象物毎の各暫定位置の一致性
を見ることによって、設計位置にない対象物を判別する
ことができる。なお、この場合の一致性の判断の手法と
しては、上記ステップａ４，ａ５で示した方法に限定さ
れるものではない。

【０１１６】なお、上記第１の手法、第２の手法とも、
対象物を３つ以上使用することが、その原理上必要であ
る。これは、対象物が一つでは比較する相手がなく、ま
た、対象物が２つでは、どちらが正確であるかを判定で
きないからである。

【０１１７】また、上述の説明中、各所において疑似画
像を作成する旨を述べてきたが、これは概念的な意味で
述べたものであって、必ずしも実際に”画像”とする必
要はない。

【０１１８】

【実施例】以下、本発明の一実施例であるフレキシブル
生産システムを説明する。

【０１１９】本実施例のフレキシブル生産システムは、
図１に示すとおり、周辺装置１３と、作業ロボット１４
と、視覚ロボット１５と、組立ステーション制御装置２
と設計データ記憶装置３と、作業計画データ記憶装置４
とから主に構成される。そして、組立てステ−ション制
御装置２は、作業環境データベース構築手段２８と、作
業環境データ記憶手段２９と、擬似作業環境情景生成手
段２０と、画像処理手段２１と、作業環境情景理解手段
２２と、動作指令生成手段２６と、視覚ロボット制御手
段２５と、作業ロボット制御手段２４と、周辺装置制御
手段２３とを含んで構成されている。

【０１２０】作業環境１には、作業対象１２、周辺装置
１３、作業ロボット１４、視覚ロボット１５、その他構
造物等が存在している。

【０１２１】周辺装置１３は、作業環境１の中で作業対
象１２を支持・搬送等するものである。

【０１２２】作業ロボット１４は、作業対象１２に働き
かける手先効果器（いわゆる、ロボットのア−ム、ハン
ド、その他加工器具等）を有し、これを用いて組立て等
を行う。また、該作業ロボット１４自身も移動可能に構
成されている。

【０１２３】視覚ロボット１５は、作業環境１を画像デ
−タとして取り込むための情景入力センサを有し、作業
ロボット１４と同様に移動可能に構成されている。な
お、情景入力センサとしては、通常は、ビデオカメラが
使用される（以下、情景入力センサのことを、具体的
に”ビデオカメラ”、”カメラ”等という場合があ
る。）。なお、特許請求の範囲においていう”被撮影
物”とは、作業対象１２、周辺装置１３、作業ロボット
１４のすべてを含む概念である。

【０１２４】設計データ記憶装置３は、製品、ロボット
等の形状、大きさ、特徴点等に関する情報、つまり、製
品設計データ、ロボット設計データ、周辺機器設計デー
タを格納している。

【０１２５】作業計画データ記憶装置４は、作業手順デ
ータ、作業工程データ、動作経路データ、作業対象１
２、作業ロボット１４、視覚ロボット１５、周辺装置１
３等の配置データや移動経路データを格納している。

【０１２６】組立てステ−ション制御装置２について説
明する。

【０１２７】作業環境データベース構築手段２８は、設
計データ記憶装置３や作業計画データ記憶装置４に格納
された情報と、作業環境情景理解手段２２でえられた情
報から作業環境に関するデータベ−スを構築するもので
ある。そして、ここで構築したデ−タは、作業環境デー
タ記憶手段２９に格納される構成となっている。

【０１２８】擬似作業環境情景生成手段２０は、作業環
境データ記憶手段２９に格納されたデータを用いて、作
業環境情景を疑似的に生成する機能を有する。なお、こ
れ以降の説明においては、このようにデ−タに基づい
て、疑似的に生成された作業環境を”疑似情景”あるい
は”疑似画像”という。

【０１２９】画像処理手段２１は、視覚ロボット１５の
有する情景入力センサで得た画像デ−タを処理し、作業
環境情景理解手段２２に出力する機能を有する。なお、
これ以降の説明においては、情景入力センサを通じて得
た実際の作業環境の画像を”実情景”あるいは”実画
像”という。

【０１３０】作業環境情景理解手段２２は、擬似作業環
境情景生成手段２０が生成した擬似情景と、視覚ロボッ
ト１５等により得た実情景とを比較する等して、作業対
象等の位置・姿勢のずれを検出する機能を有するもので
ある。また、その他の画像処理も該作業環境情景理解手
段２２が行う。なお、特許請求の範囲においていう”情
景理解手段”および”判定手段”はともに、該作業環境
情景理解手段２２に該当するものである。

【０１３１】動作指令生成手段２６は、作業環境情景理
解手段２２で得た情報に基づいて、動作指令を生成する
機能を有する。

【０１３２】周辺装置制御手段２３、作業ロボット制御
手段２４、視覚ロボット制御手段２５、は、該動作指令
生成手段２６の出力する動作指令に基づいて、おのおの
周辺装置１３、作業ロボット１４、視覚ロボット１５、
を制御するものである。

【０１３３】組立てステ−ション制御装置２を実現する
ためのハ−ドドウエア構成を図２を用いて説明する。

【０１３４】組立てステ−ション制御装置２は、システ
ムバス１０１、バス制御装置１０２、中央処理装置１０
３ａ、主記憶装置１０３ｂ、磁気ディスク装置１０４、
キーボード１０５、ディスプレイ１０６、画像生成装置
１０７、画像処理装置１０８、テレビカメラ１０９、ズ
ームモータ・フォーカスモータ・アイリスモータ制御装
置１１０、ズームモータ・フォーカスモータ・アイリス
モータ付きのレンズシステム１１１、モータ１１６、パ
ルスジェネレータ１１３、カウンタ１１２、モータ駆動
装置１１５、ＤＡ変換機（デジタル・アナログ変換機）
１１４、ＡＤ変換機（アナログ・デジタル変換機）１１
７、センサ１１８、ネットワーク１１９である。これら
各々の詳細については、通常使用されているものと同じ
であるため特に説明は行わない。

【０１３５】図１に示した作業環境デ−タべ−ス構築手
段２８、作業環境デ−タ記憶手段２９、作業環境情景理
解手段２２、周辺装置制御手段２３、作業ロボット制御
手段２４、視覚ロボット制御手段２５、動作指令生成手
段２６は、中央処理装置１０３ａおよびその主記憶装置
１０３ｂ、磁気ディスク装置１０４により主に実現され
るものである。疑似作業環境情景生成手段２０は、画像
生成装置１０７により主に実現されるものである。ま
た、画像処理手段２１は、画像処理装置１０８によって
主に実現されるものである。但し、各部は単独でこれら
の機能を有しているのではなく、他と密接に連携しつつ
これら機能を達成しているため、ここで挙げた対応関係
は必ずしも厳密なものではない。

【０１３６】なお、設計デ−タ記憶装置３および作業計
画デ−タ記憶装置４とは、ネットワ−ク１１９を介して
デ−タの授受を行っている。また、ここで挙げたテレビ
カメラ１０９、レンズシステム１１１は、組立てステ−
ション制御装置２ではなく視覚ロボット１５に搭載され
るものである。モ−タ１１６についても、同様に、周辺
装置１３、作業ロボット１４等に搭載され、これらを駆
動するものである。

【０１３７】これ以下の説明において前提となる作業環
境１の一例を図３に示した。

【０１３８】テーブル形ロボット３０１ａ，ｂは、作業
対象１２を載置するためのものである。該テ−ブル型ロ
ボット３０１ａ，ｂは、必要に応じて自走し移動する構
成となっている。

【０１３９】アーム形ロボット３０２ａ〜ｃは、その動
きを自在に制御可能なア−ムを有している。そして、該
ア−ムの先端部には、作業対象物に対してなんらかの操
作・加工を行うための手先効果器３０２１ａ，ｂや、テ
レビカメラ３０２２（注：該テレビカメラ３０２２が、
図２のテレビカメラ１０９、レンズシステム１１１に該
当するものである。）が設けられている。該ア−ム型ロ
ボット３０２等もテ−ブル型ロボットと同様に、必要に
応じて自走し移動する構成となっている。

【０１４０】なお、手先効果器３０２１を有するア−ム
型ロボット３０２ａ，ｂが図１の作業ロボット１４に該
当するものである。また、テレビカメラ３０２２を有す
るア−ム型ロボット３０２ｃが図１の視覚ロボット１５
に該当する。

【０１４１】ワ−ク搬送ロボット３０３は、作業対象１
２を載せて、各工程間を移動するためのものである。

【０１４２】次に動作について説明する。

【０１４３】フレキシブル生産システムでは、製品の設
計情報及び製品の種類、数量に合わせて設備構成をダイ
ナミックに変更し、作業計画通りに作業計画部署からの
オンライン指令にしたがって加工、組立を行なう。各工
程において、作業ロボット１４等は、動作指令生成手段
２６が生成した動作指令に従って、作業ロボット制御手
段２４等により制御される。図２に即して具体的に述べ
ると、中央処理装置１０３ａが動作指令（デジタル信
号）を生成する。該動作指令（デジタル信号）は、シス
テムバス１０１を介してＤ／Ａ変換器１１４に送られ、
ここでアナログ信号に変換され、その後、モータ駆動装
置１１５へ送られる。モータ駆動装置１１５は、該動作
指令（アナログ信号）に従って、モ−タ１１６を動か
し、各作業ロボット３０１，３０２等を作動させる。ま
た、カウンタ１１２、パルスジェネレ−タ１１３も同様
にロボットの制御に使用される。これにより、例えば、
アーム形ロボット３０２ａ，ｂは手先効果器３０２１
ａ，ｂを用いて、テーブル形ロボット３０１ｂ上に載置
された作業対象１２の組立て等を行う。この間、テレビ
カメラ３０２２を保持したアーム形ロボット３０２ｃ
は、この組立作業を監視している。なお、該作業に際し
て必要となる、組立対象の部品の形状や大きさを示すデ
−タは磁気ディスク１０４に格納されているものを使用
する。また、同様に、各ロボット３０１，３０２、手先
効果器３０２１等への動作指令（例えば、移動経路、配
置、組立作業手順データ、作業工程データ）も磁気ディ
スク１０４に格納されているものを使用する。

【０１４４】このような動作に際しては誤差が生じる
（注：同じ部品であっても、途中の機械加工工程におけ
るバラツキなどにより各個体毎に差がある。従って、組
付けられる部品点数が多いほど位置ずれの程度は大きく
なりがちである。）が、本実施例においてはロボット等
の位置・姿勢を、視覚ロボット１５により監視すること
により、その位置・姿勢を修正している。以下、該位置
・姿勢の監視およびその修正の手順について述べる。

【０１４５】まず、作業環境データベース構築手段２８
は、設計デ−タ記憶装置３、作業計画デ−タ記憶装置４
に格納されているデ−タのうち、作業環境を解析するの
に必要なデータを”作業環境データ”として読み出し
て、作業環境デ−タ記憶手段２９（図２の例では、磁気
ディスク１０４）に登録する。

【０１４６】疑似作業環境情景生成手段２０は作業環境
デ−タ記憶手段２９に格納された作業環境デ−タに基づ
いて、作業ロボット１４等が該作業環境デ−タ通りの位
置・姿勢にあった場合視覚ロボット１５が捕らえるであ
ろう情景を、疑似的に生成する。図２に即して具体的に
述べると、中央処理装置１０３ａ、主記憶装置１０３
ｂ、画像生成装置１０７は、磁気ディスク１０４に格納
されている作業環境デ−タを用いて疑似情景を生成す
る。そして、該疑似情景を作業環境情景理解手段２２に
出力する。なお、この疑似情景の生成処理については作
用の欄において既に詳述したため、ここでは説明しな
い。

【０１４７】一方、画像処理手段２１は、視覚ロボット
１５の撮影した画像に所定の処理を行った後、実情景と
して作業環境情景理解手段２２に出力する。図２に即し
て具体的に述べると、画像処理装置１０８は、カメラ１
０９で得た画像を処理し、中央処理装置１０３ａに出力
する。

【０１４８】作業環境情景理解手段２２は、この疑似情
景と、視覚ロボット１５により得た作業環境１の実情景
とを比較し、その相違を抽出する。つまり、実情景から
作業ロボット１４、作業対象１２等の特徴点に関する情
報を抽出し、該特徴点に関する情報と疑似情景とを比較
すること等によって、作業対象１２等の位置・姿勢の特
定、位置ずれの検出を行う。該位置・姿勢の特定等の処
理は、上述した対象物位置決定法、ビデオカメラ位置決
定法等により行う。なお、対象物位置決定法等の処理内
容については、”作用”の欄において既に詳述したため
ここでの説明は行わない。

【０１４９】その結果、相違がある場合には、両者が一
致するように、疑似情景のもとになった作業環境デ−タ
記憶手段２９内の作業環境デ−タを変更する。あるい
は、作業ロボット１４等の位置・姿勢を修正・変更すべ
く、動作指令生成手段２６に指令を送る。すると、動作
指令生成手段２６は、該指令に応じた動作指令を発し、
作業ロボット１４等を作動させる。

【０１５０】以上の処理を、各ロボット３０１等が移動
等を行う度毎に実行する。これにより、作業対象１２等
の位置・姿勢のずれを修正しつつ、作業計画通りに作業
を遂行することができる。なお、各対象物（作業ロボッ
ト１４等）毎に、上述の対象物位置決定法を実行すれ
ば、これらの間の相対的な位置関係、距離をも知ること
ができる。

【０１５１】以上説明したとおり、上記実施例において
は、実際の作業環境の状態と一致するように制御デ−タ
等を変更したり、あるいは、逆に設計値と一致するよう
にロボット等の位置・姿勢を修正することができる。ま
た、これらの修正・変更を行う際の作業環境の分析等を
も自動的に行うため、オンラインティーチングの必要が
なくなる。

【０１５２】従って、生産システムを自律的に運用でき
る。また、作業対象やロボットの設置を高精度にする必
要がなくなるので、設備を安価に作ることができる。さ
らに、長時間生産ラインを止める必要がなく経済的であ
る。

【０１５３】この他、情景入力センサを作業するロボッ
トから独立させているので、作業ロボットや周辺装置を
動作させながら作業環境を取り込み、情景を判断でき、
製造時間を短縮することができる。

【０１５４】また、情報入力センサでえられた作業環境
内の特徴点をもとに情景入力センサの位置を正確に求め
ることができるので、情景内の２者間の相対関係を正確
に求めることができる。

【０１５５】

【発明の効果】本発明によれば、実際の作業環境の状態
と一致するように制御デ−タ等を変更したり、あるい
は、逆に設計値と一致するようにロボット等の位置・姿
勢を修正することができる。また、これらの修正・変更
を行う際の作業環境の分析等をも自動的に行うため、オ
ンラインティーチングの必要がなくなる。

【０１５６】従って、生産システムを自律的に運用でき
る。また、作業対象やロボットの設置を高精度にする必
要がなくなるので、設備を安価に作ることができる。さ
らに、長時間生産ラインを止める必要がなく経済的であ
る。

【図面の簡単な説明】

【図１】本発明の一実施例の基本構成図である。

【図２】組立てステ−ション制御装置２のハードウエア
構成図である。

【図３】作業環境１の例を示す説明図である。

【図４】作業環境モデルを説明する説明図である。

【図５】図４における各座標系間の関係を説明するため
の説明図である。

【図６】視覚座標系上の任意の点Ｅｃの撮像面への透視
変換を示す説明図である。

【図７】ビデオカメラおよび対象物の位置・姿勢を決定
する処理を示すフロ−チャ−トである。

【符号の説明】

１……作業環境、２……組立ステーション制御装置、
３……設計データ記憶装置、４……作業計画データ
記憶装置、１２……作業対象、１３……周辺装置、
１４……作業ロボット、１５……視覚ロボット、
２０……擬似作業環境情景生成手段、２１……画像処
理手段、２２……作業環境情景理解手段、２３……
周辺装置制御手段、２４……作業ロボット制御手段、
２５……視覚ロボット制御手段、２６……動作指令
生成手段、２８……作業環境データベース構築手段、
２９……作業環境データ記憶手段、１０１……シス
テムバス、１０２……バス制御装置、１０３ａ……
中央処理装置、１０３ｂ……主記憶装置、１０４…
…磁気ディスク装置、１０５……キ−ボ−ド、１０６
……ディスプレイ、１０７……画像生成装置、１０
８……画像処理装置、１０９……テレビカメラ、１
１０……ズ−ムモ−タ・フォ−カスモ−タ・アイリスモ
−タ制御装置、１１１……レンズシステム、１１２
……カウンタ、１１３……パルスジェネレ−タ、１
１４……Ｄ／Ａ変換器、１１５……モ−タ駆動装置、
１１６……モ−タ、１１７……Ａ／Ｄ変換器、１
１８……センサ、１１９……ネットワ−ク、３０１
……テ−ブル型ロボット、３０２……ア−ム型ロボッ
ト、３０３……ワ−ク搬送ロボット、３０２１……
手先効果器、３０２２……テレビカメラ

Claims

【特許請求の範囲】

【請求項１】予め実際の位置・姿勢の特定されている情
景検出手段が撮影した被撮影物の位置を検出する位置検
出法において、上記被撮影物が予め定められた設計上の位置・姿勢にあ
ったと仮定した場合、上記情景検出手段が撮影している
であろう画像を疑似的に作成し、該疑似的に作成した画像上における上記被撮影物の各点
の位置と、上記情景検出手段が実際に撮影した画像上に
おける当該被撮影物の上記各点と対応する各点の位置と
のずれを抽出し、該ずれの値を用いて上記被撮影物の位
置・姿勢を検出すること、を特徴とする位置検出法。
【請求項２】予め実際の位置・姿勢の特定されている被
撮影物を撮影している情景検出手段の位置を検出する情
景検出手段の位置検出法において、上記情景検出手段が予め定められた設計上の位置・姿勢
にあったと仮定した場合、該情景検出手段によって撮影
されるであろう画像を疑似的に作成し、該疑似的に作成した画像上における上記被撮影物の各点
の位置と、上記情景検出手段が実際に撮影した画像上に
おける当該被撮影物の上記各点と対応する各点の位置と
のずれを抽出し、該ずれの値を用いて上記情景検出手段
の位置・姿勢を検出すること、を特徴とする情景検出手段の位置検出法。
【請求項３】情景検出手段により撮影した被撮影物のう
ち、おのおのについて予め定められた設計上の位置・姿
勢からずれている被撮影物を検出する、位置ずれ被撮影
物検出方法において、被撮影物および上記情景検出手段が、おのおのについて
予め定められた設計上の位置・姿勢にあったと仮定した
場合に、該情景検出手段によって撮影されるであろう画
像を疑似的に作成し、該疑似的に作成した画像上におけ
る上記被撮影物の各点の位置と、上記情景検出手段が実
際に撮影した画像上における当該被撮影物の上記各点と
対応する各点の位置とのずれを抽出し、該ずれの値を用
いて上記情景検出手段の位置・姿勢を暫定的に決定する
処理（以下、ここで求めた情景検出手段の位置・姿勢
を”暫定位置”という）を、少なくとも三つの被撮影物
について、各被撮影物毎に行い、各暫定位置間の一致性を判定し、他の暫定位置との一致
性の小さい暫定位置に対応した被撮影物は上記設計上の
位置・姿勢からのずれが大きいと判定すること、を特徴とする位置ずれ被撮影物検出法。
【請求項４】作業環境中にある被撮影物の位置を決定す
る位置検出装置において、上記被撮影物を撮影する情景検出手段と、上記情景検出手段の実際の位置を示す実デ−タと、上記
被撮影物についての設計上の位置・姿勢を示す設計デ−
タとを格納された記憶手段と、上記被撮影物が上記設計上の位置・姿勢にあったと仮定
した場合、上記情景検出手段が撮影しているであろう画
像を、上記実デ−タおよび上記設計デ−タを用いて疑似
的に作成する疑似情景作成手段と、上記疑似的に作成した画像上における被撮影物の各点の
位置と、上記被撮影物を上記情景検出手段が実際に撮影
した画像上における当該被撮影物の上記各点と対応する
各点の位置とのずれを抽出し、該ずれの値を用いて上記
被撮影物の位置・姿勢を検出する情景理解手段と、を有することを特徴とする位置検出装置。
【請求項５】請求項４記載の位置検出装置と、上記位置検出装置の検出した上記被撮影物の位置と、当
該被撮影物の設計上の位置・姿勢とを比較し、両者が一
致していない場合には、当該被撮影物の位置・姿勢と、
該被撮影物の設計上の位置・姿勢とのうち少なくとも一
方を修正し、両者を一致させる修正手段と、を有することを特徴とするフレキシブル生産システム。
【請求項６】作業環境中にある被撮影物を撮影する情景
検出手段の位置検出装置において、上記被撮影物の実際の位置を示す実デ−タと、上記情景
検出手段についての設計上の位置・姿勢を示す設計デ−
タとを格納された記憶手段と、上記情景検出手段が上記設計上の位置・姿勢にあったと
仮定した場合、該情景検出手段によって撮影されるであ
ろうはずの画像を、上記実デ−タおよび上記設計デ−タ
を用いて疑似的に作成する疑似情景作成手段と、上記疑似的に作成した画像上における上記被撮影物の各
点の位置と、上記被撮影物を上記情景検出手段が実際に
撮影した画像上における当該被撮影物の上記各点と対応
する各点の位置とのずれを抽出し、該ずれの値を用いて
上記情景検出手段の位置・姿勢を検出する情景理解手段
と、を有することを特徴とする情景検出手段の位置検出装
置。
【請求項７】請求項６記載の情景検出手段の位置検出装
置と、上記情景検出手段の位置検出装置の検出した情景検出手
段の位置と、当該情景検出手段の設計上の位置・姿勢と
を比較し、両者が一致していない場合には、当該情景検
出手段の位置・姿勢と、該情景検出手段の設計上の位置
・姿勢とのうち少なくとも一方を修正し、両者を一致さ
せる修正手段と、を有することを特徴とするフレキシブル生産システム。
【請求項８】情景検出手段が撮影した被撮影物毎のう
ち、各被撮影物毎に予め定められた設計上の位置・姿勢
からずれている被撮影物を検出する位置ずれ被撮影物検
出装置において、上記情景検出手段および各被撮影物について予め定めら
れた設計上の位置・姿勢を示す設計デ−タを格納した記
憶手段と、上記被撮影物および上記情景検出手段が上記設計上の位
置・姿勢にある場合に、該情景検出手段によって撮影さ
れるであろう画像を、上記設計デ−タを用いて疑似的に
作成する疑似画像作成手段と、該疑似的に作成した画像上における上記被撮影物の各点
の位置と、上記被撮影物を上記情景検出手段が実際に撮
影した画像上における当該被撮影物の上記各点に対応す
る各点の位置とのずれを抽出し、該ずれの値を用いて上
記情景検出手段の位置・姿勢を暫定的に決定する処理
を、少なくとも３つの被撮影物について、各被撮影物毎
に実行する情景理解手段と、各被撮影物毎に決定した情景検出手段の位置間の一致性
を判定し、他の暫定位置との一致性の小さい暫定位置に
対応した被撮影物は、上記設計上の位置・姿勢からのず
れが大きいと判定する機能を有する判定手段と、を有すること特徴とする位置ずれ被撮影物の検出装置。