JP7062911B2 - ロボットシステム - Google Patents

Description

本発明は、ロボットシステムのカメラの校正（キャリブレーション）に関するものである。

ロボットに高度な処理を行わせるために、ロボットにカメラを設置して眼の機能を持たせる場合がある。カメラの設置方法として、カメラをロボットアームとは独立して設置する方法と、カメラをロボットアームに設置する方法（「手先カメラ」と呼ぶ）とがある。

特許文献１には、手先カメラと、ロボットの外部に設置された外部カメラとを利用するロボットシステムが開示されている。この従来技術では、外部カメラの校正を行うために、複数の校正用の位置姿勢にロボットアームを移動させ、それぞれの位置姿勢において手先カメラと外部カメラの両方で校正用のマークを撮像し、その撮像結果を用いて外部カメラの校正を実行する。

特開２０１６－５２６９５号公報

しかしながら、上記特許文献１に記載された技術では、ロボットアームの先端に手先カメラを設けることが必須とされており、ロボットアームの先端以外の場所にロボットカメラを設置した場合には適用することができないという問題がある。また、外部カメラの校正を行うために、手先カメラを複数の位置姿勢に設定する必要があるため、ロボットアームの動作を必須としており、この結果、校正にかなりの時間を要するという問題がある。そこで、特許文献１とは異なる方法で、外部カメラの校正を容易に行うことのできる技術が望まれている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態（aspect）として実現することが可能である。

（１）本発明の第１の形態によれば、ロボットアームと第１カメラとを有するロボットと、前記ロボットとは別個に設置された第２カメラと、前記ロボットと前記第２カメラとを制御する制御装置と、を備えるロボットシステムが提供される。前記第２カメラは、前記ロボットアームを用いた作業を行う作業領域を前記第１カメラで監視する状態において、前記第１カメラの視野の範囲外となる校正位置を前記第２カメラで監視できるように設置されている。前記制御装置は、（ａ）前記作業領域における前記作業の実行前に、前記第１カメラによって前記校正位置を監視できるように前記ロボットの関節を駆動し、（ｂ）前記校正位置に設置された校正用パターンを前記第１カメラ及び前記第２カメラでそれぞれ撮像して前記校正用パターンのパターン画像をそれぞれ取得し、（ｃ）前記第１カメラ及び前記第２カメラでそれぞれ撮像した前記パターン画像と、前記第１カメラに対する既知の校正データである第１校正データとを用いて、前記第２カメラの校正データである第２校正データを求める校正処理を実行し、（ｄ）前記校正処理の実行後に、前記作業領域を前記第１カメラで監視しつつ前記作業領域における作業を実行するとともに、前記第２カメラの視野において前記第２カメラによる監視を行いつつ前記ロボットアームを用いた動作を実行する。
このロボットシステムによれば、作業領域における作業の開始前に、作業領域外の位置で第１カメラと第２カメラの両方で校正用パターンを撮像することによって第２カメラの校正を容易に実行できる。また、第２カメラの校正処理後、作業領域を第１カメラで監視しつつ作業を実行する際に、第２カメラの視野において第２カメラを用いた監視を行いつつ作業領域における作業とは異なる動作をロボットが行う場合に、校正済の第２カメラを用いてその動作を正確に監視することが可能である。

（２）上記ロボットシステムにおいて、前記ロボットの前記関節は、前記ロボットの基台に対して前記第１カメラを回動させることが可能なねじり関節であるものとしてもよい。
このロボットシステムによれば、作業作業における作業を第１カメラで監視する状態と、第２カメラの校正のために校正用パターンを第１カメラで撮像する状態とを、ねじり関節の動作のみで切り換えることができる。従って、作業領域における作業の開始前に、第２カメラの校正を容易に実行できる。

（３）上記ロボットシステムにおいて、前記第２カメラの視野は、前記作業領域における作業に使用する部品を供給する部品供給領域を含み、前記第２カメラの視野における前記ロボットアームを用いた動作は、前記部品を前記ロボットアームで拾い上げる動作であるものとしてもよい。
このロボットシステムによれば、作業領域とは別の位置において部品が供給される場合に、第１カメラでその部品を監視する必要が無く、第２カメラで部品を監視しつつロボットアームで部品を拾い上げることが可能である。

（４）本発明の第２の形態によれば、ロボットアームと第１カメラとを有するロボットと、前記ロボットとは別個に設置された第２カメラと、前記ロボットと前記第２カメラとを制御する制御装置と、を備えるロボットシステムが提供される。前記ロボットは、複数の作業領域の間を移動し、各作業領域において前記ロボットアームを用いた作業を行うことが可能に構成されている。前記第２カメラは、前記複数の作業領域をそれぞれ監視できるように設置された複数の第２カメラを含む。前記制御装置は、前記ロボットが移動して前記複数の作業領域のうちの１つの作業領域に前記ロボットが到達する度に、（ａ）当該作業領域に設置された校正用パターンを前記第１カメラ及び前記第２カメラでそれぞれ撮像して前記校正用パターンのパターン画像をそれぞれ取得し、（ｂ）前記第１カメラ及び前記第２カメラでそれぞれ撮像した前記パターン画像と、前記第１カメラに対する既知の校正データである第１校正データとを用いて、前記第２カメラの校正データである第２校正データを求める校正処理を実行し、（ｃ）前記校正処理の実行後に、当該作業領域を前記第１カメラと前記第２カメラで監視しつつ当該作業領域における作業を実行する。
このロボットシステムによれば、複数の作業領域の個々の作業領域における作業の開始前に、第１カメラと第２カメラの両方で校正用パターンを撮像することによって第２カメラの校正を容易に実行できる。また、第２カメラの校正処理後、その作業領域を第１カメラと第２カメラの両方を用いて監視できるので、その作業領域における作業を正確に監視することが可能である。

（５）上記ロボットシステムにおいて、前記ロボットは、前記複数の作業領域以外の位置にも移動可能に構成されているものとしてもよい。
このロボットシステムによれば、移動の自由度が高いロボットを用いた場合にも、第２カメラの校正を容易に実行することが可能である。

（６）上記ロボットシステムにおいて、前記第１カメラは３Ｄカメラであり、前記第２カメラは２Ｄカメラであるものとしてもよい。
このロボットシステムによれば、第１カメラがステレオカメラのような３Ｄカメラなので、第２カメラが２Ｄカメラである場合にも、第２カメラの校正を正確に行うことが可能である。

（７）上記ロボットシステムにおいて、前記第１カメラは、前記ロボットの前記ロボットアームでない部位に設置されているものとしてもよい。
このロボットシステムによれば、ロボットの基台や筐体などのようなロボットアームでない部位に設置された第１カメラを利用して、第２カメラの校正を容易に行うことが可能である。

（８）上記ロボットシステムにおいて、前記第１カメラは、前記ロボットアームに設置されているものとしてもよい。
このロボットシステムによれば、ロボットアームでに設置された第１カメラを利用して、第２カメラの校正を容易に行うことが可能である。

（９）上記ロボットシステムにおいて、前記制御装置は、前記校正用パターンの撮像前に、前記第１カメラ及び前記第２カメラで前記校正用パターンを撮像できる位置に、前記ロボットアームを用いて前記校正用パターンを設置させるものとしてもよい。
このロボットシステムによれば、ロボットアームを用いて校正用パターンを設置するので、校正のために必要な場合にのみ校正用パターンを設置することができる。

（１０）本発明の第３の形態によれば、ロボットアームと第１カメラとを有するロボットと、前記ロボットとは別個に設置された第２カメラと、前記ロボットと前記第２カメラとを制御する制御装置と、を備えるロボットシステムが提供される。前記制御装置は、プロセッサーを備える。前記第２カメラは、前記ロボットアームを用いた作業を行う作業領域を前記第１カメラで監視する状態において、前記第１カメラの視野の範囲外となる校正位置を前記第２カメラで監視できるように設置されている。前記プロセッサーは、（ａ）前記作業領域における前記作業の実行前に、前記第１カメラによって前記校正位置を監視できるように前記ロボットの関節を駆動し、（ｂ）前記校正位置に設置された校正用パターンを前記第１カメラ及び前記第２カメラでそれぞれ撮像して前記校正用パターンのパターン画像をそれぞれ取得し、（ｃ）前記第１カメラ及び前記第２カメラでそれぞれ撮像した前記パターン画像と、前記第１カメラに対する既知の校正データである第１校正データとを用いて、前記第２カメラの校正データである第２校正データを求める校正処理を実行し、（ｄ）前記校正処理の実行後に、前記作業領域を前記第１カメラで監視しつつ前記作業領域における作業を実行するとともに、前記第２カメラの視野において前記第２カメラによる監視を行いつつ前記ロボットアームを用いた動作を実行する。
このロボットシステムによれば、作業領域における作業の開始前に、作業領域外の位置で第１カメラと第２カメラの両方で校正用パターンを撮像することによって第２カメラの校正を容易に実行できる。また、第２カメラの校正処理後、作業領域を第１カメラで監視しつつ作業を実行する際に、第２カメラの視野において第２カメラを用いた監視を行いつつ作業領域における作業とは異なる動作をロボットが行う場合にも、校正済の第２カメラを用いてその動作を正確に監視することが可能である。

（１１）本発明の第４の形態によれば、ロボットアームと第１カメラとを有するロボットと、前記ロボットとは別個に設置された第２カメラと、前記ロボットと前記第２カメラとを制御する制御装置と、を備えるロボットシステムが提供される。前記制御装置は、プロセッサーを備える。前記ロボットは、複数の作業領域の間を移動し、各作業領域において前記ロボットアームを用いた作業を行うことが可能に構成されている。前記第２カメラは、前記複数の作業領域をそれぞれ監視できるように設置された複数の第２カメラを含む。前記プロセッサーは、前記ロボットが移動して前記複数の作業領域のうちの１つの作業領域に前記ロボットが到達する度に、（ａ）当該作業領域に設置された校正用パターンを前記第１カメラ及び前記第２カメラでそれぞれ撮像して前記校正用パターンのパターン画像をそれぞれ取得し、（ｂ）前記第１カメラ及び前記第２カメラでそれぞれ撮像した前記パターン画像と、前記第１カメラに対する既知の校正データである第１校正データとを用いて、前記第２カメラの校正データである第２校正データを求める校正処理を実行し、（ｃ）前記校正処理の実行後に、当該作業領域を前記第１カメラと前記第２カメラで監視しつつ当該作業領域における作業を実行する。
このロボットシステムによれば、複数の作業領域の個々の作業領域における作業の開始前に、第１カメラと第２カメラの両方で校正用パターンを撮像することによって第２カメラの校正を容易に実行できる。また、第２カメラの校正処理後、その作業領域を第１カメラと第２カメラの両方を用いて監視できるので、その作業領域における作業を正確に監視することが可能である。

本発明の更に他の形態によれば、ロボットアームと第１カメラとを有するロボットと、前記ロボットとは別個に設置された第２カメラと、前記ロボットと前記第２カメラとを制御する制御装置と、を備えるロボットシステムが提供される。前記第１カメラは予め校正済であり、その校正データである第１校正データは既知である。前記制御装置は、（ｉ）校正用パターンを前記第１カメラ及び前記第２カメラでそれぞれ撮像して前記校正用パターンのパターン画像をそれぞれ取得し、（ｉｉ）前記第１カメラ及び前記第２カメラでそれぞれ撮像した前記パターン画像と、前記第１カメラに対する既知の校正データである第１校正データとを用いて、前記第２カメラの校正データである第２校正データを求める校正処理を実行する。校正用パターンは、複数の校正用マーカーを含むことが好ましい。ロボットの第１カメラは、ロボットアームで無い部位、例えば、ロボットの頭部に設けられているものとしても良い。
このロボットシステムによれば、第２カメラと、予め校正済の第１カメラとの両方で校正用パターンを撮像することによって、第２カメラの校正を容易に実行できる。

本発明は、上記以外の種々の形態で実現することも可能である。例えば、ロボットシステムの制御装置、その制御装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

第１実施形態のロボットシステムの概念図。 複数のプロセッサーを有する制御装置の一例を示す概念図。 複数のプロセッサーを有する制御装置の他の例を示す概念図。 ロボットと制御装置の機能を示すブロック図。 第１実施形態のロボットの座標系を示す説明図。 ロボットが作業領域で作業を行う状態を示す説明図。 第２カメラの校正を行う状態を示す説明図。 校正用パターンの一例を示す図。 第１実施形態における校正処理の手順を示すフローチャート。 第２実施形態のロボットシステムの概念図。 第１作業領域において第２カメラの校正を行う状態を示す説明図。 第２作業領域において第２カメラの校正を行う状態を示す説明図。 第２実施形態における校正処理の手順を示すフローチャート。

A. 第１実施形態
図１は、第１実施形態におけるロボットシステムの概念図である。このロボットシステムは、ロボット１００と、制御装置２００と、ロボット１００とは別個に設置された外部カメラ３００とを備えている。このロボット１００は、カメラで作業対象を認識し、自在に力を加減して、自律的に判断しながら作業を行える自律型ロボットである。また、ロボット１００は、予め作成された教示データに従って作業を実行するティーチングプレイバックロボットとして動作することも可能である。

ロボット１００は、基台１１０と、胴部１２０と、肩部１３０と、首部１４０と、頭部１５０と、２つのロボットアーム１６０Ｌ，１６０Ｒとを備えている。ロボットアーム１６０Ｌ，１６０Ｒには、ハンド１８０Ｌ，１８０Ｒが着脱可能に取り付けられている。これらのハンド１８０Ｌ，１８０Ｒは、ワークや道具を把持するエンドエフェクターである。頭部１５０には、カメラ１７０Ｌ，１７０Ｒが設置されている。これらのカメラ１７０Ｌ，１７０Ｒは、ロボットアーム１６０Ｌ，１６０Ｒとは独立して設けられている。ロボットアーム１６０Ｌ，１６０Ｒの手首部には、手先カメラとしてのハンドアイ１７５Ｌ，１７５Ｒが設けられている。

以下では、頭部１５０に設けられたカメラ１７０Ｌ，１７０Ｒを「ロボットカメラ」又は「第１カメラ１７０」とも呼ぶ。また、ロボット１００とは別個に設置された外部カメラ３００を「第２カメラ」とも呼ぶ。本実施形態において、ロボットカメラ１７０はステレオカメラのような３Ｄカメラ（３次元カメラ）として構成されており、外部カメラ３００は２Ｄカメラ（２次元カメラ）として構成されている。なお、外部カメラ３００を３Ｄカメラとして構成してもよい。

ロボットアーム１６０Ｌ，１６０Ｒの手首部には、更に、力センサー１９０Ｌ，１９０Ｒが設けられている。力センサー１９０Ｌ，１９０Ｒは、ハンド１８０Ｌ，１８０Ｒがワークに及ぼしている力に対する反力やモーメントを検出するセンサーである。力センサー１９０Ｌ，１９０Ｒとしては、例えば、並進３軸方向の力成分と、回転３軸回りのモーメント成分の６成分を同時に検出することができる６軸力センサーを用いることができる。なお、力センサー１９０Ｌ，１９０Ｒは省略可能である。

ロボットアーム１６０Ｌ，１６０Ｒと、ロボットカメラ１７０Ｌ，１７０Ｒと、ハンドアイ１７５Ｌ、１７５Ｒと、ハンド１８０Ｌ，１８０Ｒと、力センサー１９０Ｌ，１９０Ｒの符号の末尾に付された「Ｌ」「Ｒ」の文字は、それぞれ「左」「右」を意味する。これらの区別が不要の場合には、「Ｌ」「Ｒ」の文字を省略した符号を使用して説明する。

制御装置２００は、プロセッサー２１０と、メインメモリー２２０と、不揮発性メモリー２３０と、表示制御部２４０と、表示部２５０と、Ｉ／Ｏインターフェース２６０とを有している。これらの各部は、バスを介して接続されている。プロセッサー２１０は、例えばマイクロプロセッサー又はプロセッサー回路である。制御装置２００は、Ｉ／Ｏインターフェース２６０を介してロボット１００及び第２カメラ３００に接続される。なお、制御装置２００をロボット１００の内部に収納してもよい。

制御装置２００の構成としては、図１に示した構成以外の種々の構成を採用することが可能である。例えば、プロセッサー２１０とメインメモリー２２０を図１の制御装置２００から削除し、この制御装置２００と通信可能に接続された他の装置にプロセッサー２１０とメインメモリー２２０を設けるようにしてもよい。この場合には、当該他の装置と制御装置２００とを合わせた装置全体が、ロボット１００の制御装置として機能する。他の実施形態では、制御装置２００は、２つ以上のプロセッサー２１０を有していてもよい。更に他の実施形態では、制御装置２００は、互いに通信可能に接続された複数の装置によって実現されていてもよい。これらの各種の実施形態において、制御装置２００は、１つ以上のプロセッサー２１０を備える装置又は装置群として構成される。

図２は、複数のプロセッサーによってロボットの制御装置が構成される一例を示す概念図である。この例では、ロボット１００及びその制御装置２００の他に、パーソナルコンピューター４００，４１０と、ＬＡＮなどのネットワーク環境を介して提供されるクラウドサービス５００とが描かれている。パーソナルコンピューター４００，４１０は、それぞれプロセッサーとメモリーとを含んでいる。また、クラウドサービス５００においてもプロセッサーとメモリーを利用可能である。これらの複数のプロセッサーの一部又は全部を利用して、ロボット１００の制御装置を実現することが可能である。

図３は、複数のプロセッサーによってロボットの制御装置が構成される他の例を示す概念図である。この例では、ロボット１００の制御装置２００が、ロボット１００の中に格納されている点が図２と異なる。この例においても、複数のプロセッサーの一部又は全部を利用して、ロボット１００の制御装置を実現することが可能である。

図４は、ロボット１００と制御装置２００の機能を示すブロック図である。制御装置２００のプロセッサー２１０は、不揮発性メモリー２３０に予め格納された各種のプログラム命令２３１を実行することにより、関節制御部２１１と、カメラ制御部２１２と、カメラ校正実行部２１３との機能をそれぞれ実現する。関節制御部２１１は、ロボット１００内の個々の関節に設けられたモーター１６２を制御することによって、関節を駆動する。カメラ制御部２１２は、ロボットカメラ１７０と外部カメラ３００をそれぞれ制御して撮像を実行させる。カメラ校正実行部２１３は、外部カメラ３００の校正処理を実行する機能を有しており、変換行列推定部２１４を含んでいる。但し、これらの各部２１１～２１４の機能の一部又は全部をハ―ドウェア回路で実現しても良い。これらの各部２１１～２１４の機能については後述する。

不揮発性メモリー２３０には、プログラム命令２３１の他に、ロボットカメラパラメーター２３２と外部カメラパラメーター２３３とが格納される。ロボットカメラパラメーター２３２は、ロボットカメラ１７０の校正データであり、ロボットカメラ１７０のカメラ座標系と、ロボット座標系との座標変換を行うための種々のパラメーターを含む。外部カメラパラメーター２３３は、外部カメラ３００の校正データであり、外部カメラ３００のカメラ座標系と、ロボット座標系との座標変換を行うための種々のパラメーターを含む。ロボットカメラパラメーター２３２は、既知であり、予め不揮発性メモリー２３０に格納されている。外部カメラパラメーター２３３は、後述する校正処理を実行することによって作成される。

図５は、ロボット１００のロボットアーム１６０の構成と各種の座標系を示す説明図である。２つのアーム１６０Ｌ，１６０Ｒのそれぞれには、７つの関節Ｊ１～Ｊ７が設けられている。関節Ｊ１，Ｊ３，Ｊ５，Ｊ７はねじり関節であり、関節Ｊ２，Ｊ４，Ｊ６は曲げ関節である。関節Ｊ０は、図１の胴部１２０と肩部１３０の間に設けられたねじり関節である。この関節Ｊ０は、ロボット１００の基台１１０に対してロボットカメラ１７０を回動させることが可能なねじり関節に相当する。個々の関節には、それらを動作させるためのアクチュエーター（図４のモーター１６２）と、回転角度を検出するための位置検出器とが設けられている。

アーム１６０の手先には、ツール中心点ＴＣＰ（Tool Center Point）が設定されている。ツール中心点ＴＣＰは、作業内容に応じて任意の位置に設定可能である。通常のロボット１００の制御は、ツール中心点ＴＣＰの位置姿勢を制御するために実行される。なお、位置姿勢（position and orientation）とは、３次元の座標系における３つ座標値と、各座標軸回りの回転とで規定される状態を意味する。

図５には、ロボットシステムに関する座標系として、以下の座標系が描かれている。
（１）ロボット座標系Σ₀：ロボット１００の基準点を座標原点とする座標系
（２）手先座標系Σ_T1，Σ_T2：アーム１６０Ｌ，１６０ＲのＴＣＰ（ツール中心点）を座標原点とする座標系
（３）ロボットカメラ座標系Σ_RC：ロボットカメラ１７０の所定の位置を座標原点とする座標系
（４）外部カメラ座標系Σ_FC：外部カメラ３００の２次元画像の画像座標系

本実施形態において、外部カメラ座標系Σ_FC以外の座標系については、予め校正済であり、互いの座標変換行列が既知であるものと仮定する。また、外部カメラ座標系Σ_FCと他の座標系との関係は未知であるものと仮定する。なお、図５では、図示の便宜上、個々の座標系の原点が実際の位置からずれた位置に描かれている。

図６は、ロボット１００が作業領域で作業を行う状態の平面配置を示す説明図である。ここでは、ロボットアームの図示は省略しており、ロボット１００の構造として基台１１０とロボットカメラ１７０のみを描いている。また、関節Ｊ０の回動に応じてロボットカメラ１７０が移動する軌跡を破線で描いている。

ロボットカメラ１７０の視野ＲＣＶは、作業領域ＷＫＡを包含する領域である。ロボット１００は、この作業領域ＷＫＡ内において２つのロボットアーム１６０Ｌ，１６０Ｒを用いて特定の作業を行う。特定の作業は、例えば、部品の組み立てである。

ロボット１００の右側には、部品供給領域ＰＦＡが設定されている。この部品供給領域ＰＦＡは、作業領域ＷＫＡとは異なる領域である。部品供給領域ＰＦＡは、作業領域ＷＫＡと一部重なっていても良いが、図６の例では、両者が全く重なり合わないように設定されている。部品供給領域ＰＦＡに隣接する位置には、部品供給領域ＰＦＡに部品ＰＰを供給するためのパーツフィーダー３２０が設置されている。ロボット１００は、部品供給領域ＰＦＡ内に供給された部品ＰＰを、右アーム１６０Ｒを用いて拾い上げることができる。外部カメラ３００の視野ＦＣＶは、部品供給領域ＰＦＡを包含する領域に設定されている。外部カメラ３００は、常に同一の視野ＦＣＶを監視できるように、その位置と姿勢が予め固定されていることが好ましい。

ロボット１００が作業領域ＷＫＡで作業を行っている状態では、ロボットカメラ１７０は部品供給領域ＰＦＡを監視できないが、外部カメラ３００で部品供給領域ＰＦＡを監視することが可能である。ロボット１００が作業領域ＷＫＡにおいて２つのアーム１６０Ｌ，１６０Ｒを用いて特定の作業を行っている状態で、新たな部品ＰＰが必要になったときには、関節Ｊ０を動かすことなく、１つのアーム１６０Ｒのみを用いて部品ＰＰを部品供給領域ＰＦＡから拾い上げて作業領域ＷＫＡまで持ってくることができる。この際、部品供給領域ＰＦＡは外部カメラ３００で監視しているので、ロボットカメラ１７０でその部品ＰＰを監視する必要が無く、新たな部品ＰＰをアーム１６０Ｒで正しく拾い上げることが可能である。

図７は、外部カメラ３００の校正を行う状態を示す説明図である。この状態は、図６に示した作業状態から関節Ｊ０を回転させて、ロボットカメラ１７０の視野（図示省略）と外部カメラ３００の視野ＦＣＶが重なる状態である。２つのカメラ１７０，３００の視野が重なる位置には、外部カメラ３００の校正に用いる校正用パターン３３０が設置される。校正用パターン３３０の例については後述する。この校正用パターン３３０が設置される位置を「校正位置」と呼ぶ。本実施形態において、校正用パターン３３０が設置される校正位置は、ロボット１００が作業領域ＷＫＡで作業を行う状態においてロボットカメラ１７０の視野の範囲外となる位置であり、かつ、外部カメラ３００で監視可能な位置である。

図８は、校正用パターン３３０の一例を示す図である。校正用パターン３３０は、カメラ校正に使用される複数の校正用マーカーＣＭを含んでいる。図８の例では、平板状の校正用ボードの上に９個の校正用マーカーＣＭが描かれている。また、この例では、個々の校正用マーカーＣＭは、黒白の多重の円で構成されており、その中心点が校正用マーカーＣＭの位置として認識される。但し、校正用マーカーＣＭの形状としては、単なる円形や正方形などの種々の形状を使用可能である。また、図８の例では、校正用マーカーＣＭの外に、個々の校正用マーカーＣＭを識別する番号を表すマークＮＭや、校正用パターン３３０全体の外周位置を示すための４つのマークＢＭが表示されている。但し、校正用マーカーＣＭ以外の他のマークは省略可能である。この校正用パターン３３０は、複数の校正用マーカーＣＭを含んでいるので、外部カメラ３００の校正のために校正用パターン３３０を複数の位置に設置して撮像を行う必要が無く、１回の撮像で済むという利点がある。

図９は、第１実施形態における外部カメラ３００の校正処理の手順を示すフローチャートである。この校正処理は、作業領域ＷＫＡにおける作業の開始前に、カメラ校正実行部２１３（図４）によって行われる。ステップＳ１１０では、ロボット１００の状態を、ロボットカメラ１７０が校正位置を監視できる状態（図７）に設定する。ステップＳ１２０では、校正位置に校正用パターン３３０を設置する。校正用パターン３３０を校正位置に設置する動作は、作業者が行っても良く、或いは、ロボット１００のアーム１６０が行っても良い。アーム１６０を用いて校正用パターン３３０を設置すれば、校正のために必要な場合にのみ校正用パターン３３０を自動的に設置することができる。

ステップＳ１３０では、ロボットカメラ１７０と外部カメラ３００で校正用パターン３３０をそれぞれ撮像し、校正用パターン３３０のパターン画像をそれぞれ取得する。このパターン画像は、図８に示した校正用パターン３３０の画像そのものである。

ステップＳ１４０では、ロボットカメラ１７０で撮像されたパターン画像から、複数の校正用マーカーＣＭの位置を推定する。本実施形態において、ロボットカメラ１７０は３Ｄカメラなので、ロボットカメラ１７０で撮像されたパターン画像から、ロボットカメラ座標系Σ_RC（図５）における校正用マーカーＣＭの３次元的な位置を推定できる。また、ロボットカメラ１７０は校正済みであり、ロボットカメラパラメーター２３２にはロボットカメラ座標系Σ_RCとロボット座標系Σ₀との座標変換行列が含まれている。従って、ステップＳ１４０では、この座標変換行列を用いて校正用マーカーＣＭのロボット座標系Σ₀における３次元位置が算出される。

ステップＳ１５０では、外部カメラ３００で撮像されたパターン画像から、複数の校正用マーカーＣＭの位置をそれぞれ検出する。本実施形態において、外部カメラ３００は２Ｄカメラなので、外部カメラ３００で撮像されたパターン画像からは、外部カメラ座標系Σ_FC（図５）における校正用マーカーＣＭの２次元的な位置が検出される。

ステップＳ１６０では、ステップＳ１４０，Ｓ１５０で得られた複数の校正用パターンＣＭの位置と、ロボットカメラ１７０の既知の校正データ（ロボットカメラパラメーター２３２）とを用いて、外部カメラ３００の校正データ（外部カメラパラメーター２３３）を求める処理を実行する。なお、この校正処理では、ステップＳ１４０で求めた校正用マーカーＣＭの位置と、ステップＳ１５０で求めた校正用マーカーＣＭの位置を対応付ける必要がある。図８に示した例では、校正用パターン３３０に、個々の校正用マーカーＣＭを識別する番号を表すマークＮＭが含まれているので、このマークＮＭを用いて対応付けを行うことが可能である。この代わりに、作業者が手動で対応付を行っても良い。但し、個々の校正用マーカーＣＭを識別する番号を表すマークＮＭを校正用パターン３３０内に設けておけば、対応付けを自動的に行える点で好ましい。

校正データを求める処理は、次式における座標変換行列Ｒを推定する処理を含む。

ここで、Σ₀（x,y,z）はロボット座標系Σ₀の３次元座標値、Σ_FC(u,v)は外部カメラ座標系Σ_FCの２次元座標値である。

座標変換行列Ｒは、いわゆるＰ行列の疑似逆行列である。Ｐ行列は、通常のカメラの校正で推定される行列であり、３次元空間の座標を２次元の画像座標に変換する行列である。（１）式の座標変換行列Ｒの要素を記載すると、次式となる。

ここで、ｋはスケールファクター（既知）である。なお、スケールファクターｋを行列Ｒの要素Ｒ_ijに乗じて、ｋ＝１としても良い。

通常のＰ行列と同様に、座標変換行列Ｒの自由度は１１であり、６組以上の測定結果から行列Ｒを推定できる。従って、校正用パターン３３０は６個以上の校正用マーカーＣＭを含むことが好ましい。なお、このような座標変換行列Ｒの推定は、変換行列推定部２１４（図４）によって実行される。外部カメラ３００が３Ｄカメラである場合には、座標変換行列Ｒは４行４列の同次変換行列となる。

ロボット座標系Σ₀のｘｙ平面と外部カメラ座標系Σ_FCのｕｖ平面とが平行な場合には、座標変換行列Ｒの演算がより簡単であり、演算精度も向上するので、両者を平行とすることが好ましい。

外部カメラ３００の校正が終了すると、ステップＳ１７０において、外部カメラ３００とロボットカメラ１７０を用いて作業が実行される。具体的には、関節Ｊ０を回転させて図７の状態から図６の状態に変更し、ロボット１００が作業領域ＷＫＡにおいて２つのアーム１６０Ｌ，１６０Ｒを用いて特定の作業を行い、新たな部品ＰＰが必要になったときには、関節Ｊ０を動かすことなく、１つのアーム１６０Ｒのみを用いて部品ＰＰを部品供給領域ＰＦＡから拾い上げて作業領域ＷＫＡまで持ってくる。この際、部品供給領域ＰＦＡは外部カメラ３００で監視しているので、新たな部品ＰＰをアーム１６０Ｒで正しく拾い上げることが可能である。

以上のように、第１実施形態では、作業領域ＷＫＡにおける作業の開始前に、作業領域ＷＫＡ外の位置でロボットカメラ１７０と外部カメラ３００の両方で校正用パターン３３０を撮像することによって外部カメラ３００の校正を容易に実行できる。また、外部カメラ３００の校正処理後、作業領域ＷＫＡをロボットカメラ１７０で監視しつつ作業を実行する際に、外部カメラ３００の視野において外部カメラ３００を用いた監視を行いつつ作業領域ＷＫＡにおける作業とは異なる動作をロボット１００が行う場合に、校正済の外部カメラ３００を用いてその動作を正確に監視することが可能である。

また、第１実施形態では、作業領域ＷＫＡにおける作業をロボットカメラ１７０で監視する状態（図６）と、外部カメラ３００の校正のために校正用パターン３３０をロボットカメラ１７０で撮像する状態（図７）とを、ねじり関節Ｊ０の動作のみで切り換えることができる。従って、作業領域ＷＫＡにおける作業の開始前に、外部カメラ３００の校正を容易に実行することが可能である。

B. 第２実施形態
図１０は、第２実施形態のロボットシステムの概念図である。図１に示した第１実施形態との違いは、ロボット１００が無人搬送車３４０上に載置されて自由走行が可能である点と、２つの外部カメラ３０１，３０２が設置されている点の２点である。ロボット１００自体の構成は第１実施形態と同一である。無人搬送車３４０と外部カメラ３０１，３０２は、制御装置２００（図１）に接続されており、制御装置２００によって制御される。

図１１及び図１２は、第２実施形態におけるロボット１００と作業領域との関係を示す説明図である。ここでは、第１作業領域ＷＫＡ１と第２作業領域ＷＫＡ２の２つの作業領域が設定されている。第１の外部カメラ３０１は、第１作業領域ＷＫＡ１を包含する視野を有しており、第１作業領域ＷＫＡ１を監視する。第２の外部カメラ３０２は、第２作業領域ＷＫＡ２を包含する視野を有しており、第２作業領域ＷＫＡ２を監視する。ロボット１００が個々の作業領域ＷＫＡ１，ＷＫＡ２で作業を行う際には、無人搬送車３４０によってロボット１００をその作業領域の前に移動させる。２つの作業領域ＷＫＡ１，ＷＫＡ２は、１つの外部カメラ３０１（又は３０２）や１組のロボットカメラ１７０では両方の作業領域ＷＫＡ１，ＷＫＡ２を同時に監視できない程度に離間している。なお、ロボット１００が作業を行う作業領域の数は、２に限らず、３以上に設定することも可能である。

個々の作業領域ＷＫＡ１，ＷＫＡ２の近傍には、校正用パターン３３１，３３２がそれぞれ設置されている。第１の校正用パターン３３１は、第１の外部カメラ３０１を校正するために使用される。第２の校正用パターン３３２は、第２の外部カメラ３０２を校正するために使用される。これらの校正用パターン３３１，３３２は、図８に示した校正用パターン３３０と同じものである。なお、２つの校正用パターン３３１，３３２を用いる代わりに、１つの校正用パターン３３０を用いて２つの外部カメラ３０１，３０２の校正を行っても良い。この場合には、１つの外部カメラ３０１又は３０２の校正を行うときに、その近傍に校正用パターン３３０が配置される。

個々の作業領域ＷＫＡ１，ＷＫＡ２に隣接する位置には、更に、パーツフィーダー３２１，３２２が設置されている。但し、パーツフィーダー３２１，３２２は省略可能である。

図１１に示す状態は、第１作業領域において第１の外部カメラ３０１の校正を行う状態である。図１２は、第２作業領域において第２の外部カメラ３０２の校正を行う状態である。制御装置２００は、ロボット１００が移動して複数の作業領域ＷＫＡ１，ＷＫＡ２のうちの１つの作業領域にロボット１００が到達する度に、以下で説明する外部カメラ３０１又は３０２の校正処理を実行する。

図１３は、第２実施形態における外部カメラ３０１，３０２の校正処理の手順を示すフローチャートである。図９に示した第１実施形態の処理手順との違いは、ステップＳ２１０のみであり、他のステップは図９と実質的に同じである。

ステップＳ２１０では、ロボット１００が一方の作業領域ＷＫＡ１又はＷＫＡ２の前の作業位置に移動する。ステップＳ１２０では、校正位置に校正用パターン３３１又は３３２を設置する。図１１及び図１２に示したように、２つの作業領域ＷＫＡ１，ＷＫＡ２の近傍に校正用パターン３３１，３３２が予め設置されている場合には、ステップＳ１２０は省略可能である。この代わりに、校正用パターン３３１又は３３２を校正位置に設置する動作を作業者が行っても良く、或いは、ロボット１００のアーム１６０が行っても良い。アーム１６０を用いて校正用パターン３３１又は３３２を設置すれば、校正のために必要な場合にのみ校正用パターンを自動的に設置することができる。

ステップＳ１３０～Ｓ１７０の処理は、図９で説明した処理と同じである。但し、ステップＳ１７０では、関節Ｊ０を回転させることなく、外部カメラ３０１又は３０２の校正を行った状態と同じ状態で、校正した外部カメラ３０１又は３０２とロボットカメラ１７０を用いて作業が実行される。すなわち、ロボット１００が移動して複数の作業領域ＷＫＡ１，ＷＫＡ２のうちの１つの作業領域にロボット１００が到達する度に、その作業領域を監視する外部カメラ３０１又は３０２の校正処理が実行され、校正処理が終了すると作業が開始される。

以上のように、第２実施形態では、複数の作業領域ＷＫＡ１，ＷＫＡ２の個々の作業領域における作業の開始前に、ロボットカメラ１７０と外部カメラ３０１（又は３０２）の両方で校正用パターン３３１（又は３３２）を撮像することによって外部カメラ３０１（又は３０２）の校正を容易に実行できる。また、外部カメラ３０１（又は３０２）の校正処理後、その作業領域をロボットカメラ１７０と外部カメラ３０１（又は３０２）の両方を用いて監視できるので、その作業領域における作業を正確に監視することが可能である。例えば、ロボット１００の作業中において、ロボットカメラ１７０の視野の一部がロボットアーム１６０で遮蔽されてしまい、ロボットカメラ１７０によって部品やワークを監視できない状態となる可能性がある。このような場合にも、外部カメラ３０１（又は３０２）を用いて作業領域を監視しているので、部品やワークの監視をより確実に行うことが可能である。

なお、第２実施形態において、ロボット１００の移動手段として無人搬送車３４０を利用したが、無人搬送車３４０以外の移動手段でロボット１００を移動させるようにしてもよい。例えば、ロボット１００の基台１１０に移動手段を設けるようにしてもよい。これらの場合にも、ロボット１００が、複数の作業領域の手前の作業位置以外の位置に移動できるように移動手段が構成されていることが好ましい。この場合にも、移動の自由度が高いロボット１００を用いて、外部カメラの校正を容易に実行することが可能である。

C. 他の実施形態
上述した実施形態では、ロボットカメラとして、ロボット１００の頭部１５０に設けられたカメラ１７０を用いていたが、これ以外の部位にロボットカメラを設けてもよい。例えば、ロボットアーム１６０でない部位に設置されたカメラをロボットカメラとして用いて、外部カメラの校正を行っても良い。こうすれば、ロボット１００の基台１１０や筐体などのようなロボットアーム１６０でない部位に設置されたカメラを利用して、外部カメラの校正を容易に行うことが可能である。あるいは、ロボットアーム１６０に設置されたカメラ（ハンドアイ１７５）をロボットカメラとして用いて、外部カメラの校正を行っても良い。これらのいずれの場合にも、ロボットカメラとして３Ｄカメラとして構成できるものを使用すれば、外部カメラの校正処理がより容易である。

また、上述した実施形態では、２つのアーム１６０Ｒ，１６０Ｌを有する双腕ロボットを使用したが、１つのアームを有するロボットを使用することも可能である。また、ロボットの関節の数や種類は任意に変更可能である。

更に、上述した実施形態では、１つの校正用パターンに外部カメラの校正に必要な複数の校正用マーカーＣＭがすべて含まれているが、複数の校正用マーカーＣＭが複数の校正用パターンに分かれて配置されていてもよい。この場合には、複数の校正用パターンがロボットカメラと外部カメラの両方で撮像される。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１００…ロボット、１１０…基台、１２０…胴部、１３０…肩部、１４０…首部、１５０…頭部、１６０，１６０Ｌ，１６０Ｒ…アーム（ロボットアーム）、１６２…モーター、１７０，１７０Ｌ，１７０Ｒ…カメラ（ロボットカメラ，第２カメラ）、１７５，１７５Ｌ，１７５Ｒ…ハンドアイ、１８０Ｌ，１８０Ｒ…ハンド、１９０Ｌ，１９０Ｒ…力センサー、２００…制御装置、２１０…プロセッサー、２１１…関節制御部、２１２…カメラ制御部、２１３…カメラ校正実行部、２１４…変換行列推定部、２２０…メインメモリー、２３０…不揮発性メモリー、２３１…プログラム命令、２３２…ロボットカメラパラメーター、２３３…外部カメラパラメーター、２４０…表示制御部、２５０…表示部、２６０…Ｉ／Ｏインターフェース、３００，３０１，３０２…外部カメラ（第２カメラ）、３２０，３２１，３２２…パーツフィーダー、３３０，３３１，３３２…校正用パターン、３４０…無人搬送車、４００，４１０…パーソナルコンピューター、５００…クラウドサービス

Claims (7)

1. ロボットアームと第１カメラとを有するロボットと、前記ロボットとは別個に設置された第２カメラと、前記ロボットと前記第２カメラとを制御する制御装置と、を備えるロボットシステムであって、
   前記第２カメラは、前記ロボットアームを用いた作業を行う作業領域を前記第１カメラで監視する状態において、前記第１カメラの視野の範囲外となる校正位置を前記第２カメラで監視できるように設置されており、
   前記制御装置は、
   （ａ）前記作業領域における前記作業の実行前に、前記第１カメラによって前記校正位置を監視できるように前記ロボットの関節を駆動し、
   （ｂ）前記校正位置に設置された校正用パターンを前記第１カメラ及び前記第２カメラでそれぞれ撮像して前記校正用パターンのパターン画像をそれぞれ取得し、
   （ｃ）前記第１カメラ及び前記第２カメラでそれぞれ撮像した前記パターン画像と、前記第１カメラに対する既知の校正データである第１校正データとを用いて、前記第２カメラの校正データである第２校正データを求める校正処理を実行し、
   （ｄ）前記校正処理の実行後に、前記作業領域を前記第１カメラで監視しつつ前記作業領域における作業を実行するとともに、前記第２カメラの視野において前記第２カメラによる監視を行いつつ前記ロボットアームを用いた動作を実行する、
   ロボットシステム。
2. 請求項１に記載のロボットシステムであって、
   前記ロボットの前記関節は、前記ロボットの基台に対して前記第１カメラを回動させることが可能なねじり関節である、ロボットシステム。
3. 請求項１又は２に記載のロボットシステムであって、
   前記作業領域と、前記第２カメラの監視対象となる領域とが、重なり合わないように設定されている、ロボットシステム。
4. ロボットアームと第１カメラとを有するロボットと、前記ロボットとは別個に設置された第２カメラと、前記ロボットと前記第２カメラとを制御する制御装置と、を備えるロボットシステムであって、
   前記ロボットは、複数の作業領域の間を移動し、各作業領域において前記ロボットアームを用いた作業を行うことが可能に構成されており、
   前記第２カメラは、前記複数の作業領域をそれぞれ監視できるように設置された複数の第２カメラを含み、
   前記制御装置は、前記ロボットが移動して前記複数の作業領域のうちの１つの作業領域に前記ロボットが到達する度に、
   （ａ）当該作業領域に設置された校正用パターンを前記第１カメラ及び前記第２カメラでそれぞれ撮像して前記校正用パターンのパターン画像をそれぞれ取得し、
   （ｂ）前記第１カメラ及び前記第２カメラでそれぞれ撮像した前記パターン画像と、前記第１カメラに対する既知の校正データである第１校正データとを用いて、前記第２カメラの校正データである第２校正データを求める校正処理を実行し、
   （ｃ）前記校正処理の実行後に、当該作業領域を前記第１カメラと前記第２カメラで監視しつつ当該作業領域における作業を実行する、
   ロボットシステム。
5. 請求項１～４のいずれか一項に記載のロボットシステムであって、
   前記第１カメラは３Ｄカメラであり、
   前記第２カメラは２Ｄカメラである、
   ロボットシステム。
6. 請求項１～５のいずれか一項に記載のロボットシステムであって、
   前記第１カメラは、前記ロボットアームに設置されている、ロボットシステム。
7. 請求項１～６のいずれか一項に記載のロボットシステムであって、
   前記制御装置は、前記校正用パターンの撮像前に、前記第１カメラ及び前記第２カメラで前記校正用パターンを撮像できる位置に、前記ロボットアームを用いて前記校正用パターンを設置させる、ロボットシステム。

Images