以下、本発明を実施するための形態を、図面を参照しながら詳細に説明する。図1は、本発明の実施形態に係るロボットシステムの概略構成を示す説明図である。図2は、本発明の実施形態に係るロボットシステムを示すブロック図である。
図1に示すように、ロボットシステム100は、ロボットアーム101と、ロボットアーム101の先端に取り付けられたエンドエフェクタとしてのロボットハンド102と、無線カメラシステム200と、ロボット制御部としての制御装置300と、を備えている。ロボットアーム101は、複数のリンクが関節で連結された、垂直型の多関節(本実施形態では、6軸関節)のロボットアームである。ロボットアーム101の基端は、作業台500の平面(作業平面)上に固定されている。また、被写体であるワークWは、作業台500の平面上に載置されている。なお、エンドエフェクタがロボットハンド102である場合について説明するが、ワークWに作業を施すためのツール類であってもよい。
無線カメラシステム200は、ロボットアーム用の無線カメラ装置201と、受信アンテナ211と、無線受信部212とを備えている。無線カメラ装置201は、カメラ部202と、送信アンテナ203と、無線送信部204とを有して構成される。図1では、ロボットアーム101によって被写体であるワークWにカメラ部202が正対するように、制御装置300によりロボットアーム101の位置姿勢が制御されている。
制御装置300は、図2に示すように、画像生成部301と、画像計測部302と、軌道生成部303と、ロボット駆動部304と、を有して構成される。
カメラ部202は、被写体であるワークWを撮像するものである。このカメラ部202は、図1に示すように、ロボットアーム101の先端に取り付けられており、位置及び姿勢を自在に変更することができるようになっている。
図3は、無線カメラ装置の構成を示すブロック図である。カメラ部202は、筐体231(図1)と、光学レンズ232(図1)と、シャッタ装置233と、撮像素子234と、ADコンバータ235と、シリアライザ236と、を有している。光学レンズ232は、外部に露出するように筐体231に配置されている。筐体231の内部には、シャッタ装置233、撮像素子234、ADコンバータ235及びシリアライザ236が配置されている。撮像素子234は、CMOSイメージセンサ又はCCDイメージセンサ等の撮像センサである。本実施形態では、カメラ部202は、焦点位置を調整するフォーカス機構を有しておらず、ワーキングディスタンスは一定であるとして説明するが、カメラ部202がフォーカス機構を有していてもよい。ここで、ワーキングディスタンスとは、カメラ部202の光学レンズ232の先端と、光学レンズ232による焦点との距離である。
送信アンテナ203は、カメラ部202の筐体231の外側面に固定して取り付けられている。送信アンテナ203は、鋭い指向性を有する平面型の八木式アンテナである。この送信アンテナ203は、光軸方向に開いている面であれば、いずれの外側面であっても設置可能である。本実施形態では、筐体231の4つの外側面のうち、1つの外側面が支持部材でロボットアーム101に取り付けられるので、送信アンテナ203は、残りの3つの外側面のいずれの外側面であっても設置可能である。また、送信アンテナ203は、レンズ鏡筒が筐体231に対して突き出している場合は、影を小さくするためになるべく前方に設置するとよい。
無線送信部204は、発振器241及び無線変調増幅器242を有して構成され、カメラ部202の筐体231の内部に設けられている。
受信アンテナ211は、ワークWの周囲であって、作業台500の平面上に固定して配置されている。受信アンテナ211は、無指向性または図2で右方に向けて立体角90度以上の広い指向性を有し、図2上の右方から来る電波を受信できるようになっている。
ワークWの位置計測を行って作業を行う場合は、ロボットアーム101によってカメラ部202の位置決めがなされた後、カメラ部202によりワークWの撮像が行われる。撮像された画像データは、無線送信部204により無線通信可能な信号に変換されて、送信アンテナ203を通じて無線で送信される。
無線受信部212は、受信アンテナ211を通じて無線で受信した画像データの信号を復調してシリアルの画像データをリアルタイムに制御装置300に伝送する。制御装置300は、画像データに基づいて位置計測や検査などを行い、ロボットアーム101の動作を制御する。
ここでいうリアルタイムとは、カメラ部202による撮像後、データ転送や計測がロボットアーム101の移動などの他の動作の前に行われることである。特に撮像終了後、一旦画像データを記憶装置などに格納し、制御装置300に伝送するためにデータ送受信が可能なホットスポットに移動する動作や、撮像終了後、データ伝送のためにカメラ部202の姿勢を変えるなどの動作を行わないことを指す。撮像終了後、データの転送前に画像処理を行うものに関しては、データ転送のための前記のような動作をおこなわなければ、転送までの間、ロボットアーム101の動作は行われないのでリアルタイムであるとする。
以下、制御装置300の具体的な動作について説明する。画像生成部301は、無線受信部212から取得したシリアルの画像データから画像を生成する。画像計測部302は、画像生成部301が生成した画像に基づいて、ワークWの位置姿勢を計測する。軌道生成部303は、画像計測部302で計測したワークWの位置姿勢のデータに基づいて、ロボットアーム101及びロボットハンド102の作業軌道を計算する。ロボット駆動部304は、軌道生成部303の指令に従ってロボットアーム101およびロボットハンド102を駆動する。これにより、ロボットアーム101及びロボットハンド102に必要な作業を行わせることができる。
ここで、画像計測部302及び軌道生成部303の計測処理と軌道計算処理は、汎用的なデジタル処理なので、図2では2つに分けて示したが、一つの処理装置で実施することも可能である。なお、ワークWの位置計測や検査、ロボットアーム101の軌道計算などの詳細なアルゴリズムについては、種々の方式が可能であるが、詳細な説明は省略する。
次に、無線カメラ装置201について詳細に説明する。光学レンズ232によって結像された像は、シャッタ装置233によって露光時間を制御された後、撮像素子234にて捉えられ、画素ごとに画像データdaが順次読み出される。画像データdaは、ADコンバータ235によってデジタルデータdpに変換された後、シリアライザ236によって画像の同期信号syncを付加したシリアルデータdsに変換される。
無線変調増幅器242は、発振器241により出力されるミリ波(例えば数十GHz)の無線搬送信号RFcをシリアルデータdsにより1変調して増幅する。その後、無線変調増幅器242は、出力信号RFoを、送信アンテナ203を通じて無線で送信する。なお、シリアルデータに変換するデータの並び順、同期信号の付加、および変調に関する方式や規格は種々あるが、詳細な説明は省略する。
本実施形態では、送信アンテナ203は、カメラ部202の撮像方向に向かって信号を送信する姿勢でカメラ部202に固定されている。
そして、受信アンテナ211は、ロボットアーム101がカメラ部202によりワークWを撮像する姿勢のとき、即ちカメラ部202がワークWを撮像する位置姿勢のときに、送信アンテナ203から信号を受信可能な所定範囲に入る位置に設置されている。換言すると、送信アンテナ203は、ワークWの周囲に配置した受信アンテナ211にて信号が受信可能な指向性を有している。
図4は、実施形態の送信アンテナの指向方向を示す説明図である。詳細には、図4には、受信アンテナ211がカメラ部202の撮像方向に向かって信号を送信する姿勢でカメラ部202に固定された場合に、無線カメラ装置201の位置姿勢を変えてワークWを撮像するときの送信アンテナ203の指向方向を示している。図10は、比較例の送信アンテナの指向方向を示す説明図である。詳細には図10には、受信アンテナ1211,2211がカメラ部の撮像方向に向かって信号を送信する姿勢とは異なる姿勢でカメラ部に固定された場合に、無線カメラ装置1201の位置姿勢を変えてワークWを撮像するときの送信アンテナの指向方向を示している。なお、アンテナには、主指向性(メインローブ)のほかに副指向性(サイドローブ)が存在するが、八木式アンテナでは、その差が大きいのでサイドローブは無視する。
カメラ部202によりワークWを撮像するときのロボットアーム101の姿勢が複数あり、ワークWを撮像するときのカメラ部202の位置姿勢が複数ある。そして、ロボットアーム101の動作によりカメラ部202を、ワークWを撮像するときの各々の位置姿勢にすることで、カメラ部202はワークWを複数の方向から撮像することができる。なお、いずれの位置姿勢であっても、カメラ部202は、ワークWに正対し、ワーキングディスタンスの分、ワークWから離れている。
図4及び図10では、ワークWを3方向から撮像する場合を示している。即ち、無線カメラ装置201,1201をロボットアーム101により位置A,B,Cに移動させ、ワークWの撮像を行う。ここで、一点鎖線で示したのは、各位置A,B,Cでの無線カメラ装置201,1201の送信アンテナの送信指向性である。
図4では、受信アンテナ211は、可能な限り撮像するワークWの近傍であって、ロボットハンド102やカメラ部202がアプローチする方向が開口となるように取り付けられている。なお、図10において、無線カメラ装置1201からの画像データの信号を受信する受信アンテナ1211,2211は、ワークWから離れた位置に配置されている。
図4及び図10において、ロボットアーム101の周りには、別のロボットアーム1101や天井から吊り下げられたツール類1102,1103が配置されている。ツール類1102,1103は、作業時間を短縮するため、別のロボットアーム1101を使って並列で作業を行い、ロボットアーム101と独立して駆動することが可能である。
無線カメラ装置201,1201のカメラ部が撮像中であっても、ツール類1102,1103の位置姿勢は、撮像を妨げなければ任意の位置姿勢をとることができ、また撮像中に位置を変えることも可能となっている。
図10に示す比較例の場合は、無線カメラ装置1201の位置姿勢によって受信アンテナへの指向方向が大きく変わってしまうため、撮像シーンに応じて複数の受信アンテナ1211,2211を用意して順次切り替えていく必要がある。
また図10で無線カメラ装置1201が位置Aにあるときには、指向方向が他のロボットアーム1101やツール類1102,1103のある方向となるため、このままではダイレクトに無線で飛んでくる画像データの信号を受信することはできない。
したがって受信アンテナ1211,2211の指向方向を可変として制御するか、何度か構造物に多重反射した電波をとらえる必要がある。このためには、指向性制御回路や多重反射波と直接波との干渉を考慮した無線受信装置設計などが必要となってくるため、非常に煩雑となる。さらにはロボットアーム1101や並列作業のためツール類1102,1103が動く場合は、動的に高速にそれらを切り替える必要があり、技術的な難易度が高い。
加えて位置Cのように電波が飛ぶ方向が装置の外側を向く場合があったり、反射波を利用するため電波強度を強める必要があったりして、隣接する無線カメラ装置との干渉を考慮しなくてはならない恐れもある。
これに対し、図4に示す本実施形態では、無線カメラ装置201のカメラ部202がワークWを撮像するどの位置及び姿勢であっても、カメラ部202の送信アンテナ203の指向方向は撮像するワークWの方向に向く。つまり、カメラ部202は、ワークWを撮像するどの位置姿勢であっても、撮像方向に向かって信号を送信するので、ワークWに向かって信号を送信することになる。
受信アンテナ211は、ワークWの周囲であって、カメラ部202がいずれの位置姿勢であっても送信アンテナ203から送信された信号を受信可能な所定範囲に配置されている。したがって、1つの受信アンテナ211及び無線受信部212であっても、送信アンテナ203から送信された信号を確実に受信することができる。
また撮像中は、ワークWを撮像するために見通し方向があいている必要があり、画角方向に障害物が存在したり侵入したりする可能性はない。即ち、ロボットアーム1101、ツール類1102,1103がたとえ作業のために許される任意の位置に移動したとしても、カメラ部202による撮像が干渉されることなく、受信アンテナ211を通じて画像データの信号の受信を行うことができる。
また、受信アンテナ211の相対的な位置がほとんど変わらないので、送信アンテナ203の指向性を鋭くすることができ、無線送信部204の消費電力を抑えることができる。
ロボットハンド102による作業位置は、通常、装置の中央付近にとられるので、電波の飛ぶ方向が装置の内向きであり、外部装置との干渉を起こしにくい。さらに直接波により安定した状態で伝送可能なので、電波強度を抑え、隣接する他の無線カメラ装置に対する干渉を防ぐことができるという副次的な効果も有する。
以上のように、送信アンテナ203は、カメラ部202の撮像方向に向かって信号を送信する姿勢でカメラ部202に固定されている。また、受信アンテナ211は、ロボットアーム101がカメラ部202によりワークWを撮像する姿勢のときに送信アンテナ203から信号を受信可能な所定範囲に設置されている。これにより、カメラ部202の位置や姿勢、外部装置の位置にかかわらず、安定して画像データの信号のリアルタイム伝送が可能となる。
次に、受信アンテナ211の配置位置について詳細に説明する。図5は、受信アンテナ211の位置関係を示す模式図である。この図5には、カメラ部202がワークWを撮像する位置姿勢となっているときのカメラ部202の撮像範囲及び送信アンテナ203の指向範囲を示している。図5(a)は撮像時の状況を側方から見た図であり、図5(b)はワークの位置での撮像面を示している。図5(a)及び図5(b)において、点線は、カメラ部202による撮像範囲RBを示し、一点鎖線は、障害物がない場合のカメラ部202に設けた送信アンテナ203からの電波の指向範囲RAを示す。この指向範囲RAは、送信アンテナ203の送信利得がピーク方向の1/2以上となる範囲を示している。
カメラ部202は、ワークWに正対してワークWからワーキングディスタンス(一定の距離)離れた位置で撮像するものとする。また、カメラ部202の光学レンズ232による焦点を通過し、カメラ部202の撮像素子234の受光面に平行な平面を、撮像面Pとする。つまり、撮像面Pは、カメラ部202の光軸方向にカメラ部202からワーキングディスタンス離れた位置を通過する、カメラ部202の撮像素子234の受光面に平行な平面である。この撮像面P上の直線を直線L−L’とする。
図5(b)に示すように、送信アンテナ203は、送信アンテナ203の指向範囲RAがカメラ部202の撮像範囲RBよりも広い指向性のものである。なお、指向範囲RAの範囲外であっても、受信アンテナ211により送信アンテナ203からの信号を受信可能な二点鎖線で示す受信可能範囲RCがある。この受信可能範囲RCは、指向範囲RAを包含している。また、指向範囲RAは、撮像範囲RBを包含している。
図5(a)の直線L−L’上において、送信アンテナ203の指向範囲RAの境界と重なる点が点LA及び点LA’であり、カメラ部202の撮像範囲RBの境界と重なる点が点LB及び点LB’である。また、受信可能範囲RCの境界と重なる点LC及び点LC’である。
図6は、図5に示す直線L−L’上の電波強度を示すグラフである。横軸は直線L−L’上の位置を示し、縦軸は直線L−L’上の電波強度を示している。電波強度は、点LA,LA’、即ち指向範囲RAの境界では、ピーク強度の1/2となり、点LB,LB’付近、即ち撮像範囲RB付近では十分な電波強度が確保されている。
受信アンテナ211が設置される所定範囲は、カメラ部202がワークWを撮像する位置姿勢のときの受信可能範囲RCに包含される範囲に設定されている。より具体的には、所定範囲は、カメラ部202がワークWを撮像する各位置姿勢における複数の受信可能範囲RCが重なる範囲に包含される範囲に設定されている。
このように、受信アンテナ211は、所定範囲として、カメラ部202がワークWを撮像する位置姿勢のときに送信アンテナ203により送信された信号を受信可能な範囲に入る位置に設置されている。
この受信アンテナ211は、送信アンテナ203の指向範囲RAに入る位置に設置されているのが好ましい。つまり、受信アンテナ211が設置される所定範囲は、カメラ部202がワークWを撮像する位置姿勢のときの指向範囲RAに包含される範囲に設定されるのが好ましい。より具体的には、所定範囲は、カメラ部202がワークWを撮像する各位置姿勢における複数の指向範囲RAが重なる範囲に包含される範囲に設定されているのが好ましい。換言すると、送信アンテナ203は、カメラ部202がワークWを撮像する位置姿勢のときに送信アンテナ203の指向範囲RA内に受信アンテナ211が入る姿勢でカメラ部202に固定されているのが好ましい。
このように、受信アンテナ211が、所定範囲として、カメラ部202がワークWを撮像する位置姿勢のときに送信アンテナ203の指向範囲に入る位置に設置されることで、より信号の受信感度が高まり、より安定して画像データの信号を受信することができる。
また、受信アンテナ211は、カメラ部202の撮像範囲RBに入る位置に設置されているのがより好ましい。つまり、受信アンテナ211が設置される所定範囲は、カメラ部202がワークWを撮像する位置姿勢のときの撮像範囲RBに包含される範囲に設定されるのがより好ましい。より具体的には、所定範囲は、カメラ部202がワークWを撮像する各位置姿勢における複数の撮像範囲RBが重なる範囲に包含される範囲に設定されているのがより好ましい。換言すると、送信アンテナ203は、カメラ部202がワークWを撮像する位置姿勢のときに送信アンテナ203の指向範囲RAがカメラ部202の撮像範囲RBを包含する姿勢でカメラ部202に固定されているのが好ましい。
このように、受信アンテナ211が、所定範囲として、カメラ部202がワークWを撮像する位置姿勢のときにカメラ部202の撮像範囲に入る位置に設置されることで、更に信号の受信感度が高まる。これにより、更に安定して画像データの信号を受信することができる。
また、カメラ部202の撮像範囲RBに受信アンテナ211が入っており、送信アンテナ203から受信アンテナ211が見通し位置にあることが保証されている。したがって、ワークWまたはワークWを保持する治具(不図示)、ロボットアーム101やその先端に取り付けられたロボットハンド102の位置によって電波が遮られる恐れがない。すなわち、ワークWまたはワークWを保持する治具、ロボットアーム101の先端に取り付けられたロボットハンド102の位置などによらず、受信アンテナ211は直接電波を受けることができるため、安定した受信が可能である。
また、画像上に受信アンテナ211が写るため、撮像位置の初期設定をする際にカメラ部202、ワークW、及び受信アンテナ211の位置関係を補正することが可能となる。すなわち、ロボットアーム101や治具の製造誤差や組み立て誤差などがあっても、画像上にワークWおよび受信アンテナ211が写っているので、理想状態の画像を保存しておけば画像情報を元にして、パターンマッチングなどで最適な位置を求めればよい。そして、ロボットアーム101を移動することにより補正することが可能となる。
また同様にして温度上昇や機械的な衝撃などによってワークWや治具位置、ロボットアーム101の状態に変化があっても、画像情報を元にして最適なカメラ位置になるようにロボットアーム101を駆動して補正することが可能となる。
ところで、カメラ部202の撮像方向には光学レンズ232があるため、撮像方向の中心軸すなわち光軸と、送信アンテナ203の送信利得が最大となる軸との間にはオフセットが生じる。
図7は、実施形態のカメラ部からワーキングディスタンス離れた位置での撮像範囲及び指向範囲を示す図である。図7(a)は、カメラ部202の光軸LOと送信アンテナ203の送信利得が最大となる軸Mとを示す模式図である。図7(b)は、カメラ部202の位置姿勢を変えて撮像する際の撮像面Pにおける撮像範囲と指向範囲とを示す平面図である。
図11は、比較例のカメラ部からワーキングディスタンス離れた位置での撮像範囲及び指向範囲を示す図である。図11(a)は、カメラ部1202の光軸LOと送信アンテナ1203の送信利得が最大となる軸Mとを示す模式図である。図11(b)及び図11(c)は、カメラ部1202の位置姿勢を変えて撮像する際の撮像面Pにおける撮像範囲と指向範囲とを示す平面図である。
図11(a)に示すように、カメラ部1202の光軸LOと送信アンテナ1203の最大送信利得の軸Mとが平行である場合、カメラ部1202の破線で示す撮像範囲と、送信アンテナ1203の一点鎖線で示す指向範囲とがずれている。
図11(b)では、適切な指向範囲であるが、光軸LOと送信利得が最大となる軸Mとのオフセットが大きく、カメラ部1202がワークに正対したときに撮像範囲が指向範囲に含まれない。また、図11(c)では、光軸LOと軸Mとのオフセットは小さいが、指向性が鋭く、指向範囲が撮像範囲をカバーしていない。図11(b)や図11(c)の場合のように、撮像する際の位置姿勢によっては、受信アンテナ1211において電波を受信できない場合がある。
これに対し本実施形態では、図7(a)に示すように、物理的または電気的に光軸LOと送信アンテナ203の送信利得が最大となる軸Mとの間に角度をつけている。具体的に説明すると、送信アンテナ203は、カメラ部202の光軸LOと送信アンテナ203の送信利得が最大となる軸Mとが、カメラ部202からワーキングディスタンス離れた位置で交わる姿勢でカメラ部202に固定されている。
従って、カメラ部202がどのような位置姿勢でワークWを撮像しても、カメラ部202からワーキングディスタンス離れた位置では、破線で示す撮像範囲と一点鎖線で示す指向範囲との重なりを大きくすることができる。これにより、受信アンテナ211は、送信アンテナ203からの信号を確実に受信することが可能となる。特に、受信アンテナ211が撮像範囲に入る位置に配置されている場合には、受信アンテナ211は、より確実に送信アンテナ203から送信された信号を受信することが可能となる。
なお、本発明は、以上説明した実施形態に限定されるものではなく、多くの変形が本発明の技術的思想内で当分野において通常の知識を有する者により可能である。
上記実施形態では、送信アンテナ203が八木式アンテナである場合について説明したが、これに限定されない。送信アンテナ203は、例えばミリ波無線において用いられる、パッチアンテナなどの平面アンテナであってもよい。このアンテナはアンテナが形成された平面の法線方向に緩い指向性を有するアンテナである。
この場合の送信アンテナ203の設置位置は、図8(a)のように、筐体231のレンズ鏡筒のある面に設置してもよいし、図8(b)のように、筐体231の4つある外側面のいずれかに送信アンテナ203を有するアンテナ基板を立設してもよい。
また応用例としてステレオカメラへの適用も考えられる。この場合、図8(c)のように、2つのカメラ部2021,2022の間、すなわちベースライン上に送信アンテナ203を置けば筐体231の体積を増やさずアンテナ実装が可能となる。
また、送信アンテナ203が、八木式アンテナのような面内方向に指向方向をもつアンテナの場合は、図8(d)のように、筐体231の上面に送信アンテナ203を実装してもよい。
また、図8(e)のように、筐体231の内部であって、2つのカメラ部2021,2022の間に実装し、カメラ前面(レンズのある面)に電波放射のための開口231aを設ければよい。
また、上記実施形態では、受信アンテナ211の取り付け部位が作業台500の平面上に固定した場合について説明したが、これに限定するものではない。例えば図9(a)に示すように、受信アンテナ211を被写体であるワークWを固定するチャック40の上面に設置してもよい。また、例えば図9(b)に示すように、複数の部品W1〜W8を供給する供給トレー41の1か所を空きとして、そこに受信アンテナ211を設置してもよい。
また、上記実施形態では、送信アンテナ203の指向方向が主方向のみである場合について説明したが、指向方向が主方向以外に複数あってもよい。送信アンテナ203として、混信が問題にならなければ、例えばダイポールアンテナのような2つの指向性を有するアンテナも使用可能である。ダイポールアンテナのように対称な双指向性のアンテナを用いる場合は、どちらか片方を撮像方向に向ければよい。ただし混信を起こさないように送信に用いない側のメインローブには十分注意すればよい。
また、上記実施形態では、ミリ波などの広帯域で直進性の高い電波を用いた無線カメラ装置の場合について説明したが、光を用いた無線カメラ装置でも本発明を適用することが可能であり、同様の効果を得ることができる。ミリ波の場合は、金属体表面である程度反射が起きるが、光の場合は鏡面でないと反射強度は著しく落ちるため、本発明の効果はより大きくなる。ただし、画像に影響を与えないように赤外光や紫外光のようにセンサ感度のない波長を用いるか、或いはカメラ部にフィルタを設けて通信光に感光しないよう工夫すればよい。
また、上記実施形態では、垂直型の多関節のロボットアームに無線カメラ装置を搭載する場合について説明したが、水平型の多関節のロボットアームや、パラレルリンクのロボットアームに無線カメラ装置を搭載しても本発明は適用可能である。
また、上記実施形態では、ロボットアームの先端にエンドエフェクタを取り付ける場合について説明したが、エンドエフェクタの代わりに、無線カメラ装置を取り付ける場合であっても本発明は適用可能である。