JP6608977B2

JP6608977B2 - 物品搬送システム

Info

Publication number: JP6608977B2
Application number: JP2018010493A
Authority: JP
Inventors: 雅文大場
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-01-25
Filing date: 2018-01-25
Publication date: 2019-11-20
Anticipated expiration: 2038-01-25
Also published as: US10703577B2; CN110081816A; DE102019101005A1; US20190225430A1; JP2019128274A; CN110081816B; DE102019101005B4

Description

本発明は、物品搬送システムに関するものである。

従来、コンベヤによって搬送されてくる車体等の大型の物品の位置および姿勢に合わせてハンドリング等の作業を行う場合には、３つのカメラによって物品に設けられた３つの既知標点をそれぞれ撮影し、取得された３つの既知標点の位置関係から物品の位置および姿勢を３次元的に計測している（例えば、特許文献１参照。）。

特開平７−１３６１３号公報

しかしながら、コンベヤによって物品を移動させながら物品の位置および姿勢を３次元的に計測することは一般に困難であり、コンベヤを一旦停止させた状態で行われている。コンベヤを停止して計測を行うと、作業効率が低下して生産性が損なわれるという不都合がある。
本発明は、搬送装置を停止することなく物品を移動させながら物品の位置および姿勢の３次元的な計測を精度よく行うことができる物品搬送システムを提供することを目的としている。

本発明の一態様は、互いに既知の位置関係に配置された３以上の特徴点を備える物品を搬送する搬送装置と、該搬送装置により搬送されている前記物品の各前記特徴点を撮影するカメラと、該カメラにより取得された画像から各前記特徴点の位置を計測する位置計測部と、前記搬送装置による前記物品の位置または移動速度を検出する検出部と、該検出部により検出された位置または移動速度と、前記カメラにより各前記画像が取得される時刻のずれとに基づいて、前記位置計測部により計測された各前記特徴点の位置を同一時刻に配置されていた位置に補正する位置補正部と、該位置補正部により補正された各前記特徴点の位置と、前記カメラの位置とに基づいて、各前記特徴点を通過する視線を算出する視線算出部と、該視線算出部により算出された３以上の視線に各前記特徴点の位置を頂点とする既知形状の多角形を当てはめて少なくとも前記物品の３次元的な位置を算出する位置算出部とを備える物品搬送システムである。

本態様によれば、搬送装置によって物品が搬送されてくると、物品上に備えられた３以上の特徴点がカメラによって撮影され、取得された画像から各特徴点の位置が位置計測部により計測される。また、検出部により搬送装置による物品の位置または移動速度が検出され、カメラにより各画像が取得される時刻のずれと位置または移動速度とに基づいて、位置計測部により計測された特徴点の位置が同一時刻に配置されていた位置に補正される。

補正された各特徴点の位置と、カメラの位置とに基づいて、各特徴点を通過する視線が視線算出部により算出される。そして、位置算出部によって、視線算出部により算出された３以上の視線に各特徴点の位置を頂点とする多角形が当てはめられ、多角形の位置により物品の位置を算出することができる。
すなわち、物品を移動させながら各特徴点を含む画像が異なる時刻に取得されても、画像から算出された３以上の特徴点の位置が同一時刻に配置されていた位置に補正されるので、搬送装置を停止することなく物品を移動させながら少なくとも物品の位置の３次元的な計測を行うことができる。

上記態様においては、前記物品が３つの前記特徴点を備え、前記算出部が、前記視線算出部により算出された３本の視線に各前記特徴点の位置を頂点とする三角形を当てはめて前記物品の３次元的な位置および姿勢を算出してもよい。
この構成により、位置補正部により補正された３つの特徴点の位置とカメラの位置とに基づいて３本の視線が視線算出部により算出され、算出部により三角形が３本の視線に当てはめられる。当てはめられた３角形の位置および傾きにより搬送装置によって搬送されている物品の位置および姿勢を算出することができる。
位置および傾きを算出するための最小限の頂点を有する多角形である三角形を用いることによって、演算時間を短縮して、リアルタイムに物品の３次元的な位置および姿勢を算出することができる。

また、上記態様においては、前記カメラを３つ備え、各前記カメラが、それぞれ別個の前記特徴点を撮影可能な位置に配置されていてもよい。
この構成により、３つのカメラによって３つの別個の特徴点を撮影することにより、より短時間で物品の位置および姿勢を算出するための画像を取得することができる。

また、上記態様においては、各前記特徴点を撮影可能な位置に前記カメラを移動可能なロボットを備えていてもよい。
この構成により、ロボットの作動によりカメラを移動させて各特徴点を撮影することができ、必要なカメラの数を削減することができる。

また、上記態様においては、前記検出部が、前記搬送装置に備えられたエンコーダであってもよい。
この構成により、エンコーダにより検出された搬送装置による物品の移動速度を用いて、簡易に、かつ、精度よく、各特徴点の位置を補正することができる。

また、上記態様においては、前記検出部が、前記カメラにより撮影された前記画像に基づいて前記物品の位置または移動速度を検出してもよい。
この構成により、搬送装置による物品の移動速度を検出する特別のセンサを用意する必要がなく、物品の位置および姿勢を検出するためのカメラにより物品の移動速度も検出して、各特徴点の位置を補正することができる。

本発明によれば、搬送装置を停止することなく物品を移動させながら物品の位置および姿勢の３次元的な計測を精度よく行うことができるという効果を奏する。

本発明の一実施形態に係る物品搬送システムを示す全体構成図である。図１の物品搬送システムに備えられる演算装置を示すブロック図である。図１の物品搬送システムにおいて水平に配置された車体の円形孔を撮影するカメラの視線に既知形状の三角形を当てはめた状態を示す図である。図１の物品搬送システムにおいて水平に対して傾斜して配置された車体の円形孔を撮影するカメラの視線に既知形状の三角形を当てはめた状態を示す図である。図１の物品搬送システムの変形例であって、各カメラの撮影時刻の遅れ時間を記憶するデータベースの一例を示す図である。図１の物品搬送システムの他の変形例であって、車体の搬送速度を画像から求める場合を説明する図である。図１の物品搬送システムの他の変形例であって、複数のロボットの制御装置がセル制御装置に接続されている場合を説明する模式図である。

本発明の一実施形態に係る物品搬送システム１について、図面を参照しながら以下に説明する。
本実施形態に係る物品搬送システム１は、図１に示されるように、車体（物品）Ｏを搬送するコンベヤ（搬送装置）２と、コンベヤ２に備えられ、コンベヤ２によって搬送されている車体Ｏの搬送速度（移動速度）を検出するエンコーダ（移動速度検出部、検出部）３と、コンベヤ２の近傍に設置され、コンベヤ２によって搬送されている車体Ｏの下方から、車体Ｏの下面に設けられた３つの円形孔（特徴点）Ａ，Ｂ，Ｃを撮影する３つのカメラ４Ａ，４Ｂ，４Ｃと、カメラ４Ａ，４Ｂ，４Ｃにより取得された画像およびエンコーダ３により検出された搬送速度を用いて車体Ｏの位置および姿勢を算出する演算装置（図２参照。）５とを備えている。演算装置５は、例えば、コンベヤ２の付近に設置され、車体Ｏに対して作業を行うロボット６の制御装置７内に備えられている。

コンベヤ２は、例えばベルトコンベヤであって、車体Ｏを搭載して一方向に搬送するベルト８を備えている。ベルト８はモータ９により駆動される。エンコーダ３はモータ９に備えられ、モータ９の回転角度を検出している。

３つのカメラ４Ａ，４Ｂ，４Ｃは、図１に示されるように、３つの円形孔Ａ，Ｂ，Ｃのいずれかをそれぞれ略同一の時刻に撮影することができる位置に配置されている。
各カメラ４Ａ，４Ｂ，４Ｃは、画像を取得したときには、取得された画像とともにその画像を取得した時刻の情報を出力する。

演算装置５は、エンコーダ３により検出された搬送速度およびカメラ４Ａ，４Ｂ，４Ｃにより取得された画像および画像を取得した時刻の情報を受け取る。演算装置５は、図２に示されるように、カメラ４Ａ，４Ｂ，４Ｃから受け取った画像を処理して画像内における円形孔Ａ，Ｂ，Ｃの中心位置（図３参照。）Ｐ_１，Ｐ_２，Ｐ_３を計測する位置計測部１０を備えている。また、演算装置５は、位置計測部１０により計測された円形孔Ａ，Ｂ，Ｃの中心位置Ｐ_１，Ｐ_２，Ｐ_３、エンコーダ３から受け取った搬送速度およびカメラ４Ａ，４Ｂ，４Ｃから受け取った画像を取得した時刻の情報を用いて円形孔Ａ，Ｂ，Ｃの中心位置Ｐ_１，Ｐ_２，Ｐ_３を補正する位置補正部１１を備えている。

さらに具体的には、位置補正部１１は、１つのカメラ（以下、基準カメラとも言う。）４Ａにより取得された画像において位置計測部１０により計測された円形孔Ａの中心位置Ｐ_１を基準として、他の２つのカメラ４Ｂ，４Ｃにより取得された２枚の画像のそれぞれにおいて位置計測部１０により計測された円形孔Ｂ，Ｃの中心位置Ｐ_２，Ｐ_３を補正する。

すなわち、車体Ｏは時々刻々移動しているため、基準カメラ４Ａによる撮影時刻と他の２つのカメラ４Ｂ，４Ｃによる撮影時刻とにずれが存在する場合、３つのカメラ４Ａ，４Ｂ，４Ｃにより取得された画像から検出された３つの円形孔Ａ，Ｂ，Ｃの相対位置は現実の車体Ｏに設けられている円形孔Ａ，Ｂ，Ｃの相対位置とは相違してしまう。

そこで、位置補正部１１は、カメラ４Ａ，４Ｂ，４Ｃから受け取った画像を取得した時刻の情報から基準カメラ４Ａと他のカメラ４Ｂ，４Ｃとの撮影時刻のずれ（時間差）を算出し、算出された時間差にエンコーダ３から受け取った搬送速度を乗算することにより、その時間差間における移動量を算出する。そして、位置補正部１１は、算出された移動量を他のカメラ４Ｂ，４Ｃにより取得された画像から計測された円形孔Ｂ，Ｃの中心位置Ｐ_２，Ｐ_３に加算する。これにより、他のカメラ４Ｂ，４Ｃによる画像から計測された円形孔Ｂ，Ｃの中心位置Ｐ_２，Ｐ_３を、基準カメラ４Ａによる画像の取得時刻に円形孔Ａが配置されていた位置に補正することができる。

また、演算装置５は、補正された各円形孔Ａ，Ｂ，Ｃの中心位置Ｐ１，Ｐ２，Ｐ３と、各カメラ４Ａ，４Ｂ，４Ｃの中心位置Ｐ１，Ｐ２，Ｐ３、例えば、先端レンズの中心位置とを結ぶ視線ａ，ｂ，ｃを算出する視線算出部１２と、算出された３本の視線ａ，ｂ，ｃに既知形状の三角形の各頂点を当てはめて車体Ｏの位置および姿勢を算出する位置姿勢算出部（位置算出部）１３とを備えている。
３本の視線ａ，ｂ，ｃのうち、いずれの２本の視線ａ，ｂ，ｃも平行に近くなく、視線ａ，ｂ，ｃ同士のなす角度が、好ましくは６０°以上となる方向に向けて３つのカメラ４Ａ，４Ｂ，４Ｃが配置されている。

ここで、３本の視線ａ，ｂ，ｃに三角形の各頂点を当てはめるとは、既知形状の三角形の３つの頂点が全ていずれかの視線ａ，ｂ，ｃ上に配置されるように三角形を配置することを意味する。当てはめる三角形としては、例えば、車体Ｏが所定の角度、例えば、水平に配置されている場合の３つの円形孔Ａ，Ｂ，Ｃの中心位置Ｐ_１，Ｐ_２，Ｐ_３を結ぶ三角形そのものまたはその相似形である。

３つの円形孔Ａ，Ｂ，Ｃの中心位置Ｐ_１，Ｐ_２，Ｐ_３を結ぶ三角形そのものを当てはめると、車体Ｏが水平であれば、図３に示されるように、当てはめられた三角形の３つの頂点は３つの円形孔Ａ，Ｂ，Ｃの中心位置Ｐ_１，Ｐ_２，Ｐ_３に一致する。一方、車体Ｏが傾いている場合には、図４に示されるように、車体Ｏが水平な場合と比較して算出される視線ａ，ｂ，ｃの角度が異なるため、視線ａ，ｂ，ｃに当てはめられた三角形の傾きが変化する。すなわち、当てはめられた三角形の位置、例えば重心位置を算出することにより車体Ｏの位置を算出し、当てはめられた三角形の傾きを算出することにより車体Ｏの姿勢を算出することができる。

このように本実施形態に係る物品搬送システム１によれば、車体Ｏに設けた３つの円形孔Ａ，Ｂ，Ｃの位置と３つのカメラ４Ａ，４Ｂ，４Ｃの位置とに基づいて取得された３つの画像から３本の視線ａ，ｂ，ｃを求め、求めた３本の視線ａ，ｂ，ｃに当てはめられる既知形状の三角形の重心位置および角度から車体Ｏの位置および姿勢を算出することができる。この場合に、３つの円形孔Ａ，Ｂ，Ｃの位置として、位置補正部１１により補正されることにより、同一時刻に配置されていたのと等価な位置を用いるので、３つのカメラ４Ａ，４Ｂ，４Ｃによる撮影時刻が厳密に一致していなくても、車体Ｏをコンベヤ２によって移動しながら、車体Ｏの３次元的な位置および姿勢を精度よく計測することができるという利点がある。

すなわち、３つのカメラ４Ａ，４Ｂ，４Ｃを同期させて３つの円形孔Ａ，Ｂ，Ｃを撮影する場合であっても、撮影指令信号の伝播遅延やカメラ４Ａ，４Ｂ，４Ｃの個体差等により、３つのカメラ４Ａ，４Ｂ，４Ｃによる撮影時刻を厳密に一致させることが困難な場合もある。そのような場合であっても撮影時刻の時間差に応じて計測された円形孔Ａ，Ｂ，Ｃの中心位置Ｐ_１，Ｐ_２，Ｐ_３を補正するので、車体Ｏの３次元的な位置および姿勢を精度よく計測することができる。

そして、本実施形態に係る物品搬送システム１によれば、当てはめる多角形として頂点の数が最も少ない三角形を用いることにより、比較的少ない計算量で車体Ｏの３次元的な位置および姿勢をリアルタイムに精度よく計測することができる。
例えば、コンベヤ２の近傍にロボット６を配置して、車体Ｏに対して作業を行わせる場合に、演算装置５により精度よく計測された車体Ｏの３次元的な位置および姿勢に合わせてロボット６をトラッキング制御することにより、コンベヤ２を停止することなく、作業効率の低下を防止して生産性を向上することができるという利点がある。

また、本実施形態においては、各カメラ４Ａ，４Ｂ，４Ｃと円形孔Ａ，Ｂ，Ｃの中心位置Ｐ_１，Ｐ_２，Ｐ_３との間に形成される３本の視線ａ，ｂ，ｃを６０°以上の角度をなすように配置しているので、三角形の当てはめを一意に行うことができる。すなわち、既知形状の三角形の３本の視線ａ，ｂ，ｃへの当てはめを精度よく行うことができ、車体Ｏの位置および姿勢を精度よく計測することができるという利点がある。

なお、本実施形態においては、特徴点として円形孔Ａ，Ｂ，Ｃの中心位置Ｐ_１，Ｐ_２，Ｐ_３を例示したが、これに代えて、他の任意の特徴点を採用してもよい。また、３つの円形孔Ａ，Ｂ，Ｃの中心位置Ｐ_１，Ｐ_２，Ｐ_３に基づく３本の視線ａ，ｂ，ｃを算出し、三角形を当てはめることとしたが、４つ以上の特徴点を計測し、四角形以上の多角形を当てはめることにしてもよい。

また、本実施形態においては、３つのカメラ４Ａ，４Ｂ，４Ｃから撮影時刻の情報を受け取って、カメラ４Ａ，４Ｂ，４Ｃ間の撮影時刻の時間差を算出し、位置を補正する際に使用することとした。これに代えて、図５に示されるように、各カメラ４Ａ，４Ｂ，４Ｃによる撮影時刻の時間差Δｔ_１，Δｔ_２を、例えば、システムの設置時等に予め測定しておき、データベースに記憶しておいてもよい。これにより、カメラ４Ａ，４Ｂ，４Ｃからの撮影時刻の情報を受け取ることなく、データベースの参照によって簡易に位置の補正を行うことができる。

また、本実施形態においては、コンベヤ２を駆動するモータ９に設けたエンコーダ３により物品である車体Оの搬送速度を検出することとしたが、これに代えて、エンコーダ３を用いることなく、カメラ４Ａ，４Ｂ，４Ｃにより取得された画像を処理して搬送速度を算出することにしてもよい。
例えば、図６に示されるように、上記３つのカメラ４Ａ，４Ｂ，４Ｃのうちの少なくとも１つにおいて所定時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に同一視野において３枚の画像が取得されたときに、各画像において画像内に含まれている円形孔Ａ，Ｂ，Ｃを認識し、認識された円形孔Ａ，Ｂ，Ｃの中心位置Ｐ_１，Ｐ_２，Ｐ_３を算出する。

そして、時間軸方向に隣接して取得された画像内の円形孔Ａ，Ｂ，Ｃの中心位置Ｐ_１，Ｐ_２，Ｐ_３と搬送方向の中心位置Ｐ_１，Ｐ_２，Ｐ_３との差分を撮影の時間間隔Δｔで除算することにより搬送速度Ｖを算出する。同一円形孔Ａ，Ｂ，Ｃについて搬送速度Ｖが複数回算出されたときにはその平均値あるいは最小自乗法等によってフィッティングされた値を搬送速度Ｖとして出力すればよい。
仮に、円形孔Ａ，Ｂ，Ｃが一時的に検出されない場合には、直前の搬送速度Ｖを出力し続ければよい。

また、本実施形態においては、３つのカメラ４Ａ，４Ｂ，４Ｃをコンベヤ２近傍に固定して、各カメラ４Ａ，４Ｂ，４Ｃがいずれか１つの円形孔Ａ，Ｂ，Ｃを撮影することとした。これに代えて、コンベヤ２近傍に配置され、車体Ｏに対して作業を行うロボット６の手首にカメラ（ハンドカメラ）を搭載し、ロボット６を動作させて手首に搭載されたカメラを移動させ、３つの円形孔Ａ，Ｂ，Ｃを異なる時刻に撮影して３枚の画像を取得してもよい。

この場合においても、３つの円形孔Ａ，Ｂ，Ｃを同一時刻に撮影したのと等価な位置に３枚の画像から計測した円形孔Ａ，Ｂ，Ｃの中心位置Ｐ_１，Ｐ_２，Ｐ_３を補正するので、車体Ｏの位置および姿勢を精度よく計測することができる。
車体Ｏに対して作業を行うロボット６とは別のロボットに単一または複数のカメラ４Ａ，４Ｂ，４Ｃを装着して撮影することにしてもよい。

また、本実施形態においては、物品として車体Ｏを例示したが、これに限定されるものではなく、本発明に係る物品搬送システム１は、他の任意の物品の位置および姿勢を、コンベヤ２によって搬送しながら精度よく計測する場合に採用してもよい。

また、本実施形態においては、演算装置５がロボット６の制御装置７内に備えられている場合について説明した。これに代えて、図７に示されるように、複数のロボット６が同一の車体Ｏに対して作業を行う場合に、各ロボット６の制御装置７を接続するセル制御装置２０を設け、セル制御装置２０が演算装置５を備えることにしてもよい。カメラ４Ａ，４Ｂ，４Ｃおよびエンコーダ３の出力をセル制御装置２０に入力し、セル制御装置２０内に置いて車体Ｏの位置および姿勢を計測することにすれば、メインテナンス等でいずれかのロボット６の電源が一時的にＯＦＦ状態になったとしても、他のロボット６が利用するための車体Ｏの位置および姿勢の計測を継続することができる。

１物品搬送システム
２コンベヤ（搬送装置）
３エンコーダ（移動速度検出部、検出部）
４Ａ，４Ｂ，４Ｃカメラ
６ロボット
１０位置計測部
１１位置補正部
１２視線算出部
１３位置姿勢算出部（位置算出部）
Ａ，Ｂ，Ｃ円形孔（特徴点）
Ｏ車体（物品）
Ｖ搬送速度（移動速度）

Claims

互いに既知の位置関係に配置された３以上の特徴点を備える物品を搬送する搬送装置と、
該搬送装置により搬送されている前記物品の各前記特徴点を撮影するカメラと、
該カメラにより取得された画像から各前記特徴点の位置を計測する位置計測部と、
前記搬送装置による前記物品の位置または移動速度を検出する検出部と、
該検出部により検出された位置または移動速度と、前記カメラにより各前記画像が取得される時刻のずれとに基づいて、前記位置計測部により計測された各前記特徴点の位置を同一時刻に配置されていた位置に補正する位置補正部と、
該位置補正部により補正された各前記特徴点の位置と、前記カメラの位置とに基づいて、各前記特徴点を通過する視線を算出する視線算出部と、
該視線算出部により算出された３以上の視線に各前記特徴点の位置を頂点とする既知形状の多角形を当てはめて少なくとも前記物品の３次元的な位置を算出する位置算出部とを備える物品搬送システム。
前記物品が３つの前記特徴点を備え、
前記位置算出部が、前記視線算出部により算出された３本の視線に各前記特徴点の位置を頂点とする三角形を当てはめて前記物品の３次元的な位置および姿勢を算出する請求項１に記載の物品搬送システム。
前記カメラを３つ備え、
各前記カメラが、それぞれ別個の前記特徴点を撮影可能な位置に配置されている請求項２に記載の物品搬送システム。
各前記特徴点を撮影可能な位置に前記カメラを移動可能なロボットを備える請求項１または請求項２に記載の物品搬送システム。
前記検出部が、前記搬送装置に備えられたエンコーダである請求項１から請求項４のいずれかに記載の物品搬送システム。
前記検出部が、前記カメラにより撮影された前記画像に基づいて前記物品の位置または移動速度を検出する請求項１から請求項４のいずれかに記載の物品搬送システム。