JP7360406B2 - ロボット型ピッキングシステムのための拡張現実可視化 - Google Patents

Description

［関連出願の相互参照］
本出願は、２０１８年６月２６日提出の「ロボット型ピッキングシステムのための拡張現実可視化」と題する米国仮特許出願第６２／６９０１４１号の優先日の利益を主張する。

本発明は、自動化ロボットピッキングシステム、特に、１台又は複数台のロボットを含む視覚追跡システムを生産準備するために拡張現実表示機器を使用するシステムに関係し、システムは、長い立上げ時間を削減するために、システムを構成する部品、コンベア、ロボット及びセンサに診断及び生産データ（境界線を含めて）を重ねてロボット型ピッキングシステムパラメータの直観的生産調整を与える。

工業用部品ピックアンドプレースロボットは、ロボットがランダムに置かれランダムな向きの部品をコンベアから拾い上げて（ピック）、別のコンベア又は機械作動のために又は容器の中に特定の場所及び特定の向きに部品を置ける（プレース）ようにする視覚システムを含む非常に精巧な機械である。しかし、複数の視覚追跡システムを生産準備させるのは難しく時間が掛かる。

視覚追跡ロボット型ピッキングシステムを立ち上げるための典型的なリードタイムは、システムにおいてロボット１台当たり約１－１.５月である。又、エラーなしに所望の部品処理速度を達成するようにシステムを調整するのは、労働及び部品の点でコスト高である。リードタイムが長い主な理由は、部品がコンベア上で移動するとき、アンピック部品をゼロにして所望のピッキング率を得るようにシステムを調整するのは非常に困難であるためである。視覚感知の確認、ロボット間の負荷平衡、モーション調整及び診断の問題に関して課題がある。このような視覚追跡ロボット型ピッキングシステムを実現化する顧客は、部品処理速度を最適化しながらシステム立上げのためのリードタイムを最小化するための方式を必要とする。

上記の状況を考慮して、視覚追跡ロボット型ピッキングシステムのためにパラメータを生産調整するための対話式拡張現実（ＡＲ）ツールを提供することが望ましい。

本開示の教示によれば、視覚追跡ロボット型ピッキングシステムのためにパラメータを生産調整するための拡張現実（ＡＲ）システムが開示される。ロボット型ピッキングシステムは、ランダムに置かれランダムな向きの部品をコンベアベルトから拾い上げて第２の移動するコンベアベルト又はパレットなどの静止装置上の使用可能な位置に部品を置くように構成された１台又は複数台のロボットを含む。カメラ及びフォトアイなどのセンサは、供給コンベア上の部品の位置及び向きを識別する。ＡＲシステムは、上流／放棄／下流境界線位置を含めたピッキングシステム調整パラメータを可視化して、制御できるようにし、リアルタイムのロボットピック／プレース作動を境界線の仮想表示と一緒に見えるようにし、ロボットによる部品処理速度及び部品割当てなどのシステム性能パラメータを見えるようにできる。ＡＲシステムは、又、現実部品の代わりにあるいは現実部品に加えて、仮想部品をシミュレーションにおいて使用できるようにする。

本開示の機器及び方法の付加的特徴は、添付図面と一緒に下記の説明及び請求項を読めば明らかになるだろう。

本開示の１つの実施形態に従った視覚追跡ロボット型ピッキングシステムのためにパラメータを生産調整するためのシステムの図である。 本開示の１つの実施形態に従った、境界線及び部品の仮想表示を含む２台ロボット式ピッキングシステムの拡張現実（ＡＲ）表示の図である。 本開示の１つの実施形態に従った、ロボット型ピッキングシステムの図であり、ＡＲタブレット機器が作業セルにおける視覚マーカーを画像化することによって作業セルに対するその位置及び向きを較正している。 本開示の１つの実施形態に従った、図３のシステムの図であり、ＡＲタブレット機器が、ロボットの認識可能部品を画像化することによって作業セルに対するその位置及び向きを較正している。 本開示の１つの実施形態に従った、インバウンド及びアウトバウンドコンベア上の両方の境界線の仮想表示を含む、ロボット型ピッキングシステムのＡＲ表示の図である。 本開示の１つの実施形態に従った、ロボットによってピックアンドプレースされる物理的現実部品を含む、図５のロボット型ピッキングシステムのＡＲ表示の図である。 本開示の１つの実施形態に従った、ロボットによってピックアンドプレースされる仮想部品を含むロボット型ピッキングシステムのＡＲ表示の図であり、次善の境界線配置が部品損失を生じている。 本開示の１つの実施形態に従った、ロボットによってピックアンドプレースされる仮想部品を含む図７のロボット型ピッキングシステムのＡＲ表示の図であり、ＡＲ機器によって得られた改良された境界線配置が部品損失を排除する。 本開示の１つの実施形態に従った、境界線及び機能パラメータのＡＲ表示を含む、ロボット型ピッキングシステムのＡＲ表示の図である。 本開示の１つの実施形態に従った、視覚追跡ロボット型ピッキングシステムの拡張現実構成のための方法のフローチャートである。

視覚追跡ロボット型ピッキングシステムの拡張現実構成のための方法及びシステムに関する本開示の実施形態の以下の論証は、単なる代表的なものであり、開示される機器及び技法又はその応用及び使用を限定するためのものではない。

ロボット型ピッキングシステムは、多くの業種において非常に貴重な生産性ツールであることが知られている。ロボット型ピッキングシステムは、成形又は機械加工されたばかりの部品又はマフィン又はキャンディなどの食品でコンベア上にランダムな位置及び向きで置かれたものなどをコンベアベルトから拾い上げて、包装容器又は第２コンベアに特定の向き及び位置で部品を置ける。数台のロボットを、要求される量の部品を処理するために、コンベアベルトに沿って直列に配置できる。

これらのシステムは、非常に生産的であるが、視覚追跡ロボット型ピッキングシステムを立ち上げるための典型的なリードタイムは、システムのロボット当たり約１－１.５月である。又、エラーなく所望の部品処理速度を達成するようにシステムを調整することは、部品及び労働の点でコスト高でもある。リードタイムが長い主な理由は、部品がコンベア上で移動しているとき、特に複数台のロボットが関与する場合、アンピック部品ゼロで所望のピック速度を得るようにシステムを調整するのは非常に困難であるということである。課題は、視覚システムによって見つけられた部品の確認、各ロボットの境界線の配置による負荷平衡、モーション調整及び診断の問題を含む。

上記の必要性を認識して、視覚追跡ロボット型ピッキングシステムを迅速かつ効率的に生産調整するためにシステム改良が開発されてきた。開示するシステムは、ＡＲ機器における拡張現実（ＡＲ）アプリケーション実行を使用する。ＡＲ機器は、タブレット型コンピュータ機器又はＡＲヘッドセット装置とすることができる。ＡＲアプリケーションは、リアルタイムでロボット型ピッキングシステムのロボットコントローラと通信して、ロボットのピッキングエリアを限定するゾーン境界線の仮想表示及び性能パラメータを含めて、リアルタイムにロボットピックアンドプレース作動を可視化する。現実部品に加えて又はその代わりに仮想部品を使用できる。システムの詳細を下で論じる。

図１は、本開示の１つの実施形態に従った、視覚追跡ロボット型ピッキングシステムのためにパラメータを生産調整するためのシステム１００の図である。システム１００は、コントローラ１１２によって制御されたロボット１１０と、コントローラ１２２によって制御されたロボット１２０と、コントローラ１３２によって制御されたロボット１３０と、を含む。図１のロボット１１０、１２０及び１３０は、ピックアンドプレースアプリケーション専用のパラレルリンクロボットであるが、システム１００においては、後に論じるように他のタイプのロボットも使用できる。ロボット１１０、１２０及び１３０は、有線のケーブル接続を介して又は無線でそれぞれのコントローラと通信できる。

ロボット１１０、１２０及び１３０は、コンベア１４０から部品を拾い上げて、部品を包装容器又は別のコンベア１４０に置くタスクのためにプログラムされる。部品及び配置位置は、単純化のために図１に示されない。パルスコーダ１５０がコンベア１４０の位置を追跡する。コンベア１４０は、一方向だけに移動し、パルスコーダ１５０によって追跡されるのは長手方向又は軸方向の位置である。カメラ１６０は、コンベア１４０に入ってくる部品（入来部品）の写真を撮り、画像は、コンベア１４０に対する入来部品の位置及び向きを測定するために使用される。カメラ１６０は、部品の存在を検出する近接センサ機器などのセンサと置き換えることができる。但し、多くの応用にはランダムな位置及び向きの入来部品が関与するので、カメラ、又は存在だけでなく位置及び向きも検出できる画像センサが好ましい。

ロボットコントローラ１１２、１２２及び１３２は、ネットワーク１７０を介してパルスコーダ１５０及びカメラ１６０と通信する。当業者には分かるように、ネットワーク１７０は、有線又は無線のローカルエリアネットワーク（ＬＡＮ）又はその他のタイプのネットワークとすることができる。唯一の要件は、コントローラ１１２、１２２及び１３２がコンベア１４０上の入来部品の位置及び向き及びコンベア１４０の軸方向の位置をいつでも知っているように、コントローラ１１２、１２２及び１３２が、相互に及びパルスコーダ１５０及びカメラ１６０と通信できることだけである。この情報は、どのロボットがどの部品をピックアンドプレースするかを測定するために使用される。

上で論じた要素が、技術上知られるように、典型的な視覚追跡ロボット型ピッキングシステムを構成する。上記の要素に加えて、システム１００は、ＡＲ機器１８０又は１８２を含む。ＡＲ機器１８０は、使用者１９０が手持ちするタブレット機器である。ＡＲ機器１８２は、使用者１９０が着用するヘッドセット装置である。ＡＲ機器１８０又は１８２は、下で論じるようにＡＲ可視化アプリケーションに使用できる。ＡＲ機器１８０（タブレット）は、プロセッサ及びメモリを持ち、ネットワーク１７０上の他の機器と無線で通信しながらＡＲ可視化アプリケーションを実行できる内蔵式機器とすることができる。ＡＲ機器１８２（ヘッドセット）は、プロセッサ及びメモリを持ち、ネットワーク１７０上の他の機器と通信しながらＡＲ可視化アプリケーションを実行できる別個のコントローラ１８４を含むことができ、ＡＲコントローラ１８４は、ネットワーク１７０と有線又は無線通信し、ＡＲコントローラ１８４は、ＡＲ機器１８２（ヘッドセット）と無線通信する。下記の論証のほとんどにおいて、ＡＲ機器１８０は、自身又はＡＲ機器１８２及び関連するＡＲコントローラ１８４のプロキシとして使用される。

ＡＲ機器１８０又は１８２上でのＡＲ可視化アプリケーション実行（図１の他の要素と通信して）は、ロボット型ピッキングシステムの性能調整が先行技術のシステム及び方法よりずっと短い時間で所望の性能レベルを達成できるようにする。ＡＲ可視化アプリケーションは、下記の特徴及び機能を与える：
・各ロボットの境界線（上流、放棄及び下流）－ピックコンベア及びプレースコンベア上の境界線を含めて－の仮想ＡＲ表示
・部品ピック性能に対する影響を測定するための境界線位置の操作及びロボットコントローラへの通信
・より迅速及びより容易な部品ピック性能のシミュレーションのための－物理的現実部品の代わりの又はこれに加えた－仮想部品の使用
・ＡＲ機器とロボットコントローラとの間の二方向通信。ＡＲ機器は、コントローラへ境界線情報を与え、コントローラは、リアルタイムで部品割当て及びピック／プレース情報をＡＲ機器へ与える。
・診断および性能データのＡＲ表示－損失部品、各ロボットへの部品割当て、全体部品処理速度、など－例えば、パラメータ変更の影響の理解。
・ロボットによる部品割当ての視覚認識を助けるためのカラーコード化及びその他の部品拡張データ。
・画像認識を使用する、作業セル座標系に対するＡＲ機器の位置／向きの容易な位置合せ／較正
・視覚及び慣性走行距離計を使用するＡＲの機器の位置／向きの連続追跡

これらの及びその他の特徴及び機能は、下に論証において詳細に説明する。

図２は、本開示の１つの実施形態に従った、境界線及び部品の仮想表示を含む２台ロボット式ピッキングシステムの拡張現実（ＡＲ）表示の図である。図２は、ＡＲ機器１８０又は１８２に表示される、現実アイテムのカメラ画像と仮想アイテムのコンピュータ化グラフィックスの両方を含む、ＡＲ可視化アプリケーションからの画像である。ロボット２１０及びロボット２２０は、インバウンドコンベア２３０から部品を拾い上げてアウトバウンドコンベア２４０上に部品を置くタスクを実施している。ロボット２１０及び２２０は、図１のパラレルリンクピックアンドプレースロボットと異なり、従来のマルチリンク関節ロボットである。前述のように、いずれのタイプのロボットでも、ＡＲ可視化アプリケーションに使用できる。

ロボット２１０及び２２０は、各々、専用ロボットコントローラと通信し、ロボットコントローラは、パルスコーダ（各コンベアに１台）及び部品画像化カメラと通信し、これらの要素（図示せず）は、図１を参照して前に述べたように、全てＡＲ機器１８０と通信する。

インバウンドコンベア２３０上の部品は、前の製造作動後インバウンドコンベア２３０に落ちた通り、ランダムな場所及び向きを持つ。部品は、アウトバウンドコンベア２４０上では、利用可能な位置（２００ｍｍごとなど）で均等な規定された向きで置かれなければならない。図２に示すように、インバウンドコンベア２３０及びアウトバウンドコンベア２４０の両方のモーション方向は左向きである。

ロボット２１０及び２２０及びコンベア２３０及び２４０は、工場の作業セルに配置される物理的現実アイテムである。これは、図２において、ＡＲ機器１８０のカメラからの画像として見える。視覚マーカー２３２及び２３４も、物理的現実アイテムである。これらは、既知のサイズ、形状及びデザインを持つグラフィカルマーカーであり、作業セルの既知の場所に置かれる。視覚マーカー２３２及び２３４は、図２において、都合の良い場所であるインバウンドコンベア２３０に貼り付けられるものとして示される。但し、視覚マーカー２３２及び２３４は、作業セル内の別の場所に配置できる。マーカー２３２及び２３４は、図３を参照して下で論じるように、作業セル座標系におけるＡＲ機器１８０の空間位置合せ／較正のために使用される。

図２は、またロボット２１０及び２２０の作業ゾーンを画定する境界線を示す。境界線は、コンベア２３０及び２４０の動きの方向に直交する垂直平面で表される。上流境界線２５０は、ロボット２１０がインバウンドコンベア２３０から部品を拾い上げることができる最も上流の位置を画定する。放棄境界線２５２は、部品がロボット２１０に割り当てられなかった（拾い上げるために割り当てられなかった）場合に、ロボット２１０が部品を拾い上げようとしなくなる位置を画定する。言い換えると、ロボット２１０は、部品が割り当てられずに放棄境界線２５２に到達したとき部品を無視する。下流境界線２５４は、ロボット２１０がインバウンドコンベア２３０から部品を拾い上げることができる最も下流の位置を画定する。上流境界線２５６及び放棄境界線２５８は、上述の境界線と同様にロボット２２０に適用される。ロボット２２０の下流境界線は図の左に位置するので見えない。

ロボット型ピッキングシステムが部品を静止パレット又はその他の容器に置くとき、部品は、容器（例えば、ボックスは１０ｘ１０グリッドの内部を持ち、１つの部品が各セルに置かれる必要がある）の中の利用可能なスポットに置かれなければならない。ロボット型ピッキングシステムが図２に示すようにアウトバウンドコンベアを含む場合、アウトバウンドコンベア２４０は、同様に画定される境界線を持つ必要がある。上流境界線２６０は、ロボット２１０がアウトバウンドコンベア２４０上に部品を置くことができる最も上流の位置を画定する。放棄境界線２６２は、利用可能なスロットがロボット２１０に（ロボット２１０によって使用されるように）割り当てられなかった場合、ロボット２１０がこのスロットに部品を置こうとしない位置を画定する。下流境界線２６４は、ロボット２１０がアウトバウンドコンベア２４０に部品を置ける最も下流の位置を画定する。上流境界線２６６、放棄境界線２６８及び下流境界線２７０は、上述の境界線と同様にロボット２２０に適用される。

部品２８０は、インバウンドコンベア２３０上の様々な位置及び向きで示される。図２に示す部品２８０は、ロボットコントローラが実写シミュレーション中に仮想部品をピックアンドプレースできるように、あたかもカメラによって検出されたように、ＡＲ可視化アプリケーションによって表示されロボットコントローラによって処理された仮想部品である。これについては下でさらに論じる。

性能インディケータ２９０も図２に示される。性能インディケータ２９０は、多種の性能インディケータ（ＡＲ可視化アプリケーションによってコンピュータ計算され表示される仮想アイテム）の１つである。

ＡＲ機器１８０上でのロボット型ピッキングシステム実行のためのＡＲ可視化アプリケーションは、ロボットコントローラと二方向リアルタイム通信を行う。使用者が境界線位置を修正すると、ＡＲ可視化アプリケーションは、修正された境界線位置をロボットコントローラへ通信し、ロボットコントローラは、直ちに、ピック／プレース計算において修正境界線位置を使用し始める。したがって、境界線変更の効果は、使用者によって直ちに観察できる。更に、ロボットコントローラは、ＡＲ可視化アプリケーションに表示するために全ての部品割当て、ピックアンドプレース作動をＡＲ機器１８０へ通知する。これは、高速のリアルタイム通信であり、現実部品及び仮想部品の両方を含む。ＡＲ可視化アプリケーションは、現実シーン（ロボット、コンベア及び現実部品）のカメラ画像上に重ねられた全ての部品移動のリアルタイム仮想表示を与える。ＡＲ可視化アプリケーションは、又、ロボットコントローラから受信したリアルタイム部品割当て及びピック／プレース作動データに基づく性能パラメータをコンピュータ計算する。

図２のこれまでの論証は、ロボット型ピッキングシステムのためのＡＲ可視化アプリケーション及びこれにおいて表示されるアイテムの概説である。

図３は、本開示の１つの実施形態に従ったロボット型ピッキングシステムの図であり、ＡＲタブレット機器が、作業セルにおける視覚マーカーを画像化することによって作業セルに対するその位置及び向きを較正している。ロボット３００は、コンベア３１０から部品を拾い上げてコンベア３１２上に部品を置くタスクが割り当てられる。ロボット型ピッキングシステムのためのＡＲ可視化アプリケーションは、前に論じたように、使用者１９０によってＡＲ機器１８０上で使用されるためのものである。任意のＡＲ機器が現実世界の部品のカメラ画像に重ねて適切に仮想アイテム（境界線及び仮想部品など）を表示するために、ＡＲ機器は、常に作業セルに対するその位置及び向きを知らなければならない。このために、作業セル内で既知の原点及び向きを持つ作業セル座標系が画定され、ＡＲ機器１８０の位置及び向きが、固定作業セル座標系に対して測定される。更に、他の様々な座標系－各ロボットに関する座標系、コンベアに関する座標系及び各部品に関する座標系－が画定される。

最初に固定作業セル座標系に対するＡＲ機器１８０の位置及び向きを測定するために、視覚マーカーのカメラ画像を分析できる。図３において、視覚マーカー３２０及び３３０は、コンベア３１０に固定される。作業セル座標系に対する視覚マーカー３２０及び３３０のサイズ、形状及び場所は、ＡＲ可視化アプリケーションに分かっている。最初にＡＲ機器１８０の位置及び向きを測定する１つの技法は、ＡＲ機器１８０の表示において２つの視覚マーカー（この場合、マーカー３２０及び３３０）を見つけることである。即ち、カメラ画像におけるマーカー３２０及び３３０のサイズ、形状および位置を分析することによって、ＡＲ機器１８０は、マーカー３２０及び３３０に対する、したがって作業セル座標系に対する空間的位置及び向きを計算できる。

図４は、本開示の１つの実施形態に従った図３のシステムの図であり、ＡＲタブレット機器１８０がロボットの認識可能な部品を画像化することによって、作業セルに対するその場所及び向きを較正している。ＡＲ機器１８０の位置及び向きを測定するための別の技法は、ＡＲ機器１８０の表示の中でロボット３００の部品など認識可能な部品を見つけることである。図４において、ロボットアーム３０２の「フォーク」部分が、ＡＲ機器１８０の表示の中で見つけられる。仮想画像３０２ａが、ＡＲ視覚化アプリケーションによって表示され、部品（ロボットアーム３０２）が識別されたことを使用者１９０に示す。ロボットコントローラは、常にロボット３００の構成を知っているので、ロボットアーム３０２の位置及び向きはコントローラ及びＡＲ機器１８０に分かっている。この情報から、ＡＲ機器１８０は、作業セル座標系に対するその空間的位置及び向きを計算できる。

最初にＡＲ機器１８０の位置及び向きが確認されたら、この位置及び向きは、ＡＲ技術の熟練者には分かるように視覚及び／又は慣性走行距離測定技術の組合せによって連続的に追跡できる。ＡＲ機器１８０（又は１８２）は、１台又は複数台のジャイロスコープ及び１台又は複数台の加速度計を含む慣性センサを含み、慣性センサは、ＡＲ機器の中のプロセッサへ信号を与えて、慣性走行距離計によってＡＲ機器の位置及び向きの変化を連続的にコンピュータ計算できるようにする。ＡＲ機器１８０（又は１８２）による作業セルにおけるシーンの画像の連続的分析は、慣性走行距離計からの位置データを精錬し較正するために使用できる視覚走行距離測定情報を提供する。

図５は、本開示の１つの実施形態に従ったインバウンドコンベア及びアウトバウンドコンベアの両方における境界線の仮想表示を含むロボット型ピッキングシステム５００のＡＲ表示の図である。図５は、ＡＲ機器１８０に表示される、現実アイテムのカメラ画像及び仮想アイテムのコンピュータグラフィックスの両方を含む、ＡＲ可視化アプリケーションからの画像である。ロボット５１０は、インバウンドコンベア５２０（矢印で示される移動方向を持つ）から部品を拾い上げて、コンベア５３０（同じ方向に移動する）上に部品を置くタスクを割り当てられる。

上流境界線５４０（縁面図）、放棄境界線５４２及び下流境界線５４４は、インバウンドコンベア５２０からのロボット５１０の部品拾い上げについて画定される。上流境界線５５０、放棄境界線５５２及び下流境界線５５４は、ロボット５１０によってアウトバウンドコンベア５３０上に部品を置くために画定される。図５には視覚マーカーも示され、視覚マーカー５６０は、上述のようにＡＲ機器１８０の位置及び向きの較正のために使用される。

図５は、一切、部品（現実も仮想も）を示していない。その代わりに、図５は、シミュレーション及び性能調整が始まる前のＡＲ可視化アプリケーションにおいて見られるロボット型ピッキングシステム５００を示す。

図６は、本開示の１つの実施形態に従った図５のロボット型ピッキングシステム５００のＡＲ表示の図であり、ロボットによってピックアンドプレースされる物理的現実部品を含む。図６は、ＡＲ機器１８０に表示される現実アイテムのカメラ画像及び仮想アイテムのコンピュータグラフィックスの両方を含む、ＡＲ可視化アプリケーションからの画像である。図６には、現実部品が視覚システムによって見つけられたことを確認する現実部品への仮想部品ブロックの重なりも示す。

図５において前に示したインバウンドコンベア５２０の境界線５４０、５４２及び５４４及びアウトバンドコンベア５３０の境界線５５０、５５２及び５５４は、図６でも見られる。これらの境界線は、上述の通りロボット５１０の行動を拘束する。図６において、現実部品はインバウンドコンベア５２０に供給されている。明確にするために、使用者がシステム５００の構成パラメータを調整するためにロボット型ピッキングシステムのためのＡＲ可視化アプリケーションを使用しているとき、ロボット５１０は、実際に作動している－インバウンドコンベア５２０から現実部品を拾い上げて、アウトバウンドコンベア５３０に部品を置く－。部品、コンベア５２０及び５３０及びロボット５１０は、全てＡＲ機器１８０においてカメラ画像として見える。

現実部品５６０は、インバウンドコンベア５３０上で移動している。部品５６０は、上流境界線５４０を通過したので、ロボット５１０によって拾い上げ可能である。ＡＲ可視化アプリケーションは、現実部品５６０に仮想部品ブロック５６２を重ねることによって、部品５６０が視覚システム（図１のカメラ１６０など）によって認識されたことを示す。仮想部品ブロック５６２は、その状態－どのロボットに割り当てられるか（複数のロボットの場合）又は割り当てられていないかどうかなど－を示すためにカラーコード化できる。仮想部品ブロック５６２は、又、情報フラグも含む。情報フラグ５６４は、色及び／又はテキスト符号にコード化された他の情報（例えば部品又はモデル番号）を含むことができる。

現実部品５７０は、ロボット５１０によってアウトバウンドコンベア５３０上に置かれたばかりである。部品５７０に関連付けられる仮想部品ブロック及び情報フラグは、図の明確化のために図６には示さず、部品に関連付けられる仮想部品ブロック及び情報フラグは、任意にアウトバウンドコンベア５３０上の部品に続くことができ、コード化された情報は、状態の変化を反映して変化する（既にピックアンドプレースされた；コード化された情報はどのロボットによるかを示す）。現実部品５７２はアウトバウンドコンベア５３０において更に下流に在り、これらの部品５７２は、もっと前にロボット５１０によってピックアンドプレースされている。

他の部品５８０は、インバウンドコンベア５３０上に在る。部品５８０は、ひっくり返っていて、ロボット型ピッキングシステム５００にとって有効な部品ではないか、間違ったタイプの部品又はその他の理由で無効である。部品５８０が無効なので、視覚システムは、ロボット５１０によるピックアンドプレースのために部品を待ち列に入れない。

図７は、本開示の１つの実施形態に従った、ロボットによってピックアンドプレースされる仮想部品を含むロボット型ピッキングシステム７００のＡＲ表示の図であり、次善の境界線配置は損失部品を生じる。図７は、ＡＲ可視化アプリケーションからの画像であり、ＡＲ機器１８０上に表示されるように、現実アイテムのカメラ画像及び仮想アイテムのコンピュータグラフィックスの両方を含む。

ロボット７１０及びロボット７２０は、インバウンドコンベア７３０から部品を拾い上げかつアウトバウンドコンベア７４０上に部品を置いている。上流境界線７５０、放棄境界線７５２及び下流境界線７５４は、ロボット７１０によってインバウンドコンベア７３０から部品を拾い上げるために画定される。上流境界線７６０、放棄境界線７６２及び下流境界線７６４は、ロボット７２０によってインバウンドコンベア７３０から部品を拾い上げるために画定される。アウトバウンドコンベア７４０に部品を置くための境界線は、図７に示されるが、図の論証に関連しないので、図７においては番号が付けられない。

図７のロボット型ピッキングシステム７００において、現実部品はインバウンドコンベア７３０に供給されていない。代わりに、部品７７０などの仮想部品が、ＡＲ可視化アプリケーションによって与えられたパラメータに基づいてロボットコントローラによって生成される。仮想部品７７０は、使用者規定部品供給速度で生成され、ランダムに割り当てられた又は規定された統計分布に基づいて割り当てられた位置及び向きを持つ。仮想部品７７０は、ロボット型ピッキングシステムシミュレーション及びパラメータの生産調整のために、現実部品に加えて又は現実部品の代わりに、使用できる。

図７において、ピッキング境界線位置は未だ最適化されていない。放棄境界線７５２が上流境界線７５０に非常に近いのが分かる。このような境界線配列は、ロボット７１０の効率の良さを導かず、その結果、非常に多くの部品をピックアンドプレースしない。システム７００に対する正味影響は、多くの部品７７０がロボット７１０の下流のインバウンドコンベア７３０上にまだあり、インバウンドコンベア７３０上のいくつかの部品７８０が既にロボット７２０の下流境界線７６４を通過している。これらの部品７８０は損失部品であり、拾い上げられるチャンスがもはやない。損失部品は望ましくないので、ロボット型ピッキングシステム７００のパラメータ調整を改良する必要がある。

メニュウィンドウ７９０が、図７のＡＲ機器１８０のディスプレイに示される。メニュウィンドウ７９０は、状況に応じて変化する仮想表示であり、当業者には分かるように、ロボット型ピッキングシステムのためのＡＲ可視化アプリケーションのコマンド及び制御のために様々な選択肢を与える。

図８は、本開示の１つの実施形態に従った、図７のロボット型ピッキングシステム７００のＡＲ表示の図であり、ロボットによってピックアンドプレースされる仮想部品を含み、境界線配置を改良して、損失部品を無くしている。図８は、ＡＲ機器１８０上に表示されるように、現実アイテムのカメラ画像及び仮想アイテムのコンピュータグラフィックスの両方を含むＡＲ可視化アプリケーションからの画像である。

図８において、ピッキング境界線位置は、ＡＲ可視化アプリケーションによって提供される対話式シミュレーション及び可視化特徴によって微調整されている。放棄境界線７５２は、図７より上流境界線７５０から離れている。このような境界線配列は、ロボット７１０の効率を改良し、その結果、入来部品７７０の約半分をピックアンドプレースする。システム７００への正味影響は、ロボット７１０の下流のインバウンドコンベア７３０上に在る部品７７０はずっと少なく、ロボット７２０の下流境界線７６４を通過した部品７８０はない。すなわち、図８の境界線位置では損失部品がない。

これまでの図及び論証は、各ロボットのための３つの境界線の位置がロボット型ピッキングシステムの性能にどのように重要であるかを充分に例証している。ロボット型ピッキングシステムのためのＡＲ可視化アプリケーションは、使用者がシステム性能を改良するために境界線を移動できるようにする。境界線は、一方向のみの（コンベアの軸方向又は長手方向）位置的意味しか持たないので、境界線は一方向にしか移動できない。１つの実施形態において、ＡＲジェスチャ（使用者の手による）は、境界線を選択し、その境界線を上流又は下流に移動し、新しい位置を受容できるようにする。別の実施形態において、ジェスチャ又はメニュコマンド（仮想表示される）が境界線の選択のために使用され、その後、境界線を移動するために（例えば上流に５０ｍｍ）メニュコマンドが使用される。他の境界線編集パラダイムも提供できる。

初期境界線配置に関する限り（上記の編集前）、この初期境界線配置は、少なくとも２つの異なる方式で処理できる。１つの実施形態において、最初に各ロボットのために３つの境界線を生成し配置するために、別のロボット型ピッキングシステム構成システムを使用できる。この構成システムは、業界に既存であり（使用者がロボットコントローラと通信するティーチペンダントを操作するシステムなど）、既存のシステムは、本開示のＡＲ可視化アプリケーションの対話式可視化及び性能調整を提供しないが、既存のシステムは境界線生成を可能にする。したがって、境界線の初期位置は、既存のシステムから又はロボットコントローラ自体からＡＲ可視化アプリケーションへインポートできる。

別の実施形態において、ＡＲ可視化アプリケーションは、自身の境界線生成機能を持つことができる－境界線は、当初いくつかのデフォルト位置に生成できる（例えば、上流境界線は関連するロボットの上流からデフォルト距離に配置され、放棄境界線は、関連するロボットのすぐ隣に配置され、下流境界線は、関連するロボットの下流からデフォルト距離に配置される）－か、又はＡＲ可視化アプリケーションは、最初に境界線が生成されるときに各境界線を位置付けるように使用者にプロンプトを発することができる。境界線が当初どのように生成されるか又はＡＲ可視化アプリケーションにインポートされるかに関係なく、使用者は、上述の通り性能を微調整するために、アプリケーションの境界線可視化及び移動特徴を使用できる。

ＡＲ可視化アプリケーションの可視化及び修正特徴によって微調整される境界線位置は、ロボットコントローラへフィードバックされなければならない。境界線位置の各変化は、ロボットコントローラへ通信され、ロボットコントローラは、ピック／プレース計算に新しい位置を使用する。使用者は、その後、ロボット型ピッキングシステムの性能に対する境界線変更の影響を観察できる。使用者がロボット型ピッキングシステムが所望の性能を達成するように調整されたと納得した場合、使用者は、単に境界線位置を確認し、前述のようにＡＲ機器と通信するロボットコントローラへ委ねるためにメニュコマンドを選択する。その後、それ以上ＡＲ可視化アプリケーションまたはＡＲ機器の関与なしに、ＡＲ可視化アプリケーションにおいて修正された境界線を使用して、ロボット型ピッキングシステムの生産作動が続行できる。

ロボット型ピッキングシステムのためのＡＲ可視化アプリケーションの他の特徴も提供され、本出願において論証される。様々な仮想特徴及びメニュの表示が、使用者によって希望通りに有効または無効にできる。例えば、アウトバウンドコンベア上の境界線は、使用者がインバウンドコンベア上の境界線位置を最適化しながら、無効にできる。又はその逆が可能である。同様に、メニュ及び性能パラメータ表示は、オン（見えるようにする）又はオフにでき、その位置（タブレット型ＡＲ機器のスクリーン上又はＡＲヘッドセットを使用する場合には空間における位置）を所望通りに変更できる。

ＡＲ表示及び現実世界の作業セルオブジェクトのカメラ画像の記録も提供される。あるセッションを記録することは、そのセッションに居なかった別の当事者へロボット型ピッキングシステムの性能を便利に通信できるようにする－他のエンジニア及び技術者によるトラブルシューティングのために顧客及び供給者と共有するためなどに。

使用者によるＡＲ可視化アプリケーション及び／又は他の（非ＡＲ）境界線画定システムへの入力及び対話は、便利にかつ直接的に行える。例えば、ＡＲ可視化アプリケーションが開始されると、使用者は、ＡＲ可視化アプリケーションに（そのコントローラを介して）接続する１台又は複数台のロボットを選択し、コンベアなどの作業セルオブジェクトを選択し、上述の通り修正すべき境界線を選択できる。

仮想部品生成は、使用者が必要に応じて開始し、停止できる。１つの実施形態において、ロボットコントローラは、実際に仮想部品を生成し、ロボットコントローラによる生成は、部品のタイプ、インバウンドコンベア上でのその配置及び向きの分布、及び部品供給速度を含めた制御パラメータに基づく。仮想部品に関するこれらのパラメータは、ＡＲ可視化アプリケーションの中のメニュコマンドを介して制御可能であり、ロボットコントローラへ通信される。仮想部品のため及び現実部品にタグ付けされた表示画像のための表示パラメータ（カラーコード及び情報フラグ）も、使用者が制御可能である。情報フラグ及びカラーコード化は、現実又は仮想部品の多様な属性について規定できる。例えば、全ての入来部品は、１つの色で表示でき、各部品がロボットに割り当てられたとき色も変化する（異なるロボットに異なる色）。カラーコード化及び情報フラグは、更に、部品が実際に特定のロボットによって拾い上げられたとき、部品が特定のロボットによって置かれたとき、損失部品、落下部品（現実部品について）などを識別できる。

仮想要素（境界線、仮想部品、部品情報フラッグ、メニュ表示及び性能パラメータ表示など）の表示は、使用者が最適に見えるために制御できる。これは、境界線の透明度の設定、上述のような部品情報のカラーコード化の設定、テキストのフォントサイズ及び色の設定、表示される座標系トライアドのサイズ及び色の画定、テキスト及びメニュ表示のための場所（タブレットスクリーン上又はＡＲ空間の中の）の画定を含む。

図９は、本開示の１つの実施形態に従った、境界線及び性能パラメータのＡＲ表示を含むロボット型ピッキングシステム９００のＡＲ表示の図である。図９は、ＡＲ機器１８０に表示される、現実アイテムのカメラ画像及び仮想アイテムのコンピュータグラフィックスの両方を含む、ＡＲ可視化アプリケーションからの画像である。

ロボット９１０及び第２ロボット（図示せず）には、前に述べたように、インバウンドコンベア９２０から部品９４０を拾い上げてアウトバウンドコンベア９３０上に部品９４０を置くタスクを割り当てられる。仮想境界線（上流、放棄及び下流）の表示に加えて、図９は、性能パラメータの表示を示す。性能パラメータの表示は、拡張現実システムの当業者には分かるように、適切な様式で配列でき、フォーマット化できる。例えば、性能パラメータ表示は、ＡＲ可視エリアの適切な場所に配置するか、又は性能パラメータ表示は、作業セルの３Ｄボリュームの中の「空間に置くこと」ができる。

図９の例において、ロボット型ピッキングシステム９００の効率及び有効性を特徴付ける、数個の性能パラメータが表示される。パラメータは、インバウンドコンベア９２０について、コンベア速度、コンベアへの部品導入速度及びシミュレーション時間枠における損失部品の合計数を含む。パラメータは、また、ロボットの各々について部品ピック速度を含む。これらのパラメータは、ロボット型ピッキングシステム９００が性能要件－要求される部品処理速度について損失部品ゼロである、及び２つのロボット間でほぼ等しいピック速度を持つなど－を満たしているか否かを判定するために必要な情報を、使用者又はオペレータに与える。ロボット型ピッキングシステムのためのＡＲ可視化アプリケーションは、性能パラメータを改良するようにシステムを調節するために必要なツール－特にロボットの各々について３つの境界線の位置を調整する能力－を使用者に与える。

他の性能パラメータも、ＡＲ可視化アプリケーションにおいて使用者に表示することが可能である。性能パラメータ、メニュ及びその他のアイテムの表示は、使用者によって構成可能であり、いつでも表示においてオン又はオフにできる。１つの実施形態において、特定のコンベア又はロボットについての性能統計は、ＡＲ空間において使用者がコンペア又はロボットを「タップオン」することによって表示できる。別の実施形態において、ＡＲ機器の中で単にロボットを見るだけで、ロボットの状態及び統計が表示されるようにする。これは、ロボットに欠陥があるか否か、移動しないことによってロボットに欠陥がない場合の理由、ロボットについてピック／プレース性能統計の表示を含むことができる。特定のコンベアについての性能データも、同様に、ＡＲ表示の中でコンベアを見ることによって表示できる。多くの他の表示制御－全ての性能パラメータの表示をオンにする、全ての表示をオフにする、など－が提供される。

ＡＲ機器がタブレットコンピュータ機器（性能統計がスクリーン上の特定場所に表示できる）であるか又はＡＲヘッドセット装置（性能統計は、使用者が見て対話するために作業セルの特定場所において「スペースに置かれる」仮想スクリーンとして表示できる）。メニュ表示及び対話も同様に処理できる。本開示を通じて、しばしばタブレットＡＲ機器１８０を参照する。同じ概念がヘッドセットＡＲ機器１８２にも応用されることが分かるはずである。

図３及び４に関する前の論証において、作業セル座標系（固定「グローバル」座標系）に対するＡＲ機器の位置／向きの位置合せ／較正が説明されている。他の各種座標系と作業セル座標系との間の数学的変換は、当業者には分かるようにＡＲ可視化アプリケーションにおいて処理される。図１に示されるパルスコーダ１５０からのデータ信号によって測定される、固定作業セル座標系に対する位置及び速度を持つコンベア追跡座標系を確立できる。カメラ１６０によって識別された部品には個別の部品追跡座標系位置及び向きが割り当てられ、部品追跡座標系は、部品がインバウンドコンベア（又はアウトバウンドコンベア）上に在るときコンベア追跡座標系と一緒に移動する。同様に、部品追跡座標系は、部品がロボットによってピックアンドプレースされた後に、アウトバウンドコンベア追跡座標系と一緒に移動する。仮想部品、及び現実部品についての仮想マーカーも、それぞれのコンベア及びツールセンターポントと一緒に移動する部品追跡座標系を有する。

ロボット型ピッキングシステムにおける各ロボットは、これに関連付けられる座標系を有する－ロボットのベース位置における固定座標系、ロボット上の１つ又は複数の接合場所における移動座標系、ツールセンターポイント（例えば部品を拾い上げるための吸引カップ又はその他のツールの中心）の移動座標系を含めて－。ロボットがその吸引カップ又は部品を拾い上げるためのその他のツールを展開するとき、部品追跡座標系は、部品がアウトバウンドコンベア又は輸送コンテナに置かれるまで、ツールセンターポイント追跡座標系と一緒に移動する。

ＡＲ機器１８０は、自身の座標系も有する。作業セル座標系に対するＡＲ機器座標系を確立し連続的に更新するための技法については前に論じた。作業セル座標系に対する座標系の全てを適切に画定し連続的に追跡することによって、全ての部品、ロボットツール及びＡＲ機器のリアルタイムの移動のコンピュータ計算が可能になる。これは、ロボットコントローラがそのピッキング計画及び移動を計算できるようにし、ＡＲ機器が、現実アイテムのカメラ画像に対する適切なサイズ及び向きで仮想アイテムの全てを適切に表示できるようにする。

座標系表示は、使用者によって制御可能である。例えば、使用者は、いくつかの座標系（部品追跡座標系及びツールセンターポイント追跡座標系など）の表示をオンにして、他の座標系（コンベア又は作業セル座標系など）をオフにできる。座標系トライアドの長さ、厚み及び色も、表示が有効にされたとき、使用者によって制御可能である。

図１０は、本開示の１つの実施形態に従った、視覚追跡ロボット型ピッキングシステムを拡張現実構成するための方法のフローチャート１０００である。枠１００２において、ＡＲ機器（１８０又は１８２）は、前述のように、無線通信を介してロボットコントローラ又はコントローラとの通信を確立する。ロボットコントローラは、有線又は無線ＬＡＮを介して相互に及びカメラ及びパルスコーダと通信でき、ＡＲ機器との通信は無線であることが好ましい。ロボットの各々についての予備境界線位置は、ロボットコントローラの中に既に存在する可能性がある。このような境界線が存在する場合、枠１００４において、ロボットコントローラ又は非ＡＲロボット型ピッキングシステム構成プログラムからＡＲ機器にダウンロードされる。先在作業ゾーンが利用できない場合、使用者は、ＡＲ可視化アプリケーションにおいて境界線を生成、修正及び可視化するためにプロセスを続行できる。

枠１００６において、ＡＲ機器は、ロボットに対して較正される。ＡＲ機器の位置及び向きは、ロボット型ピッキングシステムの作業セルにおける固定座標系である「ワールド座標系」と位置合せされる。作業セル座標系に対するＡＲ機器の位置合せは、マーカーの複数の画像がＡＲ機器によって捕捉されるように、１つ又は複数の視覚マーカーにＡＲ機器のカメラを向けることによって実施される。ＡＲ機器の位置及び向きが作業セル座標系と位置合せされた後に、作業セル座標系に対するＡＲ機器の位置及び向きを連続的に追跡するために、慣性及び視覚走行距離計が、ＡＲ可視化アプリケーションによって使用される。この技法において、ＡＲ機器のプロセッサは、ＡＲ機器に内蔵される加速度計及びジャイロスコープから信号を受信して、加速及びヨーレート信号の集積に基づきＡＲ機器の更新位置及び向きを連続的にコンピュータ計算する。位置及び向きは、視覚マーカー又はその他の既知の場所に存在する認識可能なアイテムの画像など機器上のカメラからの画像に基づいて、チェックされ修正される。全ての仮想アイテムの表示は、ＡＲ機器の位置及び向きに基づいて現実アイテムのカメラ画像に適合するようにコンピュータ計算される。又、枠１００６において、ＡＲ可視化プリケーションは、ロボット型ピッキングシステムのための仮想境界線の表示を開始する。

枠１００８において、インバウンドコンベア及びアウトバウンドコンベアの移動（又はアウトバウンド包装容器の配置）を含めて、ロボット型ピッキングシステムの作動が開始される。枠１０１０において、部品の流れは、インバウンドコンベアへ向かって開始される。ボックス１０１０において導入される部品は、現実部品、仮想部品又はその両方を含むことができる。１つ又は複数の部品モデルを含めることができる。仮想部品は、ＡＲ可視化アプリケーション使用者によって選択された部品の流量でかつ部品の位置／向きの分布で導入される。ボックス１０１０において現実及び／又は仮想部品が導入されるとき、ＡＲ可視化アプリケーションは、仮想部品ボックス、識別フラッグ又はその両方で部品を識別し、ロボット型ピッキングシステムは、インバウンドコンベアから部品を拾い上げ、アウトバウンドコンベア又は容器に部品を置き始める。ロボット型ピッキングシステムの作動が枠１００８において開始されると、ロボットコントローラは、リアルタイムに、各部品割当て及びピック／プレース作動をＡＲ可視化アプリケーションに通信する。

枠１０１２において、使用者は、ロボットピック／プレースゾーンの境界線を所望通りに修正し、修正された境界線はロボットコントローラへ通信され、使用者は、ロボット型ピッキングシステムの性能への影響を観察する。典型的な目的は、損失部品ゼロで所望の部品流量及びロボット型ピッキングシステムの各ロボットによって処理される部品のほぼ等しいバランスを達成することである。枠１０１２における対話及び反復において、使用者は、ジェスチャ又はその他のコマンドを使用して境界線を修正し、作業セルを歩き回って任意の所望の観点からロボット型ピッキングシステムの作動を見て、ＡＲ可視化プリケーションに表示される性能パラメータを評価する。使用者が、ＡＲ可視化アプリケーションにおける境界線位置を修正すると、修正された位置は、対応するロボットコントローラへ伝達され、ロボットのピック／プレース作動をコンピュータ計算するためにコントローラによって使用される。使用者がＡＲシーンを観察するとき、ロボットは、実際に、動いている－現実部品をピックアンドプレースし、ＡＲ可視化アプリケーションにおいて修正された境界線を使用してそのそれぞれのコントローラによるリアルタイムの計算に基づいて仮想部品のピックアンドプレースをシミュレートする。

ロボット型ピッキングシステムの作動及びＡＲ可視化アプリケーションのシミュレーション全体を通じて、ＡＲ機器とロボットコントローラとの間の通信及びデータの流れは、二方向であると考えるべきである。使用者がＡＲ可視化アプリケーションにおいて境界線を動かすと、ＡＲ機器は、ロボットピック／プレース作動のコンピュータ計算に使用するために、直ちに修正された境界線位置をロボットコントローラへ通信する。これは、ＡＲ可視化アプリケーションの主要な属性である－境界線は、使用者によって可視化でき、修正でき、修正された境界線位置の影響は、直ちに、直接、ロボット型ピッキングシステムのリアルタイムの性能において観察可能である。同時に、ロボットコントローラは、個々の部品で識別されるあらゆる部品割当て（ロボットによる選択）及びピック／プレース作動をリアルタイムにＡＲ機器へ通信する。これによって、ＡＲ機器が、部品状態の変化を示すためにＡＲ表示を更新し、拾い上げられるときの部品の動きを示し、損失部品及び各ロボットによって処理された部品を含めた性能統計をコンピュータ計算できるようにする。

枠１０１４において、ロボット型ピッキングシステムの境界線可視化及び修正が完了して、使用者が、システム性能に満足したとき、最終的境界線がロボットコントローラにアップロードされ、生産作動のために確認／約束される。生産作動において、最終的境界線は、ピック／プレース作動をリアルタイムでコンピュータ計算するためにロボットコントローラによって使用される。

以上の論証の全体を通じて、各種コントローラについて説明し、示唆された－ロボットの動き及びタスクを制御するため、ＡＲ可視化アプリケーションをＡＲ機器上で実行するためになど－。これらのコントローラのソフトウェアアプリケーション及びモジュールは、不揮発性メモリにおいて構成されたアルゴリズムを含めて、プロセッサ及びメモリモジュールを有する１台又は複数台のコンピュータ機器において実行される。特に、これは、ロボットコントローラ１１２／１２２／１３２中のプロセッサ、ＡＲ機器１８０／１８２及びＡＲコントローラを含む。ロボット、そのコントローラ及び可搬式機器の間の通信は、有線ネットワーク越しとするか、又は適切な任意の無線技術－セルラーフォン／データネットワーク、ＷｉＦｉ、ブルートゥース（登録商標）、ブロードバンドインターネットなど－を使用できる。

上に概説したように、ロボット型ピッキングシステムのための拡張現実可視化の開示される技法は、先行技術に比べていくつかの利点がある。使用者が容易にかつ直観的にロボットピック／プレース境界線を調整し、仮想部品を導入し、リアルタイムでシステム性能を見る機能は、先行技術よりはるかに優れている。

ロボット型ピッキングシステムのための拡張現実可視化のための方法及びシステムの多数の代表的形態及び実施形態が上で説明されるが、当業者は、その修正、入換え、追加、組合せを認識できるだろう。したがって、以下の請求項は、その真の主旨及び範囲内としてこれらの全ての修正、入換え、追加及び組合せを含むものとして解釈される。

Claims (23)

1. 拡張現実を使用して視覚追跡ロボット型ピッキングシステムを構成するためのシステムであって、前記システムが、
   作業セルにおける１台又は複数台のロボットであって、各ロボットが、該ロボットと通信するロボットコントローラを有し、前記ロボットコントローラがプロセッサ及びメモリを含み、前記ロボットの作動を制御するためのロボット制御ソフトウェアを持つように構成される、ロボットと、
   前記１台又は複数台のロボットコントローラと通信する拡張現実（ＡＲ）機器であって、前記ＡＲ機器が１台又は複数台のカメラ、位置追跡センサ及びディスプレイを有し、前記ＡＲ機器が、更にロボット型ピッキングシステム可視化ＡＲソフトウェアアプリケーションを実行するように構成されたプロセッサ及びメモリを含む、ＡＲ機器と、
   を備え、
   前記ロボット型ピッキングシステム可視化ＡＲソフトウェアアプリケーションが、
   前記１台又は複数台のロボットの各々について予備境界線を与えることであって、前記予備境界線がロボットピックアンドプレース作動空間を限定する、与えることと、
   作業セル座標系に対する前記ＡＲ機器の位置及び向きを確立し連続的に追跡することと、
   前記作業セルにおける現実アイテムのカメラ画像に重ねて前記予備境界線及びその他の仮想アイテムのＡＲ表示を与えることと、
   前記視覚追跡ロボット型ピッキングシステムによる処理のために仮想部品のコンベアによる流れをシミュレートするように前記１台又は複数台のロボットコントローラに命令することであって、仮想部品、現実部品又はその両方を前記視覚追跡ロボット型ピッキングシステムによって処理できる、命令することと、
   境界線位置修正を使用者から受信することと、
   前記境界線位置修正を前記１台又は複数台のロボットコントローラへ通信することと、
   部品割当て及び部品ピックアンドプレース情報を前記ロボットコントローラから受信することと、
   前記ＡＲ表示においてピッキングシステム性能パラメータを表示することと、
   を含む機能を提供する、
   システム。
2. 前記ＡＲ機器が、前記使用者が着用するヘッドセット装置又は前記使用者によって手持ちされる可搬式機器である、請求項１に記載のシステム。
3. 更に、前記視覚追跡ロボット型ピッキングシステムにおいて各コンベアの位置を追跡するように構成されたパルスコーダ機器と、各コンベア上の前記現実部品の存在及び位置及び向きを検出するように構成されたカメラ又はその他のセンサと、を備える、請求項１に記載のシステム。
4. 前記１台又は複数台のロボットのために予備境界線を与えることが、別個のロボット型ピッキングシステムセットアップアプリケーションから前記予備境界線をダウンロードすること又は前記ロボット型ピッキングシステム可視化ＡＲソフトウェアアプリケーション内のデフォルト位置に前記予備境界線を確立することを含む、請求項１に記載のシステム。
5. 前記作業セル座標系に対する前記ＡＲ機器の前記位置及び向きを確立することが、既知のデザインを有しかつ前記作業セル座標系の中の既知の場所に置かれた１つ又は複数の視覚マーカーの画像を分析することを含む、請求項１に記載のシステム。
6. 前記位置追跡センサが、１台又は複数台のジャイロスコープ及び１台又は複数台の加速度計を含み、前記位置追跡センサが前記ＡＲ機器の中の前記プロセッサに信号を与えて、前記ＡＲ機器の位置及び向きの変化を連続的にコンピュータ計算できるようにする、請求項１に記載のシステム。
7. ＡＲ表示を与えることが、前記ＡＲ機器が前記作業セルを動き回るとき前記現実アイテムの前記カメラ画像に対して適切なサイズ、形状及び位置で前記予備境界線及び前記その他の仮想アイテムを表示することを含む、請求項１に記載のシステム。
8. 前記その他の仮想アイテムが、前記仮想部品、前記現実部品上の部品識別ブロック、現実部品及び仮想部品上の部品情報フラグ、座標系トライアド及びカメラ位置及び視界を含み、前記その他の仮想アイテムの前記表示が、前記ロボットコントローラから受信した前記部品割当て及び部品ピックアンドプレース情報に基づいて連続的に更新される、請求項１に記載のシステム。
9. 仮想部品をシミュレートするように前記１台又は複数台のロボットコントローラに命令することが、仮想部品供給速度及びインバウンドコンベアにおいて前記視覚追跡ロボット型ピッキングシステムに供給される前記仮想部品の位置及び向きの統計分布を前記使用者によって選択することを含む、請求項１に記載のシステム。
10. 前記使用者から境界線位置修正を受信することが、修正する境界線を選択し、上流又は下流方向に使用者指定距離だけ前記境界線を移動し、前記境界線位置修正を受容することを含み、境界線を選択し、前記境界線を移動し、前記修正を受容することが、ＡＲベースのジェスチャ、メニュコマンド又はその両方を介して前記使用者によって実施される、請求項１に記載のシステム。
11. 前記境界線位置修正を前記１台又は複数台のロボットコントローラへ通信することが、ロボットピックアンドプレース作動のコンピュータ計算において前記予備境界線の修正位置を前記ロボットコントローラによって使用することを含む、請求項１に記載のシステム。
12. 前記ＡＲ表示においてピッキングシステム性能パラメータを表示することが、所定の時点で前記ＡＲ表示において見える任意の１台又は複数台のロボット又はコンベアに関する性能パラメータ及び診断情報を表示することを含む、請求項１に記載のシステム。
13. 前記ピッキングシステム性能パラメータが、コンベア速度、現実部品処理速度、仮想部品処理速度、合計部品処理速度、損失部品数、部品ピック速度／ロボット及び部品ピック率／ロボットを含み、前記性能パラメータの任意の組合せを前記使用者の選択する通りに表示可能である、請求項１に記載のシステム。
14. 前記予備境界線が、各コンベアについて各ロボットについての上流境界線、放棄境界線及び下流境界線を含む、請求項１に記載のシステム。
15. 視覚追跡ロボット型ピッキングシステムを構成するための装置であって、前記装置が、１台又は複数台のロボットコントローラと通信する拡張現実（ＡＲ）機器を備え、前記ＡＲ機器が、１台又は複数台のカメラ、位置追跡センサ及びディスプレイを有し、前記ＡＲ機器が、更に、ロボット型ピッキングシステム可視化ソフトウェアアプリケーションを実行するように構成されたプロセッサ及びメモリを含み、前記ロボット型ピッキングシステム可視化ソフトウェアアプリケーションが、前記視覚追跡ロボット型ピッキングシステムにおいて前記１台又は複数台のロボットコントローラと相互作動し、前記視覚追跡ロボット型ピッキングシステムよって処理するために仮想部品のコンベアによる流れをシミュレートするように前記１台又は複数台のロボットコントローラに命令し、前記ＡＲ機器上のＡＲ表示に境界線及びその他の仮想アイテムを表示し、使用者による境界線修正を可能にし、前記１台又は複数のロボットコントローラへ前記境界線修正を通信し、前記ＡＲ表示においてリアルタイムに部品の移動及びピッキングシステム性能パラメータを表示する、ように構成される、
    装置。
16. 拡張現実を使用して視覚追跡ロボット型ピッキングシステムを構成するための方法であって、前記方法が、
    １台又は複数台のロボットの各々と通信するロボットコントローラを持つ１台又は複数台のロボットを有するロボット型ピッキングシステムを提供することと、
    前記１台又は複数台のロボットコントローラと通信する拡張現実（ＡＲ）機器を提供することであって、前記ＡＲ機器が、１台又は複数台のカメラ、位置追跡センサ及びディスプレイを有し、前記ＡＲ機器が、更に、ロボット型ピッキングシステム可視化ＡＲソフトウェアアプリケーションを実行するように構成されたプロセッサ及びメモリを含む、提供することと、
    予備境界線位置を与えることと、
    作業セル座標系に対する前記ＡＲ機器の位置及び向きを較正し、連続的に追跡することと、
    インバウンドコンベア上での部品の流れを開始することを含めて、前記ロボット型ピッキングシステムの作動を開始することであって、前記部品の流れが、現実部品、前記１台又は複数台のロボットコントローラによってシミュレートされる仮想部品の流れ、又はその両方を含む、開始することと、
    前記ＡＲ機器上にＡＲ表示を与えることであって、前記ＡＲ表示が、前記ロボット型ピッキングシステムの作業セルにおける現実アイテムのカメラ画像に重ねられた境界線及びその他の仮想アイテムを含む、与えることと、
    前記ロボット型ピッキングシステム可視化ＡＲソフトウェアアプリケーションの使用者によって前記予備境界線位置を修正することと、
    前記ロボット型ピッキングシステム可視化ＡＲソフトウェアアプリケーションから前記１台又は複数台のロボットコントローラへ前記予備境界線位置を通信することと、
    前記ロボットコントローラから前記ロボット型ピッキングシステム可視化ＡＲソフトウェアアプリケーションへリアルタイムに部品割当て及び部品ピックアンドプレース情報を通信することと、
    前記ＡＲ表示においてピッキングシステム性能パラメータを表示することと、
    を含む、方法。
17. 前記その他の仮想アイテムが、前記仮想部品、前記現実部品上の部品識別ブロック、現実部品及び仮想部品上の部品情報フラグ及び座標系トライアドを含み、前記その他の仮想アイテムの表示が、前記ロボットコントローラから受信した前記部品割当て及び部品ピックアンドプレース情報に基づいて連続的に更新される、請求項１６に記載の方法。
18. 前記１台又は複数台のロボットコントローラによってシミュレートされた前記仮想部品が、仮想部品供給速度及び前記インバウンドコンベア上の前記仮想部品の位置及び向きの統計分布についての使用者規定値を含む、前記ロボット型ピッキングシステム可視化ＡＲソフトウェアアプリケーションによって与えられたパラメータに基づく、請求項１６に記載の方法。
19. 使用者によって前記予備境界線位置を修正することが、使用者によって修正する境界線を選択し、上流方向又は下流方向に使用者指定距離だけ前記境界線を移動し、前記使用者による前記境界線の位置の修正を受容すること、を含み、境界線を選択し、前記境界線を移動し、前記修正を受容することが、ＡＲベースのジェスチャ、メニュコマンド又はその両方を介して前記使用者によって実施される、請求項１６に記載の方法。
20. 前記予備境界線位置を前記１台又は複数台のロボットコントローラへ通信することが、ロボットピックアンドプレース作動のコンピュータ計算において前記ロボットコントローラによって前記境界線の修正位置を使用することを含む、請求項１６に記載の方法。
21. 前記ＡＲ表示においてピッキングシステム性能パラメータを表示することが、所定の時点で前記ＡＲ表示において見える任意の１台又は複数台のロボット又はコンベアに関する性能パラメータ及び診断情報を表示することを含む、請求項１６に記載の方法。
22. 前記ピッキングシステム性能パラメータが、インバウンドコンベア速度、現実部品処理速度、仮想部品処理速度、合計部品処理速度、損失部品数、部品ピック速度／ロボット及び部品ピック率／ロボットを含み、前記性能パラメータの任意の組合せが前記使用者によって選択される通り前記ＡＲ表示において表示可能である、請求項１６に記載の方法。
23. 前記ロボット型ピッキングシステムが、前記１台又は複数台のロボットによって拾い上げられる部品を搬送する前記インバウンドコンベアと、前記１台又は複数台のロボットによって置かれる部品を受け取るためのアウトバウンドコンベア又は静止容器を含み、前記境界線が、各コンベアについて各ロボットについて上流境界線、放棄境界線及び下流境界線を含む、請求項１６に記載の方法。

Images