JP6868684B2 - 複数の物体から少なくとも１つの物体を分離するための方法、コンピュータ・プログラム、装置およびシステム - Google Patents

Description

謝辞
本出願につながる計画は、贈与契約第６７３６９０号の下で、欧州連合のホライズン２０２０研究およびイノベーション・プログラムからの財政的援助を受けた。

本開示は、ロボット・システムに関し、詳細には、ロボット・システムが複数の物体から物体を選定する必要があるシステムに関する。

ロボット・システムは、操作される物理的対象を視覚的にまたは認識的に実際にモデリングする能力をほとんど必要としない反復的な作業、または捉えることおよび移動させることにほとんど技能を必要としない反復的な作業を行うために、多くの産業で広範に使用されてきた。ロボットはまた、人間の現場作業者には適さない環境で機能するように、あるいは、毒性のもしくは放射性の物質、廃棄物、または巨大な物体などの人間にとって危険な物質を伴う作業が可能であるように、組み立てられ得る。人間の関与が必要とされる量を最小限に抑えるために、そのようなロボット・システムをできるだけ自律的に作ることが望ましい。

特許文献１は、ロボット・システムにおける物理的対象の選択に関する問題に対処している。特許文献１によって開示された解決策は、装置が第１のセンサから第１のセンサ・データを受信してそのデータから目標位置を判定する方法に関連し、目標位置は、ロボット・アーム内のグリッパの空間における位置または向きであり得る。グリッパを目標位置まで移動させるために、ロボット・アームまたはグリッパに第１の命令が発せられる。ロボット・アームまたはグリッパのどちらかに関連付けられたフォース・フィードバック・センサから、または第１のセンサから、フォース・フィードバック・センサ・データが受信される。第１の命令を実行することの失敗が判定される。少なくとも１つの第１のセンサから、第２のセンサ・データが受信される。第２のセンサ・データから、物体の把持の成功が判定される。把持の成功の判定に応答して、少なくとも１つの第２のセンサから検証センサ・データが受信され、アームを所定の位置まで移動させてグリッパの把持を解放するために、ロボット・アームに第２の命令が発せられる。

上記の解決策では、フォース・フィードバック・センサが、フィードバックとして使用される限られた情報を提供することが、問題である。

Ｓｅｒｇｅｙ Ｌｅｖｉｎｅ、Ｐｅｔｅｒ Ｐａｓｔｏｒ、Ａｌｅｘ Ｋｒｉｚｈｅｖｓｋｙ、およびＤｅｉｒｄｒｅ Ｑｕｉｌｌｅによる「Ｌｅａｒｎｉｎｇ Ｈａｎｄ−Ｅｙｅ Ｃｏｏｒｄｉｎａｔｉｏｎ ｆｏｒ Ｒｏｂｏｔｉｃ Ｇｒａｓｐｉｎｇ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ａｎｄ Ｌａｒｇｅ−Ｓｃａｌｅ Ｄａｔａ Ｃｏｌｌｅｃｔｉｏｎ」という題の論文では、ロボット学習システムが開示されている。この論文は、例えば、ｗｗｗ．ａｒｘｉｖ．ｏｒｇにおいて「ａｒＸｉｖ：１６０３．０２１９９」を参照することにより利用可能である。

この論文は、単眼画像からのロボット把持のための視覚と手の協調関係への学習に基づいた対処法を説明している。把持のための視覚と手の協調関係を学習するために、研究者らは、単眼カメラ画像のみを使用してまたカメラ較正または現在のロボットの姿勢とは無関係にグリッパの作業空間動作が把持の成功に終わる可能性を予測するための大規模な畳み込みニューラル・ネットワークを訓練した。これは、ネットワークがその場面におけるグリッパと物体との空間的関係性を観察すること、したがって視覚と手の協調関係を学習することを必要とする。次いで、研究者らは、把持の成功を達成するために、このネットワークを使用してグリッパをリアルタイムでサーボする。研究者らは、彼らのネットワークを訓練するために、様々なカメラ配置およびハードウェアを用いて、いつでも６台から１４台の間のロボット・マニピュレータを使用して、２ヶ月間にわたって８００，０００回を超える把持の試みを収集した。彼らの実験評価は、彼らの方法が効果的なリアルタイム制御を達成し、新規の物体を首尾よく把持することができ、かつ、連続的なサーボにより間違いを修正することを示す。

その研究論文では、フィードバックの有意性は、連続的な視覚フィードバックを使用することによって示される。したがって、さらに発達したフィードバック構成が必要とされることは、明らかである。さらに、様々な用途が、様々なタイプの構成から恩恵を受け得る。

特許文献２は、物体ベルト上を移動している不規則に配向されかつ不規則に位置決めされた物体を拾い上げて操作して、送り先ベルト上を移動している不規則に配向されかつ不規則に位置決めされた送り先へ移動させるための装置および方法である、自動化された組立ておよび包装システムを開示している。視覚システムを使用する画像処理ユニットが、所定の物体の最適数に至るまで、連続的に重複する視覚窓において物体および送り先を識別しかつ位置を見定める。それらの物体および送り先の位置は、第１のロボット動作コントローラの物体および送り先位置キューに伝達される出力キューに入れられる。第１のロボットは、物体および送り先が通過している間に利用可能な時間内でそれが可能である全ての物体を拾い上げて送り先に置き、また、拾い上げられなかった物体の位置および物体が配置されていない送り先を、第２のロボット動作コントローラの物体および送り先位置キューに伝達される出力キューに入れる。

上記の従来技術の文献では、不規則なシステムを選定するためのロボット・システムの原理が説明されている。さらに、これらの文献は、フィードバック情報がそのようなシステムでどのように使用され得るかを説明している。これらの原理は、当業者には公知であると思われるので、より詳細には説明しない。

国際公開ＷＯ２０１１／１６１３０４号 国際公開ＷＯ９１１１８８５号

Ｓｅｒｇｅｙ Ｌｅｖｉｎｅ、Ｐｅｔｅｒ Ｐａｓｔｏｒ、Ａｌｅｘ Ｋｒｉｚｈｅｖｓｋｙ、およびＤｅｉｒｄｒｅ Ｑｕｉｌｌｅ、「Ｌｅａｒｎｉｎｇ Ｈａｎｄ−Ｅｙｅ Ｃｏｏｒｄｉｎａｔｉｏｎ ｆｏｒ Ｒｏｂｏｔｉｃ Ｇｒａｓｐｉｎｇ ｗｉｔｈ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ａｎｄ Ｌａｒｇｅ−Ｓｃａｌｅ Ｄａｔａ Ｃｏｌｌｅｃｔｉｏｎ」

ロボット・システムにおけるフィードバック構成が開示される。フィードバック情報は、あらゆる機械学習システムにおける重要な側面である。複数の物体から物体を選定しているロボット・システムでは、これは、選定された物体の画像を取得することによって構成されている。選定の後で画像が取得される場合、それらは正確に撮像されることができ、また、選定に関する情報、さらに投下の成功に関する情報は、取得した画像を、物体の選定および投下を制御するために使用されている機械学習構成におけるフィードバックとして使用することによって、強化され得る。

一実施形態では、複数の物体から少なくとも１つの物体を分離するための方法が開示される。方法は、制御ユニットにより、処理領域内の物体を操作するための命令を決定するステップと、処理領域内の物体を操作するように、操作要素を備えるロボット・システムに命令するステップと、を含む。命令は、除去場所を決定するのに必要な情報をさらに含む。方法は、少なくとも１つの操作される物体の少なくとも１つの画像を受信するステップであって、少なくとも１つの操作される物体が処理領域から除去された後で画像が取得されるステップと、受信された少なくとも１つの画像を、制御ユニットにおいて、操作および除去の成功のフィードバックとして使用するステップと、をさらに含む。

一実施形態では、方法は、撮像領域内の物体を検出するステップをさらに含む。別の実施形態では、方法は、検出するステップへの応答として物体の画像を取得するように撮像ユニットに命令するステップをさらに含む。

さらなる実施形態では、方法は、操作すべき物体を検出するために処理領域を分析するステップをさらに含む。別の実施形態では、方法は、検出された物体の特性に基づいて命令を決定するステップをさらに含む。

さらなる実施形態では、上記の方法は、コンピュータ・プログラムとして実施される。別の実施形態では、装置が開示される。装置は、コンピュータ・プログラムを実行するように構成された少なくとも１つのプロセッサと、コンピュータ・プログラムおよびコンピュータ・プログラムのためのデータを保存するように構成された少なくとも１つのメモリとを備える。装置は、さらに、外部装置に接続可能である。装置は、さらに、上記の方法を行うように構成される。

別の実施形態では、システムが開示される。システムは、処理領域内の物体を操作してその物体を除去領域へ移動させるように構成された少なくとも１台のロボットを備える。システムは、物体の画像を取得するように構成された少なくとも１つの撮像ユニットと、上記のような装置とをさらに備える。一実施形態では、撮像装置は、除去領域に配置される。別の実施形態では、除去領域は、さらなるコンベヤに接続され、撮像装置は、コンベヤ上の物体の画像を取得するように構成される。さらなる実施形態では、撮像装置は、取得した画像を装置に送信するように構成される。

説明された実施形態の便益は、処理領域から正しい物体を選定することとそれらの物体を正しい除去領域へ移動させることとを伴うシステムの全体的性能を向上させることを含む。

説明された実施形態のさらなる便益は、既存のロボット・システムへの追加が容易であり、かつ、ロボットを変更することを必要としないが、必要とされる撮像ユニットが、選定された物体の画像を取得することができまた選定された物体が正しいｒ領域へ移動されるのであれば見ることができるように、独立して設置され得ることである。説明された実施形態のさらなる便益は、撮像ユニットおよびロボット・システムは較正される必要がないことである。取得された画像が正しい選定および投下手順に関連付けられたことをシステムが記録することができればよい。しかし、これは、いかなる特定の較正も必要としない。

ロボット・システムにおけるフィードバック構成に対するさらなる理解を提供しかつ本明細書の一部を構成するために含まれている添付の図面は、実施形態を示し、かつ、記述と一緒にロボット・システムにおけるフィードバック構成の原理を説明するのに役立つ。

ロボット・システムにおける本フィードバック構成の例示的実施形態のブロック図である。 ロボット・システムにおける本フィードバック構成の一実施形態による例示的方法の流れ図である。 ロボット・システムにおける本フィードバック構成の一実施形態による例示的方法の流れ図である。

次に、添付の図面にそれらの例が示されている実施形態を詳細に参照する。

説明では、以下の表現が様々な実施形態で使用される。この文脈におけるロボットとは、所定の処理領域から物体を選定してそれらを所定の除去領域へ運ぶことが可能な把持部またはグリッパを備えるロボットである。この要件は、いわゆる腕ロボットまたは線形ロボットなどのいくつかの異なるタイプのロボットによって果たされ得る。以下の説明で開示されるフィードバック構成は、あらゆるロボットのタイプに適している。

以下の説明における操作とは、処理領域内の物体を操作するためにロボットが行う動作を意味する。典型的には、ロボットは、ロボットが物体を操作するのに用いるツールまたはグリッパを備えている。以下の説明における操作命令とは、ロボットによる物体の操作に必要とされる任意のパラメータを意味する。例えば、操作は、指状のグリッパを用いて物体を掴むことであってもよく、その場合、操作命令は、例えば、グリッパの開き幅およびグリッパを閉じる前にグリッパを配置するための３ｄ空間における座標、ならびに把持後に物体を投げる速度および方向から成ってもよい。あるいは、操作は、例えば、物体を押すこと、真空吸引グリッパを用いて物体を把持すること、またはロボットによって移動される吸引管を用いて吸い込むことにより物体を移動させることであってもよい。

以下の説明における処理領域とは、１台のロボットがそこから物体を選定することができる領域を意味する。処理領域は、典型的には、ロボットの到達可能性によって限定されるが、壁または他の障害物によって限定される場合もある。この説明における処理領域は、１台のロボットのための処理領域であると理解されるべきである。作業を行うために２台以上のロボットを追加することにより実施形態におけるようなロボット・システムの能力が強化され得ることは明らかであるので、説明されるシステムは、複数の処理領域を有し得る。処理領域は、例えば、ロボットが動作可能でありかつコンベヤが処理領域を通過している領域であり得る。したがって、選定されるべき物体は、コンベヤによって処理領域に持ち込まれることになり、選定されなかった物体は、次のロボットの処理領域へ、またはコンベヤの終わりにあるコンテナへと、さらに前進することになる。

以下の説明では、除去領域として２つの投下領域を有する実施形態が論じられるが、これは、限定として理解されるべきではない。投下領域の数は、用途に基づいて選択されるものであり、２つ以上の投下領域を使用することも可能である。処理領域がコンベヤを含む場合、投下領域は、コンベヤの両側に配置され得る。ロボット・システムは、処理領域から物体を拾い上げ、その物体を投下領域まで移動させて、それを投下する。

投下領域は、選定された物体を運搬用コンテナまたはさらなる処置へ移動させるために使用される立坑、シュート、または類似のものであり得る。投下される物体は、シュートから、物体をコンテナまたは保管場所へ連れて行くさらなるコンベヤに直接投下されてもよく、または、シュートの直下にコンテナまたは保管場所があってもよい。

以下の説明において、選定（ｐｉｃｋｉｎｇ）とは、ロボットの意図が、選定された物体を拾上げ領域（ｐｉｃｋｕｐ ａｒｅａ）から除去領域へ移動させることであることを意味する。しかし、これは、広範に理解されるべきである。例えば、物体は、操作に関して上記されたような持ち上げるための様々な手段を使用することによって除去され得る。物体を持ち上げることは必ずしも必須ではなく、物体は、除去領域または投下領域へ引っ張られてもよくまたは押されてもよい。

以下、フィードバック構成の詳細な実施形態が開示される。フィードバック構成は、撮像ユニットによって取得される選定された物体の画像を機械学習のためのフィードバックとして使用する構成の様々な実施形態である。フィードバック情報は、選定動作および選定結果を向上させるようにシステムを教育するために使用される。

図１は、開示されたフィードバック構成をロボット・システムにおいて使用するシステムのブロック図である。図１の例は、上方から描かれている。図１の例では、典型的な廃棄物分離の用途が示されている。廃棄物は、ロボットを用いて選定され得る建設廃棄物または類似の廃棄物であり得る。

図では、レール１０ａおよび１０ｂ上で動作する線形ロボットが開示されている。レール上には、移動可能なレール１１が配置されている。レール１１は、把持要素１２をさらに備える。把持要素１２は、レール１１上で移動可能である。したがって、把持要素は、レール１０および１１の高さよりも低いところで動いているコンベヤ１３の上方で、所望の位置へ移動され得る。レールの高さとコンベヤとの間の距離は、物体の大きさによって決定される。下方の選定領域に到着する廃棄物は、カメラを使用して撮像され、把持要素１２を使用して従来の方法で選定される。カメラは、固定接続または無線接続によりコントローラ・ユニット１６に接続され得るように、把持要素１２または固定位置に配置され得る。

コントローラ１６は、少なくとも１つのプロセッサ１７、および少なくとも１つのメモリを備える。少なくとも１つのプロセッサ１７は、把持要素が最初に正しい位置へ移動されて次いで把持動作が行われるように、ロボット機構１０−１２を制御するように構成されたコンピュータ・プログラムを実行するように構成される。コントローラは、その後、選定された物体を検出してそれがどの投下領域に属するのかを判定するように構成されている。次いで、物体は、正しい投下領域へ投下される。少なくとも１つのメモリ１８は、少なくとも１つのプロセッサ１６によって実行されるコンピュータ・プログラム、さらに実行されるコンピュータ・プログラムに関連するデータを保存するように構成されている。

図１には、４つの投下領域１４ａ〜１４ｄが示されている。投下領域は、用途に応じて全て類似のタイプであってもよいし、異なるタイプのものであってもよい。例えば、処置すべき廃棄物が、典型的には重量または大きさが異なる様々なタイプの部分を含む場合には、異なるタイプの投下領域が使用され得る。さらに、投下領域は、空間利用要件のために、全体として異なっていてもよい。

以下では、投下領域１４ｂについてより詳細に論じられる。他の投下領域１４ａ、１４ｃ、および１４ｄは、異なっていてもよく、また、他の例は、投下領域１４ｂが説明された後で簡単に論じられる。投下領域１４ｂは、把持要素１２によって選定された物体がそれを通してさらなるコンベヤ１９に提供される立坑である。コンベヤ１９は、選定された物体を保管場所または類似の場所へ運ぶ。コンベヤ１９の上方には、撮像ユニット１５が設けられる。

撮像ユニット１５は、選定されて投下された画像の画像を取得するための少なくとも１つのカメラ・デバイスを備える。コンベヤ１９の配置により、次の物体が投下される前に前の物体がすでにコンベヤ１９上でさらに移動してしまっているので、選定されて投下された物体が１度に１つだけ撮像される形で物体を移動させることが可能である。撮像ユニット１５によって取得された画像は、コントローラ１６へ送信され、コントローラ１６は、受信した画像を、選定命令を生成するために使用される学習システムを教育するためのフィードバックとして使用する。

コントローラ１６は、任意の知られた機械学習構成であり得る機械学習を伴う構成を使用している。例えば、機械学習に使用され得る一般に知られた方法は、単純ベイズ分類器、ベイジアン・ネットワーク、決定木、ランダム・フォレスト、勾配ブースト回帰ツリー、人工ニューラル・ネットワーク、ファジー論理モデル、確率的分類モデルを、単独でまたは組合せで含む。

機械学習構成は、候補操作命令を例えば成功する可能性または失敗する可能性といった所定のクラスに分類するように訓練されるか、または、操作が一連の結果のそれぞれをもたらすことになる可能性を出力し、次いでコントローラ１６が機械学習構成を使用して所望の結果に終わる可能性が最も高い命令を一連の候補操作命令から選択することができるように訓練される、機械学習法であり得る。そのような候補操作命令は、例えば、無作為化された命令を生成すること、または、両立できる操作命令を出力するようになされたより単純なコントローラを使用することにより、生成され得る。あるいは、機械学習構成は、例えば、グリッパを配置するための一連の座標を出力して、操作命令をその出力として直接出力してもよい。機械学習構成を使用することおよび訓練することは、操作命令および環境に関連する特徴を計算することと、計算された特徴を機械学習構成への入力の少なくとも一部として使用することとを含み得る。例えば、そのような特徴は、選択された機械学習構成に適したものにするために例えばロボット・グリッパと位置合わせされるか縮小されるか他の方法で処理されるなどの適切な方法で処理されたカメラ画像または３ｄカメラ画像のデータ、または、入力画像内の物体もしくは材料を認識するように構成された機械学習構成によって生成された物体認識結果を含み得る。

上記では、投下領域に対して配置されたシュートの後に位置する第２のコンベヤ上で物体が撮像された構成。これは、単に、フィードバック構成の実施例であった。フィードバックは、他の方法で取得されてもよい。

例えば、一実施形態では、ロボットは、把持を解放して物体を投下領域へ投下する前に、投下すべき物体を撮像ゾーンに連れて行くように構成される。撮像ゾーンでは、カメラが、フィードバックとして使用される画像を取得するように構成される。別の実施形態では、撮像ゾーンは、物体が投下される窪みなどの領域である。投下の後、物体の画像が取得される。画像が取得された後、物体は、例えば、立坑またはコンベヤへとさらに押され得る。

上記の構成のそれぞれにおいて、物体の画像は、選定が行われかつ投下領域が決定された後で、取得される。したがって、フィードバック情報からは、選定の成功だけではなく、正しい投下領域を決定することの成功も判定される。これは、選定された物体が属する廃棄物部分を判定することに対応する。フィードバック情報からは、例えば、正しい部分の２物体が投下領域に入ったが誤った部分の１物体も投下領域に入る結果になった操作といった、操作結果の分布も判定され得る。そのような操作は、システム全体の用途に応じて、成功したまたは失敗した操作と見なされ得るが、いずれの場合でも、フィードバックは、コントローラ１６において使用され得る。

上記では、操作される物体の画像が取得される。取得された画像が物体を含まないか、または画像が取得されない可能性もある。これは、例えば、選定動作中に物体がロボットから落下して、投下領域に決して到達できなかった場合に起こり得る。

上記の例では、いくつかの投下領域を使用して複数の部分が分離されたが、構成は、廃棄物の流れから１つの部分を分離するために使用されてもよく、残りの廃棄物は、次の段階で別個に処置される。そのような例では、１つの投下領域のみが必要とされる。フィードバック情報は、選定が成功であったかどうか、および、選定された物体が投下領域に実際に属したかどうかを判定するために使用される。

図２では、本フィードバック構成による方法の流れ図が説明されている。以下の方法は、図１で説明されたような構成とともに使用されるのに適しているが、一例に過ぎない。方法は、コントローラ、制御ユニット、サーバ、または類似のものによって制御されるロボット把持要素を有すること、および、カメラ、複数のカメラ、デプス・カメラ、スペクトル撮像ユニット、赤外線撮像ユニット、ＮＩＲ撮像ユニット、ＸＲＦ撮像ユニット、もしくはＸ線撮像ユニット、撮像金属検出器、またはフィードバックを提供するための任意の類似の撮像ユニットなどの撮像ユニットをさらに有することという要件を満たす他の構成で使用されてもよい。図２の方法は、システム全体を制御するコントローラにおいて実施される。

方法は、選定のための命令を決定するステップ２０によって開始される。選定領域は、上記のように、固定されたまたは動いているコンベヤであり得る。選定領域は、カメラ機構によって検出される様々なタイプの物体を含む。カメラ機構は画像を取得し、画像からは、どの物体が次に選定されるべきかが判定される。決定は、種々の変数に基づいて行われ得る。例えば、２台以上のロボットが直列に配置される場合、後に続くロボットが異なる特性を有し得るかまたはそれらの投下領域が異なるタイプの物体に割り当てられるので、後に続くロボットの選定能力が考慮され得る。

決定される命令は、少なくとも、どの物体を選定すればよいかに関する情報を含む。これは、例えば、選定座標を指示することによって行われ得る。選定座標は、コンベヤの動作により時間とともに変わりつつある場合があり、これは、考慮される必要がある。命令はまた、所望の投下領域の情報を含み得る。２つ以上の適切な投下領域が存在する場合、ロボット・システムの後続の動作が最適化されるように投下領域を決定することが可能である。

次いで、ステップ２１において、命令がロボットに送信される。命令は、システム全体を制御するコントローラにより、把持を行うロボットに直接送られてもよく、または、システム全体を制御するコントローラとロボットとの間にさらなる制御ユニットが存在してもよい。

次いで、ロボットは、コントローラから命令を受信し、それに応じて正しい位置まで移動する。その位置に到達すると、把持動作が行われて、命令によって定められた目標物体が選定される。次いで、選定された物体は、投下領域の近傍に連れて行かれて、投下領域に落ちるように解放される。

物体は、選定された後、撮像される必要がある。これは、物体が解放される前に、例えばロボットが解放位置の近くにいるときに、すでに行われていてもよい。他の選択肢には、解放された物体が投下領域へ落下しているときに検出されて空中でまたは投下領域に着いた後で撮像されることが含まれる。

方法２が適している実施形態では、物体の存在は、自動的に、また、図２の方法が行われるコントローラとは独立して検出される。例えば、物体を検出するために、運動センサまたは他の検出器が使用され得る。物体が検出されると、画像が取得されて、コントローラへ送信される。

コントローラは、ステップ２２において、少なくとも１つの画像を受信し、ステップ２３において、その画像をコントローラにおける機械学習プロセスで使用されるフィードバック情報として処理する。

図３では、全体的なシステムの機能性を記述する方法が説明されている。この方法では、ステップ３０において、分離または分類されるべき廃棄物などの物体が、コンベヤまたはコンテナにより、処理領域へ運ばれる。物体は、ステップ３１において、様々な物体のタイプおよび量を検出するために連続的に分析される。分析結果に基づき、ステップ３２において、選定のための命令が決定される。

選定命令は、ステップ３３において、把持要素を含むロボットによって実行される。ロボットは、ステップ３４において、所望の物体を拾い上げて、それを正しい投下領域に落とす。物体が落とされると、ステップ３５において、物体の画像が取得される。次いで、取得された画像は、ステップ３６において、物体を分析して選定命令を決定することに関与する機械学習テンティティへ送られる。最後に、ステップ３７において、投下された物体は、保管場所へ送られる。例えば、次の場所への運搬を待つため、または、近傍に配置された廃棄物処理システムへ直接運搬されるためである。

上述の方法は、他のデバイスと通信することができるコンピューティング・デバイスにおいて実行されるコンピュータ・ソフトウェアとして実施されてもよい。コンピューティング・デバイスにおいてソフトウェアが実行される場合、ソフトウェアは、上記の本発明の方法を実行するように構成される。ソフトウェアは、図１のコントローラ１６などのコンピューティング・デバイスに提供され得るように、コンピュータ可読媒体上に具現化される。

上述のように、例示的な実施形態の構成要素は、本実施形態の教示に従ってプログラムされた命令を保持するための、また、データ構造、表、レコード、および／または本明細書で説明される他のデータを保持するための、コンピュータ可読媒体またはメモリを含み得る。コンピュータ可読媒体は、実行するためのプロセッサに命令を提供することに関与する、任意の適切な媒体を含み得る。一般的な形態のコンピュータ可読媒体は、例えば、フロッピー・ディスク、フレキシブル・ディスク、ハード・ディスク、磁気テープ、任意の他の適切な磁気媒体、ＣＤ−ＲＯＭ、ＣＤ±Ｒ、ＣＤ±ＲＷ、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＤＶＤ±ＲＷ、ＤＶＤ±Ｒ、ＨＤ ＤＶＤ、ＨＤ ＤＶＤ−Ｒ、ＨＤ ＤＶＤ−ＲＷ、ＨＤ ＤＶＤ−ＲＡＭ、ブルーレイ・ディスク、任意の他の適切な光学媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、任意の他の適切なメモリ・チップもしくはカートリッジ、搬送波、またはコンピュータが読み出すことができる任意の他の適切な媒体を含み得る。

ロボット・システムにおけるフィードバック構成の基本的な考え方は技術の進歩とともに様々な方法で実施され得ることは、当業者には明白である。したがって、ロボット・システムにおけるフィードバック構成およびその実施形態は、上記の例に限定されるものではなく、特許請求の範囲の範囲内で変化し得るものである。

Claims (11)

1. 様々なタイプの部分に属している複数の物体から少なくとも１つの物体を分けるための方法であって、前記方法は、
   制御ユニットにより、処理領域内の物体を操作するための命令を決定するステップと、
   前記処理領域内の前記物体を操作するように、操作要素を備えるロボット・システムに命令するステップと、
   を含み、
   前記命令が、除去場所を決定するのに必要な情報をさらに含み、前記方法が、
   前記少なくとも１つの操作される物体の少なくとも１つの画像を受信するステップであって、前記少なくとも１つの操作される物体が所定の除去領域へ運ばれるために前記処理領域から除去された後で前記画像が取得されるステップと、
   前記受信された少なくとも１つの画像を前記制御ユニットにおいて機械学習プロセスにおける前記操作および前記除去の成功のフィードバックとして使用するステップと、
   をさらに含むことを特徴とする、方法。
2. 撮像領域内の物体を検出するステップをさらに含む、請求項１に記載の方法。
3. 前記検出するステップへの応答として、前記物体の画像を取得するように撮像ユニットに命令する、請求項２に記載の方法。
4. 操作すべき物体を検出するために処理領域を分析するステップをさらに含む、請求項１〜３のいずれか一項に記載の方法。
5. 操作すべき物体を検出するステップに対する応答として、前記検出された物体の特性に基づいて前記命令を決定するステップをさらに含む、請求項４に記載の方法。
6. 様々なタイプの部分に属している複数の物体から少なくとも１つの物体を分けるためのコンピュータ・プログラムであって、前記コンピュータ・プログラムが、コンピューティング・デバイスにおいて実行されたときに請求項１〜５のいずれか一項に記載のステップを実行するように構成されていることを特徴とする、コンピュータ・プログラム。
7. 様々なタイプの部分に属している複数の物体から少なくとも１つの物体を分けるための装置であって、
   コンピュータ・プログラムを実行するように構成された少なくとも１つのプロセッサ（１７）と、
   コンピュータ・プログラムおよびコンピュータ・プログラムのためのデータを保存するように構成された少なくとも１つのメモリ（１８）と、
   を備え、
   前記装置が、外部装置に接続可能であり、
   前記装置が、さらに、請求項１〜５のいずれか一項に記載の方法を行うように構成されていることを特徴とする、装置。
8. 様々なタイプの部分に属している複数の物体から少なくとも１つの物体を分けるためのシステムであって、
   処理領域内の物体を操作して前記物体を除去領域へ移動させるように構成された少なくとも１台のロボット（１０−１２）と、
   前記物体の画像を取得するように構成された少なくとも１つの撮像ユニット（１５）と、
   を備えるシステムにおいて、
   請求項７に記載の装置（１６）
   を特徴とする、システム。
9. 前記撮像ユニット（１５）が、前記除去領域に配置される、請求項８に記載のシステム。
10. 前記除去領域が、さらなるコンベヤに接続され、前記撮像ユニット（１５）が、前記コンベヤ上の物体の画像を取得するように構成されている、請求項８に記載のシステム。
11. 前記撮像ユニット（１５）が、取得した画像を前記装置（１６）に送信するように構成されている、請求項８〜１０のいずれか一項に記載のシステム。

Images