JP7057214B2 - 把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法 - Google Patents

把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法 Download PDF

Info

Publication number
JP7057214B2
JP7057214B2 JP2018096213A JP2018096213A JP7057214B2 JP 7057214 B2 JP7057214 B2 JP 7057214B2 JP 2018096213 A JP2018096213 A JP 2018096213A JP 2018096213 A JP2018096213 A JP 2018096213A JP 7057214 B2 JP7057214 B2 JP 7057214B2
Authority
JP
Japan
Prior art keywords
gripping
tag
container
gripped
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018096213A
Other languages
English (en)
Other versions
JP2019198945A (ja
Inventor
侑司 大沼
孔明 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Toyota Motor Corp
Original Assignee
National Institute of Information and Communications Technology
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology, Toyota Motor Corp filed Critical National Institute of Information and Communications Technology
Priority to JP2018096213A priority Critical patent/JP7057214B2/ja
Priority to US16/408,560 priority patent/US11192242B2/en
Priority to EP19174467.1A priority patent/EP3597374A1/en
Priority to CN201910411749.8A priority patent/CN110497443B/zh
Publication of JP2019198945A publication Critical patent/JP2019198945A/ja
Application granted granted Critical
Publication of JP7057214B2 publication Critical patent/JP7057214B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/02Gripping heads and other end effectors servo-actuated
    • B25J15/0206Gripping heads and other end effectors servo-actuated comprising articulated grippers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/06Programme-controlled manipulators characterised by multi-articulated arms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40543Identification and location, position of components, objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes

Description

本発明は、把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法に関する。
ロボットハンドにより対象物を把持する技術が広く実用化されている。把持しにくい対象物についても、対象物ごとに学習作業を行うことにより、把持を実行できるようにする把持装置が知られている(例えば、特許文献1参照)。
特開2007-216381号公報
把持装置が把持しようとする対象物が、小さかったり複雑な形状であったりする場合には、直接把持することが難しい。把持装置のハンド部の構造的な制約から、そもそも目的とする対象物を把持できない場合もある。また、対象物が透明な容器に収容されていると、把持装置は、当該対象物については認識できるものの、収容している容器を認識できずに、結果的に対象物の把持に失敗する場合もある。
本発明は、このような問題を解決するためになされたものであり、把持すべき対象物を指示された場合に、当該対象物を間接的にでも把持し得る把持装置を提供するものである。
本発明の第1の態様における把持装置は、指示された把持対象物を検出する第1検出部と、第1検出部が把持対象物を検出した場合に、把持対象物に近接するタグを検出する第2検出部と、第2検出部が検出したタグのタグ情報に基づいて、タグが付された容器を把持する把持部とを備える。
タグが付された容器に把持対象物が収容されており、そのタグに当該容器の情報や把持に関する情報が埋め込まれていれば、把持装置は、構造的に当該対象物を直接的に把持できない把持部であっても、当該容器を把持することで間接的に把持することができる。また、ユーザは、把持を行わせる段階において、容器の把持を指定するのではなく、把持させたい把持対象物を直接的に指定することができるので、収容する容器を意識する必要がない。また、把持装置は、タグ情報により容器を予め認識できれば、容器が透明でその外形を正確に検出できなくても、把持対象物を直接把持しようとすることがない。また、容器と収容される対象物とを事前に関連付ける作業をユーザが行う必要はなく、当該容器に収容できる物であって第1検出部が検出できる物であれば、把持装置は、どのような把持対象物でも間接的に把持することができる。もちろん、把持装置が事前の学習作業などを行う必要もない。
特に、タグ情報が容器の形状情報および容器の把持位置情報の少なくともいずれかを含めば、把持装置は当該容器をどのように把持すべきか判断しやすく、把持動作を迅速かつ効率よく実行できる。また、タグが二次元コードのマーカーであり、把持部がタグ情報とマーカーの位置に基づいて容器を把持するように構成すれば、ひとつのカメラを第1検出部および第2検出部として利用できる。この場合、例えばマーカーの位置に対してどこを把持すべきかを情報として埋め込めば良いので、多くの情報を埋め込む必要がなく、簡易な二次元コードでタグを実現することができる。
また、上記の把持装置において、把持部は、指示された把持対象物が予め定められた把持対象物群に含まれない場合は、第2検出部でタグを検出することなく、指示された把持対象物を把持しても良い。容器に入れられて間接的に把持される対象物が予め定められていれば、それ以外の把持対象物が指示された場合に、タグを検出する手間を省くことができる。また、直接的に把持できるのであれば、把持対象物をより安定的に把持することができる。
本発明の第2の態様におけるタグが付された容器は、上記のタグが付され、上記の把持装置に把持される、透光素材で形成された容器である。透光素材の容器であれば、収容物を外部からカメラによって観察できるので、指示された把持対象物が容器に囲われたような状態であっても、把持装置は当該把持対象物を間接的に把持することができる。また、透光素材であれば底深や有蓋の容器形状を採用することができるので、把持対象物をより安定的に把持することができる。また、ユーザは、把持装置に把持させたい予定対象物を、このような容器に入れて例えば棚に載置しておくだけで良いので、対象物の管理がしやすく、煩わしい準備作業をする必要もない。
本発明の第3の態様における対象物把持プログラムは、指示された把持対象物を第1検出部に検出させる第1検出ステップと、第1検出ステップで把持対象物を検出した場合に、把持対象物に近接するタグを第2検出部に検出させる第2検出ステップと、第2検出ステップで検出したタグのタグ情報に基づいて、タグが付された容器を把持部に把持させる把持ステップとをコンピュータに実行させる。
本発明の第4の態様における対象物把持方法は、透光素材で形成されタグを付した容器に把持対象物を収容しておく収容ステップと、把持対象物を指示する指示ステップと、指示ステップで指示した把持対象物を収容している容器の把持を把持装置に実行させる実行ステップとを有し、実行ステップは、指示ステップで指示された把持対象物を第1検出部に検出させる第1検出ステップと、第1検出ステップで把持対象物を検出した場合に、把持対象物に近接するタグを第2検出部に検出させる第2検出ステップと、第2検出ステップで検出したタグのタグ情報に基づいて、タグが付された容器を把持部に把持させる把持ステップとを含む。このような第3、第4の態様においても、第1の態様と同様の効果を享受することができる。
本発明により、把持すべき対象物を指示された場合に、当該対象物を間接的にでも把持し得る把持装置等を提供することができる。
把持装置を備える移動ロボットの外観斜視図である。 移動ロボットの制御ブロック図である。 ハンドユニットが把持動作を行う様子を示す図である。 移動ロボットの一連の処理を説明するフロー図である。 搬送対象物の搬送を実現するための全体の手順を説明するフロー図である。 第1の変形例に係る移動ロボットの外観斜視図である。 第1の変形例に係るハンドユニットが把持動作を行う様子を示す図である。 第2の変形例に係るハンドユニットが把持動作を行う様子を示す図である。
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
図1は、本実施形態に係る把持装置を備える移動ロボット100の外観斜視図である。図においてxy平面は移動ロボット100の走行面であり、z軸プラス方向は天頂方向を示す。移動ロボット100は、大きく分けて台車部110、本体部120と、把持装置を構成するアームユニット130およびハンドユニット140とによって構成される。
台車部110は、円筒形状の筐体内に、それぞれが走行面に接地する2つの駆動輪111と1つのキャスター112とを支持している。2つの駆動輪111は、互いに回転軸芯が一致するように配設されている。それぞれの駆動輪111は、不図示のモータによって独立して回転駆動される。キャスター112は、従動輪であり、台車部110から鉛直方向に延びる旋回軸が車輪の回転軸から離れて車輪を軸支するように設けられており、台車部110の移動方向に倣うように追従する。移動ロボット100は、例えば、2つの駆動輪111が同じ方向に同じ回転速度で回転されれば直進し、逆方向に同じ回転速度で回転されれば台車部110の2つの駆動輪111の中央を通る鉛直軸周りに旋回する。
本体部120は、アームユニット130を支持すると共に、ユーザインタフェースの一部を成す表示パネル123を有する。表示パネル123は、例えば液晶パネルであり、キャラクターの顔を表示したり、移動ロボット100に関する情報を提示したりする。表示パネル123は、表示面にタッチパネルを有し、ユーザからの指示入力を受け付けることができる。
本体部120は、アームユニット130およびハンドユニット140の動作範囲を含む前方の環境空間を見渡せる位置に環境カメラ121を有する。環境カメラ121は、例えばCMOSイメージセンサである撮像素子と画像データ生成部を含み、前方の環境空間を撮像して生成した画像データを出力する。また、本体部120には、コントロールユニット190が設けられている。コントロールユニット190は、後述の制御部とメモリ等を含む。
本体部120に支持されたアームユニット130は、アーム部の一例であり、例えば図示するように2つのリンクを有し、それぞれのリンク基端に設けられた不図示のモータの駆動によって様々な姿勢を取り得る。アームユニット130の先端部にはハンドユニット140が接続されており、ハンドユニット140の全体は、アームユニット130の先端リンクの伸延方向と平行な旋回軸周りに、不図示のモータの駆動によって旋回し得る。ハンドユニット140は、把持部の一例であり、先端部に不図示のモータによって駆動される第1フィンガー140aと第2フィンガー140bを備える。第1フィンガー140aと第2フィンガー140bは、点線矢印で示すようにそれぞれが互いに接近するように動作して、対象物を挟持することにより把持を実現する。
ハンドユニット140のうち第1フィンガー140aおよび第2フィンガー140bの支持基部に、ハンドカメラ141が配設されている。ハンドカメラ141は、例えばCMOSイメージセンサである撮像素子と画像データ生成部を含み、ハンドユニット140の前方空間を撮像して生成した画像データを出力する。ハンドカメラ141は、指示された把持対象物を検出する第1検出部としての機能を担う。また、把持対象物に近接するタグとしてのマーカーを検出する第2検出部としての機能も併せて担う。
図2は、移動ロボット100の制御ブロック図である。制御部200は、例えばCPUであり、本体部120のコントロールユニット190に格納されている。駆動輪ユニット210は、駆動輪111を駆動するための駆動回路やモータを含み、台車部110に設けられている。制御部200は、駆動輪ユニット210へ駆動信号を送ることにより、駆動輪111の回転制御を実行する。
アームユニット130は、図1を用いて説明した構造体の他にも、モータを駆動する駆動回路や動作量を監視するためのエンコーダ等を備える。制御部200は、アームユニット130へ駆動信号を送ることにより、アームの動作や姿勢を制御する。ハンドユニット140は、図1を用いて説明した構造体の他にも、モータを駆動する駆動回路や動作量を監視するためのエンコーダ等を備える。制御部200は、ハンドユニット140へ駆動信号を送ることにより、ハンドの動作や姿勢を制御する。
センサユニット220は、移動中に障害物を検出したり、外部からの接触を検出したりする各種センサを含み、台車部110および本体部120に分散して配置されている。制御部200は、センサユニット220に制御信号を送ることにより、各種センサを駆動してその出力を取得する。
環境カメラ121は、上述のように、アームユニット130およびハンドユニット140の動作範囲を含む前方の環境空間を観察するために利用され、制御部200の撮像指示に従って撮像を実行する。環境カメラ121は、生成した画像データを制御部200へ引き渡す。ハンドカメラ141は、上述のように、ハンドユニット140の前方空間を観察するために利用され、制御部200の撮像指示に従って撮像を実行する。ハンドカメラ141は、生成した画像データを制御部200へ引き渡す。
メモリ240は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ240は、移動ロボット100を制御するためのロボット制御プログラムの他にも、制御に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。ロボット制御プログラムは、把持装置を構成するアームユニット130およびハンドユニット140を制御するための対象物把持プログラムを包含する。
ユーザIF240は、表示パネル123や、例えば合成音声を発話するスピーカなどであり、制御部200の制御に従ってユーザに情報を提供する出力装置を含む。また、ユーザIF240は、表示パネル123の表示面に設けられたタッチパネルなどの、ユーザからの指示入力を受け付けて制御部200へ入力信号を送信する入力装置を含む。
制御部200は、制御に関わる様々な演算を実行する機能演算部としての役割も担う。把持制御部201は、対象物を把持する把持動作を制御する。把持制御部201は、後述する様々な演算を行い、その演算結果に基づいてハンドユニット140の把持動作を実行すべく、ハンドユニット140へ駆動信号を送信する。
把持動作の一例について説明する。図3は、ハンドユニット140が把持動作を行う様子を示す図である。ここでは、移動ロボット100は、ユーザからフォーク901を把持するように指示されているものとする。
本実施形態におけるハンドユニット140は、図示するように、単純な一軸周りの開閉動作によって把持対象物を挟んで把持する第1フィンガー140aと第2フィンガー140bを備える。第1フィンガー140aと第2フィンガー140bは、それぞれ人間の片掌程度の大きさである。したがって、フォーク901を直接的に把持することは、構造的に難しい。
そこで、ユーザあるいは補助者は、フォーク901を透明容器900に収容し、透明容器900をテーブル910上に載置して予め把持環境を整備しておく。透明容器900は、図示するように例えば上部が開口しているカップ形状を成し、ポリカーボネートやガラスなどの透光素材で形成されている。素材が透光性を有していれば、加色されていても構わない。フォーク901は、透明容器900に収容されているので、外部からその全体を観察し得る。すなわち、ハンドカメラ141は、透明容器900に収容されている状態のフォーク901を観察できる。透明容器900は、カップ形状でなく、フォーク901の全体を収容する有蓋容器であっても構わない。透明容器900は、少なくとも第1フィンガー140aと第2フィンガー140bで把持できる大きさと形状であれば、他の要素が付加されていても構わない。なお、透明容器900は、第1フィンガー140aと第2フィンガー140bで挟まれて把持されても、変形しない程度の剛性を有する。
透明容器900は、外周面にマーカー902が貼着されている。本実施形態においては、ハンドユニット140がいずれの方向からも接近して良いように、放射方向へ向けて複数のマーカー902が貼着されている。マーカー902は、透明容器900の形状情報および透明容器900の把持位置情報の少なくともいずれかを含む情報が二次元コードに埋め込まれたタグである。形状情報は、マーカー902の中心を座標中心として、透明容器900の表面形状が関数で表現されていたり、全ての頂点が三次元座標で表現されていたりする。把持位置情報は、マーカー902の中心を座標中心として、第1フィンガー140aと第2フィンガー140bで安定的に把持できる箇所が、領域を表す関数として表現されていたり、点として三次元座標で表現されていたりする。
フォーク901を把持するように指示された場合に、把持制御部201は、ハンドカメラ141から取得される画像データを解析して、まずフォーク901を検出する。フォーク901の検出には、例えばリアルタイムオブジェクト検出アルゴリズムとして知られるYOLOを利用することができる。
フォーク901を検出したら、把持制御部201は、フォーク901を検出した画像データから、フォーク901に近接するマーカー902を探索する。同一画像データからマーカー902を検出できなかったり、一部しか検出できなかったりする場合には、検出したフォーク901の近傍でハンドユニット140を移動させ、ハンドカメラ141から再度画像データを取得して、フォーク901に近接するマーカー902を探索する。より具体的には、フォーク901を検出した領域に最も近くに存在するマーカー902を、近接するマーカーとして検出する。同一画像データからマーカー902を検出できなかった場合には、フォーク901を検出した位置から撮影位置を少しずつ鉛直方向へ下げながら画像データを取得し、ハンドユニット140の移動量から、フォーク901に最も近いと判断されるマーカー902を検出する。
マーカー902を検出できたら、把持制御部201は、画像データ中のマーカー像を解析して、透明容器900に関するタグ情報を抽出する。そして、透明容器900の形状情報が抽出できた場合には、当該形状情報から第1フィンガー140aと第2フィンガー140bで安定的に把持できる把持位置を演算し、当該把持位置での把持動作を実行する。透明容器900の把持位置情報が抽出できた場合には、当該把持位置情報で指定された把持位置での把持動作を実行する。把持制御部201は、このようにして、ユーザから指定されたフォーク901を、透明容器900を介して把持する。
このように、マーカーが付された透明容器に把持対象物が収容されており、マーカーに当該透明容器の情報や把持に関する情報が埋め込まれていれば、ハンドユニットは、構造的に当該対象物を直接的に把持できなくても、当該透明容器を把持することで間接的に把持することができる。また、ユーザは、把持を行わせる段階において、透明容器の把持を指定するのではなく、把持させたい把持対象物を直接的に指定することができるので、収容する透明容器を意識する必要がない。すなわち、把持させたい把持対象物が、どの透明容器に収容されていたかを確認し、その透明容器を把持するように指定する必要がない。換言すれば、ユーザは、容器と収容される把持対象物とを事前に関連付ける作業を行う必要はなく、把持の対象となり得るものをマーカーが付されたいずれかの透明容器にそれぞれ収容して、テーブルや棚に載せておけば良い。
また、透明容器に把持対象物を収容する場合には、画像データの画像から当該透明容器の形状を正確に把握することが難しいが、把持制御部201は、マーカーのタグ情報から把持に必要な情報を得ることができるので、透明容器の形状を正確に把握する必要がない。別言すれば、把持制御部201は、マーカーを検出できれば透明容器に把持対象物が収納されていることを把握できるので、把持対象物を無理に直接把持しようとすることがない。
また、ハンドユニットが透明容器を安定的に把持するためのタグ情報は様々に記述し得るが、透明容器の形状情報、把持位置情報を含めば、把持制御部201は、当該透明容器をどのように把持すべきか判断しやすく、把持動作を迅速かつ効率よく実行できる。また、タグ情報をマーカーに埋め込むのであれば、透明容器に貼着されたマーカーの位置を基準として透明容器の形状や把持位置を定義することができる。したがって、タグ情報として多くの情報を埋め込む必要がなく、簡易な二次元コードでタグを実現することができる。
次に、図3を用いて説明したような把持動作を含む、一連の把持運搬処理について説明する。図4は、移動ロボット100の一連の把持運搬処理を説明するフロー図である。
制御部200は、ステップS101で、取ってくる搬送対象物の指示を、ユーザIF240を介してユーザから受け付ける。制御部200は、メモリ250から環境地図を読み出し、指示された搬送対象物が保管された保管場所(例えば棚やテーブル)を特定し、当該保管場所までの移動経路を計画する。そして、ステップS102で、計画した移動経路に沿って自律移動し、当該保管場所の近傍に到達したら停止する。
把持制御部201は、ステップS103で、アームユニット130およびハンドユニット140を駆動し、ハンドカメラ141から逐次得られる画像データを解析して、指示された搬送対象物である把持対象物を探索する。そして、把持対象物を検出したらステップS104へ進む。
把持制御部201は、ステップS104で、把持対象物をハンドユニット140が直接把持可能か否かを判断する。図3を用いて説明した例では、把持対象物が透明容器に収容されていることを前提に説明したが、ユーザから指示される搬送対象物(すなわち把持対象物)は、ハンドユニット140が直接把持できない物ばかりではない。直接把持できる物は、容器に収容されることなく保管場所に保管されている。そこで、把持制御部201は、メモリ250から、容器に収容されて保管される把持対象物群が予めリスト化されたルックアップテーブルを読み出し、ユーザに指示された把持対象物がルックアップテーブルに含まれるか否かを確認する。含まれていなければ、ハンドユニット140が直接把持できると判断して、ステップS105へ進む。含まれていれば、ハンドユニット140が直接把持できないと判断して、ステップS106へ進む。
ステップS105へ進んだ場合は、把持制御部201は、ステップS103で検出した把持対象物を把持するための把持動作を実行する。把持対象物を把持したら、ステップS109へ進む。
ステップS106へ進んだ場合は、把持制御部201は、把持対象物を検出した画像データから、把持対象物に近接するタグであるマーカー902を探索する。同一画像データからマーカー902を検出できなかったり、一部しか検出できなかったりする場合には、検出した把持対象物の近傍でハンドユニット140を移動させ、ハンドカメラ141から再度画像データを取得して、把持対象物に近接するマーカー902を探索する。マーカー902を検出できたら、把持制御部201は、画像データ中のマーカー像を解析して、透明容器900に関するタグ情報を抽出する。
把持制御部201は、ステップS107へ進み、検出したタグ情報から透明容器900に対する把持位置を定め、当該把持位置で把持できるように、アームユニット130およびハンドユニット140の動作を計画する。そしてステップS108で、アームユニット130およびハンドユニット140を駆動して、当該把持位置での把持動作を実行する。このようにして、把持対象物を収容した透明容器900を把持したら、ステップS109へ進む。
制御部200は、ステップS109で、把持対象物を直接的または間接的に把持する把持姿勢を維持したまま、搬送先である目的地まで自律移動して搬送を実行する。目的地に到達したら一連の処理を終了する。
図5は、搬送対象物の搬送を実現するための全体の手順を説明するフロー図である。図4のフロー図は移動ロボット100の制御部200が実行する処理フローであったのに対して、図5のフロー図は、移動ロボット100を利用して対象物の搬送を実現するための、ユーザあるいは補助者の作業を含む搬送方法としての処理フローである。
ユーザあるいは補助者は、ステップS201で、把持の対象となり得る物をマーカーが付されたいずれかの透明容器900にそれぞれ収容し、ステップS202で、所定場所のテーブルや棚に載せて保管する。所定場所は、メモリ250に記憶された環境地図に当該対象物の保管場所として記述されている場所であるか、当該対象物の保管場所として新たに環境地図に記述される場所である。
ユーザは、移動ロボット100に搬送して欲しい対象物が生じたときに、ステップS203で、移動ロボット100に対して搬送対象物の指示を与える。移動ロボット100の側では、図4のステップS101の処理に対応する。そして、ステップS204で、移動ロボット100は、指示された搬送処理を実行する。移動ロボット100の側では、ステップS102からステップS109までの処理に対応する。
ユーザは、ステップS205で移動ロボット100から搬送物を受け取って一連の搬送方法を完了する。ユーザは、複数の搬送対象物を搬送したい場合は、ステップS203からステップS205を繰り返せば良いし、搬送後に利用を終えた搬送物に対しては、再びステップS201およびステップS202を行って元の保管場所に返しても良い。
次に、いくつかの変形例について説明する。図6は、第1の変形例に係る移動ロボット100’の外観斜視図である。移動ロボット100’は、移動ロボット100の構成に対して更にタグリーダー142を備える。タグリーダー142は、例えば図示するようにハンドカメラ141に隣接して配設される。タグリーダー142は、ICタグに対して電波を照射し、ICタグに記録された情報を読み取る装置である。
図7は、第1の変形例に係る移動ロボット100’のハンドユニット140が把持動作を行う様子を示す図である。図3に示すマーカー902が貼着された透明容器900と異なり、本変形例に係る透明容器900には、ICタグ903が貼着されている。ICタグ903は、透明容器900の形状情報および透明容器900の把持位置情報の少なくともいずれかが記録されている。他の状況および設定は、図3の例と同様とする。
把持制御部201は、ハンドカメラ141から得られた画像データを解析してフォーク901を検出したら、タグリーダー142を駆動して、フォーク901に近接するICタグ903を検出し、その情報を読み出す。そして、当該情報に基づいて透明容器900の把持位置を定め、把持動作を実行する。なお、ICタグ903の位置は、例えば、タグリーダー142の位置を変化させてICタグ903を読み取り、そのときの電波強度の差と読み取り位置の差を利用して算出される。
図3の例では、タグとして二次元コードのマーカー902を用いたので、ハンドカメラ141に、指示された把持対象物を検出する第1検出部と、把持対象物に近接するタグを検出する第2検出部の両機能を担わせることができた。一方で、二次元コードを印刷できる程度の面積を有するマーカー902を、透明容器900に複数貼着することを要した。本変形例では、ハンドカメラ141を、指示された把持対象物を検出する第1検出部として機能させ、タグリーダー142を、把持対象物に近接するタグを検出する第2検出部として機能させる。すなわち、それぞれを別個のハードウェアで構成する必要があるが、ICタグ903はマーカー902よりも小さく、しかも透明容器900に一つ貼着すれば良い。すなわち、透明容器900のデザイン性を損なう虞が小さく、貼着作業も容易である。
図8は、第2の変形例に係るハンドユニット140が把持動作を行う様子を示す図である。図3の例および図7の例では、フォーク901を透明容器900に収容したが、本変形例では、フォーク901を比較的底浅の不透明容器904に収容している。他の状況および設定は、図3の例と同様とする。
これまでの実施例では透明容器900を用いたが、透明容器900を用いたのは、収容された把持対象物が良好に検出できるからである。すなわち、容器が透明であれば、ハンドカメラ141で把持対象物の全体を撮像することができるからであり、把持対象物の検出精度の向上に寄与した。しかし、把持対象物を容器に収容しても、把持対象物を検出できれば良い。そこで、本変形例では、収容されるフォーク901の半分程度が外部に露出するように収容される、底浅で不透明な容器である不透明容器904を利用する。このように、収容されたフォーク901が半分程度外部に露出していれば、把持制御部201は、フォーク901を認識することができる。
不透明容器904の外周にも、透明容器900と同様に、複数のマーカー902が貼着されている。把持制御部201は、フォーク901を検出した後に、マーカー902を検出し、マーカー902から読み出したタグ情報に基づいて不透明容器904の把持位置を定め、把持動作を実行する。
なお、収容される把持対象物がどの程度不透明容器904から露出しているべきかは、当該把持対象物の形状や、収容の仕方などによって異なる。例えば、フォーク901であれば、形状として特徴的な櫛状の先端部が露出していれば画像解析により検出しやすいので、柄の部分の大半が不透明容器904に隠れていても構わない。また、本変形例においては、マーカー902を貼着する代わりに、ICタグ903を貼着しても構わない。その場合は、ハンドユニット140としてタグリーダー142を備えることを要する。
以上、変形例を含めて本実施形態を説明したが、透明容器900や不透明容器904に収容する把持対象物は、単独のフォーク901に限らない。複数のフォークが収容されていても構わないし、スプーンが収容されていても構わない。ユーザが把持対象物としてフォークを指定した場合に、フォークと共にスプーンも把持することを許容するのであれば、フォークとスプーンが共に収容されていても構わない。もちろん、フォークやスプーンのような小物に限らず、把持しにくい比較的大きな対象物を容器に収容して把持するようにしても構わない。逆に、把持部に対して非常に小さな対象物も、容器に収容して把持することに好適である。さらには、例えば海水中の生魚など液体中に存在する対象物を把持したい場合には、当該対象物を液体ごと透明容器900へ収容すれば、透明容器900を介して確実に把持できる。また、食料品など変形しやすい対象物を把持する場合にも、容器に収容して把持することに好適である。
また、以上説明した本実施形態においては、一軸周りの開閉動作によって把持対象物を挟んで把持する第1フィンガー140aと第2フィンガー140bを把持部の例として説明したが、把持部はより複雑な構造を備えていても良い。例えば、複数のクロー爪を備えた把持部であっても良いし、人間の手のような多関節複数指の把持部であっても良い。ユーザは、把持対象物を容器に入れて間接的に把持させるか否かは、把持部の性能に応じて判断しても良い。
また、以上説明した本実施形態においては、把持対象物をハンドカメラ141が出力する画像データを用いて検出したが、本体部120に配設された環境カメラ121が出力する画像データを用いて検出しても良い。この場合は、環境カメラ121が、第1検出部の機能を担う。また、広い範囲を環境カメラ121で捉え、注目する領域を絞り込んでからハンドカメラ141を用いるようにしても構わない。この場合は、環境カメラ121とハンドカメラ141が第1検出部の機能を担うことになる。
また、以上説明した本実施形態においては、タグとして二次元コードのマーカー902とICタグ903の例を説明したが、採用し得るタグはこれらに限らない。また、タグを利用する場合に、容器に貼着する場合に限らず、例えば素材に埋め込んだり、直接印刷したりしても構わない。
また、以上説明した本実施形態においては、移動ロボット100が把持装置を備える例を説明したが、把持装置は、移動機構などを備えない独立した装置であっても構わない。この場合、把持装置の制御に必要なコントロールユニットは、把持装置内に設けられる。
100、100’ 移動ロボット、110 台車部、111 駆動輪、112 キャスター、120 本体部、121 環境カメラ、123 表示パネル、130 アームユニット、140 ハンドユニット、40a 第1フィンガー1、40b 第2フィンガー1、141 ハンドカメラ、142 タグリーダー、190 コントロールユニット、200 制御部、201 把持制御部、210 駆動輪ユニット、220 センサユニット、230 メモリ、240 ユーザIF、900 透明容器、901 フォーク、902 マーカー、903 ICタグ、904 不透明容器、910 テーブル

Claims (6)

  1. 指示された把持対象物を検出する第1検出部と、
    前記第1検出部が前記把持対象物を検出した場合に、前記把持対象物が収容された容器に付されたタグを検出する第2検出部と、
    前記第2検出部が検出した前記タグのタグ情報に基づいて、前記容器を把持する把持部と
    を備え、
    前記把持部は、指示された前記把持対象物が予め定められた把持対象物群に含まれない場合は、前記第2検出部で前記タグを検出することなく、指示された前記把持対象物を把持する把持装置。
  2. 前記タグ情報は、前記容器の形状情報および前記容器の把持位置情報の少なくともいずれかを含む請求項1に記載の把持装置。
  3. 前記タグは、二次元コードのマーカーであり、
    前記把持部は、前記タグ情報と前記マーカーの位置に基づいて前記容器を把持する請求項1または2に記載の把持装置。
  4. 指示された把持対象物を検出する第1検出部と、
    前記第1検出部が前記把持対象物を検出した場合に、前記把持対象物が収容された容器に付されたタグを検出する第2検出部と、
    前記第2検出部が検出した前記タグのタグ情報に基づいて、前記容器を把持する把持部と、を備える把持装置に把持される
    透光素材で形成され前記タグが付された容器。
  5. 指示された把持対象物を第1検出部に検出させる第1検出ステップと、
    前記第1検出ステップで前記把持対象物を検出した場合に、前記把持対象物が収容された容器に付されたタグを第2検出部に検出させる第2検出ステップと、
    前記第2検出ステップで検出した前記タグのタグ情報に基づいて、前記容器を把持部に把持させる把持ステップと、
    前記把持部が、指示された前記把持対象物が予め定められた把持対象物群に含まれない場合は、前記第2検出部で前記タグを検出することなく、指示された前記把持対象物を把持するステップと、
    をコンピュータに実行させる対象物把持プログラム。
  6. 透光素材で形成されタグを付した容器に把持対象物を収容しておく収容ステップと、
    把持対象物を指示する指示ステップと、
    前記指示ステップで指示した前記把持対象物を収容している前記容器の把持を把持装置に実行させる実行ステップと
    を有し、
    前記実行ステップは、
    前記指示ステップで指示された前記把持対象物を第1検出部に検出させる第1検出ステップと、
    前記第1検出ステップで前記把持対象物を検出した場合に、前記把持対象物に近接する前記タグを第2検出部に検出させる第2検出ステップと、
    前記第2検出ステップで検出した前記タグのタグ情報に基づいて、前記タグが付された容器を把持部に把持させる把持ステップと
    を含む対象物把持方法。
JP2018096213A 2018-05-18 2018-05-18 把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法 Active JP7057214B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018096213A JP7057214B2 (ja) 2018-05-18 2018-05-18 把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法
US16/408,560 US11192242B2 (en) 2018-05-18 2019-05-10 Holding apparatus, container provided with tag, object holding program and object holding method
EP19174467.1A EP3597374A1 (en) 2018-05-18 2019-05-14 Holding apparatus, container provided with tag, object holding program and object holding method
CN201910411749.8A CN110497443B (zh) 2018-05-18 2019-05-17 把持装置、带标签的容器、计算机可读存储介质及对象物把持方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018096213A JP7057214B2 (ja) 2018-05-18 2018-05-18 把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法

Publications (2)

Publication Number Publication Date
JP2019198945A JP2019198945A (ja) 2019-11-21
JP7057214B2 true JP7057214B2 (ja) 2022-04-19

Family

ID=66810661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018096213A Active JP7057214B2 (ja) 2018-05-18 2018-05-18 把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法

Country Status (4)

Country Link
US (1) US11192242B2 (ja)
EP (1) EP3597374A1 (ja)
JP (1) JP7057214B2 (ja)
CN (1) CN110497443B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190104488A (ko) * 2019-08-21 2019-09-10 엘지전자 주식회사 인공 지능을 이용하여, 오브젝트의 이동을 관리하는 인공 지능 로봇 및 그의 동작 방법
US11130237B1 (en) * 2020-03-05 2021-09-28 Mujin, Inc. Method and computing system for performing container detection and object detection
JP7454161B2 (ja) 2020-04-03 2024-03-22 Telexistence株式会社 ロボット制御装置、ロボット制御システム及びロボット制御方法
US11597078B2 (en) * 2020-07-28 2023-03-07 Nvidia Corporation Machine learning control of object handovers
JP2022042658A (ja) * 2020-09-03 2022-03-15 Thk株式会社 走行ユニット、物品展示ロボット
DE102021114264A1 (de) 2021-06-02 2022-12-08 Bayerische Motoren Werke Aktiengesellschaft Robotervorrichtung eingerichtet zur Ermittlung einer Interaktionsmaschinenlage zumindest eines Elements einer vorbestimmten Interaktionsmaschine und Verfahren
DE102021114268A1 (de) 2021-06-02 2022-12-08 Bayerische Motoren Werke Aktiengesellschaft Robotervorrichtung eingerichtet zur Ermittlung einer Infrastrukturobjektlage eines vorbestimmten Infrastrukturobjekts und Verfahren
DE102021114265A1 (de) 2021-06-02 2022-12-08 Bayerische Motoren Werke Aktiengesellschaft Robotervorrichtung eingerichtet zur Ermittlung einer Zielobjektlage eines vorbestimmten Zielobjekts und Verfahren
DE102022101825B3 (de) 2022-01-26 2023-02-23 Ssi Schäfer Automation Gmbh (At) Verfahren und System für automatisierte Materialhandhabung einschließlich einer 100%-Verifikation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001310807A (ja) 2000-04-28 2001-11-06 Ishii Ind Co Ltd 生鮮食料品の搬送システム及び搬送方法
JP2015182211A (ja) 2014-03-26 2015-10-22 セイコーエプソン株式会社 ロボットシステム、ロボット、制御装置、及び制御方法
WO2016167886A1 (en) 2015-04-16 2016-10-20 Invia Robotics, Inc. Autonomous order fulfillment and inventory control robots
US20170173796A1 (en) 2015-12-18 2017-06-22 Samsung Electronics Co., Ltd. Transfer robot and control method thereof

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0432401A (ja) * 1990-05-28 1992-02-04 Matsushita Electric Works Ltd 自動収納装置
US5237468A (en) * 1991-10-15 1993-08-17 International Business Machines Corporation Camera and gripper assembly for an automated storage library
US5501571A (en) 1993-01-21 1996-03-26 International Business Machines Corporation Automated palletizing system
JP3665126B2 (ja) * 1996-02-19 2005-06-29 株式会社 神崎高級工機製作所 苗補填装置
US6036812A (en) * 1997-12-05 2000-03-14 Automated Prescription Systems, Inc. Pill dispensing system
DE10007864A1 (de) * 2000-02-21 2001-08-30 Wittenstein Gmbh & Co Kg Verfahren zum Erkennen, Bestimmen, Lokalisieren zumindest eines beliebigen Gegenstandes und/oder Raumes
US20010056313A1 (en) * 2000-05-08 2001-12-27 Osborne William Joseph Object locating and retrieving system utilizing labels
JPWO2004106009A1 (ja) * 2003-06-02 2006-07-20 松下電器産業株式会社 物品取扱いシステムおよび物品取扱いサーバ
WO2005015466A1 (ja) * 2003-08-07 2005-02-17 Matsushita Electric Industrial Co., Ltd. 生活支援システム及びその制御用プログラム
JP4646943B2 (ja) 2004-07-13 2011-03-09 パナソニック株式会社 ロボット
CN101890720B (zh) * 2004-07-13 2012-01-11 松下电器产业株式会社 物品保持系统、机器人以及机器人控制方法
WO2006013829A1 (ja) * 2004-08-02 2006-02-09 Matsushita Electric Industrial Co., Ltd. 物品運搬用ロボット、物品運搬システム、及び物品運搬方法
JP2006102881A (ja) * 2004-10-06 2006-04-20 Nagasaki Prefecture 把持ロボット装置
JP3996598B2 (ja) 2004-12-21 2007-10-24 デジタル・インフォメーション・テクノロジー株式会社 二次元コードパターンを有する物品
JP4630146B2 (ja) * 2005-07-11 2011-02-09 本田技研工業株式会社 位置管理システムおよび位置管理プログラム
JP2007090448A (ja) * 2005-09-27 2007-04-12 Honda Motor Co Ltd 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
JP4718987B2 (ja) * 2005-12-12 2011-07-06 本田技研工業株式会社 インターフェース装置およびそれを備えた移動ロボット
US7558647B2 (en) * 2006-01-13 2009-07-07 Panasonic Corporation Device and method for controlling robot arm, robot and program based on object-dependent impedance
CN101360588B (zh) * 2006-02-02 2010-06-16 株式会社安川电机 机器人系统
JP4802784B2 (ja) 2006-03-16 2011-10-26 株式会社デンソーウェーブ 二次元コード付き容器
JP5047709B2 (ja) * 2007-07-04 2012-10-10 株式会社日立製作所 移動装置、システム、移動方法及び移動プログラム
JP4364266B2 (ja) * 2007-08-01 2009-11-11 株式会社東芝 画像処理装置およびプログラム
JP5489000B2 (ja) * 2010-08-31 2014-05-14 株式会社安川電機 作業装置及び部品ピッキングシステム
KR102015307B1 (ko) * 2010-12-28 2019-08-28 삼성전자주식회사 로봇 및 그 제어 방법
US8639644B1 (en) * 2011-05-06 2014-01-28 Google Inc. Shared robot knowledge base for use with cloud computing system
JP2013022705A (ja) * 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
US9075031B2 (en) * 2011-10-11 2015-07-07 Ortho-Clinical Diagnostics, Inc. Apparatus for gripping and holding diagnostic cassettes
KR20140091033A (ko) 2011-11-07 2014-07-18 베크만 컬터, 인코포레이티드 검체 컨테이너 검출
US8918208B1 (en) * 2012-02-07 2014-12-23 Ryan Hickman Projection of interactive map data
US9623553B1 (en) * 2012-08-16 2017-04-18 Vecna Technologies, Inc. Method and device for accommodating items
US9908701B2 (en) * 2012-08-31 2018-03-06 Voodoo Robotics, Inc. Robotic storage and retrieval systems and methods
US9095978B2 (en) * 2012-12-07 2015-08-04 GM Global Technology Operations LLC Planning a grasp approach, position, and pre-grasp pose for a robotic grasper based on object, grasper, and environmental constraint data
JP6031368B2 (ja) 2013-01-31 2016-11-24 本田技研工業株式会社 ワークとの相関位置決め方法
US9227323B1 (en) * 2013-03-15 2016-01-05 Google Inc. Methods and systems for recognizing machine-readable information on three-dimensional objects
US10482550B1 (en) * 2013-03-27 2019-11-19 Vecna Robotics, Inc. Mobile robot for performing hospitality service(s) for guest(s) of a hospitatlity business
US9720414B1 (en) * 2013-07-29 2017-08-01 Vecna Technologies, Inc. Autonomous vehicle providing services at a transportation terminal
WO2015120384A1 (en) * 2014-02-07 2015-08-13 The Coca-Cola Company System and method of selling goods or services, or collecting recycle refuse using mechanized mobile merchantry
US9259844B2 (en) * 2014-02-12 2016-02-16 General Electric Company Vision-guided electromagnetic robotic system
US10493457B2 (en) * 2014-03-28 2019-12-03 Brooks Automation, Inc. Sample storage and retrieval system
US9643779B2 (en) * 2014-03-31 2017-05-09 Panasonic Intellectual Property Corporation Of America Article management system and transport robot
US9424470B1 (en) * 2014-08-22 2016-08-23 Google Inc. Systems and methods for scale invariant 3D object detection leveraging processor architecture
US9656390B2 (en) 2014-11-10 2017-05-23 Faro Technologies, Inc. Human-centric robot with noncontact measurement device
US9665095B1 (en) * 2015-03-19 2017-05-30 Amazon Technologies, Inc. Systems and methods for removing debris from warehouse floors
JP6548422B2 (ja) * 2015-03-27 2019-07-24 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US10689194B2 (en) * 2015-06-24 2020-06-23 Hds Mercury, Inc. Mobile robot loader-unloader system and method
WO2017044630A1 (en) * 2015-09-09 2017-03-16 Berskshire Grey Inc. Systems and methods for providing dynamic communicative lighting in a robotic environment
EP3347780B1 (en) 2015-09-11 2023-06-07 Berkshire Grey Operating Company, Inc. Robotic systems and methods for identifying and processing a variety of objects
US9418421B1 (en) 2015-09-26 2016-08-16 Nastaran Neishaboori Automation of biopsy specimen handling
US10209063B2 (en) * 2015-10-03 2019-02-19 X Development Llc Using sensor-based observations of agents in an environment to estimate the pose of an object in the environment and to estimate an uncertainty measure for the pose
US10311596B2 (en) * 2015-10-16 2019-06-04 Seiko Epson Corporation Image processing device, robot, robot system, and marker
EP4088889A1 (en) * 2015-11-13 2022-11-16 Berkshire Grey Operating Company, Inc. Sortation systems and methods for providing sortation of a variety of objects
JP6117901B1 (ja) 2015-11-30 2017-04-19 ファナック株式会社 複数の物品の位置姿勢計測装置及び該位置姿勢計測装置を含むロボットシステム
EP3414710B1 (en) * 2016-03-03 2022-11-02 Google LLC Deep machine learning methods and apparatus for robotic grasping
US20170322561A1 (en) * 2016-05-03 2017-11-09 Bby Solutions, Inc. Robotic inventory dispensary operational enhancements
US10071856B2 (en) * 2016-07-28 2018-09-11 X Development Llc Inventory management
CN106166754B (zh) * 2016-08-18 2018-01-30 苏州元谋智能机器人系统有限公司 一种带缓冲器的可自锁物料抓夹装置
US10589949B2 (en) * 2016-09-15 2020-03-17 Dishcraft Robotics, Inc. Robotic manipulation using reusable, independent tags
CA3038898A1 (en) * 2016-09-30 2018-04-05 Staples, Inc. Hybrid modular storage fetching system
US10293488B2 (en) * 2016-11-28 2019-05-21 Hall Labs Llc Container and robot communication in inventory system
WO2018170277A1 (en) * 2017-03-15 2018-09-20 Berkshire Grey, Inc. Systems and methods for storing, retrieving and processing objects including stackable semicircular towers
CA3057323C (en) * 2017-03-23 2022-10-04 Berkshire Grey, Inc. Systems and methods for processing objects, including automated linear processing stations
EP3601114A4 (en) * 2017-03-30 2020-06-17 Dematic Corp. SHARED ROBOTIC ITEM RECEIVING AND STORAGE SYSTEM FOR RECORDING AND DISPENSING A SHARED ROBOT
CN110520259B (zh) * 2017-04-04 2021-09-21 牧今科技 控制装置、拾取系统、物流系统、存储介质以及控制方法
US10646993B1 (en) * 2017-07-26 2020-05-12 Facebook, Inc. Robots linkable to perform tasks in coordinated teams
US10759062B2 (en) * 2017-12-08 2020-09-01 Dishcraft Robotics, Inc. Article of dishware gripping systems
US10706318B2 (en) * 2017-12-12 2020-07-07 Intel Corporation Systems, apparatus, and methods to improve object recognition
CN111601686A (zh) * 2018-01-17 2020-08-28 伯克希尔格雷股份有限公司 用于有效地移动各种物体的系统和方法
US10558214B2 (en) * 2018-02-05 2020-02-11 Locus Robotics Corp. Manual control modes for an autonomous mobile robot

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001310807A (ja) 2000-04-28 2001-11-06 Ishii Ind Co Ltd 生鮮食料品の搬送システム及び搬送方法
JP2015182211A (ja) 2014-03-26 2015-10-22 セイコーエプソン株式会社 ロボットシステム、ロボット、制御装置、及び制御方法
WO2016167886A1 (en) 2015-04-16 2016-10-20 Invia Robotics, Inc. Autonomous order fulfillment and inventory control robots
US20170173796A1 (en) 2015-12-18 2017-06-22 Samsung Electronics Co., Ltd. Transfer robot and control method thereof

Also Published As

Publication number Publication date
US20190351547A1 (en) 2019-11-21
CN110497443B (zh) 2023-09-08
US11192242B2 (en) 2021-12-07
EP3597374A1 (en) 2020-01-22
CN110497443A (zh) 2019-11-26
JP2019198945A (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
JP7057214B2 (ja) 把持装置、タグが付された容器、対象物把持プログラムおよび対象物把持方法
CN112074382B (zh) 机器人以及定位机器人传感器的方法
JP6738112B2 (ja) ロボットシステムの制御装置及び制御方法
EP3568814B1 (en) Display for improved efficiency in robot assisted order-fulfillment operations
US11905116B2 (en) Controller and control method for robot system
EP3374138B1 (en) Sortation systems for providing sortation of a variety of obejcts
JP3920317B2 (ja) 物品運搬用ロボット
JP4041837B2 (ja) 物品保持システム、ロボット及びロボット制御方法
JP4646943B2 (ja) ロボット
JP4735955B2 (ja) 物品分類収納システム及びマニピュレーションシステム
US11077554B2 (en) Controller and control method for robotic system
JP6661211B1 (ja) ロボットシステムの制御装置及び制御方法
JP7123885B2 (ja) ハンドリング装置、制御装置、および保持方法
JP2021003800A (ja) ロボットシステムの制御方法、非一過性のコンピュータ読取可能な記録媒体及びロボットシステムの制御装置
JP4332617B2 (ja) ロボットマニピュレータによる物体操作方法および装置
JP2022184439A (ja) ロボット
Leitner et al. Designing Cartman: a cartesian manipulator for the Amazon Robotics Challenge 2017
CN113731862B (zh) 用于提供各种物体的分拣的分拣系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220407

R151 Written notification of patent or utility model registration

Ref document number: 7057214

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151