JP6632106B1 - 制御装置、移送装置、プログラム、及び、制御方法 - Google Patents

制御装置、移送装置、プログラム、及び、制御方法 Download PDF

Info

Publication number
JP6632106B1
JP6632106B1 JP2019175477A JP2019175477A JP6632106B1 JP 6632106 B1 JP6632106 B1 JP 6632106B1 JP 2019175477 A JP2019175477 A JP 2019175477A JP 2019175477 A JP2019175477 A JP 2019175477A JP 6632106 B1 JP6632106 B1 JP 6632106B1
Authority
JP
Japan
Prior art keywords
information
force
unit
target article
torque
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019175477A
Other languages
English (en)
Other versions
JP2020069637A (ja
Inventor
良樹 金本
良樹 金本
ロセン デアンコウ
ロセン デアンコウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mujin Inc
Original Assignee
Mujin Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mujin Inc filed Critical Mujin Inc
Priority to CN202010451622.1A priority Critical patent/CN111571593B/zh
Priority to DE112019000170.1T priority patent/DE112019000170B4/de
Priority to PCT/JP2019/042671 priority patent/WO2020090933A1/ja
Priority to CN201980004256.0A priority patent/CN111386180A/zh
Application granted granted Critical
Publication of JP6632106B1 publication Critical patent/JP6632106B1/ja
Publication of JP2020069637A publication Critical patent/JP2020069637A/ja
Priority to US16/882,518 priority patent/US11247341B2/en
Priority to US17/573,755 priority patent/US20220134572A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/06Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085Force or torque sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/0052Gripping heads and other end effectors multiple gripper units or multiple end effectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0093Programme-controlled manipulators co-operating with conveyor means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/91Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39001Robot, manipulator control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40067Stack irregular packages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination

Abstract

【課題】 異常をより迅速かつ精度よく検知することが望まれている。【解決手段】 制御装置が、対象物品が移送されている期間中に、マニピュレータの遠位端における力及びトルクの少なくとも一方の大きさを示す力覚情報を取得する力覚情報取得部と、対象物品の質量として予め定められた値を示す質量情報を取得する質量情報取得部と、マニピュレータの遠位端及び把持部の少なくとも一方の軌道に関する計画の内容を示す計画情報を取得する計画情報取得部と、質量情報及び計画情報に基づいて、マニピュレータが対象物品を移送した場合に、マニピュレータの遠位端において検出される力及びトルクの少なくとも一方の大きさを推定する力覚推定部と、力覚情報により示される力及びトルクの少なくとも一方の大きさ、並びに、力覚推定部が推定した力及びトルクの少なくとも一方の大きさに基づいて、異常を検知する第1検知部とを備える。【選択図】図1

Description

本発明は、制御装置、移送装置、プログラム、及び、制御方法に関する。
ロボットアームを用いて物品を移載する移載装置が知られている(例えば、特許文献1及び非特許文献1を参照されたい)。
[先行技術文献]
[非特許文献]
[非特許文献1] 株式会社イシダ、「ダイナミック計量システム IMAS-G」、[Online]、[令和元年7月15日検索]、インターネット<https://www.ishida.co.jp/ww/jp/products/weighing/dynamicweighingsystem/imas-g.cfm>
ワークの移載中に、ワークの破損、落下などの各種の異常が発生することがある。そのため、ワークの移載に関する異常をより迅速かつ精度よく検知することが望まれている。
本発明の第1の態様においては、制御装置が提供される。上記の制御装置は、例えば、マニピュレータによる移送の対象となる対象物品が移送されている期間中に、マニピュレータの遠位端における力及びトルクの少なくとも一方の大きさを示す力覚情報を取得する力覚情報取得部を備える。上記の制御装置は、例えば、対象物品の質量として予め定められた値を示す質量情報を取得する質量情報取得部を備える。上記の制御装置は、例えば、マニピュレータの遠位端、及び、遠位端に配されて対象物品を把持するための把持部の少なくとも一方の軌道に関する計画の内容を示す計画情報を取得する計画情報取得部を備える。上記の制御装置は、例えば、質量情報及び計画情報に基づいて、マニピュレータが対象物品を移送した場合に、マニピュレータの遠位端において検出される力及びトルクの少なくとも一方の大きさを推定する力覚推定部を備える。上記の制御装置は、例えば、力覚情報により示される力及びトルクの少なくとも一方の大きさ、並びに、力覚推定部が推定した力及びトルクの少なくとも一方の大きさに基づいて、対象物品の移送に関する異常を検知する第1検知部を備える。
上記の制御装置において、力覚情報は、マニピュレータの遠位端における力及びトルクの少なくとも一方の大きさ及び方向を示してよい。上記の制御装置において、力覚推定部は、マニピュレータの遠位端における力及びトルクの少なくとも一方の大きさ及び方向を推定してよい。上記の制御装置において、第1検知部は、力覚情報により示される力及びトルクの少なくとも一方の大きさ及び方向、並びに、力覚推定部が推定した力及びトルクの少なくとも一方の大きさ及び方向に基づいて、対象物品の移送に関する異常を検出してよい。
上記の制御装置において、第1検知部は、力覚情報により示される力及びトルクの少なくとも一方の大きさと、力覚推定部が推定した力及びトルクの少なくとも一方の大きさとの差の絶対値が、第1閾値よりも大きい場合に、異常を検知してよい。上記の制御装置において、第1検知部は、力覚情報により示される力及びトルクの少なくとも一方の大きさと、力覚推定部が推定した力及びトルクの少なくとも一方の大きさとの差の絶対値が第1閾値よりも大きな状態の継続期間の長さが、第2閾値よりも大きい場合に、異常を検知してよい。上記の制御装置において、第1閾値は、力覚情報取得部による力覚情報の取得に関する遅延時間の長さが大きいほど第1閾値が大きくなるように、決定されてよい。
上記の制御装置において、力覚情報は、複数の時刻を示す情報と、各時刻における遠位端における力及びトルクの少なくとも一方の大きさを示す情報とを含んでよい。上記の制御装置において、計画情報は、対象物品が軌道上の基準位置を通過してからの複数の経過時間を示す情報と、各経過時間におけるマニピュレータに含まれる複数の関節のそれぞれの角度を示す情報とを含んでよい。上記の制御装置において、力覚推定部は、計画情報に基づいて、複数の経過時間のそれぞれにおける、遠位端において検出される力及びトルクの少なくとも一方の大きさを推定してよい。力覚推定部は、複数の経過時間のそれぞれと、推定された力及びトルクの少なくとも一方の大きさとが対応付けられた推定情報を出力してよい。上記の制御装置において、第1検知部は、力覚情報に含まれる複数の時刻を示す情報と、推定情報に含まれる複数の経過時間のそれぞれを示す情報とに基づいて、力覚情報に含まれる力及びトルクの少なくとも一方の大きさを示す情報と、推定情報に含まれる力及びトルクの少なくとも一方の大きさを示す情報とを対応付けてよい。第1検知部は、対応付けられた力覚情報に含まれる力及びトルクの少なくとも一方の大きさを示す情報、及び、推定情報に含まれる力及びトルクの少なくとも一方の大きさを示す情報に基づいて、対象物品の移送に関する異常を検知してよい。
上記の制御装置は、マニピュレータに含まれる複数の関節のそれぞれの角度を示す角度情報を取得する角度情報取得部を備えてよい。上記の制御装置において、角度情報は、複数の時刻を示す情報と、各時刻における複数の関節のそれぞれの角度を示す情報とを含んでよい。上記の制御装置において、力覚情報は、複数の時刻を示す情報と、各時刻における遠位端における力及びトルクの少なくとも一方の大きさを示す情報とを含んでよい。上記の制御装置において、力覚推定部は、計画情報に基づいて、軌道上の複数の位置のそれぞれにおける複数の関節のそれぞれの角度を決定してよい。力覚推定部は、軌道上の複数の位置のそれぞれにおける、遠位端において検出される力及びトルクの少なくとも一方の大きさを推定してよい。力覚推定部は、複数の関節のそれぞれの角度と、推定された力及びトルクの少なくとも一方の大きさとが対応付けられた推定情報を出力してよい。上記の制御装置において、第1検知部は、角度情報及び力覚情報のそれぞれに含まれる複数の時刻を示す情報に基づいて、複数の関節のそれぞれの角度を示す情報と、遠位端における力及びトルクの少なくとも一方の大きさを示す情報とを対応付けてよい。第1検知部は、複数の関節のそれぞれの角度を示す情報に基づいて、力覚情報に含まれる力及びトルクの少なくとも一方の大きさを示す情報と、推定情報に含まれる力及びトルクの少なくとも一方の大きさを示す情報とを対応付けてよい。第1検知部は、対応付けられた力覚情報に含まれる力及びトルクの少なくとも一方の大きさを示す情報、及び、推定情報に含まれる力及びトルクの少なくとも一方の大きさを示す情報に基づいて、対象物品の移送に関する異常を検知してよい。
上記の制御装置において、対象物品の移送に関する異常は、対象物品の識別不良、対象物品の把持不良、対象物品の落下、対象物品の破損、及び、対象物品の衝突の少なくとも1つであってよい。
上記の制御装置は、把持部に配された減圧室の内部の圧力の大きさを示す減圧情報を取得する減圧情報取得部を備えてよい。上記の制御装置において、第1検知部は、(i)減圧情報により示される圧力に関する異常、及び、力覚情報により示される対象物品の質量に関する異常が検知されず、且つ、(ii)力覚情報により示される対象物品の重心に関する異常が検知された場合に、対象物品の破損を検知してよい。
上記の制御装置は、対象物品がマニピュレータに把持される前の時点における対象物品の画像データを取得する画像情報取得部を備えてよい。上記の制御装置は、画像データに基づいて、対象物品の重心の位置を推定する重心推定部を備えてよい。上記の制御装置は、把持部による対象物品の把持位置を決定する把持位置決定部を備えてよい。上記の制御装置において、力覚推定部は、質量情報により示される対象物品の質量と、重心推定部が推定した対象物品の重心の位置と、把持位置決定部が決定した把持位置とに基づいて、把持部が、対象物品の把持位置を把持して、対象物品を拳上した場合に、遠位端において検出される力及びトルクの少なくとも一方の大きさを推定てよい。上記の制御装置において、第1検知部は、力覚情報により示される力及びトルクの少なくとも一方の大きさ、並びに、力覚推定部が推定した力及びトルクの少なくとも一方の大きさに基づいて、対象物品の識別不良、対象物品の把持不良、及び、対象物品の破損の少なくとも1つを検知してよい。
上記の制御装置は、対象物品がマニピュレータに把持される前の時点における対象物品の画像データを取得する画像情報取得部を備えてよい。上記の制御装置は、画像データに基づいて、対象物品の上面の幾何中心の位置を特定する幾何中心特定部を備えてよい。上記の制御装置は、把持部による対象物品の把持位置を決定する把持位置決定部を備えてよい。上記の制御装置は、(i)把持部が、対象物品の把持位置を把持して、対象物品を拳上した場合に、力覚情報により示される力及びトルクの少なくとも一方の大きさ、並びに、(ii)対象物品の把持位置に基づいて、対象物品の重心の位置を特定する重心特定部を備えてよい。上記の制御装置は、対象物品の上面の幾何中心の位置と、対象物品の重心が対象物品の上面に投影された位置との距離が、第3閾値よりも大きい場合に、対象物品の識別不良、対象物品の把持不良、及び、対象物品の破損の少なくとも1つを検知する第2検知部を備えてよい。
上記の制御装置は、対象物品がマニピュレータに把持される前の時点における対象物品の画像データを取得する画像情報取得部を備えてよい。上記の制御装置は、画像データに基づいて、対象物品の上面の幾何中心の位置を特定する幾何中心特定部を備えてよい。上記の制御装置は、把持部による対象物品の把持位置を決定する把持位置決定部を備えてよい。上記の制御装置は、(i)把持部が、対象物品の把持位置を把持して、対象物品を拳上した場合に、力覚情報により示される力及びトルクの少なくとも一方の大きさ、並びに、(ii)対象物品の把持位置に基づいて、対象物品の重心の位置を特定する重心特定部を備えてよい。上記の制御装置において、把持位置決定部は、対象物品の上面の幾何中心の位置と、対象物品の重心が対象物品の上面に投影された位置との距離が、第3閾値よりも大きい場合に、対象物品の把持位置としてより適切な位置を決定してよい。
上記の制御装置は、(i)把持部が対象物品を拳上した場合に、力覚情報により示される力及びトルクの少なくとも一方の大きさに基づいて決定される対象物品の質量と、(ii)質量情報により示される対象物品の質量との差の絶対値が、第4閾値よりも大きい場合に、対象物品の識別不良、対象物品の把持不良、及び、対象物品の破損の少なくとも1つを検知する第3検知部を備えてよい。上記の制御装置は、第1検知部が異常を検知した場合に、対象物品の移送速度を調整することを決定する調整部を備えてよい。
本発明の第2の態様においては、移送装置が提供される。上記の移送装置は、例えば、上記の第1の態様に係る各種の制御装置を備える。上記の移送装置は、例えば、マニピュレータを備える。
本発明の第3の態様においては、制御方法が提供される。上記の制御方法は、例えば、マニピュレータによる移送の対象となる対象物品が移送されている期間中に、マニピュレータの遠位端における力及びトルクの少なくとも一方の大きさを示す力覚情報を取得する力覚情報取得段階を有する。上記の制御方法は、例えば、対象物品の質量として予め定められた値を示す質量情報を取得する質量情報取得段階を有する。上記の制御方法は、例えば、マニピュレータの遠位端、及び、遠位端に配されて対象物品を把持するための把持部の少なくとも一方の軌道に関する計画の内容を示す計画情報を取得する計画情報取得段階を有する。上記の制御方法は、例えば、質量情報及び計画情報に基づいて、対象物品が移送される場合に、マニピュレータの遠位端において検出される力及びトルクの少なくとも一方の大きさを推定する力覚推定段階を有する。上記の制御方法は、例えば、力覚情報により示される力及びトルクの少なくとも一方の大きさ、並びに、力覚推定部が推定した力及びトルクの少なくとも一方の大きさに基づいて、対象物品の移送に関する異常を検知する第1検知段階を有する。
本発明の第4の態様においては、プログラムが提供される。上記のプログラムを格納する非一時的コンピュータ可読媒体が提供されてもよい。上記のプログラムは、コンピュータを、上記の第1の態様に係る各種の制御装置として機能させるためのプログラムであってよい。上記のプログラムは、コンピュータに、上記の第3の態様に係る制御方法を実行させるためのプログラムであってよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
移載システム100のシステム構成の一例を概略的に示す。 ロボット130のシステム構成の一例を概略的に示す。 把持部材246の一例を概略的に示す。 移載制御装置150の内部構成の一例を概略的に示す。 移載制御部436の内部構成一例を概略的に示す。 把持部材246の軌道の一例を概略的に示す。 異常検知部544の内部構成の一例を概略的に示す。 変更部546の内部構成の一例を概略的に示す。 移載システム100による移載処理の一例を概略的に示す。 コンピュータ3000の内部構成の一例を概略的に示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。
[移載システム100の概要]
図1は、移載システム100のシステム構成の一例を概略的に示す。本実施形態において、移載システム100は、例えば、1以上のデパレタイズ用プラットフォーム110と、1以上の荷受用プラットフォーム120と、1以上のロボット130と、移載制御装置150と、1以上の撮像装置160とを備える。本願明細書において、「1以上」という用語は、「1又は複数」を意味する。
本実施形態において、荷受用プラットフォーム120は、例えば、ロボット130が把持しているパッケージ102(ワークと称される場合がある。)を検出するためのセンサ180及びセンサ190を有する。本実施形態において、ロボット130は、例えば、ロボットアーム132と、駆動制御部134と、エンドエフェクタ140とを有する。
移載システム100の各部は、通信ネットワークを介して、互いに情報を送受してよい。本実施形態において、通信ネットワークは、有線通信の伝送路であってもよく、無線通信の伝送路であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。通信ネットワークは、無線パケット通信網、インターネット、P2Pネットワーク、専用回線、VPN、電力線通信回線などを含んでもよい。通信ネットワークは、(i)携帯電話回線網などの移動体通信網を含んでもよく、(ii)無線MAN(例えば、WiMAX(登録商標)である。)、無線LAN(例えば、WiFi(登録商標)である。)、Bluetooth(登録商標)、Zigbee(登録商標)、NFC(Near Field Communication)などの無線通信網を含んでもよい。
本実施形態において、移載システム100は、パッケージ102を、デパレタイズ用プラットフォーム110から荷受用プラットフォーム120に移載する。例えば、移載システム100は、ロボット130を用いて、デパレタイズ用プラットフォーム110に搭載された1以上のパッケージ102を、1個ずつ、荷受用プラットフォーム120に移載する。
パッケージ102は、商品の梱包に使用される包装資材、又は、サービスの提供に使用される包装資材であってよい。パッケージ102は、箱状の包装資材であってよい。パッケージ102の中には、単一の商品又は物品が入っていてもよく、複数の商品又は物品が入っていてもよい。
一実施形態において、同一の種類の商品の梱包には、外観が同一又は類似する包装資材が使用される。また、同一の物流サービスの提供には、外観が同一又は類似する包装資材が使用される。他の実施形態において、例えば、包装資材が再利用された結果、外観が同一又は類似する2つの包装資材の内容物の種類が互いに異なることがある。
本実施形態において、移載システム100は、パッケージ102の移載に関連して、登録処理と、計画処理と、移送処理とを実行する。本実施形態において、移載システム100は、ロボットアーム132が未登録のパッケージ102をデパレタイズ用プラットフォーム110から荷受用プラットフォーム120に移載する間に、当該未登録のパッケージの登録処理を実行する。
本実施形態において、移載システム100は、既登録のパッケージ102については、登録処理を省略してよい。なお、ロボットアーム132が既登録のパッケージ102をデパレタイズ用プラットフォーム110から荷受用プラットフォーム120に移載する間に、登録されたデータと、実測されたデータとの間の齟齬が発見される可能性がある。この場合、移載システム100は、既登録のパッケージ102が移載される間に、当該既登録のパッケージ102のデータを更新してよい。
登録処理において、移載システム100は、パッケージ102の特性をデータベースに登録する。パッケージ102の特性としては、寸法、形状、外観の特徴、質量、重心の位置、把持位置、把持態様などが例示される。外観の特徴としては、外観に付された文字、記号、符号、写真、イラスト、模様などが例示される。パッケージ102の重心の位置は、パッケージ102の基準点と、パッケージ102の重心との相対位置であってよい。
計画処理において、移載システム100は、デパレタイズ用プラットフォーム110に配された1以上のパッケージ102のうち、移載処理の対象となるパッケージ102(上述されたとおり、ワークと称される場合がある。)を決定する。また、移載システム100は、ワークの移載に関連して、ロボットアーム132の手首部分(遠位端と称される場合がある。)の軌道、及び、エンドエフェクタ140の軌道の少なくとも一方を計画する。移載システム100は、例えば、ロボット130がデパレタイズ用プラットフォーム110に配されたワークを把持し、ロボット130が当該ワークを荷受用プラットフォーム120に載置するまでの間の軌道を計画する。
軌道は、ロボット130の手首部分又はエンドエフェクタ140の位置及び姿勢の経時変化を示す。一実施形態において、軌道は、複数のタイミングを示す情報と、各タイミングにおけるロボットアーム132に含まれる複数の関節のそれぞれの角度を示す情報とにより表される。複数のタイミングを示す情報は、ワークが基準位置を通過してからの時間を示す情報であってよい。複数の関節のそれぞれの角度を示す情報は、各関節の角度を直接的に示す情報であってもよく、各関節の角度を間接的に示す情報であってもよい。各関節の角度を間接的に示す情報としては、ロボット130の手首部分又はエンドエフェクタ140の位置及び姿勢を示す情報、各関節の角度を特定の値にするためのモータの出力を示す情報などが例示される。
移送処理において、移載システム100は、ロボットアーム132の手首部分又はエンドエフェクタ140が、計画処理において計画された軌道に沿って移動するように、ロボット130の動作を制御する。移送処理は、例えば、接近工程、把持工程、拳上工程、移動工程、載置工程、及び、解放工程を含む。
接近工程において、ロボットアーム132が、エンドエフェクタ140を、デパレタイズ用プラットフォーム110に配されたワークに接近させる。把持工程において、エンドエフェクタ140が、ワークを把持する。拳上工程において、ロボットアーム132が、エンドエフェクタ140に把持されたワークを持ち上げる。移動工程において、ロボットアーム132が、エンドエフェクタ140に把持されたワークを、荷受用プラットフォーム120の上方まで移動させる。載置工程において、ロボットアーム132が、エンドエフェクタ140に把持されたワークを、荷受用プラットフォーム120の上に載置する。解放工程において、エンドエフェクタ140が、ワークを解放する。
本実施形態において、移載システム100は、ワークの移送に関する異常を検知する。移載システム100は、ワークの質量及び重心の実測値に基づいて、ワークの移送に関する異常を検知してよい。これにより、移載システム100は、ワークの移送に関する異常をより迅速かつ精度よく検知することができる。ワークの移送に関する異常が検出された場合、移載システム100は、ワークの移動速度を調整してもよく、ワークの移送処理を停止してもよい。
ワークの移送に関する異常としては、ワークの識別不良、ワークの把持不良、ワークの押圧過多、ワークの落下、ワークの破損、及び、ワークの衝突の少なくとも1つが例示される。ワークの識別不良としては、ワークのエッジの誤判定、ワークの特性の誤識別などが例示される。ワークの特性の誤識別としては、ワークの外観の画像認識の誤り、ワークの識別に利用されたデータベースに登録された情報の誤りなどが例示される。
例えば、ワークの外観の特徴に基づいて当該ワークの特性を識別する場合、移載システム100は、まず、ワークの画像を解析して、ワークのエッジを判定する。次に、移載システム100は、ワークの画像を解析して、ワークの外観の特徴を抽出する。移載システム100は、商品又はサービスごとに、当該商品又はサービスに使用されるパッケージの外観の特徴と、当該パッケージの特性とを対応付けて格納するデータベースにアクセスして、抽出された特徴に合致するパッケージの特性を示す情報を取得する。この場合において、ワークのエッジを正しく判定することができなかった場合、ワークの外観の特徴を正しく抽出することができなかった場合、又は、データベースの内容に誤りがあった場合には、ワークの特性を正しく識別することができない。
ワークの把持不良としては、ワークの把持位置が不適切である場合、ワークの把持強度が不十分である場合などが例示される。ワークの押圧過多としては、(i)ワークの把持工程におけるエンドエフェクタ140の高さに関する設定の誤りに起因して、エンドエフェクタ140がワークを過度に押し付ける場合、(ii)ワークの解放工程におけるエンドエフェクタ140の高さに関する設定の誤りに起因して、エンドエフェクタ140がワークを過度に押し付ける場合、(iii)ワークの高さに関するデータベースの誤りに起因して、エンドエフェクタ140がワークを過度に押し付ける場合などが例示される。
ワークの落下としては、ワークの全体の落下、ワークの一部の落下などが例示される。ワークの破損としては、ワークの形状の過度な変形、ワークの一部の分離、ワークの内容物の配置の過度な変更などが例示される。ワークの衝突としては、ワークと荷受用プラットフォーム120との衝突、ワークと他のワークとの衝突などが例示される。
[移載システム100の各部の概要]
本実施形態において、デパレタイズ用プラットフォーム110は、1以上のパッケージ102を搭載する。デパレタイズ用プラットフォーム110は、パレットであってよい。
本実施形態において、荷受用プラットフォーム120は、ロボット130により、デパレタイズ用プラットフォーム110から取り出され、荷受用プラットフォーム120に載置されたパッケージ102を、予め定められた地点まで搬送する。荷受用プラットフォーム120は、コンベアであってよい。荷受用プラットフォーム120は、1以上のコンベアを含んでよい。
本実施形態において、ロボット130は、パッケージ102の移送処理を実行する。ロボット130の各部の詳細は後述される。
本実施形態において、ロボットアーム132は、マニピュレータを有してよい。上記のマニピュレータは、多関節マニピュレータであってよい。
本実施形態において、駆動制御部134は、ロボットアーム132及びエンドエフェクタ140の動作を制御する。駆動制御部134は、移載制御装置150からの指示に従って、ロボットアーム132及びエンドエフェクタ140の動作を制御してよい。駆動制御部134は、ロボットアーム132に配された1以上のセンサの出力を取得してよい。駆動制御部134は、エンドエフェクタ140に配された1以上のセンサの出力を取得してよい。駆動制御部134は、上記のセンサの出力を移載制御装置150に送信してよい。
本実施形態において、エンドエフェクタ140は、パッケージ102を把持したり、解放したりする。例えば、エンドエフェクタ140は、デパレタイズ用プラットフォーム110に配されたパッケージ102を把持する。エンドエフェクタ140は、パッケージ102が荷受用プラットフォーム120の上方の予め定められた位置に移送されるまで、パッケージ102を把持する。その後、エンドエフェクタ140は、パッケージ102を解放する。
本実施形態において、移載制御装置150は、移載システム100の各部の状態を監視する。また、移載制御装置150は、移載システム100の各部の動作を制御する。移載制御装置150の詳細は後述される。
本実施形態において、撮像装置160は、デパレタイズ用プラットフォーム110を撮像し、デパレタイズ用プラットフォーム110の画像データを移載制御装置150に出力する。撮像装置160は、デパレタイズ用プラットフォーム110の上方に配されてよい。これにより、移載制御装置150は、デパレタイズ用プラットフォーム110に搭載されたパッケージ102の上面の画像データを取得することができる。
撮像装置160は、それぞれが異なる位置に配された複数のカメラ又はセンサを有してよい。上記の複数のカメラ又はセンサのそれぞれは、単体で、被写体の2次元画像、3次元画像、又は、距離画像(点群と称される場合がある)を出力してよい。撮像装置160は、複数のカメラ又はセンサの出力を加工して、被写体の3次元画像、又は、距離画像(点群と称される場合がある)を出力してもよい。画像は、静止画像であってもよく、動画像であってもよい。
なお、本実施形態においては、撮像装置160がデパレタイズ用プラットフォーム110を撮像する場合を例として、移載システム100の詳細が説明される。しかしながら、撮像装置160の被写体は本実施形態に限定されない。他の実施形態において、撮像装置160は、デパレタイズ用プラットフォーム110、及び、荷受用プラットフォーム120を撮像する。撮像装置160は、デパレタイズ用プラットフォーム110の全体を撮像してもよい。
本実施形態において、センサ180は、ワークの高さを検出するために使用される。センサ180は、物体の有無を検出することができるセンサであれば、その詳細は特に限定されない。センサ180は、光、レーザ、超音波などを用いた非接触型の物体検出センサであってよい。センサ180は、接触型の物体検出センサであってもよい。
例えば、ロボット130は、センサ180の上方の所定の高さまでワークを拳上した後、当該ワークをゆっくりと下降させる。この間、ロボット130は、エンドエフェクタ140の位置及び姿勢を示す情報を、移載制御装置150に出力する。センサ180がワークの存在を検出すると、センサ180は、ワークが検出されたことを示す情報を移載制御装置150に出力する。
移載制御装置150は、例えば、エンドエフェクタ140と、ワークの上面との相対的な位置関係を示す情報を記憶している。これにより、移載制御装置150は、エンドエフェクタ140の位置及び姿勢から、ワークの上面の位置(例えば、床面からの高さである。)を決定することができる。また、移載制御装置150は、センサ180の検出位置(例えば、床面からの高さである。)を示す情報を記憶している。これにより、移載制御装置150は、ワークの下面の位置(例えば、床面からの高さである。)を決定することができる。移載制御装置150は、ワークの上面の位置と、ワークの下面の位置とに基づいて、ワークの高さを算出することができる。
本実施形態において、センサ190は、エンドエフェクタ140がワークを解放するタイミングを決定するために使用される。センサ190は、物体の有無を検出することができるセンサであれば、その詳細は特に限定されない。センサ190は、光、レーザ、超音波などを用いた非接触型の物体検出センサであってよい。センサ190は、接触型の物体検出センサであってもよい。
[移載システム100の各部の具体的な構成]
移載システム100の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウエア及びソフトウエアにより実現されてもよい。移載システム100の各部は、その少なくとも一部が、単一のサーバによって実現されてもよく、複数のサーバによって実現されてもよい。移載システム100の各部は、その少なくとも一部が、仮想マシン上又はクラウドシステム上で実現されてもよい。移載システム100の各部は、その少なくとも一部が、パーソナルコンピュータ又は携帯端末によって実現されてもよい。携帯端末としては、携帯電話、スマートフォン、PDA、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどが例示される。移載システム100の各部は、ブロックチェーンなどの分散型台帳技術又は分散型ネットワークを利用して、情報を格納してもよい。
移載システム100を構成する構成要素の少なくとも一部がソフトウエアにより実現される場合、当該ソフトウエアにより実現される構成要素は、一般的な構成の情報処理装置において、当該構成要素に関する動作を規定したプログラムを起動することにより実現されてよい。上記の情報処理装置は、例えば、(i)CPU、GPUなどのプロセッサ、ROM、RAM、通信インタフェースなどを有するデータ処理装置と、(ii)キーボード、タッチパネル、カメラ、マイク、各種センサ、GPS受信機などの入力装置と、(iii)表示装置、スピーカ、振動装置などの出力装置と、(iv)メモリ、HDDなどの記憶装置(外部記憶装置を含む。)とを備える。
上記の情報処理装置において、上記のデータ処理装置又は記憶装置は、プログラムを格納してよい。上記のプログラムは、非一時的なコンピュータ可読記録媒体に格納されてよい。上記のプログラムは、プロセッサによって実行されることにより、上記の情報処理装置に、当該プログラムによって規定された動作を実行させる。
プログラムは、非一時的なコンピュータ可読記録媒体に格納されていてもよい。プログラムは、CD−ROM、DVD−ROM、メモリ、ハードディスクなどのコンピュータ読み取り可能な媒体に記憶されていてもよく、ネットワークに接続された記憶装置に記憶されていてもよい。プログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、移載システム100の少なくとも一部を構成するコンピュータにインストールされてよい。プログラムが実行されることにより、コンピュータが、移載システム100の各部の少なくとも一部として機能してもよい。
コンピュータを移載システム100の各部の少なくとも一部として機能させるプログラムは、移載システム100の各部の動作を規定したモジュールを備えてよい。これらのプログラム又はモジュールは、データ処理装置、入力装置、出力装置、記憶装置等に働きかけて、コンピュータを移載システム100の各部として機能させたり、コンピュータに移載システム100の各部における情報処理方法を実行させたりする。
プログラムに記述された情報処理は、当該プログラムがコンピュータに読込まれることにより、当該プログラムに関連するソフトウエアと、移載システム100の各部に配された各種のハードウエア資源とが協働した具体的手段として機能する。そして、上記の具体的手段が、本実施形態におけるコンピュータの使用目的に応じた情報の演算又は加工を実現することにより、当該使用目的に応じた移載システム100が構築される。
上記のプログラムは、コンピュータを、移載制御装置150として機能させるためのプログラムであってよい。上記のプログラムは、コンピュータに、移載制御装置150における情報処理方法を実行させるためのプログラムであってよい。
移載システム100は、移送装置の一例であってよい。パッケージ102は、物品及び対象物品の一例であってよい。ロボット130は、移送装置の一例であってよい。ロボットアーム132は、マニピュレータの一例であってよい。駆動制御部134は、力覚情報取得部、角度情報取得部及び減圧情報取得部の一例であってよい。エンドエフェクタ140は、把持部の一例であってよい。移載制御装置150は、制御装置の一例であってよい。撮像装置160は、画像情報取得部の一例であってよい。ワークは、対象物品の一例であってよい。移載処理の対象となるパッケージ102は、対象物品の一例であってよい。
図2は、ロボット130のシステム構成の一例を概略的に示す。図2に示されるとおり、本実施形態において、ロボット130は、ロボットアーム132と、ロボットアーム132の遠位端に取り付けられるエンドエフェクタ140と、ロボットアーム132及びエンドエフェクタ140を制御する駆動制御部134とを備える。本実施形態において、ロボットアーム132は、複数のモータ232と、複数のエンコーダ234とを備える。本実施形態において、エンドエフェクタ140は、力覚センサ242と、把持部材246とを備える。
本実施形態において、複数のモータ232のそれぞれは、ロボットアーム132に含まれる複数の関節のそれぞれの角度を調整する。複数のモータ232のそれぞれは、駆動制御部134からの指示に従って、対応する関節の角度を調整してよい。複数のモータ232のそれぞれは、電流値を示す情報(電流情報と称される場合がある。)を、駆動制御部134に出力してよい。複数のモータ232のそれぞれは、時刻を示す情報と、当該時刻における電流値を示す情報とが対応付けられた電流情報を、駆動制御部134に出力してよい。
本実施形態において、複数のエンコーダ234のそれぞれは、ロボットアーム132に含まれる複数の関節のそれぞれの角度を示す情報(角度情報と称される場合がある。)を、駆動制御部134に出力する。複数のエンコーダ234のそれぞれは、時刻を示す情報と、当該時刻における対応する関節の角度を示す情報とが対応付けられた角度情報を、駆動制御部134に出力してよい。
本実施形態において、力覚センサ242は、ロボットアーム132の遠位端と、把持部材246との間に配される。力覚センサ242は、ロボットアーム132の遠位端における力及びトルクの少なくとも一方の大きさを示す情報(力覚情報と称される場合がある。)を出力する。力覚センサ242は、時刻を示す情報と、当該時刻における上記の力及びトルクの少なくとも一方の大きさを示す情報とが対応付けられた力覚情報を出力してよい。力覚センサ242は、ロボットアーム132の遠位端における力及びトルクの少なくとも一方の大きさ及び方向を示す力覚情報を出力してもよい。力覚センサ242は、時刻を示す情報と、当該時刻における上記の力及びトルクの少なくとも一方の大きさ及び方向を示す情報とが対応付けられた力覚情報を出力してよい。
例えば、力覚情報は、x方向の力の大きさ、y方向の力の大きさ、及び、z方向の力の大きさを示す情報を含む。力覚情報は、x方向のトルクの大きさ、y方向のトルクの大きさ、及び、z方向のトルクの大きさを示す情報を含んでもよい。力覚情報は、x方向の力の大きさ、y方向の力の大きさz方向の力の大きさ、x方向のトルクの大きさ、y方向のトルクの大きさ、及び、z方向のトルクの大きさを示す情報を含んでもよい。なお、座標系は、上記の具体例に限定されない。
本実施形態において、把持部材246は、移送対象となるパッケージ102を把持する。把持部材246は、駆動制御部134からの指示に従って、パッケージ102の把持及び解放が可能な機構を有するものであれば、その詳細は特に限定されない。把持部材246は、パッケージ102を挟むことでパッケージ102を把持してもよく、パッケージ102を吸着することでパッケージ102を把持してもよい。把持部材246の詳細は後述される。
図3は、把持部材246の一例を概略的に示す。本実施形態において、把持部材246は、本体310と、吸着パット320と、バルブ330と、吸気配管340とを備える。本実施形態において、本体310の内部には減圧室312が形成される。また、本体310の外部には、接続部材314が配される。
本実施形態において、本体310は、力覚センサ242を介して、ロボットアーム132の遠位端に取り付けられる。減圧室312は、バルブ330及び吸気配管340を介して、外部の減圧源に接続される。接続部材314は、本体310と、力覚センサ242とを接続する。
吸着パット320は、本体310から突出するように、本体310に取り付けられる。吸着パット320は、例えば、中空形状を有する。吸着パット320は、吸着パット320の内部と、減圧室312の内部とが連通するように、本体310に取り付けられる。吸着パット320は、パッケージ102に接触し、吸着パット320の内部及び外部の圧力差を利用して、パッケージ102に吸着する。
本実施形態において、バルブ330は、減圧室312の内部の圧力を調整する。バルブ330は、駆動制御部134からの指示に従って動作してよい。例えば、バルブ330は、減圧室312及び吸気配管340を連通させることで、減圧室312の内部の圧力を減少させる。バルブ330は、減圧室312を大気に開放することで、減圧室312の内部の圧力を増加させてもよい。
本実施形態において、吸気配管340の一方の端部は、外部の減圧源に接続される。吸気配管340の他方の端部は、バルブ330を介して減圧室312に接続される。これにより、吸気配管340は、減圧室312の内部の空気を吸い出すことができる。
図4は、移載制御装置150の内部構成の一例を概略的に示す。本実施形態において、移載制御装置150は、画像データ取得部422と、アーム情報取得部424と、ハンド情報取得部426と、入出力制御部432と、撮像制御部434と、移載制御部436と、商品情報登録部440と、格納部450とを備える。本実施形態において、格納部450は、商品情報格納部452と、ワーク情報格納部454と、モデル情報格納部456と、設定情報格納部458とを有する。
本実施形態において、画像データ取得部422は、撮像装置160が出力した画像データを取得する。例えば、画像データ取得部422は、移送対象となるパッケージ102がロボット130に把持される前の時点における、パッケージ102の画像データを取得する。画像データ取得部422は、取得された画像データを移載制御部436に出力してよい。
本実施形態において、アーム情報取得部424は、ロボットアーム132に関する情報を取得する。アーム情報取得部424は、パッケージ102が移送されている期間中におけるロボットアーム132の状態に関する情報を取得してよい。例えば、アーム情報取得部424は、ロボットアーム132に配された1以上のセンサの出力を取得する。アーム情報取得部424は、ロボットアーム132に関する角度情報及び電流情報の少なくとも一方を取得してよい。アーム情報取得部424は、取得された情報を移載制御部436に出力してよい。
本実施形態において、ハンド情報取得部426は、エンドエフェクタ140に関する情報を取得する。ハンド情報取得部426は、パッケージ102が移送されている期間中におけるエンドエフェクタ140の状態に関する情報を取得する。例えば、ハンド情報取得部426は、エンドエフェクタ140に配された1以上のセンサの出力を取得する。ハンド情報取得部426は、エンドエフェクタ140に関する力覚情報を取得してよい。ハンド情報取得部426は、減圧室312の内部の圧力の大きさを示す情報(減圧情報と称される場合がある。)を取得してよい。ハンド情報取得部426は、ハンバルブ330の開閉状態を示す情報を取得してよい。ハンド情報取得部426は、取得された情報を移載制御部436に出力してよい。
本実施形態において、入出力制御部432は、移載システム100の入出力を制御する。例えば、入出力制御部432は、ユーザ又は他の情報処理装置から、移載システム100への情報の入力を制御する。入出力制御部432は、移載システム100から、ユーザ又は他の情報処理装置への情報の出力を制御してもよい。入出力制御部432は、ロボット130と、移載制御装置150と、撮像装置160との間の情報の入出力を制御してもよい。本実施形態において、撮像制御部434は、撮像装置160を制御する。本実施形態において、移載制御部436は、荷受用プラットフォーム120及びロボット130の少なくとも一方を制御する。移載制御部436の詳細は後述される。
本実施形態において、商品情報登録部440は、ロボット130による移載処理の対象となるパッケージ102に関する情報を、商品情報格納部452に登録する。商品情報登録部440は、パッケージ102の特性を示す情報を、商品情報格納部452に登録してよい。
例えば、商品情報登録部440は、移載制御部436から、ワークの特性を示す情報を取得する。上述されたとおり、ワークの特性としては、寸法、形状、外観の特徴、質量、重心の位置、把持位置、把持態様などが例示される。次に、商品情報登録部440は、商品情報格納部452にアクセスして、ワークの外観の特徴に合致する商品が商品情報格納部452に既に登録されているか否かを判定する。ワークの外観の特徴に合致する商品が、商品情報格納部452に未だ登録されていないと判定された場合、商品情報登録部440は、新たな商品に関するレコードを作成し、ワークの特性を示す情報を登録する。
本実施形態において、格納部450は、各種の情報を格納する。格納部450は、移載制御装置150における情報処理に用いられる情報を格納してよい。格納部450は、移載制御装置150における情報処理により生成された情報を格納してもよい格納部450は、移載システム100の各部からの要求に応じて、当該要求に含まれる条件に合致する情報を抽出し、当該要求に対する回答として抽出された情報を出力してよい。
本実施形態において、商品情報格納部452は、商品又はサービスごとに、当該商品又はサービスに使用されるパッケージ102の外観の特徴と、パッケージ102に関するその他の特性とを対応付けて格納する。パッケージ102に関するその他の特性としては、寸法、形状、質量、重心の位置、把持位置、把持態様などが例示される。
本実施形態において、ワーク情報格納部454は、現在、ロボット130の移載処理の対象となっているパッケージ102に関する各種の情報(ワーク情報と称される場合がある)を格納する。ワーク情報としては、寸法、形状、質量、重心の位置、把持位置、把持態様などに関する情報が例示される。
ワークの平面寸法は、例えば、画像データ取得部422が取得したワークの画像に基づいて決定される。ワークの高さは、例えば、アーム情報取得部424が取得したロボットアーム132の位置及び姿勢と、センサ180の出力とに基づいて決定される。ワークの質量及び重心の位置は、ハンド情報取得部426が取得した力覚センサ242の出力に基づいて決定される。ワークの把持位置及び把持態様は、例えば、画像データ取得部422が取得したワークの画像に基づいて決定される。ワークの把持位置及び把持態様は、画像データ取得部422が取得したワークの画像と、ハンド情報取得部426が取得した力覚センサ242の出力とに基づいて決定されてよい。ワークの把持態様は、ハンド情報取得部426が取得した減圧室312の内部の圧力に基づいて決定又は補正されてよい。
本実施形態において、モデル情報格納部456は、移載システム100の各部の3次元モデルを格納する。例えば、モデル情報格納部456は、荷受用プラットフォーム120の3次元モデルを格納する。モデル情報格納部456は、ロボット130の3次元モデルを格納してもよい。モデル情報格納部456は、デパレタイズ用プラットフォーム110に搭載された1以上のパッケージ102の3次元モデルを格納してよい。パッケージ102の3次元モデルは、撮像装置160が出力した画像データに基づいて作成されてよい。モデル情報格納部456は、ロボット130の行動半径の内部、及び、当該行動半径の近傍に配された物体(障害物と称される場合がある。)の3次元モデルを格納してもよい。上記の3次元モデルは、比較的精密なモデルであってもよく、簡素化されたモデルであってもよい。
設定情報格納部458は、移載システム100の各部に関する各種の設定の内容を示す情報を格納する。設定情報格納部458は、エンドエフェクタ140の可搬質量に関する情報を格納してよい。上記の可搬質量は、エンドエフェクタ140の定格可搬質量であってもよく、規定の移送速度又は規定の移送加速度の範囲内における最大可搬質量であってもよい。設定情報格納部458は、ロボット130の定格出力を示す情報を格納してよい。設定情報格納部458は、ロボット130の出力の上限に関する設定値を示す情報を格納してよい。設定情報格納部458は、ロボット130の移送速度又は移送加速度の上限に関する設定値を示す情報を格納してよい。
設定情報格納部458は、ロボット130と、移載制御装置150との間の通信遅延に関する情報を格納してもよい。設定情報格納部458は、エンコーダ234がデータを出力してから、移載制御装置150が当該データを取得するまでの遅延時間の長さを示す情報を格納してよい。設定情報格納部458は、力覚センサ242がデータを出力してから、移載制御装置150が当該データを取得するまでの遅延時間の長さを示す情報を格納してよい。設定情報格納部458は、各種の判定に用いられる閾値の値を示す情報を格納してもよく、各種の判定に用いられる条件の内容を示す情報を格納してもよい。
画像データ取得部422は、画像情報取得部の一例であってよい。アーム情報取得部424は、角度情報取得部の一例であってよい。ハンド情報取得部426は、力覚情報取得部及び減圧情報取得部の一例であってよい。移載制御部436は、制御装置の一例であってよい。
図5は、移載制御部436の内部構成一例を概略的に示す。本実施形態において、移載制御部436は、画像解析部520と、軌道計画部530と、アルゴリズム決定部542と、異常検知部544と、変更部546と、制御信号出力部552と、警告情報出力部554とを備える。本実施形態において、画像解析部520は、移送対象特定部522と、把持態様決定部524とを有する。
本実施形態において、画像解析部520は、画像データ取得部422から画像データを受け取る。例えば、画像解析部520は、撮像装置160が、デパレタイズ用プラットフォーム110に配置された1以上のパッケージ102を上方から撮像して得られた画像の画像データを取得する。画像解析部520は、上記の画像データを解析する。画像解析部520は、解析結果を示す情報を、例えば、軌道計画部530及び異常検知部544に出力する。
本実施形態において、移送対象特定部522は、画像を解析して、画像に含まれる1以上のパッケージ102の中から、移送処理の対象となるパッケージ102を特定する。例えば、移送対象特定部522は、画像の中から、2つのパッケージ102の間の境界(エッジと称される場合がある。)を抽出して、画像に含まれる1以上のパッケージ102のそれぞれの輪郭を推定する。移送対象特定部522は、画像の中から、既に登録されているパッケージ102の外観の特徴と一致する領域を抽出して、画像に含まれる1以上のパッケージ102のそれぞれの種類を推定する。
上記の処理により輪郭及び種類の両方が認識されたパッケージ102が存在する場合、移送対象特定部522は、輪郭及び種類が認識された1以上のパッケージのうちの1つを、移送処理の対象として選択する。移送対象特定部522は、移送処理の対象として選択されたパッケージ102(ワークと称される場合がある。)に対応する商品又はサービスの識別情報を、ワーク情報格納部454に格納してよい。
上記の処理により輪郭が認識されたパッケージ102が存在し、且つ、輪郭及び種類の両方が認識されたパッケージ102が存在しない場合、移送対象特定部522は、上記の処理により輪郭が認識された1以上のパッケージのうちの1つを、移送処理の対象として選択してよい。移送対象特定部522は、移送処理の対象として選択されたパッケージ102(ワークと称される場合がある。)の位置を示す情報を、ワーク情報格納部454に格納してよい。例えば、移送対象特定部522は、ワークの基準点と、デパレタイズ用プラットフォーム110の基準点との相対位置を示す情報を、ワーク情報格納部454に格納する。
本実施形態において、移送対象特定部522は、商品情報格納部452にアクセスして、ワークの外観の特徴に合致するパッケージの特性を取得してよい。これにより、移送対象特定部522は、上記の画像データに基づいて、ワークに関する各種の特性を推定することができる。例えば、移送対象特定部522は、ワークの寸法、形状、質量、及び、重心の位置の少なくとも1つを推定する。移送対象特定部522は、推定されたワークに関する各種の特性を示す情報を、ワーク情報格納部454に格納してよい。
本実施形態において、移送対象特定部522は、上記の画像データに基づいて、ワークの上面の幾何中心の位置を特定してもよい。移送対象特定部522は、特定された幾何中心の位置を示す情報を、ワーク情報格納部454に格納してよい。
本実施形態において、把持態様決定部524は、エンドエフェクタ140によるワークの把持位置を決定する。例えば、把持態様決定部524は、エンドエフェクタ140の基準点と、ワークの基準点との位置関係を決定する。把持態様決定部524は、エンドエフェクタ140によるワークの把持位置を示す情報を、ワーク情報格納部454に格納してよい。
把持態様決定部524は、エンドエフェクタ140の中心と、ワークの重心とが一致するように、エンドエフェクタ140がワークを把持することを決定してよい。一方、ワークの周辺に十分なスペースがなく、エンドエフェクタ140の中心と、ワークの重心とが一致するように、エンドエフェクタ140を配置することができない場合、把持態様決定部524は、ワークの周囲に、エンドエフェクタ140を配置することができるか否かを判定してよい。例えば、把持態様決定部524は、エンドエフェクタ140及びロボットアーム132の3次元モデルと、デパレタイズ用プラットフォーム110に搭載された1以上のパッケージ102の3次元モデルとを用いて、ワークの周囲に、エンドエフェクタ140を配置することができるか否かを判定する。
ワークの周囲にエンドエフェクタ140を配置することができる場合、把持態様決定部524は、その時のエンドエフェクタ140の位置及び姿勢に基づいて、エンドエフェクタ140によるワークの把持位置を決定してよい。一方、ワークの周囲にエンドエフェクタ140を配置することができない場合、把持態様決定部524は、移送対象特定部522に対して、他のパッケージ102をワークとして選択することを要求してよい。
把持態様決定部524は、エンドエフェクタ140によるワークの把持強度を決定してよい。例えば、把持態様決定部524は、エンドエフェクタ140によるワークの把持位置と、エンドエフェクタ140における吸着パット320の配置とに基づいて、エンドエフェクタ140によるワークの把持強度を決定する。
本実施形態において、軌道計画部530は、ロボットアーム132の遠位端の軌道、及び、エンドエフェクタ140の軌道の少なくとも一方を計画する。軌道計画部530は、上記の軌道に関する計画の内容を示す情報(計画情報と称される場合がある。)を、例えば、アルゴリズム決定部542、異常検知部544、変更部546、及び、制御信号出力部552の少なくとも1つに出力する。軌道計画部530は、計画情報を、ワーク情報格納部454に格納してよい。計画情報は、ワークが、軌道上の基準位置を通過してからの複数の経過時間を示す情報と、各経過時間におけるロボットアーム132に含まれる複数の関節のそれぞれの角度を示す情報とを含んでよい。
例えば、軌道計画部530は、ワーク情報格納部454にアクセスして、ワークの位置を示す情報、ワークに関する各種の特性を示す情報、ワークの把持位置を示す情報、及び、ワークの把持強度を示す情報の少なくとも1つを取得する。また、軌道計画部530は、モデル情報格納部456にアクセスして、ロボット130の3次元モデルと、デパレタイズ用プラットフォーム110に搭載された1以上のパッケージ102の3次元モデルとを取得する。軌道計画部530は、設定情報格納部458にアクセスして、ロボット130の設定に関する各種の情報を取得する。軌道計画部530は、上記の情報を利用して、上記の軌道を計画する。
本実施形態において、アルゴリズム決定部542は、異常検知部544が異常を検知するために利用するアルゴリズムを決定する。アルゴリズム決定部542は、決定されたアルゴリズムに関する情報を、異常検知部544に出力する。
一実施形態において、アルゴリズム決定部542は、移送処理に含まれる工程ごとに、上記のアルゴリズムを決定する。上述されたとおり、移送処理は、例えば、接近工程、把持工程、拳上工程、移動工程、載置工程、及び、解放工程を含む。他の実施形態において、アルゴリズム決定部542は、アルゴリズム決定部542から計画情報を取得し、軌道を複数の区分(セグメントと称される場合がある。)に分割する。アルゴリズム決定部542は、移送速度の大きさ、移送加速度の大きさ、及び、移送加速度の変動の程度の少なくとも1つに基づいて、軌道を複数のセグメントに分割してよい。アルゴリズム決定部542は、略水平方向の移送速度の大きさ、略水平方向の移送加速度の大きさ、及び、略水平方向の移送加速度の変動の程度の少なくとも1つに基づいて、軌道を複数のセグメントに分割してもよい。アルゴリズム決定部542は、セグメントごとに、上記のアルゴリズムを決定してよい。
本実施形態において、異常検知部544は、ワークの移送に関する異常を検知する。異常検知部544の詳細は後述される。
本実施形態において、変更部546は、異常検知部544がワークの移送に関する異常を検知した場合に、当該ワークの移送に関する各種の設定を変更する。変更部546の詳細は後述される。
本実施形態において、制御信号出力部552は、軌道計画部530から計画情報を取得する。移送対象特定部522は、計画情報に基づいて、ロボット130の動作を制御するための制御信号を生成する。移送対象特定部522は、生成された制御信号を、駆動制御部134に送信する。
制御信号出力部552は、変更部546から変更情報を取得した場合、当該変更情報に基づいて、ロボット130の動作を制御するための制御信号を生成する。制御信号出力部552は、生成された制御信号を、駆動制御部134に送信する。
本実施形態において、警告情報出力部554は、異常検知部544がワークの移送に関する異常を検知した場合に、異常が検知されたことを示すメッセージを、移載制御装置150のオペレータに通知する。上記のメッセージの出力態様としては、メッセージ画面の出力、音声メッセージの出力などが例示される。
画像解析部520は、画像情報取得部の一例であってよい。移送対象特定部522は、画像情報取得部、質量情報取得部、重心推定部、及び、幾何中心特定部の一例であってよい。把持態様決定部524は、画像情報取得部、及び、把持位置決定部の一例であってよい。異常検知部544は、制御装置の一例であってよい。変更部546は、調整部の一例であってよい。商品情報格納部452に格納されているパッケージの質量の値は、対象物品の質量として予め定められた値の一例であってよい。
図6は、把持部材246の軌道の一例を概略的に示す。本実施形態において、軌道600は、セグメントA、セグメントB、セグメントC及びセグメントDに分割される。また、セグメントCは、加速度の変動が比較的小さなセグメントCmと、加速度の変動が比較的大きなセグメントChとに分割される。セグメントAは、エンドエフェクタ140が、待機位置610から把持位置620まで移動する間の軌道であってよい。セグメントBは、エンドエフェクタ140が、把持位置620から移送準備位置622まで移動する間の軌道であってよい。セグメントCは、エンドエフェクタ140が、移送準備位置622から載置準備位置624まで移動する間の軌道であってよい。セグメントDは、エンドエフェクタ140が、載置準備位置624から解放位置630まで移動する間の軌道であってよい。
図7は、異常検知部544の内部構成の一例を概略的に示す。本実施形態において、異常検知部544は、登録データ比較部720と、出力シミュレータ730と、推定データ比較部740と、基準データ比較部750と、質量異常検知部762と、重心異常検知部764と、異常特定部770とを備える。
[登録データとの比較]
登録データ比較部720は、商品情報格納部452に登録されたパッケージの特性に関する情報と、ワークに関する実際の計測データに基づいて決定されるワークの特性に関する情報とを比較する。ワークに関する実際の計測データとしては、力覚センサ242が出力したデータなどが例示される。上記の計測データは、エンドエフェクタ140がワークを把持及び拳上している期間に、力覚センサ242が出力したデータであってよい。登録データ比較部720は、比較結果を示す情報を、例えば、質量異常検知部762及び重心異常検知部764の少なくとも一方に出力する。
(質量の比較)
一実施形態において、上記の特性は、質量であってよい。例えば、登録データ比較部720は、ワーク情報格納部454にアクセスして、ワークに対応する商品又はサービスの識別情報を取得する。登録データ比較部720は、商品情報格納部452にアクセスして、上記の商品又はサービスの識別情報に合致するパッケージ(ワークに対応するパッケージと称される場合がある。)の質量を示す情報を取得する。次に、エンドエフェクタ140がワークを把持し、当該ワークを拳上すると、登録データ比較部720は、エンドエフェクタ140がワークを把持及び拳上している間に、ハンド情報取得部426から力覚情報を取得する。
登録データ比較部720は、力覚情報により示される力及びトルクの少なくとも一方の大きさに基づいて、ワークの質量を決定する。登録データ比較部720は、ワークの移動速度が予め定められた値より小さい期間のデータを利用して、ワークの質量を決定してよい。登録データ比較部720は、ワークの移動が略停止している期間のデータを利用して、ワークの質量を決定してよい。
登録データ比較部720は、商品情報格納部452に登録されたパッケージの質量と、上記の力覚情報に基づいて決定されたワークの質量とを比較する。登録データ比較部720は、商品情報格納部452に登録されたパッケージの質量と、上記の力覚情報に基づいて決定されたワークの質量との差の絶対値を算出してよい。登録データ比較部720は、上記の差の絶対値を示す情報を、比較結果を示す情報として出力してよい。
(重心の位置の比較)
他の実施形態において、上記の特性は、重心の位置であってよい。例えば、登録データ比較部720は、上記の実施形態と同様にして、ワークに対応するパッケージの重心の位置を示す情報を取得する。また、登録データ比較部720は、上記の実施形態と同様にして、力覚情報により示される力及びトルクの少なくとも一方の大きさに基づいて、ワークの重心の位置を決定する。
登録データ比較部720は、商品情報格納部452に登録されたパッケージの重心の位置と、上記の力覚情報に基づいて決定されたワークの重心の位置とを比較する。登録データ比較部720は、商品情報格納部452に登録されたパッケージの重心の位置と、上記の力覚情報に基づいて決定されたワークの重心の位置との距離を算出してよい。登録データ比較部720は、上記の距離を示す情報を、比較結果を示す情報として出力してよい。
[力覚センサ242の出力のシミュレート]
本実施形態において、出力シミュレータ730は、ロボット130に配された1以上のセンサの少なくとも1つの出力をシミュレートする。一実施形態において、出力シミュレータ730は、力覚センサ242の出力をシミュレートする。他の実施形態において、出力シミュレータ730は、エンコーダ234の出力をシミュレートする。さらに他の実施形態において、出力シミュレータ730は、モータ232の電流値をシミュレートする。
ロボット130がワークを移送している間、力覚センサ242は、ワークに働く重力と、ワークに働く慣性力との合力を検出する。そのため、力覚センサ242の出力を利用してワークの移送に関する異常を正確に検知するためには、何らかの手法により、上記の慣性力の影響を打ち消すことが好ましい。
上記の慣性力の影響を打ち消す手法としては、(i)エンコーダ234の出力を2回微分して、ワークの加速度を算出し、(ii)当該加速度に基づいて、ワークに働く慣性力を算出し、(iii)力覚センサ242の出力により示される力の大きさから、慣性力の大きさを減ずることが考えられる。しかしながら、ロボット130の内部におけるフィルタ処理などの影響により、エンコーダ234の出力を2回微分しても、ワークの加速度を精度よく算出することは非常に難しい。
上記の慣性力の影響を打ち消す他の手法としては、(i)シミュレーションにより力覚センサ242の出力を推定し、(ii)力覚センサ242の出力の推定値と、力覚センサ242の実際の出力とを比較することが考えられる。上記の手法によれば、力覚センサ242の出力の推定値と、力覚センサ242の実際の出力とを同期させるタイミングを調整したり、力覚センサ242の出力の推定値と、力覚センサ242の実際の出力との差に基づいて異常を検知する場合の閾値を調整したりすることで、異常の検出精度を容易に向上させることができる。
[計画情報に基づくシミュレーション]
本実施形態において、出力シミュレータ730は、計画情報に基づいて、力覚センサ242の出力をシミュレートする。出力シミュレータ730は、例えば、商品情報格納部452にアクセスして、ワークに対応するパッケージの質量を示す情報を取得する。また、出力シミュレータ730は、例えば、ワーク情報格納部454にアクセスして、ワークに関する計画情報を取得する。次に、出力シミュレータ730は、上記の質量を示す情報と、計画情報とに基づいて、ロボット130がワークを移送した場合に、力覚センサ242が検出する力及びトルクの少なくとも一方の大きさを推定する。これにより、ロボット130がワークを移送した場合に、力覚センサ242が検出するであろう力及びトルクの少なくとも一方の大きさが推定される。出力シミュレータ730は、力覚センサ242が検出する力及びトルクの少なくとも一方の大きさ及び方向を推定してもよい。これにより、力覚センサ242が検出するであろう力及びトルクの少なくとも一方の大きさ及び方向が推定される。
上述されたとおり、計画情報は、ワークが、軌道上の基準位置を通過してからの複数の経過時間を示す情報と、各経過時間におけるロボットアーム132に含まれる複数の関節のそれぞれの角度を示す情報とが対応付けられた情報を含み得る。この場合において、出力シミュレータ730は、計画情報に基づいて、複数の経過時間のそれぞれにおける、力覚センサ242が検出する力及びトルクの少なくとも一方の大きさを推定してよい。これにより、力覚センサ242が検出するであろう力及びトルクの少なくとも一方の大きさが推定される。また、出力シミュレータ730は、複数の経過時間のそれぞれと、推定された力及びトルクの少なくとも一方の大きさとが対応付けられた情報(推定情報と称される場合がある。)を出力してよい。推定情報は、複数の経過時間のそれぞれと、推定された力及びトルクの少なくとも一方の大きさ及び方向とが対応付けられた情報であってもよい。
上記の場合において、出力シミュレータ730は、(i)計画情報に基づいて、軌道上の複数の位置のそれぞれにおける複数の関節のそれぞれの角度を決定し、(ii)軌道上の複数の位置のそれぞれにおける、力覚センサ242が検出する力及びトルクの少なくとも一方の大きさを推定してよい。これにより、軌道上の複数の位置のそれぞれにおける、力覚センサ242が検出するであろう力及びトルクの少なくとも一方の大きさが推定される。また、出力シミュレータ730は、複数の関節のそれぞれの角度と、推定された力及びトルクの少なくとも一方の大きさとが対応付けられた推定情報を出力してよい。推定情報は、複数の関節のそれぞれの角度と、推定された力及びトルクの少なくとも一方の大きさ及び方向とが対応付けられた情報であってもよい。
[拳上工程のシミュレーション]
本実施形態において、出力シミュレータ730は、拳上工程における力覚センサ242の出力をシミュレートする。出力シミュレータ730は、例えば、商品情報格納部452にアクセスして、ワークに対応するパッケージの質量を示す情報と、当該パッケージの重心の位置を示す情報とを取得する。また、出力シミュレータ730は、例えば、ワーク情報格納部454にアクセスして、ワークの把持位置に関する情報を取得する。次に、出力シミュレータ730は、上記の質量と、上記の重心の位置と、上記の把持位置とに基づいて、エンドエフェクタ140がワークの把持位置を把持して当該ワークを拳上した場合に、力覚センサ242が検出する力及びトルクの少なくとも一方の大きさを推定する。これにより、上記の場合に力覚センサ242が検出するであろう力及びトルクの少なくとも一方の大きさが推定される。出力シミュレータ730は、力覚センサ242が検出する力及びトルクの少なくとも一方の大きさ及び方向を推定してもよい。これにより、力覚センサ242が検出するであろう力及びトルクの少なくとも一方の大きさ及び方向が推定される。出力シミュレータ730は、上述された実施形態と同様にして、推定情報を出力してもよい。
本実施形態において、推定データ比較部740は、出力シミュレータ730が出力した力覚センサ242の推定値と、力覚センサ242が実際に出力した値とを比較する。推定データ比較部740は、比較結果を示す情報を、例えば、質量異常検知部762及び重心異常検知部764の少なくとも一方に出力する。
(質量の比較)
例えば、推定データ比較部740は、ハンド情報取得部426から、力覚情報を取得する。推定データ比較部740は、出力シミュレータ730から、推定情報を取得する。推定データ比較部740は、力覚情報により示される力及びトルクの少なくとも一方の大きさと、推定情報により示される力及びトルクの少なくとも一方の大きさとを比較する。推定データ比較部740は、力覚情報により示される力及びトルクの少なくとも一方の大きさと、推定情報により示される力及びトルクの少なくとも一方の大きさとの差の絶対値を算出してよい。推定データ比較部740は、上記の差の絶対値を示す情報を、比較結果を示す情報として出力してよい。
(重心の位置の比較)
推定データ比較部740は、力覚情報に基づいて、ワークの重心の位置を特定してよい。また、推定データ比較部740は、推定情報に基づいて、ワークの重心の位置を推定してよい。推定データ比較部740は、力覚情報に基づいて特定されたワークの重心の位置と、推定情報に基づいて推定されたワークの重心の位置とを比較する。推定データ比較部740は、力覚情報に基づいて特定されたワークの重心の位置と、推定情報に基づいて推定されたワークの重心の位置との距離を算出してよい。推定データ比較部740は、上記の距離を示す情報を、比較結果を示す情報として出力してよい。
[データの同期]
一実施形態において、推定データ比較部740は、力覚情報に含まれる複数の時刻を示す情報と、推定情報に含まれる複数の経過時間のそれぞれを示す情報とに基づいて、力覚情報に含まれる力及びトルクの少なくとも一方の大きさを示す情報と、推定情報に含まれる力及びトルクの少なくとも一方の大きさを示す情報とを対応付けてよい。これにより、両者を同期することができる。
他の実施形態において、推定データ比較部740は、角度情報及び力覚情報のそれぞれに含まれる複数の時刻を示す情報に基づいて、複数の関節のそれぞれの角度を示す情報と、遠位端における力及びトルクの少なくとも一方の大きさを示す情報とを対応付けてよい。また、複数の関節のそれぞれの角度を示す情報に基づいて、力覚情報に含まれる力及びトルクの少なくとも一方の大きさを示す情報と、推定情報に含まれる力及びトルクの少なくとも一方の大きさを示す情報とを対応付けてよい。これにより、両者を同期することができる。
[基準データとの比較]
本実施形態において、基準データ比較部750は、特定の時刻、又は、特定の工程の特定のタイミングを基準時として、当該基準時における力覚センサ242の出力と、現在の力覚センサ242の出力とを比較する。上記の基準時としては、拳上工程の始期、載置工程の始期などが例示される。基準データ比較部750は、基準時の力覚情報により示される力及びトルクの少なくとも一方の大きさと、現在の力覚情報により示される力及びトルクの少なくとも一方の大きさとを比較する。基準データ比較部750は、基準時の力覚情報により示される力及びトルクの少なくとも一方の大きさと、現在の力覚情報により示される力及びトルクの少なくとも一方の大きさとの差の絶対値を算出してよい。基準データ比較部750は、上記の差の絶対値を示す情報を、比較結果を示す情報として出力してよい。
[質量に関する異常の検知]
本実施形態において、質量異常検知部762は、ワークの質量に関する異常を検知する。質量異常検知部762は、複数のアルゴリズムに基づいて、上記の異常を検知してよい。質量異常検知部762は、アルゴリズム決定部542が決定したアルゴリズムに基づいて、上記の異常を検知してよい。
一実施形態において、質量異常検知部762は、登録データ比較部720の比較結果に基づいて、異常を検知する。例えば、登録データ比較部720が比較した2つの値の差の絶対値が、予め定められた閾値(当該閾値は、第4閾値の一例であってよい。)よりも大きい場合に、質量異常検知部762が異常を検知する。上記の異常としては、ワークの識別不良、ワークの把持不良、及び、ワークの破損の少なくとも1つが例示される。
他の実施形態において、質量異常検知部762は、推定データ比較部740の比較結果に基づいて、異常を検知する。例えば、推定データ比較部740が比較した2つの値の差の絶対値が、予め定められた閾値(当該閾値は、第1閾値の一例であってよい。)よりも大きい場合に、質量異常検知部762が異常を検知する。上記の第1閾値は、例えば、移載制御装置150が力覚情報を取得するまでの遅延時間の長さが大きいほど第1閾値が大きくなるように、決定される。上記の第1閾値は、上記の遅延時間の変動幅が予め定められた値よりも大きい場合における第1閾値が、上記の遅延時間の変動幅が予め定められた値よりも小さい場合における第1閾値よりも、大きくなるように、決定されてよい。
推定データ比較部740が比較した2つの値の差の絶対値が、予め定められた閾値(当該閾値は、第1閾値の一例であってよい。)よりも大きな状態の継続期間の長さが、予め定められた閾値(当該閾値は、第2閾値の一例であってよい。)よりも大きい場合に、質量異常検知部762が異常を検知してもよい。上記の継続期間の間に、インターバルが配されていなくてもよく、上記の継続期間の間に、予め定められた長さよりも短い期間のインターバルが配されていてもよい。
これにより、質量異常検知部762は、力覚情報により示される力及びトルクの少なくとも一方の大きさ、並びに、出力シミュレータ730が推定した力及びトルクの少なくとも一方の大きさに基づいて、ワークの移送に関する異常を検出することができる。なお、質量異常検知部762は、力覚情報により示される力及びトルクの少なくとも一方の大きさ及び方向、並びに、出力シミュレータ730が推定した力及びトルクの少なくとも一方の大きさ及び方向に基づいて、ワークの移送に関する異常を検出してもよい。
上述されたとおり、力覚情報と、推定情報とは、適切な手法により同期される。これにより、質量異常検知部762は、対応付けられた力覚情報により示される力及びトルクの少なくとも一方の大きさ、並びに、出力シミュレータ730が推定した力及びトルクの少なくとも一方の大きさに基づいて、ワークの移送に関する異常を検出することができる。
さらに他の実施形態において、質量異常検知部762は、基準データ比較部750の比較結果に基づいて、異常を検知する。例えば、基準データ比較部750が比較した2つの値の差の絶対値が、予め定められた閾値よりも大きい場合、質量異常検知部762は、異常を検知する。
[重心の位置に関する異常の検知]
本実施形態において、重心異常検知部764は、ワークの重心の位置に関する異常を検知する。重心異常検知部764は、複数のアルゴリズムに基づいて、上記の異常を検知してよい。質重心異常検知部764は、アルゴリズム決定部542が決定したアルゴリズムに基づいて、上記の異常を検知してよい。
一実施形態において、重心異常検知部764は、登録データ比較部720の比較結果に基づいて、異常を検知する。例えば、登録データ比較部720が比較した2つの重心の位置の間の距離が、予め定められた値よりも大きい場合に、重心異常検知部764が異常を検知する。上記の異常としては、上記の異常の原因としては、ワークの識別不良、ワークの把持不良、及び、ワークの破損の少なくとも1つが例示される。
他の実施形態において、重心異常検知部764は、推定データ比較部740の比較結果に基づいて、異常を検知する。例えば、推定データ比較部740が比較した2つの重心の位置の間の距離が予め定められた値よりも大きい場合に、重心異常検知部764が異常を検知する。
さらに他の実施形態において、重心異常検知部764は、基準データ比較部750の比較結果に基づいて、異常を検知する。例えば、基準データ比較部750が比較した2つの重心の位置の間の距離が予め定められた値よりも大きい場合に、重心異常検知部764が異常を検知する。
さらに他の実施形態において、重心異常検知部764は、画像解析部520の解析結果と、出力シミュレータ730の出力とに基づいて、異常を検知する。例えば、重心異常検知部764は、画像解析部520の移送対象特定部522が特定した幾何中心の位置を示す情報を取得する。また、重心異常検知部764は、出力シミュレータ730が出力した推定情報に基づいて、ワークの重心の位置を特定する。上記の幾何中心の位置と、上記のワークの重心が対象物品の上面に投影された位置との距離が、予め定められた閾値(当該閾値は、第3閾値の一例であってよい。)よりも大きい場合に、重心異常検知部764が異常を検知する。上記の異常の原因としては、ワークの識別不良、ワークの把持不良、及び、ワークの破損の少なくとも1つが例示される。
[異常の内容の特定]
本実施形態において、異常特定部770は、検知された異常の内容を特定する。異常特定部770は、質量異常検知部762から、質量に関する異常が検知されたことを示す情報を取得する。これにより、異常特定部770は、質量に関する異常の有無を判定することができる。同様に、異常特定部770は、重心異常検知部764から、重心の位置に関する異常が検知されたことを示す情報を取得する。異常特定部770は、重心の位置に関する異常の有無を判定することができる。
また、異常特定部770は、アーム情報取得部424からロボットアーム132の状態を示す情報を取得してよい。異常特定部770は、ハンド情報取得部426からエンドエフェクタ140の状態を示す情報を取得してよい。
異常特定部770は、これらの情報に基づいて、検知された異常の内容を特定してよい。これにより、異常特定部770は、力覚情報により示される力及びトルクの少なくとも一方の大きさ、並びに、出力シミュレータ730が推定した力及びトルクの少なくとも一方の大きさに基づいて、ワークの識別不良、ワークの把持不良、及び、ワークの破損の少なくとも1つを検知することができる。
一実施形態において、質量異常検知部762及び重心異常検知部764の少なくとも一方が、登録データ比較部720の比較結果に基づいて異常を検知した場合、異常特定部770は、ワークの識別不良、ワークの把持不良、及び、ワークの破損の少なくとも1つを検知してよい。同様に、質量異常検知部762及び重心異常検知部764の少なくとも一方が、推定データ比較部740の比較結果に基づいて異常を検知した場合、異常特定部770は、ワークの識別不良、ワークの把持不良、及び、ワークの破損の少なくとも1つを検知してよい。質量異常検知部762及び重心異常検知部764の少なくとも一方が、基準データ比較部750の比較結果に基づいて異常を検知した場合、異常特定部770は、ワークの識別不良、ワークの把持不良、及び、ワークの破損の少なくとも1つを検知してよい。
他の実施形態において、異常特定部770は、アーム情報取得部424から減圧情報を取得する。また、異常特定部770は、減圧情報により示される圧力が予め定められた値より小さい場合に、減圧室312の圧力の異常を検知する。(i)減圧室312の圧力の異常が検知されておらず、質量異常検知部762が異常を検知しておらず、且つ、(ii)重心異常検知部764が異常を検出している場合、異常特定部770は、ワークの破損を検知する。
他の実施形態において、異常特定部770は、アーム情報取得部424から減圧情報を取得する。また、異常特定部770は、減圧情報により示される圧力が予め定められた値より小さい場合に、減圧室312の圧力の異常を検知する。異常特定部770は、(i)減圧室312の圧力の異常が検知されておらず、且つ、(ii)質量異常検知部762が異常を検知している場合に、ワークの破損を検知してもよい。
例えば、近年、商品の陳列を容易にすることを目的として、複数個の商品が梱包されたパッケージの一部を分離して、商品がパッケージに収容された状態で店頭に陳列される場合がある。上記のような使用態様を考慮して、その一部が容易に分離できるように構成されたパッケージも市販されている。
ロボット130が、このようなパッケージを移載する場合、当該パッケージの移送中に、当該パッケージが上下に分離したり、当該パッケージの一部が破断して当該パッケージが大きく変形したりすることが考えられる。この場合、分離又は破断したパッケージの上側の部分がエンドエフェクタ140に把持された状態で、当該パッケージが移送される。そのため、パッケージの一部が分離又は破断しても、減圧室312の圧力変動が比較的小さく、減圧室312の圧力変動に基づいてワークの破損を検知することが難しい。しかしながら、本実施形態によれば、このような場合であっても、ワークの破損を検知することができる。
さらに他の実施形態において、異常特定部770は、ハンド情報取得部426から力覚情報を取得する。異常特定部770は、力覚情報により示される力の大きさに基づいて、エンドエフェクタ140がワークを過度に押圧しているか否かを判定してよい。例えば、把持工程、載置工程及び解放工程の少なくとも1つの工程が実行されている期間において、力覚情報により示される力の大きさが予め定められた値よりも大きい場合、異常特定部770は、エンドエフェクタ140がワークを過度に押圧していると判定してよい。
さらに他の実施形態において、移送対象特定部522が特定したワークの上面の幾何中心の位置と、力覚情報に基づいて決定されたワークの重心の位置とが、予め定められた条件を満足する場合、異常特定部770は、ロボット130が、複数のパッケージ102を同時に拳上していると判定してよい。上記の条件としては、上記の幾何中心の位置と、上記のワークの重心が対象物品の上面に投影された位置との距離が、予め定められた閾値(当該閾値は、第3閾値の一例であってよい。)よりも大きいという条件であってよい。
異常検知部544は、第1検知部、第2検知部及び第3検知部の一例であってよい。登録データ比較部720は、質量情報取得部及び重心特定部の一例であってよい。出力シミュレータ730は、質量情報取得部、計画情報取得部及び力覚推定部の一例であってよい。質量異常検知部762は、第1検知部の一例であってよい。重心異常検知部764は、第2検知部及び第3検知部の一例であってよい。力覚センサ242が検出する力及びトルクの少なくとも一方の大きさは、マニピュレータの遠位端において検出される力及びトルクの少なくとも一方の大きさの一例であってよい。質量異常検知部762により検知された質量に関する異常は、力覚情報により示される対象物品の質量に関する異常の一例であってよい。重心異常検知部764により検知された重心の位置に関する異常は、力覚情報により示される対象物品の重心に関する異常の一例であってよい。減圧室312の圧力の異常は、減圧情報により示される圧力に関する異常の一例であってよい。
本実施形態においては、質量異常検知部762が質量に関する異常を検知し、重心異常検知部764が重心の位置に関する異常を検知する場合を例として、異常検知部544の詳細が説明された。しかしながら、異常検知部544は本実施形態に限定されない。他の実施形態において、登録データ比較部720が、これらの異常を検知してもよい。さらに他の実施形態において、推定データ比較部740が、これらの異常を検知してもよい。さらに他の実施形態において、基準データ比較部750が、これらの異常を検知してもよい。
図8は、変更部546の内部構成の一例を概略的に示す。本実施形態において、変更部546は、登録情報変更部820と、設定速度変更部830と、停止判定部840とを備える。
本実施形態において、登録情報変更部820は、質量異常検知部762が、登録データ比較部720の比較結果に基づいて異常を検知した場合に、商品情報格納部452に格納されたワークに対応するパッケージの質量に関する情報を更新するか否かを決定する。例えば、力覚情報に基づいて特定されるワークの質量が、商品情報格納部452に格納されたワークに対応するパッケージの質量よりも大きい場合、登録情報変更部820は、商品情報格納部452の情報を更新することを決定する。
重心異常検知部764が、登録データ比較部720の比較結果に基づいて異常を検知した場合、登録情報変更部820は、商品情報格納部452に格納されたワークに対応するパッケージの重心の位置を更新するか否かを決定してもよい。例えば、力覚情報に基づいて特定されるワークの重心の位置に関する異常が検出された場合、登録情報変更部820は、商品情報格納部452の情報を更新することを決定する。
重心異常検知部764が、登録データ比較部720の比較結果に基づいて異常を検知した場合において、移送対象特定部522が特定したワークの上面の幾何中心の位置と、力覚情報に基づいて決定されたワークの重心の位置とが、予め定められた条件を満足するとき、登録情報変更部820は、商品情報格納部452に格納されたワークに対応するパッケージの把持位置を更新するか否かを決定してもよい。上記の条件としては、上記の幾何中心の位置と、上記のワークの重心が対象物品の上面に投影された位置との距離が、予め定められた閾値(当該閾値は、第3閾値の一例であってよい。)よりも大きいという条件であってよい。
例えば、登録情報変更部820は、ワークの画像を解析して、ロボット130が複数のパッケージ102を同時に拳上しているか否かを判定する。ロボット130が複数のパッケージ102を同時に拳上していると判定された場合、登録情報変更部820は、例えば、上記の判定結果を示す情報を、停止判定部840に出力する。一方、ロボット130が複数のパッケージ102を同時に拳上していないと判定された場合、登録情報変更部820は、商品情報格納部452に格納されたワークに対応するパッケージの把持位置を更新することを決定する。登録情報変更部820は、現在の把持位置とは異なる位置であって、より適切な位置を、新たな把持位置として、商品情報格納部452に登録してよい。
本実施形態において、設定速度変更部830は、質量異常検知部762及び重心異常検知部764の少なくとも一方が異常を検知した場合に、計画情報により示されるワークの移送速度を調整するか否かを決定する。また、ワークの移送速度を調整することが決定された場合、設定速度変更部830は、移送速度の変更に関する情報(変更情報と称される場合がある。)を、制御信号出力部552に出力する。
一実施形態において、設定速度変更部830は、例えば、出力シミュレータ730を使用して、計画情報により示される計画が続行されると仮定した場合の力覚センサ242の出力をシミュレートする。設定速度変更部830は、出力シミュレータ730によるシミュレーション結果と、エンドエフェクタ140の可搬質量の上限値、及び、ワークの耐久性の上限値の少なくとも一方とに基づいて、計画情報により示される計画が続行された場合に、ワークの落下又は破損が発生するか否かを判定する。
ワークの落下又は破損が発生すると判定された場合、設定速度変更部830は、上記の判定結果を示す情報を停止判定部840に出力してよい。一方、ワークの落下又は破損が発生しないと判定された場合、設定速度変更部830は、ワークの移送速度を調整することを決定する。設定速度変更部830は、調整後のワークの移送速度が、計画情報により示される移送速度よりも小さくなるように、ワークの移送速度を調整してよい。
他の実施形態において、設定速度変更部830は、異常特定部770が特定の種類の異常を検知した場合に、計画情報により示されるワークの移送速度を調整することを決定してよい。さらに他の実施形態において設定速度変更部830は、異常特定部770が特定の種類の異常を検知していない場合に、計画情報により示されるワークの移送速度を調整することを決定してもよい。
本実施形態において、停止判定部840は、ワークの移送を停止するか否かを判定する。また、ワークの移送を停止することが決定された場合、停止判定部840は、ワークの移送が停止されることを示す情報を、警告情報出力部554に出力する。
一実施形態において、停止判定部840が、登録情報変更部820から、ロボット130が複数のパッケージ102を同時に拳上していることを示す情報を取得した場合、停止判定部840は、ワークの移送を停止することを決定する。他の実施形態において、停止判定部840が、設定速度変更部830から、計画情報により示される計画が続行されるとワークの落下又は破損が発生することを示す情報を取得した場合、停止判定部840は、ワークの移送を停止することを決定する。
図9は、移載システム100による移載処理の一例を概略的に示す。図9は、移載制御部436における情報処理の一例であってもよい。本実施形態によれば、まず、S912において、移送対象特定部522が、撮像装置160が撮像した画像に基づいて、デパレタイズ用プラットフォーム110に搭載された1以上のパッケージ102の中から、移送処理の対象となるパッケージ102(ワークと称される場合がある。)を決定する。
次に、S914において、移送対象特定部522が、商品情報格納部452にアクセスして、商品情報格納部452に登録された1以上のパッケージの中に、ワークの外観の特徴合致するパッケージが存在するか否かを確認する。例えば、商品情報格納部452には、商品又はサービスの識別情報と対応付けて、当該商品又はサービスに使用されるパッケージの外観の特徴を示す情報が格納されている。そこで、移送対象特定部522は、商品情報格納部452に対して、ワークの外観の特徴に合致するパッケージの検索を要求する。商品情報格納部452は、商品情報格納部452に格納された1以上のパッケージの外観の特徴と、ワークの外観の特徴とを比較して、同一又は類似するパッケージの商品又はサービスの識別情報を抽出する。商品情報格納部452は、抽出された商品又はサービスの識別情報を、上記の要求に対する回答として出力する。これにより、移送対象特定部522は、現在のワークの種類が、既に登録されているパッケージの種類と同一であるか否かを判定することができる。
ワークが商品情報格納部452に登録されていない場合(S914のNoの場合)、S920において、商品登録処理が実行される。具体的には、商品情報登録部440が、現在のワークの特性を示す情報を、商品情報格納部452に登録する。現在のワークの商品登録処理が完了すると、S932の処理が実行される。
一方、ワークが商品情報格納部452に登録されていた場合(S914のYesの場合)、S932において、軌道計画部530が、例えば、エンドエフェクタ140がデパレタイズ用プラットフォーム110に配されたワークを把持した後、当該ワークが荷受用プラットフォーム120の所定の位置に載置されるまでの間の、エンドエフェクタ140の軌道を計画する。本実施形態において、軌道計画部530は、エンドエフェクタ140がワークを把持した後、ロボット130が当該ワークを所定の高さまで拳上し、当該ワークが当該位置で一旦静止するように、軌道を計画する。なお、軌道計画部530は、ロボットアーム132の遠位端の軌道を計画してもよい。
また、S932において、アルゴリズム決定部542は、軌道計画部530が計画した軌道を複数のセグメントに分割して、セグメントごとに、異常検知部544が異常を検知するために利用するアルゴリズムを決定する。例えば、軌道計画部530が、図6に関連して説明された軌道600を計画した場合、アルゴリズム決定部542は、セグメントBにおいて、登録データ比較部720の比較結果に基づいて異常を検知することを決定する。アルゴリズム決定部542は、セグメントCmにおいて、基準データ比較部750の比較結果に基づいて異常を検知することを決定する。アルゴリズム決定部542は、セグメントChにおいて、推定データ比較部740の比較結果に基づいて異常を検知することを決定する。アルゴリズム決定部542は、セグメントDにおいて、基準データ比較部750の比較結果に基づいて異常を検知することを決定する。
次に、S934において、制御信号出力部552が、ロボット130の動作を制御する制御信号を生成する。制御信号出力部552は、エンドエフェクタ140が軌道計画部530により計画された軌道に沿って移動するように、ロボットアーム132に含まれる複数の関節のそれぞれの角度の経時変化を決定する。制御信号出力部552は、ロボットアーム132に含まれる複数の関節のそれぞれの角度を調整するための複数のモータ232の動作を制御するための制御信号を生成する。制御信号出力部552は、生成された制御信号を、駆動制御部134に送信する。これにより、ワークの移送処理が開始される。
次に、S936において、登録データ比較部720が、(i)商品情報格納部452に登録された、ワークに対応するパッケージの特性に関する情報と、(ii)ワークに関する実際の計測データに基づいて決定されるワークの特性に関する情報とを比較する。両者が整合する場合、異常検知部544は異常を検知しない。一方、両者が整合しない場合、異常検知部544が異常を検知する。上述されたとおり、本実施形態において、ワークが所定の位置で一旦静止する。そこで、登録データ比較部720は、ワークが静止している間に、両者を比較することが好ましい。
異常検知部544が異常を検知した場合(S936のNoの場合)、S940において計画変更処理が実行される。具体的には、変更部546が、軌道計画部530の計画を変更したり、商品情報格納部452を更新したりすることを決定する。変更部546が、軌道計画部530の計画を変更することを決定した場合、変更部546は、当該変更の内容を示す情報を、制御信号出力部552に送信する。制御信号出力部552は、上記の変更の内容に合致するように、制御信号を生成する。制御信号出力部552は、生成された制御信号を駆動制御部134に送信する。計画変更処理が完了すると、S952の処理が実行される。
一方、異常検知部544が異常を検知しなかった場合(S936のNoの場合)、ワークの移送処理が継続される。その後、S952において、ワークが軌道600のセグメントChに沿って移動する間、異常検知部544は、推定データ比較部740の比較結果に基づいて異常を検知する。
異常検知部544が異常を検知した場合(S954のYesの場合)、例えば、S960において、停止処理が実行される。具体的には、停止判定部840が、ワークの移送を停止することを決定し、ワークの移送が停止されることを示す情報を、警告情報出力部554に出力する。警告情報出力部554は、異常の発生に伴い、ワークの移送が停止されることを示す情報を、オペレータに通知する。その後、ワークの移送処理が終了する。
一方、異常検知部544が異常を検知しなかった場合(S954のNoの場合)、S956において、異常検知部544は、ワークの移送が完了したか否かを判定する。ワークの移送が完了していないと判定された場合(S956のNoの場合)、S952の処理が繰り返される。一方、ワークの移送が完了したと判定された場合(S956のYesの場合)、ワークの移送処理が終了する。
図10は、本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ3000の一例を示す。移載システム100の一部は、コンピュータ3000により実現されてよい。例えば、駆動制御部134、及び、移載制御装置150の少なくとも一方が、コンピュータ3000により実現される。
コンピュータ3000にインストールされたプログラムは、コンピュータ3000に、本発明の実施形態に係る装置に関連付けられるオペレーション又は当該装置の1又は複数の「部」として機能させ、又は当該オペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ3000に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ3000に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU3012によって実行されてよい。
本実施形態によるコンピュータ3000は、CPU3012、RAM3014、グラフィックコントローラ3016、及びディスプレイデバイス3018を含み、それらはホストコントローラ3010によって相互に接続されている。コンピュータ3000はまた、通信インターフェース3022、ハードディスクドライブ3024、DVD−ROMドライブ3026、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ3020を介してホストコントローラ3010に接続されている。コンピュータはまた、ROM3030及びキーボード3042のようなレガシの入出力ユニットを含み、それらは入出力チップ3040を介して入出力コントローラ3020に接続されている。
CPU3012は、ROM3030及びRAM3014内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ3016は、RAM3014内に提供されるフレームバッファ等又はそれ自体の中に、CPU3012によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス3018上に表示されるようにする。
通信インターフェース3022は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ3024は、コンピュータ3000内のCPU3012によって使用されるプログラム及びデータを格納する。DVD−ROMドライブ3026は、プログラム又はデータをDVD−ROM3001から読み取り、ハードディスクドライブ3024にRAM3014を介してプログラム又はデータを提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM3030はその中に、アクティブ化時にコンピュータ3000によって実行されるブートプログラム等、及び/又はコンピュータ3000のハードウエアに依存するプログラムを格納する。入出力チップ3040はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ3020に接続してよい。
プログラムが、DVD−ROM3001又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもあるハードディスクドライブ3024、RAM3014、又はROM3030にインストールされ、CPU3012によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ3000に読み取られ、プログラムと、上記様々なタイプのハードウエアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ3000の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ3000及び外部デバイス間で実行される場合、CPU3012は、RAM3014にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェース3022に対し、通信処理を命令してよい。通信インターフェース3022は、CPU3012の制御の下、RAM3014、ハードディスクドライブ3024、DVD−ROM3001、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU3012は、ハードディスクドライブ3024、DVD−ROMドライブ3026(DVD−ROM3001)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM3014に読み取られるようにし、RAM3014上のデータに対し様々なタイプの処理を実行してよい。CPU3012は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU3012は、RAM3014から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM3014に対しライトバックする。また、CPU3012は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU3012は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ3000上又はコンピュータ3000近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それにより、上記のプログラムを、ネットワークを介してコンピュータ3000に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。また、各構成要素は、名称が同一で、参照符号が異なる他の構成要素と同様の特徴を有してもよい。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置のセグメントを表わしてよい。特定の段階およびセグメントが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および/またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび/またはアナログハードウェア回路を含んでよく、集積回路(IC)および/またはディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
100 移載システム、102 パッケージ、110 デパレタイズ用プラットフォーム、120 荷受用プラットフォーム、130 ロボット、132 ロボットアーム、134 駆動制御部、140 エンドエフェクタ、150 移載制御装置、160 撮像装置、180 センサ、190 センサ、232 モータ、234 エンコーダ、242 力覚センサ、246 把持部材、310 本体、312 減圧室、314 接続部材、320 吸着パット、330 バルブ、340 吸気配管、422 画像データ取得部、424 アーム情報取得部、426 ハンド情報取得部、432 入出力制御部432、434 撮像制御部、436 移載制御部、440 商品情報登録部、450 格納部、452 商品情報格納部、454 ワーク情報格納部、456 モデル情報格納部、458 設定情報格納部、520 画像解析部、522 移送対象特定部、524 把持態様決定部、530 軌道計画部、542 アルゴリズム決定部、544 異常検知部、546 変更部、552 制御信号出力部、554 警告情報出力部、600 軌道、610 待機位置、620 把持位置、622 移送準備位置、624 載置準備位置、630 解放位置、720 登録データ比較部、730 出力シミュレータ、740 推定データ比較部、750 基準データ比較部、762 質量異常検知部、764 重心異常検知部、770 異常特定部、820 登録情報変更部、830 設定速度変更部、840 停止判定部、3000 コンピュータ、3001 DVD−ROM、3010 ホストコントローラ、3012 CPU、3014 RAM、3016 グラフィックコントローラ、3018 ディスプレイデバイス、3020 入出力コントローラ、3022 通信インターフェース、3024 ハードディスクドライブ、3026 DVD−ROMドライブ、3030 ROM、3040 入出力チップ、3042 キーボード

Claims (17)

  1. マニピュレータによる移送の対象となる対象物品が移送されている期間中に、前記マニピュレータの遠位端における力及びトルクの少なくとも一方の大きさを示す力覚情報を取得する力覚情報取得部と、
    前記対象物品の質量として予め定められた値を示す質量情報を取得する質量情報取得部と、
    前記マニピュレータの前記遠位端、及び、前記遠位端に配されて前記対象物品を把持するための把持部の少なくとも一方の軌道に関する計画の内容を示す計画情報を取得する計画情報取得部と、
    前記質量情報及び前記計画情報に基づいて、前記マニピュレータが前記対象物品を移送した場合に、前記マニピュレータの前記遠位端において検出される力及びトルクの少なくとも一方の大きさを推定する力覚推定部と、
    前記力覚情報により示される前記力及びトルクの少なくとも一方の大きさ、並びに、前記力覚推定部が推定した前記力及びトルクの少なくとも一方の大きさに基づいて、前記対象物品の移送に関する異常を検知する第1検知部と、
    を備える、制御装置。
  2. 前記力覚情報は、前記マニピュレータの前記遠位端における力及びトルクの少なくとも一方の大きさ及び方向を示し、
    前記力覚推定部は、前記マニピュレータの前記遠位端における力及びトルクの少なくとも一方の大きさ及び方向を推定し、
    前記第1検知部は、前記力覚情報により示される前記力及びトルクの少なくとも一方の大きさ及び方向、並びに、前記力覚推定部が推定した前記力及びトルクの少なくとも一方の大きさ及び方向に基づいて、前記対象物品の移送に関する異常を検出する、
    請求項1に記載の制御装置。
  3. 前記第1検知部は、前記力覚情報により示される前記力及びトルクの少なくとも一方の大きさと、前記力覚推定部が推定した前記力及びトルクの少なくとも一方の大きさとの差の絶対値が、第1閾値よりも大きい場合に、前記異常を検知する、
    請求項1又は請求項2に記載の制御装置。
  4. 前記第1検知部は、前記力覚情報により示される前記力及びトルクの少なくとも一方の大きさと、前記力覚推定部が推定した前記力及びトルクの少なくとも一方の大きさとの差の絶対値が第1閾値よりも大きな状態の継続期間の長さが、第2閾値よりも大きい場合に、前記異常を検知する、
    請求項1又は請求項2に記載の制御装置。
  5. 前記第1閾値は、前記力覚情報取得部による前記力覚情報の取得に関する遅延時間の長さが大きいほど前記第1閾値が大きくなるように、決定される、
    請求項3又は請求項4に記載の制御装置。
  6. 前記力覚情報は、複数の時刻を示す情報と、各時刻における前記遠位端における力及びトルクの少なくとも一方の大きさを示す情報とを含み、
    前記計画情報は、前記対象物品が前記軌道上の基準位置を通過してからの複数の経過時間を示す情報と、各経過時間における前記マニピュレータに含まれる複数の関節のそれぞれの角度を示す情報とを含み、
    前記力覚推定部は、
    前記計画情報に基づいて、前記複数の経過時間のそれぞれにおける、前記遠位端において検出される力及びトルクの少なくとも一方の大きさを推定し、
    前記複数の経過時間のそれぞれと、前記推定された力及びトルクの少なくとも一方の大きさとが対応付けられた推定情報を出力し、
    前記第1検知部は、
    前記力覚情報に含まれる前記複数の時刻を示す情報と、前記推定情報に含まれる前記複数の経過時間のそれぞれを示す情報とに基づいて、前記力覚情報に含まれる前記力及びトルクの少なくとも一方の大きさを示す情報と、前記推定情報に含まれる前記力及びトルクの少なくとも一方の大きさを示す情報とを対応付け、
    対応付けられた前記力覚情報に含まれる前記力及びトルクの少なくとも一方の大きさを示す情報、及び、前記推定情報に含まれる前記力及びトルクの少なくとも一方の大きさを示す情報に基づいて、前記対象物品の移送に関する異常を検知する、
    請求項1から請求項5までの何れか一項に記載の制御装置。
  7. 前記マニピュレータに含まれる複数の関節のそれぞれの角度を示す角度情報を取得する角度情報取得部をさらに備え、
    前記角度情報は、複数の時刻を示す情報と、各時刻における前記複数の関節のそれぞれの角度を示す情報とを含み、
    前記力覚情報は、複数の時刻を示す情報と、各時刻における前記遠位端における力及びトルクの少なくとも一方の大きさを示す情報とを含み、
    前記力覚推定部は、
    前記計画情報に基づいて、前記軌道上の複数の位置のそれぞれにおける前記複数の関節のそれぞれの角度を決定し、
    前記軌道上の複数の位置のそれぞれにおける、前記遠位端において検出される力及びトルクの少なくとも一方の大きさを推定し、
    前記複数の関節のそれぞれの角度と、前記推定された力及びトルクの少なくとも一方の大きさとが対応付けられた推定情報を出力し、
    前記第1検知部は、
    前記角度情報及び前記力覚情報のそれぞれに含まれる前記複数の時刻を示す情報に基づいて、前記複数の関節のそれぞれの角度を示す情報と、前記遠位端における力及びトルクの少なくとも一方の大きさを示す情報とを対応付け、
    前記複数の関節のそれぞれの角度を示す情報に基づいて、前記力覚情報に含まれる前記力及びトルクの少なくとも一方の大きさを示す情報と、前記推定情報に含まれる前記力及びトルクの少なくとも一方の大きさを示す情報とを対応付け、
    対応付けられた前記力覚情報に含まれる前記力及びトルクの少なくとも一方の大きさを示す情報、及び、前記推定情報に含まれる前記力及びトルクの少なくとも一方の大きさを示す情報に基づいて、前記対象物品の移送に関する異常を検知する、
    請求項1から請求項5までの何れか一項に記載の制御装置。
  8. 前記対象物品の移送に関する異常は、前記対象物品の識別不良、前記対象物品の把持不良、前記対象物品の落下、前記対象物品の破損、及び、前記対象物品の衝突の少なくとも1つである、
    請求項1から請求項7までの何れか一項に記載の制御装置。
  9. 前記把持部に配された減圧室の内部の圧力の大きさを示す減圧情報を取得する減圧情報取得部をさらに備え、
    前記第1検知部は、(i)前記減圧情報により示される圧力に関する異常、及び、前記力覚情報により示される前記対象物品の質量に関する異常が検知されず、且つ、(ii)前記力覚情報により示される前記対象物品の重心に関する異常が検知された場合に、前記対象物品の破損を検知する、
    請求項1から請求項8までの何れか一項に記載の制御装置。
  10. 前記対象物品が前記マニピュレータに把持される前の時点における前記対象物品の画像データを取得する画像情報取得部と、
    前記画像データに基づいて、前記対象物品の重心の位置を推定する重心推定部と、
    前記把持部による前記対象物品の把持位置を決定する把持位置決定部と、
    をさらに備え、
    前記力覚推定部は、前記質量情報により示される前記対象物品の質量と、前記重心推定部が推定した前記対象物品の重心の位置と、前記把持位置決定部が決定した前記把持位置とに基づいて、前記把持部が、前記対象物品の前記把持位置を把持して、前記対象物品を拳上した場合に、前記遠位端において検出される力及びトルクの少なくとも一方の大きさを推定し、
    前記第1検知部は、前記力覚情報により示される前記力及びトルクの少なくとも一方の大きさ、並びに、前記力覚推定部が推定した前記力及びトルクの少なくとも一方の大きさに基づいて、前記対象物品の識別不良、前記対象物品の把持不良、及び、前記対象物品の破損の少なくとも1つを検知する、
    請求項1から請求項9までの何れか一項に記載の制御装置。
  11. 前記対象物品が前記マニピュレータに把持される前の時点における前記対象物品の画像データを取得する画像情報取得部と、
    前記画像データに基づいて、前記対象物品の上面の幾何中心の位置を特定する幾何中心特定部と、
    前記把持部による前記対象物品の把持位置を決定する把持位置決定部と、
    (i)前記把持部が、前記対象物品の前記把持位置を把持して、前記対象物品を拳上した場合に、前記力覚情報により示される前記力及びトルクの少なくとも一方の大きさ、並びに、(ii)前記対象物品の前記把持位置に基づいて、前記対象物品の重心の位置を特定する重心特定部と、
    前記対象物品の前記上面の前記幾何中心の位置と、前記対象物品の重心が前記対象物品の前記上面に投影された位置との距離が、第3閾値よりも大きい場合に、前記対象物品の識別不良、前記対象物品の把持不良、及び、前記対象物品の破損の少なくとも1つを検知する第2検知部と、
    をさらに備える、
    請求項1から請求項9までの何れか一項に記載の制御装置。
  12. 前記対象物品が前記マニピュレータに把持される前の時点における前記対象物品の画像データを取得する画像情報取得部と、
    前記画像データに基づいて、前記対象物品の上面の幾何中心の位置を特定する幾何中心特定部と、
    前記把持部による前記対象物品の把持位置を決定する把持位置決定部と、
    (i)前記把持部が、前記対象物品の前記把持位置を把持して、前記対象物品を拳上した場合に、前記力覚情報により示される前記力及びトルクの少なくとも一方の大きさ、並びに、(ii)前記対象物品の前記把持位置に基づいて、前記対象物品の重心の位置を特定する重心特定部と、
    をさらに備え、
    前記把持位置決定部は、前記対象物品の前記上面の前記幾何中心の位置と、前記対象物品の重心が前記対象物品の前記上面に投影された位置との距離が、第3閾値よりも大きい場合に、前記対象物品の前記把持位置としてより適切な位置を決定する、
    請求項1から請求項9までの何れか一項に記載の制御装置。
  13. (i)前記把持部が前記対象物品を拳上した場合に、前記力覚情報により示される前記力及びトルクの少なくとも一方の大きさに基づいて決定される前記対象物品の質量と、(ii)前記質量情報により示される前記対象物品の質量との差の絶対値が、第4閾値よりも大きい場合に、前記対象物品の識別不良、前記対象物品の把持不良、及び、前記対象物品の破損の少なくとも1つを検知する第3検知部をさらに備える、
    請求項1から請求項12までの何れか一項に記載の制御装置。
  14. 前記第1検知部が前記異常を検知した場合に、前記対象物品の移送速度を調整することを決定する調整部をさらに備える、
    請求項1から請求項13までの何れか一項に記載の制御装置。
  15. 請求項1から請求項14までの何れか一項に記載の制御装置と、
    前記マニピュレータと、
    を備える、移送装置。
  16. コンピュータを、請求項1から請求項14までの何れか一項に記載の制御装置として機能させるためのプログラム。
  17. マニピュレータによる移送の対象となる対象物品が移送されている期間中に、前記マニピュレータの遠位端における力及びトルクの少なくとも一方の大きさを示す力覚情報を取得する力覚情報取得段階と、
    前記対象物品の質量として予め定められた値を示す質量情報を取得する質量情報取得段階と、
    前記マニピュレータの前記遠位端、及び、前記遠位端に配されて前記対象物品を把持するための把持部の少なくとも一方の軌道に関する計画の内容を示す計画情報を取得する計画情報取得段階と、
    前記質量情報及び前記計画情報に基づいて、前記対象物品が移送される場合に、前記マニピュレータの前記遠位端において検出される力及びトルクの少なくとも一方の大きさを推定する力覚推定段階と、
    前記力覚情報により示される前記力及びトルクの少なくとも一方の大きさ、並びに、前記力覚推定段階において推定された前記力及びトルクの少なくとも一方の大きさに基づいて、前記対象物品の移送に関する異常を検知する第1検知段階と、
    を有する、制御方法。
JP2019175477A 2018-10-30 2019-09-26 制御装置、移送装置、プログラム、及び、制御方法 Active JP6632106B1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010451622.1A CN111571593B (zh) 2018-10-30 2019-10-30 控制装置、输送装置、记录介质以及控制方法
DE112019000170.1T DE112019000170B4 (de) 2018-10-30 2019-10-30 Steuerungssystem, Transportvorrichtung, Programm und Steuerungsverfahren
PCT/JP2019/042671 WO2020090933A1 (ja) 2018-10-30 2019-10-30 制御装置、移送装置、プログラム、及び、制御方法
CN201980004256.0A CN111386180A (zh) 2018-10-30 2019-10-30 控制装置、输送装置、程序以及控制方法
US16/882,518 US11247341B2 (en) 2018-10-30 2020-05-24 Control apparatus, transport apparatus, computer readable storage medium, and control method
US17/573,755 US20220134572A1 (en) 2018-10-30 2022-01-12 Control apparatus, transport apparatus, computer readable storage medium, and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862752756P 2018-10-30 2018-10-30
US62/752,756 2018-10-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019221339A Division JP2020069640A (ja) 2018-10-30 2019-12-06 制御装置、移送装置、プログラム、及び、制御方法

Publications (2)

Publication Number Publication Date
JP6632106B1 true JP6632106B1 (ja) 2020-01-15
JP2020069637A JP2020069637A (ja) 2020-05-07

Family

ID=67477591

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019175477A Active JP6632106B1 (ja) 2018-10-30 2019-09-26 制御装置、移送装置、プログラム、及び、制御方法
JP2019221339A Pending JP2020069640A (ja) 2018-10-30 2019-12-06 制御装置、移送装置、プログラム、及び、制御方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019221339A Pending JP2020069640A (ja) 2018-10-30 2019-12-06 制御装置、移送装置、プログラム、及び、制御方法

Country Status (5)

Country Link
US (8) US10369701B1 (ja)
JP (2) JP6632106B1 (ja)
CN (2) CN111386180A (ja)
DE (1) DE112019000170B4 (ja)
WO (1) WO2020090933A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021128456A (ja) * 2020-02-12 2021-09-02 株式会社ダイフク 物品判別システム

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITUB20160440A1 (it) * 2016-01-28 2017-07-28 Unitec Spa Gruppo di trasferimento di prodotti ortofrutticoli, e relativo procedimento.
JP7040147B2 (ja) * 2018-03-09 2022-03-23 セイコーエプソン株式会社 制御装置、ロボット、ロボットシステム,及び、物体を認識する方法
WO2020091846A1 (en) 2018-10-30 2020-05-07 Mujin, Inc. Automated package registration systems, devices, and methods
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
DE102018132907A1 (de) * 2018-12-19 2020-06-25 Martin Bergmann System zum Aufnehmen, Fördern und Abgeben eines Produkts sowie Verfahren zum Steuern eines solchen Systems
US11046519B2 (en) 2019-02-25 2021-06-29 Rehrig Pacific Company Delivery system
US11312025B2 (en) * 2019-04-02 2022-04-26 Ford Global Technologies, Llc Robotic arm with a detachable and mobile end-effector
EP3959050B1 (en) 2019-04-25 2024-04-17 Berkshire Grey Operating Company, Inc. System and method for maintaining vacuum hose life in hose routing systems in programmable motion systems
US10565737B1 (en) 2019-07-09 2020-02-18 Mujin, Inc. Method and system for performing automatic camera calibration for a scanning system
US11389965B2 (en) * 2019-07-26 2022-07-19 Mujin, Inc. Post-detection refinement based on edges and multi-dimensional corners
CN111191083B (zh) * 2019-09-23 2021-01-01 牧今科技 用于对象标识的方法和计算系统
US10614340B1 (en) 2019-09-23 2020-04-07 Mujin, Inc. Method and computing system for object identification
US10625952B1 (en) * 2019-10-18 2020-04-21 Grey Orange Pte. Ltd. Induction station for conveying packages in storage facility
CA3170703A1 (en) 2020-02-06 2021-08-12 Berkshire Grey Operating Company, Inc. Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device
US20210247753A1 (en) * 2020-02-07 2021-08-12 Kabushiki Kaisha Yaskawa Denki State estimation device, system, and manufacturing method
US11922253B2 (en) 2020-04-20 2024-03-05 Rehrig Pacific Company Camera enabled portal
EP3909872A1 (de) * 2020-05-12 2021-11-17 Uhlmann Pac-Systeme GmbH & Co. KG Verfahren und anordnung zum übergeben von produkten
JP2022006841A (ja) * 2020-06-25 2022-01-13 株式会社日立製作所 ロボット制御システム
JP2022049269A (ja) * 2020-09-16 2022-03-29 セイコーエプソン株式会社 三次元形状計測方法および三次元形状計測装置
EP4217151A1 (en) * 2020-09-23 2023-08-02 Dexterity, Inc. Velocity control-based robotic system
CN112338898B (zh) * 2020-10-09 2022-02-15 中国矿业大学(北京) 物体分选系统的图像处理方法、装置及物体分选系统
CN112318485B (zh) * 2020-10-09 2022-03-15 中国矿业大学(北京) 物体分选系统及其图像处理方法、装置
CN112123342B (zh) * 2020-11-25 2021-03-23 清华大学 一种机器人系统以及测控方法
JP7405730B2 (ja) * 2020-11-26 2023-12-26 株式会社日立製作所 軌道計画装置、軌道計画方法、及び軌道計画プログラム
CN112871682B (zh) * 2020-12-08 2022-10-04 梅卡曼德(上海)机器人科技有限公司 快递供包系统、方法、设备及存储介质
DE102021106990A1 (de) 2021-03-22 2022-09-22 Ferrobotics Compliant Robot Technology Gmbh Kraftgeregelte Handhabungsvorrichtung für die robotergestützte Oberflächenbearbeitung
CN113060552A (zh) * 2021-03-30 2021-07-02 广东韶钢松山股份有限公司 冷钢料收集方法及装置
WO2022245842A1 (en) * 2021-05-18 2022-11-24 Mujin, Inc A robotic system for object size measurement
US20230001573A1 (en) * 2021-07-01 2023-01-05 Intelligrated Headquarters, Llc Methods, apparatuses, and systems for dynamically retrieving objects
US20230025647A1 (en) 2021-07-23 2023-01-26 Mujin, Inc. Robotic system with object update mechanism and methods for operating the same
WO2023023366A1 (en) * 2021-08-19 2023-02-23 Rehrig Pacific Company Imaging system with unsupervised learning
KR102564215B1 (ko) * 2021-10-22 2023-08-04 현대위아 주식회사 갠트리 로더를 제어하는 공작기계 제어장치 및 그 방법
CA3181434A1 (en) 2021-11-01 2023-05-01 Rehrig Pacific Company Delivery system
CN114535143A (zh) * 2022-01-27 2022-05-27 阿丘机器人科技(苏州)有限公司 物流货物拣选方法、装置、设备及存储介质
CN117381773A (zh) * 2023-10-14 2024-01-12 广州市西克传感器有限公司 一种基于视觉的白车身定位系统

Family Cites Families (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907169A (en) 1987-09-30 1990-03-06 International Technical Associates Adaptive tracking vision and guidance system
JP2894449B2 (ja) 1989-04-07 1999-05-24 株式会社ダイフク カメラ使用の自動移載装置
JP2687030B2 (ja) 1990-02-09 1997-12-08 株式会社ダイフク ロボット使用の自動移載装置
JPH03277739A (ja) 1990-03-28 1991-12-09 Nippon Steel Corp プレス成形時の耐バリ性の優れた高r値複合鋼板およびその製造方法
JPH06171760A (ja) 1992-12-02 1994-06-21 Mitsubishi Electric Corp デパレタイズ方法
JPH0753054A (ja) 1993-08-10 1995-02-28 Mitsubishi Electric Corp 自動荷卸し装置
JP3063487B2 (ja) 1993-09-27 2000-07-12 村田機械株式会社 パレタイズパターン認識装置
JPH07291450A (ja) 1994-04-26 1995-11-07 Kawasaki Heavy Ind Ltd インテリジェントパレタイズシステム
IT1275664B1 (it) 1994-11-16 1997-10-17 Consorzio Telerobot Sistema per il controlllo e guida automatica di un gruppo elevatore a forche
JP3277739B2 (ja) 1995-01-27 2002-04-22 三菱電機株式会社 産業用ロボット
JP2921496B2 (ja) 1996-07-15 1999-07-19 三菱電機株式会社 画像処理装置および物体移載装置
US5908283A (en) * 1996-11-26 1999-06-01 United Parcel Service Of Americia, Inc. Method and apparatus for palletizing packages of random size and weight
JPH114988A (ja) 1997-06-17 1999-01-12 Eiji Matsui ミシンのルーパー機構
JP3165087B2 (ja) * 1997-09-30 2001-05-14 株式会社不二越 産業用ロボットの故障検出方法
SE513174C2 (sv) 1998-10-22 2000-07-24 Abb Ab Förfarande för hantering av containrar samt anordning för utförande av förfarandet
DE10080012B4 (de) 1999-03-19 2005-04-14 Matsushita Electric Works, Ltd., Kadoma Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens
JP2001058723A (ja) 1999-08-20 2001-03-06 Amada Co Ltd 板材加工機における製品搬出方法及びその装置
JP2001072247A (ja) 1999-09-06 2001-03-21 Murata Mach Ltd 搬送システム
JP3596434B2 (ja) 2000-06-30 2004-12-02 株式会社ダイフク 物品位置認識装置
JP4756618B2 (ja) * 2001-03-21 2011-08-24 株式会社ダイヘン 多関節ロボットにおける衝突検出・停止制御法
JP3849514B2 (ja) 2001-12-10 2006-11-22 株式会社ダイフク 物品位置認識装置
JP2003237943A (ja) 2002-02-12 2003-08-27 Rengo Co Ltd 段ボールケース束のデパレタイジング装置
US7085622B2 (en) 2002-04-19 2006-08-01 Applied Material, Inc. Vision system
JP3768174B2 (ja) * 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
DE10317855A1 (de) 2003-04-16 2004-11-18 Rkb Reparatur- Und Karosseriebau Gmbh Verfahren und Einrichtung zum Verteilen von Paketen o. dgl. Beförderungsgütern
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
KR100657915B1 (ko) 2004-11-26 2006-12-14 삼성전자주식회사 코너 검출 방법 및 코너 검출 장치
JP2006300929A (ja) 2005-03-22 2006-11-02 Jfe Engineering Kk 物体の3次元位置認識装置およびデパレタイズシステム
CN1718152A (zh) * 2005-06-29 2006-01-11 中国科学院合肥物质科学研究院 体内探测器外磁场驱动装置及方法
JP2007097057A (ja) 2005-09-30 2007-04-12 Brother Ind Ltd サーバ装置、機器情報提供方法、プログラム、ネットワークシステム、及び、機器共用化方法
JP4087874B2 (ja) 2006-02-01 2008-05-21 ファナック株式会社 ワーク取り出し装置
JP4911341B2 (ja) 2006-03-24 2012-04-04 株式会社ダイフク 物品移載装置
US20090028686A1 (en) 2007-07-23 2009-01-29 Abb Inc. Robotic palletizing system
JP4335286B2 (ja) * 2008-02-08 2009-09-30 ファナック株式会社 部品保護機能を備えたロボット制御装置及びロボット制御方法
JP4565023B2 (ja) 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
DE102009011300B4 (de) * 2009-03-02 2022-08-11 Kuka Roboter Gmbh Beladung von Lademitteln mit Paketen mittels Manipulator
JP5429614B2 (ja) 2009-04-16 2014-02-26 株式会社Ihi 箱状ワーク認識装置および方法
US8508590B2 (en) 2010-03-02 2013-08-13 Crown Equipment Limited Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion
US8538577B2 (en) 2010-03-05 2013-09-17 Crown Equipment Limited Method and apparatus for sensing object load engagement, transportation and disengagement by automated vehicles
FI20105732A0 (fi) 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
US9796540B1 (en) 2010-06-30 2017-10-24 Thiele Technologies System and method for robotic palletization of packages susceptible to package-to-package dimensional creep
DE112011103794B4 (de) 2010-11-17 2019-01-24 Mitsubishi Electric Corporation Aufnehmervorrichtung für Werkstücke
JP5803189B2 (ja) * 2011-03-23 2015-11-04 セイコーエプソン株式会社 ロボット装置
US9129277B2 (en) 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
US9367770B2 (en) 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US10474858B2 (en) 2011-08-30 2019-11-12 Digimarc Corporation Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
JP5383760B2 (ja) * 2011-09-09 2014-01-08 ファナック株式会社 ワーク質量測定機能を備えたロボット
JP5510841B2 (ja) 2011-12-22 2014-06-04 株式会社安川電機 ロボットシステム及び仕分け済み物品の製造方法
US9067744B2 (en) 2011-10-17 2015-06-30 Kabushiki Kaisha Yaskawa Denki Robot system, robot, and sorted article manufacturing method
CN102616578A (zh) 2011-11-18 2012-08-01 上海沃迪自动化装备股份有限公司 多功能机器人码垛系统
JP2013193158A (ja) * 2012-03-19 2013-09-30 Ishida Co Ltd 産業用ロボット
JP5807604B2 (ja) * 2012-04-03 2015-11-10 トヨタ自動車株式会社 制御装置、制御方法及びロボット
JP5469216B2 (ja) 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
DE102012015975A1 (de) * 2012-08-11 2013-03-21 Daimler Ag Verfahren zum Betreiben eines Sicherheitssystems für eine Produktionsstation und Sicherheitssystem für eine Produktionsstation
US9238304B1 (en) 2013-03-15 2016-01-19 Industrial Perception, Inc. Continuous updating of plan for robotic object manipulation based on received sensor data
JP5945968B2 (ja) 2013-09-03 2016-07-05 株式会社安川電機 ロボットハンド、ロボットシステム、及び物品のデパレタイズ方法
JP5897532B2 (ja) 2013-11-05 2016-03-30 ファナック株式会社 三次元空間に置かれた物品をロボットで取出す装置及び方法
CA3114789C (en) 2014-01-22 2021-12-07 Symbotic Canada Ulc Vision-assisted robotized depalletizer
CN103822594A (zh) 2014-02-28 2014-05-28 华南理工大学 一种基于激光传感器和机器人的工件扫描成像方法
KR102081139B1 (ko) 2014-03-12 2020-02-25 한국전자통신연구원 물체 피킹 시스템, 물체 검출 장치 및 그 방법
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US9205558B1 (en) 2014-07-16 2015-12-08 Google Inc. Multiple suction cup control
US9272417B2 (en) 2014-07-16 2016-03-01 Google Inc. Real-time determination of object metrics for trajectory planning
JP5906506B1 (ja) * 2014-09-12 2016-04-20 株式会社国際電気通信基礎技術研究所 アクチュエータ装置、パワーアシストロボットおよびヒューマノイドロボット
JP5926346B2 (ja) * 2014-09-25 2016-05-25 ファナック株式会社 人間協調ロボットシステム
JP5927284B1 (ja) * 2014-12-22 2016-06-01 ファナック株式会社 人との接触力を検出してロボットを停止させるロボット制御装置
JP6486114B2 (ja) 2015-01-16 2019-03-20 株式会社東芝 荷役装置
US9486921B1 (en) 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
US20160302521A1 (en) 2015-04-16 2016-10-20 Brian George Rennex Substantial energy return shoe with optimal low-impact springs and tuned gear change
JP6461712B2 (ja) 2015-05-28 2019-01-30 株式会社東芝 荷役装置及びその動作方法
KR101684535B1 (ko) * 2015-06-19 2016-12-08 현대자동차 주식회사 하이브리드 차량의 토크 저감 제어 장치 및 방법
US11010816B2 (en) 2015-08-27 2021-05-18 Imflux Inc Methods of selecting thermoplastic materials for use with plastic article forming apparatuses that control melt flow
US20170057148A1 (en) 2015-08-27 2017-03-02 Imflux Inc Plastic article forming apparatuses and methods for controlling melt flow
JP6466297B2 (ja) 2015-09-14 2019-02-06 株式会社東芝 対象物検出装置、方法及びデパレタイズ自動化装置並びに梱包箱
JP6711591B2 (ja) 2015-11-06 2020-06-17 キヤノン株式会社 ロボット制御装置およびロボット制御方法
ES2929729T3 (es) 2015-11-13 2022-12-01 Berkshire Grey Operating Company Inc Sistemas de clasificación para proporcionar clasificación de una variedad de objetos
US10370201B2 (en) 2015-11-13 2019-08-06 Kabushiki Kaisha Toshiba Transporting apparatus and transporting method
JP6710622B2 (ja) 2015-11-13 2020-06-17 株式会社東芝 搬送装置および搬送方法
JP6298035B2 (ja) 2015-12-17 2018-03-20 ファナック株式会社 モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置
US10124489B2 (en) 2016-02-26 2018-11-13 Kinema Systems Inc. Locating, separating, and picking boxes with a sensor-guided robot
JP6690300B2 (ja) 2016-02-26 2020-04-28 村田機械株式会社 スタッカクレーン
CN105817430B (zh) 2016-03-29 2017-12-29 常熟理工学院 基于机器视觉的产品检测方法
CN106063998B (zh) 2016-04-13 2018-03-06 段炼 一种单罐内转动mvr系统
JP2018027581A (ja) * 2016-08-17 2018-02-22 株式会社安川電機 ピッキングシステム
WO2018053430A1 (en) 2016-09-16 2018-03-22 Carbon Robotics, Inc. System and calibration, registration, and training methods
JP6316909B1 (ja) * 2016-11-10 2018-04-25 ファナック株式会社 協働動作領域を有するロボットシステム
US20180198983A1 (en) 2017-01-06 2018-07-12 Olympus Corporation Image pickup apparatus, image pickup system, image pickup method, image pickup program, and display apparatus for image pickup
JP2018144155A (ja) 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN106886165A (zh) 2017-03-10 2017-06-23 深圳市唯特视科技有限公司 一种基于模拟器的机械手抓取和操纵方法
JP6444499B1 (ja) 2017-04-04 2018-12-26 株式会社Mujin 制御装置、ピッキングシステム、物流システム、プログラム、及び、制御方法
US10328578B2 (en) 2017-04-21 2019-06-25 X Development Llc Methods and systems for detecting, recognizing, and localizing pallets
JP6904106B2 (ja) 2017-06-27 2021-07-14 村田機械株式会社 ピッキングシステム
US10471597B1 (en) 2017-11-01 2019-11-12 Amazon Technologies, Inc. Adaptive perception for industrial robotic systems
US10346987B1 (en) * 2017-12-29 2019-07-09 Datalogic Usa, Inc. Locating objects on surfaces
JP6748126B2 (ja) * 2018-02-08 2020-08-26 ファナック株式会社 作業ロボットシステム
JP7065632B2 (ja) 2018-02-13 2022-05-12 Kyoto Robotics株式会社 箱状物ピッキング装置及びその方法
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
WO2020091846A1 (en) 2018-10-30 2020-05-07 Mujin, Inc. Automated package registration systems, devices, and methods
US11023763B2 (en) 2019-03-19 2021-06-01 Boston Dynamics, Inc. Detecting boxes
US10614340B1 (en) 2019-09-23 2020-04-07 Mujin, Inc. Method and computing system for object identification
US10625952B1 (en) 2019-10-18 2020-04-21 Grey Orange Pte. Ltd. Induction station for conveying packages in storage facility
US11020854B2 (en) 2019-11-05 2021-06-01 Mujin, Inc. Robotic system with wall-based packing mechanism and methods of operating same
US11423610B2 (en) 2019-11-26 2022-08-23 Applied Research Associates, Inc. Large-scale environment-modeling with geometric optimization
US20230041343A1 (en) 2021-08-09 2023-02-09 Mujin, Inc. Robotic system with image-based sizing mechanism and methods for operating the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021128456A (ja) * 2020-02-12 2021-09-02 株式会社ダイフク 物品判別システム
JP7434986B2 (ja) 2020-02-12 2024-02-21 株式会社ダイフク 物品判別システム

Also Published As

Publication number Publication date
DE112019000170T5 (de) 2020-07-30
JP2020069640A (ja) 2020-05-07
JP2020069637A (ja) 2020-05-07
US20230415360A1 (en) 2023-12-28
WO2020090933A1 (ja) 2020-05-07
US11247341B2 (en) 2022-02-15
US20210260771A1 (en) 2021-08-26
CN111571593B (zh) 2021-02-26
US20220134572A1 (en) 2022-05-05
US20210094187A1 (en) 2021-04-01
DE112019000170B4 (de) 2021-07-01
US20200139553A1 (en) 2020-05-07
US10562189B1 (en) 2020-02-18
US10369701B1 (en) 2019-08-06
US11034025B2 (en) 2021-06-15
CN111571593A (zh) 2020-08-25
CN111386180A (zh) 2020-07-07
US10562188B1 (en) 2020-02-18
US11780101B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
JP6632106B1 (ja) 制御装置、移送装置、プログラム、及び、制御方法
US10703584B2 (en) Robotic system with automated package registration mechanism and methods of operating the same
CN110465960B (zh) 具有物件丢失管理机制的机器人系统
JP6444499B1 (ja) 制御装置、ピッキングシステム、物流システム、プログラム、及び、制御方法
JP6325174B1 (ja) 制御装置、ピッキングシステム、物流システム、プログラム、制御方法、及び、生産方法
JP6782046B1 (ja) 画像データに基づく物体検出システム及び方法
US11007643B2 (en) Control device, picking system, distribution system, program, control method and production method
JP6258556B1 (ja) 制御装置、ピッキングシステム、物流システム、プログラム、制御方法、及び、生産方法
JP2016144841A (ja) 3次元センサを備えた搬送ロボットシステム
US11007649B2 (en) Information processing apparatus, picking system, distribution system, program and information processing method
US11209790B2 (en) Actuator control system, actuator control method, information processing program, and storage medium
JP2022066611A (ja) 情報処理装置、情報処理方法、プログラム、及び荷降しシステム
US11850748B2 (en) Picking robot, picking method, and computer program product

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190926

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190926

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191206

R150 Certificate of patent or registration of utility model

Ref document number: 6632106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350