JP6140204B2 - ３次元センサを備えた搬送ロボットシステム - Google Patents

３次元センサを備えた搬送ロボットシステム Download PDF

Info

Publication number
JP6140204B2
JP6140204B2 JP2015022623A JP2015022623A JP6140204B2 JP 6140204 B2 JP6140204 B2 JP 6140204B2 JP 2015022623 A JP2015022623 A JP 2015022623A JP 2015022623 A JP2015022623 A JP 2015022623A JP 6140204 B2 JP6140204 B2 JP 6140204B2
Authority
JP
Japan
Prior art keywords
dimensional
dimensional information
robot
information
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015022623A
Other languages
English (en)
Other versions
JP2016144841A (ja
Inventor
象太 滝澤
象太 滝澤
文和 藁科
文和 藁科
伴　一訓
一訓 伴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2015022623A priority Critical patent/JP6140204B2/ja
Priority to CN201610052279.7A priority patent/CN105858188B/zh
Priority to DE102016000995.0A priority patent/DE102016000995B4/de
Priority to US15/014,656 priority patent/US9844882B2/en
Publication of JP2016144841A publication Critical patent/JP2016144841A/ja
Application granted granted Critical
Publication of JP6140204B2 publication Critical patent/JP6140204B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/902—Devices for picking-up and depositing articles or materials provided with drive systems incorporating rotary and rectilinear movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39107—Pick up article, object, measure, test it during motion path, place it
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y10S901/31—Gripping jaw
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y10S901/40—Vacuum or mangetic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device

Description

本発明は、積重ねられた対象物を搬送するロボットシステムに関する。
ダンボール等の積重ねられた対象物をロボットによって順次搬送するロボットシステムが公知である。ロボットは、対象物を把持する把持装置をアーム先端に備えており、把持装置によって把持した対象物を後工程のために別の場所に在る載置部まで搬送するように構成される。
従来のロボットシステムにおいては、対象物の底面が載置部の表面に一致するように予め作成された指令位置に従ってロボットを動作させることによって載置工程が実行される。しかしながら、対象物の実際の寸法が想定された寸法とは異なる場合、対象物の位置決めが適切に行われずに、過度の押圧力が対象物に付与されたり、又は対象物を落下させたりする虞がある。
別の従来のロボットシステムは、対象物が載置部に接触したことを検出するセンサを備えており、対象物が載置部に接触した時点で対象物が解放されるようになっている。しかしながら、このようなロボットシステムにおいては、載置部から十分に離れた位置から対象物を載置部に向かって低速で移動させる必要があり、搬送効率が低下する。
センサによって積重ねられた対象物の位置情報を取得して、搬送工程を実行するように構成された種々のロボットシステムが公知である（特許文献１〜７参照）。
特開２０１０−００５７６９号公報 特開平７−０５３０５４号公報 特開平７−２９９７８２号公報 特開２００１−３１７９１１号公報 特開２０１３−１５４４５７号公報 特開２０１２−１９２４９０号公報 特開２０１１−２４７８１９号公報 特開２０１３−１０１０４５号公報
「カメラキャリブレーション」, CVIM 148, PP. 1-18, 2005 「A review of recent range image registration methods with accuracy evaluation」, Image and Vision Computing Volume 25, Issue 5, pp. 578-596, 2007
従来のロボットシステムは、対象物の３次元形状及び寸法が未知である場合、或いは対象物の個体差が大きい場合に、搬送工程を適切に実行するのが困難であった。そこで、対象物の３次元形状又は寸法が未知であっても、搬送工程を適切に実行可能なロボットシステムが求められている。
本願の１番目の発明によれば、積重ねられた複数の対象物を順次搬送して載置部に載置するロボットシステムであって、前記複数の対象物の３次元情報を取得する３次元センサと、前記複数の対象物のうちの少なくとも１つを把持する把持装置を備えるロボットと、積重ねられた前記複数の対象物の３次元情報を、前記３次元センサによって第一の３次元情報として取得する第一の３次元情報取得部と、前記第一の３次元情報に基づいて、前記複数の対象物のうち、搬送されるべき搬送対象物を特定するとともに、該搬送対象物の位置を取得する対象物位置取得部と、前記搬送対象物を前記把持装置によって把持するとともに前記ロボットによって残りの対象物から離れて移動させた後、前記残りの対象物の３次元情報を、前記３次元センサによって第二の３次元情報として取得する第二の３次元情報取得部と、前記第一の３次元情報及び前記第二の３次元情報に基づいて、前記第一の３次元情報を取得する際に前記３次元センサの死角に位置する部位を含む前記搬送対象物の３次元形状情報を取得する形状情報取得部と、前記形状情報取得部によって取得される前記搬送対象物の３次元形状情報に基づいて、前記搬送対象物を前記載置部に載置するときに、前記載置部に接触するようになる前記搬送対象物の接触部から前記把持装置又は前記ロボットの基準点までの距離と、前記搬送対象物を前記載置部に安定的に載置できるようになる前記搬送対象物の安定姿勢と、の少なくとも一方を取得する載置情報取得部と、前記接触部から前記基準点までの距離と前記安定姿勢との少なくとも一方に基づいて、前記搬送対象物を前記載置部に載置するときの前記ロボットの位置及び姿勢を計算する位置姿勢計算部と、を備えるロボットシステムが提供される。
本願の２番目の発明によれば、１番目の発明に係るロボットシステムが、前記把持装置によって把持されている前記搬送対象物の３次元情報を、前記３次元センサによって第三の３次元情報として取得する第三の３次元情報取得部をさらに備えており、前記形状情報取得部が、前記第一の３次元情報、前記第二の３次元情報及び前記第三の３次元情報に基づいて、前記搬送対象物の３次元形状情報を取得するように構成される。
本願の３番目の発明によれば、１番目又は２番目の発明に係るロボットシステムにおいて、少なくとも１つの前記対象物を搬送した後において、前記第一の３次元情報取得部が、以前の搬送工程を実行する際に取得された前記第二の３次元情報を前記第一の３次元情報として取得するように構成される。
本願の４番目の発明によれば、１番目から３番目のいずれかの発明に係るロボットシステムにおいて、前記３次元センサが、前記ロボットとは別個の架台に取付けられている。
本願の５番目の発明によれば、１番目から３番目のいずれかの発明に係るロボットシステムにおいて、前記３次元センサが、前記ロボットのアーム先端部に取付けられている。
本願の６番目の発明によれば、積重ねられた複数の対象物を順次搬送して載置部に載置するロボットシステムであって、前記複数の対象物の３次元情報を取得する３次元センサと、前記複数の対象物のうちの少なくとも１つを把持する把持装置を備えるロボットと、積重ねられた前記複数の対象物の３次元情報を、前記３次元センサによって第一の３次元情報として取得する第一の３次元情報取得部と、前記第一の３次元情報に基づいて、前記複数の対象物のうち、搬送されるべき搬送対象物を特定するとともに、該搬送対象物の位置を取得する対象物位置取得部と、前記把持装置によって把持されている前記搬送対象物の３次元情報を、前記３次元センサによって第三の３次元情報として取得する第三の３次元情報取得部と、前記第一の３次元情報及び前記第三の３次元情報に基づいて、前記第一の３次元情報を取得する際に前記３次元センサの死角に位置する部位を含む前記搬送対象物の３次元形状情報を取得する形状情報取得部と、前記形状情報取得部によって取得される前記搬送対象物の３次元形状情報に基づいて、前記搬送対象物を前記載置部に載置するときに、前記載置部に接触するようになる前記搬送対象物の接触部から前記把持装置又は前記ロボットの基準点までの距離と、前記搬送対象物を前記載置部に安定的に載置できるようになる前記搬送対象物の安定姿勢と、の少なくとも一方を取得する載置情報取得部と、前記接触部から前記基準点までの距離と前記安定姿勢との少なくとも一方に基づいて、前記搬送対象物を前記載置部に載置するときの前記ロボットの位置及び姿勢を計算する位置姿勢計算部と、を備えるロボットシステムが提供される。
本願の７番目の発明によれば、６番目の発明に係るロボットシステムにおいて、前記第三の３次元情報を取得する際の前記ロボットの位置及び姿勢の少なくとも一方が、前記搬送対象物を前記把持装置によって把持したときとは異なる。
これら及び他の本発明の目的、特徴及び利点は、添付図面に示される本発明の例示的な実施形態に係る詳細な説明を参照することによって、より明らかになるであろう。
本発明に係るロボットシステムによれば、対象物を取出す前後の３次元情報に基づいて、搬送される対象物の３次元形状情報を取得する。そして、取得された対象物の３次元形状情報に従って対象物を載置する際のロボットの位置及び姿勢を計算する。それにより、対象物の形状又は寸法が未知である場合、又は対象物の個体差が大きい場合であっても、搬送工程を適切に実行できるようになる。
一実施形態に係るロボットシステムの構成を示す概略図である。 載置部及び載置部に載置される対象物を示す図である。 一実施形態に係るロボットシステムの機能ブロック図である。 一実施形態に係るロボットシステムによって実行される搬送工程の流れを示すフローチャートである。 第一の３次元情報を示す図である。 第二の３次元情報を示す図である。 第一及び第二の３次元情報に基づいて得られる抽出点集合を示す図である。 第一の３次元情報を示す図である。 第二の３次元情報を示す図である。 第一及び第二の３次元情報に基づいて得られる抽出点集合を示す図である。 載置部及び載置部に載置される対象物を示す図である。 別の実施形態に係るロボットシステムの機能ブロック図である。 第一の３次元情報を示す図である。 対象物の把持工程を示す図である。 第三の３次元情報を示す図である。 第三の３次元情報を構成する各々の３次元点に対して同次変換を適用して得られる抽出点集合を示す図である。 第二の３次元情報を示す図である。 対象物の例を示す図である。 第一の３次元情報を示す図である。 対象物の把持工程を示す図である。 第三の３次元情報を示す図である。 第三の３次元情報を構成する各々の３次元点に対して同次変換を適用して得られる抽出点集合を示す図である。 第二の３次元情報を示す図である。
以下、添付図面を参照して本発明の実施形態を説明する。図示される実施形態の構成要素は、本発明の理解を助けるために寸法が適宜変更されている。また、同一又は対応する構成要素には、同一の参照符号が使用される。
図１は、一実施形態に係るロボットシステムの構成を示す概略図である。ロボットシステム１０は、アーム３１の先端に手首３２を有するロボット３０と、ロボット３０の手首３２に取付けられた把持装置３３と、ロボット３０を制御するロボット制御装置６０と、架台４１に取付けられた３次元センサ４０と、を備えている。図示されるロボット３０は、垂直多関節ロボットであるものの、移動機構ロボット、パラレルリンクロボット、直動機構ロボットなど任意のタイプのロボットが用いられてもよい。
ロボット制御装置６０は、通信ケーブル等の公知の通信手段によってロボット３０に接続されている。ロボット３０は、ロボット制御装置６０から送出される制御指令に従って各関節軸に設けられたサーボモータが駆動され、それにより所望の位置及び姿勢を有するように動作する。
把持装置３３は、手首３２に形成されたメカニカルインタフェースを介してロボット３０に取付けられる。把持装置３３は、把持工程において周囲の対象物５０、対象物５０を収容するコンテナ又はパレット（図示せず）などと干渉することなく、少なくとも１つの対象物５０を搬送可能であれば、その形状及び構成については何ら限定されない。例えば、把持装置３３は、対象物５０に対して機械的に圧力を付与する機械式把持装置、負圧を発生させて対象物５０に対して吸引力を付与する真空吸着式把持装置、又は磁力を利用して対象物５０に対して吸引力を付与する磁力式把持装置である。
対象物５０は、図示されるように積重ねられた状態で設けられている。本明細書において、搬送工程を実行するために把持装置３３に把持される対象物を「搬送対象物」と称し、他の対象物と区別することがある。ロボットシステム１０によれば、把持装置３３によって把持された搬送対象物５１は、ロボット３０によって他の対象物５０から離れて移動させられ、図２に示されるような載置部５２に載置される。載置部５２は、搬送対象物５１を安定的に載置可能な構成を有していればよく、特定の形態には限定されない。載置部５２は、例えばコンベヤであり、搬送対象物５１を後工程のために順次移動させられるようになっている。載置部５２は、コンベヤなどの独立した移動機構を有しない机、パレット又は治具であってもよい。
３次元センサ４０は、積重ねられた対象物５０の概ね上方に設けられている。３次元センサ４０は、対象物５０の表面上に在る複数点の３次元位置情報をそれぞれ取得するとともに、取得した３次元点の集合を３次元情報として出力するように構成されている。
３次元センサ４０の構成は何ら限定されず、例えば空間コード方式、位相シフト方式、ランダムドットパターン方式、ＴＯＦ方式、光切断方式、ステレオカメラ方式などの公知の原理を利用した任意のセンサである。３次元情報の出力形式は何ら限定されない。便宜上、本明細書では、３次元点の集合（「ｐｏｉｎｔ ｃｌｏｕｄ」としても知られる）から構成される３次元情報を用いる例に基づいて実施形態を説明する。
３次元センサ４０は、ロボットシステム１０の基準座標系における３次元情報を取得できるように予めキャリブレーションされている。センサ座標系と基準座標系とを関連付けるキャリブレーションは、公知の方法に従って実行される（例えば非特許文献１参照）。
３次元センサ４０を制御するセンサ制御装置（図示せず）は、ロボット制御装置６０に内蔵されていてもよいし、ロボット制御装置６０とは別個に設けられていてもよい。一実施形態において、３次元センサ４０は、３次元位置情報に加えてグレースケール画像又はカラー画像などの２次元情報をさらに取得するように構成されていてもよい。
図３は、ロボットシステム１０の機能ブロック図である。図示されるように、ロボットシステム１０は、第一の３次元情報取得部１２と、対象物位置取得部１４と、第二の３次元情報取得部１６と、形状情報取得部１８と、載置情報取得部２０と、位置姿勢計算部２２と、を備えている。各々の機能を実行するのに必要な計算、情報の記憶及び読出し、並びにデータ及び信号の送受信は、ＣＰＵ、ＲＯＭ、ＲＡＭなど公知のハードウェア構成を有するデジタルコンピュータによって実行される。
第一の３次元情報取得部１２は、積重ねられた複数の対象物５０の３次元情報を、３次元センサ４０によって第一の３次元情報として取得する。第一の３次元情報は、搬送対象物５１を搬送する前の状態における対象物５０の３次元情報である。
対象物位置取得部１４は、第一の３次元情報に基づいて、複数の対象物５０のうち、搬送されるべき搬送対象物５１を特定するとともに、搬送対象物５１の位置を取得する。搬送対象物５１は、例えば、対象物５０のうち、最も高い位置に在る対象物である。或いは、把持装置３３のタイプに応じて定まる最も把持し易い位置に在る対象物、又は周囲の対象物５０と干渉せずに取出すことができる対象物を搬送対象物５１として選定してもよい。
３次元情報に基づいて搬送対象物５１の位置を認識する方法は特に限定されず、公知の方法を採用できる（例えば非特許文献２参照）。また、特許文献８に記載されているように、３次元情報及び２次元情報を組合せて搬送対象物５１の位置が認識されてもよい。搬送対象物５１の位置は、把持工程において把持装置３３を位置決めするのに用いられる。すなわち、搬送対象物５１の位置に従って、ロボット３０の位置及び姿勢が制御され、搬送対象物５１を把持するのに適切な位置に把持装置３３が位置決めされる。
第二の３次元情報取得部１６は、搬送対象物５１を把持装置３３によって把持するとともにロボット３０によって残りの対象物５０から離れて移動させた後、残りの対象物５０の３次元情報を、３次元センサ４０によって第二の３次元情報として取得する。第二の３次元情報は、ロボット３０及び搬送対象物５１が、図１の破線で示される３次元センサ４０の検出範囲外まで移動された後に取得される。しかしながら、第二の３次元情報を取得するにあたって支障がない場合は、搬送対象物５１又はロボット３０が３次元センサ４０の検出範囲内に含まれる状態で第二の３次元情報が取得されてもよい。
形状情報取得部１８は、第一の３次元情報及び第二の３次元情報に基づいて、第一の３次元情報を取得する際に３次元センサ４０の死角に位置する部位を含む搬送対象物５１の３次元形状情報を取得する。第一の３次元情報を取得する際には、搬送対象物５１の、３次元センサ４０とは反対側の部位は３次元センサ４０の死角に位置しており、３次元情報が取得されない。そこで、本実施形態によれば、第一の３次元情報と第二の３次元情報を対比することによって、第一の３次元情報に含まれていなかった搬送対象物５１の箇所の形状情報を取得できる。それにより、搬送対象物５１の概ね全体の３次元形状を取得できる。
載置情報取得部２０は、形状情報取得部１８によって取得される搬送対象物５１の３次元形状情報に基づいて、搬送対象物５１を載置部５２に載置するときに、載置部５２に接触するようになる搬送対象物５１の接触部から把持装置３３又はロボット３０の基準点までの距離と、搬送対象物５１を載置部５２に安定的に載置できるようになる搬送対象物５１の安定姿勢と、の少なくとも一方を取得する。
位置姿勢計算部２２は、搬送対象物５１の接触部から把持装置３３又はロボット３０の基準点までの距離と、搬送対象物５１の安定姿勢と、の少なくとも一方に基づいて、搬送対象物５１を載置部５２に載置するときのロボット３０の位置及び姿勢を計算する。
図４は、本実施形態に係るロボットシステム１０によって実行される搬送工程の流れを示すフローチャートである。以下の説明では、対象物５０が直方体形状である例（図１及び図２参照）を適宜参照する。
まず、ステップＳ４０１において、第一の３次元情報取得部１２が、積重ねられた対象物５０の３次元情報（第一の３次元情報）を取得する。図５Ａは、２段に積重ねられた５つの対象物５０について取得される第一の３次元情報を示している。太線Ｘ１は、第一の３次元情報として取得される３次元点が分布する範囲を示している。このように、第一の３次元情報Ｘ１は、対象物５０の表面上に位置する多数の３次元点の位置情報を含んでいる。
ステップＳ４０２において、対象物位置取得部１４が、第一の３次元情報Ｘ１に基づいて搬送対象物５１を特定するとともに、搬送対象物５１の位置を取得する。ステップＳ４０２において取得される搬送対象物５１の位置は、例えば搬送対象物５１の上面の重心の位置（図５Ａの「Ｇ」参照）である。ステップＳ４０１及びステップＳ４０２の工程を実行している間は、必要に応じてロボット３０に別の作業を実行させてもよい。
ステップＳ４０３において、ロボット３０を駆動して、搬送対象物５１を残りの対象物５０から離れて移動させる。ロボット３０は、ステップＳ４０２において取得された搬送対象物５１の位置に基づいて、把持装置３３が搬送対象物５１を把持できる位置に把持装置３３を位置決めする。例えば、把持装置３３が、一点の把持点で搬送対象物５１を把持するように構成される吸着式把持装置である場合、把持装置３３の基準点（例えば把持点）が、搬送対象物５１の位置（例えば重心Ｇ）に一致するように、把持装置３３を位置決めする。把持装置３３の位置決めが完了したら、把持装置３３を作動させて搬送対象物５１を把持する。その後、ロボット３０を制御して、搬送対象物５１を残りの対象物５０から離れて移動させる。
ステップＳ４０４において、第二の３次元情報取得部１６が、搬送対象物５１を取出した後に残っている対象物５０を３次元センサ４０で検出し、第二の３次元情報Ｘ２を取得する（図５Ｂ参照）。図５Ｂに示されるように、搬送対象物５１を除く４つの対象物５０の３次元情報が第二の３次元情報Ｘ２として取得される。
ステップＳ４０５において、形状情報取得部１８が、第一の３次元情報及び第二の３次元情報に基づいて、搬送対象物５１の３次元形状情報を取得する。この形状情報には、搬送対象物５１を取出す前に３次元センサ４０の死角に位置していた部位の搬送対象物５１の形状情報が含まれる。
ステップＳ４０６において、載置情報取得部２０が、搬送対象物５１を載置部５２に載置する際に、載置部５２に接触するようになる搬送対象物５１の接触部から把持装置３３の基準点（例えば把持点）までの距離と、搬送対象物５１の安定姿勢と、の少なくとも一方を取得する。ロボット３０と把持装置３３との位置関係は既知であるので、基準点は、ロボット３０に対して設定されてもよい。
対象物５０が直方体の形状を有していて、図５Ａに示されるように搬送対象物５１の底面が平面であるように概ね整列して積重ねられている場合、搬送対象物５１の姿勢を変更しなくても、搬送対象物５１を載置部５２に安定的に載置できる。したがって、この場合、ステップＳ４０６において安定姿勢を取得する工程を省略してもよい。他方、搬送対象物５１の載置工程を適切に実行するためには、把持装置３３（又はロボット３０）の基準点から搬送対象物５１の接触部（すなわち底面）までの距離を決定する必要がある。反対に、ロボットシステム１０は、把持装置３３又はロボット３０の基準点から搬送対象物５１の接触部までの距離を取得する工程を省略し、搬送対象物５１の安定姿勢のみを取得するように構成されてもよい。搬送対象物５１の接触部から基準点までの距離、及び安定姿勢を取得する具体的な方法については後述する。
ステップＳ４０７において、位置姿勢計算部２２が、搬送対象物５１を載置部５２に載置する際のロボット３０の位置及び姿勢を計算する。ロボット３０の位置及び姿勢は、搬送対象物５１の接触部から把持装置３３又はロボット３０の基準点までの距離と、搬送対象物５１の安定姿勢と、の少なくとも一方に従って計算される。
ステップＳ４０８において、ステップＳ４０７で計算された位置及び姿勢に従ってロボット３０を駆動し、搬送対象物５１を載置部５２まで移動させる。搬送対象物５１が所定の位置に位置決めされたら、把持装置３３を解放して搬送対象物５１を載置部５２に載置し、搬送工程を完了する。
ステップＳ４０１〜Ｓ４０８の工程は、すべての対象物５０の搬送が完了するまで繰返し実行される。なお、二回目以降の任意の搬送工程において、ステップＳ４０１の工程を省略して、以前の搬送工程において取得された第二の３次元情報を第一の３次元情報として用いてもよい。或いは、対象物５０の個体差が小さい場合、二回目以降の搬送工程において、ステップＳ４０１〜ステップＳ４０５の工程を省略して、一旦得られた搬送対象物５１の３次元形状情報を用いてもよい。
次に、３次元情報から搬送対象物５１の３次元形状情報を求める方法、及び搬送対象物５１の３次元形状情報に基づいて、搬送対象物５１の接触部から把持装置３３又はロボット３０の基準点までの距離、及び搬送対象物５１の安定姿勢を計算する方法について説明する。
（第一実施例）
図５Ａ、図５Ｂ及び図６を参照して、第一実施例について説明する。本実施例において、対象物５０は直方体形状を有している。前述したように、図５Ａ及び図５Ｂに示される３次元情報Ｘ１、Ｘ２は、多数の３次元点の集合の位置情報から構成される。第一の３次元情報Ｘ１と第二の３次元情報Ｘ２とを比較することによって、搬送対象物５１の３次元形状情報が求められる。
例えば、第二の３次元情報Ｘ２を構成する各々の３次元点について、該３次元点の３次元点のうち、最も近位に位置する第一の３次元情報の３次元点を「最近傍点」と定義する。最近傍点の候補となる第一の３次元情報の３次元点は、第二の３次元情報の３次元点から水平方向に所定の距離の範囲内に位置するものに限定されてもよい。このようにすれば、最近傍点を計算するのに要する時間が短縮される。第一の３次元情報における同一の３次元点が、第二の３次元情報の複数の３次元点に対する共通の最近傍点として設定されてもよい。なお、「最も近位に位置する」とは、２点間の距離が最も小さいことを意味し、「距離」は、マンハッタン距離（Ｌ１ノルム）、ユークリッド距離、マハラノビス距離、最大値ノルムなど任意の方式に従って定義される。
そして、第二の３次元情報Ｘ２の３次元点から対応する最近傍点までの距離が、予め定められる閾値を超える場合に、最近傍点をそれぞれ抽出する。抽出された最近傍点の集合（「抽出点集合」と称する。）は、搬送対象物５１を取出す前後において、対応する３次元点のうち位置が変化した３次元点を表す。したがって、抽出点集合に基づいて、搬送工程の前において３次元センサ４０の死角に入っていた搬送対象物５１の、３次元センサ４０とは反対側の形状を特定できる。
抽出点集合を抽出する際に用いられる閾値は、例えば３次元センサ４０の分解能に応じて適宜設定される。或いは、対象物５０の個体差、要求される検出精度、又は対象物５０の最薄部の寸法に応じて閾値が設定されてもよい。
代替的な実施形態において、第一の３次元情報Ｘ１に含まれる３次元点のうち、搬送対象物５１の範囲に含まれる３次元点の集合に対して水平方向に同一の範囲に含まれる第二の３次元情報の３次元点の集合を抽出点集合としてもよい。
図６は、搬送対象物５１に対して求められた抽出点集合Ｙを示している。図６の「Ｏ」は、把持装置３３の基準点を表している。例えば、基準点Ｏは、把持装置３３の把持点である。把持装置３３の基準点Ｏから抽出点集合Ｙを構成する各々の３次元点までのベクトルＶのＺ軸方向（例えば鉛直方向）の成分の最大値が、基準点Ｏから、載置部５２に接触するようになる搬送対象物５１の接触部までの距離Ｄである。
本実施例によれば、搬送対象物５１の載置工程において、ロボット３０は、把持装置３３の基準点Ｏが載置部５２の表面から距離Ｄだけ離れた位置に配置されるように制御される。
（第二実施例）
図７Ａ、図７Ｂ、図８及び図９を参照して、第二実施例について説明する。本実施例は、載置工程において、搬送対象物５１を安定的に載置するための安定姿勢を取得する必要がある場合に対応する。図７Ａに示されるように、対象物５０が錐台形状を有する場合、積重ねられた搬送対象物５１の底部の面積が非常に小さい。そのため、搬送対象物５１を載置部５２に安定的に載置するためには、搬送対象物５１の安定姿勢を搬送工程において取得する必要がある。そこで、本実施例では、把持装置３３の基準点Ｏから搬送対象物５１の接触部までの距離に加えて、搬送対象物５１の安定姿勢を取得する。
図７Ａの太線Ｘ１は第一の３次元情報を示しており、図７Ｂの太線Ｘ２は第二の３次元情報を示している。第一実施例と同様に、第一の３次元情報Ｘ１及び第二の３次元情報Ｘ２に基づいて、搬送対象物５１の取出工程の前後において位置が変化する３次元点の集合を抽出点集合として抽出する。図８の太線Ｙは抽出点集合を示している。
抽出点集合Ｙにおいて、最大の面積を有する面、すなわち平面Ｐを特定する。搬送対象物５１が、この平面Ｐにおいて載置部５２に接触するように載置すれば、搬送対象物５１を安定的に載置できる（図９参照）。搬送対象物５１の安定姿勢は、平面Ｐに対する法線ベクトルＮの向きに従って求められる。すなわち、法線ベクトルＮが鉛直方向上方を向くようにロボット３０の姿勢を計算する。それにより、搬送対象物５１は安定した姿勢で載置部５２に載置されるようになる。なお、最大の面積を有する平面Ｐ以外に、予め定められる閾値を超える面積を有する面が存在する場合、当該面において搬送対象物５１を載置部５２に載置するような姿勢を安定姿勢としてもよい。
把持装置３３の基準点Ｏから平面Ｐまでの距離は、基準点Ｏから抽出点集合Ｙを構成する各々の３次元点に向かって定義されるベクトルＶと、法線ベクトルＮに基づいて求められる。例えば、ベクトルＶと法線ベクトルＮの内積の最大値を、基準点Ｏから平面Ｐまでの距離Ｄとして定義する。法線ベクトルＮの向き及び距離Ｄに従ってロボット３０を制御すれば、搬送対象物５０を安定的に載置するのに必要な位置まで移動できる。
別の実施形態において、例えば、載置部５２との接触部が搬送対象物５１の曲面の部位である場合、曲率が予め定められる閾値以下になる領域ごとに近似平面を求め、面積が最大になる近似平面に対する法線ベクトルに基づいて安定姿勢を求めてもよい。
（第三実施例）
図１０〜図１５を参照して、第三実施例について説明する。本実施例において、対象物５０は、図１１に示されるように円柱形状を概ね有している。
図１０は、本実施例に係るロボットシステム１０の機能ブロック図である。図３と図１０を対比すれば分かるように、ロボットシステム１０は、第三の３次元情報取得部２４をさらに備えている。
第三の３次元情報取得部２４は、把持装置３３によって把持されている搬送対象物５１の３次元情報を、３次元センサ４０によって第三の３次元情報として取得する。例えば、第三の３次元情報は、図１３に示されるように、搬送対象物５１を把持した後に、ロボット３０を移動させるとともに手首３２を回転させて把持装置３３の姿勢を変更することによって取得される。
本実施例に係るロボットシステム１０において、抽出点集合Ｙを取得する方法について説明する。まず、他の実施例と同様に、第一の３次元情報Ｘ１を取得する（図１１参照）。次いで、把持装置３３が搬送対象物５１を把持できる位置までロボット３０を移動した時点（図１２参照）におけるロボット３０の位置及び姿勢（「第一のロボット位置」と称する。）を取得する。次いで、図１３に示されるようにロボット３０を移動させるとともに手首３２を回転させて把持装置３３の姿勢を変更し、搬送対象物５１の反対側の部位を含む第三の３次元情報Ｘ３を取得する。また、第三の３次元情報Ｘ３を取得したときのロボット３０の位置及び姿勢（「第二のロボット位置」と称する。）を取得する。
続いて、第一のロボット位置と、第二のロボット位置との差に基づいて、第三の３次元情報を同次変換して抽出集合点Ｙを取得する。例えば、第一のロボット位置に対応する同次変換行列をＨ１、第二のロボット位置に対応する同次変換行列をＨ２とする。この場合、搬送対象物５１の位置及び姿勢の変化量に対応する同次変換行列Ｈ３は、次の式で表される。
Ｈ３＝Ｈ１×Ｈ２-1
なお、Ｈ２-1は、Ｈ２の逆行列である。
第三の３次元情報Ｘ３を構成する各々の３次元点に対して同次変換行列Ｈ３を適用すれば、図１４の太線Ｙで示されるような抽出点集合が得られる。図１１に示される第一の３次元情報Ｘ１及び図１４に示される抽出点集合Ｙに基づいて、搬送対象物５１の３次元形状情報が取得される。一実施形態において、第三の３次元情報を複数回にわたって取得してもよい。一実施形態において、第一の３次元情報Ｘ１及び第三の３次元情報Ｘ３に加えて、図１５に示される第二の３次元情報Ｘ２をさらに用いて搬送対象物５１の３次元形状情報を取得してもよい。第二の３次元情報Ｘ２は、前述したように、搬送対象物５１を残りの対象物５０から離れて移動させた後に取得される対象物５０の３次元情報である。
（第四実施例）
図１６〜図２１を参照して、第四実施例について説明する。本実施例においては、搬送対象物５１の安定姿勢を求めるために、複数の方向から搬送対象物５１の第三の３次元情報を取得する。例えば、図１６に示されるように、正六角柱の対象物５０に凹部５０ａが形成されている場合、凹部５０ａに隣接する第一の面５０ｂを載置部５２に向けて対象物５０を載置すると、対象物５０の姿勢が不安定になって倒れる虞がある。この場合、対象物５０の安定姿勢は、凹部５０ａとは反対側の第二の面５０ｃを載置部５２に向けた姿勢である。このような安定姿勢を求めるには、複数の方向から対象物５０の３次元情報を取得する必要がある。
本実施例によれば、第三の３次元情報を複数の方向から取得する以外は、第三実施例と同様の方法で搬送工程が実行される。すなわち、搬送対象物５１が搬送される前に、第一の３次元情報取得部１２が、積重ねられた対象物５０の第一の３次元情報Ｘ１を取得する（図１７参照）。ロボット３０は、次いで図１８に示されるように、把持装置３３が搬送対象物５１を把持可能になる位置まで移動する。このときのロボット３０の位置及び姿勢は、「第一のロボット位置」として記憶される。
さらに、搬送対象物５１を残りの対象物５０から離れて移動させた後に、手首３２を回転させることによって、搬送対象物５１の第三の３次元情報を複数の方向から取得する。第三の３次元情報を取得する際のロボット３０の位置及び姿勢は、「第二のロボット位置」として記憶される。図１９は、搬送対象物５１の凹部５１ａを３次元センサ４０に向けた状態で第三の３次元情報取得部２４によって取得される第三の３次元情報Ｘ３を示している。続いて、第一のロボット位置及び第二のロボット位置との差に基づいて、第三の３次元情報を同次変換して抽出点集合Ｙを取得する。図２０は、図１９に示される第三の３次元情報Ｘ３に同次変換を適用して得られる抽出点集合Ｙを示している。さらに、搬送対象物５１を視覚センサ４０の検出範囲外まで移動させた後に、第二の３次元情報Ｘ２が第二の３次元情報取得部１６によって取得される（図２１参照）。このようにして得られた第一の３次元情報Ｘ１、第二の３次元情報Ｘ２及び抽出点集合Ｙに基づいて、凹部５１ａを含む搬送対象物５１の３次元形状情報が、形状情報取得部１８によって取得される。いったん搬送対象物５１の３次元情報が取得されれば、各々の面の面積、搬送対象物５１の重心位置などに基づいて、搬送対象物５１の安定姿勢が求められる。
前述した種々の実施形態に係るロボットシステム１０によれば、次の効果が得られる。
（１）積重ねられた対象物の３次元形状及び寸法が未知である場合、又は対象物の個体差が大きい場合であっても、搬送工程を適切に実行できる。それにより、農産物、木材、鉱物などの一定の形状を有しない対象物の搬送工程も容易に実行できる。
（２）対象物は安定した姿勢で載置部に載置されるので、対象物が倒れて破損するのを防止できる。また、対象物が一定の基準に従った姿勢で載置部に載置されるので、後工程の処理効率が向上する。
（３）対象物がコンテナ内に収容されている場合など、側方から対象物の状態を確認できない場合であっても、対象物の３次元形状情報を取得できる。
（４）１つの３次元センサを用いて搬送工程に必要な情報を取得できるので、安価なロボットシステムを提供できるようになる。
（５）ロボットシステムが対象物の接触部からロボットの基準点までの距離及び対象物の安定姿勢に関する情報を事前に用意しておく必要がなくなり、準備工程を簡略化できる。
一実施形態に係るロボットシステムにおいて、３次元センサは、ロボットのアームの先端部に取付けられていてもよい。一実施形態に係るロボットシステムにおいて、複数のロボットが１箇所に積重ねられた対象物を搬送するように構成されてもよい。一実施形態に係るロボットシステムにおいて、少なくとも１つのロボットが、複数箇所に積重ねられた対象物を順次搬送するように構成されてもよい。一実施形態において、互いに異なる位置に設けられた複数の載置部まで対象物が搬送されるようにロボットシステムが構成されていてもよい。
以上、本発明の種々の実施形態について説明したが、当業者であれば、他の実施形態によっても本発明の意図する作用効果を実現できることを認識するであろう。特に、本発明の範囲を逸脱することなく、前述した実施形態の構成要素を削除又は置換することができるし、或いは公知の手段をさらに付加することができる。また、本明細書において明示的又は暗示的に開示される複数の実施形態の特徴を任意に組合せることによっても本発明を実施できることは当業者に自明である。
１０ ロボットシステム
１２ 第一の３次元情報取得部
１４ 対象物位置取得部
１６ 第二の３次元情報取得部
１８ 形状情報取得部
２０ 載置情報取得部
２２ 位置姿勢計算部
２４ 第三の３次元情報取得部
３０ ロボット
３１ アーム
３２ 手首
３３ 把持装置
４０ ３次元センサ
４１ 架台
５０ 対象物
５１ 搬送対象物
６０ ロボット制御装置
Ｘ１ 第一の３次元情報
Ｘ２ 第二の３次元情報
Ｘ３ 第三の３次元情報
Ｙ 抽出点集合

Claims (7)

  1. 積重ねられた複数の対象物を順次搬送して載置部に載置するロボットシステムであって、
    前記複数の対象物の３次元情報を取得する３次元センサと、
    前記複数の対象物のうちの少なくとも１つを把持する把持装置を備えるロボットと、
    積重ねられた前記複数の対象物の３次元情報を、前記３次元センサによって第一の３次元情報として取得する第一の３次元情報取得部と、
    前記第一の３次元情報に基づいて、前記複数の対象物のうち、搬送されるべき搬送対象物を特定するとともに、該搬送対象物の位置を取得する対象物位置取得部と、
    前記搬送対象物を前記把持装置によって把持するとともに前記ロボットによって残りの対象物から離れて移動させた後、前記残りの対象物の３次元情報を、前記３次元センサによって第二の３次元情報として取得する第二の３次元情報取得部と、
    前記第一の３次元情報及び前記第二の３次元情報に基づいて、前記第一の３次元情報を取得する際に前記３次元センサの死角に位置する部位を含む前記搬送対象物の３次元形状情報を取得する形状情報取得部と、
    前記形状情報取得部によって取得される前記搬送対象物の３次元形状情報に基づいて、前記搬送対象物を前記載置部に載置するときに、前記載置部に接触するようになる前記搬送対象物の接触部から前記把持装置又は前記ロボットの基準点までの距離と、前記搬送対象物を前記載置部に安定的に載置できるようになる前記搬送対象物の安定姿勢と、の少なくとも一方を取得する載置情報取得部と、
    前記接触部から前記基準点までの距離と前記安定姿勢との少なくとも一方に基づいて、前記搬送対象物を前記載置部に載置するときの前記ロボットの位置及び姿勢を計算する位置姿勢計算部と、を備えるロボットシステム。
  2. 前記把持装置によって把持されている前記搬送対象物の３次元情報を、前記３次元センサによって第三の３次元情報として取得する第三の３次元情報取得部をさらに備えており、
    前記形状情報取得部が、前記第一の３次元情報、前記第二の３次元情報及び前記第三の３次元情報に基づいて、前記搬送対象物の３次元形状情報を取得するように構成される、請求項１に記載のロボットシステム。
  3. 少なくとも１つの前記対象物を搬送した後において、前記第一の３次元情報取得部が、以前の搬送工程を実行する際に取得された前記第二の３次元情報を前記第一の３次元情報として取得するように構成される、請求項１又は２に記載のロボットシステム。
  4. 前記３次元センサが、前記ロボットとは別個の架台に取付けられている、請求項１から３のいずれか１項に記載のロボットシステム。
  5. 前記３次元センサが、前記ロボットのアーム先端部に取付けられている、請求項１から３のいずれか１項に記載のロボットシステム。
  6. 積重ねられた複数の対象物を順次搬送して載置部に載置するロボットシステムであって、
    前記複数の対象物の３次元情報を取得する３次元センサと、
    前記複数の対象物のうちの少なくとも１つを把持する把持装置を備えるロボットと、
    積重ねられた前記複数の対象物の３次元情報を、前記３次元センサによって第一の３次元情報として取得する第一の３次元情報取得部と、
    前記第一の３次元情報に基づいて、前記複数の対象物のうち、搬送されるべき搬送対象物を特定するとともに、該搬送対象物の位置を取得する対象物位置取得部と、
    前記把持装置によって把持されている前記搬送対象物の３次元情報を、前記３次元センサによって第三の３次元情報として取得する第三の３次元情報取得部と、
    前記第一の３次元情報及び前記第三の３次元情報に基づいて、前記第一の３次元情報を取得する際に前記３次元センサの死角に位置する部位を含む前記搬送対象物の３次元形状情報を取得する形状情報取得部と、
    前記形状情報取得部によって取得される前記搬送対象物の３次元形状情報に基づいて、前記搬送対象物を前記載置部に載置するときに、前記載置部に接触するようになる前記搬送対象物の接触部から前記把持装置又は前記ロボットの基準点までの距離と、前記搬送対象物を前記載置部に安定的に載置できるようになる前記搬送対象物の安定姿勢と、の少なくとも一方を取得する載置情報取得部と、
    前記接触部から前記基準点までの距離と前記安定姿勢との少なくとも一方に基づいて、前記搬送対象物を前記載置部に載置するときの前記ロボットの位置及び姿勢を計算する位置姿勢計算部と、を備えるロボットシステム。
  7. 前記第三の３次元情報を取得する際の前記ロボットの位置及び姿勢の少なくとも一方が、前記搬送対象物を前記把持装置によって把持したときとは異なる、請求項６に記載のロボットシステム。
JP2015022623A 2015-02-06 2015-02-06 ３次元センサを備えた搬送ロボットシステム Active JP6140204B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015022623A JP6140204B2 (ja) 2015-02-06 2015-02-06 ３次元センサを備えた搬送ロボットシステム
CN201610052279.7A CN105858188B (zh) 2015-02-06 2016-01-26 具备三维传感器的搬运机器人系统
DE102016000995.0A DE102016000995B4 (de) 2015-02-06 2016-01-29 Förderrobotersystem mit dreidimensionalem Sensor
US15/014,656 US9844882B2 (en) 2015-02-06 2016-02-03 Conveyor robot system provided with three-dimensional sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015022623A JP6140204B2 (ja) 2015-02-06 2015-02-06 ３次元センサを備えた搬送ロボットシステム

Publications (2)

Publication Number Publication Date
JP2016144841A JP2016144841A (ja) 2016-08-12
JP6140204B2 true JP6140204B2 (ja) 2017-05-31

Family

ID=56498556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015022623A Active JP6140204B2 (ja) 2015-02-06 2015-02-06 ３次元センサを備えた搬送ロボットシステム

Country Status (4)

Country Link
US (1) US9844882B2 (ja)
JP (1) JP6140204B2 (ja)
CN (1) CN105858188B (ja)
DE (1) DE102016000995B4 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9956687B2 (en) * 2013-03-04 2018-05-01 Microsoft Technology Licensing, Llc Adapting robot behavior based upon human-robot interaction
US9056396B1 (en) * 2013-03-05 2015-06-16 Autofuss Programming of a robotic arm using a motion capture system
JP6632208B2 (ja) * 2015-03-24 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6472363B2 (ja) * 2015-10-16 2019-02-20 キヤノン株式会社 計測装置、計測方法および物品の製造方法
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2018034242A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
US10315866B2 (en) * 2016-10-20 2019-06-11 Intelligrated Headquarters, Llc 3D-2D vision system for robotic carton unloading
US10597235B2 (en) 2016-10-20 2020-03-24 Intelligrated Headquarters, Llc Carton unloader tool for jam recovery
US10279480B1 (en) 2016-10-21 2019-05-07 X Development Llc Sensor fusion
JP6470321B2 (ja) 2017-01-11 2019-02-13 ファナック株式会社 物品搬送装置
JP6450788B2 (ja) * 2017-02-21 2019-01-09 ファナック株式会社 ワーク取出システム
CN107009358B (zh) * 2017-04-13 2020-06-02 武汉库柏特科技有限公司 一种基于单相机的机器人无序抓取装置及方法
JP6626036B2 (ja) * 2017-04-18 2019-12-25 ファナック株式会社 測定機能を有するレーザ加工システム
JP6680732B2 (ja) * 2017-08-23 2020-04-15 ファナック株式会社 物品積み付け装置及び機械学習装置
JP6662836B2 (ja) * 2017-11-24 2020-03-11 ファナック株式会社 収容領域又は治具にワークを配置するワーク配置システム
JP6795007B2 (ja) * 2018-04-27 2020-12-02 株式会社ダイフク ピッキング設備
WO2020072815A1 (en) * 2018-10-03 2020-04-09 Nicholas Payton Hybrid robotic picking device
JP7134073B2 (ja) * 2018-11-14 2022-09-09 株式会社ダイフク 物品積載設備
US10549928B1 (en) 2019-02-22 2020-02-04 Dexterity, Inc. Robotic multi-item type palletizing and depalletizing
US11741566B2 (en) 2019-02-22 2023-08-29 Dexterity, Inc. Multicamera image processing
JP7275759B2 (ja) * 2019-03-28 2023-05-18 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
CN114787838A (zh) 2019-11-12 2022-07-22 光明机器公司 软件定义的制造/组装系统
JP7432231B2 (ja) * 2020-03-13 2024-02-16 株式会社イシダ 物品排出システム
JPWO2022269984A1 (ja) * 2021-06-22 2022-12-29
CN113858199B (zh) * 2021-09-27 2023-02-28 河南松源企业管理咨询有限公司 一种家具搬运机器人
WO2023107318A1 (en) * 2021-12-10 2023-06-15 Boston Dynamics, Inc. Systems and methods for object detection and pick order determination
DE102022123762A1 (de) * 2022-09-16 2024-03-21 Haver & Boecker Ohg Verfahren zum Greifen und Überführen wenigstens einer Einzeleinheit und Verwendung eines Systems

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2555822B2 (ja) * 1991-10-30 1996-11-20 日本電装株式会社 山積み部品の高速ピッキング装置
JP3315736B2 (ja) 1992-10-16 2002-08-19 株式会社リコー 原稿分離給紙装置
JPH0753054A (ja) 1993-08-10 1995-02-28 Mitsubishi Electric Corp 自動荷卸し装置
JP3516067B2 (ja) 1994-04-26 2004-04-05 川崎重工業株式会社 デパレタイズ用画像作成方法および画像作成装置
JP3380062B2 (ja) * 1994-09-19 2003-02-24 スズキ株式会社 工業用ロボット
JP3482938B2 (ja) 2000-05-02 2004-01-06 株式会社ダイフク 物品位置認識装置
DE102007026956A1 (de) * 2007-06-12 2008-12-18 Kuka Innotec Gmbh Verfahren und System zum Roboter geführten Depalettieren von Reifen
DE102007050232A1 (de) * 2007-10-20 2009-04-23 Deutsches Zentrum für Luft- und Raumfahrt e.V. Handhabungsroboter und Verfahren zur Steuerung eines Handhabungsroboters
JP5448326B2 (ja) * 2007-10-29 2014-03-19 キヤノン株式会社 把持装置および把持装置制御方法
JP2010005769A (ja) 2008-06-30 2010-01-14 Ihi Corp デパレタイズ装置および方法
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
JP2010032744A (ja) 2008-07-29 2010-02-12 Ricoh Co Ltd 照明装置
JP4708464B2 (ja) * 2008-09-30 2011-06-22 ファナック株式会社 ワーク把持装置
JP5556382B2 (ja) 2010-05-28 2014-07-23 トヨタ自動車株式会社 ワーク段積み状態認識装置
FI20106387A (fi) * 2010-12-30 2012-07-01 Zenrobotics Oy Menetelmä, tietokoneohjelma ja laite tartuntakohdan määrittämiseksi
JP2012192490A (ja) 2011-03-16 2012-10-11 Toyota Motor Corp 荷姿認識装置
JP2013022705A (ja) * 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
JP2013101045A (ja) 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法
JP2013154457A (ja) 2012-01-31 2013-08-15 Asahi Kosan Kk ワーク移載システム、ワーク移載方法及びプログラム
JP6000029B2 (ja) * 2012-09-10 2016-09-28 株式会社アプライド・ビジョン・システムズ ハンドリングシステム、ハンドリング方法及びプログラム
JP5642759B2 (ja) * 2012-10-31 2014-12-17 ファナック株式会社 物品取出装置及び物品取出方法
JP2014176923A (ja) * 2013-03-14 2014-09-25 Yaskawa Electric Corp ロボットシステムおよび被加工物の製造方法
US9333649B1 (en) * 2013-03-15 2016-05-10 Industrial Perception, Inc. Object pickup strategies for a robotic device
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム

Also Published As

Publication number Publication date
DE102016000995B4 (de) 2019-01-31
US20160229061A1 (en) 2016-08-11
CN105858188B (zh) 2018-07-27
US9844882B2 (en) 2017-12-19
DE102016000995A1 (de) 2016-08-11
CN105858188A (zh) 2016-08-17
JP2016144841A (ja) 2016-08-12

Similar Documents

Publication Publication Date Title
JP6140204B2 (ja) ３次元センサを備えた搬送ロボットシステム
US11413753B2 (en) Robotic system control method and controller
US11396101B2 (en) Operating system, control device, and computer program product
CN111730603B (zh) 机器人系统的控制装置以及控制方法
US11717971B2 (en) Method and computing system for performing motion planning based on image information generated by a camera
JP5977544B2 (ja) 情報処理装置、情報処理方法
US9149932B2 (en) Robot picking system, control device, and method of manufacturing a workpiece
JP5582126B2 (ja) ワーク取出システム、ロボット装置および被加工物の製造方法
JP2019509559A (ja) センサ誘導式ロボットを用いたボックスの位置特定、分離、およびピッキング
JP6697204B1 (ja) ロボットシステムの制御方法、非一過性のコンピュータ読取可能な記録媒体及びロボットシステムの制御装置
US11654571B2 (en) Three-dimensional data generation device and robot control system
US10434652B2 (en) Workpiece picking system
US11288814B2 (en) System and method of object detection based on image data
JP6810173B2 (ja) 物体把持システム
JP5544464B2 (ja) 対象物の３次元位置・姿勢認識装置及びその方法
CN115703232A (zh) 具有基于图像的尺寸确定机制的机器人系统及其操作方法
JP2020075340A (ja) 作動システム、制御装置、およびプログラム
JP2017170567A (ja) ワーク認識方法及びランダムピッキング方法
JP7398662B2 (ja) ロボット多面グリッパアセンブリ及びその操作方法
WO2022264381A1 (ja) ワーク取出し個数算出装置、ハンドシステム、及び表示装置
CN115609569A (zh) 具有基于图像的尺寸确定机制的机器人系统及其操作方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170428

R150 Certificate of patent or registration of utility model

Ref document number: 6140204

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150