JP7237496B2 - ピッキングシステム、情報処理装置及び情報処理プログラム - Google Patents

ピッキングシステム、情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP7237496B2
JP7237496B2 JP2018169076A JP2018169076A JP7237496B2 JP 7237496 B2 JP7237496 B2 JP 7237496B2 JP 2018169076 A JP2018169076 A JP 2018169076A JP 2018169076 A JP2018169076 A JP 2018169076A JP 7237496 B2 JP7237496 B2 JP 7237496B2
Authority
JP
Japan
Prior art keywords
item
robot
identification information
picking
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018169076A
Other languages
English (en)
Other versions
JP2020040780A (ja
Inventor
香菜 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2018169076A priority Critical patent/JP7237496B2/ja
Priority to PCT/JP2019/035565 priority patent/WO2020054724A1/ja
Priority to EP19858773.5A priority patent/EP3822202A4/en
Publication of JP2020040780A publication Critical patent/JP2020040780A/ja
Priority to US17/169,826 priority patent/US20210162606A1/en
Application granted granted Critical
Publication of JP7237496B2 publication Critical patent/JP7237496B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/91Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/915Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers provided with drive systems with rotary movements only
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089Determining the position of the robot with reference to its environment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08Control devices operated by article or material being fed, conveyed or discharged
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/91Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/917Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers control arrangements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37425Distance, range
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39107Pick up article, object, measure, test it during motion path, place it
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40543Identification and location, position of components, objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Specific Conveyance Elements (AREA)

Description

本発明の実施形態は、ピッキングシステム、情報処理装置及び情報処理プログラムに関する。
ピッキングロボットにより物品を把持して移動させるピッキング動作の際、物品の形状を計測して、計測した形状に基づいて物品の姿勢を推定することが知られている。物品の形状計測では、例えばCADデータである物品形状の正解データと計測により得られた物品形状データとのマッチングを行う手法が一般的である。この手法では、正解データの事前準備が必要となるため、正解データが用意されていない物品、すなわち未知のアイテムの形状計測に手間がかかる。
特開2010-247959号公報
本発明は、上記の課題を解決するために、未知のアイテムであっても適切に形状計測を行うことができるピッキングシステム、情報処理装置及び情報処理プログラムを提供することを目的とする。
実施形態によれば、ピッキングシステムは、アイテムの識別情報を含む命令に従ってアイテムを把持して移動させるロボットアームを備えるピッキングロボットと、ロボットアームにより前記アイテムが移動され、通過する一平面を測定範囲とする位置に設置され、前記位置から測定範囲を通過するアイテムまでの距離を測定する距離センサと、距離センサにより測定された測定結果に基づいて、アイテムの形状を表す形状情報を算出する解析部と、アイテムの識別情報と形状情報とを対応付けたデータベースを記憶する記憶部と、ピッキングロボットが把持するアイテムの識別情報が、記憶部が記憶するデータベースに含まれるか否かを判定する判定部の判定に応じて、アイテムが測定範囲を通過する際に、ロボットアームの移動速度を制御するロボット制御部とを備える。
図1は、ピッキングシステムの構成の一例を概略的に示す図である。 図2は、ピッキングシステムの構成の一例を示すブロック図である。 図3は、ピッキングシステムの構成の一例を概略的に示すブロック図である。 図4は、事前準備されたアイテムデータベースの一例を示す図である。 図5は、ピッキングフローの一例を示す図である。 図6は、ピッキングロボットによる引き上げ動作の一例を示す図である。 図7は、未知のアイテムの形状計測後に更新されたアイテムデータベースの一例を示す図である。
以下、本発明の実施形態について図面を参照して説明する。本実施形態では、ピッキングシステムは、例えばレーザーレンジファインダ(LRF)である、距離センサを利用した、ピッキングロボットにおける把持アイテム形状計測システムである。ピッキングシステムでは、LRF等の距離センサを用い、アイテムに応じてピッキングロボットのロボットアームの移動速度を制御することにより、ピッキングロボットの動きを止めることなく、ピッキングロボットが把持しているアイテムの形状を計測する。ここで、アイテムとは、ピッキング対象の物品又は荷物を指す。アイテムは、直方体などの定形の六面体、あるいは不定形であってよい。
図1は、ピッキングシステム1の構成の一例を概略的に示す図である。ピッキングシステム1は、ピッキングロボット10を有している。ピッキングロボット10は、アイテム4を把持して移動させ適所にプレースする荷役装置である。プレースとは、ピッキングロボットが把持しているアイテム4を置いて放すことを指す。
ピッキングロボット10は、例えば、不図示のコンベア上を流れて台2の開口部3から出てくるアイテム4を把持して移動させ、コンベア5上のコンテナ6にプレースする一連のピッキング動作を行う。図1では、アイテム4がプレースされるコンテナ6がコンベア5上に配置されているが、コンテナ6の配置はこれに限定されない。コンテナ6はコンベア5上になくてもよい。アイテム4は、コンベア5にプレースされるなど、コンテナ6以外にプレースされてもよい。
ピッキングシステム1は、距離センサを有している。図1には、距離センサの一例として、2つのLRF7、8が示されている。LRF7、8は、それぞれ、ピッキングロボット10がピッキングしたアイテム4の移動軌跡上で、アイテム4までの距離を測定する。LRF7、8は、例えば、赤外線レーザーを発振してレーザー光を照射し、ピッキングロボット10が把持しているアイテムである対象物による反射の度合いにより対象物までの距離を測定する光学機器である。レーザー光は、赤外線レーザー光に限定されず、可視光線、紫外線などのレーザー光でもよい。
LRF7、8は、それぞれ、移動軌跡上のいずれかの箇所を通過するアイテム4とLRF7、8の照射部とが対向する任意の位置に配置されている。例えば、LRF7、8は、ピッキングロボット10により移動されるアイテム4が通過する一平面を測定範囲とする位置に設置されている。LRF7、8は、それぞれ、破線で示される扇形の測定範囲(測定軌道)を走査する。LRF7、8は、設置された位置から測定範囲を通過するアイテム4までの距離を測定する。
LRF7、8は、移動軌跡上にある定点をアイテム4が通過するタイミングで、当該アイテム4までの距離を測定する。その際、LRF7、8は、アイテム4の移動方向と交差する直線上の所定長さにわたってレーザー光を照射する。例えば、LRF7、8は、アイテム4の移動方向(鉛直方向)と直交する水平面上の一方向に沿って直線状にレーザー光を照射する。そして、アイテム4が移動軌跡上を移動することで、LRF7、8は、アイテム4の表面を所定範囲にわたって面状に走査(距離測定)する。測定された距離の値に基づいて、後述する情報処理装置100によりアイテムの形状が算出される。
2つのLRF7、8は、例えば台2の上に互いに直交するように配置されている。LRF7、8の配置はこれに限定されず、アイテムの形状を計測するために必要なデータを多方面から取得できる配置であればよい。例えば、開口部3の内部に配置されてもよい。ピッキングロボット10によりピッキングされているアイテムがLRF7、8の測定範囲内を通過するような配置であればよい。
図1には2つのLRF7、8が示されているが、LRFの数はこれに限定されない。1つ設置されてもよいし、複数設置されてもよい。LRFの数が1つの場合、LRFを3次元走査させることでアイテムまでの距離を表す3次元データが取得される。LRFの数が2つの場合、それぞれのLRFを2次元走査させることでアイテムまでの距離を表す3次元データが取得される。
距離センサはLRFに限定されない。距離センサは、ピッキングロボット10が把持しているアイテムまでの位置情報などの3次元データを取得でき、これに基づいて情報処理装置でアイテムの形状を算出可能なものであればよい。
ピッキングロボット10は、ロボットアーム11と、ロボットアーム11の先端に設けられた把持部12とを有している。
ロボットアーム11は、例えば、複数のアームと、アーム間を連結している複数の関節機構とを有している。関節機構は、後述するロボット制御装置20の制御により動作し、連結している2つのアームの相対的な角度を変化させる。すなわち、関節機構によってアームが移動する。
把持部12は、アイテム4を把持する。例えば把持部12は、アイテム4を吸着する吸着パッドを含む。吸着パッドの数は、1つでもよいし、複数であってもよい。吸着パッドがアイテム4の表面に接した状態で、ロボット制御装置20の制御により吸着パッド内が負圧にされると、吸着パッドは、アイテム4の表面に真空吸着する。吸着パッド内の負圧が解除されると、吸着パッドはアイテム4を解放する。
把持部12は、アイテム4を挟持するグリッパを含むものであってもよい。ピッキング対象となるアイテムを把持可能な種々の把持機構を採用してよい。
図2は、ピッキングシステム1の構成の一例を示すブロック図である。ピッキングシステム1は、図1を参照して説明したLRF7、8と、ピッキングロボット10と、操作端末30と、情報処理装置100とを有している。
ピッキングロボット10は、ロボット制御装置20と、通信インタフェース21とを有している。ロボット制御装置20は、プロセッサ22と、メモリ23と、ストレージ24とを有している。また、ピッキングロボット10は、アーム駆動機構26と、把持部駆動機構27とを有している。これらは、バスライン25を介して通信可能である。
通信インタフェース21は、外部機器との通信に用いられるインタフェースである。通信インタフェース21は、LRF7、8、操作端末30、情報処理装置100と通信するための通信規格などに対応した端子及び回路を備える。通信インタフェース21は、プロセッサ22の制御に基づいて、ネットワーク9を介して、LRF7、8、操作端末30及び情報処理装置100と通信する。
プロセッサ22は、例えば、CPU(Central Processing Unit)により構成されている。メモリ23は、読み出し専用のデータメモリであるROM(Read Only Memory)又はデータを一時的に記憶するRAM(Random Access Memory)を含む。ストレージ24は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)などであってよい。メモリ23又はストレージ24は、ピッキングロボット10の各部の制御プログラムや各種データを記憶している。プロセッサ22は、メモリ23又はストレージ24に記憶されているプログラム等に基づいて種々の処理を行う。つまり、プロセッサ22は、ソフトウェア機能部として各種プログラムを実行する。CPUに代わって、ハードウェア機能部としてのASIC(Application Specific Integrated Circuit)又はFPGA(Field Programmable Gate Array)などの制御回路が用いられてもよい。
アーム駆動機構26は、ロボットアーム11を動作させるための駆動源を含む。アーム駆動機構26は、プロセッサ22の制御に基づいて、ロボットアーム11を動作させる。
把持部駆動機構27は、例えば把持部12の吸着パッド内に負圧状態を生成するための駆動源を含む。把持部駆動機構27は、プロセッサ22の制御に基づいて、把持部12を動作させる。
操作端末30は、例えば、ピッキングシステム1における画面表示と指示入力とに用いられるタッチパネルであってよい。操作端末30は、タッチパネルに代わって、ディスプレイなどの表示装置とキーボード又はマウスなどの入力装置とを有してもよい。
情報処理装置100は、通信インタフェース101と、プロセッサ102と、メモリ103と、ストレージ104とを有している。これらは、バスライン105を介して通信可能である。
通信インタフェース101は、外部機器との通信に用いられるインタフェースである。通信インタフェース101は、ピッキングロボット10、操作端末30等と通信するための通信規格などに対応した端子及び回路を備える。通信インタフェース101は、例えば、ピッキングロボット10がピッキングするアイテム、すなわちロボットアーム11の把持部12が把持するアイテムの識別情報を含むオーダーを例えば操作端末30から受信する受信部として機能する。
プロセッサ102は、例えばCPUにより構成されている。メモリ103は、ROM又はRAMを含む。ストレージ104は、HDD又はSSDなどであってよい。メモリ103又はストレージ104は、ピッキングシステム1の各種制御プログラムやデータを記憶している。プロセッサ102は、メモリ103又はストレージ104に記憶されているプログラム等に基づいて種々の処理を行う。つまり、プロセッサ102は、ソフトウェア機能部として各種プログラムを実行する。CPUに代わって、ハードウェア機能部としてのASIC又はFPGAなどの制御回路が用いられてもよい。
図3は、情報処理装置100の周辺機器の構成の一例を示すブロック図である。情報処理装置100は、解析部106と、推定部107とを備える。解析部106及び推定部107の機能は、ソフトウェア機能部又はハードウェア機能部としてのプロセッサ102により実現されてよい。また、情報処理装置100は、例えば後述するアイテムデータベースであるデータベース(DB)108を含む。DB108は、例えば記憶部としてのストレージ104に記憶されている。
情報処理装置100は、LRF7、8による測定データを受信する。情報処理装置100は、解析部106及び推定部107により、測定データに基づく形状計測、形状計測データとアイテムDBの形状データとの照合、アイテムの姿勢推定等の処理を行う。
DB108は、アイテムDBを含む。アイテムDBには、ピッキングロボットが把持するアイテムの識別情報とアイテムの形状情報とが対応付けられて保存されている。アイテムDBには、例えばアイテムの入庫時に識別情報及び形状情報が人手で入力されてよい。当該情報を保持しているバーコードや二次元コードなどの読み取りにより入力されてもよい。
図4は、アイテムDBの一例であるアイテムテーブルを示す図である。アイテムテーブルの項目は、例えば、アイテムIDと、アイテム名と、アイテム(例えば六面体)の3辺の長さ、すなわちアイテムのサイズとを含む。アイテムIDは、アイテムごとに付与された識別番号である。アイテム名は、商品名、商品コード等である。アイテムID及びアイテム名は、アイテムの識別情報の一例である。アイテムの3辺の長さX,Y,Zは、それぞれ、六面体のアイテムの縦の長さ、横の長さ及び高さである。箱形状のアイテムの3辺の長さは、アイテムの形状情報の一例である。
ピッキングシステム1では、例えば上位サーバーである情報処理装置100がシステム全体を統括する。情報処理装置100は、ピッキングロボット10にどのアイテムを把持するかの指示であるオーダー、すなわちアイテムの識別情報を含む命令を送信する。ピッキングロボット10は、受信したオーダーに基づいてピッキング動作を行う。つまり、ピッキングロボット10は、命令に従ってアイテムを把持して移動させる。
図5を参照して、ピッキングシステム1によるピッキング動作の一例について説明する。
ステップS101において、情報処理装置100は、操作端末30からオーダーを受信する。オーダーは、どの識別情報のアイテムを把持するべきかを指定する指令である。
ステップS102において、情報処理装置100は、把持すべきアイテムの識別情報に基づいて、DB108のアイテムDBを参照する。
ステップS103において、情報処理装置100は、オーダーで指定されたアイテムが未知のアイテムであるか否か、すなわち、指定されたアイテムが未知か既知かを判定する。未知とは、ステップS102で参照したアイテムDBに当該アイテムの情報が存在しないことを指す。既知とは、ステップS102で参照したアイテムDBに当該アイテムの情報が存在していること、すなわち当該アイテムの形状情報があることを指す。アイテムが未知のものであった場合には(ステップS103-Yes)、処理はステップS104に進む。そして、ステップS104からステップS107の一連の初回登録動作が行われる。一方、アイテムが既知のものであった場合には(ステップS103-No)、処理はステップS108に進む。そして、ステップS108からステップS111の一連の通常動作が行われる。
以下、ステップS104からステップS107の初回登録動作について説明する。初回登録動作は、アイテムの情報(ここでは形状情報)がアイテムDBに存在しない場合にアイテムの情報を初めて登録するための動作である。
ステップS104において、ピッキングロボット10は、情報処理装置100から受信した制御信号に基づいて、ロボット制御装置20の制御により、把持部12でアイテムを把持する。
ステップS105において、ピッキングロボット10は、把持しているアイテムをLRF7、8の測定範囲内、すなわち測定軌道上で少しずつ引き上げて、LRF7、8に対してアイテム全体を走査させる。つまり、ピッキングロボット10は、把持しているアイテムを低速で移動させながらLRF7、8に対する走査を行わせる。
図6は、LRF7、8による走査中、把持部12が吸着パッド13により把持しているアイテム4を引き上げる動作を例示する図である。LRF7、8は、アイテム4の少なくとも2点以上の距離を所定時間の間、測定する。例えば、2つのLRF7、8が、引き上げられているアイテム4の異なる面に対してレーザー光を発振して照射することにより、各LRF7、8からアイテム4までの距離を測定する。なお、引き上げる動作自体は、引き上げ速度を除いて初回登録動作と通常動作とで共通である。引き上げる動作を止めることなく、LRF7、8による走査が行われる。
ここでは、把持しているアイテムは形状情報が登録されていない未知のアイテムである。ピッキングロボット10は、未知のアイテムを把持している場合には、ロボットアーム11を動かす速度を通常速度(例えば既知のアイテムをピッキングしているロボットアーム11を動かす速度)よりも遅くする。ロボットアーム11の動く速度が遅ければ、アイテムの引き上げ速度が遅くなり、LRF7、8が取得するアイテムまでの距離の値、すなわち単位時間当たりに得られるデータ量は多くなる。
ステップS106において、情報処理装置100は、解析部106により、ステップS105でのLRF7、8による距離測定のデータ、すなわち距離センサにより測定された測定結果に基づいて、アイテムの形状を表す形状情報を算出する。未知のアイテムの場合には、距離測定のデータ量が多いため、算出されるアイテムの形状情報の精度が高い。
ステップS107において、情報処理装置100は、ステップS106で算出されたアイテムの形状情報を当該アイテムの識別情報と対応付けてDB108のアイテムDBに新規登録する。
例えば、図7に示されるアイテムテーブルのように、図4に示されるアイテムテーブルにアイテムID:I00005の項目の欄が追加され、当該アイテムの形状情報が登録される。図7に示されるアイテムテーブルでは、アイテムID:I00005、アイテム名:Eのアイテム識別情報と対応付けられた形状情報として、X:10[mm]、Y:30[mm]、Z:10[mm]との値が新規登録されている。
以下、ステップS108からステップS111までの通常動作について説明する。通常動作は、アイテムの情報(ここでは形状情報)がアイテムDBに存在する場合に当該アイテムの情報を照合するための動作である。
ステップS108において、ピッキングロボット10は、情報処理装置100から受信した制御信号に基づいて、ロボット制御装置20の制御により、把持部12でアイテムを把持する。
ステップS109において、ピッキングロボット10は、把持しているアイテムをLRF7、8の測定範囲内、すなわち測定軌道上で素早く引き上げて、LRF7、8に対してアイテム全体を走査させる。つまり、ピッキングロボット10は、把持しているアイテムを通常速度で移動させながらLRF7、8に対する走査を行わせる。通常速度は、アイテムDBに登録されているアイテムの形状情報との照合に十分な距離測定のデータ量が取れる速度である。通常速度は、ステップS105における引き上げの速度よりも速い速度である。ここでは、把持しているアイテムは形状情報が登録されている既知のアイテムである。ピッキングロボット10は、既知のアイテムを把持している場合には、ロボットアーム11を動かす速度を通常速度とする。
ステップS110において、情報処理装置100は、ステップS109でのLRF7、8による距離測定のデータに基づいて、アイテムの形状を算出する。
ステップS111において、情報処理装置100は、解析部106により、ステップS110で算出されたアイテムの形状情報をDB108のアイテムDBに登録済みのアイテムの形状情報と比較する。すなわち、情報処理装置100は、アイテムの形状情報を照合する。既知のアイテムの場合にはアイテムの引き上げ速度が未知のアイテムの場合よりも速いため、ステップS110でのアイテムの形状算出に用いた距離測定のデータ量が初回登録時よりも少なくなっているが、ステップS110で算出された形状情報の精度は、登録済みのアイテムの形状情報との比較、例えば照合には十分な精度を有しているものとする。
照合して両者が大きく異なる場合には、情報処理装置100は、エラーを出力する、ピッキング動作を停止する指令を出力する、などしてもよい。ここでの照合処理により、意図せず2個のアイテムを同時に把持してしまった場合、あるいはオーダーとは異なるアイテムを把持してしまった場合、などの誤動作を検出可能である。照合して両者がほぼ一致していれば、情報処理装置100は、所望のアイテムを適切に把持していると判定してよい。
ステップS107又はステップS111の後、処理はステップS112に進む。ステップS112において、情報処理装置100は、推定部107により、LRF7、8で測定したアイテムまでの距離に基づいてアイテムの姿勢を推定する。アイテムの姿勢とは、把持部12に対してアイテムがどのような向き及び位置で把持しているかを指す。アイテムの姿勢は、例えば、ステップS106又はS107で算出したアイテムの形状情報と、ロボットアーム11の状態を表す状態情報とに基づいて算出される。ロボットアーム11の状態情報は、ロボット制御装置20から取得される。アイテムの姿勢を推定した後、処理は終了する。
なお、ステップS110及びステップS111における、既知のアイテムの形状の算出及びDBとの照合は、ステップS109の処理と並列に行ってよく、おおよその一致が確認できれば照合を終了するようにしてもよい。
以上説明したように、本実施形態では、ピッキングシステム1は、アイテムの識別情報を含む命令に従ってアイテム4を把持して移動させるロボットアーム11を備えるピッキングロボット10と、ロボットアーム11によりアイテム4が移動され、通過する一平面を測定範囲とする位置に設置され、前記位置から前記測定範囲を通過するアイテム4までの距離を測定する距離センサ、例えばLRF7、8と、距離センサにより測定された測定結果に基づいて、アイテム4の形状を表す形状情報を算出する解析部106と、アイテムの識別情報と形状情報とを対応付けたデータベース108を記憶する記憶部、例えばストレージ104とを備える。また、ピッキングシステム1は、ピッキングロボット10が把持するアイテム4の識別情報が、記憶部が記憶するデータベース108に含まれるか否かを判定する判定部(例えば情報処理装置100のプロセッサ102)の判定に応じて、アイテム4が前記測定範囲を通過する際に、ロボットアーム11の移動速度を制御するロボット制御部、例えばロボット制御装置20のプロセッサ22を備える。
本実施形態によれば、ピッキングシステム1において、アイテム形状計測のための距離センサとしてLRF7、8を使用することにより、ロボットアーム11の動きを止めることなく、アイテムの形状を計測することが可能となる。
例えばステレオカメラを用いてアイテムの形状を計測する場合には、ロボットアーム11の動きを一旦止めて撮影を行う必要がある。このような停止は、停止処理及び再開処理に要する時間に起因してタクトタイムを延ばしうる。本実施形態によれば、ロボットアーム11による引き上げ動作中にLRF7、8による走査が行われるため、ロボットアーム11の動きの停止によるタクトタイムの延長をもたらさない。
また、LRFはステレオカメラよりも安価である。このため、比較的安価な距離センサを用いて未知のアイテムの形状計測を行うことが可能となる。複数台、例えば2台のLRFを設置するとしても、ステレオカメラを設置するよりも安く済む。ロボットアーム11により移動されているアイテムまでの距離を異なる方向から測定するように配置された複数台のLRFを用いれば、安価に、精度よく、未知のアイテムの形状計測を行うことができる。
本実施形態では、ロボット制御装置20は、ロボット制御部として、アイテムが既知か未知かの判定に応じて、アイテムがLRF7、8の計測範囲を通過する際に、ロボットアーム11が移動する移動速度の制御を行う。例えば、ロボット制御装置20は、DB108に形状情報が登録されていない未知のアイテムを引き上げる場合にロボットアーム11が動く速度が、DB108に形状情報が登録されている既知のアイテムを引き上げる場合にロボットアーム11が動く速度よりも遅くなるように速度を制御する。これにより、未知のアイテムに対して単位時間当たりにLRF7、8から得られるデータ量は、既知のアイテムに対して得られるデータ量よりも多くなる。したがって、未知のアイテムに対して得られるデータ量が十分に確保される。未知のアイテムに対する形状計測の精度を高めることができる。
本実施形態によれば、情報処理装置100は、未知のアイテムの形状情報を作成し、DB108に取り込んで登録することを可能にする。形状情報が登録された未知のアイテムは、同じ識別情報のアイテムが次にピッキングされる場合にアイテムの形状情報として用いることができる。これにより、作業効率が上がり、タクトタイムが短縮される。
また、既知のアイテムに対しても未知のアイテムに対しても形状情報に基づいて姿勢推定が行われることにより、把持したアイテムの適正な場所への移動や適正な高さでの解放が可能となる。
例えば、アイテムの形状情報が既知か未知かに応じて、ロボットアーム11の速度を制御する以外の制御をしてもよい。例えば、アイテムの形状情報が既知の場合には、アイテムを斜め方向に引き上げることで処理効率を上げることが可能である。
また、アイテムの形状情報が既知であっても、形状情報に応じてロボットアーム11の速度が制御されてよい。例えば、厚いアイテム、すなわち高さ方向の値が大きいアイテムであれば、LRF7、8から得られるデータ量が少なくても形状情報の精度への影響が少ないため、ロボットアーム11を速く動かしても十分な精度の形状情報が得られる。一方、薄いアイテム、すなわち高さ方向の値が小さいアイテムであれば、LRF7、8から得られるデータ量が多くなければ十分な精度の形状情報が得られない。このため、ロボットアーム11はゆっくり動かされる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の出願当初の特許請求の範囲に記載の発明を付記する。
[C1]
アイテムの識別情報を含む命令に従って前記アイテムを把持して移動させるロボットアームを備えるピッキングロボットと、
前記ロボットアームにより前記アイテムが移動され、通過する一平面を測定範囲とする位置に設置され、前記位置から前記測定範囲を通過する前記アイテムまでの距離を測定する距離センサと、
前記距離センサにより測定された測定結果に基づいて、前記アイテムの形状を表す形状情報を算出する解析部と、
前記アイテムの識別情報と形状情報とを対応付けたデータベースを記憶する記憶部と、
前記ピッキングロボットが把持する前記アイテムの識別情報が、前記記憶部が記憶するデータベースに含まれるか否かを判定する判定部の判定に応じて、前記アイテムが前記測定範囲を通過する際に、前記ロボットアームの移動速度を制御するロボット制御部と、
を具備する、ピッキングシステム。
[C2]
前記距離センサは、前記アイテムの少なくとも2点以上の距離を所定時間の間、測定する、[C1]に記載のピッキングシステム。
[C3]
前記判定部が前記識別情報が前記データベースに含まれると判定した場合、前記ロボット制御部は、前記判定部が前記識別情報が前記データベースに含まれると判定した場合よりも前記移動速度を遅くする、[C1]に記載のピッキングシステム。
[C4]
前記距離センサが複数設置されている、[C1]乃至[C3]のいずれか1つに記載のピッキングシステム。
[C5]
前記複数の距離センサは、それぞれ、前記アイテムの異なる面に対して前記アイテムまでの距離を測定するように前記位置に設置されている、[C4]に記載のピッキングシステム。
[C6]
前記距離センサで測定された前記アイテムまでの距離に基づいて前記アイテムの姿勢を推定する推定部をさらに具備する、[C1]乃至[C5]のいずれか1つに記載のピッキングシステム。
[C7]
アイテムの識別情報を含む命令に従って前記アイテムを把持して移動させるロボットアームを備えるピッキングロボットの前記ロボットアームにより前記アイテムが移動された場合に、前記アイテムが通過する一平面を測定範囲とする位置に設置され、前記位置から前記測定範囲を通過する前記アイテムまでの距離を測定する距離センサにより測定された測定結果に基づいて、前記アイテムの形状を表す形状情報を算出する解析部と、
前記アイテムの識別情報と形状情報とを対応付けたデータベースを記憶する記憶部と、
前記ピッキングロボットが把持する前記アイテムの識別情報が、前記記憶部が記憶するデータベースに含まれるか否かを判定する判定部の判定に応じて、前記アイテムが前記測定範囲を通過する際に、前記ロボットアームの移動速度を制御するロボット制御部と、
を具備する、情報処理装置。
[C8]
コンピュータを、
アイテムの識別情報を含む命令に従って前記アイテムを把持して移動させるロボットアームを備えるピッキングロボットの前記ロボットアームにより前記アイテムが移動された場合に、前記アイテムが通過する一平面を測定範囲とする位置に設置され、前記位置から前記測定範囲を通過する前記アイテムまでの距離を測定する距離センサにより測定された測定結果に基づいて、前記アイテムの形状を表す形状情報を算出する解析部と、
前記アイテムの識別情報と形状情報とを対応付けたデータベースを記憶する記憶部と、
前記ピッキングロボットが把持する前記アイテムの識別情報が、前記記憶部が記憶するデータベースに含まれるか否かを判定する判定部の判定に応じて、前記アイテムが前記測定範囲を通過する際に、前記ロボットアームの移動速度を制御するロボット制御部
として機能させるためのプログラム。
1…ピッキングシステム、2…台、3…開口部、4…アイテム、5…コンベア、6…コンテナ、7、8…LRF、10…ピッキングロボット、11…ロボットアーム、12…把持部、13…吸着パッド、20…ロボット制御装置、21…通信インタフェース、22…プロセッサ、23…メモリ、24…ストレージ、25…バスライン、26…アーム駆動機構、27…把持部駆動機構、30…操作端末、100…情報処理装置、101…通信インタフェース、102…プロセッサ、103…メモリ、104…ストレージ、105…バスライン、106…解析部、107…推定部、108…データベース。

Claims (7)

  1. アイテムの識別情報を含む命令に従って前記アイテムを把持して移動させるロボットアームを備えるピッキングロボットと、
    前記ロボットアームにより前記アイテムが移動され、通過する一平面を測定範囲とする位置に設置され、前記位置から前記測定範囲を通過する前記アイテムまでの距離を測定する距離センサと、
    前記距離センサにより測定された測定結果に基づいて、前記アイテムの形状を表す形状情報を算出する解析部と、
    前記アイテムの識別情報と形状情報とを対応付けたデータベースを記憶する記憶部と、
    前記ピッキングロボットが把持する前記アイテムの識別情報が、前記記憶部が記憶するデータベースに含まれるか否かを判定する判定部の判定に応じて、前記アイテムが前記測定範囲を通過する際に、前記ロボットアームの移動速度を制御するロボット制御部と、
    を具備し、
    前記判定部が前記識別情報が前記データベースに含まれないと判定した場合、前記ロボット制御部は、前記判定部が前記識別情報が前記データベースに含まれると判定した場合よりも前記移動速度を遅くする、ピッキングシステム。
  2. 前記距離センサは、前記アイテムの少なくとも2点以上の距離を所定時間の間、測定する、請求項1に記載のピッキングシステム。
  3. 前記距離センサが複数設置されている、請求項1又は2に記載のピッキングシステム。
  4. 前記複数の距離センサは、それぞれ、前記アイテムの異なる面に対して前記アイテムまでの距離を測定するように前記位置に設置されている、請求項に記載のピッキングシステム。
  5. 前記距離センサで測定された前記アイテムまでの距離に基づいて、前記ロボットアームにより把持された前記アイテムの姿勢を推定する推定部をさらに具備する、請求項1乃至のいずれか1項に記載のピッキングシステム。
  6. アイテムの識別情報を含む命令に従って前記アイテムを把持して移動させるロボットアームを備えるピッキングロボットの前記ロボットアームにより前記アイテムが移動された場合に、前記アイテムが通過する一平面を測定範囲とする位置に設置され、前記位置から前記測定範囲を通過する前記アイテムまでの距離を測定する距離センサにより測定された測定結果に基づいて、前記アイテムの形状を表す形状情報を算出する解析部と、
    前記アイテムの識別情報と形状情報とを対応付けたデータベースを記憶する記憶部と、
    前記ピッキングロボットが把持する前記アイテムの識別情報が、前記記憶部が記憶するデータベースに含まれるか否かを判定する判定部の判定に応じて、前記アイテムが前記測定範囲を通過する際に、前記ロボットアームの移動速度を制御するロボット制御部と、
    を具備し、
    前記判定部が前記識別情報が前記データベースに含まれないと判定した場合、前記ロボット制御部は、前記判定部が前記識別情報が前記データベースに含まれると判定した場合よりも前記移動速度を遅くする、情報処理装置。
  7. コンピュータを、
    アイテムの識別情報を含む命令に従って前記アイテムを把持して移動させるロボットアームを備えるピッキングロボットの前記ロボットアームにより前記アイテムが移動された場合に、前記アイテムが通過する一平面を測定範囲とする位置に設置され、前記位置から前記測定範囲を通過する前記アイテムまでの距離を測定する距離センサにより測定された測定結果に基づいて、前記アイテムの形状を表す形状情報を算出する解析部と、
    前記アイテムの識別情報と形状情報とを対応付けたデータベースを記憶する記憶部と、
    前記ピッキングロボットが把持する前記アイテムの識別情報が、前記記憶部が記憶するデータベースに含まれるか否かを判定する判定部の判定に応じて、前記アイテムが前記測定範囲を通過する際に、前記ロボットアームの移動速度を制御するロボット制御部
    として機能させるためのプログラムであって、
    前記判定部が前記識別情報が前記データベースに含まれないと判定した場合、前記ロボット制御部は、前記判定部が前記識別情報が前記データベースに含まれると判定した場合よりも前記移動速度を遅くする、プログラム。
JP2018169076A 2018-09-10 2018-09-10 ピッキングシステム、情報処理装置及び情報処理プログラム Active JP7237496B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018169076A JP7237496B2 (ja) 2018-09-10 2018-09-10 ピッキングシステム、情報処理装置及び情報処理プログラム
PCT/JP2019/035565 WO2020054724A1 (ja) 2018-09-10 2019-09-10 ピッキングシステム、情報処理装置及びコンピュータ可読記憶媒体
EP19858773.5A EP3822202A4 (en) 2018-09-10 2019-09-10 ORDER PICKING SYSTEM, INFORMATION PROCESSING DEVICE AND COMPUTER READABLE RECORDING MEDIUM
US17/169,826 US20210162606A1 (en) 2018-09-10 2021-02-08 Picking system, information processing device, and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018169076A JP7237496B2 (ja) 2018-09-10 2018-09-10 ピッキングシステム、情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2020040780A JP2020040780A (ja) 2020-03-19
JP7237496B2 true JP7237496B2 (ja) 2023-03-13

Family

ID=69777898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018169076A Active JP7237496B2 (ja) 2018-09-10 2018-09-10 ピッキングシステム、情報処理装置及び情報処理プログラム

Country Status (4)

Country Link
US (1) US20210162606A1 (ja)
EP (1) EP3822202A4 (ja)
JP (1) JP7237496B2 (ja)
WO (1) WO2020054724A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008049459A (ja) 2006-08-28 2008-03-06 Toshiba Corp マニピュレータ制御システム、マニピュレータ制御方法およびプログラム
JP2010247959A (ja) 2009-04-16 2010-11-04 Ihi Corp 箱状ワーク認識装置および方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6763281B2 (en) * 1999-04-19 2004-07-13 Applied Materials, Inc Apparatus for alignment of automated workpiece handling systems
JP3859574B2 (ja) * 2002-10-23 2006-12-20 ファナック株式会社 3次元視覚センサ
KR20090017748A (ko) * 2007-08-16 2009-02-19 삼성중공업 주식회사 비접촉식 3차원 형상 계측장치에서 피계측물 스캐닝 방법
US9174343B2 (en) * 2008-08-27 2015-11-03 Murata Machinery, Ltd. Picking system and picking method
JP5402697B2 (ja) * 2009-10-26 2014-01-29 株式会社安川電機 ロボット装置及びワーク取り出しシステム並びにワーク取り出し方法
JP4938115B2 (ja) * 2010-07-27 2012-05-23 ファナック株式会社 ワーク取出し装置およびワーク取出し方法
US9067744B2 (en) * 2011-10-17 2015-06-30 Kabushiki Kaisha Yaskawa Denki Robot system, robot, and sorted article manufacturing method
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法
JP2013145525A (ja) * 2012-01-16 2013-07-25 Fuji Electric Co Ltd 物品取り出し判定装置、物品取り出し判定システム、物品取り出しシステム、物品取り出し判定プログラムおよび物品取り出し判定方法
JP6323993B2 (ja) * 2012-08-28 2018-05-16 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
AT517874B1 (de) * 2015-10-21 2018-06-15 Wittmann Kunststoffgeraete Einrichtung zum Umschlag bzw. zur Hantierung und Transport von Werkstücken
CA3010229A1 (en) * 2016-01-05 2017-07-13 Walmart Apollo, Llc Apparatus and method for monitoring merchandise
US20170322561A1 (en) * 2016-05-03 2017-11-09 Bby Solutions, Inc. Robotic inventory dispensary operational enhancements
US9715232B1 (en) * 2016-09-19 2017-07-25 X Development Llc Using planar sensors for pallet detection
JP2018122945A (ja) * 2017-01-30 2018-08-09 株式会社東芝 可変型物品保持装置、移載装置、ロボットハンドリングシステム、および移載装置の制御方法
JP2018144155A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6846949B2 (ja) * 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6846950B2 (ja) * 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6937200B2 (ja) * 2017-09-12 2021-09-22 株式会社東芝 物品移動装置、物品移動方法、および物品移動制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008049459A (ja) 2006-08-28 2008-03-06 Toshiba Corp マニピュレータ制御システム、マニピュレータ制御方法およびプログラム
JP2010247959A (ja) 2009-04-16 2010-11-04 Ihi Corp 箱状ワーク認識装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Simon P.Kriegel,Autonomous 3D Modeling of Unknown Objects for Active Scene Exploration,TECHNISCHE UNIVERSITAT MUNCHEN,ドイツ,2014年12月08日

Also Published As

Publication number Publication date
US20210162606A1 (en) 2021-06-03
JP2020040780A (ja) 2020-03-19
EP3822202A1 (en) 2021-05-19
EP3822202A4 (en) 2022-04-06
WO2020054724A1 (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
JP7411932B2 (ja) 自動パッケージ登録システム、デバイス、および方法
US10369701B1 (en) Automated package registration systems, devices, and methods
US11772267B2 (en) Robotic system control method and controller
JP5788460B2 (ja) バラ積みされた物品をロボットで取出す装置及び方法
JP2021030439A (ja) 物体を把持および保持するためのロボットマルチグリッパアセンブリおよび方法
JP6879238B2 (ja) ワークピッキング装置及びワークピッキング方法
JP2014161965A (ja) 物品取り出し装置
CN112123342B (zh) 一种机器人系统以及测控方法
JP2019155542A (ja) 搬送装置、搬送システム、コントローラ、および搬送方法
CN111483750A (zh) 机器人系统的控制方法以及控制装置
US20190126473A1 (en) Information processing apparatus and robot arm control system
JP2022066611A (ja) 情報処理装置、情報処理方法、プログラム、及び荷降しシステム
JP2023024980A (ja) 画像ベースのサイジングメカニズムを備えたロボットシステム及びロボットシステムを操作するための方法
JP7237496B2 (ja) ピッキングシステム、情報処理装置及び情報処理プログラム
JP2020040159A (ja) 情報処理装置、ピッキングロボットシステム、情報処理方法及び情報処理プログラム
JP2016078180A (ja) 異常原因推定装置、ピッキング装置及びピッキング装置における異常原因推定方法
CN111470244B (zh) 机器人系统的控制方法以及控制装置
WO2019130429A1 (ja) ピッキング対象物把持情報登録システム
TWI808046B (zh) 基板傳送系統
JP7218881B1 (ja) 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法
CN117769482A (zh) 机器人控制设备、机器人控制系统和机器人控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230301

R150 Certificate of patent or registration of utility model

Ref document number: 7237496

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150