JP2023529878A - コンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体 - Google Patents

コンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体 Download PDF

Info

Publication number
JP2023529878A
JP2023529878A JP2022575470A JP2022575470A JP2023529878A JP 2023529878 A JP2023529878 A JP 2023529878A JP 2022575470 A JP2022575470 A JP 2022575470A JP 2022575470 A JP2022575470 A JP 2022575470A JP 2023529878 A JP2023529878 A JP 2023529878A
Authority
JP
Japan
Prior art keywords
container
target
adjacent
distance
warehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022575470A
Other languages
English (en)
Inventor
李彙祥
趙穎
鄭睿群
Original Assignee
深▲せん▼市海柔▲創▼新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深▲せん▼市海柔▲創▼新科技有限公司 filed Critical 深▲せん▼市海柔▲創▼新科技有限公司
Publication of JP2023529878A publication Critical patent/JP2023529878A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • B65G1/1375—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses the orders being assembled on a commissioning stacker-crane or truck
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/0492—Storage devices mechanical with cars adapted to travel in storage aisles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B65G2201/0235—Containers
    • B65G2201/025—Boxes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B65G2203/0233—Position of the article
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2209/00—Indexing codes relating to order picking devices in General
    • B65G2209/04—Indication location means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39094—Interference checking between robot and fixture
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40584—Camera, non-contact sensor mounted on wrist, indep from gripper

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

コンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体を提供する。当該方法は倉庫ロボットに適用され、目標コンテナおよびその隣接物体の画像を含む、検出画像を取得するステップと、前記検出画像に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定するステップと、前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、目標コンテナの取り出しを行うステップと、を含み、検出コストが低く、精度が高いコンテナ間隔距離の自動検出を実現する。間隔距離が条件を満たしたときに荷物を取り出すため、荷物取り出しの安全性を高め、取り出し過程での荷物の損傷やラックの転倒の確率を大幅に低下させる。

Description

本願は、中国専利局への出願日２０２０年０６月１２日、出願番号２０２０１０５３６３８０．６、出願の名称「コンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体」の中国専利出願の優先権を主張し、その内容の全てを本願に援用して組み入れる。
本願はスマート倉庫の技術分野に関し、特にコンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体に関する。
倉庫ロボットは、スマート操作システムを採用して、システムの指令によって荷物の自動取り出しおよび収納を実現すると同時に、２４時間連続で稼働可能であるため、人間による管理・操作に代わって倉庫の効率を向上でき、広範に利用されて好評を博している。
しかしながら、ラックの振動や人間の操作で、コンテナが収納場所においてずれが生じ、それによって実際のコンテナ間隔距離が所定値よりも小さくなり、倉庫ロボットの荷物の取り出しの妨げとなるおそれがある。
本願実施例によれば、倉庫ロボットに設置された画像センサで間隔距離を検出し、間隔距離が条件を満たしたときに荷物の取得を行うことで、荷物の取得の安全性を高めることができる、コンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体を提供する。
第１の態様として、本願実施例で提供するコンテナの取り出し方法は、倉庫ロボットに適用され、目標コンテナおよびその隣接物体の画像を含む、検出画像を取得するステップと、前記検出画像に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定するステップと、前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行うステップと、を含む。
選択可能に、前記検出画像に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定する前記ステップは、前記検出画像に対して特徴抽出を行って、前記検出画像における前記目標コンテナに対応する目標領域と前記隣接物体に対応する隣接領域とを特定するステップと、前記目標領域と前記隣接領域の位置関係に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定するステップと、を含む。
選択可能に、前記検出画像は点群データからなる画像であり、前記目標領域と前記隣接領域の位置関係に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定する前記ステップは、前記目標領域の点群データの座標と、前記隣接領域の点群データの座標に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定するステップを含む。
選択可能に、前記検出画像における前記目標コンテナに対応する目標領域と前記隣接物体に対応する隣接領域とを特定するステップの後に、前記方法は、前記目標領域と前記隣接領域との間の隣り合う点群データの点群距離を計算するステップと、前記点群距離に基づいて前記目標領域と隣接領域との間の点群データに対してクラスタリングを行い、クラスタリング結果に基づいて、前記目標領域と隣接領域との間に障害物が存在するか否かを識別するステップと、を含み、対応的に、前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行うステップは、障害物識別の結果、障害物が存在し、および/または前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たさない場合、目標コンテナの取り出しを行わず、障害物識別の結果、障害物が存在せず、且つ前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行うステップを含む。
選択可能に、前記検出画像における前記目標コンテナに対応する目標領域と前記隣接物体に対応する隣接領域とを特定するステップの後に、前記方法は、前記目標領域と前記隣接領域との間に障害物が存在するか否かを識別するステップを含み、対応的に、前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行うステップは、障害物識別の結果、障害物が存在し、および/または前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たさない場合、前記目標コンテナの取り出しを行わないステップと、障害物識別の結果、障害物が存在せず、且つ前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行うステップと、を含む。
選択可能に、前記荷物取得条件は、所定の幅閾値と所定の深度閾値とを含み、前記コンテナ間隔距離は、間隔距離幅と間隔距離深度とを含み、前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たすことは、前記間隔距離幅が前記所定の幅閾値より大きく、且つ前記間隔距離深度が前記所定の深度閾値より大きいことを含む。
選択可能に、目標コンテナの検出画像を取得する前記ステップは、前記倉庫ロボットの位置情報および前記目標コンテナの目標位置を取得するステップと、前記位置情報と前記目標位置との距離が設定条件を満たしたとき、前記検出画像を撮影するステップと、を含む。
選択可能に、前記目標コンテナはラック上に置かれ、前記隣接物体の数量は２つであり、それぞれ前記目標コンテナの左右両側に位置し、前記隣接物体は、前記目標コンテナに隣接する２つの他のコンテナか、または前記目標コンテナに隣接する１つの他のコンテナおよび前記ラックのフレームを含む。
第２の態様として、本願が提供するコンテナの取り出し装置は、目標コンテナおよびその隣接物体の画像を含む、検出画像を取得するための検出画像取得モジュールと、前記検出画像に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定するための間隔距離特定モジュールと、前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行うためのコンテナ取り出しモジュールと、を含む。
選択可能に、前記間隔距離特定モジュールは、前記検出画像に対して特徴抽出を行って、前記検出画像における前記目標コンテナに対応する目標領域および前記隣接物体に対応する隣接領域を特定する、目標領域特定手段と、前記目標領域と前記隣接領域との位置関係に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定する、コンテナ間隔距離特定手段とを含む。
選択可能に、前記検出画像は点群データからなる画像であり、前記コンテナ間隔距離特定手段は、具体的に、前記目標領域の点群データの座標と、前記隣接領域の点群データの座標とに基づいて前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定する。
選択可能に、前記コンテナの取り出し装置はさらに、前記検出画像における前記目標コンテナに対応する目標領域と、前記隣接物体に対応する隣接領域とが特定された後、前記目標領域と隣接領域との間の隣接する点群データの点群距離を計算し、前記点群距離に基づいて、前記目標領域と隣接領域との間の点群データに対してクラスタリングを行い、クラスタリング結果に基づいて前記目標領域と隣接領域との間に障害物が存在するか否かを識別する第１障害物識別モジュールを含み、これに応じて、コンテナ取り出しモジュールは、具体的に、障害物識別の結果、障害物が存在する場合は目標コンテナの取得を行わず、障害物識別の結果、障害物が存在せず、および／または前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たさない場合、目標コンテナの取り出しを行わず、障害物識別の結果、障害物が存在せず、且つ前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、目標コンテナの取り出しを行う。
選択可能に、前記コンテナの取り出し装置はさらに、前記検出画像における前記目標コンテナに対応する目標領域と、前記隣接物体に対応する隣接領域とが特定された後、前記目標領域と前記隣接領域との間に障害物が存在するか否かを識別する第２障害物識別モジュールを含み、これに応じて、コンテナ取り出しモジュールは、具体的に、障害物識別の結果、障害物が存在し、および／または前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たさない場合、目標コンテナの取り出しを行わず、障害物識別の結果、障害物が存在せず、且つ前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、目標コンテナの取り出しを行う。
選択可能に、前記荷物取得条件は、所定の幅閾値と所定の深度閾値とを含み、前記コンテナ間隔距離は、間隔距離幅と、間隔距離深度とを含み、前記コンテナ取り出しモジュールは、具体的に、前記間隔距離幅が前記所定の幅閾値よりも大きく、且つ前記間隔距離深度が前記所定の深度閾値よりも大きい場合、前記目標コンテナの取り出しを行う。
選択可能に、前記検出画像取得モジュールは、具体的に、前記倉庫ロボットの位置情報および前記目標コンテナの目標位置を取得し、前記位置情報と前記目標位置との距離が設定条件を満たす場合、前記検出画像を撮影する。
第３の態様として、本願が提供する倉庫システムは倉庫ロボットと、ラックと、倉庫管理モジュールとを含み、前記倉庫ロボットは前記倉庫管理モジュールに接続され、倉庫管理モジュールの指令に従って移動と目標コンテナの取り出しおよび／または収納を行うために用いられ、前記倉庫ロボットには、前記ラック上に置かれた目標コンテナおよびその隣接物体の画像を含む検出画像を取得するための画像センサが設置され、前記倉庫管理モジュールは前記検出画像を受信して、本願の任意の実施例で提供するコンテナの取り出し方法を実行するために用いられる。
選択可能に、前記画像センサは前記倉庫ロボットの荷物取り出し装置に設置される。
選択可能に、前記画像センサは２Ｄカメラ、レーダー、深度カメラのうちの少なくとも１つを含む。
第４の態様として、本願が提供する倉庫ロボットは、少なくとも１つのプロセッサとメモリとを含み、前記メモリにはコンピュータ実行指令が記憶され、前記少なくとも１つのプロセッサにより、前記メモリに記憶されたコンピュータ実行指令を実行することで、前記少なくとも１つのプロセッサが本願の任意の実施例で提供するコンテナの取り出し方法を実行する。
第５の態様として、本願が提供するコンピュータ読み取り可能な記憶媒体は、プロセッサによって実行されたとき本願の任意の実施例で提供するコンテナの取り出し方法を実現するための、コンピュータ実行指令が記憶されている。
本願実施例が提供するコンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体は、倉庫ロボットを対象としたもので、目標コンテナに関する検出画像を取得して目標コンテナとその近隣の物体の間隔距離の検出を行って、倉庫ロボットの取得取り出しが安全か否かを確認することで、検出コストが低く、手軽に配備でき、かつ検出精度が高いコンテナ間隔距離の自動検出を実現し、倉庫ロボットの操作の安全性を高め、荷物の出し入れの安全性を保証し、荷物の破損およびラックの転倒の確率を下げることができる。
以下の図面は明細書に組み入れられて明細書の一部を構成するものであり、本願に好適な実施例を示すとともに、明細書と合わせて本願の原理を説明するために用いられる。
本願の実施例で提供するコンテナの取り出し方法の一応用シーンの図である。 本願の一実施例で提供するコンテナの取り出し方法のフローチャートである。 本願の別の実施例で提供するコンテナの取り出し方法のフローチャートである。 本願のさらに別の実施例で提供するコンテナの取り出し方法のフローチャートである。 本願の一実施例で提供するコンテナの取り出し装置の構造模式図である。 本願の一実施例で提供する倉庫システムの構造模式図である。 本願の一実施例で提供する倉庫ロボットの構造模式図である。
上記の図面により、本願の明確な実施例を示したが、以下ではより詳細に説明する。これら図面および文字による説明は、本願の構想の範囲を何ら限定するためのものではなく、特定の実施例を参照することで当業者に本願の概念を説明するためのものである。
ここでは例示的な実施例を詳細に説明するが、その例を図面においても示している。以下の説明で図面に言及するとき、別途示す場合を除いて、異なる図面における同一の符号は同一または類似の要素を示す。以下の例示的な実施例において説明する実施形態は、本願に一致するあらゆる実施形態を代表するものではない。むしろ、それらは特許請求の範囲に詳述した本願のいくつかの態様に一致する装置および方法の例示に過ぎない。
以下、具体的な実施例で本願の技術案と、本願の技術案がいかに上記の技術的課題を解決するのかを詳細に説明する。以下のいくつかの具体的実施例は組み合わせることができ、同一あるいは類似する概念やプロセスについては、実施例において説明を繰り返さない場合がある。以下、図面と組み合わせて本願の実施例を説明する。
まず、本願実施例の応用シーンを説明する。
図１は、本願実施例が提供するコンテナの取り出し方法の一応用シーンの図である。図１に示すように、スマート倉庫システム１００は、倉庫ロボット１１０を用いてラック１２０上の目標コンテナの取り出しおよび／または収納を行い、倉庫管理モジュール１３０を用いて倉庫ロボット１１０に対して経路計画、状態モニタリング、スケジューリング等を行って、倉庫ロボット１１０を設定位置まで移動させ、目標コンテナの取り出しまたは収納を行わせる。倉庫管理モジュール１３０にはさらに、倉庫管理を行いやすいよう、ラック１２０の各収納場所の収納情報および目標コンテナの基本情報が記憶されている。
倉庫ロボットによって目標コンテナの取り出しを行うシーンで、目標コンテナと周囲の他のコンテナとの距離が近いとき、倉庫ロボットがそのまま目標コンテナを取り出すと、目標コンテナまたは他のコンテナが破損したり、さらにはラックの転倒と破損を招いたりするおそれがある。この課題を解決するため、本願実施例では、倉庫ロボットに画像センサを設置し、画像センサによって目標コンテナの検出画像を取得する。前記検出画像は、前記目標コンテナおよびその隣接物体の画像を含みうる。そして、撮影した検出図形と荷物取得条件に基づいて、目標コンテナの取り出しを実行するか否かを決定することで、倉庫ロボットの操作の安全性を高め、荷物の破損またはラックの転倒の確率を下げる。
図２は本願の一実施例で提供するコンテナの取り出し方法のフローチャートである。前記コンテナの取り出し方法は、倉庫ロボットまたは倉庫システムにより実行される。図２に示すように、本実施例で提供するコンテナの取り出し方法は、以下のステップを含む。
ステップＳ２０１で、検出画像を取得する。
前記検出画像は、前記目標コンテナおよびその隣接物体の画像を含む。目標コンテナとは、倉庫ロボットが取り出す必要があるコンテナである。コンテナには通常、布地、食物、電子製品、建材等の、倉庫に貯蔵する必要がある荷物が収納されている。目標コンテナは、紙箱またはその他の包装ボックスでもよく、本願ではこれについて限定しない。隣接物体は、目標コンテナと隣り合う他のコンテナでありうる。目標コンテナがラックの端に位置するコンテナであるとき、隣接物体はラックのフレームでありうる。隣接物体は通常２つであり、即ち目標コンテナの左隣接物体と右隣接物体である。
具体的には、例えば２Ｄカメラ、レーダー、深度カメラ、または小型カメラ等の画像センサで、目標コンテナの隙間に関する検出画像の撮影を行う。検出画像は一枚でも複数枚でもよく、主として画像センサの視野範囲によって決められる。検出画像には、少なくとも目標コンテナおよびその隣接物体の画像が含まれなくてはならない。隣接物体は目標コンテナの左右両側の各１つのコンテナでもよいし（中間位置に位置する場合）、１つのコンテナと１つのラックのフレームでもよい（端の位置に位置する場合）。
ステップＳ２０２で、前記検出画像に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定する。
コンテナ間隔距離とは、目標コンテナとその隣接物体との距離または相対位置関係を指し、目標コンテナとそれに隣接するコンテナとの間隔距離でもよいし、目標コンテナとそれに隣接するラックのフレームとの間隔距離でもよいし、目標コンテナとそれに隣接するその他の物体との間隔距離でもよい。隣接物体の数が複数であるとき、前記検出画像に基づいて、前記目標コンテナと前記隣接物体それぞれとのコンテナ間隔距離を特定する。前記目標コンテナと前記隣接物体それぞれとのコンテナ間隔距離は、前記目標コンテナと隣接物体それぞれとの間隔距離を含んでもよいし、各コンテナ間隔距離のうちの最小値を取ってもよい。コンテナ間隔距離は、目標コンテナとその隣接物体との間隔距離の幅を含んでもよいし、さらに間隔距離の深度を含んでもよい。
選択可能に、前記目標コンテナはラック上に置かれ、前記隣接物体の数量は２つであり、それぞれ前記目標コンテナの左右両側に位置する。前記隣接物体は、前記目標コンテナに隣接する２つの他のコンテナ、または前記目標コンテナに隣接する１つの他のコンテナおよび前記ラックのフレームを含む。
具体的には、目標コンテナの取り出しを行う前に、目標コンテナの位置と、目標コンテナおよびその隣接物体の特徴情報、例えば輪郭、形状、特殊なマーク、色等を取得して、さらに、検出画像により特徴抽出または目標分割などのアルゴリズムを実行して、目標コンテナおよびその隣接物体が存在する領域またはエッジの情報を識別してもよい。さらに、目標コンテナと各隣接物体との画素距離を計算して、検出画像に対応する画像センサの撮影パラメータおよびセットアップ情報に基づいて、画素距離に対応する物理的距離、即ちコンテナ間隔距離を特定してもよい。
さらには、目標コンテナは通常、立方体形状であり、そのエッジは直線であるため、所定のエッジ識別アルゴリズムに基づいて、検出画像における目標コンテナおよび隣接物体のエッジの直線を抽出し、目標コンテナのエッジの直線と隣接物体のエッジの直線との最小間隔距離を計算して、両者のコンテナ間隔距離の幅としてもよい。
所定のエッジ識別アルゴリズムは、Ｃａｎｎｙアルゴリズム、Ｓｏｂｅｌ演算子に基づくエッジ検出アルゴリズム、ハフ変換に基づく直線検出、またはその他の独自に定義した直線エッジ検出アルゴリズムでありうる。
ステップＳ２０３で、前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを実行する。
荷物取得条件とは、倉庫ロボットが荷物の取り出しを実行するときに満たすべき条件を指す。具体的には、目標コンテナの間隔距離条件、即ち目標コンテナのコンテナ間隔距離が満たすべき条件であり、通常、コンテナ間隔距離幅の最小値を含むが、さらにコンテナ間隔距離深度の最小値を含んでもよい。
具体的には、コンテナ間隔距離が倉庫ロボットの荷物取得条件を満たす場合、倉庫ロボットが目標コンテナの取り出しを実行できると決定し、逆に条件を満たさない場合は、目標コンテナの取り出しを実行しない。
本実施例で提供するコンテナの取り出し方法は、倉庫ロボットを対象とし、目標コンテナの隙間に関する検出画像を取得して、目標コンテナおよびその隣接物体の間隔距離の検出を行って、倉庫ロボットの荷物取り出しが安全か否かを確認することで、検出コストが低く、手軽に配備でき、かつ検出精度が高いコンテナ間隔距離の自動検出を実現し、倉庫ロボットの操作の安全性を高め、荷物の出し入れの安全性を保証し、荷物の破損およびラックの転倒の確率を下げることができる。
図３は本願の別の実施例で提供するコンテナの取り出し方法のフローチャートである。図３に示すように、本実施例で提供するコンテナの取り出し方法は、図２に示す実施例で提供するコンテナの取り出し方法を土台として、ステップＳ２０１、Ｓ２０２、Ｓ２０３を細分化するとともに、ステップＳ２０１の後に障害物識別ステップを加えた。本実施例で提供するコンテナの取り出し方法は、以下のステップを含む。
ステップＳ３０１で、前記倉庫ロボットの位置情報および前記目標コンテナの目標位置を取得する。
倉庫ロボットの位置情報とは、具体的には倉庫ロボットの倉庫内での位置情報であり、例えば位置座標である。目標コンテナの目標位置は、目標コンテナに対応する収納場所の番号および／または収納場所の倉庫内での位置座標でありうる。
具体的には、倉庫ロボット内の測位装置によって、倉庫ロボットの位置情報をリアルタイムにモニタリングまたは収集することができる。あらかじめ各コンテナに対応する収納場所の目標位置と、コンテナの識別情報との対応関係を構築することで、目標コンテナの識別情報に基づいて目標コンテナに対応する収納場所の目標位置を特定することができる。
ステップＳ３０２で、前記位置情報と前記目標位置との距離が設定条件を満たしたとき、前記検出画像を撮影する。
具体的には、倉庫ロボットが目標位置まで移動したとき、即ち倉庫ロボットの位置情報と目標コンテナの目標位置が重なったとき、前記目標コンテナの検出画像を撮影すればよい。さらに、倉庫ロボットの位置情報と目標コンテナの目標位置との距離が設定距離閾値より小さくなったとき、画像センサを起動して、目標コンテナの検出画像の撮影を行ってもよい。設定距離閾値は、０．２ｍ、０．５ｍ、１ｍ、またはその他の値でありうる。具体的には、倉庫ロボットの移動速度、目標コンテナのサイズ、画像センサの起動時間等のパラメータに応じて決定すればよい。
倉庫ロボットが、目標コンテナが存在する目標収納場所に接近したときに、前もって画像センサを起動して検出画像の撮影を行うと、画像収集の効率が高くなる。
ステップＳ３０３で、前記検出画像に対して特徴抽出を行って、前記検出画像における前記目標コンテナに対応する目標領域と、前記隣接物体に対応する隣接領域とを特定する。
具体的には、あらかじめ目標コンテナおよびその隣接物体の特徴情報を取得する。特徴情報は、輪郭特徴、特殊マーク特徴、色特徴等を含み、特殊マーク特徴は、目標コンテナまたは隣接物体のバーコード、ＱＲコード等のマーク情報であってもよいし、例えば目標コンテナ上の独自の製品マーク、製品コード番号等の、区別するための特殊な図案情報、模様情報または文字情報でもよい。そして、上記の特徴情報に基づいて、検出画像に対して特徴抽出を行い、検出画像における、目標コンテナおよび隣接物体に対応する領域を識別する。
さらに、深層学習アルゴリズムに基づいて、検出画像に対して目標識別および分離を行って、前記検出画像における前記目標コンテナに対応する目標領域と前記隣接物体に対応する隣接領域とを特定してもよい。
さらに、検出画像に対して特徴抽出を行う前に、前記検出画像を前処理するステップを含んでもよい。
前記前処理は、フルカラー画像をグレースケール画像に変換する処理、二値化処理、画像フィルタ処理のうちの１つまたは複数を含む。
具体的には、画像フィルタ処理は、ガウシアンフィルタリング、平均値フィルタリング、メディアンフィルタリング等のフィルタリングアルゴリズムを応用して、検出画像に対してノイズ除去を行えばよい。
ステップＳ３０４で、前記目標領域と前記隣接領域との位置関係に基づいて、前記目標コンテナと各前記隣接物体とのコンテナ間隔距離を特定する。
具体的には、目標コンテナが存在する目標領域および各隣接物体に対応する隣接領域に対して目標特徴識別を行って、目標領域および各隣接領域のエッジ位置を特定する。目標特徴は、各コンテナの直線エッジ、コンテナ表面の特定の画像等でありうる。さらに、目標領域の目標コンテナのエッジ位置に基づいて目標コンテナと倉庫ロボットとの取り出し間隔距離を特定し、目標コンテナおよび隣接物体のエッジ位置に基づいて、目標コンテナと各前記隣接物体とのコンテナ間隔距離を特定することができる。
ステップＳ３０５で、前記目標領域と前記隣接領域との間に、障害物が存在するか否かを識別する。
障害物とは、目標コンテナとその隣接物体との間に位置する物体を指し、目標コンテナの隙間に落ちた荷物、または人間の操作ミスにより出現した物品でありうる。
具体的には、検出画像において目標コンテナが存在する目標領域と、その隣接物体が存在する隣接領域とを特定した後、両者の間の領域を障害識別領域として特定し、この障害識別領域に対して障害物識別を行って、障害物が存在するか否かを特定する。
具体的には、ニューラルネットワークアルゴリズムに基づいて障害物識別を行ってもよいし、障害識別領域に対して特徴抽出を行い、特徴抽出の結果、面積が設定値よりも大きい閉領域を含むか否か、または特定の図形が存在するか否かにより、障害物の有無を特定してもよい。もちろん、その他のアルゴリズムを用いて障害物識別を行ってもよく、本願はこれに対して限定しない。
障害物識別ステップであるステップＳ３０５は、ステップＳ３０４の前に発生してもよいし、間隔距離検出（ステップＳ３０４）と並行して実施してもよい。
ステップＳ３０６で、障害物識別の結果、障害物が存在し、および／または前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たさない場合、目標コンテナの取り出しを行わない。
具体的には、障害物が存在する場合、目標コンテナの取り出しを行わないよう倉庫ロボットを制御すると同時に、さらに「障害物が存在します」、「障害物をどかしてください」等の障害物注意情報を生成して、関係者が当該注意情報に基づいて障害物を除去できるようにしてもよい。
具体的には、障害物が存在せず、コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たさない場合、目標コンテナの取り出しを行わないよう倉庫ロボットを制御すると同時に、さらに「間隔距離が小さすぎます」等の間隔距離注意情報を生成して、関係者が当該注意情報に基づいてコンテナの調整ができるようにしてもよい。
具体的には、障害物識別の結果、障害物が存在しない場合、前記コンテナ間隔距離がいずれも前記倉庫ロボットの荷物取得条件を満たすか否かを判定する。Ｙｅｓであれば目標コンテナの取り出しを行い、Ｎｏであれば目標コンテナの取り出しを行わず、間隔距離注意情報を生成する。間隔距離注意情報は、判定結果と、所定条件を満たさない間隔距離の値と、例えば「人為的に関与してください」、「間隔距離が小さすぎます」、「コンテナ間隔距離が安全範囲を超えています」等の相応の注意文言を含んでもよい。
さらに、注意情報（間隔距離注意情報および／または障害物注意情報）をユーザ端末、倉庫管理モジュールまたは倉庫ロボットのプロセッサに送信してもよく、障害物が存在するか、またはコンテナ間隔距離および取り出し間隔距離が倉庫ロボットの荷物取得条件を満たさない場合、目標コンテナの取り出しを行わないよう倉庫ロボットを制御した後、ユーザ端末、倉庫管理モジュール、またはユーザからロボットの操作インタフェースを介して送信されたスケジューリング指令を受信して、前記スケジューリング指令に基づいて前記倉庫ロボットを制御してもよい。
スケジューリング指令は、現場待機指令、移動指令、現コンテナスキップ指令等を含みうる。これらに対応して、スケジューリング指令が現場待機指令である場合、現在の姿勢を維持するように、即ち何の動作も行わないよう倉庫ロボットを制御する。スケジューリング指令が移動指令である場合、当該移動指令に基づいて目標点まで移動するよう倉庫ロボットを制御する。スケジューリング指令が現コンテナスキップ指令である場合、次の目標コンテナの取り出しを行うよう、即ち現目標コンテナの取り出しをスキップするよう倉庫ロボットを制御する。
ステップＳ３０７で、障害物識別の結果、障害物が存在せず、且つ前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行う。
選択可能に、前記荷物取得条件は所定の幅閾値および所定の深度閾値を含み、前記コンテナ間隔距離は間隔距離幅および間隔距離深度を含み、前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たすことは、前記間隔距離幅が前記所定の幅閾値より大きく、且つ前記間隔距離深度が前記所定の深度閾値よりも大きいことを含む。
間隔距離深度とは、倉庫ロボットの荷物取り出し装置の伸び方向における隙間の長さを指す。所定の幅閾値と所定の深度閾値は、倉庫ロボットの荷物取り出し装置に応じて決定すればよい。荷物取り出し装置はフォーク、ロボットアーム、挟持装置等でありうる。例えば、荷物取り出し装置がフォークである場合、所定の幅閾値はフォークの寸法に応じて決定できる。具体的には、所定の幅閾値は、フォークアームの幅寸法に、フォークアームの幅の５％または１０％といった一定の安全距離を加えたもので、所定の深度閾値は、フォークアームの深度寸法に一定の安全距離を加えたものでよい。
検出画像によってコンテナの隙間に障害物が存在するか否かを識別することで、検出の全面性とスマート化レベルを高め、倉庫ロボットの荷物取り出しの安全性を一層向上させることができる。
本実施例においては、倉庫ロボットの位置情報と目標コンテナの目標位置との距離により、検出画像の撮影をトリガーすることで、画像の自動撮影を実現して、間隔距離検出の自動化レベルを向上させた。また、検出画像に対して特徴抽出、エッジ検出等のステップを行って、目標コンテナの隙間に障害物が存在するか否か、および目標コンテナの各間隔距離が荷物取得条件を満たすか否かを判定することで、取り出し前の目標コンテナの状態を、全面的且つスピーディに自動検出することを実現して、自動荷物取り出しの安全性を向上させた。
図４は本願のさらに別の実施例で提供するコンテナの取り出し方法のフローチャートである。本実施例は深度カメラまたはレーダーを用いて撮影された、点群データからなる検出画像を対象とする。図４に示すように、当該コンテナの取り出し方法は、以下のステップを含む。
ステップＳ４０１で、検出画像を取得する。
前記検出画像は、前記目標コンテナおよびその隣接物体の画像を含み、前記検出画像は深度カメラまたはレーダーで収集した点群データである。深度カメラは３Ｄカメラとも称し、撮影された空間の被写界深度距離を検出できる。点群データは、画素のグレースケール情報を含むだけでなく、当該画素の三次元座標情報も含む。
さらに、検出画像を取得するステップの後に、当該検出方法は、前記検出画像の点群データに対してサンプリング処理およびノイズ軽減処理を行うステップを含む。
具体的には、サンプリング処理はダウンサンプリング処理、アップサンプリング処理、または均一サンプリング処理でありうる。ノイズ軽減処理で用いるアルゴリズムは、バイラテラルフィルタリング、ガウシアンフィルタリング、ボックス分割ノイズ除去、ＫＤ－Ｔｒｅｅアルゴリズム、Ｐａｓｓ Ｔｈｒｏｕｇｈフィルタリング、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）フィルタリング等でありうる。
ステップＳ４０２で、前記検出画像に対して特徴抽出を行って、前記検出画像における前記目標コンテナに対応する目標領域と、前記隣接物体に対応する隣接領域とを特定する。
ステップＳ４０３で、前記目標領域と隣接領域との間の隣り合う点群データの点群距離を計算する。
点群距離とは、２つの点群データに対応する座標情報の距離である。
具体的には、目標領域と隣接領域との間の領域とは、目標コンテナと隣接するコンテナまたはラックのフレームとの隙間が存在する領域である。点群データの座標情報に基づいて、当該領域内の各隣り合う点の点群データ間の点群距離を計算する。
ステップＳ４０４で、前記点群距離に基づいて、前記目標領域と隣接領域との間の点群データをクラスタリングし、クラスタリング結果に基づいて、前記目標領域と隣接領域との間に障害物が存在するか否かを識別する。
具体的には、点群距離が所定距離値より小さい点を同一物体の点群データとみなしてクラスタリングを行うとよい。
さらに、深層学習アルゴリズムに基づいてクラスタリング結果に対して物体識別を行い、識別結果に基づいて障害物が存在するか否かを特定してもよい。
具体的には、クラスタリング後に、目標領域と隣接領域との間に設定した種類の物体が存在する場合、荷物取得経路に、例えば、ヘルメットや手袋等の障害物が存在すると認識する。
ステップＳ４０５で、前記目標領域の点群データの座標と、前記隣接領域の点群データの座標とに基づいて、前記目標コンテナと各前記隣接物体とのコンテナ間隔距離を特定する。
具体的には、目標コンテナは、左隣接物体および右隣接物体を含み、左隣接物体は左隣接領域に対応し、右隣接物体は右隣接領域に対応する。目標領域の左側面と左隣接領域の右側面との、点群データの平均距離または最小距離に基づいて、両者の間隔距離（コンテナ間隔距離の幅）を特定でき、これに応じて、目標領域の右側面と左隣接領域の左側面との、点群データの平均距離または最小距離に基づいて、両者の間隔距離を特定できる。そして、コンテナ間隔距離の深度については、目標領域と隣接領域との間にある、コンテナ間隔距離の深度に沿った方向、即ち倉庫ロボットの荷物取り出し装置の伸び方向における１つめの点群データの座標に基づいて計算でき、算出されたコンテナ間隔距離深度が目標コンテナの深度より大きい場合、目標コンテナの深度をコンテナ間隔距離の深度として特定する。
ステップＳ４０６で、障害物識別の結果、障害物が存在し、および／または前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たさない場合、目標コンテナの取り出しを行わない。
ステップＳ４０７で、障害物識別の結果、障害物が存在せず、且つ前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行う。
本実施例においては、深度カメラで収集した目標コンテナの点群データからなる検出画像に対し、特徴抽出によって目標コンテナおよび隣接物体の領域を特定し、さらに当該領域内の点群座標に基づいて間隔距離情報を特定し、間隔距離情報に基づいて取り出し条件を満たすかどうかを判定するとともに、点群クラスタリングにより障害物が存在するか否かを判定することで、荷物取り出し前の目標コンテナの状態を、全面的且つスピーディに自動検出することを実現して、自動取り出しの安全性を向上させた。
図５は本願の一実施例で提供するコンテナの取り出し装置の構造模式図である。図５に示すように、本実施例で提供するコンテナの取り出し装置は、検出画像取得モジュール５１０と、間隔距離特定モジュール５２０と、コンテナ取り出しモジュール５３０とを含む。
検出画像取得モジュール５１０は、目標コンテナおよびその隣接物体の画像を含む検出画像を取得する。間隔距離特定モジュール５２０は、前記検出画像に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定する。コンテナ取り出しモジュール５３０は、前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、目標コンテナの取り出しを行う。
選択可能に、検出画像取得モジュール５１０は、具体的に、前記倉庫ロボットの位置情報および前記目標コンテナの目標位置を取得し、前記位置情報と前記目標位置との距離が設定条件を満たす場合、前記検出画像を撮影する。
選択可能に、間隔距離特定モジュール５２０は、前記検出画像に対して特徴抽出を行って、前記検出画像における前記目標コンテナに対応する目標領域および前記隣接物体に対応する隣接領域を特定する、目標領域特定手段と、前記目標領域と前記隣接領域との位置関係に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定する、コンテナ間隔距離特定手段とを含む。
選択可能に、前記検出画像は点群データからなる画像であり、前記コンテナ間隔距離特定手段は、具体的に、前記目標領域の点群データの座標と、前記隣接領域の点群データの座標とに基づいて前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定する。
選択可能に、前記コンテナの取り出し装置はさらに、第１障害物識別モジュールを含み、第１障害物識別モジュールは、前記検出画像における前記目標コンテナに対応する目標領域と、前記隣接物体に対応する隣接領域とが特定された後、前記目標領域と隣接領域との間の隣接する点群データの点群距離を計算し、前記点群距離に基づいて、前記目標領域と隣接領域との間の点群データに対してクラスタリングを行い、クラスタリング結果に基づいて前記目標領域と隣接領域との間に障害物が存在するか否かを識別する。これに応じて、コンテナ取り出しモジュール５３０は、具体的に、障害物識別の結果、障害物が存在し、および／または前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たさない場合、前記目標コンテナの取り出しを行わず、障害物識別の結果、障害物が存在せず、且つ前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行う。
選択可能に、前記コンテナの取り出し装置はさらに、第２障害物識別モジュールを含み、第２障害物識別モジュールは、前記検出画像における前記目標コンテナに対応する目標領域と、前記隣接物体に対応する隣接領域とが特定された後、前記目標領域と前記隣接領域との間に障害物が存在するか否かを識別する。これに応じて、コンテナ取り出しモジュール５３０は、具体的に、障害物識別の結果、障害物が存在し、および／または前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たさない場合、前記目標コンテナの取り出しを行わず、障害物識別の結果、障害物が存在せず、且つ前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行う。
選択可能に、前記荷物取得条件は、所定の幅閾値と所定の深度閾値とを含み、前記コンテナ間隔距離は、間隔距離幅と、間隔距離深度とを含み、コンテナ取り出しモジュール５３０は、具体的に、前記間隔距離幅が前記所定の幅閾値よりも大きく、且つ前記間隔距離深度が前記所定の深度閾値よりも大きい場合、前記目標コンテナの取り出しを行う。
図６は本願の一実施例で提供する倉庫システムの構造模式図である。図６に示すように、当該コンテナの取り出しシステムは、倉庫ロボット６１０と、ラック６２０と、倉庫管理モジュール６３０とを含む。
倉庫ロボット６１０は倉庫管理モジュール６３０に接続されており、倉庫管理モジュール６３０の指令に従って移動と目標コンテナ６２１の取り出しおよび／または収納を行う。倉庫ロボット６１０には画像センサ６１１が設置され、画像センサ６１１は目標コンテナおよびその隣接物体の画像を含む検出画像を取得する。目標コンテナ６２１はラック６２０の上に置かれる。倉庫管理モジュール６３０は前記検出画像を受信して、本願の任意の実施例で提供されるコンテナの取り出し方法を実行する。
選択可能に、画像センサ６１１は倉庫ロボット６１０の荷物取り出し装置に設置される。
荷物取り出し装置は、フォーク、ロボットアーム、挟持装置等でありうる。画像センサ６１０は荷物を出し入れする領域を向いていなければならない。
選択可能に、画像センサ６１１は２Ｄカメラ、レーダー、深度カメラのうちの少なくとも１つを含む。
具体的には、２Ｄカメラはモノクロカメラでもフルカラーカメラでもよい。深度カメラは３Ｄカメラとも称し、二眼カメラ、構造化光による深度カメラ、またはＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）法による深度カメラでもよい。
図７は本願の一実施例で提供する倉庫ロボットの構造模式図である。図７に示すように、当該倉庫ロボットは、メモリ７１０と、プロセッサ７２０と、コンピュータプログラムとを含む。
コンピュータプログラムはメモリ７１０に記憶され、プロセッサ７２０によって実行されて本願図２～図４に対応する実施例のうち、任意の一実施例で提供されるコンテナの取り出し方法を実現するように構成される。メモリ７１０とプロセッサ７２０は、バス７３０を介して接続されている。
図２～図４のステップに対応する関連記載と効果を参照することで理解できることに関する説明は、ここでは省略する。
具体的には、当該倉庫ロボットはさらに移動装置、昇降台および荷物取り出し装置等を含み、前記移動装置および昇降台は、制御モジュールの移動制御指令に従って、目標位置の設定高度まで移動し、前記荷物取り出し装置は、制御モジュールの荷物取り出し制御指令に従って、目標コンテナの取り出しを行う。さらに、目標コンテナの検出画像を撮影する、画像センサを含んでもよい。プロセッサ７２０は、前記検出画像を受信して、本願の任意の実施例で提供されるコンテナの取り出し方法を実行するとともに、決定結果を生成するためのコンテナの取り出しモジュールと、前記移動装置、昇降台およびコンテナの取り出しモジュールに接続され、目標コンテナの位置情報に基づいて移動制御指令を生成し、前記決定結果を受信して、前記決定結果が前記目標コンテナの取り出し実行である場合、荷物取り出し制御指令を生成するための制御モジュールとを含む。
本願の一実施例で提供するコンピュータ読み取り可能な記憶媒体は、コンピュータプログラムを記憶しており、コンピュータプログラムがプロセッサによって実行されると、本願図２～図４に対応する実施例のうち、任意の一実施例で提供されるコンテナの取り出し方法を実現する。
コンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶デバイス等でありうる。
本願が提供するいくつかの実施例において、開示された装置および方法は、他の方式でも実現できることは理解されよう。例えば、以上に説明した装置の実施例は、単に例示的なものであり、例えばモジュールの区分も単に一種の論理的機能による区分であり、実際に実現化する場合は別の区分方法もありうる。例えば、複数のモジュールまたはユニットを組み合わせてもよいし、別のシステムに集積してもよいし、あるいは一部の特徴を省略したり、実行しなくてもよい。そのほか、提示または検討した相互間の結合、直接結合、または通信接続は、インタフェース、装置、またはモジュールを介した間接的な結合または通信接続でもよいし、電気的、機械的、またはその他の形式によるものでもよい。
当業者であれば、明細書を考慮し、本願を実践することで、本願の他の実施形態を容易に想到できるであろう。本願で開示した一般的原理に準拠するとともに、本願で出願していない本技術分野における公知の常識や慣用的技術手段を含む、本願の何らかの変形、用途、適用的変化は、本願の主旨に含まれる。明細書および実施例は単なる例示とみなされるべきであり、本願の真の本来の範囲および主旨は、特許請求の範囲において示される。
本願は上記の説明および図面に示した構造そのものに限定されず、範囲を逸脱せずにさまざまな修正・変更を行えることは理解されるべきである。本願の範囲は付属する特許請求の範囲のみによって限定される。
本願実施例が提供するコンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体は、倉庫ロボットを対象としたもので、目標コンテナに関する検出画像を取得して目標コンテナとその近隣の物体の間隔距離の検出を行って、コンテナの取り出しが安全か否かを確認することで、検出コストが低く、手軽に配備でき、かつ検出精度が高いコンテナ間隔距離の自動検出を実現し、倉庫ロボットの操作の安全性を高め、荷物の出し入れの安全性を保証し、荷物の破損およびラックの転倒の確率を下げることができる。
倉庫ロボットによって目標コンテナの取り出しを行うシーンで、目標コンテナと周囲の他のコンテナとの距離が近いとき、倉庫ロボットがそのまま目標コンテナを取り出すと、目標コンテナまたは他のコンテナが破損したり、さらにはラックの転倒と破損を招いたりするおそれがある。この課題を解決するため、本願実施例では、倉庫ロボットに画像センサを設置し、画像センサによって目標コンテナの検出画像を取得する。前記検出画像は、前記目標コンテナおよびその隣接物体の画像を含みうる。そして、撮影した検出画像と荷物取得条件に基づいて、目標コンテナの取り出しを実行するか否かを決定することで、倉庫ロボットの操作の安全性を高め、荷物の破損またはラックの転倒の確率を下げる。
具体的には、隣接物体は、左隣接物体および右隣接物体を含み、左隣接物体は左隣接領域に対応し、右隣接物体は右隣接領域に対応する。目標領域の左側面と左隣接領域の右側面との、点群データの平均距離または最小距離に基づいて、両者の間隔距離（コンテナ間隔距離の幅）を特定でき、これに応じて、目標領域の右側面と左隣接領域の左側面との、点群データの平均距離または最小距離に基づいて、両者の間隔距離を特定できる。そして、コンテナ間隔距離の深度については、目標領域と隣接領域との間にある、コンテナ間隔距離の深度に沿った方向、即ち倉庫ロボットの荷物取り出し装置の伸び方向における１つめの点群データの座標に基づいて計算でき、算出されたコンテナ間隔距離深度が目標コンテナの深度より大きい場合、目標コンテナの深度をコンテナ間隔距離の深度として特定する。
荷物取り出し装置は、フォーク、ロボットアーム、挟持装置等でありうる。画像センサ６１１は荷物を出し入れする領域を向いていなければならない。

Claims (15)

  1. 倉庫ロボットに適用されるコンテナの取り出し方法であって、
    目標コンテナおよびその隣接物体の画像を含む、検出画像を取得するステップと、
    前記検出画像に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定するステップと、
    前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行うステップと、を含む、
    コンテナの取り出し方法。
  2. 前記検出画像に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定する前記ステップは、
    前記検出画像に対して特徴抽出を行って、前記検出画像における前記目標コンテナに対応する目標領域と前記隣接物体に対応する隣接領域とを特定するステップと、
    前記目標領域と前記隣接領域の位置関係に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定するステップと、を含む、
    請求項１に記載のコンテナの取り出し方法。
  3. 前記検出画像における前記目標コンテナに対応する目標領域と前記隣接物体に対応する隣接領域とを特定するステップの後に、
    前記目標領域と前記隣接領域との間に障害物が存在するか否かを識別するステップを含み、
    対応的に、前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行うステップは、
    障害物識別の結果、障害物が存在せず、且つ前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行うステップを含む、
    請求項２に記載のコンテナの取り出し方法。
  4. 前記検出画像は点群データからなる画像であり、
    前記目標領域と前記隣接領域の位置関係に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定する前記ステップは、
    前記目標領域の点群データの座標と、前記隣接領域の点群データの座標に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定するステップを含む、
    請求項２または３に記載のコンテナの取り出し方法。
  5. 前記検出画像における前記目標コンテナに対応する目標領域と前記隣接物体に対応する隣接領域とを特定するステップの後に、
    前記目標領域と前記隣接領域との間の隣り合う点群データの点群距離を計算するステップと、
    前記点群距離に基づいて前記目標領域と隣接領域との間の点群データに対してクラスタリングを行い、クラスタリング結果に基づいて、前記目標領域と隣接領域との間に障害物が存在するか否かを識別するステップと、を含み、
    対応的に、前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行うステップは、
    障害物識別の結果、障害物が存在せず、且つ前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、前記目標コンテナの取り出しを行うステップを含む、
    請求項４に記載のコンテナの取り出し方法。
  6. 前記荷物取得条件は、所定の幅閾値と所定の深度閾値とを含み、前記コンテナ間隔距離は、間隔距離幅と間隔距離深度とを含み、
    前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たすことは、前記間隔距離幅が前記所定の幅閾値より大きく、且つ前記間隔距離深度が前記所定の深度閾値より大きいことを含む、
    請求項１～５のいずれか１項に記載のコンテナの取り出し方法。
  7. 検出画像を取得する前記ステップは、
    画像センサによって、前記目標コンテナの隙間に関する検出画像を撮影するステップを含む、
    請求項１～６のいずれか１項に記載のコンテナの取り出し方法。
  8. 検出画像を取得する前記ステップは、
    前記倉庫ロボットの位置情報および前記目標コンテナの目標位置を取得するステップと、
    前記位置情報と前記目標位置との距離が設定条件を満たしたとき、前記検出画像を撮影するステップと、を含む、
    請求項１～５のいずれか１項に記載のコンテナの取り出し方法。
  9. 前記目標コンテナはラック上に置かれ、前記隣接物体は、前記目標コンテナに近接する２つの他のコンテナ、または前記目標コンテナに近接する１つの他のコンテナと前記ラックのフレームを含む、
    請求項１～８のいずれか１項に記載のコンテナの取り出し方法。
  10. 倉庫ロボットに適用されるコンテナの取り出し装置であって、
    目標コンテナおよびその隣接物体の画像を含む、検出画像を取得するための検出画像取得モジュールと、
    前記検出画像に基づいて、前記目標コンテナと前記隣接物体とのコンテナ間隔距離を特定するための間隔距離特定モジュールと、
    前記コンテナ間隔距離が前記倉庫ロボットの荷物取得条件を満たす場合、目標コンテナの取り出しを行うためのコンテナ取り出しモジュールと、を含む、
    コンテナの取り出し装置。
  11. 倉庫ロボットと、ラックと、倉庫管理モジュールとを含み、
    前記倉庫ロボットは前記倉庫管理モジュールに接続され、倉庫管理モジュールの指令に従って移動と目標コンテナの取り出しおよび／または収納を行うために用いられ、
    前記倉庫ロボットには、前記ラック上に置かれた目標コンテナおよびその隣接物体の画像を含む検出画像を撮影するための画像センサが設置され、
    前記倉庫管理モジュールは前記検出画像を受信して、請求項１～７のいずれか１項に記載のコンテナの取り出し方法を実行するために用いられる、
    倉庫システム。
  12. 前記画像センサは前記倉庫ロボットの荷物取り出し装置に設置される、
    請求項１１に記載の倉庫システム。
  13. 前記画像センサは２Ｄカメラ、レーダー、深度カメラのうちの少なくとも１つを含む、
    請求項１１または１２に記載の倉庫システム。
  14. 少なくとも１つのプロセッサとメモリとを含み、
    前記メモリにはコンピュータ実行指令が記憶され、
    前記少なくとも１つのプロセッサにより、前記メモリに記憶されたコンピュータ実行指令を実行することで、前記少なくとも１つのプロセッサが請求項１～９のいずれか１項に記載のコンテナの取り出し方法を実行する、
    倉庫ロボット。
  15. プロセッサによって実行されたとき、請求項１～９のいずれか１項に記載のコンテナの取り出し方法を実現するために用いられるコンピュータ実行指令が記憶されている、
    コンピュータ読み取り可能な記憶媒体。
JP2022575470A 2020-06-12 2021-06-08 コンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体 Pending JP2023529878A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010536380.6A CN113264312A (zh) 2020-06-12 2020-06-12 货箱的提取方法、装置、系统、机器人和存储介质
CN202010536380.6 2020-06-12
PCT/CN2021/099008 WO2021249406A1 (zh) 2020-06-12 2021-06-08 货箱的提取方法、装置、系统、机器人和存储介质

Publications (1)

Publication Number Publication Date
JP2023529878A true JP2023529878A (ja) 2023-07-12

Family

ID=77227692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022575470A Pending JP2023529878A (ja) 2020-06-12 2021-06-08 コンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体

Country Status (6)

Country Link
US (1) US20230108073A1 (ja)
EP (1) EP4159643A4 (ja)
JP (1) JP2023529878A (ja)
KR (1) KR20230010246A (ja)
CN (1) CN113264312A (ja)
WO (1) WO2021249406A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114701781A (zh) * 2022-03-25 2022-07-05 深圳市海柔创新科技有限公司 货箱存放方法、控制终端及仓储系统
CN114537950B (zh) * 2022-03-25 2023-03-24 深圳市海柔创新科技有限公司 智能仓储系统、货箱处理方法及存储介质
CN115508124B (zh) * 2022-11-22 2023-03-07 深圳市功夫机器人有限公司 仓储机器人工作性能测试方法、系统及终端
CN116038715A (zh) * 2023-02-23 2023-05-02 北京极智嘉科技股份有限公司 取箱方法、装置、机器人和存储介质
CN116374474B (zh) * 2023-03-30 2023-11-10 无锡雪浪数制科技有限公司 一种基于机器视觉的拣选智能决策系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009050792A1 (ja) * 2007-10-16 2009-04-23 Fujitsu Limited アライメント調整装置、ライブラリ装置及びアライメント調整方法
TWI525025B (zh) * 2009-04-10 2016-03-11 辛波提克有限責任公司 儲存及取出系統
CN107067206B (zh) * 2011-09-09 2021-01-12 西姆伯蒂克有限责任公司 用于运输和存储商品箱单元的系统及其方法
US9938092B2 (en) * 2014-10-03 2018-04-10 Wynright Corporation Perception-based robotic manipulation system and method for automated truck unloader that unloads/unpacks product from trailers and containers
US10071856B2 (en) * 2016-07-28 2018-09-11 X Development Llc Inventory management
US10207868B1 (en) * 2016-12-06 2019-02-19 Amazon Technologies, Inc. Variable compliance EOAT for optimization of GCU
WO2020006433A1 (en) * 2018-06-29 2020-01-02 Fast Global Solutions, Inc. Segmentation of boxes from a 3d point cloud for automatic unloading and loading
CN110815202B (zh) * 2018-08-07 2021-11-09 杭州海康机器人技术有限公司 障碍物检测方法及装置
CN109214348A (zh) * 2018-09-19 2019-01-15 北京极智嘉科技有限公司 一种障碍物检测方法、装置、设备及存储介质
CN109132313A (zh) * 2018-10-26 2019-01-04 北京旷视科技有限公司 物品移动系统、取货机器人、搬运机器人及方法
CN109753070A (zh) * 2019-01-16 2019-05-14 深圳市海柔创新科技有限公司 一种避障方法、装置及仓储机器人
CN110076777B (zh) * 2019-05-05 2020-11-27 北京云迹科技有限公司 一种取货方法及装置
CN110615223B (zh) * 2019-10-21 2020-10-23 兰剑智能科技股份有限公司 一种箱体调取装置及方法
CN110834897B (zh) * 2019-11-19 2021-05-28 兰剑智能科技股份有限公司 一种箱体的存放装置

Also Published As

Publication number Publication date
KR20230010246A (ko) 2023-01-18
CN113264312A (zh) 2021-08-17
EP4159643A4 (en) 2023-11-22
US20230108073A1 (en) 2023-04-06
EP4159643A1 (en) 2023-04-05
WO2021249406A1 (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
JP2023529878A (ja) コンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体
CN111674817B (zh) 仓储机器人的控制方法、装置、设备及可读存储介质
KR102461759B1 (ko) 지능형 지게차 및 컨테이너 위치 및 자세 편이 검출 방법
EP4137992B1 (en) A material handling method, apparatus, and system for identification of a region-of-interest
US11772271B2 (en) Method and computing system for object recognition or object registration based on image classification
CN113213054A (zh) 取放货装置的调整方法、装置、设备、机器人及仓储系统
US20230381971A1 (en) Method and computing system for object registration based on image classification
EP4207068A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
CN113335826A (zh) 取货装置、深度测量方法、仓储机器人以及仓储系统
CN112288038B (zh) 基于图像分类的物体识别或物体注册的方法及计算系统
CN115393696A (zh) 具有旋转补偿的对象料箱拾取
CN116385533A (zh) 一种基于二维和三维成像的叉式agv目标位姿检测方法
JP7191352B2 (ja) 物体検出を実施するための方法および計算システム
US12002007B2 (en) Robotic system with automated package scan and registration mechanism and methods of operating the same
US20230008540A1 (en) Robotic system with automated package scan and registration mechanism and methods of operating the same
CN113642453A (zh) 障碍物的检测方法、装置和系统
JP2022136177A (ja) 物理的エッジ検出を実行または促進するための方法および計算システム
CN113658205A (zh) 用于执行或促进物理边缘检测的方法和计算系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240410