JP7392116B2 - ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体 - Google Patents

ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP7392116B2
JP7392116B2 JP2022513882A JP2022513882A JP7392116B2 JP 7392116 B2 JP7392116 B2 JP 7392116B2 JP 2022513882 A JP2022513882 A JP 2022513882A JP 2022513882 A JP2022513882 A JP 2022513882A JP 7392116 B2 JP7392116 B2 JP 7392116B2
Authority
JP
Japan
Prior art keywords
product
identifier
target
slot
slot position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022513882A
Other languages
English (en)
Other versions
JP2022546999A (ja
Inventor
迎春 王
超 陳
暁麗 郭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Geekplus Technology Co Ltd
Original Assignee
Beijing Geekplus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Geekplus Technology Co Ltd filed Critical Beijing Geekplus Technology Co Ltd
Publication of JP2022546999A publication Critical patent/JP2022546999A/ja
Application granted granted Critical
Publication of JP7392116B2 publication Critical patent/JP7392116B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31028—Selecting workpieces from one or more containers by robot with vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Economics (AREA)
  • Toxicology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Description

本出願は、２０１９年１２月２６日に中国国家知識産権局に出願された、出願番号が２０１９１１３６８９４０．５、発明名称が「ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は、参照により本出願に組み込まれる。
本出願は画像処理及びコンピュータソフトウェア分野に関し、具体的に、ピックアップロボット、ピックアップ方法及びコンピュータ可読記憶媒体に関する。
ネットショッピングの利用に伴い、物流業界の処理速度に対する要求がますます高まっている。倉庫から必要な商品を出荷することは、物流業界の一環とされ、その中のピックアップ作業は、徐々に手動操作からロボットに代替されるようになってきた。
ロボットで商品をピックアップする作業では、ロボットは出荷すべき商品が保管されている位置まで移動し、商品を正確にピックアップする必要がある。しかし、従来技術では、位置決めの欠陥により、ピックアップの失敗率が高く、ピックアップの効率及び物流業界全体の物流効率が低下されることは問題となった。
これに鑑み、本出願は、少なくともピックアップロボット、ピックアップ方法及びコンピュータ可読記憶媒体を少なくとも提供する。
第一の局面では、本出願は、カメラと、画像処理モジュール及び位置特定モジュールを有するプロセッサと、ピックアップ部材とを備えるピックアップロボットを提供する。
前記カメラは、ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得するように配置されている。前記目標画像には、現在スロット位置に対応するスロット識別子が含まれている。
前記画像処理モジュールは、前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別するように配置されている。
前記位置特定モジュールは、前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている。
前記ピックアップ部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするように配置されている。
第二の局面では、本出願は、カメラと、画像処理モジュール及び位置特定モジュールを有するプロセッサと、ピックアップ部材とを備えるピックアップロボットを提供する。
前記カメラは、ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するように配置されている。
前記画像処理モジュールは、前記目標画像から商品識別子を選別するように配置されている。
前記位置特定モジュールは、前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている。
前記ピックアップ部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップように配置されている。
第三の局面では、本出願は、カメラと、画像処理モジュール及び位置特定モジュールを有するプロセッサと、保管部材とを備える保管ロボットを提供する。
前記カメラは、前記保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するように配置されている。
前記画像処理モジュールは、前記目標画像からスロット識別子を選別するように配置されている。
前記位置特定モジュールは、前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するように配置されている。
前記保管部材は、前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるように配置されている。
第四の局面では、本出願は、以下のステップを含むピックアップ方法を提供する。即ち、
ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得する。前記目標画像には、現在スロット位置に対応するスロット識別子が含まれている。
前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別する。
前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定する。
前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップする。
第五の局面では、本出願は、以下のステップを含む保管方法を提供する。即ち、
前記保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得する。
前記目標画像からスロット識別子を選別する。
前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定する。
前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させる。
第六の局面では、本出願は、さらに、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されるときに、前記のピックアップ又は保管方法のステップを実行するコンピュータ可読記憶媒体を提供する。
本出願は、ピックアップロボット、ピックアップ方法及びコンピュータ可読記憶媒体を提供する。まず、ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得する。その後、目標画像におけるスロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、目標画像から商品識別子を選別する。商品識別子が選別で得られた場合に、商品識別子に基づいて、目標スロット位置における取り出すべき商品の位置情報を特定する。最後に、前記位置情報に基づいて目標スロット位置から取り出すべき商品をピックアップする。前記技術案では、スロット識別子及び商品識別子に基づいて、取り出すべき商品を保管している目標スロット位置、及び目標スロット位置での取り出すべき商品の位置情報を精度よく特定でき、また特定された当該位置情報に基づいて、取り出すべき商品を正確にピックアップすることができるので、ピックアップの成功率が大幅に向上されると同時に、物流業界の物流効率の向上にも寄与する。
本出願の実施形態に係る技術案をより明確に説明するために、以下にて、実施形態で使用する必要のある図面について簡単に説明する。以下の図面において、本出願の幾つかの実施形態のみを示すことは理解されるべきであるので、範囲を制限するものと見なされるべきではない。当業者は進歩性に値する労働を付することなく、他の関連する図面をこれらの図面に基づいて得ることができる。
本出願の実施形態に係るピックアップロボットの構造を示す概略図である。 本出願の実施形態に係る目標画像を示す概略図である。 本出願の実施形態に係るピックアップ方法を示すフローチャートである。
本出願の実施形態の目的や技術案および利点をより明確にするために、以下において、本出願の実施形態における図面を参照しながら、本出願の実施形態に係る技術案について明確かつ完全に説明する。本出願の図面は、説明と記述をする目的だけで利用され、本出願の保護範囲を制限するものではない。なお、概略図は原物に比例して描かれていないことは理解されるべきであろう。本出願で使用されるフローチャートは、本出願の幾つかの実施形態に従って実現される操作を示している。フローチャートの操作は順序に従って実現されなくてもよく、論理的文脈のないステップは、逆な順序に従い、または同時に実施される可能性があることは理解されるべきであろう。さらに、本出願の内容に基づいて、当業者はフローチャートに１つまたは複数の他の操作を追加するか、またはフローチャートから１つまたは複数の操作を削除することができる。
さらに、本明細書に記載される実施形態は、本出願のすべての実施形態ではなく、一部にすぎない。一般的に、本明細書の図面に記載および例示されている本出願の実施形態の構成要素は、様々な異なるレイアウトで配置および設計することができる。したがって、以下の添付図面に提供される本出願の実施形態に対する詳細な説明は、保護請求される本出願の範囲を限定することを意図されるものではなく、本出願の特定の実施形態のみを示す。本出願の実施形態に基づいて、当業者が進歩性に値する労働を付することなく取得したすべての他の実施形態は、本出願の保護範囲に含まれるものとする。
なお、「含む」という用語は、本出願の実施形態において、その後に記載される特徴の存在を示すために使用されるが、他の特徴の追加を排除するものではない。
現在、物流業界では、ロボットにより倉庫から商品をピックアップする際に、位置決めの欠陥により、ピックアップの成功率が低いという問題があった。これに鑑みて、本出願はピックアップロボット、ピックアップ方法及びコンピュータ可読記憶媒体を提供する。本出願では、スロット識別子と商品識別子に基づいて、取り出すべき商品を保管している目標スロット位置、および目標スロット位置での取り出すべき商品の位置情報を精度よく特定でき、また特定された当該位置情報に基づいて、取り出すべき商品を正確にピックアップすることができるので、ピックアップの成功率が効果的に向上されると同時に、物流業界の物流効率の向上にも寄与する。
具体的に、本出願の実施形態は、図１に示すように、カメラ１１０、プロセッサ１２０、ピックアップ部材１３０を備えるピックアップロボットを提供する。前記プロセッサ１２０は、画像処理モジュール１２０１及び位置特定モジュール１２０２を備える。
前記カメラ１１０は、商品が保管されている各スロット位置にピックアップ部材１３０が移動したときに撮像した目標画像を取得するように配置されている。ここで、前記目標画像には、現在スロット位置に対応するスロット識別子を含む。 前記画像処理モジュール１２０１は、前記スロット識別子に基づいて現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別するように配置されている。前記位置特定モジュール１２０２は、前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている。 前記ピックアップ部材１３０は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするように配置されている。
予め設定された時間が経つたびに、カメラは１つの画像を撮像する。前記目標画像は、ピックアップロボット又はロボットのピックアップ部材が商品を保管しているスロット位置に移動したとき撮像した画像である。当該画像には、スロット位置に対応するスロット識別子を含む。
前記スロット位置は商品を収納するものであり、スロット識別子は各スロットの下方、例えばスロット位置の下部ビームに設けられてもよい。当該スロット識別子は対応するスロット位置を識別するものであり、例えば、スロット位置のＩＤ番号を識別することができる。具体的に実施する際に、前記スロット識別子は二次元コード等に設定されてもよい。
ピックアップロボットのカメラ１１０がスロット識別子を含む目標画像を得た後、および画像処理モジュール１２０１が目標画像から商品識別子を選別する前に、ピックアップロボットは、画像処理モジュール１２０１により目標画像からスロット識別子を抽出するとともに、抽出したスロット識別子を解析してスロット位置の識別情報を取得する必要がある。その後、画像処理モジュール１２０１は、取り出すべき商品を保管している目標スロット位置の識別情報を取得し、目標スロット位置の識別情報が目標画像におけるスロット位置の識別情報と同じであるか否かを判定する。同じであれば、目標画像におけるスロット位置は取り出すべき商品を保管している目標スロット位置であり、そうでなければ、目標画像におけるスロット位置は取り出すべき商品を保管している目標スロット位置の位置ではなく、ロボットを移動させ続ける必要があると特定する。
ピックアップロボットの画像処理モジュール１２０１により、目標画像におけるスロット位置が取り出すべき商品を保管している目標スロット位置であると特定された後、前記目標画像から商品識別子を選別するステップを実行する。
画像処理モジュール１２０１は、目標画像からスロット識別子を抽出する。即ち、画像処理モジュール１２０１は、スロット識別子の目標画像での位置情報を特定する。具体的に実施する際に、画像処理モジュール１２０１は、以下のステップにより、目標画像におけるスロット識別子の位置情報を特定することができる。
ステップ１：前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出する。
画像処理モジュール１２０１は、目標画像を二値化処理し、二値化画像を得る。
二値化画像を取得後、当該二値化画像から予め設定されたグレー値を有するピクセルを抽出し、即ちスロット識別子を位置決めるための位置決め識別子のピクセルを抽出する。図２に示すように、具体的に実施する際に、スロット識別子の位置決め識別子は特定の幅を有する黒枠２１であれば、このステップでは、画像処理モジュール１２０１は黒色のピクセルを抽出する。
ステップ２：抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を取得する。
画像処理モジュール１２０１は位置決め識別子のピクセルを抽出した後、直線をフィッティングし、特定の幅を有する黒枠を得る。このステップで得られた黒枠は候補位置決め識別子であり、当該黒枠がスロット識別子を位置決める目標位置決め識別子であるか否かをさらに検証する必要がある。フィッティングされた直線の交点は位置決め識別子のコーナーポイントである。
ステップ３：前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定する。
画像処理モジュール１２０１は、フィッティングにより候補位置決め識別子を得た後、予め設定された条件により、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であるか否かを検証する。例えば、候補位置決め識別子の線幅が予め設定された幅であるか、或いは候補位置決め識別子が予め設定された形状を有するかなどについて検証する。
候補位置決め識別子が予め設定された条件を満たすと、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であると特定する。
ステップ４：前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定する。
画像処理モジュール１２０１は目標位置決め識別子を特定した後、当該目標位置決め識別子とスロット識別子の予め設定された相対的な位置関係に基づいて、スロット識別子の位置決めを実現し、即ち、目標画像でのスロット識別子の位置情報を特定する。
目標画像でのスロット識別子の位置情報を特定すれば、スロット識別子を解析し、目標画像での現在スロット位置は取り出すべき商品を保管している目標スロット位置であるかを特定することができる。
画像処理モジュール１２０１は、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、商品識別子に基づいて目標スロット位置における取り出すべき商品の位置情報を特定するように、目標画像から商品識別子を選別する必要がある。
具体的に実施する際に実施する際に実施する際に、画像処理モジュール１２０１は、以下のステップにより目標画像から商品識別子を選別することができる。
ステップ１：前記目標画像において前記スロット識別子の上方にある画像領域を関心領域とする。
具体的に実施する際に、商品識別子が取り出すべき商品上に設けられ、その位置がスロット識別子より高く設定されているので、このステップでは、スロット識別子の上方の画像領域を関心領域として商品識別子を選別する。また、スロット識別子を算出する際にそのサイズが得られるので、予め設定された情報に基づいて、商品識別子のサイズを特定することができる。
ステップ２：前記関心領域に予め設定された形状を有する識別子が含まれているか否かを検出する。
具体的に実施する際に、図２に示すように、商品識別子は、予め設定された形状を有する識別子２２であり得るので、このステップでは、関心領域に予め設定された形状を有する識別子が含まれているか否かを検出する。前記予め設定された形状は、円形、三角形、四角形等であり得るが、本出願では商品識別子の形状を限定しない。
勿論、商品識別子は、予め設定された色を有する識別子であってもよいし、二次元コード等であってもよい。本出願では、商品識別子の具体的な形態を制限せず、商品識別子を選別するときに商品識別子の実際の具体的な形態に応じて選別すればよい。
ステップ３：前記関心領域に予め設定された形状を有する識別子が含まれていると特定された場合に、当該識別子を前記商品識別子とする。
関心領域に予め設定された形状を有する識別子を含む場合、画像処理モジュール１２０１は当該識別子を前記商品識別子として取り扱う。
商品識別子が商品上に設けられているので、画像処理モジュール１２０１により前記商品識別子が選別されなかった場合に、目標スロット位置には取り出すべき商品が存在せず、今回のピックアップ作業が失敗したことが分かる。
画像処理モジュール１２０１により、商品識別子が選別された後、位置特定モジュール１２０２は、以下のステップにより、前記目標スロット位置での前記取り出すべき商品の位置情報を特定することができる。
ステップ１：前記目標画像における前記商品識別子の中心位置情報を特定する。
位置特定モジュール１２０２は画像解析等の技術により、前記目標画像での商品識別子の中心の位置情報を特定する。
ステップ２：前記中心位置情報及び前記商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定する。
商品識別子は商品の所定箇所に予め配置されているので、商品識別子と前記取り出すべき商品との相対的な位置情報が既知である。商品識別子の目標画像での中心位置情報及び商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、目標画像における取り出すべき商品の位置情報を特定でき、その後、画像座標系と地理座標系の変換関係に基づいて、目標スロット位置での取り出すべき商品の位置情報を特定できる。
具体的に実施する際に、商品識別子は商品の任意箇所に設置されてもよい。このとき、商品識別子が二次元コードであってもよく、当該二次元コードには、商品識別子と前記取り出すべき商品との相対的な位置情報が記憶されている。位置特定モジュール１２０２は、商品識別子を復号処理することにより、商品識別子と前記取り出すべき商品との相対的な位置情報を取得することができる。
位置特定モジュール１２０２によって、前記目標スロット位置における取り出すべき商品の位置情報が特定された後、ピックアップロボットは、ピックアップ部材により、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップすることができる。
前記ピックアップ部材１３０は、ピックアップロボットに設けられる伸縮式フォークであってもよい。
前記実施形態では、スロット識別子及び商品識別子に基づいて、取り出すべき商品を保管している目標スロット位置、及び取り出すべき商品の目標スロット位置での位置情報を正確に特定でき、また特定されたこの位置情報に基づいて、取り出すべき商品を正確にピックアップすることができるので、ピックアップの成功率が効果的に向上されるとともに、物流業界の物流効率向上にも有利である。
前記ピックアップロボットに対応して、本出願の実施形態は、さらに、ピックアップ方法を提供する。当該方法は前記ピックアップロボットに利用され、同一又は類似する有益な効果を実現できるので、重複な部分について記述しない。
具体的に、図３に示すように、本出願に係るピックアップ方法は、次のステップを含んでもよい。
Ｓ３１０：ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得する。前記目標画像には、現在スロット位置に対応するスロット識別子が含まれている。
Ｓ３２０：前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別する。
Ｓ３３０：前記商品識別子が選別により得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定する。
Ｓ３４０：前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップする。
幾つかの実施形態では、前記目標画像を取得後、前記ピックアップ方法は、さらに、
前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出するステップと、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を得るステップと、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定するステップと、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するステップとを含むことができる。
幾つかの実施形態では、前記スロット識別子は二次元コードである。
前記ピックアップ方法は、さらに、前記スロット識別子に対応するスロット位置が前記取り出すべき商品を保管している目標スロット位置であるか否かを特定するステップを含む。即ち、
前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報が前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置は前記目標スロット位置であると特定する。
幾つかの実施形態では、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップは、
前記目標画像での前記商品識別子の中心位置情報を特定するステップと、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップとを含む。
本出願の一実施形態は、カメラと、プロセッサと、ピックアップ部材とを備えるピックアップロボットを提供する。前記プロセッサは、画像処理モジュール及び位置特定モジュールを備える。
本出願の実施形態では、前記ピックアップロボットは、取り出すべき商品が収容されている目標スロット位置の位置情報を予めに知ることができる。この場合、前記ピックアップロボットは前記目標スロット位置までに直接に移動できる。
前記カメラは、前記ピックアップロボットが商品を保管している目標スロット位置に移動するときに撮像した目標画像を取得するように配置されている。
前記画像処理モジュールは、前記目標画像から商品識別子を選別するように配置されている。
前記位置特定モジュールは、選別により前記商品識別子が得られた場合に、前記商品識別子に基づいて、前記目標スロット位置での前記取り出すべき商品の位置情報を特定するように配置されている。
前記ピックアップ部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするように配置されている。
予め設定された時間が経つたびに、カメラは１つの画像を撮像する。前記目標画像は、ピックアップロボット又はロボットのピックアップ部材が商品を保管しているスロット位置に移動したとき撮像した画像である。当該画像には、スロット位置に対応するスロット識別子を含む。
スロット識別子は各スロットの下方、例えばスロット位置の下部ビームに設けられてもよい。当該スロット識別子は対応するスロット位置を識別するものであり、例えば、スロット位置のＩＤ番号を識別することができる。具体的に実施する際に、前記スロット識別子は二次元コード等に設定されてもよい。
ピックアップロボットのカメラがスロット識別子を含む目標画像を得た後、および画像処理モジュールが目標画像から商品識別子を選別する前に、ピックアップロボットは、画像処理モジュールにより目標画像からスロット識別子を抽出するとともに、抽出したスロット識別子を解析してスロット位置の識別情報を取得する必要がある。その後、画像処理モジュールは、取り出すべき商品を保管している目標スロット位置の識別情報を取得し、目標スロット位置の識別情報が目標画像におけるスロット位置の識別情報と同じであるか否かを判定する。同じであれば、目標画像におけるスロット位置は取り出すべき商品を保管している目標スロット位置であると特定する。
画像処理モジュールは、目標画像におけるスリット識別子の位置情報を特定する。具体的に実施する際に、画像処理モジュールは、以下のステップにより、目標画像におけるスロット識別子の位置情報を特定することができる。
ステップ１：前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出する。
画像処理モジュールは、目標画像を二値化処理し、二値化画像を得る。
二値化画像を取得後、当該二値化画像から予め設定されたグレー値を有するピクセルを抽出し、即ちスロット識別子を位置決めるための位置決め識別子のピクセルを抽出する。図２に示すように、具体的に実施する際に、スロット識別子の位置決め識別子が特定の幅を有する黒枠２１であれば、このステップでは、画像処理モジュールは黒色のピクセルを抽出する。
ステップ２：抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を取得する。
画像処理モジュールは位置決め識別子のピクセルを抽出した後、直線をフィッティングし、特定の幅を有する黒枠を得る。このステップで得られた黒枠は候補位置決め識別子であり、当該黒枠がスロット識別子を位置決める目標位置決め識別子であるか否かをさらに検証する必要がある。フィッティングされた直線の交点は位置決め識別子のコーナーポイントである。
ステップ３：前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定する。
画像処理モジュールは、フィッティングにより候補位置決め識別子を得た後、予め設定された条件により、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であるか否かを検証する。例えば、候補位置決め識別子の線幅が予め設定された幅であるか、或いは候補位置決め識別子が予め設定された形状を有するかなどについて検証する。
候補位置決め識別子が予め設定された条件を満たすと、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であると特定する。
ステップ４：前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定する。
画像処理モジュールは目標位置決め識別子を特定した後、当該目標位置決め識別子とスロット識別子の予め設定された相対的な位置関係に基づいて、スロット識別子の位置決めを実現し、即ち、目標画像でのスロット識別子の位置情報を特定する。
目標画像でのスロット識別子の位置情報を特定すれば、スロット識別子を解析し、目標画像での現在スロット位置は取り出すべき商品を保管している目標スロット位置であるかを特定することができる。
画像処理モジュールは、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、商品識別子に基づいて目標スロット位置における取り出すべき商品の位置情報を特定するように、目標画像から商品識別子を選別する必要がある。
具体的に実施する際に、画像処理モジュールは、以下のステップにより目標画像から商品識別子を選別することができる。
ステップ１：前記目標画像において前記スロット識別子の上方にある画像領域を関心領域とする。
具体的に実施する際に、商品識別子が取り出すべき商品に設けられ、その位置がスロット識別子より高く設定されているので、このステップでは、スロット識別子の上方の画像領域を関心領域とし商品識別子を選別する。また、スロット識別子を算出する際にそのサイズが得られるので、予め設定された情報に基づいて、商品識別子のサイズを特定することができる。
ステップ２：前記関心領域に予め設定された形状を有する識別子が含まれているか否かを検出する。
具体的に実施する際に、図２に示すように、商品識別子は、予め設定された形状を有する識別子２２であり得るので、このステップでは、関心領域に予め設定された形状を有する識別子が含まれているか否かを検出する。前記予め設定された形状は、円形、三角形、四角形等であり得るが、本出願では商品識別子の形状を限定しない。
勿論、商品識別子は、予め設定された色を有する識別子であってもよいし、二次元コード等であってもよい。本出願では、商品識別子の具体的な形態を制限せず、商品識別子を選別するときに商品識別子の実際の具体的な形態に応じて選別すればよい。
ステップ３：前記関心領域に予め設定された形状を有する識別子が含まれていると特定された場合に、当該識別子を前記商品識別子とする。
関心領域に予め設定された形状を有する識別子を含む場合、画像処理モジュールは当該識別子を前記商品識別子として取り扱う。
商品識別子が商品上に設けられているので、画像処理モジュールにより前記商品識別子が選別されなかった場合に、目標スロット位置には取り出すべき商品が存在せず、今回のピックアップ作業が失敗したことが分かる。
画像処理モジュールによって商品識別子が選別された後、位置特定モジュールは、以下のステップにより、前記目標スロット位置での前記取り出すべき商品の位置情報を特定することができる。
ステップ１：前記目標画像における前記商品識別子の中心位置情報を特定する。
位置特定モジュールは画像解析等の技術により、前記目標画像での商品識別子の中心の位置情報を特定する。
ステップ２：前記中心位置情報及び前記商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定する。
商品識別子は商品の所定箇所に予め配置されているので、商品識別子と前記取り出すべき商品との相対的な位置情報が既知である。商品識別子の目標画像での中心位置情報及び商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、目標画像における取り出すべき商品の位置情報を特定でき、その後、画像座標系と地理座標系の変換関係に基づいて、目標スロット位置での取り出すべき商品の位置情報を特定できる。
具体的に実施する際に、商品識別子は商品の任意箇所に設置されてもよい。このとき、商品識別子が二次元コードであってもよく、当該二次元コードには、商品識別子と前記取り出すべき商品との相対的な位置情報が記憶されている。位置特定モジュールは、商品識別子を復号処理することにより、商品識別子と前記取り出すべき商品との相対的な位置情報を取得することができる。
位置特定モジュールによって、前記目標スロット位置における取り出すべき商品の位置情報が特定された後、ピックアップロボットは、ピックアップ部材により、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップすることができる。
前記ピックアップ部材は、ピックアップロボットに設けられる伸縮式フォークであってもよい。
前記実施形態では、スロット識別子及び商品識別子に基づいて、取り出すべき商品を保管している目標スロット位置、及び取り出すべき商品の目標スロット位置での位置情報を正確に特定でき、また特定されたこの位置情報に基づいて、取り出すべき商品を正確にピックアップすることができるので、ピックアップの成功率が効果的に向上されるとともに、物流業界の物流効率向上にも有利である。
前記ピックアップロボットに対応して、本出願の実施形態はピックアップ方法をさらに提供する。当該方法は前記ピックアップロボットに適用され、同一又は類似する有益な効果を実現できるので、重複な部分について記述しない。
具体的に、本出願の一実施形態では、ピックアップロボットは、取り出すべき商品が収容されている目標スロット位置の位置情報を予め知ることができる。この場合、前記ピックアップロボットは前記目標スロット位置に直接に移動することができる。本出願に係るピックアップ方法は、
ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像から商品識別子を選別するステップと、
前記商品識別子が選別により得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするステップとを含むことができる。
オプションとして、前記目標画像には、現在スロット位置に対応するスロット識別子が含まれている。
前記目標画像から商品識別子を選別するステップは、
前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別するステップを含む。
幾つかの実施形態では、前記目標画像が取得された後、前記ピックアップ方法は、さらに、
前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出するステップと、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を得るステップと、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定するステップと、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するステップとを含む。
幾つかの実施例では、前記スロット識別子は二次元コードである。
前記ピックアップ方法は、さらに、前記スロット識別子に対応するスロット位置が、前記取り出すべき商品を保管している目標スロット位置であるかを特定するステップを含む。即ち、
前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報は前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置が前記目標スロット位置であると特定する。
幾つかの実施例では、前記商品識別子に基づいて前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップは、
前記目標画像での前記商品識別子の中心位置情報を特定するステップと、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品位置情報を特定するステップとを含む。
本出願の一実施形態は、さらに、カメラ、プロセッサ及び保管部材を備える保管ロボットを提供する。前記プロセッサは画像処理モジュール及び位置特定モジュール備える。
前記カメラは、前記保管ロボットが商品を保管すべきスロット位置に移動したときに撮像した目標画像を取得するように配置され、
画像処理モジュールは、前記目標画像からスロット識別子を選別するように配置され、
前記位置特定モジュールは、前記スロット識別子に対応する目標スロット位置を特定した場合に、前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するように配置され、
前記保管部材は、前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるように配置されている。
前記保管部材は保管ロボットに設けられる伸縮式フォークであっても良い。
前記実施形態では、スロット識別子及びスロット識別子の前記目標画像での位置に基づいて、保管すべき商品の目標スロット位置、及び保管すべき商品の目標スロット位置での保管位置情報を精度よく特定でき、また特定されたこの位置情報に基づいて、保管すべき商品を正確に保管できるので、商品保管の成功率が効果的に向上されるとともに、物流業界の物流効率向上にも寄与する。
当業者に知られるように、本出願に係るピックアップロボット及び保管ロボットは、作業別にロボットを機能的に区分しただけであり、実際に使用するとき、ロボットがピックアップ作業を実行するとピックアップロボットとされ、またロボットが保管作業を実行すると保管ロボットとされてもよい。ピックアップロボットのピックアップ部材及び保管ロボットの保管部材は、ピックアップ及び保管機能を同時に実現できる同一の部材であってもよい。
前記保管ロボットに応じて、本出願の実施形態は、さらに保管方法を提供する。当該方法は前記保管ロボットに適用され、同一又は類似する有益な効果を実現できるので、重複な部分について記述しない。
本出願の実施形態に係る保管方法は、
前記保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像からスロット識別子を選別するステップと、
前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるステップとを含む。
本出願の実施形態は、さらに、プログラムコードを記憶するコンピュータ可読記憶媒体を含む、前記の方法に対応するコンピュータプログラム製品を提供する。プログラムコードに含まれる命令は、前記方法の実施形態における方法を実行するために使用され得る。具体的には、方法の実施形態を参照できるので、ここでは記述しない。
以上に各実施形態に対する説明は、各実施形態の相違を強調する傾向があるが、それらの共通点または類似点を互いに参照することができる。簡潔のため、本明細書では記述しない。
当業者であれば明確に理解できるように、説明および簡潔の便宜上、前記明細書に記載されたシステムおよび装置の具体的な動作過程は、方法の実施形態での対応する過程を参照できるので、本出願では記述しない。本出願に提供されるいくつかの実施形態では、開示されたシステム、装置および方法は、他の方法で実施され得ることが理解されるべきである。前記明細書に記載された装置の実施形態は、例示的なものに過ぎない。例えば、前記モジュールの分割は、ロジック機能の分割に過ぎず、実際に実現するときに別の分割方式がある。また例えば、複数のモジュールまたはコンポーネントを他のシステムに組み合わせるか統合させ、または一部の機能を無視するか、実行しなくてもよい。さらに、表示または説明されている相互結合または直接結合または通信接続は、いくつかの通信インターフェース、デバイスまたはモジュールを介した間接結合または通信接続であってもよく、電気的、機械的または他の形態であってもよい。
個別の部材として説明された前記モジュールは、物理的に分離されてもよいし分離されなくてもよい。モジュールとして表示される部材は、物理的なユニットであってもよく、つまり、１つの場所に配置されてもよいし、複数のネットワークユニットに分散されてもよい。実際の要求に応じて、一部または全部のユニットを選択して本実施例の目的を実現することができる。
また、本出願の各実施形態における各機能ユニットは、１つの処理ユニットに統合されてもよく、または各ユニットが物理的に単独で存在してもよく、または２つ以上のユニットが１つのユニットに統合されてもよい。
前記機能がソフトウェア機能ユニットの形で実現され、独立した製品として販売または使用される場合に、プロセッサによって実行可能な不揮発性コンピュータ可読記憶媒体に記憶してもよい。この理解に基づいて、本出願の技術案または既存技術に貢献した部分または当該技術案の一部は、本質的に、ソフトウェア製品の形で具体化することができ、このコンピュータソフトウェア製品は１つの記憶場体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバー、またはネットワークデバイスなどであり得る）に、本出願の各実施形態に記載された方法のステップの全部または一部を実行させるためのいくつかの命令を含む 。前述の記憶媒体には、Ｕディスク、モバイルハードディスク、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスク等プログラムコードを記憶できる媒体が含まれる。
以上は、本出願の具体的な実施形態に過ぎないが、本出願の保護範囲はこれに限定されない。本出願に開示されている技術範囲内から当業者が容易に想到できた変更または置換は、いずれも本願の保護範囲内に含まれる。したがって、本出願の保護範囲は、特許請求の範囲の保護範囲を基準とする。

Claims (14)

  1. 画像ピックアップ装置と、画像処理モジュール及び位置特定モジュールを有するプロセッサと、ピックアンドプレース部材とを備えるロボットであって
    前記ロボットは、ピックアップ工程または保管工程の少なくとも１つを実行するものであり、
    前記ピックアップ工程において、
    前記画像処理モジュールは、前記ロボットが商品を保管している目標スロット位置に移動したときに、前記画像ピックアップ装置によって撮像された目標画像を取得するとともに、前記目標画像から商品識別子を選別するように配置され、
    前記位置特定モジュールは、前記選別によって前記商品識別子が得られたことに応答して、前記商品識別子に基づいて、前記目標スロット位置における取り出すべき商品の位置情報を特定するように配置され、
    前記ピックアンドプレース部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするように配置されており、
    前記保管工程において、
    前記画像処理モジュールは、前記ロボットが商品を保管すべき目標スロット位置に移動したときに、前記画像ピックアップ装置によって撮像された目標画像を取得するとともに、前記目標画像からスロット識別子を選別するように配置され、
    前記位置特定モジュールは、前記選別によって前記スロット識別子が得られたことに応答して、前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するように配置され、
    前記ピックアンドプレース部材は、前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるように配置されている、ロボット。
  2. 前記ピックアップ工程において、前記目標画像には、現在スロット位置に対応するスロット識別子が含まれており、
    前記画像処理モジュールは、さらに、前記スロット識別子に基づいて、現在スロット位置が前記取り出すべき商品を保管している目標スロット位置であると特定したことに応答して、前記目標画像から商品識別子を選別するように配置されている、請求項１に記載のロボット。
  3. 前記画像処理モジュールは、さらに、
    前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出し、
    抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を取得し、
    前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定し、
    前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するように配置されている、請求項２に記載のロボット。
  4. 前記スロット識別子は二次元コードであり、
    前記画像処理モジュールは、さらに、
    前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
    取得された前記識別情報が前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置が前記目標スロット位置であると特定するように配置されている、請求項２に記載のロボット。
  5. 前記画像処理モジュールは前記目標画像から商品識別子を選別し、具体的に、
    前記目標画像において前記スロット識別子の上方にある画像領域を関心領域とし、
    前記関心領域に予め設定された形状を有する識別子が含まれているか否かを検出し、
    前記関心領域に予め設定された形状を有する識別子が含まれていると検出した場合に、当該識別子を前記商品識別子とするように配置されている、請求項２に記載のロボット。
  6. 前記ピックアップ工程において、前記位置特定モジュールは前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定し、具体的に、
    前記目標画像における前記商品識別子の中心位置情報を特定し、
    前記中心位置情報及び前記商品識別子と前記取り出すべき商品の相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている、請求項１に記載のロボット。
  7. 前記ピックアップ工程において、前記画像処理モジュールは、さらに、
    前記商品識別子が選別で得られなかった場合に、前記目標スロット位置に前記取り出すべき商品が存在しないと特定するように配置されている、請求項１に記載のロボット。
  8. ピックアップ工程と保管工程の少なくとも１つを含む商品処理方法であって、
    前記ピックアップ工程は、
    ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
    前記目標画像から商品識別子を選別するステップと、
    前記選別によって前記商品識別子が得られたことに応答して、前記商品識別子に基づいて、前記目標スロット位置における取り出すべき商品の位置情報を特定するステップと、
    前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするステップとを含み、
    前記保管工程は、
    保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
    前記目標画像からスロット識別子を選別するステップと、
    前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するステップと、
    前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるステップとを含む、商品処理方法。
  9. 前記ピックアップ工程において、前記目標画像には、現在スロット位置に対応するスロット識別子が含まれており、
    前記目標画像から商品識別子を選別するステップは、
    前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定したことに応答して、前記目標画像から商品識別子を選別するステップを含む、請求項８に記載の方法。
  10. 前記目標画像を取得した後、前記方法は、さらに、
    前記目標画像を二値化処理し、二値化処理された画像から、予め設定されたグレー値を有するピクセルを抽出するステップと、
    抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を取得するステップと、
    前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定するステップと、
    前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するステップとを含む、請求項９に記載の方法。
  11. 前記スロット識別子は二次元コードであり、
    前記方法は、さらに、前記スロット識別子に対応するスロット位置が前記取り出すべき商品を保管している目標スロット位置であるか否かを特定するステップを備え、即ち、
    前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
    取得された前記識別情報は前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置が前記目標スロット位置であると特定する、請求項９に記載の方法。
  12. 前記ピックアップ工程において、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップは、
    前記目標画像における前記商品識別子の中心位置情報を特定するステップと、
    前記中心位置情報及び前記商品識別子と前記取り出すべき商品の相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップとを含む、請求項８に記載の方法。
  13. コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されるとき、ピックアップ工程と保管工程の少なくとも１つを含む商品処理方法を実行するコンピュータ可読記憶媒体であって、
    前記ピックアップ工程は、
    ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
    前記目標画像から商品識別子を選別するステップと、
    前記選別によって前記商品識別子が得られたことに応答して、前記商品識別子に基づいて、前記目標スロット位置における取り出すべき商品の位置情報を特定するステップと、
    前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするステップとを含み、
    前記保管工程は、
    保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
    前記目標画像からスロット識別子を選別するステップと、
    前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するステップと、
    前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるステップとを含む、、コンピュータ可読記憶媒体。
  14. コンピュータプログラムであって、
    前記コンピュータプログラムがコンピュータにおいて実行されるとき、コンピュータに、ピックアップ工程と保管工程の少なくとも１つを含む商品処理方法を実行させ、
    前記ピックアップ工程は、
    ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
    前記目標画像から商品識別子を選別するステップと、
    前記選別によって前記商品識別子が得られたことに応答して、前記商品識別子に基づいて、前記目標スロット位置における取り出すべき商品の位置情報を特定するステップと、
    前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするステップとを含み、
    前記保管工程は、
    保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
    前記目標画像からスロット識別子を選別するステップと、
    前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するステップと、
    前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるステップとを含む、コンピュータプログラム。
JP2022513882A 2019-12-26 2020-12-22 ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体 Active JP7392116B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911368940.5 2019-12-26
CN201911368940.5A CN113052517A (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质
PCT/CN2020/138291 WO2021129608A1 (zh) 2019-12-26 2020-12-22 取货机器人、取货方法、计算机可读存储介质

Publications (2)

Publication Number Publication Date
JP2022546999A JP2022546999A (ja) 2022-11-10
JP7392116B2 true JP7392116B2 (ja) 2023-12-05

Family

ID=76505548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022513882A Active JP7392116B2 (ja) 2019-12-26 2020-12-22 ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体

Country Status (7)

Country Link
US (1) US20220315337A1 (ja)
EP (1) EP4002243A4 (ja)
JP (1) JP7392116B2 (ja)
KR (1) KR20220069929A (ja)
CN (2) CN113052517A (ja)
AU (1) AU2020414142B2 (ja)
WO (1) WO2021129608A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113945063A (zh) * 2021-10-15 2022-01-18 福建瑞雪制冷设备有限公司 一种基于物联网的冷库控制方法、系统及其存储介质
CN117146828B (zh) * 2023-10-30 2024-03-19 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004196439A (ja) 2002-12-16 2004-07-15 Fuji Photo Film Co Ltd 在庫管理システム
JP2018513822A (ja) 2015-04-16 2018-05-31 インヴィア ロボティクス、インコーポレイテッド 自律的な注文履行及び在庫制御ロボット
JP2019163172A (ja) 2017-02-10 2019-09-26 日鉄ソリューションズ株式会社 システム、情報処理装置、情報処理方法、プログラム及び記録媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010056313A1 (en) * 2000-05-08 2001-12-27 Osborne William Joseph Object locating and retrieving system utilizing labels
JP2005083984A (ja) * 2003-09-10 2005-03-31 Neomax Co Ltd 物品位置確認システム
JP2007090448A (ja) * 2005-09-27 2007-04-12 Honda Motor Co Ltd 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
JP2009015684A (ja) * 2007-07-06 2009-01-22 Komatsu Utility Co Ltd 配車システム及び方法
CN104008361B (zh) * 2014-06-16 2017-05-31 北京握奇智能科技有限公司 一种二维码扫描定位提示方法及系统
JP6722438B2 (ja) * 2015-11-24 2020-07-15 ワム・システム・デザイン株式会社 情報処理装置、情報処理方法、及びプログラム
US9908702B2 (en) * 2016-02-05 2018-03-06 Invia Robotics, Inc. Robotic navigation and mapping
US10227176B2 (en) * 2016-09-05 2019-03-12 Kabushiki Kaisha Toshiba Picking apparatus
GB2573707B (en) * 2017-01-30 2022-03-02 Walmart Apollo Llc Distributed autonomous robot systems and methods
CN112088070A (zh) * 2017-07-25 2020-12-15 M·奥利尼克 用于操作机器人系统并执行机器人交互的系统及方法
CN108182417B (zh) * 2017-12-29 2020-07-10 广东安居宝数码科技股份有限公司 出货检测方法、装置、计算机设备及自动售货机
CN110097304B (zh) * 2018-01-30 2024-01-16 北京京东乾石科技有限公司 信息生成方法和装置
US10678228B2 (en) * 2018-04-04 2020-06-09 Invia Robotics, Inc. Autonomous robots performing concerted operation based on shared sensory access and holistic flow of information
WO2019200018A1 (en) * 2018-04-10 2019-10-17 Dymesich David Tanner Robot management system
CN109409218A (zh) * 2018-09-18 2019-03-01 北京无线体育俱乐部有限公司 提示方法、装置及系统
CN109344928B (zh) * 2018-09-19 2020-05-15 中国科学院信息工程研究所 一种大型仓库中基于无人机的货物精确盘点方法及系统
CN109636269B (zh) * 2018-11-14 2022-08-23 深圳市海柔创新科技有限公司 货物处理方法、装置、存储介质和计算机设备
CN110148257A (zh) * 2019-04-01 2019-08-20 厦门鲜喵网络科技有限公司 一种取货方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004196439A (ja) 2002-12-16 2004-07-15 Fuji Photo Film Co Ltd 在庫管理システム
JP2018513822A (ja) 2015-04-16 2018-05-31 インヴィア ロボティクス、インコーポレイテッド 自律的な注文履行及び在庫制御ロボット
JP2019163172A (ja) 2017-02-10 2019-09-26 日鉄ソリューションズ株式会社 システム、情報処理装置、情報処理方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
WO2021129608A1 (zh) 2021-07-01
AU2020414142B2 (en) 2023-07-27
AU2020414142A1 (en) 2022-03-10
CN113128501A (zh) 2021-07-16
JP2022546999A (ja) 2022-11-10
KR20220069929A (ko) 2022-05-27
CN113052517A (zh) 2021-06-29
EP4002243A1 (en) 2022-05-25
EP4002243A4 (en) 2023-11-22
US20220315337A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
JP7392116B2 (ja) ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体
US10311596B2 (en) Image processing device, robot, robot system, and marker
CN103955660B (zh) 一种批量二维码图像识别方法
US20130279758A1 (en) Method and system for robust tilt adjustment and cropping of license plate images
JP7049983B2 (ja) 物体認識装置および物体認識方法
JP2007090448A (ja) 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
JP6343648B2 (ja) 円検出方法、円検出装置、プログラム及び記憶媒体
CN112446363A (zh) 一种基于视频抽帧的图像拼接与去重方法及装置
US20210216767A1 (en) Method and computing system for object recognition or object registration based on image classification
US20230381971A1 (en) Method and computing system for object registration based on image classification
CN108764297B (zh) 一种可移动设备位置的确定方法、装置及电子设备
JP2009140268A (ja) 後続処理の自動処理プログラム，後続処理の自動処理装置および後続処理の自動処理方法
JP2018036770A (ja) 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム
JP6424432B2 (ja) 制御装置、ロボットシステム、ロボット及びロボット制御方法
JP2018081629A (ja) 判定装置、判定方法および判定プログラム
JP2013532451A (ja) 倉庫内の物体の位置を特定するための方法及び装置
JP6041710B2 (ja) 画像認識方法
CN112288038B (zh) 基于图像分类的物体识别或物体注册的方法及计算系统
CN113345015A (zh) 一种包裹位置检测方法、装置、设备及可读存储介质
CN112069849A (zh) 基于多个二维码的识别定位方法、装置、设备及存储介质
JP2015136763A (ja) 制御装置、ロボットシステム、ロボット及びロボット制御方法
JP2013010160A (ja) ロボット制御システム、ロボットシステム及びマーカー処理方法
US20230311308A1 (en) Machine-learning device
CN116977919B (zh) 一种着装规范的识别方法、系统、存储介质和电子设备
JP2013010157A (ja) ロボット制御システム、ロボットシステム及びマーカー処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231122

R150 Certificate of patent or registration of utility model

Ref document number: 7392116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150