JP2023531391A - 倉庫ロボットの制御方法、装置、機器、および読み取り可能記憶媒体 - Google Patents

倉庫ロボットの制御方法、装置、機器、および読み取り可能記憶媒体 Download PDF

Info

Publication number
JP2023531391A
JP2023531391A JP2022576011A JP2022576011A JP2023531391A JP 2023531391 A JP2023531391 A JP 2023531391A JP 2022576011 A JP2022576011 A JP 2022576011A JP 2022576011 A JP2022576011 A JP 2022576011A JP 2023531391 A JP2023531391 A JP 2023531391A
Authority
JP
Japan
Prior art keywords
storage location
target storage
target
transport
warehouse robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022576011A
Other languages
English (en)
Inventor
李彙祥
鄭睿群
陳宇奇
Original Assignee
深▲せん▼市海柔▲創▼新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深▲せん▼市海柔▲創▼新科技有限公司 filed Critical 深▲せん▼市海柔▲創▼新科技有限公司
Publication of JP2023531391A publication Critical patent/JP2023531391A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02Storage devices
    • B65G1/04Storage devices mechanical
    • B65G1/137Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0208Control or detection relating to the transported articles
    • B65G2203/0233Position of the article
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • B65G2203/041Camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • B65G2203/042Sensors
    • B65G2203/044Optical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Abstract

本発明は、倉庫ロボットの制御方法、装置、機器および読み取り可能記憶媒体を提供する。本発明の方法は、搬送タスクを実行する前に、画像収集装置により 目標保管場所の画像データを収集し、前記目標保管場所の画像データに基づいて、前記搬送タスクの実行条件を現在満たしているか否かを特定し、搬送タスクの実行条件を満たしていると特定された場合、すなわち搬送装置が搬送タスクを実行しても危険が発生しえない場合、搬送タスクを制御して前記搬送タスクを実行させることで、危険の発生を回避し、倉庫ロボットの安全性を向上させる。

Description

本願は2020年06月12日に中国専利局に出願された、出願番号202010537646.9、発明の名称「倉庫ロボットの制御方法、装置、機器、および読み取り可能記憶媒体」の中国専利出願の優先権を主張し、そのすべての内容を援用により本願に組み入れる。
本発明はスマート倉庫の技術分野に関し、特に、倉庫ロボットの制御方法、装置、機器、および読み取り可能記憶媒体に関する。
インテリジェントマニュファクチャリングおよび倉庫物流分野のネットワーク化とスマート化に伴い、倉庫物流は企業の製造管理プロセスにおいて非常に重要な地位を占め、スマート倉庫分野において、倉庫ロボットが人間に代わって荷物の搬送を行うことがますます普及してきている。
従来のスマート倉庫システムにおいては、ラックの振動や人為的操作ミス等によって、コンテナが保管位置内でずれたりラックから落下したりすることを招くおそれがあるため、倉庫ロボットが当該コンテナを取り出すか、あるいは当該コンテナを通過するとき、コンテナとぶつかる可能性がある。そのため、倉庫ロボットがコンテナを出し入れするとき安全面での隠れた危険が存在する。
本発明は、倉庫ロボットの安全性が低いという課題を解決するための倉庫ロボットの制御方法、装置、機器、および読み取り可能記憶媒体を提供する。
本発明の一態様として提供する倉庫ロボットの制御方法は、搬送装置および画像収集装置を有する倉庫ロボットの制御方法であって、前記画像収集装置により、搬送タスクに対応する目標保管位置の画像データを収集するステップと、前記目標保管位置の画像データに基づいて、前記搬送タスクの実行条件を満たしていると特定された場合、前記搬送装置を制御して前記搬送タスクを実行させるステップと、を含む。
選択可能な一実施形態において、前記画像収集装置により、搬送タスクに対応する目標保管場所の画像データを収集する前記ステップは、前記倉庫ロボットが前記目標保管場所に対応する目標位置まで移動したとき、前記画像収集装置を制御して起動させるとともに、前記目標保管場所の画像データを収集させるステップ、または、前記倉庫ロボットが前記目標保管場所周辺の所定範囲内まで移動したとき、前記画像収集装置を制御して起動させるとともに、前記目標保管場所の画像データを収集させるステップを含む。
選択可能な一実施形態において、前記画像収集装置は前記搬送装置に設置され、前記画像収集装置を制御して起動させるとともに、前記目標保管場所の画像データを収集させるステップの前に、さらに、前記搬送装置を制御して、前記目標保管場所に位置合わせさせるステップを含む。
選択可能な一実施形態において、前記目標保管場所の画像データに基づいて、前記搬送タスクの実行条件を満たしていると特定された場合、前記搬送装置を制御して前記搬送タスクを実行させる前記ステップは、前記目標保管場所の画像データに対して検出処理を行い、前記目標保管場所の状態情報および/または目標物体の状態情報を特定するステップと、前記目標保管場所の状態情報および/または目標物体の状態情報に基づいて、前記搬送タスクの実行条件を満たしていると特定された場合、前記搬送装置を制御して前記搬送タスクを実行させるステップと、を含む。
選択可能な一実施形態において、前記目標保管場所の状態情報は、前記目標保管場所の搬送経路上の障害物情報と、前記目標保管場所のサイズ情報と、前記目標保管場所が空いているか否かとのうちの少なくとも1つを含む。
選択可能な一実施形態において、前記目標物体の状態情報は、前記目標物体のID情報と、前記目標物体の姿勢情報と、前記目標物体のサイズ情報と、前記目標物体の破損程度情報と、前記目標物体の変形程度情報とのうちの少なくとも1つを含む。
選択可能な一実施形態において、前記搬送タスクは荷物取り出しタスクであり、前記搬送タスクの実行条件は、前記目標保管場所の荷物取り出し経路上に障害物が無いことと、前記目標物体のステイタス情報と姿勢情報とサイズ情報とが荷物取り出し条件を満たしていることと、前記目標物体の破損程度が第1の所定安全閾値範囲内であることと、前記目標物体の変形程度が第2の所定安全閾値範囲内であることと、のうちの少なくとも1つを含む。
選択可能な一実施形態において、前記搬送タスクは荷物収納タスクであり、前記搬送タスクの実行条件は、前記目標保管場所が空いていることと、前記目標保管場所のサイズが荷物収納条件を満たしていることと、前記目標保管場所の荷物収納経路上に障害物が無いことと、のうちの少なくとも1つを含む。
選択可能な一実施形態において、前記方法はさらに、前記目標保管場所の画像データに基づいて、前記搬送タスクの実行条件が満たされていないと特定された場合、サーバにエラー情報を送信するステップを含み、前記エラー情報は、前記目標保管場所の状態情報と、目標物体の状態情報と、満たされていない実行条件項目と、のうちの少なくとも1つを含む。
選択可能な一実施形態において、サーバにエラー情報を送信した後に、さらに、前記サーバのスケジューリング指示に基づいて、前記倉庫ロボットを制御して対応するエラー処理行為を実行させるステップを含む。
選択可能な一実施形態において、前記エラー処理行為は、現在位置に停止して指示を待つことと、目標ポイントまで移動することと、現在の前記搬送タスクをスキップして次の搬送タスクを実行することと、のうちのいずれか1つである。
選択可能な一実施形態において、前記画像収集装置により前記目標保管場所の画像データを収集するステップは、第1撮影装置により前記目標保管場所の二次元画像データを収集することと、第2撮影装置により前記目標保管場所の三次元点群データを収集することと、レーザレーダ装置により前記目標保管場所の二次元点群データを収集することと、のうちの少なくとも1つを含む。
選択可能な一実施形態において、前記画像収集装置により搬送タスクに対応する前記目標保管場所の画像データを収集する前記ステップの前に、さらに、搬送タスクの実行指令に応じて、倉庫ロボットを制御して前記目標保管場所へ移動させるステップを含む。
本発明の別の一態様として提供する倉庫ロボットの制御装置は、搬送装置および画像収集装置を有する倉庫ロボットに適用され、前記画像収集装置により、搬送タスクに対応する目標保管場所の画像データを収集するデータ取得モジュールと、前記目標保管場所の画像データに基づいて、前記搬送タスクの実行条件を満たしていると特定された場合、搬送装置を制御して前記搬送タスクを実行させる制御モジュールと、を含む。
選択可能な一実施形態において、前記データ取得モジュールはさらに、前記倉庫ロボットが前記目標保管場所に対応する目標位置まで移動したとき、前記画像収集装置を制御して起動させるとともに、前記目標保管場所の画像データを収集させるか、または、前記倉庫ロボットが前記目標保管場所周辺の所定範囲内まで移動したとき、前記画像収集装置を制御して起動させるとともに、前記目標保管場所の画像データを収集させる。
選択可能な一実施形態において、前記画像収集装置は前記搬送装置に設置され、前記制御モジュールはさらに、前記搬送装置を制御して、前記目標保管場所に位置合わせさせる。
選択可能な一実施形態において、前記制御モジュールはさらに、前記目標保管場所の画像データに対して検出処理を行い、前記目標保管場所の状態情報および/または目標物体の状態情報を特定し、前記目標保管場所の状態情報および/または目標物体の状態情報に基づいて、前記搬送タスクの実行条件を満たしていると特定された場合、前記搬送装置を制御して前記搬送タスクを実行させる。
選択可能な一実施形態において、前記目標保管場所の状態情報は、前記目標保管場所の搬送経路上の障害物情報と、前記目標保管場所のサイズ情報と、前記目標保管場所が空いているか否かとのうちの少なくとも1つを含む。
選択可能な一実施形態において、前記目標物体の状態情報は、前記目標物体のID情報と、前記目標物体の姿勢情報と、前記目標物体のサイズ情報と、前記目標物体の破損程度情報と、前記目標物体の変形程度情報とのうちの少なくとも1つを含む。
選択可能な一実施形態において、前記搬送タスクは荷物取り出しタスクであり、前記搬送タスクの実行条件は、前記目標保管場所の荷物取り出し経路上に障害物が無いことと、前記目標物体のID情報と姿勢情報とサイズ情報とが荷物取り出し条件を満たしていることと、前記目標物体の破損程度が第1の所定安全閾値範囲内であることと、前記目標物体の変形程度が第2の所定安全閾値範囲内であることと、のうちの少なくとも1つを含む。
選択可能な一実施形態において、前記搬送タスクは荷物収納タスクであり、前記搬送タスクの実行条件は、前記目標保管場所が空いていることと、前記目標保管場所のサイズが荷物収納条件を満たしていることと、前記目標保管場所の荷物収納経路上に障害物が無いことと、のうちの少なくとも1つを含む。
選択可能な一実施形態において、前記制御モジュールはさらに、前記目標保管場所の画像データに基づいて、前記搬送タスクの実行条件が満たされていないと特定された場合、サーバにエラー情報を送信し、前記エラー情報は、前記目標保管場所の状態情報と、目標物体の状態情報と、満たされていない実行条件項目と、のうちの少なくとも1つを含む。
選択可能な一実施形態において、前記制御モジュールはさらに、前記サーバのスケジューリング指示に基づいて、前記倉庫ロボットを制御して対応するエラー処理行為を実行させる。
選択可能な一実施形態において、前記エラー処理行為は、現在位置に停止して指示を待つことと、目標ポイントまで移動することと、現在の前記搬送タスクをスキップして次の搬送タスクを実行することと、のうちのいずれか1つである。
選択可能な一実施形態において、前記データ取得モジュールはさらに、第1撮影装置により前記目標保管場所の二次元画像データを収集することと、第2撮影装置により前記目標保管場所の三次元点群データを収集することと、レーザレーダ装置により前記目標保管場所の二次元点群データを収集することと、のうちの少なくとも1つを実行する。
選択可能な一実施形態において、前記制御モジュールはさらに、搬送タスクの実行指令に応じて、倉庫ロボットを制御して前記目標保管場所へ移動させる。
本発明の別の一態様として提供する倉庫ロボットは、搬送装置と、画像収取装置と、プロセッサと、メモリと、前記メモリに記憶され、前記プロセッサ上で実行可能なコンピュータプログラムとを含み、前記プロセッサが前記コンピュータプログラムを実行すると、上記倉庫ロボットの制御方法が実現される。
本発明別の一態様として提供するコンピュータ読み取り可能記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されると、上記倉庫ロボットの制御方法が実現される。
本発明で提供する倉庫ロボットの制御方法、装置、機器および読み取り可能記憶媒体は、搬送タスクを実行する前に、画像収集装置により搬送タスクに対応する目標保管場所の画像データを収集し、前記目標保管場所の画像データに基づいて、前記搬送タスクの実行条件を現在満たしているか否かを特定し、搬送タスクの実行条件を満たしていると特定された場合、すなわち搬送装置が搬送タスクを実行しても危険が発生しえない場合、搬送装置を制御して前記搬送タスクを実行させるため、危険の発生を回避し、荷物の出し入れの安全性を高め、荷物の破損およびラックの転倒の確率を下げることができる。
本発明 実施例1で提供する倉庫ロボットの制御方法のフローチャートである。 本発明実施例2で提供する倉庫ロボットの制御方法のフローチャートである。 本発明実施例3で提供する倉庫ロボットの制御装置の構造模式図である。 本発明実施例5で提供する倉庫ロボットの構造模式図である。
上記の図面により本発明の明確な実施例を示したが、以下ではより詳細に説明する。これら図面および文字による説明は、なんら本発明の構想の範囲を限定するためのものではなく、特定の実施例を参照することによって当業者に本発明の概念を説明するためのものである。
ここで例示的な実施例を詳細に説明するが、その例は図面に示されている。以下の説明で図面に言及する場合、別途説明がある場合を除き、異なる図面における同一の符号は同一または類似の要素を示す。
以下の例示的な実施例において説明する実施形態は、本発明と一致するあらゆる実施形態を代表するものではない。
むしろ、それらは「特許請求の範囲」において詳述された本発明のいくつかの形態と一致する装置および方法の例にすぎない。
「第1」、「第2」等の用語は説明目的のために用いるにすぎず、相対的な重要性を指示または暗示したり、その技術特徴の数量を暗示したりしていると理解されるべきではない。以下の各実施例の説明において、別途明確かつ具体的限定がある場合を除き、「複数」は2つ以上を指す。
本発明は具体的に、倉庫ロボット、スケジューリングシステム、倉庫等を含むスマート倉庫システムに適用される。倉庫は、コンテナや荷物等の物体を置くための、複数の保管場所を含む。倉庫ロボットは人間に代わって荷物の搬送を行うことができる。スケジューリングシステムと倉庫ロボットは通信を行い、例えば、スケジューリングシステムが倉庫ロボットに搬送タスクを命令したり、倉庫ロボットがスケジューリングシステムにタスク実行状態情報を送信したりすることなどができる。
従来のスマート倉庫システムにおいては、ラックの振動や人為的操作ミスによって、コンテナが保管場所内でずれたりラックから落下したりすることを招くおそれがあるため、倉庫ロボットが当該コンテナを取り出すか、あるいは当該コンテナを通過するとき、コンテナとぶつかる可能性がある。そのため、倉庫ロボットのコンテナを出し入れの際に安全面での隠れた危険が存在する。
本発明が提供する倉庫ロボットの制御方法は、上記の技術的課題を解決することを目的とする。
以下、具体的実施例により本発明の技術案および本願の技術案が如何にして上記の技術的課題を解決するかを詳細に説明する。以下の複数の具体的実施例は互いに組み合わせることができ、同一または類似する概念またはプロセスについては、ある実施例では再度説明しない場合がある。以下、図面と組み合わせて本発明の実施例を詳細に説明する。
実施例1
図1は本発明実施例1で提供する倉庫ロボットの制御方法のフローチャートである。本実施例における方法は、倉庫ロボットに適用される。他の実施例においては、当該方法をその他の機器に適用することも可能である。本実施例は倉庫ロボットを例として概要的に説明する。本実施例における方法の実行主体は、倉庫ロボットを制御して搬送タスクを実行させるプロセッサでありうる。例えば、倉庫ロボットに搭載された端末機器のプロセッサ等でありうる。図1に示すように、当該方法の具体的ステップは次のとおりである。
ステップS101:画像収集装置により、搬送タスクに対応する目標保管場所の画像データを収集する。
搬送タスクは、対応する目標保管場所の情報と、タスクタイプと、現在のタスクの実行に必要なその他の情報とを含む。搬送タスクのタイプは、荷物取り出しタスクと荷物収納タスクを含みうる。
倉庫ロボットには荷物取り出しおよび/または荷物収納のための搬送装置が配置されている。搬送装置とは保管場所からの荷物取り出しまたは保管場所内への荷物収納のための装置、例えばフォーク等を指す。
画像収集装置は倉庫ロボットに設置された、目標保管場所の画像データを収集可能な装置である。例えば、画像収集装置は2Dカメラ、3Dカメラ、レーザレーダ等でありうる。本開示において、2Dカメラとは、撮影したデータが平面データであるカメラを指し、2Dカメラの一般的なものとして、通常のフルカラーカメラやモノクロカメラがある。3Dカメラとは撮影したデータが立体データであるカメラを指し、その原理は、物体の反射構造化光によるもの、二眼カメラの視野差によるもの等でありうる。3Dカメラの一般的なものとして、Kinect(登録商標)、RealSense(登録商標)等がある。
選択可能に、画像収集装置は倉庫ロボットの搬送装置に設置されうる。倉庫ロボットが目標保管場所へ移動する過程で、または倉庫ロボットが目標保管場所付近まで移動したときに、搬送装置に取り付けられた画像収集装置は目標保管場所の画像データを収集できる。
搬送タスクを実行する前に、プロセッサは目標保管場所の画像データを取得して、目標保管場所の画像データに基づいて、搬送タスクの実行条件を現在満たしているか否かを特定できる。
具体的には、プロセッサは画像収集装置を制御して、目標保管場所の画像データを収集させるとともに、目標保管場所の画像データをプロセッサへ送信させる。プロセッサは画像収集装置が送信した目標保管場所の画像データを受信することで、目標保管場所の画像データをリアルタイムに取得できる。
ステップS102:目標保管場所の画像データに基づいて、搬送タスクの実行条件を満たしていると特定された場合、搬送装置を制御して搬送タスクを実行させる。
目標保管場所の画像データを取得した後、プロセッサは目標保管場所の画像データに対して検出処理を行い、目標保管場所の状態情報および目標保管場所内の物体の状態情報を検出し、目標保管場所の状態情報および目標保管場所内の物体の状態情報に基づいて、搬送タスクの実行条件を現在満たしているか否かを特定することができる。
例示的に、目標保管場所の状態情報には、目標保管場所が空いているか否か、サイズ、搬送装置が目標保管場所から荷物を取り出すかまたは目標保管場所へ荷物を収納する経路上に障害物があるか否か等が含まれうる。目標保管場所内の物体の状態情報には、ID、サイズ、姿勢、破損程度、変形程度等が含まれうる。
また、目標保管場所の画像データに基づいて検出される情報は、実際の応用シーンの必要に応じて変えることができる。本実施例はここで具体的に限定しない。
搬送タスクの実行条件を満たしていると特定された場合、現在の条件下で搬送装置が搬送タスクを実行しても危険が発生しないであろうことを示しているので、搬送装置を制御して搬送タスクを実行させる。
搬送タスクの実行条件を満たしていないと特定された場合、現在の条件下で搬送装置が搬送タスクを実行すると危険が発生する可能性があることを示しているので、搬送装置を制御して搬送タスクを実行させることはせず、危険の発生を回避する。
本発明実施例は、搬送タスクを実行する前に、画像収集装置により、搬送タスクに対応する目標保管場所の画像データを収集し、目標保管場所の画像データに基づいて、搬送タスクの実行条件を現在満たしているか否かを特定し、搬送タスクの実行条件を満たしていない場合、搬送装置が搬送タスクを実行すると危険が発生する可能性があるため、搬送タスクを当面実行しない。これにより危険の発生を回避し、倉庫ロボットの安全性を向上させる。
実施例2
図2は本発明実施例2で提供する倉庫ロボットの制御方法のフローチャートである。上記実施例1をベースに、本実施例において、目標保管場所の画像データに基づいて、搬送タスクの実行条件を満たしていると特定された場合、搬送装置を制御して搬送タスクを実行させるステップは、目標保管場所の画像データに対して検出処理を行い、目標保管場所および/または目標物体の状態情報を特定するステップと、目標保管場所および/または目標物体の状態情報に基づいて、搬送タスクの実行条件を満たしていると特定された場合、搬送装置を制御して搬送タスクを実行させるステップと、を含む。さらに、目標保管場所の画像データに基づいて、搬送タスクの実行条件を満たしていないと特定された場合、サーバにエラー情報を送信する。図2に示すように、当該方法の具体的ステップは次のとおりである。
ステップS201:搬送タスクの実行指令に応じて、倉庫ロボットを制御して搬送タスクに対応する目標保管場所へ移動させる。
搬送タスクの実行指令は、スケジューリングシステムが倉庫ロボットに送信する、倉庫ロボットに搬送タスクの実行をトリガーするための指令情報でありうる。
搬送タスクは、目標保管場所の情報と、タスクタイプと、現在のタスクの実行に必要なその他の情報とを含む。搬送タスクのタイプは、荷物取り出しタスクと荷物収納タスクを含みうる。
搬送タスクの実行指令を受信した場合、プロセッサは搬送タスクに対応する目標倉庫場所の情報に基づいて、倉庫ロボットを制御して搬送タスクに対応する目標保管場所へ移動させる。
本実施例において、目標保管場所とは搬送タスクに対応する保管場所を指し、目標物体とは今回の搬送タスクの搬送対象を指す。例えば、搬送タスクが荷物取り出しである場合、目標保管場所はどの保管場所から荷物を取り出す必要があるかを指し、取り出される荷物および/またはコンテナが目標物体である。搬送タスクが荷物収納である場合、収納する必要がある物体が目標物体であり、目標保管場所は目標物体を置く必要がある保管場所を指す。
ステップS202:画像収集装置により目標保管場所の画像データを収集する。
倉庫ロボットには荷物取り出しのための搬送装置が配置されている。搬送装置とは保管場所からの荷物取り出しまたは保管場所内への荷物収納のための装置、例えばフォーク等を指す。
画像収集装置は倉庫ロボットに設置された、目標保管場所の画像データを収集可能な装置である。画像収集装置はモノクロカメラ、フルカラーカメラ、深度カメラ等の画像センサでありうる。例えば、画像収集装置は2Dカメラ、3Dカメラ、レーザレーダ等でありうる。
選択可能に、画像収集装置は倉庫ロボットの搬送装置に設置でき、倉庫ロボットが目標保管場所へ移動する過程で、または倉庫ロボットが目標保管場所付近まで移動したとときに、搬送装置上の画像収集装置は目標保管場所の画像データを収集できる。
選択可能に、画像収集装置は倉庫ロボットの搬送装置に、搬送装置の前方を向くように設置することができ、これにより搬送装置を目標保管場所に位置合わせさせるとき、画像収集装置が目標保管場所に照準を合わせ、目標保管場所の画像データを正確に撮影することができる。
さらに、プロセッサは搬送装置の現在所在位置と目標保管場所との相対位置を分析することにより、搬送装置を制御して目標保管場所に位置合わせさせてもよい。
例示的に、倉庫ロボットが目標保管場所に対応する目標位置まで移動したとき、プロセッサは画像収集装置を制御して起動させるとともに、目標保管場所の画像データを収集させる。
さらに、倉庫ロボットが目標保管場所に対応する目標位置まで移動したとき、プロセッサは搬送装置を制御して目標保管場所まで移動させ、搬送装置に取り付けられた画像収集装置が目標保管場所に照準を合わせることができるようにしてもよい。
例示的に、倉庫ロボットが目標保管場所に対応する目標位置へ移動する過程において、倉庫ロボットが目標保管場所周辺の所定範囲内まで移動したとき、プロセッサは画像収集装置を制御して早めに起動させて目標保管場所の画像データを収集させることで、早めに目標保管場所の画像データを取得して検出処理を行う。これにより、搬送タスクの実行条件を現在満たしているか否かをできるだけ早く判定して、早めに搬送タスクを完了させ、効率を上げることができる。所定範囲は実際の応用シーンに応じて設定すればよく、本実施例はここで具体的に限定しない。
本実施例において、目標保管場所の画像データに基づいて、搬送タスクの実行条件を満たしていると特定された場合、搬送装置を制御して搬送タスクを実行させるステップは、具体的に以下のステップS203~S204によって実現される。
ステップS203:目標保管場所の画像データに対して検出処理を行い、目標保管場所の状態情報および/または目標物体の状態情報を特定する。
目標保管場所の状態情報は、目標保管場所の搬送経路上の障害物情報と、目標保管場所のサイズ情報と、目標保管場所が空いているか否かとのうちの少なくとも1つを含む。搬送経路は、荷物取り出し経路および/または荷物収納経路を含む。
目標物体の状態情報は、目標物体のID情報と、目標物体の姿勢情報と、目標物体のサイズ情報と、目標物体の破損程度情報と、目標物体の変形程度情報とのうちの少なくとも1つを含む。
本実施例においては、搬送タスクの違いに応じて、当該ステップにおいて検出される情報が異なっていてもよい。当該ステップにおいて検出される情報は、後続のステップにおいて、搬送タスクの実行条件を現在満たしているか否かを判定するために用いることができさえすればよく、搬送タスクの実行条件を現在満たしているか否かを判定できることを前提として、検出する情報が少ないほど効率は高くなる。
例示的に、画像データに対して行う検出処理は、画像フィルタリング、特徴抽出、目標分割、ディープラーニング、点群フィルタリング、点群抽出、点群クラスタリング、点群分割、点群のディープラーニング等のアルゴリズムによる処理を含みうる。さらに画像処理分野におけるその他の画像処理アルゴリズムを含んでもよい。具体的には次のステップS204で詳細に説明するので、ここでは重複して説明しない。
ステップS204:目標保管場所の状態情報および/または目標物体の状態情報に基づいて、搬送タスクの実行条件を満たしているかを判定する。
具体的には、搬送タスクが荷物取り出しである場合、搬送タスクの実行条件は、目標保管場所の荷物取り出し経路上に障害物が無いことと、目標物体のID情報と姿勢情報とサイズ情報とが荷物取り出し条件を満たしていることと、目標物体の破損程度が第1の所定安全閾値範囲内であることと、目標物体の変形程度が第2の所定安全閾値範囲内であることと、のうちの少なくとも1つを含む。
荷物取り出し経路とは、倉庫ロボットがラックの前へ移動し、搬送装置が目標保管場所からコンテナ(またはコンテナ内の目標物体)を取り出して、コンテナ(または目標物体)を倉庫ロボットの指定位置(例えば倉庫ロボットの一時保管位置)まで移動させる過程で通過するルートを指す。
例えば、目標物体がコンテナである場合を例に採ると、搬送タスクが荷物取り出しの場合、コンテナの姿勢およびサイズが荷物取り出し条件を満たし、かつ荷物取り出し経路上に障害物が無ければ、フォークを伸ばして荷物取り出し行為を行うことができる。
搬送タスクが荷物収納である場合、搬送タスクの実行条件は、目標保管場所が空いていることと、目標保管場所のサイズが荷物収納条件を満たしていることと、目標保管場所の荷物収納経路上に障害物が無いことと、のうちの少なくとも1つを含む。
例えば、目標物体がコンテナである場合を例に採ると、搬送タスクが荷物収納の場合、目標保管場所が空いており、目標保管場所の大きさがコンテナサイズの要求を満たし、かつ荷物収納経路上に障害物が無ければ、フォークを伸ばして荷物収納行為を行うことができる。
荷物収納経路とは、倉庫ロボットがラックの前へ移動し、搬送装置が倉庫ロボットの指定位置(例えば倉庫ロボットの一時保管位置)からコンテナ(またはコンテナ内の目標物体)を取り出して、コンテナ(または目標物体)を目標保管場所(または目標保管場所のコンテナ)内へ移動させる過程で通過するルートを指す。
選択可能な一実施形態においては、第1撮影装置により目標保管場所の二次元画像データを収集することができる。
第1撮影装置は、2Dカメラ等の二次元画像データを収集できる撮影装置でありうる。
具体的には、第1撮影装置を備えた倉庫ロボットおよび/または搬送装置の位置の調整と、倉庫ロボット上の第1撮影装置の取付位置の調整により、目標保管場所が第1撮影装置の視野範囲内に入るようにする。
プロセッサは第1撮影装置を制御して起動させることにより、第1撮影装置にその視野範囲内の画像を撮影させる。目標保管場所が第1撮影装置の視野範囲内に入っているため、第1撮影装置が撮影可能な画像データ内に目標保管場所が含まれる。すなわち第1撮影装置は目標保管場所の画像データを撮影して、プロセッサへ送信することができる。
このような実施形態では、当該ステップは、プロセッサが受信した画像データに対してデノイズフィルタリング処理を行い、画像内の特定条件を満たす領域を抽出し、ディープラーニングアルゴリズムを応用して画像内の目標を抽出分離して、画像内の目標保管場所、目標保管場所内の物体、およびその他の障害物などの対象を識別し、画像処理と識別結果に基づいて、搬送タスクの実行条件を現在満たしているか否かを判定するステップでありうる。または、ディープラーニング法を応用してイメージレジストレーションを行い、搬送タスクの実行条件に当てはまるか否かを判定するステップでもよい。ここではこれを限定しない。
デノイズフィルタリング処理は、ガウスフィルタ、平均値フィルタ、メディアンフィルタ等を応用したフィルタリングアルゴリズムでありうる。
例示的に、特定条件は、特定の色、画像内での位置、ピクセル値の大きさ等のうちの少なくとも1つを含みうる。特定条件は実際の応用シーンにおける要識別対象の具体的特徴に応じて設定および調整すればよく、本実施例はここで具体的に限定しない。
例示的に、画像に対して特徴抽出を行う場合、抽出される特徴は、コンテナのエッジの直線、コンテナ表面の特徴点、コンテナ表面の特定の図形、コンテナ表面の色のうちの少なくとも1つを含みうる。特徴抽出の結果は、コンテナの直線の包囲面積、コンテナの直線の交点座標、特徴点の数、特定の図形の面積等のうちの少なくとも1つを含みうる。特徴抽出結果に基づいて、コンテナの直線の包囲面積の大きさが所定閾値に当てはまるか否かを判定することで、コンテナサイズが条件を満たすか否かを特定してもよいし、または、ディープラーニング法を応用して、コンテナサイズが条件を満たすか否かを直接識別し判定してもよい。特定の図形が所定の図形か否かを判定することで、対象が搬送タスクにおいて指定された目標保管場所または取り出すべき目標物体等であるか否かを特定してもよい。
当該実施形態において、抽出される特徴がどの特徴を含むかや、特徴抽出の結果がどのような情報を含むかや、具体的な特徴抽出結果に基づいて搬送タスクの実行条件を現在満たしているか否かを判定するルールは、実際の応用シーンに応じて調整すればよく、本実施例では具体的に限定しない。
当該実施形態においては、どのステップも、実際の応用シーンの具体的状況に基づいて増減したり、順序の変更を行ったりしてよい。現実の状況に基づいて他のアルゴリズムを加えて検出効果を高めてもよい。本実施例では具体的に限定しない。
選択可能な別の一実施形態において、第2撮影装置により目標保管場所の三次元点群データを収集することができる。
第2撮影装置は3Dカメラ、3Dレーザレーダ、または2Dレーザレーダ等の、三次元点群データを収集可能な撮影装置でありうる。2Dレーザレーダは、移動することで3D点群データを取得することができる。
具体的には、第2撮影装置を備えた倉庫ロボットおよび/または搬送装置の位置の調整と、倉庫ロボット上の第2撮影装置の取付位置の調整により、目標保管場所が第2撮影装置の視野範囲内に入るようにする。
プロセッサは第2撮影装置を制御して起動させることにより、第2撮影装置にその視野範囲内の画像を撮影させる。目標保管場所が第2撮影装置の視野範囲内に入っているため、第2撮影装置が撮影可能な画像データ内に目標保管場所が含まれる。すなわち第2撮影装置は目標保管場所の画像データを撮影して、プロセッサへ送信することができる。
このような実施形態では、当該ステップにおいて、プロセッサが、受信した三次元点群データに対してサンプリング処理を行い、サンプリングした点群に対してデノイズ処理を行い、点群中の目標領域を抽出して、点群をクラスタリングし、クラスタリング結果により、荷物取り出し/収納経路上に現在障害物があるか否か、および保管場所のサイズが搬送タスクの実行条件を満たしているか否かを判定する。また、目標領域内の物体(コンテナ)の状態情報を抽出し、物体(コンテナ)の状態情報により、物体および保管場所が搬送タスクの実行条件を満たしているか否かを判定する。
例示的に、点群中の目標領域を抽出することは、点群の3D座標が所定の空間領域に入っているか否かに基づいて、3D座標が所定の空間領域に入っている部分を抽出することでありうる。所定の空間領域は実際の応用シーンに応じて設定および調整すればよく、本実施例はここで具体的に限定しない。
例示的に、クラスタリング後、目標領域に物体タイプの点群が存在する場合、荷物取り出し/収納の経路上に障害物があるか、または保管場所のサイズが荷物収納の要求を満たしていないと特定する。反対に、クラスタリング後、目標領域に物体タイプの点群が存在しない場合、荷物取り出し/収納の経路上に障害物がなく、保管場所のサイズが荷物収納の要求を満たしていると特定する。
例示的に、物体がコンテナである場合を例に採ると、物体の状態情報は、姿勢、サイズ、平坦度、テクスチャのうちの少なくとも1つを含みうる。
例示的に、物体がコンテナである場合を例に採ると、物体(コンテナ)の状態情報により物体および保管場所が搬送タスクの実行条件を満たしているか否かを判定することは、以下のうちの少なくとも1つを含む。
コンテナの状態情報に基づいて、第2撮影装置の視野内のコンテナを識別でき、視野内のコンテナの状態情報を捕捉できた場合、前方にコンテナがあるとみなす。視野内のコンテナ状態が空である場合、前方にコンテナが無く、荷物収納条件を満たしているとみなす。コンテナサイズがサイズ閾値より小さい場合、荷物取り出し条件を満たしているとみなす。コンテナの現在の載置角度が、コンテナ載置角度の安全範囲内である場合、荷物取り出し条件を満たしているとみなす。
サイズ閾値およびコンテナ載置角度の安全範囲は、実際の応用シーンに応じて設定および調整すればよく、本実施例はここで具体的に限定しない。
当該実施形態においては、どのステップも、実際の応用シーンの具体的状況に基づいて増減したり順序の変更を行ったりしてもよい。または、現実の状況に基づいて他のアルゴリズムを加えて検出効果を高めてもよい。本実施例では具体的に限定しない。
選択可能な第3の実施形態は、レーザレーダ装置により目標保管場所の二次元点群データを収集するか、またはシングルポイントレーザ距離計を動かすことにより二次元点群データを収集する。
具体的には、レーザレーダ装置を備えた倉庫ロボットおよび/または搬送装置の位置の調整と、倉庫ロボット上のレーザレーダ装置の取付位置の調整により、目標保管場所がレーザレーダ装置の視野範囲内に入るようにする。
プロセッサはレーザレーダ装置を制御して起動させることにより、レーザレーダ装置にその視野範囲内の画像をスキャンさせる。目標保管場所がレーザレーダ装置の視野範囲内に入っているため、レーザレーダ装置が撮影可能な画像データ内に目標保管場所が含まれる。すなわちレーザレーダ装置は目標保管場所の画像データを撮影して、プロセッサへ送信することができる。
このような実施形態では、当該ステップにおいて、プロセッサが、受信した二次元点群データに対してサンプリング処理を行い、サンプリングした点群に対してデノイズ処理を行い、点群中の目標領域を抽出して、点群をクラスタリングし、クラスタリング結果により、荷物取り出し/収納経路上に現在障害物があるか否か、および保管場所のサイズが搬送タスクの実行条件を満たしているか否かを判定する。また、目標領域内の物体(コンテナ)の状態情報を抽出し、物体(コンテナ)の状態情報により、物体および保管場所が搬送タスクの実行条件を満たしているか否かを判定する。
例示的に、クラスタリング後、目標領域に点群物体タイプが存在する場合、荷物取り出し/収納の経路上に障害物がある、または保管場所のサイズが荷物収納の要求を満たしていない、と特定する。反対に、クラスタリング後、目標領域に点群物体タイプが存在しない場合、荷物取り出し/収納の経路上に障害物が存在しないと特定する。また、保管場所の辺の長さと、保管場所の辺同士がなす角度を計算することで、辺の長さと当該角度が所定の長さ閾値および角度閾値に当てはまるか否かに基づいて、保管場所サイズが荷物収納の要求を満たしているか否かを判断する。長さ閾値および角度閾値は、コンテナのサイズに応じて決定すればよく、本実施例はここで具体的に限定しない。
例示的に、物体がコンテナである場合を例に採ると、物体の状態情報は、角度、サイズ、平坦度のうちの少なくとも1つを含みうる。
例示的に、物体がコンテナである場合を例に採ると、物体(コンテナ)の状態情報により物体および保管場所が搬送タスクの実行条件を満たしているか否かを判定することは、以下のうちの少なくとも1つを含む。
コンテナの状態情報に基づいて、レーザレーダ装置の視野内のコンテナを識別でき、視野内のコンテナの状態情報を捕捉できた場合、前方にコンテナがあるとみなす。視野内のコンテナ状態が空である場合、前方にコンテナが無く、荷物収納条件を満たしているとみなす。コンテナサイズがサイズ閾値より小さい場合、荷物取り出し条件を満たしているとみなす。コンテナの現在の載置角度が、コンテナ載置角度の安全範囲内である場合、荷物取り出し条件を満たしているとみなす。サイズ閾値およびコンテナ載置角度の安全範囲は、実際の応用シーンに応じて設定および調整すればよく、本実施例はここで具体的に限定しない。
当該実施形態においては、どのステップも、実際の応用シーンの具体的状況に基づいて増減したり順序の変更を行ったりしてもよい。または、現実の状況に基づいて他のアルゴリズムを加えて検出効果を高めてもよい。本実施例では具体的に限定しない。
ステップS205:搬送タスクの実行条件を満たしていると特定された場合、搬送装置を制御して搬送タスクを実行させる。
上記ステップS204において、搬送タスクの実行条件を満たしていると特定された場合、現在の条件下で搬送装置が搬送タスクを実行しても危険が発生しないであろうことを示しているので、搬送装置を制御して搬送タスクを実行させる。例えば、フォークを伸ばして荷物取り出し行為を行うよう制御して目標保管場所からコンテナを取り出すか、またはフォークを伸ばして荷物収納行為を行うよう制御してコンテナを目標保管場所に置く。
ステップS206:搬送タスクの実行条件を満たしていないと特定された場合、サーバにエラー情報を送信する。
エラー情報は、目標保管場所の状態情報と、目標物体の状態情報と、満たされていない実行条件項目と、のうちの少なくとも1つを含む。
例えば、保管場所荷物取り出し/収納経路に障害物がある、コンテナの姿勢が安全範囲を超えている、コンテナサイズが所定範囲を超えている、コンテナの破損程度が安全な荷物取り出しの閾値を超えている等である。
上記ステップS204において、搬送タスクの実行条件を満たしていないと特定された場合、現在の条件下で搬送装置が搬送タスクを実行すると危険が発生する可能性があることを示しているので、搬送装置を制御して搬送タスクを実行させることはせず、危険の発生を回避する。
さらに、プロセッサはスケジューリングシステムのサーバにエラー情報を送信して、スケジューリングシステムに、人間が倉庫ロボットの運転状態を回復させるよう誘導させてもよい。例えば、スケジューリングシステムは、対応する技術者の端末機器に情報を送信し、いかにして運転状態の回復を完了させるかを作業員に通知してもよい。
例えば、現在の搬送タスクが荷物取り出しタスクである場合、保管場所内の障害物をどかすこと、コンテナの姿勢を調整すること、ひどく破損したコンテナをどかすこと等を作業員に通知することができる。現在の搬送タスクが荷物収納タスクである場合、現在の保管場所のサイズを変更すること、保管場所内の障害物をどかすこと、保管場所内のコンテナをどかすこと等を作業員に通知することができる。
ステップS207:サーバのスケジューリング指示に基づいて、倉庫ロボットを制御して対応するエラー処理行為を実行させる。
本実施例において、搬送タスクの実行条件を満たしていないと特定された場合、プロセッサはさらにサーバのスケジューリング指示に基づいて、倉庫ロボットを制御して対応するエラー処理行為を実行させてもよい。
エラー処理行為は、現在位置に停止して指示を待つことと、目標ポイントまで移動することと、現在の搬送タスクをスキップして次の搬送タスクを実行することと、のうちのいずれか1つである。
現在位置に停止して指示を待つこととは、倉庫ロボットが搬送タスク(荷物取り出しまたは荷物収納)の実行前の姿勢を保持するとともに、運動状態回復まで何の動作も実行せず、その場で命令を待つことを指す。
目標ポイントとは、他のロボットの走行に干渉しない、マップ上の任意のポイントである。
選択可能に、プロセッサは倉庫ロボットを制御して、現在位置からの距離が最も近い目標ポイントまで移動させることで、効率を高めることができる。
現在の搬送タスクをスキップして次の搬送タスクを実行することとは、現在のコンテナの取得を放棄するか、または現在のコンテナの収納を放棄して、次のコンテナの取り出し/収納のフローに入ることを指す。
本実施例の他の実施形態において、搬送タスクの実行条件を満たしていないと特定された場合、プロセッサはサーバにエラー情報を送信した後、さらに所定のエラー処理ポリシーに基づいて、機器を制御して対応するエラー処理行為を実行させることができる。つまり、事前に倉庫ロボットに対してエラー処理ポリシーを設定しておくことで、搬送タスクの実行過程でエラーが発生した後、直ちに所定のエラー処理ポリシーに基づいて対応するエラー処理行為を実行することができる。
本発明実施例は、倉庫ロボットの画像収集装置により目標保管場所の画像データを収集し、これを搬送タスクの実行条件を満たしているか否かを判断する基礎データとすることにより、保管場所ごとにセンサを設置する必要がなく、さまざまなタイプの倉庫システムにフレキシブルに適用でき、倉庫ロボットの汎用性と柔軟性を向上させるとともに、製造コストおよび配置コストを大幅に低減させることができる。さらに、倉庫ロボットは複数種類の倉庫システムに直接適用でき、従来の保管場所内に設置される超音波レーダや重力計等のセンサに対し、本実施例では画像収集装置(2Dカメラ、3Dカメラ、3Dレーザレーダ、2Dレーザレーダ、シングルポイントレーザ距離計等でありうる)により目標保管場所の2Dまたは3D画像データを収集して、これら画像データに基づいて目標保管場所および目標コンテナ等を検出することで、検出精度が向上し、より精確に搬送タスクの実行条件を満たしていない状況を特定でき、危険な状況の発生をよりよく回避し、倉庫ロボットの安全性を高めることができる。
実施例3
図3は、本発明実施例3で提供する倉庫ロボットの制御装置の構造模式図である。本発明実施例で提供する倉庫ロボットの制御装置は、倉庫ロボットの制御方法の実施例で提供する処理フローを実行することができる。図3に示すように、当該倉庫ロボットの制御装置30は、制御モジュール301とデータ取得モジュール302とを含む。
具体的には、制御モジュール301は搬送タスクの実行指令に応じて、倉庫ロボットを制御して搬送タスクの目標保管場所へ移動させる。データ取得モジュール302は、画像収集装置により目標保管場所の画像データを収集する。
制御モジュール301はさらに、目標保管場所の画像データに基づいて、搬送タスクの実行条件を満たしていると特定された場合、搬送装置を制御して搬送タスクを実行させる。
本発明実施例で提供する装置は、具体的には、上記実施例1で提供された方法の実施例を実行するために用いることができ、具体的機能はここでは再度説明しない。
本発明実施例は、搬送タスクを実行する前に、画像収集装置により目標保管場所の画像データを収集し、目標保管場所の画像データに基づいて、搬送タスクの実行条件を現在満たしているか否かを特定し、搬送タスクの実行条件を満たしていないと特定された場合、搬送装置が搬送タスクを実行すると危険が発生する可能性があるため、搬送タスクを当面実行しない。これにより危険の発生を回避し、倉庫ロボットの安全性を向上させる。
実施例4
上記実施例3をベースに、本実施例においては、制御モジュールはさらに、目標保管場所の画像データに対して検出処理を行い、目標倉庫場所および/または目標物体の状態情報を特定し、目標倉庫場所および/または目標物体の状態情報に基づいて、搬送タスクの実行条件を満たしていると特定された場合、搬送装置を制御して搬送タスクを実行させる。
選択可能な一実施形態において、データ取得モジュールはさらに、倉庫ロボットが目標保管場所に対応する目標位置まで移動したとき、画像収集装置を制御して起動させるとともに、目標保管場所の画像データを収集させるか、または、倉庫ロボットの目標保管場所に対応する目標位置への移動中に、画像収集装置を制御して起動させるとともに、目標保管場所の画像データを収集させる。
選択可能な一実施形態において、画像収集装置は搬送装置に設置され、制御モジュールはさらに、搬送装置を制御して、目標保管場所に位置合わせさせる。
選択可能な一実施形態において、目標保管場所の状態情報は、目標保管場所の荷物取り出し/収納経路上の障害物情報と、目標保管場所のサイズ情報と、目標保管場所に物体が置かれているか否かとのうちの少なくとも1つを含む。
選択可能な一実施形態において、目標物体の状態情報は、目標物体のID情報と、目標物体の姿勢情報と、目標物体のサイズ情報と、目標物体の破損程度情報と、目標物体の変形程度情報とのうちの少なくとも1つを含む。
選択可能な一実施形態において、搬送タスクが荷物取り出しである場合、搬送タスクの実行条件は、目標保管場所の荷物取り出し経路上に障害物が無いことと、目標物体のIDと姿勢とサイズとが荷物取り出し条件を満たしていることと、目標物体の破損程度が第1の所定安全閾値範囲内であることと、目標物体の変形程度が第2の所定安全閾値範囲内であることと、のうちの少なくとも1つを含む。
選択可能な一実施形態において、搬送タスクが荷物収納である場合、搬送タスクの実行条件は、目標保管場所が空いていることと、目標保管場所のサイズが荷物収納条件を満たしていることと、目標保管場所の荷物収納経路上に障害物が無いことと、のうちの少なくとも1つを含む。
選択可能な一実施形態において、制御モジュールはさらに、目標保管場所の画像データに基づいて、搬送タスクの実行条件が満たされていないと特定された場合、サーバにエラー情報を送信する。エラー情報は、目標保管場所の状態情報と、目標物体の状態情報と、満たされていない実行条件項目と、のうちの少なくとも1つを含む。
選択可能な一実施形態において、制御モジュールはさらに、サーバのスケジューリング指示に基づいて、倉庫ロボットを制御して対応するエラー処理行為を実行させる。
選択可能な一実施形態において、エラー処理行為は、現在位置に停止して指示を待つことと、目標ポイントまで移動することと、現在の搬送タスクをスキップして次の搬送タスクを実行することと、のうちのいずれか1つである。
選択可能な一実施形態において、データ取得モジュールはさらに、第1撮影装置により目標保管場所の二次元画像データを収集することと、第2撮影装置により目標保管場所の三次元点群データを収集することと、レーザレーダ装置により目標保管場所の二次元点群データを収集することと、のうちの少なくとも1つを実行する。
本発明実施例で提供する装置は、具体的には、上記実施例2で提供された方法の実施例を実行するために用いることができ、具体的機能はここでは再度説明しない。
本発明実施例は、倉庫ロボットの画像収集装置により目標保管場所の画像データを収集し、これを搬送タスクの実行条件を満たしているか否かを判断する基礎データとすることにより、保管場所ごとにセンサを設置する必要がなく、さまざまなタイプの倉庫システムにフレキシブルに適用でき、倉庫ロボットの汎用性と柔軟性を向上させるとともに、製造コストおよび配置コストを大幅に低減させることができる。さらに、倉庫ロボットは複数種類の倉庫システムに直接適用でき、従来の保管場所内に設置される超音波レーダや重力計等のセンサに対し、本実施例では画像収集装置(2Dカメラ、3Dカメラ、3Dレーザレーダ、2Dレーザレーダ、シングルポイントレーザ距離計等でありうる)により目標保管場所の2Dまたは3D画像データを収集して、これら画像データに基づいて目標保管場所および目標コンテナ等を検出することで、検出精度が向上し、より精確に搬送タスクの実行条件を満たしていない状況を特定でき、危険な状況の発生をよりよく回避し、倉庫ロボットの安全性を高めることができる。
実施例5
図4は本発明実施例5で提供する倉庫ロボットの構造模式図である。図4に示すように、機器100は、プロセッサ1001と、メモリ1002と、メモリ1002に記憶され、プロセッサ1001上で実行可能なコンピュータプログラムとを含む。
プロセッサ1001がコンピュータプログラムを実行すると、上記のいずれかの方法の実施例で提供される、倉庫ロボットの制御方法が実現される。
本発明実施例は、倉庫ロボットの画像収集装置により目標保管場所の画像データを収集し、これを搬送タスクの実行条件を満たしているか否かを判断する基礎データとすることにより、保管場所ごとにセンサを設置する必要がなく、さまざまなタイプの倉庫システムにフレキシブルに適用でき、倉庫ロボットの汎用性と柔軟性を向上させるとともに、製造コストおよび配置コストを大幅に低減させることができる。さらに、倉庫ロボットは複数種類の倉庫システムに直接適用でき、従来の保管場所内に設置される超音波レーダや重力計等のセンサに対し、本実施例では画像収集装置(2Dカメラ、3Dカメラ、3Dレーザレーダ、2Dレーザレーダ、シングルポイントレーザ距離計等でありうる)により目標保管場所の2Dまたは3D画像データを収集して、これら画像データに基づいて目標保管場所および目標コンテナ等を検出することで、検出精度が向上し、より精確に搬送タスクの実行条件を満たしていない状況を特定でき、危険な状況の発生をよりよく回避し、倉庫ロボットの安全性を高めることができる。
また、本発明実施例はさらに、コンピュータ読み取り可能記憶媒体を提供する。コンピュータ読み取り可能記憶媒体にはコンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行されると、上記のいずれかの方法の実施例で提供される、倉庫ロボットの制御方法が実現される。
当業者であれば、明細書を検討し、ここに開示された発明を実践することで、本発明の他の実施案を容易に想到できよう。本発明は、本発明の一般的原理に則るとともに本発明では未公開の本技術分野における公知の常識または慣用的技術手段を含んでなされた、本発明のすべての変形や用途の変更、または適応的な変更を包含することを意図している。明細書および実施例は単に例示的なものとみなされ、本発明の真の範囲および主旨は「特許請求の範囲」に示される。
本発明は上記の説明や図面に示した精確な構造に限定されず、本発明の範囲を逸脱せずにさまざまな修正・変更が可能であることを理解されたい。本発明の範囲は「特許請求の範囲」のみによって限定される。

Claims (16)

  1. 搬送装置および画像収集装置を有する倉庫ロボットの制御方法であって、
    前記画像収集装置により、搬送タスクに対応する目標保管場所の画像データを収集するステップと、
    前記目標保管場所の画像データに基づいて、前記搬送タスクの実行条件を満たしていると特定された場合、前記搬送装置を制御して前記搬送タスクを実行させるステップと、を含む、
    倉庫ロボットの制御方法。
  2. 前記画像収集装置により、搬送タスクに対応する目標保管場所の画像データを収集する前記ステップは、
    前記倉庫ロボットが前記目標保管場所に対応する目標位置まで移動したとき、前記画像収集装置を制御して起動させるとともに、前記目標保管場所の画像データを収集させるステップか、または、
    前記倉庫ロボットが前記目標保管場所周辺の所定範囲内まで移動したとき、前記画像収集装置を制御して起動させるとともに、前記目標保管場所の画像データを収集させるステップを含む、
    請求項1に記載の倉庫ロボットの制御方法。
  3. 前記画像収集装置は前記搬送装置に設置され、前記画像収集装置を制御して起動させるとともに、前記目標保管場所の画像データを収集させるステップの前に、さらに、
    前記搬送装置を制御して、前記目標保管場所に位置合わせさせるステップを含む、
    請求項2に記載の倉庫ロボットの制御方法。
  4. 前記目標保管場所の画像データに基づいて、前記搬送タスクの実行条件を満たしていると特定された場合、前記搬送装置を制御して前記搬送タスクを実行させる前記ステップは、
    前記目標保管場所の画像データに対して検出処理を行い、前記目標保管場所の状態情報および/または目標物体の状態情報を特定するステップと、
    前記目標保管場所の状態情報および/または目標物体の状態情報に基づいて、前記搬送タスクの実行条件を満たしていると特定された場合、前記搬送装置を制御して前記搬送タスクを実行させるステップと、を含む、
    請求項1に記載の倉庫ロボットの制御方法。
  5. 前記目標保管場所の状態情報は、
    前記目標保管場所の搬送経路上の障害物情報と、前記目標保管場所のサイズ情報と、前記目標保管場所が空いているか否かと、のうちの少なくとも1つを含む、
    請求項4に記載の倉庫ロボットの制御方法。
  6. 前記目標物体の状態情報は、
    前記目標物体のID情報と、前記目標物体の姿勢情報と、前記目標物体のサイズ情報と、前記目標物体の破損程度情報と、前記目標物体の変形程度情報と、のうちの少なくとも1つを含む、
    請求項5に記載の倉庫ロボットの制御方法。
  7. 前記搬送タスクは荷物取り出しタスクであり、前記搬送タスクの実行条件は、
    前記目標保管場所の荷物取り出し経路上に障害物が無いことと、
    前記目標物体のID情報と、姿勢情報と、サイズ情報とが、荷物取り出し条件を満たしていることと、
    前記目標物体の破損程度が、第1の所定安全閾値範囲内であることと、
    前記目標物体の変形程度が、第2の所定安全閾値範囲内であることと、のうちの少なくとも1つを含む、
    請求項6に記載の倉庫ロボットの制御方法。
  8. 前記搬送タスクは荷物収納タスクであり、前記搬送タスクの実行条件は、
    前記目標保管場所が空いていることと、
    前記目標保管場所のサイズが、荷物収納条件を満たしていることと、
    前記目標保管場所の荷物収納経路上に障害物が無いことと、のうちの少なくとも1つを含む、
    請求項6に記載の倉庫ロボットの制御方法。
  9. 前記目標保管場所の画像データに基づいて、前記搬送タスクの実行条件が満たされていないと特定された場合、サーバにエラー情報を送信するステップをさらに含み、
    前記エラー情報は、前記目標保管場所の状態情報と、目標物体の状態情報と、満たされていない実行条件項目と、のうちの少なくとも1つを含む、
    請求項1~8のいずれか1項に記載の倉庫ロボットの制御方法。
  10. サーバにエラー情報を送信した後、さらに、
    前記サーバのスケジューリング指示に基づいて、前記倉庫ロボットを制御して対応するエラー処理行為を実行させるステップを含む、
    請求項9に記載の倉庫ロボットの制御方法。
  11. 前記エラー処理行為は、
    現在位置に停止して指示を待つことと、目標ポイントまで移動することと、現在の前記搬送タスクをスキップして次の搬送タスクを実行することと、のうちのいずれか1つである、
    請求項10に記載の倉庫ロボットの制御方法。
  12. 前記画像収集装置により前記目標保管場所の画像データを収集するステップは、
    第1撮影装置により前記目標保管場所の二次元画像データを収集するステップと、
    第2撮影装置により前記目標保管場所の三次元点群データを収集するステップと、
    レーザレーダ装置により前記目標保管場所の二次元点群データを収集するステップと、のうちの少なくとも1つを含む、
    請求項1~8のいずれか1項に記載の倉庫ロボットの制御方法。
  13. 前記画像収集装置により、搬送タスクに対応する前記目標保管場所の画像データを収集するステップの前に、さらに、
    搬送タスクの実行指令に応じて、倉庫ロボットを制御して前記目標保管場所へ移動させるステップを含む、
    請求項1~8のいずれか1項に記載の倉庫ロボットの制御方法。
  14. 搬送装置および画像収集装置を有する倉庫ロボットに適用され、
    前記画像収集装置により、搬送タスクに対応する目標保管場所の画像データを収集するデータ取得モジュールと、
    前記目標保管場所の画像データに基づいて、前記搬送タスクの実行条件を満たしていると特定された場合、搬送装置を制御して前記搬送タスクを実行させる制御モジュールと、を含む、
    倉庫ロボットの制御装置。
  15. プロセッサと、メモリと、前記メモリに記憶され、前記プロセッサ上で実行可能なコンピュータプログラムとを含み、
    前記プロセッサが前記コンピュータプログラムを実行すると、請求項1~13のいずれか1項に記載の倉庫ロボットの制御方法が実現される、
    倉庫ロボット。
  16. コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されると、請求項1~13のいずれか1項に記載の倉庫ロボットの制御方法が実現される、
    コンピュータ読み取り可能記憶媒体。
JP2022576011A 2020-06-12 2021-06-28 倉庫ロボットの制御方法、装置、機器、および読み取り可能記憶媒体 Pending JP2023531391A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010537646.9 2020-06-12
CN202010537646.9A CN111674817B (zh) 2020-06-12 2020-06-12 仓储机器人的控制方法、装置、设备及可读存储介质
PCT/CN2021/102865 WO2021249568A1 (zh) 2020-06-12 2021-06-28 仓储机器人的控制方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
JP2023531391A true JP2023531391A (ja) 2023-07-24

Family

ID=72435544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022576011A Pending JP2023531391A (ja) 2020-06-12 2021-06-28 倉庫ロボットの制御方法、装置、機器、および読み取り可能記憶媒体

Country Status (4)

Country Link
US (1) US20230106134A1 (ja)
JP (1) JP2023531391A (ja)
CN (2) CN111674817B (ja)
WO (1) WO2021249568A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111674817B (zh) * 2020-06-12 2021-12-17 深圳市海柔创新科技有限公司 仓储机器人的控制方法、装置、设备及可读存储介质
CN114919910A (zh) * 2020-11-20 2022-08-19 深圳市海柔创新科技有限公司 货物存放方法、装置、机器人、仓储系统及存储介质
CN112407722A (zh) * 2020-11-20 2021-02-26 深圳市海柔创新科技有限公司 货物存放空间异常处理方法、装置、设备及仓储系统
CN112429456B (zh) * 2020-11-20 2022-12-30 深圳市海柔创新科技有限公司 取出货物异常处理方法、装置、设备、系统及存储介质
CN112407729A (zh) * 2020-11-20 2021-02-26 深圳市海柔创新科技有限公司 货物取放方法、装置、仓储机器人和仓储系统
CN114326740B (zh) * 2021-12-30 2023-06-27 杭州海康机器人股份有限公司 协同搬运处理方法、装置、电子设备及系统
CN114282841A (zh) * 2021-12-31 2022-04-05 广东利元亨智能装备股份有限公司 调度方法、装置、系统、控制设备及可读存储介质
CN115407355B (zh) * 2022-11-01 2023-01-10 小米汽车科技有限公司 库位地图的验证方法、装置及终端设备
CN116402895A (zh) * 2023-06-05 2023-07-07 未来机器人(深圳)有限公司 安全校验方法、无人叉车及存储介质
CN117430026B (zh) * 2023-12-20 2024-02-20 国网浙江省电力有限公司金华供电公司 基于5g技术仓位智能管理的智能行吊控制方法
CN117550273B (zh) * 2024-01-10 2024-04-05 成都电科星拓科技有限公司 基于蜂群算法的多搬运机器人协作方法
CN117592764B (zh) * 2024-01-18 2024-04-09 瑞熙(苏州)智能科技有限公司 出入库调度处理方法、装置、电子设备及可读存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9300430B2 (en) * 2013-10-24 2016-03-29 Harris Corporation Latency smoothing for teleoperation systems
US9656806B2 (en) * 2015-02-13 2017-05-23 Amazon Technologies, Inc. Modular, multi-function smart storage containers
CN105835029A (zh) * 2016-05-30 2016-08-10 上海发那科机器人有限公司 具有区域移动能力的协作机器人及其工作方法
US10071856B2 (en) * 2016-07-28 2018-09-11 X Development Llc Inventory management
CN106276009B (zh) * 2016-08-11 2020-06-19 中国科学院宁波材料技术与工程研究所 全向移动搬运机器人
JP7019295B2 (ja) * 2017-01-20 2022-02-15 東芝テック株式会社 情報収集装置および情報収集システム
US10899015B2 (en) * 2017-09-01 2021-01-26 Siemens Aktiengesellschaft Method and system for dynamic robot positioning
WO2019047020A1 (zh) * 2017-09-05 2019-03-14 深圳蓝胖子机器人有限公司 一种自动装卸货的方法、设备及具有存储功能的装置
CN207810578U (zh) * 2017-12-26 2018-09-04 天津市天地申通物流有限公司 搬运机器人以及分拣系统
DE102018100448A1 (de) * 2018-01-10 2019-07-11 Deutsche Post Ag Sendungslager und Verfahren zum Übernehmen, Zwischenlagern und Ausgeben von Sendungen
CN108622590B (zh) * 2018-05-14 2019-12-13 福建中科兰剑智能装备科技有限公司 一种物流仓库用的智能运输机器人
CN109230148A (zh) * 2018-08-02 2019-01-18 李丹 基于机器人的无人化智能仓储系统
CN209023571U (zh) * 2018-09-07 2019-06-25 深圳市海柔创新科技有限公司 一种搬运机器人
CN109607031B (zh) * 2019-01-14 2020-10-27 青岛一舍科技有限公司 基于无人机全景的智能仓储系统及方法
CN109866201B (zh) * 2019-04-08 2021-03-30 清华大学 双目视觉系统、移动抓取机器人和自动取货方法
CN210504192U (zh) * 2019-04-24 2020-05-12 深圳市海柔创新科技有限公司 智能仓储系统
CN110482098B (zh) * 2019-07-18 2023-12-08 深圳市海柔创新科技有限公司 一种基于搬运机器人、系统的取放货方法
CN110421542B (zh) * 2019-08-02 2024-04-05 浙江创联信息技术股份有限公司 一种箱类包裹装卸智能机器人
CN111348361A (zh) * 2020-01-21 2020-06-30 深圳市海柔创新科技有限公司 取、放货控制方法、装置、搬运装置及搬运机器人
CN111222827A (zh) * 2019-12-31 2020-06-02 云南电网有限责任公司楚雄供电局 货位管理方法、装置、存储介质及电子设备
CN111232524B (zh) * 2020-03-09 2023-06-13 深圳市海柔创新科技有限公司 一种控制搬运机器人的方法、装置及搬运机器人
CN111674817B (zh) * 2020-06-12 2021-12-17 深圳市海柔创新科技有限公司 仓储机器人的控制方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN111674817B (zh) 2021-12-17
CN114044298A (zh) 2022-02-15
CN111674817A (zh) 2020-09-18
WO2021249568A1 (zh) 2021-12-16
US20230106134A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
JP2023531391A (ja) 倉庫ロボットの制御方法、装置、機器、および読み取り可能記憶媒体
US11288810B2 (en) Robotic system with automated package registration mechanism and methods of operating the same
JP7206421B2 (ja) スマートフォークリフト及び容器位置姿勢ずれの検出方法
EP3033293B1 (en) Method and system for automatically landing containers on a landing target using a container crane
KR20170031252A (ko) 스테레오와 구조화된 광 처리의 결합
EP3512785B1 (en) Integrated obstacle detection and payload centering sensor system
US20230260071A1 (en) Multicamera image processing
JP2023529878A (ja) コンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体
CN113666304A (zh) 搬运机器人的控制方法、装置、设备和存储介质
EP4207068A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
CN114170442A (zh) 机器人空间抓取点的确定方法及装置
US20240150159A1 (en) System and method for definition of a zone of dynamic behavior with a continuum of possible actions and locations within the same
KR20230174126A (ko) 디팔레타이징 방법
JP2022137633A (ja) 搬送制御システム、搬送制御方法、プログラム
WO2023192311A1 (en) Segmentation of detected objects into obstructions and allowed objects
WO2024102846A1 (en) System and method for definition of a zone of dynamic behavior with a continuum of possible actions and locations within the same
CN116385533A (zh) 一种基于二维和三维成像的叉式agv目标位姿检测方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240319