JP2023529003A

JP2023529003A - 荷物の取り出しまたは収納の撮影方法、撮影システムおよび搬送ロボット

Info

Publication number: JP2023529003A
Application number: JP2022576340A
Authority: JP
Inventors: 林翰; 鄭睿群
Original assignee: 深▲せん▼市海柔▲創▼新科技有限公司
Priority date: 2020-06-12
Filing date: 2021-06-29
Publication date: 2023-07-06
Also published as: KR20230033649A; EP4155236A1; CN113264313A; WO2021249569A1; US20230111540A1; EP4155236A4

Abstract

本願は、搬送ロボットに適用される荷物出し入れの撮影方法、撮影モジュールおよび搬送ロボットを提供し、搬送ロボットには荷物の出し入れのための搬送装置と、撮影モジュールとが設置され、当該方法は、ラック深度方向において１つ以上の保管位置が配置された目標ラックの、目標位置を含む第１多次元画像情報を取得するステップと、第１多次元画像情報に基づいて、目標位置に第１の荷物が存在するか否かを判定するステップと、判定結果に基づいて、撮影モジュールの撮影スキームを決定するステップと、を含み、撮影スキームは、目標ラックにおいて搬送装置が荷物の出し入れを行う保管位置である目標位置の、目標多次元画像情報を取得するために用いられる。ラック深度方向に沿った撮影を実現して、多次元画像情報を取得することで、搬送ロボットの荷物出し入れの安全性を高め、作業効率を向上させる。

Description

本願は、２０２０年０６月１２日に中国専利局へ出願された、出願番号２０２０１０５３７５９９．８、発明の名称「荷物出し入れの撮影方法、撮影モジュールおよび搬送ロボット」の中国専利出願の優先権を主張し、そのすべての内容を援用により本願に組み込む。

本願はスマート倉庫の技術分野に関し、特に荷物出し入れの撮影方法、撮影モジュールおよび搬送ロボットに関する。

インテリジェントマニュファクチャリングおよび倉庫物流分野のネットワーク化とスマート化に伴い、倉庫物流は企業の製造管理プロセスにおいて非常に重要な地位を占め、中でも搬送ロボットはスマート倉庫プロセスにおいて人間による搬送に置き換えることができ、ニーズが年々高まっている。

従来技術では、ラックに複数の荷物が置かれると搬送ロボットによる荷物の出し入れの難度が大きくなるが、現実のシーンではラックの振動や人間の操作ミスにより、搬送ロボットの荷物出し入れの難度が一層高くなるため、搬送ロボットの荷物の出し入れに困難が生じ、荷物の出し入れの安全性が保証できない。

本願はラック深度方向に沿った撮影を実現して、多次元画像情報を取得することで、搬送ロボットの荷物出し入れの安全性を高め、作業効率を向上させる荷物出し入れの撮影方法、撮影モジュールおよび搬送ロボットを提供する。

第１の態様として、本願実施例で提供する荷物出し入れの撮影方法は、搬送ロボットに適用される荷物出し入れの撮影方法であって、前記搬送ロボットには、荷物の出し入れのための搬送装置と、撮影モジュールとが設置され、前記方法は、ラック深度方向において１つ以上の保管位置が配置された目標ラックの、目標位置を含む第１多次元画像情報を取得するステップと、前記第１多次元画像情報に基づいて、目標位置に第１の荷物が存在するか否かを判定するステップと、判定結果に基づいて、前記撮影モジュールの撮影スキームを決定するステップと、を含み、前記撮影スキームは、前記ラックにおいて前記搬送装置が荷物の出し入れを行う保管位置である目標位置の、目標多次元画像情報を取得するために用いられる。

選択可能な一実施例において、前記目標位置は、前記目標ラックの中で、ラック深度方向における１番目の保管位置である手前保管位置、あるいはラック深度方向における２番目の保管位置および前記２番目の保管位置より後方の、奥保管位置である。

選択可能な一実施例において、前記第１多次元画像情報に基づいて、前記目標位置に前記第１の荷物が存在すると判定した場合、荷物の取り出しを行う。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、前記第１多次元画像情報に基づいて、前記目標位置に前記第１の荷物が存在することを特定し、前記第１の荷物が目標荷物であると判定した場合、荷物の取り出しを行うことを含む。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、前記第１多次元画像情報に基づいて、前記目標位置に前記第１の荷物が存在することを特定した場合、前記第１の荷物が目標荷物であるか否かを判定することと、判定結果がＹｅｓであれば、前記第１多次元画像情報に基づいて前記目標荷物の姿勢情報を特定し、前記姿勢情報が所定条件に合致している場合、荷物の取り出しを行うことと、を含む。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、前記第１多次元画像情報に基づいて前記第１位置に前記第１の荷物が存在すると特定した場合、前記第１の荷物が目標荷物であるか否かを判定することと、判定結果がＹｅｓである場合、前記第１多次元画像情報に基づいて前記目標荷物の姿勢情報を特定し、前記姿勢情報が所定条件に合致していない場合、連続撮影回数が所定閾値に達したときに、対応プログラムを起動することと、を含む。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、前記第１多次元画像情報に基づいて前記第１位置に前記第１の荷物が存在すると特定した場合、前記第１の荷物が目標荷物であるか否かを判定することと、判定結果がＮｏである場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動することと、を含む。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、前記第１多次元画像情報に基づいて前記第１位置に前記第１の荷物が存在しないと特定した場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動することを含む。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、前記第１多次元画像情報に基づいて、前記目標位置に前記第１の荷物が存在しないことを特定した場合、荷物の収納を行うことを含む。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、前記第１多次元画像情報に基づいて前記第１位置に前記第１の荷物が存在することを特定した場合、対応プログラムを起動することを含む。

選択可能な一実施例において、前記第１多次元画像情報は第１深度情報を含み、前記第１深度情報によって前記目標位置に前記第１の荷物が存在するか否かを判定する。

選択可能な一実施例において、前記目標位置は前記奥保管位置であり、前記奥保管位置の前方のいずれか１つの保管位置に前記第２の荷物が存在することを検出した場合、対応プログラムを起動する。

選択可能な一実施例において、前記第１多次元画像情報は第１深度情報を含み、前記第１深度情報によって、前記目標位置に対応する深度情報と対応するか否かを検出して、前記第２の荷物が存在するか否かを判定する。

選択可能な一実施例において、目標ラックの、目標位置を含む第１多次元画像情報を取得するステップは、前記撮影モジュールが前記搬送装置に随従して、伸縮方向において所定距離移動することを含む。

選択可能な一実施例において、前記搬送装置は目標ラック範囲外で伸縮移動するか、または目標ラック範囲内まで伸びて移動する。

選択可能な一実施例において、前記対応プログラムは、撮影停止と、警告信号の発信と、前記搬送ロボットが所属するサーバへの報告とのうちの少なくとも１つを含む。

第２の態様として、本願実施例で提供する荷物出し入れの撮影方法は、搬送ロボットに適用される荷物出し入れの撮影方法であって、前記搬送ロボットには荷物の出し入れのための搬送装置と、撮影モジュールとが設置され、前記方法は、ラック深度方向において目標位置とその前方の第１位置とを含む複数の保管位置が配置された目標ラックの、第１位置の第１多次元画像情報を取得するステップと、前記第１多次元画像情報に基づいて、前記第１位置に第１の荷物が存在しないと判定し、前記撮影モジュールの第１撮影スキームを決定して第２多次元画像情報を取得するステップと、前記第２多次元画像情報に基づいて、目標位置に第２の荷物が存在するか否かを判定し、判定結果に基づいて、前記撮影モジュールの第２撮影スキームを決定するステップと、を含み、前記第２撮影スキームは、前記目標ラックにおいて前記搬送装置が荷物の出し入れを行う保管位置である目標位置の目標画像情報を取得するために用いられる。

選択可能な一実施例において、前記第１多次元画像情報を検出して、前記第１位置に前記第１の荷物が存在する場合、対応プログラムを起動する。

選択可能な一実施例において、前記第１多次元画像情報を検出して、前記第１位置に前記第１の荷物が存在する場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動する。

選択可能な一実施例において、前記撮影モジュールの第１撮影スキームを決定するステップは、前記第１多次元画像情報に基づいて、前記第１位置に前記第１の荷物が存在しないことを特定した場合、前記第１多次元画像情報における前記目標位置の深度情報に基づいて、制御指令を結び付け、前記撮影モジュールが前記搬送装置に随従して伸縮方向において所定距離移動して、前記第２多次元画像情報を形成することを含む。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、前記第２多次元画像情報に基づいて、前記目標位置に第２の荷物が存在すると特定した場合、荷物の取り出しを行うことを含む。

選択可能な一実施例において、判定結果に基づいて、前記撮影モジュールの第２撮影スキームを決定するステップは、前記第２多次元画像情報に基づいて、前記目標位置に第２の荷物が存在することを特定し、前記第２の荷物が目標荷物であると判定した場合、荷物の取り出しを行うことを含む。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、前記第２多次元画像情報に基づいて、前記目標位置に第２の荷物が存在すると特定し、前記第２の荷物が目標荷物であると特定し、かつ前記目標荷物の姿勢情報が所定条件に合致している場合、荷物の取り出しを行うことを含む。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、前記第２多次元画像情報に基づいて前記目標位置に前記第２の荷物が存在することを特定した場合、前記第２の荷物が目標荷物であるか否かを判定することと、判定結果がＹｅｓである場合、前記第２多次元画像情報に基づいて前記目標荷物の姿勢情報を特定し、前記姿勢情報が所定条件に合致していない場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動することと、を含む。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、前記第２多次元画像情報に基づいて前記目標位置に前記第２の荷物が存在することを特定した場合、前記第２の荷物が目標荷物であるか否かを判定することと、判定結果がＮｏである場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動することと、を含む。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、前記第２多次元画像情報に基づいて前記目標位置に前記第２の荷物が存在することを特定した場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動することを含む。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、前記第２多次元画像情報に基づいて、前記目標位置に前記第２の荷物が存在しないことを特定した場合、前記第２多次元画像情報における前記目標位置の深度情報に基づいて、制御指令を結び付け、前記撮影モジュールが前記搬送装置に随従して伸縮方向において所定距離移動することを含む。

選択可能な一実施例において、判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、前記第２多次元画像情報に基づいて前記目標位置に前記第２の荷物が存在することを特定した場合、連続撮影回数が所定閾値に達したときに、対応プログラムを起動することを含む。

第３の態様として、本願実施例で提供する荷物出し入れの撮影システムは、メモリと、プロセッサと、撮影モジュールとを含み、メモリには前記プロセッサの実行可能な指令が記憶され、前記プロセッサは、前記実行可能な指令を実行して、前記撮影モジュールを制御することで、第１の態様と第２の態様のいずれか１項に記載の撮影方法を実行するように構成されている。

第４の態様として、本願実施例で提供する撮影モジュールは、第１の態様と第２の態様のいずれか１項に記載の方法に適用され、前記搬送装置の、フォークの爪の先端と、トレイの底部と、フォークの後端とのうちの少なくとも１つの部位に取り付けられる。

選択可能な一実施例において、前記撮影モジュールは、２Ｄカメラと、３Ｄカメラと、ズームカメラと、マトリックスカメラとのうちの少なくとも１つを含む。

選択可能な一実施例において、前記撮影モジュールは、長焦点レンズを有するカメラと、短焦点レンズを有するカメラとを含み、かつ前記撮影モジュールは、前記搬送装置のトレイの底部またはフォークの後端に取り付けられる。

選択可能な一実施例において、前記撮影モジュールは前記搬送装置のフォークの爪の先端に取り付けられ、かつ前記撮影モジュールは前記搬送装置のフォークの爪に随従して伸縮方向に所定距離移動する。

選択可能な一実施例において、前記撮影モジュールは、ズームカメラを含み、かつ前記撮影モジュールは前記搬送装置のトレイの底部またはフォークの後端に取り付けられる。

選択可能な一実施例において、前記撮影モジュールは長焦点レンズを有するカメラと、短焦点レンズを有するカメラと、ズームカメラのうち少なくとも１つを含む。

第５の態様として、本願実施例で提供する搬送ロボットは、移動シャシーと、搬送装置と、保管ラックと、昇降ユニットと、撮影モジュールと、第４の態様に記載の撮影システムとを含む搬送ロボットであって、前記保管ラックは前記移動シャシー上に取り付けられ、前記保管ラックには複数の保管トレイが縦方向に沿って配置され、各前記保管トレイは荷物を置くために用いられ、前記搬送装置は固定ラックといずれか１つの前記保管トレイとの間で荷物を搬送するために用いられ、前記昇降ユニットは前記搬送装置が縦方向に移動するよう駆動するために用いられて、前記搬送装置を前記保管トレイに対応する高さまたは固定ラックの高さまで昇降させ、前記搬送装置が前記保管トレイに対応する高さまで昇降したとき、前記搬送装置は、搬送方向に沿って荷物を対応する前記保管トレイ上に移すか、または搬送方向に沿って対応する前記保管トレイ上にある荷物を取り出し、前記搬送装置が固定ラックに対応する高さまで昇降したとき、前記搬送装置は、搬送方向に沿って荷物を対応する固定ラック上へ移すか、または搬送方向に沿って対応する固定ラック上にある荷物を取り出し、前記撮影モジュールは多次元画像情報を取得して、荷物の位置を特定するために用いられ、前記搬送装置は、荷物の取り出し／収納に用いられるフォークを含む。

本願は、搬送ロボットに適用される荷物出し入れの撮影方法、撮影モジュールおよび搬送ロボットを提供し、搬送ロボットには、荷物の出し入れのための搬送装置と、撮影モジュールとが設置され、当該方法は、ラック深度方向に沿って１つ以上の保管位置が配置された目標ラックの、目標位置を含む第１多次元画像情報を取得するステップと、第１多次元画像情報に基づいて、目標位置に第１の荷物が存在するか否かを判定するステップと、判定結果に基づいて、撮影モジュールの撮影スキームを決定するステップと、を含み、撮影スキームは、目標ラックにおいて搬送装置が荷物の出し入れを行う保管位置である目標位置の、目標多次元画像情報を取得するために用いられる。ラック深度方向に沿った撮影を実現して、多次元画像情報を取得することで、搬送ロボットの荷物出し入れの安全性を高め、作業効率を向上させる。

本願実施例または従来技術における技術案をより明確に説明するため、以下、実施例または従来技術の説明のために必要な図面を簡単に紹介する。自明のことながら、以下に説明する図面は本願の実施例の一部であり、当業者であれば創造的労力を要さないことを前提に、これらの図面に基づいて他の図面も得ることができる。

本願が提供する一典型的応用シーンの図である。本願実施例で提供する荷物出し入れの撮影方法のフローチャート１である。本願実施例で提供する撮影モジュールを決定するフローチャート１である。本願実施例で提供する撮影モジュールを決定するフローチャート２である。本願実施例で提供する荷物出し入れの撮影方法のフローチャート２である。本願実施例で提供する撮影モジュールを決定するフローチャート３である。本願実施例で提供する撮影モジュールを決定するフローチャート４ある。本願実施例で提供する荷物出し入れの撮影システムの構造概略図である。

本願実施例の目的、技術案および利点をより明確にするために、以下、本願実施例における図面と結び付けて、本願実施例における技術案を明確かつ全面的に説明する。もちろん、説明する実施例は本願実施例の一部であり、すべてではない。本願における実施例に基づいて当業者が創造的労力を要さないことを前提に得たその他の実施例は、すべて本願の保護範囲に属する。

本願の明細書、特許請求の範囲、および上記図面における「第１」、「第２」、「第３」、「第４」等の用語は（もし存在すれば）、類似の対象を区別するために用いられ、必ずしも特定の順序や前後の順番を説明するためのものではない。このように使用されたデータは状況により適宜互換可能であり、ここで説明する本願の実施例を例えば図示または記載した順序以外の順序で実施できることを理解されたい。また、「含む」、「有する」、およびそれらの任意の変形である用語は、排他的でない包含を意味し、例えば、一連のステップまたはユニットを含むプロセス、システム、製品または装置は、必ずしも明確に列挙したステップまたはユニットに限らず、明確に列挙されていない、あるいはこれらプロセス、製品または装置に固有の、その他のステップまたはユニットを含みうる。

以下、具体的実施例により、本願の技術案および本願の技術案で上記の技術的課題をどのように解決するかを詳細に説明する。以下のいくつかの具体的実施例は組み合わせることもできる。同一または類似した概念またはプロセスは、一部の実施例では重複して説明しないことがある。本願の実施例について、以下図面を結び付けて説明する。

従来技術では、ラックに複数の荷物が置かれると搬送ロボットによる荷物の出し入れの難度が大きくなるが、現実のシーンではラックの振動や人間の操作ミスにより、搬送ロボットの荷物出し入れの難度が一層高くなるため、搬送ロボットの荷物の出し入れに困難が生じ、荷物の出し入れの安全性が低下する。

図１は、本願が提供する一典型的応用シーンの図であり、図１に示すように、本応用シーンでは、搬送ロボット１１を利用して目標ラック１２の深度方向において、目標荷物（例えば、図１の１行目の２番目の荷物の後ろの荷物）の取り出しと収納を実現できる。本願の制御方法を応用することで、搬送ロボットの荷物の出し入れの安全性を高めて、スマート倉庫物流の効率性と正確性を保証することができる。

図２は本願実施例で提供する荷物出し入れの撮影方法のフローチャート１である。図２に示すように、本実施例における荷物出し入れの撮影方法は以下のステップを含みうる。

Ｓ２０１で、目標ラックの、目標位置を含む第１多次元画像情報を取得する。目標ラックには、ラック深度方向において１つ以上の保管位置が配置されている。
目標位置とは、目標ラックの中で、ラック深度方向における１番目の保管位置である手前保管位置、あるいはラック深度方向における２番目の保管位置および２番目の保管位置より後方の、奥保管位置である。

本実施例において、目標ラックの中には、ラック深度方向に沿って１つまたは複数の保管位置が配置されうる。例えば、図１を参照すると、ラックの各段に複数の保管位置が配置されうる。目標位置とは、目標ラックにおける、ラック深度方向における１番目の保管位置でもよいし、またはラック深度方向における２番目の保管位置あるいは２番目の保管位置より後方の、奥保管位置でもよい。そして撮影システムは、撮影モジュールを介して目標ラックの目標位置を含む第１多次元画像情報を取得し、この第１多次元画像情報を検出することで目標位置に荷物が存在するか否かを判定できる。

Ｓ２０２で、第１多次元画像情報に基づいて目標位置に第１の荷物が存在するか否かを判定する。

本実施例においては、取得した第１多次元画像情報に基づいて、目標位置に荷物の点群情報が存在するか否かを検出し、荷物の点群情報が存在する場合、荷物、例えば第１の荷物の存在が検出される。目標位置に荷物の点群情報が存在しないことを検出した場合、荷物は存在しない。

Ｓ２０３で、判定結果に基づいて、撮影モジュールの撮影スキームを決定する。撮影スキームは、目標ラックにおいて搬送装置が荷物の出し入れを行う保管位置である目標位置の、目標多次元画像情報を取得するために用いられる。

本実施例において、撮影スキームには、撮影モジュールが搬送装置の伸縮方向の移動に随従せずに継続撮影すること、撮影モジュールが搬送装置に随従して伸縮方向において所定の距離移動すること、または、対応プログラムを起動することが含まれる。対応プログラムには、撮影停止、警告信号発信、搬送ロボットが所属するサーバへの報告のうちの少なくとも１つが含まれる。

例えば、判定結果に基づいて制御指令を結び付けて、撮影モジュールの撮影スキームを決定して、最終的に目標位置の目標多次元画像情報を取得することで、搬送装置はその後当該目標多次元画像情報に基づいて、例えば目標荷物の取り出し／収納といった相応の動作を行うことができる。

選択可能な一実施例において、第１多次元画像情報に基づいて、目標位置に第１の荷物が存在すると判定した場合、荷物の取り出しを行う。例えば、第１多次元画像情報を検出することによって目標位置に荷物、例えば第１の荷物が存在すると判定した場合、荷物の取り出しを行う。即ち、当該目標位置の前方に遮る物がなく、搬送ロボットが荷物を取り出すことができることを示している。目標位置は、目標ラックにおける、ラック深度方向における１番目の保管位置である手前保管位置を含んでもよいし、あるいはラック深度方向における２番目の保管位置および２番目の保管位置より後方の、奥保管位置を含んでもよい。例えば、図３を参照すると、図３は本願実施例で提供する撮影モジュールを決定するフローチャート１であり、選択可能な一実施例において、第１多次元画像情報に基づいて、目標位置に第１の荷物が存在するか否かを判定する前に、目標位置の前方に遮る物（図示しない）が存在しないことが特定されている。

別の選択可能な一実施例においては、判定結果に基づいて、撮影モジュールの撮影スキームを決定するステップは、第１多次元画像情報に基づいて、目標位置に第１の荷物が存在することを特定し、かつ第１の荷物が目標荷物であると判定した場合、荷物の取り出しを行うことを含む。例１として、第１多次元画像情報に基づいて目標位置に第１の荷物が存在するか否かを判定する前に、目標位置の前方に遮る物が存在しないことが特定されており、さらに第１多次元画像情報に基づいて、目標位置に荷物、例えば第１の荷物が存在することを特定し、かつ当該第１の荷物が搬送ロボットが取り出す予定の目標荷物である場合、搬送ロボットは荷物の取り出しを行う。

さらに、別の選択可能な一実施例においては、判定結果に基づいて、撮影モジュールの撮影スキームを決定するステップは、第１多次元画像情報に基づいて目標位置に第１の荷物が存在することを特定した場合、第１の荷物が目標荷物であるか否かを判定し、判定結果がＹｅｓであれば、第１多次元画像情報に基づいて目標荷物の姿勢情報を特定し、姿勢情報が所定条件に合致している場合、荷物の取り出しを行うことを含む。例２として、第１多次元画像情報に基づいて目標位置に第１の荷物が存在するか否かを判定する前に、目標位置の前方に遮る物が存在しないことが特定されており、さらに第１多次元画像情報に基づいて、目標位置に荷物、例えば第１の荷物が存在し、かつ当該第１の荷物が搬送ロボットが取り出す予定の目標荷物である場合、さらに、第１多次元画像情報に基づいて目標荷物の姿勢情報を検出し、当該姿勢情報が所定条件に合致している場合、搬送ロボットは荷物の取り出しを行う。所定条件に合致することは、当該搬送ロボットが伸縮方向に移動して荷物を取り出すと予測したとき、当該姿勢情報が、搬送装置が当該目標荷物を収容可能であり、かつ搬送装置が他の対象にぶつからずに安全に荷物の取り出しができることを示すことを含みうる。他の対象は、他の荷物とラックのうちの少なくとも一方を含みうる。

選択可能な一実施例において、例１の実施形態と例２の実施形態は同時に実施してもよいし、例えばまず例１の実施形態を実施し、次に例２の実施形態を実施するというように、前後の順番にしたがって、順次実施してもよいし、あるいは例１の実施形態と例２の実施形態の順序を逆にしてもよく、本願はこれを限定しない。

図２に示す実施例に結び付け、判定結果に基づいて撮影モジュールの撮影スキームを決定するステップは、さらに以下の方式で実現されうる。具体的には、図３に示すように、ロボットが荷物取り出し指令を取得した後、実際の判定結果に基づいて、撮影モジュールの異なる撮影スキームを決定してもよい。なお、第１位置は目標位置または目標位置の前方の保管位置を含みうる。

さらに、選択可能な一実施例において、第１多次元画像情報に基づいて第１位置に第１の荷物が存在することを特定した場合、第１の荷物が目標荷物であるか否かを判定し、目標荷物であれば、第１多次元画像情報に基づいて目標荷物の姿勢情報を特定し、姿勢情報が所定条件に合致していない場合、対応プログラムを起動する。対応プログラムは、撮影停止、警告信号の発信、搬送ロボットが所属するサーバへの報告のうちの少なくとも１つを含む。例えば、第１多次元画像情報に基づいて第１位置に荷物の点群情報が存在することを特定した場合、荷物、例えば第１の荷物が存在すると判定し、さらに当該第１の荷物が目標荷物であるか否かを判定する。例えば、当該第１の荷物の寸法、例えば幅を含みうる寸法が当該目標荷物の寸法と合致している場合、目標荷物であると判定する。さらに、当該目標荷物の姿勢情報が所定条件と合致しないと検出された場合、例えば当該目標荷物の姿勢情報により、搬送装置が当該目標荷物を安全に取り出すことができないと予測される場合は、連続撮影回数が所定閾値に達したときに、対応プログラムを起動する。ここで、目標荷物の姿勢情報は、「搬送装置に収容可能である」、「他の荷物とラックにぶつからない」、という所定条件のうちのいずれか１つを満たしていない。本実施例において所定閾値は限定しないが、例えば５回でありうる。

選択可能な一実施例において、第１多次元画像情報に基づいて第１位置に第１の荷物が存在することを特定した場合、第１の荷物が目標荷物であるか否かを判定し、判定結果がＮｏであれば、対応プログラムを起動する。例えば、第１多次元画像情報に基づいて第１位置に荷物の点群情報が存在することを特定した場合、荷物、例えば第１の荷物が存在すると判定し、さらに当該第１の荷物が目標荷物であるか否かを判定する。例えば、当該第１の荷物の寸法、例えば幅を含みうる寸法が当該目標荷物の寸法と合致しない場合、目標荷物が存在しないと判定し、対応プログラムを起動する。例えば継続して撮影し、連続撮影回数が所定閾値に達したときに、撮影を停止する。所定閾値は例えば５回であるが、本実施例では限定しない。

選択可能な一実施例において、第１多次元画像情報に基づいて第１位置に第１の荷物が存在しないことを特定した場合、対応プログラムを起動する。

例えば、第１多次元画像情報に基づいて第１位置に荷物の点群情報が存在しないことを特定した場合、荷物が存在しないと判定して、対応プログラムを起動する。例えば連続撮影回数が所定閾値に達したとき、撮影を停止する。

図２に示す実施例に結び付け、判定結果に基づいて撮影モジュールの撮影スキームを決定するステップは、さらに以下の方式で実現されうる。具体的には、本願実施例で提供する撮影スキームを決定するフローチャート２である図４に示すように、ロボットが荷物収納指令を取得した後、実際の判定結果に基づいて、撮影モジュールの異なる撮影スキームを決定してもよい。

選択可能な一実施例において、第１多次元画像情報に基づいて、目標位置に第１の荷物が存在しないと判定した場合、荷物の収納を行う。

例えば、第１多次元画像情報における目標位置に荷物の点群情報が存在しないことを検出することで、目標位置に荷物が存在しないことを特定した場合、搬送装置は荷物収納指令に基づいて荷物の収納を行うことができる。図４に示すように、第１多次元画像情報に基づいて目標位置に第１の荷物が存在するか否かを判定する前に、目標位置の前方に遮る物（図示せず）が存在しないことが特定されており、即ち目標位置の前方に遮る物が存在しないことを示す場合、第１多次元画像情報に基づいて、目標位置に荷物、例えば第１の荷物が存在しないことが特定された場合、搬送ロボットは荷物の収納を行うことができる。目標位置は、目標ラックにおける、ラック深度方向における１番目の保管位置でもよいし、またはラック深度方向における２番目の保管位置あるいは２番目の保管位置より後方の、奥保管位置でもよい。

選択可能な一実施例において、第１多次元画像情報に基づいて第１位置に第１の荷物が存在することを特定した場合、対応プログラムを起動する。
なお、第１位置は目標位置または目標位置の前方の保管位置を含みうる。

例えば、第１多次元画像情報における第１位置を検出し、荷物の点群情報が存在する場合、即ち荷物が存在することを示す場合、対応プログラムを起動する。例えば警告信号を発信する。

選択可能な一実施例において、第１多次元画像情報は第１深度情報を含みうる。第１深度情報によって目標位置に第１の荷物が存在するか否かを判定する。

例えば、第１多次元画像情報に基づいて、例えば１０ｃｍである第１深度情報を検出し、当該第１深度情報に基づいて目標位置に荷物の点群情報が存在するか否かを判定する。
第１深度情報は目標位置に対応する深度情報より小さくてもよいし、目標位置に対応する深度情報以上でもよい。

選択可能な一実施例において、目標位置は奥保管位置であり、奥保管位置の前方のいずれか１つの保管位置に第２の荷物が存在することを検出した場合、対応プログラムを起動する。例えば、目標位置が例えば目標ラックの深度方向における３番目の保管位置である、奥保管位置である場合、当該奥保管位置の前方の１番目の保管位置において荷物の点群情報を検出し、例えば第２の荷物が存在する場合、対応プログラムを起動する。

選択可能な一実施例において、第１多次元画像情報は第１深度情報を含み、第１深度情報によって、目標位置に対応する深度情報と対応するか否かを検出して、第２の荷物が存在するか否かを判定する。目標位置に対応する深度情報は、例えば荷物取り出し制御指令または荷物収納制御指令といった制御指令により取得することができる。

例えば、取得した第１多次元画像情報の第１深度情報が例えば１０ｃｍであり、目標位置に対応する深度情報が例えば１０ｃｍであり、第１深度情報と目標位置に対応する深度情報とが対応することを特定した場合、第１多次元画像情報における目標位置の前方のいずれか１つの保管位置に第２の荷物が存在するか否かを検出することで、例えば当該目標位置の前方のいずれか１つの保管位置に荷物の点群情報が存在すれば、荷物、例えば第２の荷物が存在すると判定する。目標位置の前方のいずれか１つの保管位置に荷物の点群情報が存在しなければ、荷物が存在しないと判定する。なお、目標位置は奥保管位置を含みうる。

図２に示す実施例に結び付け、目標ラックの、目標位置を含む第１多次元画像情報を取得するステップは、以下の方式で実現できる。具体的には、撮影モジュールが搬送装置に随従して、伸縮方向において所定距離移動する。撮影モジュールは３Ｄカメラ、２Ｄカメラ、ズームカメラ、マトリックスカメラのうちの１つ、または２つ以上の組み合わせを含みうる。

例えば、目標位置は、目標ラックにおける、ラック深度方向における１番目の保管位置である手前保管位置を含んでもよいし、あるいはラック深度方向における２番目の保管位置および２番目の保管位置より後方の、奥保管位置を含んでもよい。選択可能な一実施例において、目標ラックの、目標位置を含む第１多次元画像情報を取得するステップは、撮影モジュールが搬送装置に随従して、伸縮方向において所定距離移動することを含んでもよい。例えば、目標位置画像のよりよい視野を得るために、またはラックの棚板の反射光の干渉を避けるために、第１多次元画像情報を取得する際、撮影モジュールは搬送装置に随従して伸縮方向において所定距離の伸縮移動を行うことができる。本実施例では所定距離を限定しないが、例えば２ｃｍでありうる。

さらに、搬送装置は目標ラック範囲外で伸縮移動してもよいし、目標ラック範囲内まで伸びて移動してもよい。

例えば、搬送ロボットが撮影するプロセスにおいて、例えば第１深度情報、姿勢情報、保管位置、荷物の点群情報のうちの少なくとも１つを含む、多次元画像情報の検出結果に基づいて、現実空間における目標位置の深度情報等を結び付けて、目標位置画像のよりよい視野を得るために、またはラックの棚板の反射光の干渉を避けるために、搬送装置は撮影プロセスにおいて目標ラック範囲外で伸縮移動したり、または目標ラック範囲内まで入って移動してもよい。目標ラック範囲は、現実空間における目標ラックの所定範囲を含むことができ、現実空間における所定範囲を除いた範囲を目標ラック範囲外と表すことができる。

選択可能な一実施例において、対応プログラムは、撮影停止、警告信号の発信、搬送ロボットが所属するサーバへの報告のうちの少なくとも１つを含みうる。例えば、連続撮影回数が所定閾値より大きいとき、撮影を停止するか、または直ちに撮影を停止することを含みうる。また、例えば、音声警告信号を発信したり、指示ランプ等によって警告色の信号を発信したりするなど、本実施例では限定しないが、警告信号を発信することを含みうる。さらに、例えば必要に応じて搬送ロボットが所属するサーバへ報告する。

図５は本願実施例で提供する荷物出し入れの撮影方法のフローチャート２である。図５に示すように、本実施例における荷物出し入れの撮影方法は以下のステップを含みうる。

Ｓ３０１で、目標ラックの第１位置の第１多次元画像情報を取得する。目標ラックには、ラック深度方向において、目標位置およびその前方の第１位置を含む、複数の保管位置が配置されている。

本実施例において、目標ラックのラック深度方向において、目標位置およびその前方の第１位置を含みうる、複数の保管位置が配置されている。目標位置は、ラック深度方向における２つ目の保管位置の後方の奥保管位置を含みうる。第１位置は目標位置の前方のいずれか１つの保管位置を含みうる。図１を参照すると、目標ラックにおける、「ｘｙ」マークの荷物がある保管位置が目標位置であり、その前方の対応する第２保管位置または第１保管位置を、第１位置として表すことができる。

Ｓ３０２で、第１多次元画像情報に基づいて第１位置に第１の荷物が存在しないと判定し、撮影モジュールの第１撮影スキームを決定して、第２多次元画像情報を取得する。

上記の例を結び付け、取得した第１多次元画像情報に基づいて、第１位置に荷物の点群情報が存在しないこと、例えば第１の荷物の存在しないことが検出される。即ち、目標位置の前方の保管位置が、目標位置を遮っていないことを示す。これにより撮影モジュールの第１撮影スキームを決定して、第２多次元画像情報を取得する。第１撮影スキームには、撮影モジュールが搬送装置の伸縮方向の移動に随従せずに継続撮影すること、撮影モジュールが搬送装置に随従して伸縮方向において所定の距離移動すること、または、対応プログラムを起動することが含まれる。

Ｓ３０３で、第２多次元画像情報に基づいて、目標位置に第２の荷物が存在するか否かを判定し、判定結果に基づいて、撮影モジュールの第２撮影スキームを決定する。第２撮影スキームは、目標ラックにおいて搬送装置が荷物の出し入れを行う保管位置である目標位置の、目標画像情報を取得するために用いられる。

本実施例において、第２撮影スキームには、撮影モジュールが搬送装置の伸縮方向の移動に随従せずに継続撮影すること、撮影モジュールが搬送装置に随従して伸縮方向において所定の距離移動すること、または、対応プログラムを起動することが含まれる。

例えば、取得した第２多次元画像情報に基づいて目標位置に第２の荷物が存在するか否かを判定する。目標位置は第１位置とは異なり、奥保管位置である。第２多次元画像における目標位置に荷物の点群情報が存在することを検出した場合、例えば第２の荷物である荷物が存在し、判定結果はＹｅｓである。第２多次元画像情報の目標位置に荷物の点群情報が存在しない場合、荷物は存在せず、判定結果はＮｏである。判定結果に基づいて制御指令を結び付けて、撮影モジュールの第２撮影スキームを決定して、最終的に目標位置の目標多次元画像情報を取得することで、搬送装置はその後当該目標多次元画像情報に基づいて、例えば目標荷物の取り出し／収納といった相応の動作を行うことができる。

さらに、第１多次元画像情報の第１位置に第１の荷物が存在しないことを検出した場合、対応プログラムを起動するか、または連続撮影回数が所定閾値に達したときに対応プログラムを起動する。

例えば、第１多次元画像情報の第１位置に第１の荷物が存在しないことを検出した場合、撮影モジュールの第１撮影スキームを対応プログラムの起動に決定するか、または連続撮影回数が所定閾値に達したときに対応プログラムを起動する。

図５に示す実施例に結び付け、撮影モジュールの第１撮影スキームを決定するステップは、さらに以下の方式で実現されうる。具体的には、図６、図７を参照されたい。図６は本願実施例で提供する撮影モジュールを決定するフローチャート３であり、図７は本願実施例で提供する撮影モジュールを決定するフローチャート４である。図６に示すように、搬送ロボットが荷物取り出し制御指令を取得したあと、または図７に示すように、搬送ロボットが荷物収納制御指令を取得したあと、実際の判定結果に基づいて、撮影モジュールの異なる撮影スキームを決定してもよい。

第１多次元画像情報に基づいて、第１位置に第１の荷物が存在しないことを特定した場合、第１多次元画像情報における目標位置の深度情報に基づいて、制御指令を結び付け、撮影モジュールは搬送装置に随従して伸縮方向において所定距離の移動を行って、第２多次元画像情報を形成する。
制御指令には、目標位置の深度情報が含まれうる。

例えば、第１多次元画像情報における第１位置に第１の荷物が存在しないことを検出し、第１多次元画像情報における目標位置の深度情報、例えば５ｃｍに基づいて、制御指令における目標位置の深度情報、例えば１０ｃｍを結び付け、撮影モジュールが搬送装置に随従して伸縮方向において所定距離の移動を行うことに決定して、第２多次元画像情報を形成する。所定距離は５ｃｍに等しくてもよいし、５ｃｍより大きいか、小さくてもよく、本実施例では限定しない。制御指令は、荷物取り出し指令または荷物収納指令を含みうる。

選択可能な一実施例において、判定結果に基づいて、撮影モジュールの第２撮影スキームを決定するステップは、第２多次元画像情報に基づいて、目標位置に第２の荷物が存在することを特定した場合、荷物の取り出しを行うことを含む。

例えば、第２多次元画像情報における目標位置に荷物、例えば第２の荷物の点群情報が存在し、選択可能な一実施例において第２の荷物が搬送装置が取り出す予定の荷物である場合、荷物の取り出しを行う。

選択可能な一実施例において、判定結果に基づいて、撮影モジュールの第２撮影スキームを決定するステップは、第２多次元画像情報に基づいて、目標位置に第２の荷物が存在することを特定した場合、第２の荷物が目標荷物であると判定し、荷物の取り出しを行うことを含む。

例えば、第２多次元画像情報における目標位置に荷物、例えば第２の荷物の点群情報が存在し、当該第２の荷物が目標荷物であると検出した場合、荷物の取り出しを行う。例えば、当該第２の荷物の寸法が当該目標荷物の寸法に合致する場合、目標荷物であると判定する。寸法は、幅を含みうる。

選択可能な一実施例において、第２多次元画像情報に基づいて、目標位置に第２の荷物が存在することを特定し、第２の荷物が目標荷物であると特定し、かつ目標荷物の姿勢情報が所定条件に合致する場合、荷物の取り出しを行う。

例えば、第２多次元画像情報に基づいて、目標位置に第２の荷物が存在することを特定し、かつ当該第２の荷物が搬送ロボットが取り出す予定の目標荷物であり、さらに、第２多次元画像情報に基づいて目標荷物の姿勢情報を検出し、当該姿勢情報が所定条件に合致している場合、搬送ロボットは荷物の取り出しを行う。所定条件に合致することは、当該搬送ロボットが伸縮方向に移動して荷物を取り出すと予測したとき、当該姿勢情報が、搬送装置が当該目標荷物を収容可能であり、かつ搬送装置が他の対象にぶつからずに安全に荷物の取り出しができることを示すことを含みうる。他の対象は、他の荷物とラックのうちの少なくとも一方を含みうる。

さらに、選択可能な一実施例において、第２多次元画像情報に基づいて目標位置に第２の荷物が存在することを特定した場合、第２の荷物が目標荷物であるか否かを判定し、判定結果がＹｅｓであれば、第２多次元画像情報に基づいて目標荷物の姿勢情報を特定し、姿勢情報が所定条件に合致している場合、荷物の取り出しを行う。

例えば、第２多次元画像情報に基づいて目標位置に荷物の点群情報が存在することを特定した場合、荷物、例えば第２の荷物が存在すると判定し、さらに当該第２の荷物が目標荷物であるか否かを判定する。例えば、当該第２の荷物の、幅を含みうる寸法が、当該目標荷物の寸法と合致している場合、目標荷物であると判定する。さらに、当該目標荷物の姿勢情報を検出し、当該目標荷物の姿勢情報が、搬送装置に収容可能で、かつ他の荷物およびラックにぶつからない場合、荷物の取り出しを行い、かつ当該第２多次元画像情報を目標多次元画像情報に決定し、当該目標多次元画像情報に基づいて、搬送ロボットに例えば目標荷物を取り出すといった相応の動作を実行させる。

選択可能な一実施例において、判定結果に基づいて、撮影モジュールの第２撮影スキームを決定するステップは、第２多次元画像情報に基づいて目標位置に第２の荷物が存在することを特定した場合、第２の荷物が目標荷物であるか否かを判定し、判定結果がＹｅｓであれば、第２多次元画像情報に基づいて目標荷物の姿勢情報を特定し、姿勢情報が所定条件に合致していない場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動することを含む。

例えば、第２多次元画像情報に基づいて目標位置に荷物の点群情報が存在することを特定した場合、荷物、例えば第２の荷物が存在すると判定し、さらに当該第２の荷物が目標荷物であるか否かを判定する。例えば、当該第２の荷物の、幅を含みうる寸法が当該目標荷物の寸法と合致している場合、目標荷物であると判定する。さらに、当該目標荷物の姿勢情報を検出し、当該目標荷物の姿勢情報が「搬送装置に収容可能であり、他の荷物およびラックとぶつからない」のいずれか１つの所定条件を満たさない場合、連続撮影回数が所定閾値に達したときに、対応プログラムを起動する。本実施例において所定閾値は限定しないが、例えば５回でありうる。

選択可能な一実施例において、第２多次元画像情報に基づいて目標位置に第２の荷物が存在すると特定した場合、第２の荷物が目標荷物であるか否かを判定し、判定結果がＮｏであれば、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動する。

例えば、第２多次元画像情報に基づいて目標位置に荷物の点群情報が存在することを特定した場合、荷物、例えば第２の荷物が存在すると判定し、さらに当該第２の荷物が目標荷物であるか否かを判定する。例えば、当該第２の荷物の、幅を含みうる寸法が当該目標荷物の寸法と合致しない場合、判定結果は目標荷物でなく、連続撮影回数が所定閾値に達したとき、対応プログラムを起動する。本実施例において所定回数閾値は限定しないが、例えば５回でありうる。

選択可能な一実施例において、第２多次元画像情報に基づいて目標位置に第２の荷物が存在しないことを特定した場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動する。

例えば、第２多次元画像情報に基づいて目標位置に荷物の点群情報が存在しないことを特定した場合、荷物が存在しないと判定して、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動する。本実施例において所定回数閾値は限定しないが、例えば５回でありうる。

図５に示す実施例に結び付け、判定結果に基づいて撮影モジュールの第２撮影スキームを決定するステップは、さらに以下の方式で実現されうる。具体的には、本願実施例で提供する撮影モジュールを決定するフローチャート４である図７に示すように、搬送ロボットが荷物収納指令を取得した後、実際の判定結果に基づいて、撮影モジュールの異なる撮影スキームを決定してもよい。

選択可能な一実施例において、第２多次元画像情報に基づいて、目標位置に第２の荷物が存在しないことを特定した場合、第２多次元画像情報における目標位置の深度情報に基づいて、制御指令を結び付け、撮影モジュールは搬送装置に随従して伸縮方向において所定距離の移動を行う。

例えば、第２多次元画像情報における目標位置を検出し、荷物の点群情報が存在しなければ、第２多次元画像情報における目標位置の深度情報、例えば１０ｃｍに基づいて、制御指令に含まれる現実空間の深度情報、例えば１５ｃｍを結び付け、撮影モジュールが搬送装置に随従して伸縮方向において所定距離の移動を行うことで、さらに、目標位置を含む第２多次元画像情報を取得することができる。選択可能な一実施例において、当該第２多次元画像情報に基づいて、搬送装置が直接荷物収納動作を行ってもよい。

選択可能な一実施例において、第２多次元画像情報に基づいて目標位置に第２の荷物が存在することを特定した場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動する。

例えば、第２多次元画像情報における目標位置を検出し、荷物の点群情報が存在する場合、連続撮影回数が所定閾値に達したときに、対応プログラムを起動する。

選択可能な一実施例において、撮影モジュールは、２Ｄカメラ、３Ｄカメラ、ズームカメラ、マトリックスカメラのうちの少なくとも１つを含む。

例えば、撮影モジュールは、例えばモノクロカメラ、フルカラーカメラのような２Ｄカメラを含んでもよいし、例えば３Ｄカメラ、深度カメラまたはパノラマカメラのような多次元カメラを含んでもよいし、複数のカメラの組み合わせでもよい。または、角度の異なる複数のレンズを備えたカメラ、異なる次元のカメラを組み合わせてなる多次元マトリックスカメラでもよく、目標荷物の多次元画像が取得できさえすればよい。さらにズームカメラを含む。

選択可能な一実施例において、撮影モジュールは搬送装置の、フォークの爪の先端、トレイの底部、フォークの後端のうちの少なくとも１つの部位に取り付けられる。

選択可能な一実施例において、撮影モジュールは、長焦点レンズを有するカメラと、短焦点レンズを有するカメラを含み、かつ撮影モジュールは搬送装置のトレイの底部またはフォークの後端に取り付けられる。

選択可能な一実施例において、撮影モジュールは搬送装置のフォークの爪の先端に取り付けられ、かつ撮影モジュールは搬送装置のフォークの爪に随従して伸縮方向に所定距離移動する。

選択可能な一実施例において、撮影モジュールは、ズームカメラを含み、かつ撮影モジュールは搬送装置のトレイの底部またはフォークの後端に取り付けられる。

選択可能な一実施例において、撮影モジュールが複数のカメラを含む場合、撮影モジュールは長焦点レンズを有するカメラと、短焦点レンズを有するカメラと、ズームカメラのうち少なくとも１つを含む。撮影モジュールの複数のカメラは、分かれて配置されてもよいし、まとめて配置されてもよい。

例えば、撮影モジュールは３Ｄカメラであって、搬送装置のフォークの爪の先端に取り付けることができ、選択可能な一実施例において、ラックの棚板の反射光の干渉を避けるために、多次元画像情報を取得するとき、撮影モジュールは搬送装置に随従して伸縮方向において所定距離移動することができる。また、例えば、撮影モジュールは長焦点レンズを有するカメラと、短焦点レンズを有するカメラを含み、かつ当該２つのカメラが搬送ロボットのフォークトレイの底部に平行に取り付けられる場合、選択可能な一実施例において、手前保管位置を撮影するときは短焦点レンズを有するカメラを使用し、奥保管位置を撮影するときは長焦点レンズを有するカメラを使用することができる。また、例えば、撮影モジュールが短焦点レンズを有するカメラを１つ含み、かつ当該短焦点レンズを有するカメラが搬送装置のフォークの爪の先端に取り付けられる場合、選択可能な一実施例において、奥保管位置を撮影するとき、当該短焦点レンズを有するカメラは搬送装置に随従して伸縮方向において所定距離移動する。さらに例えば、撮影モジュールはズームカメラを含み、かつ当該ズームカメラはフォークの後端に取り付けることができ、選択可能な一実施例において、手前保管位置を撮影するか奥保管位置を撮影するかに関わらず、当該ズームカメラを使用する。

図８は本願実施例で提供する荷物出し入れの撮影システムの構造概略図である。図８に示すように、本実施例における荷物出し入れの撮影システム４０は、プロセッサ４１とメモリ４２とを含みうる。

メモリ４２は、コンピュータプログラム（上記の荷物出し入れの撮影方法を実現するアプリケーションプログラム、機能モジュール等）や、コンピュータ指令等を記憶するために用いられる。

上記のコンピュータプログラム、コンピュータ指令等は、１つまたは複数のメモリ４２に区分して記憶される。また、上記のコンピュータプログラム、コンピュータ指令、データ等は、プロセッサ４１に呼び出される。

プロセッサ４１は、メモリ４２に記憶されたコンピュータプログラムを実行して、上記実施例に係る方法の各ステップを実現するために用いられる。

詳細については、前述の方法の実施例における関連説明を参照されたい。

プロセッサ４１とメモリ４２は独立した構造であってもよいし、一つに集積された集積構造であってもよい。プロセッサ４１とメモリ４２とが独立した構造である場合、メモリ４２とプロセッサ４１は、バス４３を介してカップリング接続されうる。

本実施例のサーバは、図２、図５に示す方法における技術案を実行することができる。具体的実現プロセスと技術的原理は、図２、図５に示す方法における関連説明を参照されたい。ここでは重複する説明を省略する。

また、本願実施例はさらに、コンピュータ読み取り可能な記憶媒体を提供する。コンピュータ読み取り可能な記憶媒体には、コンピュータ実行指令が記憶され、ユーザ機器の少なくとも１つのプロセッサが当該コンピュータ実行指令を実行すると、ユーザ機器が上記の各種機能を実行する。

コンピュータ読み取り可能な記憶媒体は、コンピュータ記憶媒体と通信媒体とを含み、通信媒体は、ある場所から他の場所へコンピュータプログラムを伝送するためのあらゆる媒体を含む。記憶媒体は汎用または専用コンピュータでアクセスすることができるあらゆる利用可能な媒体でありうる。例示的な一記憶媒体は、プロセッサにカップリングされ、これによりプロセッサは当該記憶媒体から情報を読み取り、かつ当該記憶媒体に情報を書き込むことができる。もちろん、記憶媒体はプロセッサの構成部分であってもよい。プロセッサと記憶媒体は、ＡＳＩＣ内に配置されてもよい。また、当該ＡＳＩＣはユーザ機器に配置されうる。もちろん、プロセッサとメモリは独立したユニットとして通信装置内に存在してもよい。

当業者であれば、上記各実施例のすべてまたは一部のステップは、プログラムによって関連ハードウェアに指令することで実現できることは理解されよう。上記のプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されうる。当該プログラムを実行するとき、上記各実施例に含まれるステップが実行される。上記記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスク等の、プログラムコードを記憶できる各種媒体を含む。

最後に説明する点は、以上の各実施例は本願の技術案を説明するためのものであり、限定するものではない。上記の各実施例を参照して本願を詳細に説明したが、上記の各実施例に記載した技術案は修正が可能であり、またはその一部またはすべての技術的特徴は同等な置き換えが可能であるが、これらの修正または置き換えは、かかる技術案の本質を本願各実施例の技術案の範囲から逸脱させるものではないことは、当業者には理解されるであろう。

本願は、２０２０年０６月１２日に中国専利局へ出願された、出願番号２０２０１０５３７５９９．８、発明の名称「荷物の取り出しまたは収納の撮影方法、撮影モジュールおよび搬送ロボット」の中国専利出願の優先権を主張し、そのすべての内容を援用により本願に組み込む。

本願はスマート倉庫の技術分野に関し、特に荷物の取り出しまたは収納の撮影方法、撮影システムおよび搬送ロボットに関する。

従来技術では、ラックに複数の荷物が置かれると搬送ロボットによる荷物の取り出しまたは収納の難度が大きくなるが、現実のシーンではラックの振動や人間の操作ミスにより、搬送ロボットの荷物の取り出しまたは収納の難度が一層高くなるため、搬送ロボットの荷物の取り出しまたは収納に困難が生じ、荷物の取り出しまたは収納の安全性が保証できない。

本願はラック深度方向に沿った撮影を実現して、多次元画像情報を取得することで、搬送ロボットの荷物の取り出しまたは収納の安全性を高め、作業効率を向上させる荷物の取り出しまたは収納の撮影方法、撮影モジュールおよび搬送ロボットを提供する。

第１の態様として、本願実施例で提供する荷物の取り出しまたは収納の撮影方法は、搬送ロボットに適用される荷物の取り出しまたは収納の撮影方法であって、前記搬送ロボットには、荷物の取り出しまたは収納のための搬送装置と、撮影モジュールとが設置され、前記方法は、ラック深度方向において１つ以上の保管位置が配置された目標ラックの、目標位置を含む第１多次元画像情報を取得するステップと、前記第１多次元画像情報に基づいて、目標位置に第１の荷物が存在するか否かを判定するステップと、判定結果に基づいて、前記撮影モジュールの撮影スキームを決定するステップと、を含み、前記撮影スキームは、前記ラックにおいて前記搬送装置が荷物の取り出しまたは収納を行う保管位置である目標位置の、目標多次元画像情報を取得するために用いられる。

第２の態様として、本願実施例で提供する荷物の取り出しまたは収納の撮影方法は、搬送ロボットに適用される荷物の取り出しまたは収納の撮影方法であって、前記搬送ロボットには荷物の取り出しまたは収納のための搬送装置と、撮影モジュールとが設置され、前記方法は、ラック深度方向において目標位置とその前方の第１位置とを含む複数の保管位置が配置された目標ラックの、第１位置の第１多次元画像情報を取得するステップと、前記第１多次元画像情報に基づいて、前記第１位置に第１の荷物が存在しないと判定し、前記撮影モジュールの第１撮影スキームを決定して第２多次元画像情報を取得するステップと、前記第２多次元画像情報に基づいて、目標位置に第２の荷物が存在するか否かを判定し、判定結果に基づいて、前記撮影モジュールの第２撮影スキームを決定するステップと、を含み、前記第２撮影スキームは、前記目標ラックにおいて前記搬送装置が荷物の取り出しまたは収納を行う保管位置である目標位置の目標多次元画像情報を取得するために用いられる。

第３の態様として、本願実施例で提供する荷物の取り出しまたは収納の撮影システムは、メモリと、プロセッサと、撮影モジュールとを含み、メモリには前記プロセッサの実行可能な指令が記憶され、前記プロセッサは、前記実行可能な指令を実行して、前記撮影モジュールを制御することで、第１の態様と第２の態様のいずれか１項に記載の撮影方法を実行するように構成されている。

第５の態様として、本願実施例で提供する搬送ロボットは、移動シャシーと、搬送装置と、保管ラックと、昇降ユニットと、撮影モジュールと、第４の態様に記載の撮影システムとを含む搬送ロボットであって、前記保管ラックは前記移動シャシー上に取り付けられ、前記保管ラックには複数の保管トレイが縦方向に沿って配置され、各前記保管トレイは荷物を置くために用いられ、前記搬送装置は固定ラックといずれか１つの前記保管トレイとの間で荷物を搬送するために用いられ、前記昇降ユニットは前記搬送装置が縦方向に移動するよう駆動するために用いられて、前記搬送装置を前記保管トレイに対応する高さまたは固定ラックの高さまで昇降させ、前記搬送装置が前記保管トレイに対応する高さまで昇降したとき、前記搬送装置は、搬送方向に沿って荷物を対応する前記保管トレイ上に移すか、または搬送方向に沿って対応する前記保管トレイ上にある荷物を取り出し、前記搬送装置が固定ラックに対応する高さまで昇降したとき、前記搬送装置は、搬送方向に沿って荷物を対応する固定ラック上へ移すか、または搬送方向に沿って対応する固定ラック上にある荷物を取り出し、前記撮影モジュールは多次元画像情報を取得して、荷物の位置を特定するために用いられ、前記搬送装置は、荷物の取り出し／収納に用いられるフォークを含む。
いくつかの実施例において、本願が提供する荷物の取り出しまたは収納の撮影方法は、搬送ロボットに適用される荷物の取り出しまたは収納の撮影方法であって、前記搬送ロボットには荷物の取り出しまたは収納ための搬送装置と、撮影モジュールとが設置され、前記方法は、ラック深度方向において１つ以上の保管位置が配置された目標ラックの、目標位置の第１多次元画像情報を取得するステップと、前記第１多次元画像情報に基づいて、前記目標位置に第１の荷物が存在するか否かを判定するステップと、判定結果に基づいて、前記撮影モジュールの撮影スキームを決定するステップと、を含み、前記目標位置は、前記目標ラックにおいて前記搬送装置が荷物の取り出しまたは収納を行う保管位置であり、前記撮影スキームは、前記撮影モジュールが前記搬送装置の伸縮方向における移動に随従せずに継続撮影すること、前記撮影モジュールが前記搬送装置に随従して伸縮方向において所定の距離移動すること、または対応プログラムを起動すること、を含み、前記対応プログラムは、撮影停止、警告信号発信、前記搬送ロボットが所属するサーバへの報告のうちの少なくとも１つを含む。
いくつかの実施例において、前記目標位置は、前記目標ラックの中で、ラック深度方向における１番目の保管位置である手前保管位置、あるいはラック深度方向における２番目の保管位置、あるいは前記２番目の保管位置より後方の、奥保管位置である。
いくつかの実施例において、前記搬送ロボットが荷物取り出しタスクを実行する場合、判定結果に基づいて前記撮影モジュールの撮影スキームを決定する前記ステップは、前記目標位置に前記第１の荷物が存在することに応じて、荷物の取り出しを行うことと、前記目標位置に前記第１の荷物が存在しないことに応じて、複数回継続して撮影し、複数回撮影して取得した画像情報に基づいて前記目標位置に前記第１の荷物が存在するか否かを複数回判定することと、継続撮影回数が所定閾値に達し且つ複数回判定した結果、いずれも前記目標位置に前記第１の荷物が存在しなかったことに応じて、対応プログラムを起動することと、を含むか、あるいは、前記目標位置に前記第１の荷物が存在することに応じて、前記第１多次元画像情報に基づいて前記第１の荷物が目標荷物であるか否かを判定することと、前記第１の荷物が目標荷物であることに応じて、荷物の取り出しを行うことと、前記第１の荷物が目標荷物ではないことに応じて複数回継続して撮影し、複数回撮影して取得した画像情報に基づいて前記第１の荷物が目標荷物であるか否かを複数回判定し、継続撮影回数が所定閾値に達し且つ複数回判定した結果、いずれも前記第１の荷物が目標荷物でなかったことに応じて、対応プログラムを起動することと、を含むか、あるいは、前記目標位置に前記第１の荷物が存在することに応じて、前記第１多次元画像情報に基づいて前記第１の荷物が目標荷物であるか否かを判定することと、前記第１の荷物が目標荷物であることに応じて、前記第１多次元画像情報に基づいて前記目標荷物の姿勢情報が所定条件に合致しているか否かを判定することと、前記姿勢情報が所定条件に合致していることに応じて、荷物の取り出しを行うことと、前記姿勢情報が所定条件に合致していないことに応じて複数回継続して撮影し、複数回撮影して取得した画像情報に基づいて前記目標荷物の姿勢情報が条件に合致するか否かを判定し、継続撮影回数が所定閾値に達し且つ複数回判定した結果、いずれも前記目標荷物の姿勢情報が所定条件に合致しないことに応じて、対応プログラムを起動することと、を含む。
いくつかの実施例において、前記搬送ロボットが荷物収納タスクを実行する場合、判定結果に基づいて前記撮影モジュールの撮影スキームを決定する前記ステップは、前記目標位置に前記第１の荷物が存在しないことに応じて、荷物の収納を行うことと、前記第１位置に前記第１の荷物が存在することに応じて、対応プログラムを起動することと、を含む。
いくつかの実施例において、前記第１多次元画像情報は第１深度情報を含み、前記第１多次元画像情報に基づいて前記目標位置に第１の荷物が存在するか否かを判定する前記ステップにおいて、前記第１深度情報によって前記目標位置に前記第１の荷物が存在するか否かを判定する。
いくつかの実施例において、前記目標位置は前記奥保管位置であり、前記第１多次元画像情報に基づいて前記目標位置に第１の荷物が存在するか否かを判定する前記ステップの前に、前記奥保管位置の前方のいずれか１つの保管位置に第２の荷物が存在するか否かを特定し、前記奥保管位置の前方のいずれか１つの保管位置に第２の荷物が存在することに応じて、対応プログラムを起動することを含む。
いくつかの実施例において、前記第１多次元画像情報は第１深度情報を含み、前記第１深度情報によって、前記目標位置に対応する深度情報と対応するか否かを検出することで、前記第２の荷物が存在するか否かを判定する。
いくつかの実施例において、目標ラックの第１多次元画像情報を取得する前記ステップは、前記撮影モジュールが前記搬送装置に随従して、伸縮方向において所定距離移動することを含む。
いくつかの実施例において、前記搬送装置は目標ラック範囲外で伸縮移動するか、または前記目標ラック範囲内まで伸びて移動する。
本願がさらに提供する荷物の取り出しまたは収納の撮影方法は、搬送ロボットに適用される荷物の取り出しまたは収納の撮影方法であって、前記搬送ロボットには荷物の取り出しまたは収納のための搬送装置と、撮影モジュールとが設置され、前記方法は、ラック深度方向において目標位置とその前方の第１位置とを含む複数の保管位置が配置された目標ラックの、第１位置の第１多次元画像情報を取得するステップと、前記第１多次元画像情報に基づいて、前記第１位置に第１の荷物が存在するか否かを判定するステップと、前記第１位置に前記第１の荷物が存在しないことに応じて、前記撮影モジュールの第１撮影スキームを決定して第２多次元画像情報を取得するステップと、前記第２多次元画像情報に基づいて、前記目標位置に第２の荷物が存在するか否かを判定するステップと、判定結果に基づいて、前記撮影モジュールの第２撮影スキームを決定するステップと、を含み、前記目標位置は、前記目標ラックにおいて前記搬送装置が荷物の取り出しまたは収納を行う保管位置であり、前記撮影スキームは、前記撮影モジュールが前記搬送装置の伸縮方向における移動に随従せずに継続撮影すること、前記撮影モジュールが前記搬送装置に随従して伸縮方向において所定の距離移動すること、または対応プログラムを起動すること、を含み、前記対応プログラムは、撮影停止、警告信号発信、前記搬送ロボットが所属するサーバへの報告のうちの少なくとも１つを含む。
いくつかの実施例において、前記搬送ロボットが荷物取り出しタスクを実行する場合、前記第１多次元画像情報に基づいて、前記第１位置に第１の荷物が存在するか否かを判定する前記ステップの後に、前記第１位置に前記第１の荷物が存在することに応じて、対応プログラムを起動すること、または、前記第１位置に前記第１の荷物が存在することに応じて、複数回継続して撮影し、複数回撮影して取得した画像情報に基づいて前記第１位置に前記第１の荷物が存在するか否かを判定し、継続撮影回数が所定閾値に達し且つ複数回判定した結果、いずれも前記第１位置に前記第１の荷物が存在することに応じて、対応プログラムを起動すること、を含む。
いくつかの実施例において、前記搬送ロボットが荷物取り出しタスクを実行する場合、前記撮影モジュールの第１撮影スキームを決定する前記ステップは、前記第１多次元画像情報に基づいて、前記第１位置に前記第１の荷物が存在しないことを特定した場合、前記第１多次元画像情報における前記目標位置の深度情報に基づいて、制御指令を結び付け、前記搬送装置に随従して伸縮方向において所定距離移動して前記第２多次元画像情報を形成するよう前記撮影モジュールを制御することを含む。
いくつかの実施例において、前記搬送ロボットが荷物取り出しタスクを実行する場合、前記撮影モジュールの第１撮影スキームを決定する前記ステップは、前記第１多次元画像情報に基づいて、前記第１位置に前記第１の荷物が存在しないことを特定した場合、前記第１多次元画像情報における前記目標位置の深度情報に基づいて、制御指令を結び付け、前記搬送装置に随従して伸縮方向において所定距離移動して前記第２多次元画像情報を形成するよう前記撮影モジュールを制御することを含む。
いくつかの実施例において、前記搬送ロボットが荷物取り出しタスクを実行する場合、判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定する前記ステップは、前記目標位置に第２の荷物が存在することに応じて、荷物の取り出しを行うこと、前記目標位置に前記第２の荷物が存在しないことに応じて、複数回継続して撮影し、複数回撮影して取得した画像情報に基づいて前記目標位置に前記第２の荷物が存在するか否かを複数回判定し、継続撮影回数が所定閾値に達し且つ複数回判定した結果、いずれも前記目標位置に前記第２の荷物が存在しなかったことに応じて、対応プログラムを起動すること、前記目標位置に第２の荷物が存在することに応じて、前記第２多次元画像情報に基づいて前記第２の荷物が目標荷物であるか否かを判定し、前記第２の荷物が目標荷物であることに応じて、荷物の取り出しを行うことと、前記第２の荷物が目標荷物ではないことに応じて、複数回継続して撮影し、複数回撮影して取得した画像情報に基づいて前記第２の荷物が目標荷物であるか否かを複数回判定し、継続撮影回数が所定閾値に達し且つ複数回判定した結果、いずれも前記第２の荷物が目標荷物ではなかったことに応じて、対応プログラムを起動すること、または、前記目標位置に第２の荷物が存在することに応じて、前記第２多次元画像情報に基づいて前記第２の荷物が目標荷物であるか否かを判定し、前記第２の荷物が目標荷物であることに応じて、前記目標荷物の姿勢情報が所定条件に合致しているか否かを判定し、前記目標荷物の姿勢情報が所定条件に合致していることに応じて、荷物の取り出しを行うことと、前記目標荷物の姿勢情報が所定条件に合致していないことに応じて、複数回継続して撮影し、複数回撮影して取得した画像情報に基づいて前記目標荷物の姿勢情報が条件に合致するか否かを判定し、継続撮影回数が所定回数閾値に達し且つ複数回判定した結果、いずれも前記目標荷物の姿勢情報が所定条件に合致しないことに応じて、対応プログラムを起動すること、を含む。
いくつかの実施例において、前記搬送ロボットが荷物取り出しタスクを実行する場合、判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定する前記ステップは、前記第２多次元画像情報に基づいて、前記目標位置に前記第２の荷物が存在しないことを特定した場合、前記第２多次元画像情報における前記目標位置の深度情報に基づいて、制御指令を結び付け、前記撮影モジュールが前記搬送装置に随従して伸縮方向において所定距離移動することを含む。
いくつかの実施例において、前記搬送ロボットが荷物収納タスクを実行する場合、判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定する前記ステップは、前記目標位置に前記第２の荷物が存在することに応じて、複数回継続して撮影し、複数回撮影して取得した画像情報に基づいて前記目標位置に前記第２の荷物が存在するか否かを判定し、継続撮影回数が所定閾値に達し且つ複数回判定した結果、いずれも前記目標位置に前記第２の荷物が存在すること応じて、対応プログラムを起動することを含む。
本願が提供する荷物の取り出しまたは収納の撮影システムは、メモリと、プロセッサと、撮影モジュールとを含み、メモリには前記プロセッサの実行可能な指令が記憶され、前記プロセッサは、前記実行可能な指令を実行して、前記撮影モジュールを制御することで、上記の撮影方法を実行するように構成されている。
本願が提供する搬送ロボットは、移動シャシーと、搬送装置と、保管ラックと、昇降ユニットと、請求項１６に記載の撮影システムとを含む搬送ロボットであって、前記保管ラックは前記移動シャシー上に取り付けられ、前記保管ラックには複数の保管トレイが縦方向に沿って配置され、各前記保管トレイは荷物を置くために用いられ、前記搬送装置は固定ラックといずれか１つの前記保管トレイとの間で荷物を搬送するために用いられ、前記昇降ユニットは前記搬送装置が縦方向に移動するよう駆動するために用いられて、前記搬送装置を前記保管トレイに対応する高さまたは固定ラックの高さまで昇降させ、前記搬送装置が前記保管トレイに対応する高さまで昇降したとき、前記搬送装置は、搬送方向に沿って荷物を対応する前記保管トレイ上に移すか、または搬送方向に沿って対応する前記保管トレイ上にある荷物を取り出し、前記搬送装置が固定ラックに対応する高さまで昇降したとき、前記搬送装置は、搬送方向に沿って荷物を対応する固定ラック上へ移すか、または搬送方向に沿って対応する固定ラック上にある荷物を取り出し、前記撮影モジュールは多次元画像情報を取得して、荷物の位置を特定するために用いられ、前記搬送装置は、荷物の取り出しまたは収納に用いられるフォークを含み、前記撮影モジュールは前記フォークの、フォークの爪の先端と、トレイの底部と、フォークの後端とのうちの少なくとも１つの部位に取り付けられる。
いくつかの実施例において、前記撮影モジュールは、２Ｄカメラと、３Ｄカメラと、ズームカメラと、マトリックスカメラとのうちの少なくとも１つを含み、または、前記撮影モジュールは、長焦点レンズを有するカメラと、短焦点レンズを有するカメラと、ズームカメラとのうちの少なくとも１つを含み、または、前記撮影モジュールは、長焦点レンズを有するカメラと短焦点レンズを有するカメラを含むか、またはズームカメラを含み、前記撮影モジュールは前記搬送装置のトレイの底部またはフォークの後端に取り付けられ、または、前記撮影モジュールは前記搬送装置のフォークの爪の先端に取り付けられ、かつ前記撮影モジュールは前記搬送装置のフォークの爪の伸縮方向での移動に随従して所定距離移動可能に配置される。
本願が提供するコンピュータ読み取り可能な記憶媒体は、プロセッサによって実行されるとき上記の荷物の取り出しまたは収納の撮影方法を実現するためのコンピュータ実行指令が記憶されている。
本願が提供するコンピュータ実行可能なプログラムは、コンピュータに上記の荷物の取り出しまたは収納の撮影方法を実行させる。

本願は、搬送ロボットに適用される荷物の取り出しまたは収納の撮影方法、撮影モジュールおよび搬送ロボットを提供し、搬送ロボットには、荷物の取り出しまたは収納のための搬送装置と、撮影モジュールとが設置され、当該方法は、ラック深度方向に沿って１つ以上の保管位置が配置された目標ラックの、目標位置を含む第１多次元画像情報を取得するステップと、第１多次元画像情報に基づいて、目標位置に第１の荷物が存在するか否かを判定するステップと、判定結果に基づいて、撮影モジュールの撮影スキームを決定するステップと、を含み、撮影スキームは、目標ラックにおいて搬送装置が荷物の取り出しまたは収納を行う保管位置である目標位置の、目標多次元画像情報を取得するために用いられる。ラック深度方向に沿った撮影を実現して、多次元画像情報を取得することで、搬送ロボットの荷物の取り出しまたは収納の安全性を高め、作業効率を向上させる。

本願が提供する一典型的応用シーンの図である。本願が提供する搬送ロボットの構造模式図である。本願実施例で提供する荷物の取り出しまたは収納の撮影方法のフローチャート１である。本願実施例で提供する撮影モジュールを決定するフローチャート１である。本願実施例で提供する撮影モジュールを決定するフローチャート２である。本願実施例で提供する荷物の取り出しまたは収納の撮影方法のフローチャート２である。本願実施例で提供する撮影モジュールを決定するフローチャート３である。本願実施例で提供する撮影モジュールを決定するフローチャート４ある。本願実施例で提供する荷物の取り出しまたは収納の撮影システムの構造概略図である。

従来技術では、ラックに複数の荷物が置かれると搬送ロボットによる荷物の取り出しまたは収納の難度が大きくなるが、現実のシーンではラックの振動や人間の操作ミスにより、搬送ロボットの荷物の取り出しまたは収納の難度が一層高くなるため、搬送ロボットの荷物の取り出しまたは収納に困難が生じ、荷物の取り出しまたは収納の安全性が低下する。

図１は、本願が提供する一典型的応用シーンの図であり、図２は、本願が提供する搬送ロボットの構造模式図である。図１および図２に示すように、本応用シーンでは、搬送ロボット１１を利用して目標ラック１２の深度方向において、目標荷物（例えば、図１の１行目の２番目の荷物の後ろの荷物）の取り出しと収納を実現できる。本願の制御方法を応用することで、搬送ロボットの荷物の取り出しまたは収納の安全性を高めて、スマート倉庫物流の効率性と正確性を保証することができる。

図３は本願実施例で提供する荷物の取り出しまたは収納の撮影方法のフローチャート１である。図３に示すように、本実施例における荷物の取り出しまたは収納の撮影方法は以下のステップを含みうる。

Ｓ２０３で、判定結果に基づいて、撮影モジュールの撮影スキームを決定する。撮影スキームは、目標ラックにおいて搬送装置が荷物の取り出しまたは収納を行う保管位置である目標位置の、目標多次元画像情報を取得するために用いられる。

選択可能な一実施例において、第１多次元画像情報に基づいて、目標位置に第１の荷物が存在すると判定した場合、荷物の取り出しを行う。例えば、第１多次元画像情報を検出することによって目標位置に荷物、例えば第１の荷物が存在すると判定した場合、荷物の取り出しを行う。即ち、当該目標位置の前方に遮る物がなく、搬送ロボットが荷物を取り出すことができることを示している。目標位置は、目標ラックにおける、ラック深度方向における１番目の保管位置である手前保管位置を含んでもよいし、あるいはラック深度方向における２番目の保管位置および２番目の保管位置より後方の、奥保管位置を含んでもよい。例えば、図４を参照すると、図４は本願実施例で提供する撮影モジュールを決定するフローチャート１であり、選択可能な一実施例において、第１多次元画像情報に基づいて、目標位置に第１の荷物が存在するか否かを判定する前に、目標位置の前方に遮る物（図示しない）が存在しないことが特定されている。

図３に示す実施例に結び付け、判定結果に基づいて撮影モジュールの撮影スキームを決定するステップは、さらに以下の方式で実現されうる。具体的には、図４に示すように、ロボットが荷物取り出し指令を取得した後、実際の判定結果に基づいて、撮影モジュールの異なる撮影スキームを決定してもよい。なお、第１位置は目標位置または目標位置の前方の保管位置を含みうる。

図３に示す実施例に結び付け、判定結果に基づいて撮影モジュールの撮影スキームを決定するステップは、さらに以下の方式で実現されうる。具体的には、本願実施例で提供する撮影スキームを決定するフローチャート２である図５に示すように、ロボットが荷物収納指令を取得した後、実際の判定結果に基づいて、撮影モジュールの異なる撮影スキームを決定してもよい。

例えば、第１多次元画像情報における目標位置に荷物の点群情報が存在しないことを検出することで、目標位置に荷物が存在しないことを特定した場合、搬送装置は荷物収納指令に基づいて荷物の収納を行うことができる。図５に示すように、第１多次元画像情報に基づいて目標位置に第１の荷物が存在するか否かを判定する前に、目標位置の前方に遮る物（図示せず）が存在しないことが特定されており、即ち目標位置の前方に遮る物が存在しないことを示す場合、第１多次元画像情報に基づいて、目標位置に荷物、例えば第１の荷物が存在しないことが特定された場合、搬送ロボットは荷物の収納を行うことができる。目標位置は、目標ラックにおける、ラック深度方向における１番目の保管位置でもよいし、またはラック深度方向における２番目の保管位置あるいは２番目の保管位置より後方の、奥保管位置でもよい。

例えば、取得した第１多次元画像情報の第１深度情報が例えば１０ｃｍであり、目標位置に対応する深度情報が例えば１０ｃｍであり、第１深度情報と目標位置に対応する深度情報とが対応すること（即ち、第１深度情報と目標位置に対応する深度情報とが等しいこと）を特定した場合、第１多次元画像情報における目標位置の前方のいずれか１つの保管位置に第２の荷物が存在するか否かを検出することで、例えば当該目標位置の前方のいずれか１つの保管位置に荷物の点群情報が存在すれば、荷物、例えば第２の荷物が存在すると判定する。目標位置の前方のいずれか１つの保管位置に荷物の点群情報が存在しなければ、荷物が存在しないと判定する。なお、目標位置は奥保管位置を含みうる。

図３に示す実施例に結び付け、目標ラックの、目標位置を含む第１多次元画像情報を取得するステップは、以下の方式で実現できる。具体的には、撮影モジュールが搬送装置に随従して、伸縮方向において所定距離移動する。撮影モジュールは３Ｄカメラ、２Ｄカメラ、ズームカメラ、マトリックスカメラのうちの１つ、または２つ以上の組み合わせを含みうる。

図６は本願実施例で提供する荷物の取り出しまたは収納の撮影方法のフローチャート２である。図６に示すように、本実施例における荷物の取り出しまたは収納の撮影方法は以下のステップを含みうる。

Ｓ３０３で、第２多次元画像情報に基づいて、目標位置に第２の荷物が存在するか否かを判定し、判定結果に基づいて、撮影モジュールの第２撮影スキームを決定する。第２撮影スキームは、目標ラックにおいて搬送装置が荷物の取り出しまたは収納を行う保管位置である目標位置の、目標多次元画像情報を取得するために用いられる。

図６に示す実施例に結び付け、撮影モジュールの第１撮影スキームを決定するステップは、さらに以下の方式で実現されうる。具体的には、図７、図８を参照されたい。図７は本願実施例で提供する撮影モジュールを決定するフローチャート３であり、図８は本願実施例で提供する撮影モジュールを決定するフローチャート４である。図７に示すように、搬送ロボットが荷物取り出し制御指令を取得したあと、または図８に示すように、搬送ロボットが荷物収納制御指令を取得したあと、実際の判定結果に基づいて、撮影モジュールの異なる撮影スキームを決定してもよい。

例えば、第２多次元画像情報に基づいて目標位置に荷物の点群情報が存在することを特定した場合、荷物、例えば第２の荷物が存在すると判定し、さらに当該第２の荷物が目標荷物であるか否かを判定する。例えば、当該第２の荷物の、幅を含みうる寸法が、当該目標荷物の寸法と合致している場合、即ち、第２の荷物の寸法が目標荷物の寸法と等しい場合、目標荷物であると判定する。さらに、当該目標荷物の姿勢情報を検出し、当該目標荷物の姿勢情報が、搬送装置に収容可能で、かつ他の荷物およびラックにぶつからない場合、荷物の取り出しを行い、かつ当該第２多次元画像情報を目標多次元画像情報に決定し、当該目標多次元画像情報に基づいて、搬送ロボットに例えば目標荷物を取り出すといった相応の動作を実行させる。

例えば、第２多次元画像情報に基づいて目標位置に荷物の点群情報が存在することを特定した場合、荷物、例えば第２の荷物が存在すると判定し、さらに当該第２の荷物が目標荷物であるか否かを判定する。例えば、当該第２の荷物の、幅を含みうる寸法が当該目標荷物の寸法と合致している場合、即ち、第２の荷物の寸法が目標荷物の寸法と等しい場合、目標荷物であると判定する。さらに、当該目標荷物の姿勢情報を検出し、当該目標荷物の姿勢情報が「搬送装置に収容可能であり、他の荷物およびラックとぶつからない」のいずれか１つの所定条件を満たさない場合、連続撮影回数が所定閾値に達したときに、対応プログラムを起動する。本実施例において所定閾値は限定しないが、例えば５回でありうる。

例えば、第２多次元画像情報に基づいて目標位置に荷物の点群情報が存在することを特定した場合、荷物、例えば第２の荷物が存在すると判定し、さらに当該第２の荷物が目標荷物であるか否かを判定する。例えば、当該第２の荷物の、幅を含みうる寸法が当該目標荷物の寸法と合致しない場合、即ち、第２の荷物の寸法が目標荷物の寸法と等しくない場合、判定結果は目標荷物でなく、連続撮影回数が所定閾値に達したとき、対応プログラムを起動する。本実施例において所定回数閾値は限定しないが、例えば５回でありうる。

図６に示す実施例に結び付け、判定結果に基づいて撮影モジュールの第２撮影スキームを決定するステップは、さらに以下の方式で実現されうる。具体的には、本願実施例で提供する撮影モジュールを決定するフローチャート４である図８に示すように、搬送ロボットが荷物収納指令を取得した後、実際の判定結果に基づいて、撮影モジュールの異なる撮影スキームを決定してもよい。

図９は本願実施例で提供する荷物の取り出しまたは収納の撮影システムの構造概略図である。図９に示すように、本実施例における荷物の取り出しまたは収納の撮影システム４０は、プロセッサ４１とメモリ４２とを含みうる。

メモリ４２は、コンピュータプログラム（上記の荷物の取り出しまたは収納の撮影方法を実現するアプリケーションプログラム、機能モジュール等）や、コンピュータ指令等を記憶するために用いられる。

本実施例のサーバは、図３、図６に示す方法における技術案を実行することができる。具体的実現プロセスと技術的原理は、図３、図６に示す方法における関連説明を参照されたい。ここでは重複する説明を省略する。

Claims

搬送ロボットに適用される荷物出し入れの撮影方法であって、前記搬送ロボットには荷物の出し入れのための搬送装置と、撮影モジュールとが設置され、前記方法は、
ラック深度方向において１つ以上の保管位置が配置された目標ラックの、目標位置を含む第１多次元画像情報を取得するステップと、
前記第１多次元画像情報に基づいて、目標位置に第１の荷物が存在するか否かを判定するステップと、
判定結果に基づいて、前記撮影モジュールの撮影スキームを決定するステップと、を含み、
前記撮影スキームは、前記目標ラックにおいて前記搬送装置が荷物の出し入れを行う保管位置である目標位置の、目標多次元画像情報を取得するために用いられる、
荷物出し入れの撮影方法。
前記目標位置は、前記目標ラックの中で、ラック深度方向における１番目の保管位置である手前保管位置、あるいはラック深度方向における２番目の保管位置および前記２番目の保管位置より後方の、奥保管位置である、
請求項１に記載の荷物出し入れの撮影方法。
前記第１多次元画像情報に基づいて、前記目標位置に前記第１の荷物が存在すると判定した場合、荷物の取り出しを行う、
請求項１または２に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、前記第１多次元画像情報に基づいて、前記目標位置に前記第１の荷物が存在することを特定し、かつ前記第１の荷物が目標荷物であると判定した場合、荷物の取り出しを行うことを含む、
請求項１または２に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、
前記第１多次元画像情報に基づいて前記目標位置に前記第１の荷物が存在することを特定した場合、前記第１の荷物が目標荷物であるか否かを判定することと、
判定結果がＹｅｓである場合、前記第１多次元画像情報に基づいて前記目標荷物の姿勢情報を特定し、前記姿勢情報が所定条件に合致している場合、荷物の取り出しを行うことと、を含む、
請求項１または２に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、
前記第１多次元画像情報に基づいて前記第１位置に前記第１の荷物が存在することを特定した場合、前記第１の荷物が目標荷物であるか否かを判定することと、
判定結果がＹｅｓである場合、前記第１多次元画像情報に基づいて前記目標荷物の姿勢情報を特定し、前記姿勢情報が所定条件に合致していない場合、連続撮影回数が所定閾値に達したときに、対応プログラムを起動することと、を含む、
請求項１または２に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、
前記第１多次元画像情報に基づいて前記第１位置に前記第１の荷物が存在することを特定した場合、前記第１の荷物が目標荷物であるか否かを判定することと、
判定結果がＮｏである場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動することと、を含む、
請求項１または２に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、
前記第１多次元画像情報に基づいて前記第１位置に前記第１の荷物が存在しないことを特定した場合、連続撮影回数が所定閾値に達したときに、対応プログラムを起動することを含む、
請求項１～７のいずれか１項に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、
前記第１多次元画像情報に基づいて前記目標位置に前記第１の荷物が存在しないことを特定した場合、荷物の収納を行うことを含む、
請求項１～７のいずれか１項に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの撮影スキームを決定するステップは、
前記第１多次元画像情報に基づいて前記第１位置に前記第１の荷物が存在することを特定した場合、対応プログラムを起動することを含む、
請求項１または２に記載の荷物出し入れの撮影方法。
前記第１多次元画像情報は第１深度情報を含み、前記第１深度情報によって前記目標位置に前記第１の荷物が存在するか否かを判定する、
請求項１～１０のいずれか１項に記載の荷物出し入れの撮影方法。
前記目標位置は前記奥保管位置であり、前記奥保管位置の前方のいずれか１つの保管位置に第２の荷物が存在することを検出した場合、対応プログラムを起動する、
請求項２に記載の荷物出し入れの撮影方法。
前記第１多次元画像情報は第１深度情報を含み、前記第１深度情報によって、前記目標位置に対応する深度情報と対応するか否かを検出することで、前記第２の荷物が存在するか否かを判定する、
請求項１２に記載の荷物出し入れの撮影方法。
目標ラックの、目標位置を含む第１多次元画像情報を取得するステップは、前記撮影モジュールが前記搬送装置に随従して、伸縮方向において所定距離移動することを含む、
請求項１～１３のいずれか１項に記載の荷物出し入れの撮影方法。
前記搬送装置は目標ラック範囲外で伸縮移動するか、または前記目標ラック範囲内まで伸びて移動する、
請求項１４に記載の荷物出し入れの撮影方法。
前記対応プログラムは、撮影停止と、警告信号の発信と、前記搬送ロボットが所属するサーバへの報告とのうちの少なくとも１つを含む、
請求項６～８のいずれか１項に記載の荷物出し入れの撮影方法。
搬送ロボットに適用される荷物出し入れの撮影方法であって、前記搬送ロボットには荷物の出し入れのための搬送装置と、撮影モジュールとが設置され、前記方法は、
ラック深度方向において目標位置とその前方の第１位置とを含む複数の保管位置が配置された目標ラックの、第１位置の第１多次元画像情報を取得するステップと、
前記第１多次元画像情報に基づいて、前記第１位置に第１の荷物が存在しないと判定し、前記撮影モジュールの第１撮影スキームを決定して第２多次元画像情報を取得するステップと、
前記第２多次元画像情報に基づいて、目標位置に第２の荷物が存在するか否かを判定し、判定結果に基づいて、前記撮影モジュールの第２撮影スキームを決定するステップと、を含み、
前記第２撮影スキームは、前記目標ラックにおいて前記搬送装置が荷物の出し入れを行う保管位置である目標位置の目標画像情報を取得するために用いられる、
荷物出し入れの撮影方法。
前記第１多次元画像情報を検出して、前記第１位置に前記第１の荷物が存在する場合、対応プログラムを起動する、
請求項１７に記載の荷物出し入れの撮影方法。
前記第１多次元画像情報を検出して、前記第１位置に前記第１の荷物が存在する場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動する、
請求項１７に記載の荷物出し入れの撮影方法。
前記撮影モジュールの第１撮影スキームを決定するステップは、
前記第１多次元画像情報に基づいて、前記第１位置に前記第１の荷物が存在しないことを特定した場合、前記第１多次元画像情報における前記目標位置の深度情報に基づいて、制御指令を結び付け、前記撮影モジュールが前記搬送装置に随従して伸縮方向において所定距離移動して、前記第２多次元画像情報を形成することを含む、
請求項１７～１９のいずれか１項に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、
前記第２多次元画像情報に基づいて、前記目標位置に第２の荷物が存在することを特定した場合、荷物の取り出しを行うことを含む、
請求項１７に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、
前記第２多次元画像情報に基づいて、前記目標位置に第２の荷物が存在することを特定し、かつ前記第２の荷物が目標荷物であると判定した場合、荷物の取り出しを行うことを含む、
請求項１７に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、
前記第２多次元画像情報に基づいて、前記目標位置に第２の荷物が存在することを特定し、前記第２の荷物が目標荷物であると特定し、かつ前記目標荷物の姿勢情報が所定条件に合致している場合、荷物の取り出しを行うことを含む、
請求項１７に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、
前記第２多次元画像情報に基づいて前記目標位置に前記第２の荷物が存在することを特定した場合、前記第２の荷物が目標荷物であるか否かを判定することと、
判定結果がＹｅｓである場合、前記第２多次元画像情報に基づいて前記目標荷物の姿勢情報を特定し、前記姿勢情報が所定条件に合致していない場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動することと、を含む、
請求項１７に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、
前記第２多次元画像情報に基づいて前記目標位置に前記第２の荷物が存在することを特定した場合、前記第２の荷物が目標荷物であるか否かを判定することと、
判定結果がＮｏである場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動することと、を含む、
請求項１７～２２のいずれか１項に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、
前記第２多次元画像情報に基づいて前記目標位置に前記第２の荷物が存在しないことを特定した場合、連続撮影回数が所定回数閾値に達したときに、対応プログラムを起動することを含む、
請求項１７～２５のいずれか１項に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、
前記第２多次元画像情報に基づいて、前記目標位置に前記第２の荷物が存在しないことを特定した場合、前記第２多次元画像情報における前記目標位置の深度情報に基づいて、制御指令を結び付け、前記撮影モジュールが前記搬送装置に随従して伸縮方向において所定距離移動することを含む、
請求項１７～２５のいずれか１項に記載の荷物出し入れの撮影方法。
判定結果に基づいて前記撮影モジュールの第２撮影スキームを決定するステップは、
前記第２多次元画像情報に基づいて前記目標位置に前記第２の荷物が存在することを特定した場合、連続撮影回数が所定閾値に達したときに、対応プログラムを起動することを含む、
請求項１７に記載の荷物出し入れの撮影方法。
メモリと、プロセッサと、撮影モジュールとを含み、メモリには前記プロセッサの実行可能な指令が記憶され、
前記プロセッサは、前記実行可能な指令を実行して、前記撮影モジュールを制御することで、請求項１～２８のいずれか１項に記載の撮影方法を実行するように構成されている、
荷物出し入れの撮影システム。
請求項１～２８のいずれか１項に記載の方法に適用され、前記搬送装置の、フォークの爪の先端と、トレイの底部と、フォークの後端とのうちの少なくとも１つの部位に取り付けられる、
撮影モジュール。
２Ｄカメラと、３Ｄカメラと、ズームカメラと、マトリックスカメラとのうちの少なくとも１つを含む、
請求項３０に記載の撮影モジュール。
長焦点レンズを有するカメラと、短焦点レンズを有するカメラとを含み、かつ前記搬送装置のトレイの底部またはフォークの後端に取り付けられる、
請求項３０に記載の撮影モジュール。
前記搬送装置のフォークの爪の先端に取り付けられ、かつ前記搬送装置のフォークの爪に随従して伸縮方向に所定距離移動する、
請求項３０～３２のいずれか１項に記載の撮影モジュール。
ズームカメラを含み、かつ前記搬送装置のトレイの底部またはフォークの後端に取り付けられる、
請求項３０に記載の撮影モジュール。
長焦点レンズを有するカメラと、短焦点レンズを有するカメラと、ズームカメラとのうちの少なくとも１つを含む、
請求項３０に記載の撮影モジュール。
移動シャシーと、搬送装置と、保管ラックと、昇降ユニットと、撮影モジュールと、請求項２９に記載の撮影システムとを含む搬送ロボットであって、
前記保管ラックは前記移動シャシー上に取り付けられ、前記保管ラックには複数の保管トレイが縦方向に沿って配置され、各前記保管トレイは荷物を置くために用いられ、
前記搬送装置は固定ラックといずれか１つの前記保管トレイとの間で荷物を搬送するために用いられ、
前記昇降ユニットは前記搬送装置が縦方向に移動するよう駆動するために用いられて、前記搬送装置を前記保管トレイに対応する高さまたは固定ラックの高さまで昇降させ、
前記搬送装置が前記保管トレイに対応する高さまで昇降したとき、前記搬送装置は、搬送方向に沿って荷物を対応する前記保管トレイ上に移すか、または搬送方向に沿って対応する前記保管トレイ上にある荷物を取り出し、
前記搬送装置が固定ラックに対応する高さまで昇降したとき、前記搬送装置は、搬送方向に沿って荷物を対応する固定ラック上へ移すか、または搬送方向に沿って対応する固定ラック上にある荷物を取り出し、
前記撮影モジュールは多次元画像情報を取得して、荷物の位置を特定するために用いられ、
前記搬送装置は、荷物の取り出し／収納に用いられるフォークを含む、
搬送ロボット。
プロセッサによって実行されるとき請求項１～２８のいずれか１項に記載の荷物出し入れの撮影方法を実現するためのコンピュータ実行指令が記憶された、
コンピュータ読み取り可能な記憶媒体。
プロセッサによって実行されるとき請求項１～２８のいずれか１項に記載の荷物出し入れの撮影方法を実現するコンピュータプログラムを含む、
コンピュータプログラム製品。