JP7112701B1 - 飛行体制御システムおよび荷物管理システム - Google Patents

Abstract

【課題】倉庫内においても高い飛行安定性を有する飛行体制御システムを提供する。【解決手段】本発明の飛行体制御システム１０は、地上を移動する搬送車５０と、地上から空中に浮揚して飛行する飛行体４０を備え、飛行体４０は、地上方向に光を照射し、照射する光量を変更可能に構成された照明部４８を備え、搬送車５０は、照明部４８が照射した光を照射元に向けて反射する反射部５７を備え、飛行体４０は、反射部５７の画像を撮像する撮像部４１を備え、照明部４８が照射する光量を飛行体４０の高度に応じて変更し、撮像部４１が撮像した反射部５７の画像を用いて、飛行体４０が搬送車５０の真上あるいは真上の近傍に位置するように、飛行体４０を飛行制御する制御部を備える。【選択図】図１

Description

本発明は、倉庫内を飛行する飛行体を備えた飛行体制御システムおよびこの飛行体制御システムを用いて倉庫内の荷物を管理する荷物管理システムに関する。

倉庫における荷物を管理する技術として、荷物に付与した識別コードを読み取ることにより、倉庫内の荷物の有無や設置場所を管理する方法が提案されている。最近では、倉庫内を飛行する飛行体（ドローン）を用いて、倉庫内の高いラック上に保管された荷物の情報を取得することにより、倉庫内の荷物の点検や棚卸作業の負荷を低減する技術も提案されている。

例えば、特許文献１、２では、倉庫内の荷物の画像を撮影するカメラが搭載されたドローンと、ドローンとケーブルで接続され倉庫内を移動する移動機とを備えた荷物管理システムが提案されている。移動機との間のケーブルを用いてドローンを駆動するための電源の充電を行うので、ドローンのカメラによる長時間に渡っての画像取得が可能となる。

特開２０１７－２１８３２５号公報 特開２０１９－１６７１７７号公報

ここで、ドローンのカメラで撮影した画像を用いて荷物を管理する場合には、荷物に付与されたバーコード等の識別コードを正確に読み取る必要があるため、識別コードを撮影するドローンに対しては安定したホバリング制御が要求される。ＧＰＳ信号が受信できない倉庫内において、オプティカルフローセンサーを用いてホバリング制御を行うドローンもあるが、夜間の倉庫等のように地上の画像の取得が困難な場合や地上の移動機が大きく移動した場合等には、オプティカルフローセンサーを用いたドローンのホバリング制御が不安定になる場合があり、その結果、識別コードの読み取りが不正確になり、識別コードの読み取りに時間がかかるという問題があった。

本発明は、以上のような問題を解消するためになされたものであり、倉庫内においても高い飛行安定性を有する飛行体制御システムを提供し、その飛行体制御システムを用いた荷物管理システムを提供することを目的とする。

上述したような課題を解決するために、本発明の飛行体制御システムは、地上を移動する搬送車と、地上から空中に浮揚して飛行する飛行体を備え、前記飛行体は、地上方向に光を照射する照明部であって、照射する光量を変更可能に構成された照明部を備え、前記搬送車は、前記照明部が照射した光を反射する反射部であって、照射された光を照射元に向けて反射する反射部を備え、前記飛行体は、前記反射部の画像を撮像する第１の撮像部を備え、前記照明部が照射する光量を前記飛行体の高度に応じて変更し、前記第１の撮像部が撮像した前記反射部の画像を用いて、前記飛行体が前記搬送車の真上あるいは真上の近傍に位置するように、前記飛行体を飛行制御する制御部を備える。

上述したような課題を解決するために、本発明の飛行体制御システムは、地上を移動する搬送車と、地上から空中に浮揚して飛行する飛行体を備え、前記飛行体は、地上方向に光を照射する照明部であって、照射する光量を変更可能に構成された照明部を備え、前記搬送車は、前記照明部が照射した光を反射する反射部であって、照射された光を照射元に向けて反射する反射部を備え、前記飛行体は、前記反射部の画像を撮像する第１の撮像部を備え、前記照明部が照射する光量を所定の範囲内で変更し、前記第１の撮像部が撮像した前記反射部の画像を用いて、前記飛行体が前記搬送車の真上あるいは真上の近傍に位置するように、前記飛行体を飛行制御する制御部を備える。

また、本発明の荷物管理システムは、上記飛行体制御システムを備え、倉庫内に載置された複数の荷物のそれぞれに付与された識別コードと、前記複数の荷物を管理する荷物管理装置とを備え、前記飛行体は、前記識別コードを撮像する第２の撮像部と、前記第２の撮像部で撮像した画像情報、または前記第２の撮像部で撮像した画像から読み取った前記識別コードの情報を前記搬送車に送信する送信部を備え、前記搬送車は、前記飛行体から受信した情報と、当該受信した情報の受信時間情報を関連付けて前記荷物管理装置に送信する送信部を備え、前記荷物管理装置は、前記倉庫内の前記搬送車の位置、及び前記受信時間情報に基づいて、前記倉庫内の前記荷物の位置を管理するように構成されている。

本発明によれば、倉庫内においても高い飛行安定性を有する飛行体制御システムを提供し、その飛行体制御システムを用いた荷物管理システムを提供することが可能となる。

図１は、本発明の実施の形態における飛行体制御システムおよび荷物管理システムの構成の一例である。 図２は、本発明の実施の形態における飛行体制御システムを構成する飛行体及び搬送車の機能ブロックの一例である。 図３は、本発明の実施の形態における飛行体の移動を説明するための図である。 図４は、本発明の実施の形態における搬送車の移動を説明するための図である。 図５は、本発明の実施の形態における荷物管理システムの動作シーケンスの一例である。 図６は、本発明の実施の形態における荷物管理データの一例である。 図７は、本発明の実施の形態における飛行体制御システムおよび荷物管理システムの構成の他の例である。

以下、本発明の実施の形態について図面を参照して説明する。尚、本発明は、様々な実施の形態で実施することが可能であり、以下に説明する発明の実施の形態に限定されるものではない。

＜飛行体制御システム、荷物管理システムの構成＞
図１は、本発明の実施の形態における飛行体制御システムおよび荷物管理システムの構成の一例である。図１の飛行体制御システム１０は、地上を移動する搬送車５０と地上から空中に浮揚して飛行する飛行体４０とから構成されている。荷物管理システム２０は、飛行体制御システム１０で取得した情報を用いて、倉庫１内の多段ラック３に複数段積載されている荷物４を管理するように構成されている。

荷物４には、それぞれ荷物を識別するための固有の識別コード５が付与されており、飛行体４０が搭載するカメラ部４１（第１の撮像部）により撮像した画像から読み取った識別コード５により各荷物４が識別できるように構成されている。荷物管理システム２０では、倉庫１内を飛行する飛行体４０に搭載されたカメラ部４１により撮像した画像から読み取った識別コード５を用いて、倉庫１内の荷物４の有無や設置位置の管理を行う。

搬送車５０は、ターゲット２に向かって倉庫１内を移動し、飛行体４０は、搬送車５０の上をホバリングしながら倉庫１内を飛行する。飛行体４０は、照明部４８とカメラ部４１を備えており、照明部４８から地上方向に向けて光を照射し、搬送車５０に備えられたレトロリフレクタ５７（反射部）で反射された光を用いてオプティカルフローを用いたホバリング制御を行う。搬送車５０に備えられたレトロリフレクタ５７は、照射された光を所定の反射率で照射元に向けて反射する反射部である。

飛行体４０は、搬送車５０の真上あるいは真上の近傍に位置するように飛行体４０の位置及び姿勢を自律制御し、搬送車５０に追随しながら倉庫１内を移動する。本実施の形態では、飛行体４０は、レトロリフレクタ５７で反射された画像を用いて、飛行体４０の位置及び姿勢を自律制御するので、夜間の倉庫等のように地上の画像の取得が困難な場合や地上の移動機が大きく移動した場合においても、オプティカルフローを用いて飛行体４０の安定したホバリング制御を行うことができる。

荷物管理システム２０は、倉庫１内を飛行する飛行体４０に搭載されたカメラ部４１により撮像した画像から読み取った識別コード５の情報により、倉庫１内の荷物４の有無や設置位置を管理する。倉庫１内の荷物４の有無は、識別コード５を把握することに管理することができ、荷物４の位置は、搬送車５０の倉庫１内における位置と関連付けることにより管理することができる。

図１の荷物管理システムは、荷物４が多段ラック３に収容されている多段ラック倉庫を対象としているが、これに限定されず、本発明は、荷物４が複数段積載されている平置き倉庫等の他の形態の倉庫に対しても適用することができる。

＜飛行体、搬送車の構成＞
図２は、本発明の実施の形態における飛行体制御システムを構成する飛行体及び搬送車の機能ブロックの一例である。

搬送車５０は、倉庫１内を自走するための走行機能を備え、ターゲット２の画像情報を取得するためのカメラ部５１（第２の撮像部）、駆動部５３の制御や情報の送受信等の処理を行うための中央処理部５２、倉庫１内を走行するための駆動部５３、飛行体４０及び荷物管理装置６０と信号を送受信するための無線部５４、各種情報等を保存するためのメモリ５５、各部を動作させるための電池５６、飛行体４０の照明部４８から照射された照射光を照明部４８の方向に反射するためのレトロリフレクタ５７を備える。搬送車５０は、搭載されたカメラ部５１により取得したターゲット２の画像情報に基づいて倉庫１内の所定の経路を自走することができる。

飛行体４０は、荷物４の識別コードの画像情報を取得すると共に、レトロリフレクタ５７で反射された画像を取得するためのカメラ部４１、画像情報からの識別コード５の読み取りや識別コード５の送信等の処理を行うための中央処理部４２、プロペラ４７を駆動制御して飛行体４０を飛行制御するための制御部４３、撮像した画像情報または撮像した画像から読み取った識別コード５の情報を送信する送信部として機能する無線部４４、各種情報等を保存するためのメモリ４５、各部を動作させるための電池４６、飛行体４０を飛行させるためのプロペラ４７、及び地上方向に向けた照明部４８を備える。照明部４８は、照射する光量を変更可能に構成されており、飛行体４０の高度等に応じて、光量を変更（増加／減少）させることができる。

飛行体４０の制御部４３によるプロペラ４７の駆動制御は、レトロリフレクタ５７で反射された画像を用いて、オプティカルフローにより飛行体４０の位置及び姿勢を自律制御する。オプティカルフローにおいて、レトロリフレクタ５７で反射された画像を用いることで、夜間の倉庫等のように地上の画像の取得が困難な場合や地上の移動機が大きく移動した場合においても、オプティカルフローを用いて飛行体４０の安定したホバリング制御を行うことができる。

飛行体４０の搬送車５０に対する相対的な位置は、カメラ部４１で取得した画像におけるレトロリフレクタ５７の位置により制御することができ、飛行体４０の高さはレトロリフレクタ５７の画像の大きさにより制御することができる。飛行体４０の高度が高い場合には、レトロリフレクタ５７の画像の特徴量情報が不足することにより、レトロリフレクタ５７の画像の認識精度が低下し、オプティカルフローの性能が低下する可能性がある。その場合には、照明部４８の光量を増加させることで、オプティカルフローの性能が低下を防止することができる。

ここで、飛行体４０の高度が高く、照明部４８の光量を増加しても、レトロリフレクタ５７の画像の認識精度が向上しない場合には、カメラ部４１の露出を増大させることで、レトロリフレクタ５７の画像の認識精度を向上させるようにしてもよい。また、照明部４８の光量の制御は、飛行体４０の高度に応じてフィードバック制御を行ってもよいが、照明部４８の光量を所定の範囲内において自動的に変化させるオープン制御を行ってもよい。照明部４８の光量のオープン制御を行った場合には、光量の大きさによっては、レトロリフレクタ５７の画像の認識精度が低い場合もあるので、レトロリフレクタ５７の画像のうち認識精度の高い画像を用いて、飛行体４０のオプティカルフロー制御を行えばよい。

＜飛行体のホバリング制御＞
図３は、本発明の実施の形態における飛行体の移動を説明するための図である。図３に示すように、飛行体４０は、地上に向けて照射光を照射し、レトロリフレクタ５７で反射された照射光の画像を用いて、オプティカルフローにより飛行体４０の位置及び姿勢を自律制御し、搬送車５０の上をホバリングしながら、搬送車５０の移動に追随して倉庫１内を移動する。

図３の（１）の段階では、搬送車５０は静止しており、飛行体４０は、搬送車５０の上をホバリングするように制御される。飛行体４０は、地上に向けて照射光を照射し、レトロリフレクタ５７で反射された照射光の画像の位置が、カメラ部４１の画像の中心部の近傍に位置するように制御される。

図３の（２）の段階では、搬送車５０はターゲット２に向けて移動し、搬送車５０の移動距離に応じて、飛行体４０の位置が移動前と比べて搬送車５０の上空からスライドするので、飛行体４０は、搬送車５０の真上あるいは真上の近傍に位置するように、飛行体４０の位置を自律制御する。飛行体４０の搬送車５０に対する相対的な位置は、カメラ部４１で取得した画像におけるレトロリフレクタ５７の位置により制御することができ、飛行体４０の高さはレトロリフレクタ５７の画像の大きさにより制御することができる。

具体的には、レトロリフレクタ５７の画像の位置が、画像の中心部からスライドしたので、レトロリフレクタ５７で反射された照射光の画像の位置が、カメラ部４１の画像の中心部に位置するように、レトロリフレクタ５７の画像の位置をスライドさせるように飛行体４０を飛行制御することで、飛行体４０を搬送車５０の真上あるいは真上の近傍に移動させることができる。

図３の（３）の段階は、（２）における飛行体４０のオプティカルフローによる自律制御により、レトロリフレクタ５７の画像がカメラ部４１の画像の中心部の近傍に位置させるように飛行体４０を制御することができた状態である。（３）では、（１）と同様にして、飛行体４０は、搬送車５０の上をホバリングするように制御される。

本実施の形態では、基準となるカメラ部４１の画像におけるレトロリフレクタ５７の位置を、画像の中心部の場合を例示したが、基準位置は画像の中心部に限定されるものではなく、画像における任意の所定の位置を基準位置として適宜設定することができる。また、レトロリフレクタ５７の数や配置についても上述した形態に限定されるものではない。例えば、様々な搬送車５０の形態に応じて、レトロリフレクタ５７の数や配置位置を変えて、そのレトロリフレクタ５７の形態に応じた飛行体４０の制御アルゴリズムを採用することができる。

本実施の形態では、搬送車５０を倉庫１内の所定の移動経路に沿って移動させて、飛行体４０を搬送車５０の上空をホバリングするように制御することで、飛行体４０を搬送車５０に追随させて移動させることができる。飛行体４０のホバリング制御を、飛行体４０の照明部が照射した光を反射するレトロリフレクタ５７の画像を用いたオプティカルフロー制御を行うことで、夜間の倉庫等のように地上の画像の取得が困難な場合や地上の移動機が大きく移動した場合においても、オプティカルフローを用いて飛行体４０の安定したホバリング制御を行うことができる。

本実施の形態によれば、識別コード５を読み取る飛行体４０のホバリング制御を安定させることで、飛行体４０のカメラ部４１で撮像した画像を用いた識別コード５の読み取りを安全かつ確実に行うことができ、このような飛行体４０で識別コード５の読み取りを行うことで、倉庫１内の荷物の管理を安全かつ確実に行うことができる荷物管理システムを提供することができる。

＜倉庫内における搬送車の移動＞
図４は、本発明の実施の形態における搬送車の移動を説明するための図である。図４では、出発点において静止した状態からターゲット２に向けて移動し、ターゲット２に到着するまでの搬送車５０の移動動作を説明する。尚、図４では、搬送車５０に追随して飛行する飛行体４０の飛行制御の説明については省略する。

図４の（１）の段階では、カメラ部５１により周囲の画像を取得して、取得された画像を用いてターゲット２を探索する。搬送車５０は、探索の結果、補足されたターゲット２の画像の方向に向けて移動を開始する。

図４の（２）の段階では、ターゲット２の画像を捕捉できたので、搬送車５０は、ターゲット２の画像の大きさがより大きくなる方向に向けて移動する。搬送車５０がターゲット２に接近するにつれて、ターゲット２の画像が大きくなるので、搬送車５０は、ターゲット２に向けて移動していることを確認することができる。

図４の（３）の段階では、ターゲット２の大きさが所定の大きさを超えたので、搬送車５０は、ターゲット２の付近に到達したと判断し移動を停止する。

図４では、円形のターゲット２を用いた場合を説明したが、ターゲット２としては、他の形のものを用いてもよく、バーコードや照明等の他の形態のターゲットを用いてもよい。また、搬送車５０を移動させる方法として他の方法を用いることもできる。例えば、倉庫１の床に配置された線の画像を取得し、その画像に沿って搬送車５０を移動させてもよい。

＜荷物管理システムの動作シーケンス＞
図５を用いて、荷物管理システムにおける動作シーケンスを説明する。図５は、本発明の実施の形態における荷物管理システムの動作シーケンスの一例である。

識別コード５が付与された荷物４が倉庫１内に搬入され、所定の位置に載置されると、飛行体４０は、搭載されたカメラ部４１により、識別コード５を含む荷物４の画像を取得し、取得した画像情報から識別コード５を読み取り、読み取ったコード情報を搬送車５０に送信する。飛行体４０は、倉庫１内を所定の移動経路に沿って飛行しながら、コード情報を送信する。

搬送車５０は、識別コード５の情報を受信すると、識別コード５のコード情報とともに、コード情報の受信時間情報を保存する。ここで、飛行体４０が、取得した画像情報を搬送車５０に送信し、搬送車５０において、取得した画像情報から識別コード５の情報を読み取るようにしてもよい。

搬送車５０は、飛行体４０からコード信号や画像情報を受信しながら、コード情報等の受信時間情報を収集し、移動終了時に、コード情報や画像情報及びそれらの受信時間情報を関連付けて、荷物管理装置６０に送信する。

荷物管理装置６０には、荷物４と対応する識別コード５のコード情報が予め登録されており、搬送車５０から受信した情報を用いて、荷物４毎に、コード情報、及びコード情報の受信時間情報を管理する荷物管理データが構成される。

ここで、搬送車５０を、所定の時間における倉庫１内の位置が特定できるように倉庫１内の予め定めた移動経路に沿って移動させ、搬送車５０におけるコード信号の受信時間情報に基づいて、その受信時間における搬送車５０の倉庫１内の位置を特定し、その特定された搬送車５０の位置に基づいて荷物４の倉庫１内における位置を特定することができる。

飛行体４０が搬送車５０の上空で安定的にホバリングしている際に、識別コード５の画像情報を取得するようにすれば、より正確な荷物４の倉庫１内における位置を特定することが可能となる。

＜荷物管理データ＞
図６は、本発明の実施の形態における荷物管理データの一例である。この荷物管理データは、荷物管理装置６０に保存されている。

荷物管理装置６０では、搬送車５０から受信するコード情報に基づき、識別コード５が付与された荷物４の有無と倉庫１内における位置を管理する。この荷物管理データでは、荷物毎に、荷物情報とコード情報、及びコード情報の受信時間情報を管理している。これらの情報に加えて倉庫１内における荷物４の位置を示す情報を登録するようにしてもよい。

＜他の実施の形態＞
図７は、本発明の実施の形態における飛行体制御システムおよび荷物管理システムの構成の他の例である。図７の構成では、図１の構成と比較して、搬送車５０が複数のレトロリフレクタ５７を備えており、飛行体４０は、カメラ部４１で複数のレトロリフレクタ５７の画像を取得し、この画像を用いてオプティカルフローによる自律的なホバリング制御を行うものである。

このように、本実施の形態によれば、夜間の倉庫等のように地上の画像の取得が困難な場合や地上の移動機が大きく移動した場合においても、オプティカルフローを用いて飛行体４０の安定したホバリング制御を行うことができ、この高い飛行安定性を有する飛行体制御システムを用いて荷物の状態を管理することで、安全かつ確実に倉庫内の荷物の有無や位置を管理する荷物管理システムを提供することが可能となる。

１…倉庫、２…ターゲット、３…多段ラック、４…荷物、５…識別コード、１０…飛行体制御システム、２０…荷物管理システム、４０…飛行体、４１…カメラ部（第１の撮像部）、４２…中央処理部、４３…制御部、４４…無線部、４５…メモリ、４６…電池、４７…プロペラ、４８…照明部、５０…搬送車、５１…カメラ部（第２の撮像部）、５２…中央処理部、５３…駆動部、５４…無線部、５５…メモリ、５６…電池、５７…レトロリフレクタ（反射部）、６０…荷物管理装置。

Claims (4)

1. 地上を移動する搬送車と、地上から空中に浮揚して飛行する飛行体を備え、
   前記飛行体は、地上方向に光を照射する照明部であって、照射する光量を変更可能に構成された照明部を備え、
   前記搬送車は、前記照明部が照射した光を反射する反射部であって、照射された光を照射元に向けて反射する反射部を備え、
   前記飛行体は、前記反射部の画像を撮像する第１の撮像部を備え、前記照明部が照射する光量を前記飛行体の高度に応じて変更し、前記第１の撮像部が撮像した前記反射部の画像を用いて、前記飛行体が前記搬送車の真上あるいは真上の近傍に位置するように、前記飛行体を飛行制御する制御部を備える
   飛行体制御システム。
2. 地上を移動する搬送車と、地上から空中に浮揚して飛行する飛行体を備え、
   前記飛行体は、地上方向に光を照射する照明部であって、照射する光量を変更可能に構成された照明部を備え、
   前記搬送車は、前記照明部が照射した光を反射する反射部であって、照射された光を照射元に向けて反射する反射部を備え、
   前記飛行体は、前記反射部の画像を撮像する第１の撮像部を備え、前記照明部が照射する光量を所定の範囲内で変更し、前記第１の撮像部が撮像した前記反射部の画像を用いて、前記飛行体が前記搬送車の真上あるいは真上の近傍に位置するように、前記飛行体を飛行制御する制御部を備える
   飛行体制御システム。
3. 前記制御部は、前記反射部の画像を認識できるように、前記第１の撮像部の露出を制御する
   請求項１または２に記載の飛行体制御システム。
4. 請求項１～３の何れか１項に記載の飛行体制御システムを備えた荷物管理システムであって、
   倉庫内に載置された複数の荷物のそれぞれに付与された識別コードと、前記複数の荷物を管理する荷物管理装置とを備え、
   前記飛行体は、
   前記識別コードを撮像する第２の撮像部と、前記第２の撮像部で撮像した画像情報、または前記第２の撮像部で撮像した画像から読み取った前記識別コードの情報を前記搬送車に送信する送信部を備え、
   前記搬送車は、
   前記飛行体から受信した情報と、当該受信した情報の受信時間情報を関連付けて前記荷物管理装置に送信する送信部を備え、
   前記荷物管理装置は、
   前記倉庫内の前記搬送車の位置、及び前記受信時間情報に基づいて、前記倉庫内の前記荷物の位置を管理するように構成されている
   荷物管理システム。

Images