JP6889046B2 - 飛行体、集荷支援装置、集荷制御方法、集荷支援方法、プログラム、及び記録媒体 - Google Patents

飛行体、集荷支援装置、集荷制御方法、集荷支援方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP6889046B2
JP6889046B2 JP2017126715A JP2017126715A JP6889046B2 JP 6889046 B2 JP6889046 B2 JP 6889046B2 JP 2017126715 A JP2017126715 A JP 2017126715A JP 2017126715 A JP2017126715 A JP 2017126715A JP 6889046 B2 JP6889046 B2 JP 6889046B2
Authority
JP
Japan
Prior art keywords
image
collection
pickup
package
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017126715A
Other languages
English (en)
Other versions
JP2019006356A (ja
Inventor
磊 顧
磊 顧
斌 陳
斌 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2017126715A priority Critical patent/JP6889046B2/ja
Publication of JP2019006356A publication Critical patent/JP2019006356A/ja
Application granted granted Critical
Publication of JP6889046B2 publication Critical patent/JP6889046B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本開示は、荷物を集荷する飛行体、集荷制御方法、プログラム及び記録媒体に関する。本開示は、荷物の集荷を支援する集荷支援装置、集荷支援方法、プログラム、及び記録媒体に関する。
従来、配送物を配送可能な飛行配送機と、飛行配送機を遠隔操作可能な管理装置と、を備える飛行配送システムが知られている(特許文献1参照)。配送物の配送先における配送場所には、配送場所を示す目印が表示される。飛行配送機は、管理装置からの指示に応じて飛行状態を制御する飛行状態制御部と、目印を撮像可能な撮像部と、撮像部によって撮像された撮像画像において目印を認識可能な認識部と、を備える。飛行状態制御部は、認識部によって撮像画像から目印が認識されると、撮像された目印を基準にして配送可能な位置まで移動するように飛行配送機の飛行状態を制御する。
特開2017−58937号公報
特許文献1に記載された飛行配送システムでは、荷物を送り届けること(配送)を想定しているが、荷物を収集すること(集荷)は想定していない。荷物の配送では、配送業者側で実際の荷物が確認された状態で配送されるので、荷物が誤配送される可能性は少ないと考えられる。一方、荷物の集荷では、集荷業者側で実際の荷物が確認されていない状態で集荷する必要がある。そのため、荷物の集荷では誤集荷が抑制されるように工夫されることが好ましい。
一態様において、飛行体は、荷物を集荷する飛行体であって、荷物の集荷に関する処理を実行する処理部と、画像を撮像する撮像部と、を有し、処理部は、荷物の集荷領域を示す情報を取得し、集荷領域へ飛行体を飛行させ、撮像部に集荷領域を空撮させて画像を取得し、画像において集荷対象の荷物を識別するための標識を検出し、画像における標識の位置に基づいて、荷物の集荷位置を取得し、集荷位置へ飛行体を飛行させる。
処理部は、撮像部に集荷領域を同一の高度で順次空撮させて、画像を取得してよい。
処理部は、撮像部に集荷領域を異なる高度で順次空撮させて、画像を取得してよい。
処理部は、第1の高度で、撮像部に集荷領域を空撮させて、第1の画像を取得し、第1の画像において標識の候補を検出し、第1の画像において標識の候補が検出されなかった場合又は複数の標識の候補が検出された場合、第1の高度よりも低い第2の高度で、撮像部に集荷領域を空撮させて、第2の画像を取得し、第2の画像において標識を検出してよい。
処理部は、第1の画像において複数の標識の候補が検出された場合、第2の高度で、集荷領域における標識の候補が検出された部分領域を撮像部に空撮させて、第2の画像を取得し、第2の画像において標識を検出してよい。
処理部は、画像において複数の標識を検出し、画像における複数の標識の位置に基づいて、複数の集荷位置を取得し、複数の集荷位置へ飛行体を飛行させてよい。
処理部は、複数の集荷位置を通る集荷経路を生成し、集荷経路に従って飛行体を飛行させてよい。
処理部は、集荷位置が集荷に適しているか否かを判定し、集荷位置が集荷に適していないと判定された場合、集荷位置を変更し、変更された集荷位置へ飛行体を飛行させてよい。
処理部は、集荷に適していないと判定された場合、荷物の移動を促す情報を通知してよい。
処理部は、集荷位置において荷物を集荷させ、集荷された荷物を運搬させてよい。
飛行体は、荷物を保持するための荷物保持部を備えてよい。処理部は、荷物保持部を動作させて、荷物保持部に荷物を保持させてよい。
処理部は、荷物が集荷に適しているか否かを判定し、荷物が集荷に適していると判定された場合、荷物を集荷させてよい。
処理部は、荷物が集荷に適していないと判定された場合、荷物が集荷に適していない旨を通知してよい。
一態様において、飛行体による荷物の集荷を支援する集荷支援装置であって、荷物の集荷を支援するための処理を実行する処理部を有し、処理部は、荷物の集荷領域を示す情報を取得し、集荷領域の画像を取得し、画像において集荷対象の荷物を識別するための標識を検出し、画像における標識の位置に基づいて、荷物の集荷位置を取得し、集荷位置の情報を飛行体へ送信する。
処理部は、画像において複数の標識を検出し、画像における複数の標識の位置に基づいて、複数の集荷位置を取得し、複数の集荷位置を通る集荷経路を生成し、集荷経路の情報を飛行体へ送信してよい。
一態様において、集荷制御方法は、荷物を集荷する飛行体における集荷制御方法であって、荷物の集荷領域を示す情報を取得するステップと、集荷領域へ飛行体を飛行させるステップと、飛行体が備える撮像部に集荷領域を空撮させて画像を取得するステップと、画像において集荷対象の荷物を識別するための標識を検出するステップと、画像における標識の位置に基づいて、荷物の集荷位置を取得するステップと、集荷位置へ飛行体を飛行させるステップと、を有する。
画像を取得するステップは、撮像部に集荷領域を同一の高度で順次空撮させて、画像を取得するステップ、を含んでよい。
画像を取得するステップは、撮像部に集荷領域を異なる高度で順次空撮させて、画像を取得するステップ、を含んでよい。
画像を取得するステップは、第1の高度で、撮像部に集荷領域を空撮させて、第1の画像を取得するステップ、を含んでよい。標識を検出するステップは、第1の画像において標識を検出するステップ、を含んでよい。画像を取得するステップは、第1の画像において標識の候補が検出されなかった場合又は複数の標識の候補が検出された場合、第1の高度よりも低い第2の高度で、撮像部に集荷領域を空撮させて、第2の画像を取得するステップ、を含んでよい。標識を検出するステップは、第2の画像において標識を検出するステップ、を含んでよい。
画像を取得するステップは、第1の画像において複数の標識が検出された場合、第2の高度で、集荷領域における標識の候補が検出された部分領域を撮像部に空撮させて、第2の画像を取得するステップ、を含んでよい。標識を検出するステップは、第2の画像において標識を検出するステップ、を含んでよい。
標識を検出するステップは、画像において複数の標識を検出するステップ、を含んでよい。集荷位置を取得するステップは、画像における複数の標識の位置に基づいて、複数の集荷位置を取得するステップ、を含んでよい。集荷位置へ飛行体を飛行させるステップは、複数の集荷位置へ飛行体を飛行させるステップ、を含んでよい。
集荷制御方法は、複数の集荷位置を通る集荷経路を生成するステップ、を更に含んでよい。集荷位置へ飛行体を飛行させるステップは、集荷経路に従って飛行体を飛行させるステップ、を含んでよい。
集荷制御方法は、集荷位置が集荷に適しているか否かを判定するステップと、集荷位置が集荷に適していないと判定された場合、集荷位置を変更するステップと、更に含んでよい。集荷位置へ飛行体を飛行させるステップは、変更された集荷位置へ飛行体を飛行させるステップ、を含んでよい。
集荷制御方法は、集荷に適していないと判定された場合、荷物の移動を促す情報を通知するステップ、を更に含んでよい。
集荷制御方法は、集荷位置において荷物を集荷させるステップと、集荷された荷物を運搬させるステップと、を更に含んでよい。
荷物を集荷させるステップは、飛行体が備える荷物保持部を動作させて、荷物保持部に荷物を保持させるステップ、を含んでよい。
集荷制御方法は、荷物が集荷に適しているか否かを判定するステップ、を更に含んでよい。荷物を集荷させるステップは、荷物が集荷に適していると判定された場合、荷物を集荷させるステップ、を含んでよい。
集荷制御方法は、荷物が集荷に適していないと判定された場合、荷物が集荷に適していない旨を通知するステップ、を更に含んでよい。
一態様において、集荷支援方法は、飛行体による荷物の集荷を支援する集荷支援装置における集荷支援方法であって、荷物の集荷領域を示す情報を取得するステップと、集荷領域の画像を取得するステップと、画像において集荷対象の荷物を識別するための標識を検出するステップと、画像における標識の位置に基づいて、荷物の集荷位置を取得するステップと、集荷位置の情報を飛行体へ送信するステップと、を有する。
標識を検出するステップは、画像において複数の標識を検出するステップ、を含んでよい。集荷位置を取得するステップは、画像における複数の標識の位置に基づいて、複数の集荷位置を取得するステップ、を含んでよい。集荷支援方法は、複数の集荷位置を通る集荷経路を生成するステップと、集荷経路の情報を飛行体へ送信するステップと、を更に含んでよい。
一態様において、プログラムは、荷物を集荷する飛行体に、荷物の集荷領域を示す情報を取得するステップと、集荷領域へ飛行体を飛行させるステップと、飛行体が備える撮像部に集荷領域を空撮させて画像を取得するステップと、画像において集荷対象の荷物を識別するための標識を検出するステップと、画像における標識の位置に基づいて、荷物の集荷位置を取得するステップと、集荷位置へ飛行体を飛行させるステップと、を実行させるためのプログラムである。
一態様において、記録媒体は、荷物を集荷する飛行体に、荷物の集荷領域を示す情報を取得するステップと、集荷領域へ飛行体を飛行させるステップと、飛行体が備える撮像部に集荷領域を空撮させて画像を取得するステップと、画像において集荷対象の荷物を識別するための標識を検出するステップと、画像における標識の位置に基づいて、荷物の集荷位置を取得するステップと、集荷位置へ飛行体を飛行させるステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
第1の実施形態における集荷システムの第1構成例を示す模式図 第1の実施形態における集荷システムの第2構成例を示す模式図 第1の実施形態における無人航空機のハードウェア構成の一例を示すブロック図 第1の実施形態における端末のハードウェア構成の一例を示すブロック図 荷物の保持形態の一例を示す斜視図 スキャン方式に従った標識探索処理の一例を説明するための図 ピラミッド方式に従った標識探索処理の一例を説明するための図 ピラミッド方式に従った標識探索処理の一例を説明するための図(図6の続き) 第1の実施形態における無人航空機による第1動作例を示すフローチャート 第1の実施形態における無人航空機による第1動作例の標識探索処理の一例を示すフローチャート 第1の実施形態における無人航空機による第2動作例を示すフローチャート 第1の実施形態における無人航空機による第2動作例の標識探索処理の一例を示すフローチャート 第2の実施形態における集荷システムの構成例を示す模式図 第2の実施形態における無人航空機のハードウェア構成例を示すブロック図 第2の実施形態における画像サーバのハードウェア構成例を示すブロック図 第2の実施形態における集荷システムによる第1動作例を示すシーケンス図 第2の実施形態における集荷システムによる第2動作例を示すシーケンス図
以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
以下の実施形態では、飛行体として、無人航空機(UAV:Unmanned Aerial Vehicle)を例示する。飛行体は、空中を移動する航空機を含む。本明細書に添付する図面では、無人航空機を「UAV」と表記する。また、集荷支援装置として、画像サーバを例示する。なお、集荷支援装置は、画像サーバ以外の装置でもよく、例えば端末、PC(Personal Computer)、又はその他の装置でもよい。集荷制御方法は、飛行体における動作が規定されたものである。集荷支援方法は、集荷支援装置における動作が規定されたものである。記録媒体は、プログラム(例えば、飛行体に各種の処理を実行させるためのプログラム、集荷支援装置に各種の処理を実行させるためのプログラム)が記録されたものである。
(第1の実施形態)
図1は、第1の実施形態における集荷システム10の第1構成例を示す模式図である。集荷システム10は、無人航空機100、端末80、及び集荷サーバ40を備える。無人航空機100、及び端末80は、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。図1Aでは、端末80が携帯端末であることを例示している。
無人航空機100は、設定された飛行経路に従って飛行してよい。無人航空機100は、荷物を集荷する。無人航空機100は、荷物の集荷先を示す概略の領域へ飛行し、この領域の少なくとも一部を撮像する。無人航空機100は、撮像された画像において荷物を識別するための標識(荷物標識)を検出(認識)し、標識に基づいて、集荷対象の荷物の集荷位置を判定する。無人航空機100は、荷物が集荷対象である場合、集荷位置へ飛行し、集荷位置において荷物を集荷し、集荷された荷物を例えば倉庫や配送先に運搬する。
端末80は、荷物の集荷に関する情報(集荷情報)や集荷される荷物の情報(荷物情報)を入力したり提示(例えば、表示、音声出力)したりしてよい。集荷情報は、例えば、集荷の依頼者、集荷(予定)時刻、集荷領域、集荷位置、の情報が含まれてよい。荷物情報は、例えば、荷物の所有者、色、大きさ、形状、重さ、の情報が含まれてよい。端末80は、無人航空機100を用いた集荷を予定しているユーザに所持され得る。
図1Bは、第1の実施形態における集荷システム10の第2構成例を示す模式図である。図1Bでは、端末80がPCであることを例示している。図1A及び図1Bのいずれであっても、端末80が有する機能は同じでよい。
図2は、無人航空機100のハードウェア構成の一例を示すブロック図である。無人航空機100は、UAV制御部110と、通信インタフェース150と、メモリ160と、ストレージ170と、ジンバル200と、回転翼機構210と、撮像部220と、撮像部230と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270と、超音波センサ280と、レーザー測定器290と、を含む構成である。
UAV制御部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部110は、無人航空機100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
UAV制御部110は、メモリ160に格納されたプログラムに従って無人航空機100の飛行を制御する。例えば、UAV制御部110は、荷物の集荷に関する処理を行ってよい。
UAV制御部110は、無人航空機100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から、無人航空機100が存在する緯度、経度及び高度を示す位置情報を取得してよい。UAV制御部110は、GPS受信機240から無人航空機100が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計270から無人航空機100が存在する高度を示す高度情報をそれぞれ位置情報として取得してよいUAV制御部110は、超音波センサ280による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。
UAV制御部110は、磁気コンパス260から無人航空機100の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機100の機首の向きに対応する方位で示されてよい。
UAV制御部110は、撮像部220が撮像すべき撮像範囲を撮像する時に無人航空機100が存在すべき位置を示す位置情報を取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報をメモリ160から取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報を、通信インタフェース150を介して他の装置から取得してよい。UAV制御部110は、3次元地図データベースを参照して、無人航空機100が存在可能な位置を特定して、その位置を無人航空機100が存在すべき位置を示す位置情報として取得してよい。
UAV制御部110は、撮像部220及び撮像部230のそれぞれの撮像範囲を示す撮像範囲情報を取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像部220及び撮像部230の画角を示す画角情報を撮像部220及び撮像部230から取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像部220及び撮像部230の撮像方向を示す情報を取得してよい。UAV制御部110は、例えば撮像部220の撮像方向を示す情報として、ジンバル200から撮像部220の姿勢の状態を示す姿勢情報を取得してよい。撮像部220の姿勢情報は、ジンバル200のピッチ軸及びヨー軸の基準回転角度からの回転角度を示してよい。
UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人航空機100が存在する位置を示す位置情報を取得してよい。UAV制御部110は、撮像部220及び撮像部230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて、撮像部220が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲情報を生成することで、撮像範囲情報を取得してよい。
UAV制御部110は、撮像部220が撮像すべき撮像範囲を示す撮像情報を取得してよい。UAV制御部110は、メモリ160から撮像部220が撮像すべき撮像情報を取得してよい。UAV制御部110は、通信インタフェース150を介して他の装置から撮像部220が撮像すべき撮像情報を取得してよい。
UAV制御部110は、ジンバル200、回転翼機構210、撮像部220及び撮像部230を制御する。UAV制御部110は、撮像部220の撮像方向又は画角を変更することによって、撮像部220の撮像範囲を制御する。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像部220の撮像範囲を制御する。
撮像範囲とは、撮像部220又は撮像部230により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、撮像部220又は撮像部230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて特定されてよい。撮像部220及び撮像部230の撮像方向は、撮像部220及び撮像部230の撮像レンズが設けられた正面が向く方位と俯角とから定義されてよい。撮像部220の撮像方向は、無人航空機100の機首の方位と、ジンバル200に対する撮像部220の姿勢の状態とから特定される方向でよい。撮像部230の撮像方向は、無人航空機100の機首の方位と、撮像部230が設けられた位置とから特定される方向でよい。
UAV制御部110は、複数の撮像部230により撮像された複数の画像を解析することで、無人航空機100の周囲の環境を特定してよい。UAV制御部110は、無人航空機100の周囲の環境に基づいて、例えば障害物を回避して飛行を制御する。
UAV制御部110は、無人航空機100の周囲に存在するオブジェクトの立体形状(3次元形状)を示す立体情報(3次元情報)を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部でよい。立体情報は、例えば、3次元空間データである。UAV制御部110は、複数の撮像部230から得られたそれぞれの画像から、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。UAV制御部110は、メモリ160に格納された3次元地図データベースを参照することにより、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。UAV制御部110は、ネットワーク上に存在するサーバが管理する3次元地図データベースを参照することで、無人航空機100の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。
UAV制御部110は、回転翼機構210を制御することで、無人航空機100の飛行を制御する。つまり、UAV制御部110は、回転翼機構210を制御することにより、無人航空機100の緯度、経度、及び高度を含む位置を制御する。UAV制御部110は、無人航空機100の飛行を制御することにより、撮像部220の撮像範囲を制御してよい。UAV制御部110は、撮像部220が備えるズームレンズを制御することで、撮像部220の画角を制御してよい。UAV制御部110は、撮像部220のデジタルズーム機能を利用して、デジタルズームにより、撮像部220の画角を制御してよい。
撮像部220が無人航空機100に固定され、撮像部220を動かせない場合、UAV制御部110は、特定の日時に特定の位置に無人航空機100を移動させることにより、所望の環境下で所望の撮像範囲を撮像部220に撮像させることができる。あるいは撮像部220がズーム機能を有さず、撮像部220の画角を変更できない場合でも、UAV制御部110は、特定された日時に、特定の位置に無人航空機100を移動させることで、所望の環境下で所望の撮像範囲を撮像部220に撮像させることができる。
通信インタフェース150は、端末80、及び集荷サーバ40と通信する。通信インタフェース150は、任意の無線通信方式により無線通信してよい。通信インタフェース150は、任意の有線通信方式により有線通信してもよい。
メモリ160は、UAV制御部110がジンバル200、回転翼機構210、撮像部220、撮像部230、GPS受信機240、慣性計測装置250、磁気コンパス260、気圧高度計270、超音波センサ280、及びレーザー測定器290を制御するのに必要なプログラム等を格納する。メモリ160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSB(Universal Serial Bus)メモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ160は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SDカード、等の各種ストレージを含んでもよい。メモリ160は、通信インタフェース150を介して取得された各種情報、各種データを保持してよい。メモリ160は無人航空機100から取り外し可能であってもよい。
ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像部220を回転させることで、撮像部220の撮像方向を変更してよい。
ヨー軸、ピッチ軸、及びロール軸は、以下のように定められてよい。例えば、水平方向(地面と平行な方向)にロール軸が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸が定められ、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(z軸参照)が定められる。
回転翼機構210は、複数の回転翼211と、複数の回転翼211を回転させる複数の駆動モータと、を有する。回転翼211は、UAV制御部110により回転を制御されることにより、無人航空機100を飛行させる。回転翼211の数は、例えば8つでもよいし、その他の数でもよい。また、無人航空機100は、回転翼を有さない固定翼機でもよい。
なお、回転翼211の数が多い程、無人航空機100が得る揚力が大きくなる。よって、回転翼211の数が多い程、無人航空機100は多くの荷物、重量が大きな荷物、を運搬可能となる。つまり、回転翼211の数に応じて、積載可能量が決定されてよい。
撮像部220は、所望の撮像範囲に含まれる被写体(例えば、空撮対象となる上空の様子、山や川等の景色、地上の建物)を撮像する撮像用のカメラでよい。撮像部220は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像部220の撮像により得られた画像データは、撮像部220が有するメモリ、又はメモリ160に格納されてよい。
撮像部230は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラでよい。2つの撮像部230が、無人航空機100の機首である正面に設けられてよい。さらに、他の2つの撮像部230が、無人航空機100の底面に設けられてよい。正面側の2つの撮像部230はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像部230もペアとなり、ステレオカメラとして機能してよい。複数の撮像部230により撮像された画像に基づいて、無人航空機100の周囲の3次元空間データ(3次元形状データ)が生成されてよい。なお、無人航空機100が備える撮像部230の数は4つに限定されない。無人航空機100は、少なくとも1つの撮像部230を備えてよい。無人航空機100は、無人航空機100の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像部230を備えてよい。撮像部230で設定できる画角は、撮像部220で設定できる画角より広くてよい。撮像部230は、単焦点レンズ又は魚眼レンズを有してよい。撮像部230は、無人航空機100の周囲を撮像して撮像画像のデータを生成する。撮像部230の画像データは、メモリ160に格納されてよい。
GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人航空機100の位置)を算出する。GPS受信機240は、無人航空機100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
慣性計測装置250は、無人航空機100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置250は、無人航空機100の姿勢として、無人航空機100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出してよい。
磁気コンパス260は、無人航空機100の機首の方位を検出し、検出結果をUAV制御部110に出力する。
気圧高度計270は、無人航空機100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。なお、気圧高度計270以外のセンサにより、無人航空機100が飛行する高度が検出されてもよい。
超音波センサ280は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をUAV制御部110に出力する。検出結果は、無人航空機100から地面までの距離つまり高度を示してよい。検出結果は、無人航空機100から物体(被写体)までの距離を示してよい。
レーザー測定器290は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機100と物体(被写体)との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。
図3は、端末80のハードウェア構成の一例を示すブロック図である。端末80は、端末制御部81、インタフェース部82、操作部83、通信部85、メモリ87、及び表示部88を備えてよい。
端末制御部81は、例えばCPU、MPU又はDSPを用いて構成される。端末制御部81は、端末80の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
端末制御部81は、通信部85を介して、無人航空機100からのデータや情報を取得してよい。端末制御部81は、操作部83を介して入力されたデータや情報(例えば集荷情報、荷物情報)を取得してよい。端末制御部81は、メモリ87に保持されたデータや情報を取得してよい。端末制御部81は、通信部85を介して、集荷サーバ40へ、データや情報(例えば集荷情報、荷物情報)を送信させてよい。端末制御部81は、データや情報(例えば集荷情報、荷物情報)を表示部88に送り、このデータや情報に基づく表示情報を表示部88に表示させてよい。
端末制御部81は、集荷支援アプリケーションを実行してよい。集荷支援アプリケーションは、無人航空機100による荷物の集荷を支援するためのアプリケーションでよい。端末制御部81は、アプリケーションで用いられる各種のデータを生成してよい。
操作部83は、端末80のユーザにより入力されるデータや情報を受け付けて取得する。操作部83は、ボタン、キー、タッチパネル、マイクロホン、等を含んでよい。ここでは、主に、操作部83と表示部88とがタッチパネルにより構成されることを例示する。この場合、操作部83は、タッチ操作、タップ操作、ドラック操作等を受付可能である。操作部83は、集荷を依頼する荷物の集荷情報、荷物情報、集荷を指示するための集荷指示情報を受け付けてよい。操作部83により入力された集荷情報、荷物情報、集荷指示情報、等は、集荷サーバ40へ送信されてよい。
通信部85は、各種の無線通信方式により、無人航空機100や集荷サーバ40との間で無線通信する。この無線通信の無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、又は公衆無線回線を介した通信を含んでよい。通信部85は、任意の有線通信方式により有線通信してもよい。
メモリ87は、例えば端末80の動作を規定するプログラムや設定値のデータが格納されたROMと、端末制御部81の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してよい。メモリ87は、ROM及びRAM以外のメモリが含まれてよい。メモリ87は、端末80の内部に設けられてよい。メモリ87は、端末80から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。メモリ87は、各種ストレージを含んでもよい。
表示部88は、例えばLCD(Liquid Crystal Display)を用いて構成され、端末制御部81から出力された各種の情報やデータを表示する。表示部88は、集荷支援アプリケーションの実行に係る各種データや情報を表示してよい。
次に、集荷サーバ40の構成例について説明する。
集荷サーバ40は、集荷サーバ制御部、無線通信部、メモリ、ストレージを備えてよい。集荷サーバ制御部は、集荷情報、荷物情報、集荷指示情報、等を取得し、集荷に必要な処理(例えば、端末80への標識の情報の送信、無人航空機100への集荷依頼に係る集荷情報、荷物情報の送信)を行う。
次に、無人航空機100のUAV制御部110が有する荷物の集荷に関する機能について説明する。UAV制御部110は、処理部の一例である。以下では、主に撮像部220により空撮されることを例示するが、撮像部230により空撮され、荷物の集荷に係る処理が行われてもよい。
UAV制御部110は、荷物の集荷に関する処理を実行する。UAV制御部110は、荷物の集荷先の領域(集荷領域)を示す情報を取得する。集荷領域は、集荷先の概略地域を示す情報でよい。集荷領域は、例えば、郵便番号やマンション名でよい。集荷領域は、荷物の集荷を依頼する地域の情報でよく、集荷依頼者が所在する地域を示す情報でよい。集荷領域の情報は、例えば、通信インタフェース150が集荷サーバ40から受信し、通信インタフェース150から取得してよい。
UAV制御部110は、無人航空機100の飛行を制御してよい。UAV制御部110は、荷物の集荷領域や集荷位置に向かって飛行するよう飛行制御してよい。UAV制御部110は、集荷領域において任意の位置を通過するよう飛行制御してよい。UAV制御部110は、生成された飛行経路(例えば空撮経路、集荷経路)に沿って無人航空機100の飛行を制御してよい。
UAV制御部110は、撮像部220に画像を空撮させ、空撮画像を取得してよい。UAV制御部110は、集荷領域における任意の位置において、撮像部220を地面方向(鉛直方向)に向けて、撮像部220による空撮画像が地面方向を含む撮像範囲に含むように、画像を空撮させてよい。UAV制御部110は、集荷領域の少なくとも一部が撮像範囲に含まれるように、撮像部220に画像を空撮させてよい。
UAV制御部110は、取得された空撮画像において、荷物を識別するための標識を検出(認識)してよい。この標識は、集荷される荷物や荷物を収納するケースに付加(例えば貼り付け、取り付け)されてよい。荷物を識別するための標識は、荷物の識別情報を示す各種コード(例えば一次元コード(例えばバーコード)、2次元コード(例えばQRコード))、荷物の識別情報を示す文字情報、又は荷物の識別情報を示す数字情報、等でよい。標識は、画像認識により、標識が示す情報(例えば集荷情報、荷物情報)が認識されてよい。標識の認識は、標識を探索するための標識探索処理において行われてよい。標識は、無人航空機100が荷物を見つけるために使用されてよい。標識は、例えば数10cm程の大きさでよい。この場合、例えば数10mの上空から撮像された空撮画像から標識が検出されることで、標識の情報が一意に判別可能である。
UAV制御部110は、無人航空機100が備える照明部を点灯して、撮像部220に画像を空撮させてよい。この場合、無人航空機100は、夜間においても、光量を増量して空撮画像を取得でき、空撮画像から標識を検出し易くできる。このように、無人航空機100は、照明部を備えてもよい。また、光量が少なくても空撮画像を基に認識可能となるように、標識の情報が蛍光によりプリントされ、蛍光でプリントされた標識が荷物等に付されてよい。
UAV制御部110は、検出された標識に基づいて、荷物が集荷対象であるか否かを判定する。UAV制御部110は、例えば検出された標識の情報を読取り、集荷サーバ40に蓄積された集荷対象の荷物に関する情報を取得し、両者が所定基準以上の一致度である場合に、標識に対応する荷物が集荷対象の荷物であると判定してよい。これにより、無人航空機100は、例えば、集荷業者が複数ある場合でも、無人航空機100を用いて集荷を行う集荷業者が集荷対象としている荷物であるか否かを判別できる。
UAV制御部110は、空撮画像における標識の位置に基づいて、集荷位置の情報を取得してよい。空撮画像における撮像対象となった撮像範囲は、緯度、経度を含んで定義されるので、UAV制御部110は、空撮画像における標識の位置を基に、標識が付加された荷物の地理的な位置が算出してよい。
UAV制御部110は、集荷位置又は集荷位置周辺において無人航空機100が着陸するよう制御してよい。UAV制御部110は、無人航空機100が所定の位置(例えば集荷位置、集荷位置周辺の任意の場所(例えば、集荷依頼者の自宅前の道路、近所の公園))に、無人航空機100が着陸可能であるかを判定してよい。つまり、UAV制御部110は、無人航空機100が所定の位置に着陸することが適しているか否かを判定してよい。集荷位置に着陸に適しているか否かは、集荷位置が集荷に適しているか否かの一例である。
例えば、UAV制御部110は、集荷位置に配置された荷物の上面が略平面であり、荷物の上面の面積が所定値以上である場合、荷物の上面への無人航空機100の着陸が適していると判定してよい。荷物の大きさは、1つ以上の空撮画像における荷物の範囲に基づいて算出されてもよいし、集荷サーバ40から取得された集荷情報を基に導出されてもよい。荷物の形状は、1つ以上の空撮画像に基づいて3次元形状データが生成され、この3次元形状データを基に判定されてよい。UAV制御部110は、集荷位置に配置された荷物の上面が平面的でない場合や、荷物の上面の面積が所定値未満である場合には、荷物の上面への無人航空機100の着陸が適していないと判定してよい。この場合、UAV制御部110は、集荷位置周辺の所定位置(例えば荷物の隣のスペース)に、無人航空機100を着陸させてよい。
例えば、UAV制御部110は、集荷位置が住宅(例えば個人住宅、集合住宅)やビルである場合、住宅やビルの形状を判定し、着陸に適しているか否かを判定してよい。住宅やビルの形状は、上記のような3次元形状データを基に判定されてよい。例えば、標識が付された荷物が配置された位置(集荷位置に相当)が、ビルの屋上の端部に近い場合、つまり端部からの距離が所定距離(例えば1m)未満である場合、無人航空機100の着陸に適していないと判定してよい。この場所に荷物を置くと、何らかの原因によりビルから荷物が落下する可能性があるためである。
例えば、UAV制御部110は、空撮画像において、画像認識等により、標識の近傍(例えば標識から所定距離以内)に多数の人(例えば所定数以上の人)が存在することが検出された場合、着陸に適していないと判定してよい。これにより、無人航空機100の降下時に人と接触し、人が怪我をしたり、無人航空機100が破損したりすることを抑制できる。
UAV制御部110は、集荷位置が着陸に適していないと判定された場合、荷物の集荷位置を変更してよい。UAV制御部110は、変更後の集荷位置を決定してよい。この場合、UAV制御部110は、変更前の集荷位置に対応する標識を含む空撮画像に基づいて、空撮画像の画像範囲に係る3次元形状データを生成し、3次元形状データを基に、着陸に適した変更後の集荷位置を決定してよい。例えば、3次元形状データにおいて地面と平行な平面的な領域における任意の位置が、変更後の集荷位置とされてよい。
例えば、UAV制御部110は、ビルの屋上の端部に近い位置に標識が付された荷物が配置されていた場合、ビルの屋上の中心部を、変更後の集荷位置としてよい。例えば、UAV制御部110は、空撮画像において人が集まっていない場所(例えば所定数未満の人が存在する場所)を、変更後の集荷位置としてよい。
このように、無人航空機100は、着陸に適しているか否かを判断することで、荷物の集荷場所が着陸に関して安全なエリアであるかどうかを見分けることができる。また、無人航空機100は、着陸に適していない場合に集荷位置を変更することで、より安全性の高いエリアに荷物を置くことができ、集荷時に荷物が適切に集荷される可能性を高くできる。
UAV制御部110は、集荷位置が着陸に適していないと判定された場合、通信インタフェース150を介して、集荷位置が着陸に適していない旨の情報を端末80へ送信してもよい。端末80の端末制御部81は、通信部85を介して、集荷位置が着陸に適していない旨の情報を取得し、この情報を提示(例えば表示、音声出力)させてよい。これにより、ユーザは、集荷位置が着陸に適していない旨を認識できる。
UAV制御部110は、集荷位置が着陸に適していないと判定された場合、例えば通信インタフェース150を介して、変更後の集荷位置の情報を端末80へ送信してもよい。端末80の端末制御部81は、通信部85を介して、変更後の集荷位置の情報を取得し、この情報を提示(例えば表示、音声出力)させてよい。変更後の集荷位置の情報は、荷物の移動を促す情報の一例である。
これにより、集荷依頼者は、端末80の提示を介して、変更後の集荷位置を認識でき、変更前の集荷位置に配置された荷物を、より集荷に適した変更後の集荷位置に荷物を移動可能となる。このように、無人航空機100は、荷物の配置位置を、無人航空機100の着陸を加味して誘導できる。
UAV制御部110は、集荷位置に着陸せずに、集荷位置において荷物に接近し、ホバリングしてもよい。このホバリングは、空中において無人航空機100の各方向の速度が略値0となり、空中において停止することを示してよい。つまり、UAV制御部110は、集荷時に荷物の周辺に着陸せずに、荷物の周辺でホバリングしてよい。これにより、例えば無人航空機100が集荷位置又は集荷位置周辺に着陸することが困難である場合でも、荷物を集荷できる。
UAV制御部110は、集荷位置に配置された荷物を集荷させる。荷物は、荷物単体が集荷されてもよいし、ケースに収容されてケースを含めて集荷されてもよい。
UAV制御部110は、集荷対象の荷物が集荷可能であるか否かを判定してよい。例えば、UAV制御部110は、空撮画像において画像認識し、荷物の大きさや形状を識別してよい。UAV制御部110は、集荷対象の荷物が集荷可能である(集荷する)と判定された場合、荷物を集荷するよう制御してよい。UAV制御部110は、集荷対象の荷物が集荷可能でない(集荷しない)と判定された場合、荷物を集荷せずに、無人航空機100が倉庫等に戻るように飛行制御してよい。
例えば、UAV制御部110は、画像認識により認識された荷物のサイズが所定サイズよりも大きい場合、集荷や運搬が困難であるとして、この荷物を集荷しないことを決定してよい。所定のサイズの情報は、例えばメモリ160に保持されていてよい。これにより、無人航空機100は、荷物が過度に大きいことに起因して、荷物保持部により荷物を保持できないことや、荷物保持部による保持力が低下することで、集荷時や運搬時に荷物が落下することを抑制できる。
例えば、UAV制御部110は、画像認識により認識された形状が所定の形状との間で所定基準以上の乖離がある場合、集荷や運搬が困難であるとして、この荷物を集荷しないことを決定してよい。所定の形状の情報は、例えばメモリ160に保持されていてよい。これにより、無人航空機100は、荷物が特異な形状であることに起因して、荷物保持部により荷物を保持できないことや、荷物保持部による保持力が低下することで、集荷時や運搬時に荷物が落下することを抑制できる。
このように、UAV制御部110は、荷物が集荷に適しているか否かを判定し、荷物が集荷に適している場合に、集荷するよう制御してよい。この場合、無人航空機100は、安全に集荷や運搬が可能と見込まれた荷物を対象として、集荷及び運搬が可能となる。これにより、無人航空機100は、集荷や運搬の途中において荷物が落下等して、荷物が破損等することを抑制できる。
UAV制御部110は、荷物を集荷しないと判定された場合、通信インタフェース150を介して、端末80へ荷物を集荷しない旨を含む通知情報を送信してよい。端末80の端末制御部81は、この通知情報を受信し、荷物を集荷しない旨を提示(例えば表示、音声出力)してよい。
これにより、集荷依頼者は、端末80の提示を確認して荷物が集荷されない旨を認識でき、荷物の目的地へ配送するための他の手段を講じることができる。
UAV制御部110は、集荷対象の荷物を荷物保持部により保持しようとした場合に、無人航空機100が重量センサ等により所定値以上の重量であることが検出された場合、集荷や運搬が困難であるとして、この荷物を集荷しないことを決定してよい。これにより、無人航空機100が、集荷対象の荷物の集荷時や運搬時に、重量に起因して無人航空機100のバランスを崩して墜落等することを抑制できる。
UAV制御部110は、集荷された荷物を倉庫や配送先へ運搬してよい。UAV制御部110は、例えば、通信インタフェース150を介して、倉庫や配送先の位置情報を取得してよい。UAV制御部110は、配送先が集荷先から遠い場合、例えば配送先が集荷先から所定距離以上である場合、荷物を倉庫へ配送するよう飛行制御してよい。UAV制御部110は、配送先が集荷先から近い場合、例えば配送先が集荷先から所定距離未満である場合、荷物を配送先へ配送するよう飛行制御してよい。この場合、無人航空機100は、荷物を一旦倉庫へ格納することなく直接配送先へ配送できるので、荷物の配送効率を向上できる。
このように、UAV制御部110により荷物を集荷させ、運搬させることで、集荷依頼者が指定の集荷場所へ持ち込む手間や集荷担当者が指定の集荷場所へ出向く手間を削減できる。
次に、荷物集荷時の荷物の保持形態について説明する。
図4は、荷物の保持形態の一例を示す図である。
荷物C1又は荷物C1が収納されたケースには、無人航空機100により集荷時に保持され易いように、保持補助部材が取り付けられてよい。保持補助部材は、荷物C1又はケースを把持するための補助紐c11、フック、補助棒c12、等を含んでよい。
UAV制御部110は、荷物C1又はケースを保持するための荷物保持部を備えてよい。荷物保持部は、UAV制御部110のアーム部225や無人航空機100に設けられた凸部や凹部でよい。荷物保持部は、フックと係合(例えば嵌合)するための係合部や凸部や凹部、等を含んでよい。凸部や凹部は、アーム部225に形成されてもよいし、アーム部225とは別に設けられてもよい。
なお、補助棒c12は、集荷時に無人航空機100のアーム部225やその他の部位に取り付けられてよい。また、無人航空機100が荷物保持部として補助棒c12を備えてもよい。この場合、補助棒c12は、非集荷時には折り畳まれており、集荷時に展開されて両側のアーム部225を渡して配置されてもよい。荷物C1の運搬時には、補助棒c12に補助紐c11を介して荷物C1が吊り下げられてよい。補助棒c12は、荷物C1の運搬時には、アーム部225の任意の箇所と係合されることで、アーム部225から落下し難くされてよい。
UAV制御部110は、荷物保持部により保持補助部材を保持することで、荷物C1又はケースを保持して、荷物C1を集荷してよい。UAV制御部110は、荷物C1の集荷時に荷物保持部を動作させてもよい。例えば、図4に示すように、UAV制御部110は、アーム部225を矢印αの方向に動かすことで、荷物C1又はケースを外側から挟み込んで、荷物C1又はケースを持ち上げて集荷してよい。UAV制御部110は、アーム部225を動かすことで、保持補助部材としてのフックをアーム部225の凸部等に引っ掛けて固定し、荷物C1又はケースを持ち上げて集荷してよい。UAV制御部110は、図4に示すように、保持補助部材としての補助棒c12を、補助紐c11により形成された内側の空間に通された状態で、荷物保持部としての双方のアーム部225の間を渡して配置してよい。補助棒c12は、無人航空機100側に設けられてもよいし、荷物C1又はケース側に設けられてもよい。
UAV制御部110は、荷物保持部を動作させて集荷することで、集荷依頼者が荷物C1を無人航空機100に括りつけたり、無人航空機100が保持している集荷用のケースに荷物C1を入れたりする、等の無人航空機100に荷物C1を保持させるための作業を抑制できる。よって、集荷依頼者の集荷時の手間が低減し、利便性が一層向上する。
なお、集荷依頼者は、集荷依頼者が荷物C1を無人航空機100に括りつけたり、無人航空機100が保持している集荷用のケースに荷物C1を入れたりする、等の無人航空機100に荷物C1を保持させるための作業を行ってもよい。このように、集荷依頼者が無人航空機100による荷物保持を補助してもよい。
荷物C1又は荷物C1が収納されたケースの上面又は側面には、標識MKが付されてよい。標識MKは、上空から撮像可能に配置される。
次に、標識探索処理の具体例について説明する。標識探索処理は、スキャン方式に従った標識探索処理と、ピラミッド方式に従った標識探索処理と、を含んでよい。
図5は、スキャン方式に従った標識探索処理を説明するための図である。スキャン方式に従った標識探索処理では、UAV制御部110は、同一の高度で飛行させながら空撮させ、空撮された標識MKの情報を識別してよい。
図5では、上空から地面方向を見た場合の集荷領域A1が示されている。UAV制御部110は、集荷領域A1における空撮経路AP1を生成してよい。空撮経路AP1の経路上は、同一の高度H1(例えば数10mの高度)でよい。UAV制御部110は、空撮経路AP1に従って飛行する。UAV制御部110は、例えば、集荷領域A1において、無人航空機100が直線的に飛行しながら空撮し、集荷領域A1の端部に到達すると折り返し、再度直線的に飛行しながら空撮してよい。図5における隣接する直線上における撮像部220による空撮画像の空撮範囲は、一部が重複してよい。UAV制御部110は、空撮経路AP1における各空撮位置において空撮された空撮画像を合わせることで、集荷領域A1の全域を含むように、空撮経路AP1を生成してよい。UAV制御部110は、空撮経路AP1上の空撮位置で撮像された空撮画像に対する画像認識により、標識MKが付された荷物C1が存在することを検出してよい。UAV制御部110は、集荷領域A1の全域を空撮する前に、空撮経路AP1の途中で標識MKを検出すると、その後、空撮経路AP1の飛行を終了してよい。
このようなスキャン方式に従った標識探索処理によれば、無人航空機100は、同一の高度での飛行及び空撮を基に、容易に標識MKを検出できる。また、標識探索処理時に高度を変更しないので、集荷領域A1における地形をほぼ考慮せずに、標識探索処理できる。また、標識探索処理の開始時から比較的高い画質で標識MKを探索するので、探索開始地点と標識MKが存在する地点とが近い場合には、高確率で短時間での標識MKの検出が可能である。
図6及び図7は、ピラミッド方式に従った標識探索処理を説明するための図である。ピラミッド方式に従った標識探索処理では、UAV制御部110は、複数回の飛行において異なる高度を飛行させ、逐次的に標識探索範囲を狭める。この場合、UAV制御部110は、段階的に高度を下げて飛行させながら空撮させ、空撮された標識MKの情報を識別してよい。
図6では、上空から地面方向を見た場合の集荷領域A1が示されている。UAV制御部110は、集荷領域A1における空撮経路AP21を生成してよい。空撮経路AP21の経路上は、同一の高度H21(第1の高度の一例)でよい。UAV制御部110は、空撮経路AP21に従って、集荷領域A1を飛行しながら空撮する。図6における隣接する直線上における無人航空機100による空撮範囲は、一部が重複してよい。UAV制御部110は、空撮経路AP21における各空撮位置において空撮された空撮画像を合わせることで、集荷領域A1の全域を含むように、空撮経路AP21を生成してよい。UAV制御部110は、空撮経路AP21上の空撮位置で撮像された空撮画像(第1の画像の一例)に対する画像認識により、標識MKが付された荷物C1が存在することを検出してよい。なお、図5と比較すると、図6では飛行の高度H21が高くてよく、この場合、1枚あたりの空撮画像の空撮範囲が広い。なお、UAV制御部110は、標識MKが1つ検出された場合、後述する図7の処理を実施しなくてもよい。UAV制御部110は、標識MKが検出されなかった場合、又は標識MKが複数検出された場合、図7の処理を実施する。
なお、図6、図7においては、標識MKの誤検出が加味されてよい。つまり、検出される標識MKは、標識MKの候補として扱われてもよい。また、標識MKの誤検出が加味されなくてもよい。つまり、複数の標識MKがそのまま荷物C1の集荷位置として検出されてよい。
図7では、上空から地面方向を見た場合の集荷領域A1が示されている。UAV制御部110は、集荷領域A1における空撮経路AP22を生成してよい。空撮経路AP22は、空撮経路AP21による空撮の後に空撮するための空撮経路でよい。空撮経路AP22の経路上は、同一高度でよい。空撮経路AP22の飛行高度は、空撮経路AP21の飛行高度よりも低い。空撮経路AP21における空撮時の解像度と空撮経路AP22における空撮時の解像度とは変化しなくてよい。したがって、空撮経路AP22上で空撮された空撮画像は、空撮経路AP21よりも高度が低いので、空撮経路AP21上で空撮された空撮画像よりも空撮範囲が狭くなり、空撮経路AP21上で空撮された空撮画像よりも高画質となり、標識MKの検出精度が高くなる。
図7では、UAV制御部110は、集荷領域A1よりも小さな小集荷領域A2を接続して、空撮経路AP22を形成してよい。小集荷領域A2は、空撮経路AP21において検出された標識MKを領域内部に含む領域でよい。小集荷領域A2は、集荷領域A1における部分領域の一例である。UAV制御部110は、小集荷領域A2における空撮経路AP22aを生成してよい。空撮経路AP22aの経路上は、同一高度でよい。UAV制御部110は、空撮経路AP22aに従って、小集荷領域A2を飛行しながら空撮する。図7における隣接する直線上における無人航空機100による空撮範囲は、一部が重複してよい。UAV制御部110は、空撮経路AP22aにおける各空撮位置において空撮された空撮画像(第2の画像の一例)を合わせることで、小集荷領域A2の全域を含むように、空撮経路AP22aを生成してよい。空撮経路AP22は、1つ以上の小集荷領域A2における空撮経路AP22aと、1つ以上の小集荷領域A2を結ぶ空撮経路AP22bと、を含んでよい。UAV制御部110は、標識MKの存在する小集荷領域A2に限って生成することで、標識MKを検出するためのより高効率な空撮が可能となる。なお、UAV制御部110は、小集荷領域A2の全て(例えば3つ)を空撮する前に、空撮経路AP22の途中で標識MKを検出しても、空撮経路AP22の最終地点に至るまで飛行を継続する。
ピラミッド方式に従った標識探索処理では、図6及び図7の2つの高度において順次空撮することを例示したが、3つ以上の高度で順次空撮してもよい。この場合、後の空撮経路である程、飛行高度が低くてよい。これにより、高度が低くなる程、空撮範囲は小さくなり、空撮画像は高画質化される。
このように、無人航空機100は、ピラミッド方式では、最初の集荷領域A1の全領域探索により標識MKが存在する候補地が検出された場合には、次の高度で直接に候補地において空撮し、逐次的に標識MKが存在する正確な位置にたどり着いてよい。候補地における空撮は、集荷領域A1の全領域のスキャンにより空撮することでもよいし、候補地を含む小集荷領域A2のスキャンにより空撮することでもよいし、標識が存在する候補地を1回で空撮することでもよい。なお、ピラミッド方式では、最初の集荷領域A1の全領域探索により標識MKが存在する候補地が検出されなかった場合、UAV制御部110は、高度を下げて、集荷領域A1の全領域探索を再度行ってよい。
このようなピラミッド方式に従った標識探索処理によれば、無人航空機100は、画像内に1つの標識MKが検出されると、標識MKの検出を終了してよい。この場合、無人航空機100は、比較的低い画質で集荷領域を高速で空撮し、標識MKに対応する荷物C1を判別できる。また、無人航空機100は、画像内に複数の標識MKが検出されると、高度を下げることで画質を上げて標識MKの検出を行う。これにより、標識MKの検出精度が上がり、誤検出ではない標識Mを検出し易くできる。また、無人航空機100は、画像内に標識MKが検出されなかった場合、高度を下げることで画質を上げて、不鮮明で読み取れなかった標識MKを検出できる可能性を高くできる。また、無人航空機100は、まずは集荷領域A1において空撮対象の領域を広くして標識MKを探索し、徐々に空撮対象の領域を標識MKが検出された領域に絞って狭くしていくことで、効率的に標識MKが存在するエリアを絞っていくことができる。この場合、集荷領域A1においてどの位置に標識MKが存在しても、ほぼ同じ所要時間で、標識MKに対応する集荷対象の荷物C1の位置を判別できる。
次に、集荷システム10の動作例について説明する。
まず、荷物C1の集荷準備に係る動作例について説明する。
ユーザは、荷物C1の集荷を依頼する際、端末80の操作部83を介して、荷物情報及び集荷情報に含まれる少なくとも一部の情報を入力してよい。端末80は、通信部85を介して、入力された荷物情報及び集荷情報に含まれる少なくとも一部の情報を、集荷サーバ40へ送信してよい。荷物情報及び集荷情報に含まれる少なくとも一部の情報が、端末80や集荷サーバ40において荷物C1の集荷を指示(依頼)するための集荷指示情報の1つとして検出されてもよいし、荷物情報及び集荷情報に含まれる少なくとも一部の情報とは別に、集荷指示情報が送信されてもよい。
集荷サーバ40では、無線通信部は、端末80から荷物情報及び集荷情報に含まれる少なくとも一部の情報を受信する。サーバ制御部は、受信された情報を、荷物情報や集荷情報を保持する集荷データベースに蓄積する。サーバ制御部は、集荷依頼に係る集荷情報を一意に識別するための識別子(例えば識別番号)を生成し、この識別子をバーコード等の標識MKに変換する。無線通信部は、生成された標識MKの情報を端末80へ送信する。
端末80では、通信部85は、集荷サーバ40からの標識MKの情報を受信する。端末制御部81は、受信された標識MKの情報を外部の印刷機等に送り、標識MKの情報を印刷(プリント)させる。プリントされた標識MKの情報は、バーコード等を含んでよい。ユーザは、印刷された標識MKが示されたシートを、荷物C1又は荷物C1が収容されたケースの上部に貼り付け、上空から標識MKを撮像可能な位置(例えば集荷位置)に配置してよい。上空から標識MKを撮像可能な位置は、荷物C1が集荷領域の上空から見える位置でよい。
集荷サーバ40では、集荷依頼を受けた場合、端末80から取得された集荷依頼に係る荷物情報及び集荷情報に含まれる少なくとも一部の情報を、無線通信部を介して、無人航空機100へ送信する。
次に、荷物C1の集荷に係る動作例について説明する。
まず、1つの荷物C1の集荷が実施されることを想定する。
図8は、無人航空機100の第1動作例を示すフローチャートである。
UAV制御部110は、通信インタフェース150を介して、集荷依頼に係る集荷情報及び荷物情報に含まれる少なくとも一部の情報を取得する(S11)。UAV制御部110により取得される情報には、集荷依頼に係る集荷領域A1の情報が含まれる。
UAV制御部110は、取得された集荷領域A1に向かって、無人航空機100を飛行させる(S12)。
UAV制御部110は、標識MKを探索するための標識探索処理を実行する(S13)。標識探索処理は、荷物C1が置かれた位置の上方において撮像部220により画像が空撮され、空撮画像に基づいて標識MKが探索される処理でよい。この標識探索処理では、1つの標識MKが検出される。
UAV制御部110は、標識探索処理により検出された1つの標識MKに対応する荷物C1が配置された集荷位置の情報を取得する(S14)。
UAV制御部110は、取得された集荷位置へ無人航空機100を飛行させる(S15)。
UAV制御部110は、集荷位置又は集荷位置周辺に配置された荷物C1を集荷させる(S16)。例えば、UAV制御部110は、荷物保持部を動作させることで、集荷対象の荷物C1を保持する。
UAV制御部110は、集荷された荷物C1を倉庫や配送先へ運搬するよう、無人航空機100を飛行させる(S17)。運搬先の情報は、集荷情報に含めてS11において取得されてよい。
このような荷物C1の集荷動作によれば、無人航空機100は、荷物C1が置かれた集荷位置へ向かい、荷物C1を集荷して運搬できる。したがって、集荷依頼者が宅配業者の指定場所(例えば郵便局)に荷物C1を持ち込む必要がなくなり、無人航空機100は、集荷依頼者の利便性を向上できる。また、無人航空機100は、集荷を依頼された宅配業者の担当者が、集荷依頼者により指定された時間に所定場所(例えば集荷依頼者の自宅)へ集荷に行くことを不要にでき、集荷担当者の利便性を向上できる。そのため、無人航空機100は、集荷作業に要する人件費を低減できる。また、無人航空機100は、所定場所又は所定時間帯での集荷待ちの時間を削減でき、利便性を向上できる。つまり、無人航空機100は、集荷作業のコストを削減し、集荷を高速化、自動化できる。また、無人航空機100は、集荷前に標識MKに対応する荷物C1が集荷対象の荷物C1であるか否かを判別することで、集荷対象の荷物C1を確実に集荷できる。このように、無人航空機100は、荷物C1の集荷に係る煩雑性を低減でき、集荷の正確性を向上できる。
図9は、S13に示す標識探索処理の一例を示すフローチャートである。図9に示す標識探索処理は、ピラミッド方式の標識探索処理に相当する。
UAV制御部110は、集荷領域A1における複数の空撮位置で空撮するための空撮経路AP21を生成する(S101)。空撮経路AP21は、飛行高度が高度H21でよい。高度H21は、高度H1よりも高くてよい。空撮経路AP21は、同一高度で形成されてよい。空撮経路AP21における任意の位置に、空撮位置が設けられてよい。
UAV制御部110は、空撮経路AP21に従って無人航空機100を飛行させ、空撮位置において撮像部220に空撮させる(S102)。
UAV制御部110は、空撮経路AP21上の各空撮位置において空撮された空撮画像を合成し、合成画像(第1の画像の一例)を生成する(S103)。この合成画像は、集荷領域A1の全域を画像範囲に含んでよい。
UAV制御部110は、合成画像に含まれる標識MKの候補(標識候補)を検出する(S104)。標識MKの候補は、複数存在し得る。なお、合成画像を用いずに、集荷領域A1において空撮された各空撮画像において標識MKの候補が検出されてもよい。
UAV制御部110は、合成画像から検出された標識MKの候補の数が値0よりも大きいか否か、つまり1つ以上であるか否かを判定する(S105)。標識MKの候補の数が値0である場合、UAV制御部110は、飛行高度を下げる(S106)。飛行高度が低下することで、空撮画像が鮮明化される。これにより、集荷領域A1に標識MKが存在する場合には、標識MKの候補として検出される可能性を高くなる。UAV制御部110は、S106の後、S101へ進む。
検出された標識MKの候補の数が1つ以上である場合、UAV制御部110は、検出された標識MKの候補の数が1つであるか否かを判定する(S107)。
検出された標識MKの候補の数が1つでない、つまり複数であると判定された場合、UAV制御部110は、飛行高度を下げる(S108)。飛行高度が低下することで、空撮画像が鮮明化される。これにより、例えば、標識MKに類似した模様等が描かれている場合、この模様が標識MKとして誤検出される可能性が低下する。
UAV制御部110は、小集荷領域A2を通る空撮経路AP22を生成する(S109)。小集荷領域A2は、空撮経路AP21において検出された標識MKの候補の位置を含む。小集荷領域A2は、複数存在してよい。空撮経路AP22は、1つ以上の小集荷領域A2における空撮経路AP22aと、1つ以上の小集荷領域A2を結ぶ空撮経路AP22bと、を含んでよい。空撮経路AP22は、飛行高度が高度H22(第2の高度の一例)でよい。高度H22は、高度H21よりも低くてよく、高度H1と同程度でよい。空撮経路AP21は、同一高度で形成されてよい。空撮経路AP21における任意の位置に、空撮位置が設けられてよい。
UAV制御部110は、空撮経路AP22に従って無人航空機100を飛行させ、撮像部220に空撮させる(S110)。なお、空撮経路AP22では、小集荷領域A2の内部に限定して空撮位置が設定されてもよい。
UAV制御部110は、空撮経路AP22a上の各空撮位置において空撮された空撮画像を合成し、合成画像(第2の画像の一例)を生成してよい。この合成画像は、小集荷領域A2の全域を画像範囲に含んでよい。合成画像は、小集荷領域A2毎に生成されてよい。
UAV制御部110は、合成画像に含まれる標識MKの候補を検出する(S111)。標識MKの候補は、複数存在し得る。なお、合成画像を用いずに、小集荷領域A2において空撮された各空撮画像において標識MKの候補が検出されてもよい。UAV制御部110は、S111の後、S107に進む。
S107において、検出された標識MKの候補の数が1つである場合、検出された標識MKの候補が、標識MKであると判定する(S112)。
UAV制御部110は、判定された標識MKが、集荷対象の荷物C1に対応する標識であるか否かを判定する(S113)。UAV制御部110は、標識MKから、例えば集荷を識別するための集荷IDを検出してよい。UAV制御部110は、検出された集荷IDを基に、S11で取得された集荷情報及び荷物情報の少なくとも一部と照合する。UAV制御部110は、照合の結果、標識MKが所定基準を満たす場合、集荷対象の荷物C1に対応する標識として認定する(S114)。一方、UAV制御部110は、照合の結果、標識MKが所定基準を満たす場合、集荷対象の荷物C1に対応する標識ではないと判定する。
例えば、UAV制御部110は、合成画像又は空撮画像における標識MKの位置と、集荷IDに係る集荷情報に含まれる集荷位置と、が略一致している場合、標識MKを、集荷対象の荷物C1に対応する標識であると判定してよい。一方、UAV制御部110は、標識MKが検出された合成画像又は空撮画像上の位置と、集荷IDに係る集荷情報に含まれる集荷位置と、が略一致していない場合、標識MKを、集荷対象の荷物C1に対応する標識ではないと判定してよい。
例えば、UAV制御部110は、画像認識により、合成画像又は空撮画像に含まれる標識MKが付された荷物C1の形態(例えば色、大きさ、形状)の情報を取得(例えば算出)してよい。UAV制御部110は、取得された荷物C1の形態の情報と、集荷IDに係る荷物情報に含まれる荷物C1の形態(例えば色、大きさ、形状)の情報と、が略一致している場合、標識MKを、集荷対象の荷物C1に対応する標識であると判定してよい。一方、取得された荷物C1の形態の情報と、集荷IDに係る荷物情報に含まれる荷物C1の形態の情報と、が略一致していない場合、標識MKを、集荷対象の荷物C1に対応する標識でないと判定してよい。
UAV制御部110は、上記以外の観点から、合成画像又は空撮画像に含まれる標識MKが、集荷対象の荷物C1に対応する標識であるか否かを判定してもよい。
このような標識探索処理によれば、無人航空機100は、画像内に1つの標識MKの候補が検出される場合、高度を変更する空撮作業を反復しないで済むので、標識MKを高速に判別できる。また、無人航空機100は、画像内に複数の標識MKの候補が検出される場合には、高度を下げることで画質を上げて標識MKの候補の検出を行うことで、標識MKの候補の検出精度が上がり、誤検出ではない標識MKを検出し易くできる。また、無人航空機100は、画像内に標識MKの候補が検出されなかった場合、高度を下げることで画質を上げて、不鮮明で読み取れなかった標識MKの候補を検出できる可能性を高くできる。また、無人航空機100は、まずは集荷領域A1において空撮対象の領域を広くして標識MKの候補を探索し、徐々に空撮対象の領域を標識MKの候補が検出された領域に絞って狭くしていくことで、効率的に標識MKが存在するエリアを絞っていくことができる。この場合、集荷領域A1においてどの位置に標識MKの候補が存在しても、ほぼ同じ所要時間で、標識MKに対応する集荷対象の荷物C1の位置を判別できる。
なお、S104,S105,S107,S111では、標識MKの候補は、集荷領域A1において集中的に存在してもよいし、分散して存在してもよい。例えば、1人の集荷依頼者が複数の荷物C1の集荷を依頼している場合、狭い範囲に標識MKが複数検出されてよい。例えば、複数の集荷依頼者が1つずつ荷物C1の集荷を依頼している場合、広い範囲に標識MKが複数検出されてよい。標識MKの候補が集荷領域A1において集中的に存在する場合、これらの標識MKが存在する位置(集荷位置)の候補は、それぞれ別々の候補地とされてもよいし、まとめて1つの候補地とされてもよい。つまり、集荷位置の候補が1箇所として扱われてもよいし、集荷位置の候補が標識MKの候補数と同数でカウントされてもよい。
図9では、S113において、標識MKが、集荷対象の荷物C1に対応する標識であるか否かを判定することを例示したが、これ以外のタイミングにおいて集荷対象の荷物に対応する標識MKの候補であるか否かが判定されてもよい。例えば、S104とS105との間やS111とS107との間において、検出された標識MKの候補が、集荷対象の荷物C1に対応する標識MKの候補であるか否かが判定されてもよい。これにより、無人航空機100は、S107において標識MKの候補の数がカウントされる際に、集荷対象の荷物C1に対応するか否かが加味された上で、標識MKの候補の数をカウントできる。
なお、集荷対象の荷物C1に対応する標識MKである場合に、標識MKや標識MKの候補として検出されてもよい。この場合、S113,S114が省略可能である。
次に、複数の荷物C1の集荷が実施されることを想定する。
図10は、無人航空機100の第2動作例を示すフローチャートである。図10において、図8に示した処理と同様の処理については、同一のステップ番号を付し、その説明を省略又は簡略化する。
まず、無人航空機100は、図8のS11,S12の処理を実行する。
UAV制御部110は、標識探索処理を実行する(S13A)。この標識探索処理では、複数の標識MKが検出される。
UAV制御部110は、標識探索処理により検出された複数の標識MKに対応する複数の荷物C1が配置された複数の集荷位置の情報を取得する(S14A)。
UAV制御部110は、複数の集荷位置を通る集荷経路を生成する(S15A)。UAV制御部110は、例えば、分岐限定法、切除平面法、その他の集荷位置を最短距離で結ぶ公知の方法に従って、集荷経路を生成してよい。
UAV制御部110は、生成された集荷経路に従って、無人航空機100を飛行させる(S15B)。
UAV制御部110は、集荷経路における複数の集荷位置又は集荷位置周辺に配置された複数の荷物C1を集荷させる(S16A)。例えば、UAV制御部110は、荷物保持部を動作させることで、集荷対象の複数の荷物C1を保持してよい。
UAV制御部110は、集荷された複数の荷物C1を倉庫や配送先へ運搬するよう、無人航空機100を飛行させる(S17A)。
このような複数の荷物C1の集荷動作によれば、無人航空機100は、複数の荷物C1を1度の集荷作業により集荷できる。また、無人航空機100は、集荷対象の荷物C1が複数存在しても、集荷に必要な無人航空機100の台数を低減できる。
図11は、S13Aに示した標識探索処理の一例を示すフローチャートである。図11において、図9に示した処理と同様の処理については、同一のステップ番号を付し、その説明を省略又は簡略化する。この標識探索処理は、スキャン方式に従って複数の標識MKを探索することに相当してよい。
UAV制御部110は、集荷領域A1における複数の空撮位置で空撮するための空撮経路AP3を生成する(S101A)。空撮経路AP3は、飛行高度が高度H3でよい。高度H3は、スキャン方式で用いる高度H1と同程度でよく、例えば数10mでよい。空撮経路AP3は、同一高度に沿って形成されてよい。空撮経路AP3における任意の位置に、空撮位置が設けられてよい。
UAV制御部110は、空撮経路AP3に従って無人航空機100を飛行させ、空撮位置において撮像部220に空撮させる(S102A)。
UAV制御部110は、空撮経路AP3上の各空撮位置において空撮された空撮画像を合成し、合成画像を生成する(S103A)。この合成画像は、集荷領域A1の全域を画像範囲に含んでよい。
UAV制御部110は、合成画像に含まれる複数の標識MKを検出する(S104A)。なお、合成画像を用いずに、集荷領域A1において空撮された複数の空撮画像において複数の標識MKが検出されてもよい。
UAV制御部110は、複数の標識MKのうち、集荷対象の荷物C1に対応する標識を認定する(S104B)。集荷対象の荷物C1に対応する標識であるか否かの判定は、図9に示したS113,S114における判定方法と同様でよい。例えば、複数の標識MKが、集荷対象の荷物C1に対応する標識として認定される。
このような標識探索処理によれば、無人航空機100は、検出された複数の標識MKの位置に対応して複数の集荷対象の荷物C1が存在するとして、複数の荷物C1を集荷可能である。また、無人航空機100は、1人の集荷依頼者が複数の荷物C1の集荷を依頼した場合でも、集荷領域A1における比較的狭いエリアにおいて複数の荷物C1の存在を検出し、集荷可能である。また、無人航空機100は、複数の集荷依頼者が1つ以上の荷物C1の集荷を依頼した場合でも、集荷領域A1における比較的広いエリアにおいて複数の荷物C1の存在を検出し、集荷可能である。
なお、UAV制御部110は、複数の標識MKに対応する集荷対象の複数の荷物C1の総重量の情報を取得してよい。UAV制御部110は、各荷物C1の重量の情報を、集荷サーバ40から取得された集荷情報や荷物情報から取得してよい。UAV制御部110は、各荷物C1の重量を合計して、集荷対象の複数の荷物C1の総重量を算出してよい。UAV制御部110は、集荷対象の複数の荷物C1の総重量が無人航空機100の最大積載量より重い場合、最大積載量以下となるように、集荷対象の荷物C1に対応する標識MKを選択してよい。これにより、無人航空機100は、検出された複数の荷物C1の実際の集荷時に、無人航空機100の最大積載量を超えるために集荷不能となることを、事前に(実際に現地へ向かう前に)抑制できる。
(第2の実施形態)
第1の実施形態では、無人航空機が、荷物の集荷位置や集荷経路を生成することを例示した。第2の実施形態では、無人航空機以外の装置が、荷物の集荷位置や集荷経路を生成することを例示する。なお、第2の実施形態において、第1の実施形態と同様の構成や動作については、説明を省略又は簡略化する。
図12は、第2の実施形態における集荷システム10Aの構成例を示す模式図である。集荷システム10Aは、無人航空機100A、端末80、集荷サーバ40、及び画像サーバ90を備える。無人航空機100A、端末80は、集荷サーバ40、及び画像サーバ90は、相互に有線通信又は無線通信(例えば無線LAN)により通信可能である。画像サーバ90は、集荷支援装置の一例である。
無人航空機100Aは、荷物を集荷する。画像サーバ90は、荷物の集荷領域を示す情報を取得し、この集荷領域の画像を取得する。この集荷領域の画像は、集荷領域の情報に位置する衛星300から撮像された衛星画像でよい。画像サーバ90は、集荷領域の画像において標識を検出し、標識に基づいて、集荷対象の荷物の集荷位置の情報を取得する。画像サーバ90は、集荷対象の荷物の集荷位置の情報を送信する。無人航空機100Aは、集荷対象の荷物の集荷位置の情報を受信する。無人航空機100Aは、集荷位置へ飛行し、集荷位置において荷物を集荷し、集荷された荷物を例えば倉庫や配送先に運搬する。
図13は、無人航空機100Aのハードウェア構成の一例を示すブロック図である。無人航空機100Aは、第1の実施形態における無人航空機100と比較すると、UAV制御部110の代わりにUAV制御部110Aを備える。なお、図13の無人航空機100Aにおいて、図2に示した無人航空機100の構成と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
UAV制御部110Aは、UAV制御部110と比較すると、集荷位置の取得や集荷経路の生成に関する処理を実施しない。UAV制御部110Aは、例えば通信インタフェース150を介して、画像サーバ90から集荷位置の情報や集荷経路の情報を取得する。UAV制御部110Aは、集荷位置に配置された荷物を集荷させる。UAV制御部110Aは、集荷された荷物を倉庫や配送先へ運搬するよう、飛行制御する。荷物の集荷や荷物の運搬の具体的な方法は、第1の実施形態と同じでよい。
図14は、画像サーバ90のハードウェア構成の一例を示すブロック図である。画像サーバ90は、サーバ制御部91、通信部95、衛星画像通信部96、メモリ97、及びストレージ99を備えてよい。
通信部95は、各種の無線通信方式により、無人航空機100A及び端末80との間で通信する。無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、又は公衆無線回線を介した通信を含んでよい。通信部95は、任意の有線通信方式により有線通信してもよい。
衛星画像通信部96は、衛星300により撮像された画像(衛星画像)及びその付加情報を、衛星300から無線通信により受信する。衛星画像には、衛星画像の画像範囲(例えば日本、東京、○○区、○○丁目、○○マンション)を示す情報、衛星画像が撮像された時刻に関する時刻情報、等の付加情報が付加されていてよい。この画像範囲情報は、集荷領域A1と一致してもよい。衛星画像通信部96は、定期的に衛星画像及びその付加情報を取得してもよいし、画像サーバ90側から画像取得要求を送信し、画像取得要求に応じて衛星300から送信された衛星画像及びその付加情報を取得してもよいし、
画像サーバ90が取得する衛星画像の画質は、集荷位置に配置された荷物に付された標識の情報を、画像認識により読取り可能な程度の画質を含んでよい。
メモリ97は、例えば画像サーバ90の動作を規定するプログラムや設定値のデータが格納されたROMと、サーバ制御部91の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してよい。メモリ97は、ROM及びRAM以外のメモリが含まれてよい。メモリ97は、画像サーバ90の内部に設けられてよい。メモリ97は、画像サーバ90から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。
ストレージ99は、各種データ、情報を蓄積し、保持する。ストレージ99は、画像DB991を備えてよい。ストレージ99は、HDD、SSD、SDカード、USBメモリ、等でよい。ストレージ99は、画像サーバ90の内部に設けられてよい。ストレージ99は、画像サーバ90から取り外し可能に設けられてよい。画像DB991は、衛星画像通信部96を介して取得された衛星画像やその付加情報を蓄積してよい。
サーバ制御部91は、例えばCPU、MPU又はDSPを用いて構成される。サーバ制御部91は、画像サーバ90の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
サーバ制御部91は、荷物の集荷の支援に関する処理を行ってよい。荷物の集荷の支援に関する処理は、例えば、第1の実施形態における無人航空機100Aによる荷物の集荷に関する処理のうちの実際の荷物の集荷及び運搬を除く処理を含んでよい。
サーバ制御部91は、通信部95を介して、無人航空機100Aからのデータや情報を取得してよい。サーバ制御部91は、メモリ97に保持されたデータや情報を取得してよい。サーバ制御部91は、データや情報を端末80へ送り、このデータや情報に基づく表示情報を表示部88に表示させてよい。
サーバ制御部91は、衛星画像通信部96を介して、衛星画像及びその付加情報を取得してよい。この衛星画像は、リアルタイムで取得された衛星画像(リアルタイム衛星画像)となる。サーバ制御部91は、画像DB991から、画像DB991に蓄積された衛星画像及びその付加情報を取得してよい。この衛星画像は、過去に取得された衛星画像(非リアルタイム衛星画像)となる。
サーバ制御部91は、通信部95を介して、集荷領域A1の情報を取得してよい。サーバ制御部91は、取得された集荷領域A1を画像範囲に含む衛星画像を取得してよい。この衛星画像は、リアルタイム衛星画像でも非リアルタイム衛星画像でもよい。
次に、画像サーバ90のサーバ制御部91が有する荷物の集荷の支援に関する機能について説明する。サーバ制御部91は、処理部の一例である。なお、第1の実施形態における無人航空機100のUAV制御部110が有する荷物の集荷に関する機能と同様の機能については、説明を省略又は簡略化する。
サーバ制御部91は、荷物の集荷の支援に関する処理を実行する。サーバ制御部91は、荷物の集荷領域を示す情報を取得してよい。サーバ制御部91は、集荷領域を画像領域に含む衛星画像を取得してよい。サーバ制御部91は、取得された衛星画像において、荷物を識別するための標識を検出(認識)してよい。サーバ制御部91は、検出された標識に基づいて、荷物が集荷対象であるか否かを判定してよい。サーバ制御部91は、空撮画像における標識の位置に基づいて、集荷位置の情報を取得してよい。サーバ制御部91は、1つ以上の集荷位置を通る集荷経路を生成してよい。サーバ制御部91は、取得された集荷位置の情報や生成された集荷経路の情報を、通信部95を介して無人航空機100Aへ送信してよい。
サーバ制御部91は、無人航空機100Aが所定の位置(例えば集荷位置、集荷位置周辺の任意の場所(例えば、集荷依頼者の自宅前の道路、近所の公園))に、無人航空機100Aが着陸可能であるかを判定してよい。つまり、サーバ制御部91は、無人航空機100Aが所定の位置に着陸することが適しているか否かを判定してよい。
サーバ制御部91は、集荷位置が着陸に適していないと判定された場合、荷物の集荷位置を変更してよい。サーバ制御部91は、変更後の集荷位置を決定してよい。この場合、サーバ制御部91は、衛星画像における集荷領域A1に係る画像範囲に係る3次元形状データを取得又は生成し、3次元形状データを基に、着陸に適した変更後の集荷位置を決定してよい。
このように、画像サーバ90は、着陸に適しているか否かを判断することで、荷物の集荷場所が着陸に関して安全なエリアであるかどうかを見分けることができる。また、画像サーバ90は、着陸に適していない場合に集荷位置を変更することで、より安全性の高いエリアに荷物を置くことができ、集荷時に荷物が適切に集荷される可能性を高くできる。
サーバ制御部91は、集荷位置が着陸に適していないと判定された場合、通信部95を介して、集荷位置が着陸に適していない旨の情報を端末80へ送信してもよい。端末80の端末制御部81は、通信部85を介して、集荷位置が着陸に適していない旨の情報を取得し、この情報を提示(例えば表示、音声出力)させてよい。これにより、ユーザは、集荷位置が着陸に適していない旨を認識できる。
サーバ制御部91は、集荷位置が着陸に適していないと判定された場合、例えば通信部95を介して、変更後の集荷位置の情報を端末80へ送信してもよい。端末80の端末制御部81は、通信部85を介して、変更後の集荷位置の情報を取得し、この情報を提示(例えば表示、音声出力)させてよい。変更後の集荷位置の情報は、荷物の移動を促す情報の一例である。
これにより、集荷依頼者は、端末80の提示を介して、変更後の集荷位置を認識でき、変更前の集荷位置に配置された荷物を、より集荷に適した変更後の集荷位置に荷物を移動可能となる。このように、画像サーバ90は、荷物の配置位置を、無人航空機100Aの着陸を加味して誘導できる。
サーバ制御部91は、集荷対象の荷物が集荷可能であるか否かを判定してよい。サーバ制御部91は、通信部95を介して、この判定結果を無人航空機100Aへ通知してよい。無人航空機100Aでは、UAV制御部110Aは、集荷対象の荷物が集荷可能であると判定された場合、荷物を集荷するよう制御してよい。UAV制御部110Aは、集荷対象の荷物が集荷可能でないと判定された場合、荷物を集荷せずに、無人航空機100Aが倉庫等に戻るように飛行制御してよい。
これにより、無人航空機100Aは、安全に集荷や運搬が可能と見込まれた荷物を対象として、集荷及び運搬が可能となる。したがって、無人航空機100Aは、集荷や運搬の途中において荷物が落下等して、荷物が破損等することを抑制できる。
サーバ制御部91は、荷物を集荷しないと判定された場合、通信部95を介して、端末80へ荷物を集荷しない旨を含む通知情報を送信してよい。端末80の端末制御部81は、通信部85を介してこの通知情報を受信し、荷物を集荷しない旨を提示(例えば表示、音声出力)してよい。
これにより、集荷依頼者は、端末80の提示を確認して荷物が集荷されない旨を認識でき、荷物の目的地へ配送するための他の手段を講じることができる。
次に、集荷システム10Aの動作例について説明する。
荷物C1の集荷準備に係る動作は、第1の実施形態と同様でよい。
次に、荷物C1の集荷及び集荷支援に係る動作例について説明する。
まず、1つの荷物C1の集荷が実施されることを想定する。
図15は、集荷システム10Aの第1動作例を示すシーケンス図である。図15において、図8に示した処理と同様の処理については、同一のステップ番号を付し、その説明を省略又は簡略化する。
画像サーバ90では、サーバ制御部91は、通信部95を介して、集荷依頼に係る集荷情報及び荷物情報に含まれる少なくとも一部の情報を取得する(S21)。サーバ制御部91により取得される情報には、集荷依頼に係る集荷領域A1の情報が含まれる。
サーバ制御部91は、例えば衛星画像通信部96を介して、集荷領域A1の衛星画像を取得する(S22)。
サーバ制御部91は、衛星画像において画像認識等により標識MKを探索し、標識MKを検出する(S23)。S23では、1つの標識MKが検出される。
サーバ制御部91は、検出された標識MKが集荷対象の荷物C1に対応する標識であるか否かを判定する(S24)。検出された標識MKが集荷対象の荷物C1に対応する標識でない場合、図15の処理を終了する。標識MKが集荷対象の荷物C1に対応する標識であるか否かの判定は、図9のS113,S114の判定と同様でよい。
サーバ制御部91は、検出された標識MKが集荷対象の荷物C1に対応する標識である場合、標識MKに対応する荷物C1が配置された集荷位置の情報を取得する(S25)。
サーバ制御部91は、通信部95を介して、取得された集荷位置の情報を無人航空機100Aへ送信する(S26)。
無人航空機100Aでは、UAV制御部110Aは、通信インタフェース150を介して、集荷位置の情報を受信する(S31)。UAV制御部110Aは、集荷位置へ無人航空機100Aを飛行させる(S32)。
UAV制御部110Aは、集荷位置又は集荷位置周辺に配置された荷物C1を集荷させる(S33)。例えば、UAV制御部110Aは、荷物保持部を動作させることで、集荷対象の荷物C1を保持する。
UAV制御部110Aは、集荷された荷物C1を倉庫や配送先へ運搬するよう、無人航空機100Aを飛行させる(S34)。運搬先の情報は、通信インタフェース150を介して、集荷サーバ40又は画像サーバ90から集荷情報に含めて取得されてよい。
このような荷物C1の集荷及び集荷支援動作によれば、画像サーバ90は、衛星画像を用いて標識MKの存在位置に相当する集荷位置を検出し、無人航空機100Aへ通知できる。無人航空機100Aは、荷物C1が置かれた集荷位置へ向かい、荷物C1を集荷して運搬できる。したがって、集荷依頼者が宅配業者の指定場所(例えば郵便局)に荷物C1を持ち込む必要がなくなる。よって、画像サーバ90は、集荷依頼者の利便性を向上できる。また、画像サーバ90は、集荷を依頼された宅配業者の担当者が、集荷依頼者により指定された時間に所定場所(例えば集荷依頼者の自宅)へ集荷に行くことを不要にでき、集荷担当者の利便性を向上できる。そのため、画像サーバ90は、集荷作業に要する人件費を低減できる。また、画像サーバ90は、所定場所又は所定時間帯での集荷待ちの時間を削減でき、利便性を向上できる。つまり、画像サーバ90は、集荷作業のコストを削減し、集荷を高速化、自動化できる。
また、画像サーバ90は、集荷前に標識MKに対応する荷物C1が集荷対象の荷物C1であるか否かを判別することで、集荷対象の荷物C1を確実に集荷できる。このように、画像サーバ90は、荷物C1の集荷に係る煩雑性を低減でき、集荷の正確性を向上できる。
また、画像サーバ90は、集荷領域A1において実際に無人航空機100Aが空撮しなくても、衛星画像に対する画像処理により標識MKの探索できる。そのため、画像サーバ90は、無人航空機100Aが標識探索のために集荷領域A1へ向かう時間を削減でき、標識探索を高速化でき、電力消費を低減できる。
なお、無人航空機100AのUAV制御部110Aは、集荷対象の荷物C1に対応する標識MKを撮像部220に撮像させてよい。UAV制御部110Aは、通信インタフェース150を介して、撮像画像に対する画像認識に基づく標識MKの情報(例えば標識MKに係る集荷情報や荷物情報)を、集荷サーバ40から取得してよい。UAV制御部110Aは、通信インタフェース150を介して、衛星画像に対する画像認識に基づく標識MKの情報(例えば標識MKに係る集荷情報や荷物情報)を、画像サーバ90から取得してよい。UAV制御部110Aは、取得された双方の標識MKの情報を比較し、一致しているか否かを判定してよい。一致している場合に、UAV制御部110Aは、集荷対象の荷物C1を集荷させてよい。これにより、無人航空機100Aは、実際の荷物C1の集荷前に標識MKの情報を照合することで、衛星画像に基づく標識探索の精度が低い場合でも、荷物C1を誤集荷することを抑制できる。
次に、複数の荷物C1の集荷が実施されることを想定する。
図16は、集荷システム10Aの第2動作例を示すシーケンス図である。図16において、図15に示した処理と同様の処理については、同一のステップ番号を付し、その説明を省略又は簡略化する。
まず、画像サーバ90は、図15のS21,S22の処理を実行する。
サーバ制御部91は、衛星画像において画像認識等により標識MKを探索し、標識MKを検出する(S23A)。S23では、複数の標識MKが検出される。
サーバ制御部91は、検出された複数の標識MKのうち、集荷対象の荷物に対応する標識を認定する(S24A)。集荷対象の荷物C1に対応する標識であるか否かの判定は、図9に示したS113,S114における判定方法と同様でよい。例えば、複数の標識MKが、集荷対象の荷物C1に対応する標識として認定される。
サーバ制御部91は、認定された複数の標識MKに対応する荷物C1が配置された複数の集荷位置の情報を取得する(S25A)。サーバ制御部91は、複数の集荷位置を通る集荷経路を生成する(S25B)。
サーバ制御部91は、通信部95を介して、生成された集荷経路の情報を無人航空機100Aへ送信する(S26A)。
無人航空機100Aでは、UAV制御部110Aは、通信インタフェース150を介して、集荷経路の情報を受信する(S31A)。UAV制御部110Aは、集荷経路に従って、集荷位置へ無人航空機100Aを飛行させる(S32A)。
UAV制御部110Aは、集荷経路上に存在する複数の集荷位置又は集荷位置周辺に配置された複数の荷物C1を集荷させる(S33A)。例えば、UAV制御部110Aは、荷物保持部を動作させることで、集荷対象の複数の荷物C1を保持する。
UAV制御部110Aは、集荷された複数の荷物C1を倉庫や配送先へ運搬するよう、無人航空機100Aを飛行させる(S34A)。運搬先の情報は、通信インタフェース150を介して、集荷サーバ40又は画像サーバ90から集荷情報に含めて取得されてよい。
このような複数の荷物C1の集荷及び集荷支援動作によれば、画像サーバ90は、無人航空機100Aにより複数の荷物C1を1度の集荷作業で集荷するための集荷経路を生成できる。無人航空機100Aは、集荷経路に従って、複数の荷物C1を集荷できる。よって、画像サーバ90は、集荷対象の荷物C1が複数存在しても、集荷に必要な無人航空機100Aの台数を低減できる。
なお、画像サーバ90が有する集荷支援機能を、端末80が有してもよい。この場合、端末80は、衛星画像を衛星300から取得し、衛星画像を基に標識探索、集荷位置取得、集荷経路生成、等の集荷支援を行ってよい。また、端末80は、無人航空機100Aによる空撮画像を無人航空機100Aから取得し、空撮画像を基に標識探索、集荷位置取得、集荷経路生成、等の集荷支援を行ってよい。また、端末80以外の情報処理装置(例えばPC)が同様の集荷支援機能を有してもよい。
以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10,10A 集荷システム
40 集荷サーバ
80 端末
81 端末制御部
82 インタフェース部
83 操作部
85 無線通信部
87 メモリ
88 表示部
90 画像サーバ
91 サーバ制御部
95 無線通信部
96 衛星画像通信部
97 メモリ
99 ストレージ
991 画像DB
100,100A 無人航空機
110,110A UAV制御部
150 通信インタフェース
160 メモリ
200 ジンバル
210 回転翼機構
211 回転翼
220,230 撮像部
225 アーム部
240 GPS受信機
250 慣性計測装置
260 磁気コンパス
270 気圧高度計
280 超音波センサ
290 レーザー測定器
300 衛星
C1 荷物
MK 標識
AP1,AP21,AP22 空撮経路

Claims (32)

  1. 荷物を集荷する飛行体であって、
    前記荷物の集荷に関する処理を実行する処理部と、
    画像を撮像する撮像部と、を有し、
    前記処理部は、
    前記荷物の集荷領域を示す情報を取得し、
    前記集荷領域へ前記飛行体を飛行させ、
    前記撮像部に前記集荷領域を空撮させて画像を取得し、
    前記画像において、集荷対象の荷物又は前記集荷対象の荷物を収容するケースに付加された標識であって前記集荷対象の荷物を識別するための標識を検出し、
    前記画像における前記標識の位置に基づいて、前記荷物の集荷位置を取得し、
    前記集荷位置へ前記飛行体を飛行させる、
    飛行体。
  2. 前記処理部は、前記撮像部に前記集荷領域を同一の高度で順次空撮させて、前記画像を取得する、
    請求項1に記載の飛行体。
  3. 前記処理部は、前記撮像部に前記集荷領域を異なる高度で順次空撮させて、前記画像を取得する、
    請求項1又は2に記載の飛行体。
  4. 前記処理部は、
    第1の高度で、前記撮像部に前記集荷領域を空撮させて、第1の画像を取得し、
    前記第1の画像において前記標識の候補を検出し、
    前記第1の画像において前記標識の候補が検出されなかった場合又は複数の前記標識の候補が検出された場合、前記第1の高度よりも低い第2の高度で、前記撮像部に前記集荷領域を空撮させて、第2の画像を取得し、
    前記第2の画像において前記標識を検出する、
    請求項3に記載の飛行体。
  5. 前記処理部は、
    前記第1の画像において複数の前記標識の候補が検出された場合、前記第2の高度で、前記集荷領域における前記標識の候補が検出された部分領域を前記撮像部に空撮させて、前記第2の画像を取得し、
    前記第2の画像において前記標識を検出する、
    請求項4に記載の飛行体。
  6. 前記処理部は、
    前記画像において複数の前記標識を検出し、
    前記画像における複数の前記標識の位置に基づいて、複数の前記集荷位置を取得し、
    複数の前記集荷位置へ前記飛行体を飛行させる、
    請求項1又は2に記載の飛行体。
  7. 前記処理部は、
    複数の前記集荷位置を通る集荷経路を生成し、
    前記集荷経路に従って前記飛行体を飛行させる、
    請求項6に記載の飛行体。
  8. 前記処理部は、
    前記集荷位置が集荷に適しているか否かを判定し、
    前記集荷位置が集荷に適していないと判定された場合、前記集荷位置を変更し、
    変更された前記集荷位置へ前記飛行体を飛行させる、
    請求項7に記載の飛行体。
  9. 前記処理部は、前記集荷に適していないと判定された場合、前記荷物の移動を促す情報を通知する、
    請求項8に記載の飛行体。
  10. 前記処理部は、
    前記集荷位置において前記荷物を集荷させ、
    集荷された前記荷物を運搬させる、
    請求項1〜9のいずれか1項に記載の飛行体。
  11. 前記飛行体は、前記荷物を保持するための荷物保持部を備え、
    前記処理部は、前記荷物保持部を動作させて、前記荷物保持部に前記荷物を保持させる、
    請求項10に記載の飛行体。
  12. 前記処理部は、
    前記荷物が集荷に適しているか否かを判定し、
    前記荷物が集荷に適していると判定された場合、前記荷物を集荷させる、
    請求項10又は11に記載の飛行体。
  13. 前記処理部は、
    前記荷物が集荷に適していないと判定された場合、前記荷物が集荷に適していない旨を通知する、
    請求項12に記載の飛行体。
  14. 飛行体による荷物の集荷を支援する集荷支援装置であって、
    前記荷物の集荷を支援するための処理を実行する処理部を有し、
    前記処理部は、
    前記荷物の集荷領域を示す情報を取得し、
    前記集荷領域の画像を取得し、
    前記画像において、集荷対象の荷物又は前記集荷対象の荷物を収容するケースに付加された標識であって前記集荷対象の荷物を識別するための標識を検出し、
    前記画像における前記標識の位置に基づいて、前記荷物の集荷位置を取得し、
    前記集荷位置の情報を前記飛行体へ送信する、
    集荷支援装置。
  15. 前記処理部は、
    前記画像において複数の前記標識を検出し、
    前記画像における複数の前記標識の位置に基づいて、複数の前記集荷位置を取得し、
    複数の前記集荷位置を通る集荷経路を生成し、
    前記集荷経路の情報を前記飛行体へ送信する、
    請求項14に記載の集荷支援装置。
  16. 荷物を集荷する飛行体における集荷制御方法であって、
    前記荷物の集荷領域を示す情報を取得するステップと、
    前記集荷領域へ前記飛行体を飛行させるステップと、
    前記飛行体が備える撮像部に前記集荷領域を空撮させて画像を取得するステップと、
    前記画像において、集荷対象の荷物又は前記集荷対象の荷物を収容するケースに付加された標識であって前記集荷対象の荷物を識別するための標識を検出するステップと、
    前記画像における前記標識の位置に基づいて、前記荷物の集荷位置を取得するステップと、
    前記集荷位置へ前記飛行体を飛行させるステップと、
    を有する集荷制御方法。
  17. 前記画像を取得するステップは、前記撮像部に前記集荷領域を同一の高度で順次空撮させて、前記画像を取得するステップ、を含む、
    請求項16に記載の集荷制御方法。
  18. 前記画像を取得するステップは、前記撮像部に前記集荷領域を異なる高度で順次空撮させて、前記画像を取得するステップ、を含む、
    請求項16又は17に記載の集荷制御方法。
  19. 前記画像を取得するステップは、第1の高度で、前記撮像部に前記集荷領域を空撮させて、第1の画像を取得するステップ、を含み、
    前記標識を検出するステップは、前記第1の画像において前記標識の候補を検出するステップ、を含み、
    前記画像を取得するステップは、前記第1の画像において前記標識の候補が検出されなかった場合又は複数の前記標識の候補が検出された場合、前記第1の高度よりも低い第2の高度で、前記撮像部に前記集荷領域を空撮させて、第2の画像を取得するステップ、を含み、
    前記標識を検出するステップは、前記第2の画像において前記標識を検出するステップ、を含む、
    請求項18に記載の集荷制御方法。
  20. 前記画像を取得するステップは、前記第1の画像において複数の前記標識の候補が検出された場合、前記第2の高度で、前記集荷領域における前記標識の候補が検出された部分領域を前記撮像部に空撮させて、前記第2の画像を取得するステップ、を含み、
    前記標識を検出するステップは、前記第2の画像において前記標識を検出するステップ、を含む、
    請求項19に記載の集荷制御方法。
  21. 前記標識を検出するステップは、前記画像において複数の前記標識を検出するステップ、を含み、
    前記集荷位置を取得するステップは、前記画像における複数の前記標識の位置に基づいて、複数の前記集荷位置を取得するステップ、を含み、
    前記集荷位置へ前記飛行体を飛行させるステップは、複数の前記集荷位置へ前記飛行体を飛行させるステップ、を含む、
    請求項16又は17に記載の集荷制御方法。
  22. 複数の前記集荷位置を通る集荷経路を生成するステップ、を更に含み、
    前記集荷位置へ前記飛行体を飛行させるステップは、前記集荷経路に従って前記飛行体を飛行させるステップ、を含む、
    請求項21に記載の集荷制御方法。
  23. 前記集荷位置が集荷に適しているか否かを判定するステップと、
    前記集荷に適していないと判定された場合、前記集荷位置を変更するステップと、更に含み、
    前記集荷位置へ前記飛行体を飛行させるステップは、変更された前記集荷位置へ前記飛行体を飛行させるステップ、を含む、
    請求項16〜22のいずれか1項に記載の集荷制御方法。
  24. 前記集荷に適していないと判定された場合、前記荷物の移動を促す情報を通知するステップ、を更に含む、
    請求項23に記載の集荷制御方法。
  25. 前記集荷位置において前記荷物を集荷させるステップと、
    集荷された前記荷物を運搬させるステップと、を更に含む、
    請求項16〜24のいずれか1項に記載の集荷制御方法。
  26. 前記荷物を集荷させるステップは、前記飛行体が備える荷物保持部を動作させて、前記荷物保持部に前記荷物を保持させるステップ、を含む、
    請求項25に記載の集荷制御方法。
  27. 前記荷物が集荷に適しているか否かを判定するステップ、を更に含み、
    前記荷物を集荷させるステップは、前記荷物が集荷に適していると判定された場合、前記荷物を集荷させるステップ、を含む、
    請求項25又は26に記載の集荷制御方法。
  28. 前記荷物が集荷に適していないと判定された場合、前記荷物が集荷に適していない旨を通知するステップ、を更に含む、
    請求項27に記載の集荷制御方法。
  29. 飛行体による荷物の集荷を支援する集荷支援装置における集荷支援方法であって、
    前記荷物の集荷領域を示す情報を取得するステップと、
    前記集荷領域の画像を取得するステップと、
    前記画像において、集荷対象の荷物又は前記集荷対象の荷物を収容するケースに付加された標識であって前記集荷対象の荷物を識別するための標識を検出するステップと、
    前記画像における前記標識の位置に基づいて、前記荷物の集荷位置を取得するステップと、
    前記集荷位置の情報を前記飛行体へ送信するステップと、
    を有する集荷支援方法。
  30. 前記標識を検出するステップは、前記画像において複数の前記標識を検出するステップ、を含み、
    前記集荷位置を取得するステップは、前記画像における複数の前記標識の位置に基づいて、複数の前記集荷位置を取得するステップ、を含み、
    複数の前記集荷位置を通る集荷経路を生成するステップと、
    前記集荷経路の情報を前記飛行体へ送信するステップと、を更に含む、
    請求項29に記載の集荷支援方法。
  31. 荷物を集荷する飛行体に、
    前記荷物の集荷領域を示す情報を取得するステップと、
    前記集荷領域へ前記飛行体を飛行させるステップと、
    前記飛行体が備える撮像部に前記集荷領域を空撮させて画像を取得するステップと、
    前記画像において、集荷対象の荷物又は前記集荷対象の荷物を収容するケースに付加された標識であって前記集荷対象の荷物を識別するための標識を検出するステップと、
    前記画像における前記標識の位置に基づいて、前記荷物の集荷位置を取得するステップと、
    前記集荷位置へ前記飛行体を飛行させるステップと、
    を実行させるためのプログラム。
  32. 荷物を集荷する飛行体に、
    前記荷物の集荷領域を示す情報を取得するステップと、
    前記集荷領域へ前記飛行体を飛行させるステップと、
    前記飛行体が備える撮像部に前記集荷領域を空撮させて画像を取得するステップと、
    前記画像において、集荷対象の荷物又は前記集荷対象の荷物を収容するケースに付加された標識であって前記集荷対象の荷物を識別するための標識を検出するステップと、
    前記画像における前記標識の位置に基づいて、前記荷物の集荷位置を取得するステップと、
    前記集荷位置へ前記飛行体を飛行させるステップと、
    を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
JP2017126715A 2017-06-28 2017-06-28 飛行体、集荷支援装置、集荷制御方法、集荷支援方法、プログラム、及び記録媒体 Active JP6889046B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017126715A JP6889046B2 (ja) 2017-06-28 2017-06-28 飛行体、集荷支援装置、集荷制御方法、集荷支援方法、プログラム、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017126715A JP6889046B2 (ja) 2017-06-28 2017-06-28 飛行体、集荷支援装置、集荷制御方法、集荷支援方法、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2019006356A JP2019006356A (ja) 2019-01-17
JP6889046B2 true JP6889046B2 (ja) 2021-06-18

Family

ID=65027467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017126715A Active JP6889046B2 (ja) 2017-06-28 2017-06-28 飛行体、集荷支援装置、集荷制御方法、集荷支援方法、プログラム、及び記録媒体

Country Status (1)

Country Link
JP (1) JP6889046B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021029065A1 (ja) * 2019-08-15 2021-02-18 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
JP2021033897A (ja) * 2019-08-29 2021-03-01 ダイハツ工業株式会社 荷物運搬システム
JP7044826B2 (ja) * 2019-08-30 2022-03-30 楽天グループ株式会社 制御装置、システム、及び、方法
CN113056420A (zh) * 2019-10-29 2021-06-29 乐天株式会社 进行航空器控制的控制装置、及控制方法
JP6786140B1 (ja) * 2020-03-04 2020-11-18 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
KR102379546B1 (ko) * 2020-07-15 2022-03-25 노원일 파노라마 촬영 카메라용 드론 결합장치 및 이를 구비한 드론
JP7227333B2 (ja) * 2020-08-26 2023-02-21 楽天グループ株式会社 航空機、制御方法、及び制御装置
US12007788B2 (en) * 2020-08-26 2024-06-11 Rakuten Group, Inc. Aircraft, control method, and control device
WO2022064691A1 (ja) * 2020-09-28 2022-03-31 日本電気株式会社 集荷支援装置、集荷支援方法、及び、プログラム記録媒体
US20240169304A1 (en) * 2021-05-26 2024-05-23 Rakuten Group, Inc. Information processing device, information processing method, and delivery system
JP7244594B2 (ja) * 2021-08-24 2023-03-22 楽天グループ株式会社 物流システム、物流管理方法及びプログラム
JP7331234B2 (ja) * 2021-11-18 2023-08-22 楽天グループ株式会社 航空機、制御方法、及び制御装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6558169B2 (ja) * 2015-09-16 2019-08-14 株式会社デンソーウェーブ 飛行配送システム
US10088736B2 (en) * 2015-09-24 2018-10-02 Amazon Technologies, Inc. Unmanned aerial vehicle descent
US9412280B1 (en) * 2015-11-05 2016-08-09 Daniel Ian Zwillinger Cooperative system and method for precise autonomous delivery

Also Published As

Publication number Publication date
JP2019006356A (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
JP6889046B2 (ja) 飛行体、集荷支援装置、集荷制御方法、集荷支援方法、プログラム、及び記録媒体
US10315763B2 (en) Managing package deliveries by robotic vehicles
US11475390B2 (en) Logistics system, package delivery method, and program
US10839336B2 (en) Unmanned delivery
US11488089B2 (en) Logistics system, package delivery method, and program
US11474515B2 (en) Method and control apparatus for an autonomous and/or semiautonomous transport vehicle
JP6859241B2 (ja) 飛行体、生体探索システム、生体探索方法、プログラム、及び記録媒体
JP2018528542A (ja) 無人航空機を降下するための平坦表面を判断する方法
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
WO2018209898A1 (zh) 信息处理装置、航拍路径生成方法、航拍路径生成系统、程序以及记录介质
JP6712682B1 (ja) 配置場所の決定方法、輸送システム、及び情報処理装置
JP6817422B2 (ja) 情報処理装置、空撮経路生成方法、空撮経路生成システム、プログラム、及び記録媒体
US20200151668A1 (en) Information processing device, flying object, transport network generation method, transport method, program, and recording medium
JPWO2020115902A1 (ja) 物品受け渡し場所の決定方法、着陸場所の決定方法、物品受け渡しシステム、及び情報処理装置
JP6861434B2 (ja) 飛行体の誘導方法、誘導装置、及び誘導システム
US20210208608A1 (en) Control method, control apparatus, control terminal for unmanned aerial vehicle
CN111344650B (zh) 信息处理装置、飞行路径生成方法、程序以及记录介质
JP2023100642A (ja) 検査システム
JP2024009938A (ja) 無人飛行体のフライト管理サーバ及びフライト管理システム
JP7441983B2 (ja) 制御装置、制御方法、及び無人航空機探索システム
CN111752293B (zh) 用于对能够自主移动的机器进行导引的方法和电子设备
JP6681102B2 (ja) 検査システム
JP6974290B2 (ja) 位置推定装置、位置推定方法、プログラム、及び記録媒体
JP2020160019A (ja) 物体の三次元形状の測定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210520

R150 Certificate of patent or registration of utility model

Ref document number: 6889046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150