JPWO2018158927A1 - 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体 - Google Patents

3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体 Download PDF

Info

Publication number
JPWO2018158927A1
JPWO2018158927A1 JP2019502400A JP2019502400A JPWO2018158927A1 JP WO2018158927 A1 JPWO2018158927 A1 JP WO2018158927A1 JP 2019502400 A JP2019502400 A JP 2019502400A JP 2019502400 A JP2019502400 A JP 2019502400A JP WO2018158927 A1 JPWO2018158927 A1 JP WO2018158927A1
Authority
JP
Japan
Prior art keywords
flight
subject
altitude
range
radius
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019502400A
Other languages
English (en)
Other versions
JP6878567B2 (ja
Inventor
磊 顧
磊 顧
斌 陳
斌 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JPWO2018158927A1 publication Critical patent/JPWO2018158927A1/ja
Application granted granted Critical
Publication of JP6878567B2 publication Critical patent/JP6878567B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Abstract

被写体の形状の高度における変化の有無に拘わらず、高精度に被写体の形状を推定し、飛行時における飛行体と被写体との衝突を回避する。3次元形状推定方法は、設定された飛行高度毎の飛行範囲の飛行中に、飛行体により被写体の情報を取得し、取得された被写体の情報に基づいて被写体の3次元形状を推定する。

Description

本開示は、飛行体により撮像された被写体の3次元形状を推定する3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体に関する。
撮影機器を搭載し、予め設定された固定経路を飛行しながら撮影を行うプラットフォーム(例えば無人飛行体)が知られている(例えば特許文献1参照)。このプラットフォームは、地上基地から飛行経路や撮影指示等の命令を受け、その命令に従って飛行し、撮影を行って取得画像を地上基地に送る。プラットフォームは、撮影対象を撮影する場合、設定された固定経路を飛行しながら、プラットフォームと撮影対象との位置関係に基づいて、プラットフォームの撮像機器を傾斜して撮像する。
また従来、空中を飛行する無人飛行体(例えばUAV:Unmanned Aerial Vehicle)により撮影された空中写真等の撮像画像に基づいて、建物等の被写体の3次元形状を推定することも知られている。無人飛行体による撮影(例えば空撮)を自動化するために、予め無人飛行体の飛行経路を生成する技術が用いられる。従って、無人飛行体を用いて建物等の被写体の3次元形状を推定するためには、予め生成した飛行経路に従って無人飛行体を飛行させ、無人飛行体が飛行経路中の異なる撮像位置において撮影した被写体の撮像画像を複数取得する必要がある。
日本国特開2010−61216号公報
無人飛行体により推定される建物等の被写体の形状が比較的簡単(例えば円柱状)であれば被写体の高度による形状の変化が殆ど無く、無人飛行体は、固定の飛行中心から固定の飛行半径で円周方向に円旋回飛行して高度を変えながら被写体を撮影すればよい。これにより、無人飛行体から被写体までの距離を高度に拘わらずに適正に保てるので、無人飛行体に設定された所望解像度を満たした被写体の撮影ができ、その撮影により得られた撮像画像に基づく被写体の3次元形状の推定が可能となる。
しかし、建物等の被写体の形状が高度によって変化する複雑な形状(例えば斜円柱状、又は錐体)であると、高さ方向における被写体の中心が一定とならず、更に、無人飛行体の飛行時の飛行半径も一定とならない。従って、特許文献1を含む従来技術では、無人飛行体により撮影された撮像画像の解像度が被写体の高度によってばらついて低下する場合があり、その撮影により得られた撮像画像に基づく被写体の3次元形状の推定が困難となる可能性があった。また、高度によって被写体の形状が変化するので、事前の無人飛行体の飛行経路の生成も容易ではなく、無人飛行体が飛行時に建物等の被写体に衝突する可能性もあった。
一態様において、3次元形状推定方法は、設定された飛行高度毎の飛行範囲の飛行中に、飛行体により被写体の情報を取得するステップと、
取得された前記被写体の情報に基づいて、前記被写体の3次元形状を推定するステップと、を有する。
3次元形状推定方法は、被写体の高さに応じて、被写体の周囲を飛行する飛行体の飛行範囲を飛行高度毎に設定するステップを更に有してよい。
飛行範囲を設定するステップは、飛行体の現在の飛行高度の飛行中に取得された被写体の情報に基づいて、飛行体の次の飛行高度の飛行範囲を設定するステップを含んでよい。
次の飛行高度の飛行範囲を設定するステップは、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、現在の飛行高度における被写体の半径及び中心を推定するステップと、推定された現在の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定するステップと、を含んでよい。
次の飛行高度の飛行範囲を設定するステップは、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、次の飛行高度における被写体の半径及び中心を推定するステップと、推定された次の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定するステップと、を含んでよい。
次の飛行高度の飛行範囲を設定するステップは、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、現在の飛行高度における被写体の半径及び中心を推定するステップと、推定された現在の飛行高度における被写体の半径及び中心を用いて、次の飛行高度における被写体の半径及び中心を予測するステップと、予測された次の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定するステップと、を含んでよい。
3次元形状推定方法は、飛行高度毎の飛行範囲の飛行を制御するステップ、を更に有してよい。
飛行範囲を設定するステップは、設定された飛行高度毎の飛行範囲の飛行中に取得された被写体の情報に基づいて、飛行高度毎の飛行範囲における被写体の半径及び中心を推定するステップを含み、被写体の3次元形状を推定するステップは、推定された飛行高度毎の飛行範囲における被写体の半径及び中心を用いて、被写体の3次元形状を推定するステップを含んでよい。
飛行範囲を設定するステップは、被写体の高さ、被写体の中心、被写体の半径、飛行体に含まれる撮像部の設定解像度をそれぞれ取得するステップと、取得された被写体の高さ、中心及び半径と設定解像度とを用いて、被写体の頂上付近を飛行高度とする飛行体の初期飛行範囲を設定するステップと、を含んでよい。
飛行体の飛行範囲を設定するステップは、被写体の高さ、被写体の中心、飛行体の飛行半径をそれぞれ取得するステップと、取得された被写体の高さ及び中心と飛行半径とを用いて、被写体の頂上付近を飛行高度とする飛行体の初期飛行範囲を設定するステップと、を含んでよい。
飛行範囲を設定するステップは、飛行高度毎の飛行範囲に複数の撮像位置を設定するステップを含み、被写体の情報を取得するステップは、設定された複数の撮像位置のうち隣接するそれぞれの撮像位置において、飛行体により被写体の一部を重複して撮像するステップを含んでよい。
3次元形状推定方法は、飛行体の次の飛行高度が所定の飛行高度以下となるか否かを判断するステップを更に有してよい。被写体の情報を取得するステップは、飛行体の次の飛行高度が所定の飛行高度以下となると判断されるまで、設定された飛行高度毎の飛行体の飛行範囲における被写体の情報の取得を繰り返すステップを含んでよい。
被写体の情報を取得するステップは、設定された飛行高度毎の飛行範囲の飛行中に、飛行体により被写体を撮像するステップを含んでよい。3次元形状を推定するステップは、撮像された飛行高度毎の被写体の複数の撮像画像に基づいて、被写体の3次元形状を推定するステップを含んでよい。
被写体の情報を取得するステップは、設定された飛行高度毎の飛行範囲の飛行中に、飛行体が有する光照射計を用いた測距結果と被写体の位置情報とを取得するステップを含んでよい。
飛行範囲を設定するステップは、設定された初期飛行範囲を飛行体に飛行させるステップと、初期飛行範囲の飛行中に取得された被写体の情報に基づいて、初期飛行範囲における被写体の半径及び中心を推定するステップと、推定された初期飛行範囲における被写体の半径及び中心を用いて、初期飛行範囲を調整するステップと、を含んでよい。
飛行を制御するステップは、調整された初期飛行範囲を飛行体に飛行させるステップを含み、飛行範囲を設定するステップは、調整された初期飛行範囲の飛行中に撮像された被写体の複数の撮像画像に基づいて、初期飛行範囲における被写体の半径及び中心を推定するステップと、推定された初期飛行範囲における被写体の半径及び中心を用いて、初期飛行範囲の飛行高度の次の飛行高度の飛行範囲を設定するステップと、を含んでよい。
一態様において、飛行体は、設定された飛行高度毎の飛行範囲の飛行中に、被写体の情報を取得する取得部と、取得された被写体の情報に基づいて、被写体の3次元形状を推定する形状推定部と、を備える。
飛行体は、被写体の高さに応じて、被写体の周囲を飛行する飛行体の飛行範囲を飛行高度毎に設定する設定部、を更に備えてよい。
設定部は、飛行体の現在の飛行高度の飛行中に取得された被写体の情報に基づいて、飛行体の次の飛行高度の飛行範囲を設定してよい。
設定部は、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、現在の飛行高度における被写体の半径及び中心を推定し、推定された現在の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定してよい。
設定部は、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、次の飛行高度における被写体の半径及び中心を推定し、推定された次の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定してよい。
設定部は、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、現在の飛行高度における被写体の半径及び中心を推定し、推定された現在の飛行高度における被写体の半径及び中心を用いて、次の飛行高度における被写体の半径及び中心を予測し、予測された次の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定してよい。
飛行体は、飛行高度毎の飛行範囲の飛行を制御する飛行制御部、を更に備えてよい。
設定部は、飛行高度毎の飛行範囲の飛行中に取得された被写体の情報に基づいて、飛行高度毎の飛行範囲における被写体の半径及び中心を推定し、形状推定部は、推定された飛行高度毎の飛行範囲における被写体の半径及び中心を用いて、被写体の3次元形状を推定してよい。
設定部は、被写体の高さ、被写体の中心、被写体の半径、飛行体に含まれる撮像部の設定解像度をそれぞれ取得し、取得された被写体の高さ、中心及び半径と設定解像度とを用いて、被写体の頂上付近を飛行高度とする飛行体の初期飛行範囲を設定してよい。
設定部は、被写体の高さ、被写体の中心、飛行体の飛行半径をそれぞれ取得し、取得された被写体の高さ及び中心と飛行半径とを用いて、被写体の頂上付近を飛行高度とする飛行体の初期飛行範囲を設定してよい。
設定部は、飛行高度毎の飛行範囲に複数の撮像位置を設定し、取得部は、設定された複数の撮像位置のうち隣接するそれぞれの撮像位置において、被写体の一部を重複して撮像してよい。
飛行体は、飛行体の次の飛行高度が所定の飛行高度以下となるか否かを判断する判断部を更に備えてよい。取得部は、飛行体の次の飛行高度が所定の飛行高度以下となると判断されるまで、飛行制御部に基づく飛行高度毎の飛行体の飛行範囲における被写体の情報の取得を繰り返してよい。
取得部は、設定された飛行高度毎の飛行範囲の飛行中に、被写体を撮像する撮像部を含んでよい。形状推定部は、撮像された飛行高度毎の被写体の複数の撮像画像に基づいて、被写体の3次元形状を推定してよい。
取得部は、設定された飛行高度毎の飛行範囲の飛行中に、飛行体が有する光照射計を用いた測距結果と被写体の位置情報とを取得してよい。
飛行制御部は、設定された初期飛行範囲を飛行体に飛行させ、設定部は、飛行制御部に基づく初期飛行範囲の飛行中に取得された被写体の情報に基づいて、初期飛行範囲における被写体の半径及び中心を推定し、推定された初期飛行範囲における被写体の半径及び中心を用いて、初期飛行範囲を調整してよい。
飛行制御部は、調整された初期飛行範囲を飛行体に飛行させ、設定部は、調整された初期飛行範囲の飛行中に撮像された被写体の複数の撮像画像に基づいて、初期飛行範囲における被写体の半径及び中心を推定し、推定された初期飛行範囲における被写体の半径及び中心を用いて、初期飛行範囲の飛行高度の次の飛行高度の飛行範囲を設定してよい。
一態様において、モバイルプラットフォームは、被写体の周囲を飛行する飛行体と通信可能に接続されたモバイルプラットフォームであって、設定された飛行高度毎の飛行範囲の飛行中に、飛行体に被写体の情報の取得を指示する取得指示部と、取得された被写体の情報に基づいて、被写体の3次元形状を推定する形状推定部と、を備える。
モバイルプラットフォームは、被写体の高さに応じて、飛行体の飛行範囲を飛行高度毎に設定する設定部、を更に備えてよい。
設定部は、飛行体の現在の飛行高度の飛行中に取得された被写体の情報に基づいて、飛行体の次の飛行高度の飛行範囲を設定してよい。
設定部は、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、現在の飛行高度における被写体の半径及び中心を推定し、推定された現在の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定してよい。
設定部は、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、次の飛行高度における被写体の半径及び中心を推定し、推定された次の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定してよい。
設定部は、現在の飛行高度の飛行範囲の飛行中に取得された被写体の情報に基づいて、現在の飛行高度における被写体の半径及び中心を推定し、推定された現在の飛行高度における被写体の半径及び中心を用いて、次の飛行高度における被写体の半径及び中心を予測し、予測された次の飛行高度における被写体の半径及び中心を用いて、次の飛行高度の飛行範囲を設定してよい。
モバイルプラットフォームは、飛行高度毎の飛行範囲の飛行を制御する飛行制御部、を更に備えてよい。
設定部は、飛行高度毎の飛行範囲の飛行中に取得された被写体の情報に基づいて、飛行高度毎の飛行範囲における被写体の半径及び中心を推定し、形状推定部は、推定された飛行高度毎の飛行範囲における被写体の半径及び中心を用いて、被写体の3次元形状を推定してよい。
設定部は、被写体の高さ、被写体の中心、被写体の半径、飛行体に含まれる撮像部の設定解像度をそれぞれ取得し、取得された被写体の高さ、中心及び半径と設定解像度とを用いて、被写体の頂上付近を飛行高度とする飛行体の初期飛行範囲を設定してよい。
設定部は、被写体の高さ、被写体の中心、飛行体の飛行半径をそれぞれ取得し、取得された被写体の高さ及び中心と飛行半径とを用いて、被写体の頂上付近を飛行高度とする飛行体の初期飛行範囲を設定してよい。
設定部は、飛行高度毎の飛行範囲に複数の撮像位置を設定し、取得指示部は、設定された複数の撮像位置のうち隣接するそれぞれの撮像位置において、飛行体に被写体の一部を重複して撮像させてよい。
モバイルプラットフォームは、飛行体の次の飛行高度が所定の飛行高度以下となるか否かを判断する判断部を更に備えてよい。取得指示部は、飛行体の次の飛行高度が所定の飛行高度以下となると判断されるまで、飛行制御部に基づく飛行高度毎の飛行体の飛行範囲における被写体の情報の取得を繰り返させてよい。
取得指示部は、設定された飛行高度毎の飛行範囲の飛行中に、被写体を撮像するための指示を飛行体に送信してよい。形状推定部は、飛行体により撮像された飛行高度毎の被写体の複数の撮像画像に基づいて、被写体の3次元形状を推定してよい。
取得指示部は、設定された飛行高度毎の飛行範囲の飛行中に、飛行体が有する光照射計を用いた測距結果と被写体の位置情報との取得の指示を飛行体に送信してよい。
飛行制御部は、設定された初期飛行範囲を飛行体に飛行させ、設定部は、飛行制御部に基づく初期飛行範囲の飛行中に取得された被写体の情報に基づいて、初期飛行範囲における被写体の半径及び中心を推定し、推定された初期飛行範囲における被写体の半径及び中心を用いて、初期飛行範囲を調整してよい。
飛行制御部は、調整された初期飛行範囲を飛行体に飛行させ、設定部は、調整された初期飛行範囲の飛行中に取得された被写体の情報に基づいて、初期飛行範囲における被写体の半径及び中心を推定し、推定された初期飛行範囲における被写体の半径及び中心を用いて、初期飛行範囲の飛行高度の次の飛行高度の飛行範囲を設定してよい。
モバイルプラットフォームは、飛行体との間の通信を用いて飛行体を遠隔制御する操作端末、又は操作端末と接続され、操作端末を介して飛行体を遠隔制御する通信端末のいずれかであってよい。
一態様において、記録媒体は、コンピュータである飛行体に、設定された飛行高度毎の飛行範囲の飛行中に、飛行体により被写体の情報を取得するステップと、取得された被写体の情報に基づいて、被写体の3次元形状を推定するステップと、を実行させるためのプログラムを記録したコンピュータ読み取り可能な、記録媒体である。
一態様において、プログラムは、コンピュータである飛行体に、設定された飛行高度毎の飛行範囲の飛行中に、飛行体により被写体の情報を取得するステップと、取得された被写体の情報に基づいて、被写体の3次元形状を推定するステップと、を実行させるための、プログラムである。
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
各実施の形態の3次元形状推定システムの第1の構成例を示す図である。 無人飛行体の外観の一例を示す図である。 無人飛行体の具体的な外観の一例を示す図である。 図1の3次元形状推定システムを構成する無人飛行体のハードウェア構成の一例を示すブロック図である。 送信機の外観の一例を示す図である。 図1の3次元形状推定システムを構成する送信機のハードウェア構成の一例を示すブロック図である。 本実施の形態の3次元形状推定システムの第2の構成例を示す図である。 図7の3次元形状推定システムを構成する送信機のハードウェア構成の一例を示すブロック図である。 図7の3次元形状推定システムを構成する無人飛行体のハードウェア構成の一例を示すブロック図である。 本実施の形態の3次元形状推定システムの第3の構成例を示す図である。 図10の3次元形状推定システムを構成する通信端末(例えばタブレット端末)が装着された送信機の外観の一例を示す斜視図である。 図10の3次元形状推定システムを構成する通信端末(例えばスマートフォン)が装着された送信機の外観の一例を示す斜視図である。 図10の3次元形状推定システムを構成する、送信機と通信端末との電気的な接続関係の一例を示すブロック図である。 被写体周辺を上空から見た平面図である。 被写体を正面から見た正面図である。 水平撮像間隔を算出するための説明図である。 水平角度の一例を示す模式図である。 実施の形態1の被写体の3次元形状の推定の動作概要の説明図である。 実施の形態1の3次元形状推定方法の動作手順の一例を示すフローチャートである。 図18のステップS7の変形例1の動作手順の一例を示すフローチャートである。 図18のステップS7の変形例2の動作手順の一例を示すフローチャートである。 実施の形態2の被写体の3次元形状の推定の動作概要の説明図である。 実施の形態2の3次元形状推定方法の動作手順の一例を示すフローチャートである。
以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。
本開示に係る3次元形状推定システムは、移動体の一例としての無人飛行体(UAV:Unmanned Aerial Vehicle)と、無人飛行体の動作又は処理を遠隔で制御するためのモバイルプラットフォームとを含む構成である。
無人飛行体は、空中を移動する航空機(例えばドローン、ヘリコプター)を含む。無人飛行体は、被写体(例えば不規則な形状を有する建物)の高さに応じて設定された飛行高度毎の飛行範囲(以下、「飛行コース」とも称する場合がある)を水平方向かつ円周方向に円旋回しながら飛行する。飛行高度毎の飛行範囲は、被写体の周囲を囲むように設定され、例えば円形状に設定される。無人飛行体は、飛行高度毎の飛行範囲を円旋回しながら飛行している間、被写体を空撮する。
また以下の説明において、本開示に係る3次元形状推定システムの特徴を分かり易く説明するために、被写体の形状は複雑とする。例えば斜円柱状又は錐体のように、被写体の形状が無人飛行体の飛行高度によって変化する。但し、被写体の形状は、例えば円柱状のように比較的簡単な形状であってよい。つまり、被写体の形状が無人飛行体の飛行高度によって変化しなくてもよい。
モバイルプラットフォームは、コンピュータであって、例えば無人飛行体の移動を含む各種処理の遠隔制御を指示するための送信機、又は送信機と情報やデータの入出力が可能に接続された通信端末である。なお、無人飛行体自体がモバイルプラットフォームとして含まれてよい。
本開示に係る3次元形状推定方法は、3次元形状推定システム、無人飛行体、又はモバイルプラットフォームにおける各種の処理(ステップ)が規定されたものである。
本開示に係る記録媒体は、プログラム(つまり、無人飛行体又はモバイルプラットフォームに各種の処理(ステップ)を実行させるためのプログラム)が記録されたものである。
本開示に係るプログラムは、無人飛行体又はモバイルプラットフォームに各種の処理(ステップ)を実行させるためのプログラムである。
(実施の形態1)
実施の形態1では、無人飛行体100は、入力パラメータ(後述参照)に基づいて、被写体の周囲を円旋回して飛行する初期の飛行範囲(図17に示す初期飛行コースC1参照)を設定する。
図1は、各実施の形態の3次元形状推定システム10の第1の構成例を示す図である。図1に示す3次元形状推定システム10は、無人飛行体100と送信機50とを少なくとも含む。無人飛行体100と送信機50とは、有線通信又は無線通信(例えば無線LAN(Local Area Network)、又はBluetooth(登録商標))を用いて、情報やデータを互いに通信することが可能である。なお図1では、送信機50の筐体に通信端末80が取り付けられた様子の図示が省略されている。操作端末の一例としての送信機50は、例えば送信機50を使用する人物(以下、「ユーザ」という)の両手で把持された状態で使用される。
図2は、無人飛行体100の外観の一例を示す図である。図3は、無人飛行体100の具体的な外観の一例を示す図である。無人飛行体100が移動方向STV0に飛行する時の側面図が図2に示され、無人飛行体100が移動方向STV0に飛行する時の斜視図が図3に示されている。無人飛行体100は、撮像部の一例としての撮像装置220,230を備えて移動する移動体の一例である。移動体とは、無人飛行体100の他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。ここで、図2及び図3に示すように、地面と平行であって移動方向STV0に沿う方向にロール軸(図2及び図3のx軸参照)が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸(図2及び図3のy軸参照)が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(図2及び図3のz軸)が定められる。
無人飛行体100は、UAV本体102と、ジンバル200と、撮像装置220と、複数の撮像装置230とを含む構成である。無人飛行体100は、本開示に係るモバイルプラットフォームの一例としての送信機50から送信される遠隔制御の指示を基に移動する。無人飛行体100の移動は、飛行を意味し、少なくとも上昇、降下、左旋回、右旋回、左水平移動、右水平移動の飛行が含まれる。
UAV本体102は、複数の回転翼を備える。UAV本体102は、複数の回転翼の回転を制御することにより無人飛行体100を移動させる。UAV本体102は、例えば4つの回転翼を用いて無人飛行体100を移動させる。回転翼の数は、4つに限定されない。また、無人飛行体100は、回転翼を有さない固定翼機でよい。
撮像装置220は、所望の撮像範囲に含まれる被写体(例えば上述した不規則な形状を有する建物)を撮像する撮像用のカメラである。なお被写体は、無人飛行体100の空撮対象となる上空の様子、山や川等の景色が含まれてよい。
複数の撮像装置230は、無人飛行体100の移動を制御するために無人飛行体100の周囲を撮像するセンシング用のカメラである。2つの撮像装置230が、無人飛行体100の機首である正面に設けられてよい。更に、他の2つの撮像装置230が、無人飛行体100の底面に設けられてよい。正面側の2つの撮像装置230はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置230もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置230により撮像された画像に基づいて、無人飛行体100の周囲の3次元空間データが生成されてよい。なお、無人飛行体100が備える撮像装置230の数は4つに限定されない。無人飛行体100は、少なくとも1つの撮像装置230を備えていればよい。無人飛行体100は、無人飛行体100の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置230を備えてよい。撮像装置230で設定できる画角は、撮像装置220で設定できる画角より広くてよい。撮像装置230は、単焦点レンズ又は魚眼レンズを有してよい。
次に、無人飛行体100の構成例について説明する。
図4は、図1の3次元形状推定システム10を構成する無人飛行体100のハードウェア構成の一例を示すブロック図である。無人飛行体100は、UAV制御部110と、通信インタフェース150と、メモリ160と、バッテリ170と、ジンバル200と、回転翼機構210と、撮像装置220と、撮像装置230と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270と、超音波高度計280と、レーザ測距計290とを含む構成である。
UAV制御部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部110は、無人飛行体100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
UAV制御部110は、メモリ160に格納されたプログラムに従って無人飛行体100の飛行を制御する。UAV制御部110は、通信インタフェース150を介して遠隔の送信機50から受信した命令に従って、無人飛行体100の移動(つまり、飛行)を制御する。メモリ160は、無人飛行体100から取り外し可能であってよい。
UAV制御部110は、複数の撮像装置230により撮像された複数の画像を解析することで、無人飛行体100の周囲の環境を特定してよい。UAV制御部110は、無人飛行体100の周囲の環境に基づいて、例えば障害物を回避して飛行を制御する。UAV制御部110は、複数の撮像装置230により撮像された複数の画像に基づいて無人飛行体100の周囲の3次元空間データを生成し、3次元空間データに基づいて飛行を制御してよい。
UAV制御部110は、現在の日時を示す日時情報を取得する。UAV制御部110は、GPS受信機240から現在の日時を示す日時情報を取得してよい。UAV制御部110は、無人飛行体100に搭載されたタイマ(不図示)から現在の日時を示す日時情報を取得してよい。
UAV制御部110は、無人飛行体100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から、無人飛行体100が存在する緯度、経度及び高度を示す位置情報を取得してよい。UAV制御部110は、GPS受信機240から無人飛行体100が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計270又は超音波高度計280から無人飛行体100が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。
UAV制御部110は、磁気コンパス260から無人飛行体100の向きを示す向き情報を取得する。向き情報には、例えば無人飛行体100の機首の向きに対応する方位が示される。
UAV制御部110は、撮像装置220が撮像すべき撮像範囲を撮像する時に無人飛行体100が存在すべき位置を示す位置情報を取得してよい。UAV制御部110は、無人飛行体100が存在すべき位置を示す位置情報をメモリ160から取得してよい。UAV制御部110は、無人飛行体100が存在すべき位置を示す位置情報を、通信インタフェース150を介して送信機50等の他の装置から取得してよい。UAV制御部110は、3次元地図データベースを参照して、撮像すべき撮像範囲を撮像するために、無人飛行体100が存在可能な位置を特定して、その位置を無人飛行体100が存在すべき位置を示す位置情報として取得してよい。
UAV制御部110は、撮像装置220及び撮像装置230のそれぞれの撮像範囲を示す撮像情報を取得する。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220及び撮像装置230の画角を示す画角情報を撮像装置220及び撮像装置230から取得する。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220及び撮像装置230の撮像方向を示す情報を取得する。UAV制御部110は、例えば撮像装置220の撮像方向を示す情報として、ジンバル200から撮像装置220の姿勢の状態を示す姿勢情報を取得する。UAV制御部110は、無人飛行体100の向きを示す情報を取得する。撮像装置220の姿勢の状態を示す情報は、ジンバル200のピッチ軸及びヨー軸の基準回転角度からの回転角度を示す。UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人飛行体100が存在する位置を示す位置情報を取得する。UAV制御部110は、撮像装置220及び撮像装置230の画角及び撮像方向、並びに無人飛行体100が存在する位置に基づいて、撮像装置220が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲を示す撮像情報を生成することで、撮像情報を取得してよい。
UAV制御部110は、撮像装置220が撮像すべき撮像範囲を示す撮像情報を取得してよい。UAV制御部110は、メモリ160から撮像装置220が撮像すべき撮像情報を取得してよい。UAV制御部110は、通信インタフェース150を介して送信機50等の他の装置から撮像装置220が撮像すべき撮像情報を取得してよい。
UAV制御部110は、無人飛行体100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得する。オブジェクトは、例えば、建物、道路、車、木等の風景の一部である。立体情報は、例えば、3次元空間データである。UAV制御部110は、複数の撮像装置230から得られたそれぞれの画像から、無人飛行体100の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。UAV制御部110は、メモリ160に格納された3次元地図データベースを参照することにより、無人飛行体100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。UAV制御部110は、ネットワーク上に存在するサーバが管理する3次元地図データベースを参照することで、無人飛行体100の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。
UAV制御部110は、撮像装置220及び撮像装置230により撮像された被写体の画像データ(以下、「撮像画像」と称する場合がある)を取得する。
UAV制御部110は、ジンバル200、回転翼機構210、撮像装置220、及び撮像装置230を制御する。UAV制御部110は、撮像装置220の撮像方向又は画角を変更することによって、撮像装置220の撮像範囲を制御する。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像装置220の撮像範囲を制御する。
本明細書では、撮像範囲は、撮像装置220又は撮像装置230により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、撮像装置220又は撮像装置230の画角及び撮像方向、並びに無人飛行体100が存在する位置に基づいて特定される。撮像装置220及び撮像装置230の撮像方向は、撮像装置220及び撮像装置230の撮像レンズが設けられた正面が向く方位と俯角とから定義される。撮像装置220の撮像方向は、無人飛行体100の機首の方位と、ジンバル200に対する撮像装置220の姿勢の状態とから特定される方向である。撮像装置230の撮像方向は、無人飛行体100の機首の方位と、撮像装置230が設けられた位置とから特定される方向である。
UAV制御部110は、回転翼機構210を制御することで、無人飛行体100の飛行を制御する。つまり、UAV制御部110は、回転翼機構210を制御することにより、無人飛行体100の緯度、経度及び高度を含む位置を制御する。UAV制御部110は、無人飛行体100の飛行を制御することにより、撮像装置220及び撮像装置230の撮像範囲を制御してよい。UAV制御部110は、撮像装置220が備えるズームレンズを制御することで、撮像装置220の画角を制御してよい。UAV制御部110は、撮像装置220のデジタルズーム機能を利用して、デジタルズームにより、撮像装置220の画角を制御してよい。UAV制御部110は、飛行高度毎に設定される飛行範囲(飛行コース)の途中に存在する撮像位置(後述するWaypoint)において、撮像装置220又は撮像装置230により被写体を水平方向、既定角度の方向、又は鉛直方向に撮像させる。既定角度の方向は、無人飛行体100又はモバイルプラットフォームが被写体の3次元形状の推定を行う上で適した既定値の角度の方向である。
撮像装置220が無人飛行体100に固定され、撮像装置220を動かせない場合、UAV制御部110は、特定の日時に特定の位置に無人飛行体100を移動させることにより、所望の環境下で所望の撮像範囲を撮像装置220に撮像させることができる。あるいは撮像装置220がズーム機能を有さず、撮像装置220の画角を変更できない場合でも、UAV制御部110は、特定された日時に、特定の位置に無人飛行体100を移動させることで、所望の環境下で所望の撮像範囲を撮像装置220に撮像させることができる。
また、UAV制御部110は、無人飛行体100の飛行高度毎に設定される飛行範囲(飛行コース)の生成に関する処理を行う飛行経路処理部111と、被写体の3次元形状データの推定及び生成に関する処理を行う形状データ処理部112とを含む。
取得部の一例としての飛行経路処理部111は、入力パラメータを取得してよい。又は、飛行経路処理部111は、送信機50が入力した入力パラメータを、通信インタフェース150を介して受信することで取得してよい。取得された入力パラメータは、メモリ160に保持されてよい。入力パラメータは、例えば被写体の周囲を円旋回して飛行する無人飛行体100の初期の飛行範囲(つまり、初期飛行範囲又は初期飛行コースC1(図17参照))の高度Hstartの情報、初期飛行コースC1の中心位置P0(例えば緯度及び経度)の情報を含む。また、入力パラメータは、初期飛行コースC1を飛行する無人飛行体100の初期飛行コースの半径を示す初期飛行半径Rflight0の情報、又は、被写体の半径Robj0の情報及び設定解像度の情報を含んでよい。なお、設定解像度は、撮像装置220,230により撮像される撮像画像の解像度(つまり、被写体BLの3次元形状を高精度に推定可能とするために適正な撮像画像を得るための解像度)を示し、無人飛行体100のメモリ160に保持されてよい。
なお、入力パラメータは、上述したパラメータの他に、無人飛行体100の初期飛行コースC1における撮像位置(つまり、Waypoint)の情報や、撮像位置を通る飛行経路を生成するための各種のパラメータを含んでよい。撮像位置は3次元空間における位置である。
また、入力パラメータは、例えば図17に示すそれぞれの飛行高度毎の飛行範囲(初期飛行コースC1,飛行コースC2,C3,C4,C5,C6,C7,C8)において設定される撮像位置(Waypoint)において無人飛行体100が被写体BLを撮像する時の撮像範囲の重複率の情報を含んでよい。また、入力パラメータは、無人飛行体100が被写体BLの3次元形状の推定を行うために飛行する最終の飛行高度を示す終了高度の情報、飛行コースの初期撮像位置の情報、の少なくとも1つを含んでよい。また、入力パラメータは、それぞれの飛行高度毎の飛行範囲(初期飛行コースC1,飛行コースC2〜C8)における撮像位置の間隔の情報を含んでよい。
また、飛行経路処理部111は、入力パラメータに含まれる少なくとも一部の情報を、送信機50から取得するのではなく、他の装置から取得してよい。例えば、飛行経路処理部111は、送信機50により特定された被写体の識別情報を受信して取得してよい。飛行経路処理部111は、特定された被写体の識別情報を基に、通信インタフェース150を介して外部サーバと通信し、被写体の識別情報に対応する被写体の半径の情報や被写体の高さの情報を受信して取得してよい。
撮像範囲の重複率は、水平方向又は上下方向で隣り合う撮像位置で撮像装置220又は撮像装置230により撮像される場合の2つの撮像範囲が重複する割合を示す。撮像範囲の重複率は、水平方向での撮像範囲の重複率(水平重複率ともいう)の情報、上下方向での撮像範囲の重複率(上下重複率ともいう)の情報、の少なくとも1つを含んでよい。水平重複率及び上下重複率は、同じでも異なってもよい。水平重複率及び上下重複率が異なる値である場合、水平重複率の情報及び上下重複率の情報のいずれも入力パラメータに含まれてよい。水平重複率及び上下重複率が同値である場合、同値である1つの重複率の情報が入力パラメータに含まれてよい。
撮像位置間隔は、空間的な撮像間隔であり、飛行経路において無人飛行体100が画像を撮像すべき複数の撮像位置のうち、隣り合う撮像位置の間の距離である。撮像位置間隔は、水平方向での撮像位置の間隔(水平撮像間隔ともいう)及び鉛直方向の撮像位置の間隔(上下撮像間隔ともいう)の少なくとも1つを含んでよい。飛行経路処理部111は、水平撮像間隔及び上下撮像間隔を含む撮像位置間隔を、算出して取得してもよいし、入力パラメータから取得してもよい。
つまり、飛行経路処理部111は、飛行高度毎の飛行範囲(飛行コース)上に、撮像装置220又は230により撮像する撮像位置(Waypoint)を配置してよい。撮像位置の間隔(撮像位置間隔)は、例えば等間隔で配置されてよい。撮像位置は、隣り合う撮像位置での撮像画像に係る撮像範囲が一部重複するよう配置される。複数の撮像画像を用いた3次元形状の推定を可能とするためである。撮像装置220又は230は所定の画角を有するので、撮像位置間隔を短くすることで、双方の撮像範囲の一部が重複する。
飛行経路処理部111は、例えば撮像位置が配置される高度(撮像高度)、撮像装置220又は230の解像度に基づき、撮像位置間隔を算出してよい。撮像高度が高い程又は撮像距離が長い程、撮像範囲の重複率が大きくなるので、撮像位置間隔を長く(疎に)できる。撮像高度が低い程又は撮像距離が短い程、撮像範囲の重複率が小さくなるので、撮像位置間隔を短く(密に)する。飛行経路処理部111は、更に撮像装置220又は230の画角を基に、撮像位置間隔を算出してよい。飛行経路処理部111は、その他公知の方法により撮像位置間隔を算出してよい。
飛行範囲(飛行コース)は、被写体の周囲に無人飛行体100が水平方向(言い換えると、飛行高度をほぼ変えずに)かつ円周方向に円旋回して飛行する飛行経路を周端部に含む範囲である。飛行範囲(飛行コース)は、飛行範囲を真上から見た断面形状が円形状に近似される範囲でよい。飛行範囲(飛行コース)を真上から見た断面形状は、円形以外の形状(例えば多角形状)でもよい。飛行経路(飛行コース)は、高度(撮像高度)が異なる複数の飛行コースを有してよい。飛行経路処理部111は、被写体の中心位置の情報(例えば緯度及び経度の情報)と被写体の半径の情報とを基に、飛行範囲を算出してよい。飛行経路処理部111は、被写体の中心位置と被写体の半径とを基に、被写体を円形状に近似して、飛行範囲を算出してよい。また、飛行経路処理部111は、入力パラメータに含まれる送信機50が生成した飛行範囲の情報を取得してよい。
飛行経路処理部111は、撮像装置220の画角又は撮像装置230の画角の情報を、撮像装置220又は撮像装置230から取得してよい。撮像装置220の画角又は撮像装置230の画角は、水平方向と上下方向とで同じでも異なってもよい。水平方向での撮像装置220の画角又は撮像装置230の画角を水平画角とも称する。上下方向での撮像装置220の画角又は撮像装置230の画角を上下画角とも称する。飛行経路処理部111は、水平画角及び上下画角が同値である場合、同値である1つの画角の情報を取得してよい。
飛行経路処理部111は、被写体の半径、飛行範囲の半径、撮像装置220の水平画角又は撮像装置230の水平画角、撮像範囲の水平重複率に基づいて、水平撮像間隔を算出してよい。飛行経路処理部111は、被写体の半径、飛行範囲の半径、撮像装置220の上下画角又は撮像装置230の上下画角、撮像範囲の上下重複率に基づいて、上下撮像間隔を算出してよい。
飛行経路処理部111は、飛行範囲及び撮像位置間隔に基づいて、無人飛行体100による被写体の撮像位置(Waypoint)を決定する。無人飛行体100による撮像位置は、水平方向において等間隔に配置されてよく、最後の撮像位置と最初の撮像位置との距離は撮像位置間隔より短くてよい。この間隔は、水平撮像間隔となる。無人飛行体100による撮像位置は、上下方向において等間隔に配置されてよく、最後の撮像位置と最初の撮像位置との距離は撮像位置間隔より短くてよい。この間隔は、上下撮像間隔となる。
飛行経路処理部111は、決定された撮像位置を通る飛行範囲(飛行コース)を生成する。飛行経路処理部111は、1つの飛行コースにおいて水平方向に隣り合う各撮像位置を順に通り、この飛行コースにおける各撮像位置を全て通過した後、次の飛行コースへ進入する飛行経路を生成してよい。飛行経路処理部111は、次の飛行コースにおいても同様に、水平方向に隣り合う各撮像位置を順に通り、この飛行コースにおける各撮像位置を全て通過した後、その次の飛行コースへ進入する飛行経路を生成してよい。飛行経路は、上空側を始点として飛行経路を進むにつれて高度が下降するように形成されてよい。一方、飛行経路は、地面側を始点として飛行経路を進むにつれて高度が上昇するように形成されてよい。
飛行経路処理部111は、生成された飛行経路に従って、無人飛行体100の飛行を制御してよい。飛行経路処理部111は、飛行経路の途中に存在する撮像位置において、撮像装置220又は撮像装置230により被写体を撮像させてよい。無人飛行体100は、被写体の側方を周回して、飛行経路に従って飛行してよい。従って、撮像装置220又は撮像装置230は、飛行経路における撮像位置において、被写体の側面を撮像してよい。撮像装置220又は撮像装置230により撮像された撮像画像は、メモリ160に保持されてよい。UAV制御部110は、適宜(例えば3次元形状データの生成時)メモリ160を参照してよい。
形状データ処理部112は、撮像装置220,230のいずれかにより異なる撮像位置において撮像された複数の撮像画像に基づいて、オブジェクト(被写体)の立体形状(3次元形状)を示す立体情報(3次元情報、3次元形状データ)を生成してよい。よって、撮像画像は、3次元形状データを復元するための1つの画像として用いられてよい。3次元形状データを復元するための撮像画像は、静止画像でよい。複数の撮像画像に基づく3次元形状データの生成手法としては、公知の方法を用いてよい。公知の方法として、例えば、MVS(Multi View Stereo)、PMVS(Patch-based MVS)、SfM(Structure from Motion)が挙げられる。
3次元形状データの生成に用いられる撮像画像は、静止画でよい。3次元形状データの生成に用いられる複数の撮像画像には、互いに撮像範囲が一部重複する2つの撮像画像が含まれる。この重複の割合(つまり撮像範囲の重複率)が高い程、同一範囲において3次元形状データを生成する場合には、3次元形状データの生成に用いられる撮像画像の数が多くなる。従って、形状データ処理部112は、3次元形状の復元精度を向上できる。一方、撮像範囲の重複率が低い程、同一範囲において3次元形状データを生成する場合には、3次元形状データの生成に用いられる撮像画像の数が少なくなる。従って、形状データ処理部112は、3次元形状データの生成時間を短縮できる。なお、複数の撮像画像において、互いに撮像範囲が一部重複する2つの撮像画像が含まれなくてもよい。
形状データ処理部112は、複数の撮像画像として、被写体の側面が撮像された撮像画像を含んで取得する。従って、形状データ処理部112は、一律に上空から鉛直方向を撮像した撮像画像を取得する場合と比較すると、被写体の側面における画像特徴を多数収集でき、被写体周辺の3次元形状の復元精度を向上できる。
通信インタフェース150は、送信機50と通信する(図4参照)。通信インタフェース150は、遠隔の送信機50からUAV制御部110に対する各種の命令を受信する。
メモリ160は、UAV制御部110がジンバル200、回転翼機構210、撮像装置220、撮像装置230、GPS受信機240、慣性計測装置250、磁気コンパス260及び気圧高度計270を制御するのに必要なプログラム等を格納する。メモリ160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ160は、UAV本体102の内部に設けられてよい。UAV本体102から取り外し可能に設けられてよい。
バッテリ170は、無人飛行体100の各部の駆動源としての機能を有し、無人飛行体100の各部に必要な電源を供給する。
ジンバル200は、少なくとも1つの軸を中心に撮像装置220を回転可能に支持する。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置220を回転させることで、撮像装置220の撮像方向を変更してよい。
回転翼機構210は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。
撮像装置220は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像装置220の撮像により得られた画像データは、撮像装置220が有するメモリ、又はメモリ160に格納される。
撮像装置230は、無人飛行体100の周囲を撮像して撮像画像のデータを生成する。撮像装置230の画像データは、メモリ160に格納される。
GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人飛行体100の位置)を算出する。GPS受信機240は、無人飛行体100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
慣性計測装置250は、無人飛行体100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置IMU250は、無人飛行体100の姿勢として、無人飛行体100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出する。
磁気コンパス260は、無人飛行体100の機首の方位を検出し、検出結果をUAV制御部110に出力する。
気圧高度計270は、無人飛行体100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。
超音波高度計280は、超音波を照射し、地面や物体により反射された超音波を検出し、検出結果をUAV制御部110に出力する。検出結果は、例えば無人飛行体100から地面までの距離(つまり、高度)を示す。検出結果は、例えば無人飛行体100から物体までの距離を示してよい。
光照射計の一例としてのレーザ測距計290は、無人飛行体100の飛行高度毎に設定された飛行範囲(飛行コース)の飛行中に被写体に向けてレーザ光を照射し、無人飛行体100と被写体との間の距離を測距する。測距結果は、UAV制御部110に入力される。なお、光照射計は、レーザ測距計290に限定されず、例えば赤外線を照射する赤外線測距計でよい。
次に、送信機50の構成例について説明する。
図5は、送信機50の外観の一例を示す斜視図である。送信機50に対する上下前後左右の方向は、図5に示す矢印の方向にそれぞれ従うとする。送信機50は、例えば送信機50を使用するユーザの両手で把持された状態で使用される。
送信機50は、例えば略正方形状の底面を有し、かつ高さが底面の一辺より短い略直方体(言い換えると、略箱形)の形状をした樹脂製の筐体50Bを有する。送信機50の具体的な構成は図6を参照して後述する。送信機50の筐体表面の略中央には、左制御棒53Lと右制御棒53Rとが突設して配置される。
左制御棒53L、右制御棒53Rは、それぞれユーザによる無人飛行体100の移動を遠隔で制御(例えば、無人飛行体100の前後移動、左右移動、上下移動、向き変更)するための操作において使用される。図5では、左制御棒53L及び右制御棒53Rは、ユーザの両手からそれぞれ外力が印加されていない初期状態の位置が示されている。左制御棒53L及び右制御棒53Rは、ユーザにより印加された外力が解放された後、自動的に所定位置(例えば図5に示す初期位置)に復帰する。
左制御棒53Lの手前側(言い換えると、ユーザ側)には、送信機50の電源ボタンB1が配置される。電源ボタンB1がユーザにより一度押下されると、例えば送信機50に内蔵されるバッテリ(不図示)の容量の残量がバッテリ残量表示部L2において表示される。電源ボタンB1がユーザによりもう一度押下されると、例えば送信機50の電源がオンとなり、送信機50の各部(図6参照)に電源が供給されて使用可能となる。
右制御棒53Rの手前側(言い換えると、ユーザ側)には、RTH(Return To Home)ボタンB2が配置される。RTHボタンB2がユーザにより押下されると、送信機50は、無人飛行体100に所定の位置に自動復帰させるための信号を送信する。これにより、送信機50は、無人飛行体100を所定の位置(例えば無人飛行体100が記憶している離陸位置)に自動的に帰還させることができる。RTHボタンB2は、例えば屋外での無人飛行体100による空撮中にユーザが無人飛行体100の機体を見失った場合、又は電波干渉や予期せぬトラブルに遭遇して操作不能になった場合等に利用可能である。
電源ボタンB1及びRTHボタンB2の手前側(言い換えると、ユーザ側)には、リモートステータス表示部L1及びバッテリ残量表示部L2が配置される。リモートステータス表示部L1は、例えばLED(Light Emission Diode)を用いて構成され、送信機50と無人飛行体100との無線の接続状態を表示する。バッテリ残量表示部L2は、例えばLEDを用いて構成され、送信機50に内蔵されたバッテリ(不図示)の容量の残量を表示する。
左制御棒53L及び右制御棒53Rより後側であって、かつ送信機50の筐体50Bの後方側面から、2つのアンテナAN1,AN2が突設して配置される。アンテナAN1,AN2は、ユーザの左制御棒53L及び右制御棒53Rの操作に基づき、送信機制御部61により生成された信号(つまり、無人飛行体100の移動を制御するための信号)を無人飛行体100に送信する。アンテナAN1,AN2は、例えば2kmの送受信範囲をカバーできる。また、アンテナAN1,AN2は、送信機50と無線接続中の無人飛行体100が有する撮像装置220,230により撮像された画像、又は無人飛行体100が取得した各種データが無人飛行体100から送信された場合に、これらの画像又は各種データを受信できる。
タッチパネルディスプレイTPD1は、例えばLCD(Crystal Liquid Display)又は有機EL(Electroluminescence)を用いて構成される。タッチパネルディスプレイTPD1の形状、サイズ、及び配置位置は任意であり、図6の図示例に限られない。
図6は、図1の3次元形状推定システム10を構成する送信機50のハードウェア構成の一例を示すブロック図である。送信機50は、左制御棒53Lと、右制御棒53Rと、送信機制御部61と、無線通信部63と、メモリ64と、電源ボタンB1と、RTHボタンB2と、操作部セットOPSと、リモートステータス表示部L1と、バッテリ残量表示部L2と、タッチパネルディスプレイTPD1とを含む構成である。送信機50は、無人飛行体100を遠隔制御するための操作端末の一例である。
左制御棒53Lは、例えばユーザの左手により、無人飛行体100の移動を遠隔で制御するための操作に使用される。右制御棒53Rは、例えばユーザの右手により、無人飛行体100の移動を遠隔で制御するための操作に使用される。無人飛行体100の移動は、例えば前進する方向の移動、後進する方向の移動、左方向の移動、右方向の移動、上昇する方向の移動、下降する方向の移動、左方向に無人飛行体100を回転する移動、右方向に無人飛行体100を回転する移動のうちいずれか又はこれらの組み合わせであり、以下同様である。
電源ボタンB1は一度押下されると、一度押下された旨の信号が送信機制御部61に入力される。送信機制御部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)の容量の残量をバッテリ残量表示部L2に表示する。これにより、ユーザは、送信機50に内蔵されるバッテリの容量の残量を簡単に確認できる。また、電源ボタンB1は二度押下されると、二度押下された旨の信号が送信機制御部61に渡される。送信機制御部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)に対し、送信機50内の各部への電源供給を指示する。これにより、ユーザは、送信機50の電源がオンとなり、送信機50の使用を簡単に開始できる。
RTHボタンB2は押下されると、押下された旨の信号が送信機制御部61に入力される。送信機制御部61は、この信号に従い、無人飛行体100に所定の位置(例えば無人飛行体100の離陸位置)に自動復帰させるための信号を生成し、無線通信部63及びアンテナAN1,AN2を介して無人飛行体100に送信する。これにより、ユーザは、送信機50に対する簡単な操作により、無人飛行体100を所定の位置に自動で復帰(帰還)させることができる。
操作部セットOPSは、複数の操作部(例えば操作部OP1,…,操作部OPn)(n:2以上の整数)を用いて構成される。操作部セットOPSは、図5に示す左制御棒53L、右制御棒53R、電源ボタンB1及びRTHボタンB2を除く他の操作部(例えば、送信機50による無人飛行体100の遠隔制御を支援するための各種の操作部)により構成される。ここでいう各種の操作部とは、例えば、無人飛行体100の撮像装置220を用いた静止画の撮像を指示するボタン、無人飛行体100の撮像装置220を用いた動画の録画の開始及び終了を指示するボタン、無人飛行体100のジンバル200(図4参照)のチルト方向の傾きを調整するダイヤル、無人飛行体100のフライトモードを切り替えるボタン、無人飛行体100の撮像装置220の設定を行うダイヤルが該当する。
また、操作部セットOPSは、無人飛行体100の撮像間隔位置、撮像位置、又は飛行経路を生成するための入力パラメータの情報を入力するパラメータ操作部OPAを有する。パラメータ操作部OPAは、スティック、ボタン、キー、タッチパネル、等により形成されてよい。パラメータ操作部OPAは、左制御棒53L、右制御棒53Rにより形成されてもよい。パラメータ操作部OPAにより入力パラメータに含まれる各パラメータを入力するタイミングは、全て同じでも異なってもよい。
入力パラメータは、飛行範囲の情報、飛行範囲の半径(飛行経路の半径)の情報、飛行範囲の中心位置の情報、被写体の半径の情報、被写体の高さの情報、水平重複率の情報、上下重複率の情報、撮像装置220又は撮像装置230の解像度の情報、の少なくとも1つを含んでよい。また、入力パラメータは、飛行経路の初期高度の情報、飛行経路の終了高度の情報、飛行コースの初期撮像位置の情報、の少なくとも1つを含んでよい。また、入力パラメータは、水平撮像間隔の情報、上下撮像間隔の情報、の少なくとも1つを含んでよい。
パラメータ操作部OPAは、緯度・経度の具体的な値又は範囲を入力することで、飛行範囲の情報、飛行範囲の半径(飛行経路の半径)の情報、飛行範囲の中心位置の情報、被写体の半径の情報、被写体の高さ(例えば初期高度、終了高度)の情報、水平重複率の情報、上下重複率の情報、撮像装置220又は撮像装置230の解像度の情報、の少なくとも1つを入力してよい。パラメータ操作部OPAは、緯度・経度の具体的な値又は範囲を入力することで、飛行経路の初期高度の情報、飛行経路の終了高度の情報、飛行コースの初期撮像位置の情報、の少なくとも1つを入力してよい。パラメータ操作部OPAは、緯度・経度の具体的な値又は範囲を入力することで、水平撮像間隔の情報、上下撮像間隔の情報、の少なくも1つを入力してよい。
リモートステータス表示部L1及びバッテリ残量表示部L2は、図5を参照して説明したので、ここでは説明を省略する。
送信機制御部61は、プロセッサ(例えばCPU、MPU又はDSP)を用いて構成される。送信機制御部61は、送信機50の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
例えば送信機制御部61は、ユーザの左制御棒53L及び右制御棒53Rの操作により、その操作により指定された無人飛行体100の移動を制御するための信号を生成する。送信機制御部61は、この生成した信号を、無線通信部63及びアンテナAN1,AN2を介して、無人飛行体100に送信して無人飛行体100を遠隔制御する。これにより、送信機50は、無人飛行体100の移動を遠隔で制御できる。例えば、設定部の一例としての送信機制御部61は、無人飛行体100に対し、飛行高度毎の飛行範囲(飛行コース)を設定する。また、判断部の一例としての送信機制御部61は、無人飛行体100の次の飛行高度が所定の飛行高度(つまり、終了高度Hend)以下となるか否かを判断する。また、飛行制御部の一例としての送信機制御部61は、無人飛行体100に対し、飛行高度毎の飛行範囲(飛行コース)の飛行を制御する。
例えば送信機制御部61は、無線通信部63を介して外部サーバ等が蓄積する地図データベースの地図情報を取得する。送信機制御部61は、表示部DPを介して地図情報を表示し、パラメータ操作部OPAを介して地図情報でのタッチ操作等により、飛行範囲を選択して、飛行範囲の情報、飛行範囲の半径(飛行経路の半径)の情報を取得してよい。送信機制御部61は、パラメータ操作部OPAを介して地図情報でのタッチ操作等により、被写体を選択して、被写体の半径の情報、被写体の高さの情報を取得してよい。また、送信機制御部61は、被写体の高さの情報を基に、飛行経路の初期高度の情報、飛行経路の終了高度の情報を算出して取得してよい。この初期高度及び終了高度は、被写体の側面の端部が撮像可能な範囲で算出されてよい。
例えば送信機制御部61は、パラメータ操作部OPAにより入力された入力パラメータを、無線通信部63を介して無人飛行体100へ送信する。入力パラメータに含まれる各パラメータの送信タイミングは、全て同じタイミングでも異なるタイミングでもよい。
送信機制御部61は、パラメータ操作部OPAにより得られた入力パラメータの情報を取得し、表示部DP及び無線通信部63へ送る。
無線通信部63は、2つのアンテナAN1,AN2と接続される。無線通信部63は、2つのアンテナAN1,AN2を介して、無人飛行体100との間で所定の無線通信方式(例えばWifi(登録商標))を用いた情報やデータの送受信を行う。無線通信部63は、送信機制御部61からの入力パラメータの情報を、無人飛行体100へ送信する。
メモリ64は、例えば送信機制御部61の動作を規定するプログラムや設定値のデータが格納されたROM(Read Only Memory)と、送信機制御部61の処理時に使用される各種の情報やデータを一時的に保存するRAM(Random Access Memory)とを有する。メモリ64のROMに格納されたプログラムや設定値のデータは、所定の記録媒体(例えばCD−ROM、DVD−ROM)にコピーされてよい。メモリ64のRAMには、例えば無人飛行体100の撮像装置220により撮像された空撮画像のデータが保存される。
タッチパネルディスプレイTPD1は、送信機制御部61により処理された各種データを表示してよい。タッチパネルディスプレイTPD1は、入力された入力パラメータの情報を表示する。従って、送信機50のユーザは、タッチパネルディスプレイTPD1を参照することで、入力パラメータの内容を確認できる。
なお、送信機50は、タッチパネルディスプレイTPD1を備える代わりに、後述する通信端末80(図13参照)と有線又は無線により接続されてもよい。通信端末80には、タッチパネルディスプレイTPD1と同様に、入力パラメータの情報が表示されてよい。通信端末80は、スマートフォン、タブレット端末、PC(Personal Computer)等でよい。また、通信端末80が入力パラメータの少なくとも1つを入力し、入力パラメータを有線通信又は無線通信で送信機50へ送り、送信機50の無線通信部63が無人飛行体100へ入力パラメータを送信してもよい。
図7は、本実施の形態の3次元形状推定システムの第2の構成例を示す図である。図7に示す3次元形状推定システム10Aは、無人飛行体100Aと送信機50Aとを少なくとも含む。無人飛行体100A及び送信機50Aは、有線通信又は無線通信(例えば無線LAN、Bluetooth(登録商標))により通信可能である。3次元形状推定システムの第2の構成例において、3次元形状推定システムの第1の構成例と同様の事項については、説明を省略又は簡略化する。
図8は、図7の3次元形状推定システムを構成する送信機のハードウェア構成の一例を示すブロック図である。送信機50Aは、送信機50と比較すると、送信機制御部61の代わりに送信機制御部61AAを備える。図8の送信機50Aにおいて、図6の送信機50と同様の構成については、同一の符号を付し、説明を省略又は簡略化する。
送信機制御部61AAは、送信機制御部61の機能に加え、無人飛行体100Aの飛行高度毎に設定される飛行範囲(飛行コース)の生成に関する処理を行う飛行経路処理部61Aと、被写体の3次元形状データの推定及び生成に関する処理を行う形状データ処理部61Bとを含む。飛行経路処理部61Aは、3次元形状推定システムの第1の構成例における無人飛行体100のUAV制御部110の飛行経路処理部111と同様である。形状データ処理部61Bは、3次元形状推定システムの第1の構成例における無人飛行体100のUAV制御部110の形状データ処理部112と同様である。
飛行経路処理部61Aは、パラメータ操作部OPAに入力された入力パラメータを取得する。飛行経路処理部61Aは、入力パラメータを必要に応じてメモリ64に保持する。飛行経路処理部61Aは、必要に応じて(例えば撮像位置間隔の算出時、撮像位置の決定時、飛行範囲(飛行コース)の生成時)にメモリ64から入力パラメータの少なくとも一部を読み込む。
メモリ64は、送信機50A内の各部を制御するのに必要なプログラム等を格納する。メモリ64は、飛行経路処理部61A及び形状データ処理部61Bの実行に必要なプログラム等を格納する。メモリ64は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ64は、送信機50Aの内部に設けられてよい。送信機50Aから取り外し可能に設けられてよい。
飛行経路処理部61Aは、3次元形状推定システムの第1の構成例の飛行経路処理部111と同様の方法で、撮像位置間隔の取得(例えば算出)、撮像位置の決定、飛行範囲(飛行コース)の生成及び設定等をしてよい。ここでは詳細な説明を省略する。送信機50Aは、パラメータ操作部OPAによる入力パラメータの入力から撮像位置間隔の取得(例えば算出)、撮像位置の決定、飛行範囲(飛行コース)の生成及び設定に至るまで、1つの装置で処理できる。よって、撮像位置の決定及び飛行範囲(飛行コース)の生成及び設定において通信が発生しないので、通信環境の良否に左右されずに撮像位置の決定及び飛行範囲(飛行コース)の生成及び設定が可能となる。飛行経路処理部61Aは、無線通信部63を介して、決定された撮像位置の情報及び生成された飛行範囲(飛行コース)の情報を、無人飛行体100Aへ送信する。
形状データ処理部61Bは、無線通信部63を介して、無人飛行体100Aにより撮像された撮像画像を受信して取得してよい。受信された撮像画像は、メモリ64に保持されてよい。形状データ処理部61Bは、取得された複数の撮像画像を基に、オブジェクト(被写体)の立体形状(3次元形状)を示す立体情報(3次元情報、3次元形状データ)を生成してよい。複数の撮像画像に基づく3次元形状データの生成手法としては、公知の方法を用いてよい。公知の方法として、例えば、MVS、PMVS、SfMが挙げられる。
図9は、図7の3次元形状推定システムを構成する無人飛行体のハードウェア構成の一例を示すブロック図である。無人飛行体100Aは、無人飛行体100と比較すると、UAV制御部110の代わりにUAV制御部110Aを備える。UAV制御部110Aは、図4に示す飛行経路処理部111及び形状データ処理部112を備えない。図9の無人飛行体100Aにおいて、図4の無人飛行体100と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
UAV制御部110Aは、通信インタフェース150を介して、各撮像位置の情報及び飛行範囲(飛行コース)の情報を送信機50Aから受信して取得してよい。撮像位置の情報及び飛行範囲(飛行コース)の情報は、メモリ160に保持されてよい。UAV制御部110Aは、送信機50Aから取得した撮像位置の情報及び飛行範囲(飛行コース)の情報に基づいて、無人飛行体100Aの飛行を制御し、飛行範囲(飛行コース)における各撮像位置において、被写体の側面を撮像する。各撮像画像は、メモリ160に保持されてよい。UAV制御部110Aは、通信インタフェース150を介して、撮像装置220又は230により撮像された撮像画像を送信機50Aへ送信してよい。
図10は、本実施の形態の3次元形状推定システムの第3の構成例を示す図である。図10に示す3次元形状推定システム10Bは、無人飛行体100A(図7参照)と送信機50(図1参照)とを少なくとも含む。無人飛行体100Aと送信機50とは、有線通信又は無線通信(例えば無線LAN(Local Area Network)、又はBluetooth(登録商標))を用いて、情報やデータを互いに通信することが可能である。なお図10では、送信機50の筐体に通信端末80が取り付けられた様子の図示が省略されている。3次元形状推定システムの第3の構成例において、3次元形状推定システムの第1の構成例又は第2の構成例と同様の事項については、説明を省略又は簡略化する。
図11は、図10の3次元形状推定システム10Bを構成する通信端末(例えばタブレット端末80T)が装着された送信機50の外観の一例を示す斜視図である。第3の構成例において、上下前後左右の方向は、図11に示す矢印の方向に従うとする。
ホルダ支持部51は、例えば略T字状に加工された金属を用いて構成され、3つの接合部を有する。3つの接合部のうち、2つの接合部(第1の接合部、第2の接合部)が筐体50Bに接合され、1つの接合部(第3の接合部)がホルダHLDに接合される。第1の接合部は、送信機50の筐体50Bの表面の略中央(例えば、左制御棒53Lと右制御棒53Rと電源ボタンB1とRTHボタンB2とにより囲まれる位置)に挿設される。第2の接合部は、送信機50の筐体50Bの表面の後側(例えば、左制御棒53L及び右制御棒53Rよりも後側の位置)にネジ(不図示)を介して挿設される。第3の接合部は、送信機50の筐体50Bの表面から離反した位置に設けられ、ヒンジ(不図示)を介してホルダHLDに固定される。第3の接合部は、ホルダHLDを支持する支点としての役割を有する。ホルダ支持部51は、送信機50の筐体50Bの表面から離反した状態でホルダHLDを支持する。ユーザの操作により、ヒンジを介して、ホルダHLDの角度の調整が可能である。
ホルダHLDは、通信端末(例えば図11ではタブレット端末80T)の載置面と、載置面の一端側において載置面を基準として上側に略90度起立する上端壁部UP1と、載置面の他端側において載置面を基準として上側に略90度起立する下端壁部UP2とを有する。ホルダHLDは、上端壁部UP1と載置面と下端壁部UP2とで挟み込むようにタブレット端末80Tを固定して保持可能である。載置面の幅(言い換えると、上端壁部UP1と下端壁部UP2との間の距離)は、ユーザにより調整可能である。載置面の幅は、例えばタブレット端末80Tが挟み込まれるように、タブレット端末80Tの筐体の一方向の幅と略同一となるように調整される。
図11に示すタブレット端末80Tには、USBケーブル(不図示)の一端が挿入されるUSBコネクタUJ1が設けられる。タブレット端末80Tは、表示部の一例としてのタッチパネルディスプレイTPD2を有する。従って、送信機50は、USBケーブル(不図示)を介して、タブレット端末80TのタッチパネルディスプレイTPD2と接続可能となる。また、送信機50は、筐体50Bの背面側にUSBポート(不図示)を有する。USBケーブル(不図示)の他端は、送信機50のUSBポート(不図示)に挿入される。これにより、送信機50は、通信端末80(例えばタブレット端末80T)との間で、例えばUSBケーブル(不図示)を介して情報やデータの入出力を行える。なお、送信機50は、マイクロUSBポート(不図示)を有してよい。マイクロUSBポート(不図示)には、マイクロUSBケーブル(不図示)が接続される。
図12は、図10の3次元形状推定システム10Bを構成する通信端末(例えばスマートフォン80S)が装着された送信機50の筐体前面側の外観の一例を示す斜視図である。図12の説明において、図11の説明と重複するものについては、同一の符号を付与して説明を簡略化又は省略する。
ホルダHLDは、上端壁部UP1と下端壁部UP2との間の略中央部に、左爪部TML及び右爪部TMRを有してよい。左爪部TML及び右爪部TMRは、例えばホルダHLDが幅広のタブレット端末80Tを保持する際には、載置面に沿うように倒される。一方、左爪部TML及び右爪部TMRは、例えばホルダHLDがタブレット端末80Tより幅狭のスマートフォン80Sを保持する際には、載置面を基準として上側に略90度起立する。これにより、スマートフォン80Sは、ホルダHLDの上端壁部UP1と左爪部TML及び右爪部TMRとにより保持される。
図12に示すスマートフォン80Sには、USBケーブル(不図示)の一端が挿入されるUSBコネクタUJ2が設けられる。スマートフォン80Sは、表示部の一例としてのタッチパネルディスプレイTPD2を有する。このため、送信機50は、USBケーブル(不図示)を介して、スマートフォン80SのタッチパネルディスプレイTPD2と接続可能となる。これにより、送信機50は、通信端末80(例えばスマートフォン80S)との間で、例えばUSBケーブル(不図示)を介して情報やデータの入出力を行える。
また、左制御棒53L及び右制御棒53Rより後側であって、かつ送信機50の筐体50Bの後方側面から、2つのアンテナAN1,AN2が突設して配置される。アンテナAN1,AN2は、ユーザの左制御棒53L及び右制御棒53Rの操作に基づき、送信機制御部61により生成された信号(つまり、無人飛行体100の動きや処理を制御するための信号)を無人飛行体100に送信する。アンテナAN1,AN2は、例えば2kmの送受信範囲をカバーできる。また、アンテナAN1,AN2は、送信機50と無線接続中の無人飛行体100が有する撮像装置220,230により撮像された画像、又は無人飛行体100が取得した各種データが無人飛行体100から送信された場合に、これらの画像又は各種データを受信できる。
図13は、図10の3次元形状推定システム10Bを構成する、送信機50と通信端末80との電気的な接続関係の一例を示すブロック図である。例えば図11又は図12を参照して説明したように、送信機50と通信端末80とは、USBケーブル(不図示)を介して情報やデータが入出力可能に接続される。
送信機50は、左制御棒53Lと、右制御棒53Rと、送信機制御部61と、無線通信部63と、メモリ64と、送信機側USBインタフェース部65と、電源ボタンB1と、RTHボタンB2と、操作部セットOPSと、リモートステータス表示部L1と、バッテリ残量表示部L2とを含む構成である。送信機50は、ユーザの操作(例えばタッチ又はタップ)を検知可能なタッチパネルディスプレイTDP1を有してもよい。
また、送信機制御部61は、例えば無人飛行体100の撮像装置220により撮像された空撮画像のデータを、無線通信部63を介して取得してメモリ64に保存し、タッチパネルディスプレイTPD1に表示する。これにより、無人飛行体100の撮像装置220により撮像された空撮画像は、送信機50のタッチパネルディスプレイTPD1において表示可能となる。
また、送信機制御部61は、例えば無人飛行体100の撮像装置220により撮像された空撮画像のデータを、送信機側USBインタフェース部65を介して通信端末80に出力してよい。つまり、送信機制御部61は、空撮画像のデータを通信端末80のタッチパネルディスプレイTPD2に表示させてよい。これにより、無人飛行体100の撮像装置220により撮像された空撮画像は、通信端末80のタッチパネルディスプレイTPD2において表示可能となる。
無線通信部63は、例えば無人飛行体100との無線通信により、無人飛行体100の撮像装置220により撮像された空撮画像のデータを受信する。無線通信部63は、空撮画像のデータを送信機制御部61に出力する。また、無線通信部63は、GPS受信機240(図4参照)を有する無人飛行体100により算出された無人飛行体100の位置情報を受信する。無線通信部63は、無人飛行体100の位置情報を送信機制御部61に出力する。
送信機側USBインタフェース部65は、送信機50と通信端末80との間の情報やデータの入出力を行う。送信機側USBインタフェース部65は、例えば送信機50に設けられたUSBポート(不図示)により構成される。
通信端末80は、プロセッサ81と、端末側USBインタフェース部83と、無線通信部85と、メモリ87と、GPS(Global Positioning System)受信機89と、タッチパネルディスプレイTPD2とを含む構成である。通信端末80は、例えばタブレット端末80T(図11参照)又はスマートフォン80S(図12参照)である。
プロセッサ81は、例えばCPU、MPU又はDSPを用いて構成される。プロセッサ81は、通信端末80の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
例えば、設定部の一例としてのプロセッサ81は、無人飛行体100に対し、飛行高度毎の飛行範囲(飛行コース)を設定する。また、判断部の一例としてのプロセッサ81は、無人飛行体100の次の飛行高度が所定の飛行高度(つまり、終了高度Hend)以下となるか否かを判断する。また、飛行制御部の一例としてのプロセッサ81は、無人飛行体100に対し、飛行高度毎の飛行範囲(飛行コース)の飛行を制御する。
プロセッサ81は、メモリ87に記憶されるプログラム及びデータを読み出して実行することにより、無人飛行体100Aの飛行高度毎に設定される飛行範囲(飛行コース)の生成に関する処理を行う飛行経路処理部81Aと、被写体の3次元形状データの推定及び生成に関する処理を行う形状データ処理部81Bとして動作する。飛行経路処理部81Aは、3次元形状推定システムの第1の構成例における無人飛行体100のUAV制御部110の飛行経路処理部111と同様である。形状データ処理部81Bは、3次元形状推定システムの第1の構成例における無人飛行体100のUAV制御部110の形状データ処理部112と同様である。
飛行経路処理部81Aは、タッチパネルディスプレイTPD2に入力された入力パラメータを取得する。飛行経路処理部81Aは、入力パラメータを必要に応じてメモリ87に保持する。飛行経路処理部81Aは、必要に応じて(例えば撮像位置間隔の算出時、撮像位置の決定時、飛行範囲(飛行コース)の生成時)にメモリ87から入力パラメータの少なくとも一部を読み込む。
飛行経路処理部81Aは、3次元形状推定システムの第1の構成例の飛行経路処理部111と同様の方法で、撮像位置間隔の取得(例えば算出)、撮像位置の決定、飛行範囲(飛行コース)の生成及び設定等をしてよい。ここでは詳細な説明を省略する。通信端末80は、タッチパネルディスプレイTPD2による入力パラメータの入力から撮像位置間隔の取得(例えば算出)、撮像位置の決定、飛行範囲(飛行コース)の生成及び設定に至るまで、1つの装置で処理できる。よって、撮像位置の決定及び飛行範囲(飛行コース)の生成及び設定において通信が発生しないので、通信環境の良否に左右されずに撮像位置の決定及び飛行範囲(飛行コース)の生成及び設定が可能となる。飛行経路処理部81Aは、無線通信部63を介して、決定された撮像位置の情報及び生成された飛行範囲(飛行コース)の情報を、送信機50を介して無人飛行体100Aへ送信する。
形状推定部の一例としての形状データ処理部81Bは、送信機50を介して、無人飛行体100Aにより撮像された撮像画像を受信して取得してよい。受信された撮像画像は、メモリ87に保持されてよい。形状データ処理部81Bは、取得された複数の撮像画像を基に、オブジェクト(被写体)の立体形状(3次元形状)を示す立体情報(3次元情報、3次元形状データ)を生成してよい。複数の撮像画像に基づく3次元形状データの生成手法としては、公知の方法を用いてよい。公知の方法として、例えば、MVS、PMVS、SfMが挙げられる。
また、例えばプロセッサ81は、端末側USBインタフェース部83を介して取得した撮像画像のデータをメモリ87に保存し、タッチパネルディスプレイTPD2に表示する。言い換えると、プロセッサ81は、無人飛行体100により撮像された空撮画像のデータをタッチパネルディスプレイTPD2に表示する。
端末側USBインタフェース部83は、通信端末80と送信機50との間の情報やデータの入出力を行う。端末側USBインタフェース部83は、例えばタブレット端末80Tに設けられたUSBコネクタUJ1、又はスマートフォン80Sに設けられたUSBコネクタUJ2により構成される。
無線通信部85は、通信端末80に内蔵されるアンテナ(不図示)を介して、インターネット等の広域網ネットワーク(不図示)と接続される。無線通信部85は、広域網ネットワークに接続された他の通信機器(不図示)との間で情報やデータを送受信する。
メモリ87は、例えば通信端末80の動作(例えば、本実施の形態に係る飛行経路表示方法として行われる処理(ステップ))を規定するプログラムや設定値のデータが格納されたROMと、プロセッサ81の処理時に使用される各種の情報やデータを一時的に保存するRAMとを有する。メモリ87のROMに格納されたプログラムや設定値のデータは、所定の記録媒体(例えばCD−ROM、DVD−ROM)にコピーされてよい。メモリ87のRAMには、例えば無人飛行体100の撮像装置220により撮像された空撮画像のデータが保存される。
GPS受信機89は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機89は、受信された複数の信号に基づいて、GPS受信機89の位置(つまり、通信端末80の位置)を算出する。通信端末80と送信機50とはUSBケーブル(不図示)を介して接続されているがほぼ同じ位置にあると考えることができる。このため、通信端末80の位置は、送信機50の位置と略同一と考えることができる。なお、GPS受信機89は通信端末80内に設けられるとして説明したが、送信機50内にも設けられてよい。また、通信端末80と送信機50との接続方法は、USBケーブルCBLによる有線接続に限定されず、既定の近距離無線通信(例えばBluetooth(登録商標)又はBluetooth(登録商標) Low Energy)による無線接続でよい。GPS受信機89は、通信端末80の位置情報をプロセッサ81に出力する。なお、GPS受信機89の位置情報の算出は、GPS受信機89の代わりにプロセッサ81により行われてよい。この場合、プロセッサ81には、GPS受信機89が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
タッチパネルディスプレイTPD2は、例えばLCD又は有機ELを用いて構成され、プロセッサ81から出力された各種の情報やデータを表示する。タッチパネルディスプレイTPD2は、例えば無人飛行体100により撮像された空撮画像のデータを表示する。タッチパネルディスプレイTPD2は、ユーザの操作(例えば、タッチ又はタップ)の入力操作を検知可能である。
次に、無人飛行体100の飛行範囲(飛行コース)における撮像位置の間隔を示す撮像位置間隔の具体的な算出方法について説明する。なお、図14A、図14B、図15及び図16の説明においては、説明を分かり易くするために、被写体BLzの形状を簡単な形状(例えば円柱状)として説明する。但し、図14A、図14B、図15及び図16の説明は、被写体BLzの形状が複雑な形状(つまり、被写体の形状が無人飛行体の飛行高度によって変化する)であってもよい。
図14Aは、被写体BLの周辺を上空から見た平面図である。図14Bは、被写体BLを正面から見た正面図である。被写体BLzの正面は、被写体BLzを側方(水平方向)から見た側面図の一例である。図14A及び図14Bでは、被写体BLzはビルでよい。
飛行経路処理部111は、数式(1)を用いて、無人飛行体100の飛行高度毎に設定された飛行範囲(飛行コース)の水平方向の撮像位置間隔を示す水平撮像間隔dforwardを算出してよい。
Figure 2018158927
数式(1)における各パラメータの意味を、以下に示す。
flight0:初期飛行コースC1(図17参照)の無人飛行体100の初期飛行半径
obj0:初期飛行コースC1(図17参照)の無人飛行体100の飛行高度に対応する被写体BLの半径(つまり、被写体BLzを示す近似円の半径)
FOV(Field of View)1:撮像装置220又は撮像装置230の水平画角
forward:水平重複率
飛行経路処理部111は、入力パラメータに含まれる被写体BLzの中心位置BLc(図15参照)の情報(例えば緯度及び経度の各情報)を、通信インタフェース150を介して送信機50から受信してよい。
飛行経路処理部111は、初期飛行半径Rflight0を、撮像装置220又は撮像装置230の設定解像度に基づいて算出してよい。この場合、飛行経路処理部111は、入力パラメータに含まれる設定解像度の情報を、通信インタフェース150を介して送信機50から受信してよい。飛行経路処理部111は、入力パラメータに含まれる初期飛行半径Rflight0の情報を受信してよい。飛行経路処理部111は、入力パラメータに含まれる初期飛行コースC1(図17参照)の無人飛行体100の飛行高度に対応する被写体BLzの半径Robj0の情報を、通信インタフェース150を介して送信機50から受信してよい。
水平画角FOV1の情報は、無人飛行体100に係るハードウェアの情報としてメモリ160に保持されてよく、又は送信機50から取得されてもよい。飛行経路処理部111は、水平撮像間隔を算出する際に、メモリ160から水平画角FOV1の情報を読み込んでよい。飛行経路処理部111は、水平重複率rforwardの情報を、通信インタフェース150を介して送信機50から受信してよい。水平重複率rforwardは、例えば90%である。
飛行経路処理部111は、取得(算出又は受信)された撮像位置間隔に基づいて、飛行経路における各飛行コースFCの撮像位置CP(Waypoint)を算出する。飛行経路処理部111は、各飛行コースFCでは、水平撮像間隔毎に等間隔で撮像位置CPを配置してよい。飛行経路処理部111は、上下方向に隣り合う飛行コースFC間では、上下撮像間隔毎に等間隔で撮像位置CPを配置してよい。
飛行経路処理部111は、水平方向での撮像位置CPの配置に際し、任意の飛行コースFCにおける初期の撮像位置CP(最初の撮像位置CP)を1点定めて配置し、初期の撮像位置CPを基点として水平撮像間隔毎に、飛行コースFC上に順に等間隔に撮像位置CPを配置してよい。飛行経路処理部111は、水平撮像間隔で撮像位置CPを配置した結果、飛行コースFC上を一周後の撮像位置CPを、初期の撮像位置CPと同位置に配置しなくてもよい。つまり、飛行コースの一周である360度が撮像位置CPにより等間隔に分割されなくてもよい。よって、同一の飛行コースFC上で水平撮像間隔が等間隔でない間隔が存在してよい。撮像位置CPと初期の撮像位置CPとの距離は、水平撮像間隔と同じ又は水平撮像間隔より短い。
図15は、水平撮像間隔dforwardを算出するための説明図である。
水平画角FOV1は、撮像装置220又は撮像装置230による撮像範囲の水平方向成分ph1及び撮像距離としての被写体BLzまでの距離を用いて、数式(2)のように近似できる。
Figure 2018158927
従って、飛行経路処理部111は、数式(1)の一部である(Rflight0−Robj0)×FOV1=ph1を算出する。画角FOV(ここではFOV1)は、上式から明らかなように、長さ(距離)の比によって示される。
飛行経路処理部111は、撮像装置220又は撮像装置230により複数の撮像画像を取得する場合、隣り合う2つの撮像画像の撮像範囲を一部重複させてよい。飛行経路処理部111は、複数の撮像範囲を一部重複させることで、3次元形状データの生成が可能となる。
飛行経路処理部111は、撮像範囲の水平方向成分ph1において隣接する撮像範囲の水平方向成分と重複しない非重複部分を、数式(1)の一部である(ph1×(1−rforward))として算出する。飛行経路処理部111は、初期飛行半径Rflight0と初期飛行コースC1における被写体BLzの半径Robj0との比に基づいて、撮像範囲の水平方向成分ph1における非重複部分を、飛行範囲の周端(飛行経路)に至るまで拡大し、水平撮像間隔dforwardとして撮像する。
飛行経路処理部111は、水平撮像間隔dforwardの代わりに、水平角度θforwardを算出してよい。図16は、水平角度θforwardの一例を示す模式図である。水平角度は、例えば数式(3)を用いて算出される。
Figure 2018158927
また、飛行経路処理部111は、数式(4)を用いて、上下方向の撮像位置間隔を示す上下撮像間隔dsideを算出してよい。
Figure 2018158927
数式(4)における各パラメータの意味を、以下に示す。なお、数式(1)で用いたパラメータについては、説明を省略する。
FOV(Field of View)2:撮像装置220又は撮像装置230の上下画角
side:上下重複率
上下画角FOV2の情報は、ハードウェアの情報としてメモリ160に保持されている。飛行経路処理部111は、上下撮像間隔を算出する際に、メモリ160から水平画角FOV1の情報を読み込んでよい。飛行経路処理部111は、入力パラメータに含まれる上下重複率rsideの情報を、通信インタフェース150を介して送信機50から受信してよい。上下重複率rforwardは、例えば60%である。
数式(1)と数式(4)とを比較すると、上下撮像間隔dsideの算出方法は、水平撮像間隔dforwardの算出方法とほぼ同様であるが、数式(1)の最後の項(Rflight0/Robj0)が数式(4)には存在しない。これは、撮像範囲の上下方向成分ph2(不図示)が、撮像範囲の水平方向成分ph1と異なり、上下方向において隣り合う撮像位置の距離にそのまま相当するためである。
なお、ここでは主に、飛行経路処理部111が、撮像位置間隔を算出して取得することを例示した。この代わりに、飛行経路処理部111が通信インタフェース150を介して送信機50から撮像位置間隔の情報を受信して取得してよい。
このように、撮像位置間隔が水平撮像間隔を含むことで、無人飛行体100は、同一の飛行コース上に複数の撮像位置を配置できる。従って、無人飛行体100は、高度を変更せずに複数の撮像位置を通過でき、安定して飛行できる。また、無人飛行体100は、水平方向を被写体BLzの周囲を一周して撮像画像を安定して取得できる。また、同じ被写体BLzを異なる角度で撮像画像を多数取得できるので、被写体BLzの側方の全周にわたって3次元形状データの復元精度を向上できる。
また、飛行経路処理部111は、少なくとも被写体BLzの半径と初期飛行半径と撮像装置220又は230の水平画角と水平重複率とに基づいて、水平撮像間隔を決定してよい。従って、無人飛行体100は、特定の被写体BLzの大きさや飛行範囲等、各種パラメータを考慮して、3次元復元に必要される水平方向の複数の撮像画像を好適に取得できる。また、水平重複率を大きくする等、撮像位置の間隔が狭くなると、水平方向での撮像画像の枚数が増加し、無人飛行体100は、3次元復元の精度を更に向上できる。
また、撮像位置間隔が上下撮像間隔を含むことで、無人飛行体100は、上下方向の異なる位置、つまり異なる高度で撮像画像を取得できる。つまり、無人飛行体100は、特に上空からの画一的な撮像では取得することが困難な異なる高度での撮像画像を取得できる。よって、3次元形状データの生成時に欠損領域が発生することを抑制できる。
また、飛行経路処理部111は、少なくとも被写体BLzの半径と初期飛行半径と撮像装置220又は230の上下画角と上下重複率とに基づいて、上下撮像間隔を決定してよい。これにより、無人飛行体100は、特定の被写体BLzの大きさや飛行範囲等、各種パラメータを考慮して、3次元復元に必要とされる上下方向の複数の撮像画像を好適に取得できる。また、上下重複率を大きくする等、撮像位置の間隔が狭くなると、上下方向での撮像画像の枚数が増加し、無人飛行体100は、3次元復元の精度を更に向上できる。
次に、実施の形態1の被写体BLの3次元形状の推定の動作内容について、図17及び図18を参照して説明する。図17は、実施の形態1の被写体の3次元形状の推定の動作概要の説明図である。図18は、実施の形態1の3次元形状推定方法の動作手順の一例を示すフローチャートである。以下、無人飛行体100が被写体BLの3次元形状を推定するとして説明する。
図17に示すように、不規則な形状を有する被写体BLは、無人飛行体100の飛行高度の飛行範囲(飛行コース)によって、その飛行高度の飛行範囲(飛行コース)に対応する被写体BLの形状の半径及び中心位置が異なり、連続的に変化している。
そこで、実施の形態1では、図17に示すように、無人飛行体100は、例えば先ず被写体BLの頂上付近(つまり、高度Hstartの位置)の周囲を円旋回して飛行する。無人飛行体100は、その飛行中にその飛行高度における被写体BLを、複数の撮像位置(図14Aの撮像位置CP参照)のうち隣接する撮像位置において撮像範囲を一部重複させて空撮を行う。無人飛行体100は、その空撮により得られた複数の撮像画像に基づいて、次の飛行高度における飛行範囲(飛行コース)を算出して設定する。
無人飛行体100は、設定された次の飛行高度(例えば、高度Hstartから上下撮像間隔dsideの減算値に対応する飛行高度)に降下し、その飛行高度の飛行範囲(飛行コース)を同様に円旋回して飛行する。図17では、初期飛行コースC1と飛行コースC2との間の間隔は、高度Hstartから上下撮像間隔dsideの減算値に対応する。同様に、飛行コースC2と飛行コースC3との間の間隔は、飛行コースC2の飛行高度から上下撮像間隔dsideの減算値に対応する。以下同様にして、飛行コースC7と飛行コースC8との間の間隔は、飛行コースC7の飛行高度から上下撮像間隔dsideの減算値に対応する。
無人飛行体100は、その飛行中にその飛行高度における被写体BLを、複数の撮像位置(図14Aの撮像位置CP参照)のうち隣接する撮像位置において撮像範囲を一部重複させて空撮を行う。無人飛行体100は、その空撮により得られた被写体の情報の一例としての複数の撮像画像に基づいて、次の飛行高度における飛行範囲(飛行コース)を算出して設定する。なお、無人飛行体100が次の飛行高度における飛行範囲(飛行コース)を算出して設定する方法は、無人飛行体100の空撮により得られた複数の撮像画像を用いる方法に限定されない。例えば、無人飛行体100は、例えば無人飛行体100が備える赤外線測距計(不図示)からの赤外線又はレーザ測距計290からのレーザ光とGPSの位置情報とを被写体の情報の一例として用いて、次の飛行高度における飛行範囲(飛行コース)を算出して設定してよく、以下同様である。
このように、無人飛行体100は、現在の飛行高度の飛行範囲(飛行コース)の飛行中に得た複数の撮像画像に基づいて、次の飛行高度の飛行範囲(飛行コース)を設定する。無人飛行体100は、現在の飛行高度が所定の終了高度Hend以下となるまで、飛行高度毎の飛行範囲(飛行コース)における被写体BLの空撮と次の飛行高度の飛行範囲(飛行コース)の設定とを繰り返す。
図17では、無人飛行体100は、不規則な形状を有する被写体BLの3次元形状を推定するために、入力パラメータに基づいて初期飛行範囲(初期飛行コースC1)を設定し、例えば合計8個の飛行範囲(つまり、初期飛行コースC1、飛行コースC2,C3,C4,C5,C6,C7,C8)を設定する。そして、無人飛行体100は、それぞれの飛行高度の飛行コースにおいて撮像した被写体BLの複数の撮像画像に基づいて、被写体BLの3次元形状を推定する。
図18において、UAV制御部110の飛行経路処理部111は、入力パラメータを取得する(S1)。入力パラメータは、例えば無人飛行体100のメモリ160に全て保持されてよいし、或いは、送信機50又は通信端末80からの通信を介して無人飛行体100により受信されてよい。
ここで、入力パラメータは、無人飛行体100の初期飛行コースC1の高度(言い換えると、被写体BLの高さを示す高度Hstart)の情報と、初期飛行コースC1の中心位置P0(言い換えると、被写体BLの頂上付近の中心位置)の情報(例えば緯度及び経度)とを有する。また、入力パラメータは、初期飛行コースC1における初期飛行半径Rflight0の情報を更に含んでよい。設定部の一例としてのUAV制御部110の飛行経路処理部111は、これらの各入力パラメータにより定まる、被写体BLの頂上付近の周囲を囲む円範囲を無人飛行体100の初期飛行コースC1として設定する。これにより、無人飛行体100は、不規則な形状を有する被写体BLの3次元形状を推定するための初期飛行コースC1を簡易かつ適切に設定できる。なお、初期飛行範囲(初期飛行コースC1)の設定は無人飛行体100に限らず、モバイルプラットフォームの一例としての送信機50又は通信端末80において行われてよい。
入力パラメータは、無人飛行体100の初期飛行コースC1の高度(言い換えると、被写体BLの高さを示す高度Hstart)の情報と、初期飛行コースC1の中心位置P0(言い換えると、被写体BLの頂上付近の中心位置)の情報(例えば緯度及び経度)とを有する。また、入力パラメータは、初期飛行コースC1における被写体の半径Robj0の情報及び撮像装置220,230の設定解像度の情報を含んでよい。UAV制御部110の飛行経路処理部111は、これらの各入力パラメータにより定まる、被写体BLの頂上付近の周囲を囲む円範囲を無人飛行体100の初期飛行コースC1として設定する。これにより、無人飛行体100は、不規則な形状を有する被写体BLの3次元形状を推定するための初期飛行コースC1を、撮像装置220,230の設定解像度を反映した上で適切に設定できる。なお、初期飛行範囲(初期飛行コースC1)の設定は無人飛行体100に限らず、モバイルプラットフォームの一例としての送信機50又は通信端末80において行われてよい。
UAV制御部110の飛行経路処理部111は、ステップS1により取得された入力パラメータを用いて初期飛行コースC1を設定し、更に、数式(1)及び数式(4)に従って、初期飛行コースC1の水平方向における水平撮像間隔dforward(図14A参照)並びに上下方向の飛行コース間の間隔を示す上下撮像間隔dside(図14B参照)を算出する(S2)。
UAV制御部110は、ステップS2の算出後、ジンバル200及び回転翼機構210を制御しながら、初期飛行コースC1の飛行高度の位置まで上昇して移動する(S3)。なお、無人飛行体100が既に初期飛行コースC1の飛行高度の位置まで上昇している場合には、ステップS3の処理は省略されてよい。
UAV制御部110の飛行経路処理部111は、ステップS2において算出した水平撮像間隔dforward(図14A参照)の算出結果を用いて、初期飛行コースC1に対応付けて、その初期飛行コースC1における撮像位置(Waypoint)を追加して設定する(S4)。
UAV制御部110は、ジンバル200及び回転翼機構210を制御しながら、被写体BLの周囲を囲むように無人飛行体100に現在の飛行コースを円旋回して飛行させる。UAV制御部110は、その飛行中にステップS4において追加設定した複数の撮像位置において、撮像装置220,230を、現在の飛行コース(例えば初期飛行コースC1、又は他の飛行コースC2〜C8のうちいずれか)の被写体BLに向けて撮像(空撮)する(S5)。具体的には、UAV制御部110は、それぞれの撮像位置(Waypoint)において、撮像装置220,230の撮像範囲を被写体BLの一部を重複するようにして撮像する。これにより、無人飛行体100は、隣接する撮像位置(Waypoint)において撮像した複数の撮像画像の中で重複する被写体BLの領域の存在を基にして、その飛行高度の飛行コースにおける被写体BLの形状を高精度に推定できる。なお、被写体BLの撮像は、モバイルプラットフォームの一例としての送信機50又は通信端末80に含まれる取得指示部の一例としての送信機制御部61又はプロセッサ81からの撮像指示によって行われてよい。
また、UAV制御部110は、レーザ測距計290を制御しながら、現在の飛行コース(例えば初期飛行コースC1、又は他の飛行コースC2〜C8のうちいずれか)の被写体BLに向けてレーザ光を照射する(S5)。
UAV制御部110の形状データ処理部112は、ステップS5において撮像された現在の飛行高度の飛行コースにおける被写体BLの複数の撮像画像並びにレーザ測距計290からのレーザ光の受光結果に基づいて、例えばSfM等の公知技術を用いて現在の飛行高度の被写体BLの形状(例えば図17に示す形状Dm2,Dm3,Dm4,Dm5,Dm6,Dm7,Dm8)を推定する。UAV制御部110の飛行経路処理部111は、複数の撮像画像並びにレーザ測距計290の測距結果に基づいて、現在の飛行高度の飛行コースにおける被写体BLの形状の半径及び中心位置を推定する(S6)。
UAV制御部110の飛行経路処理部111は、現在の飛行高度の飛行コースにおける被写体BLの形状の半径及び中心位置の推定結果を用いて、次の飛行高度(例えば初期飛行コースC1の次の飛行コースC2)の飛行範囲(飛行コース)を設定する(S7)。これにより、無人飛行体100は、飛行高度に応じて形状の半径や中心位置が一意に定まらない不規則な形状の被写体BL(例えば建物)の形状を無人飛行体100の飛行高度毎に逐次的に推定できるので、被写体BL全体に対して高精度な3次元形状の推定を行える。なお、飛行範囲(飛行コース)の設定は無人飛行体100に限らず、モバイルプラットフォームの一例としての送信機50又は通信端末80において行われてよい。
例えばステップS7では、飛行経路処理部111は、ステップS1において取得された入力パラメータを用いて初期飛行コースC1を設定した方法と同様に、ステップS6の推定結果を入力パラメータとして用いて次の飛行コースを設定する。
ステップS7では、具体的には、飛行経路処理部111は、現在の飛行高度の飛行コースにおける被写体BLの形状の半径及び中心位置の推定結果を、次の飛行高度の飛行コースにおける被写体BLの形状の半径及び中心位置と同一であるとみなして、次の飛行高度の飛行範囲(飛行コース)を設定する。次の飛行高度の飛行範囲の飛行半径は、例えばステップS6において推定された被写体の半径に、撮像装置220,230の撮像に適した設定解像度に対応する被写体BLと無人飛行体100との間の撮像距離が加算された値である。
UAV制御部110は、ステップS7の後、例えば気圧高度計270又は超音波高度計280の出力を元にして現在の飛行高度を取得する。UAV制御部110は、現在の飛行高度が所定の飛行高度の一例としての終了高度Hend以下となったかどうかを判断する(S8)。
現在の飛行高度が所定の終了高度Hend以下となったと判断された場合には(S8、YES)、UAV制御部110は、飛行高度を徐々に下げながら被写体BLの周囲を飛行することを終了する。この後、UAV制御部110は、それぞれの飛行高度毎の飛行コースにおける空撮により得られた複数の撮像画像に基づいて、被写体BLの3次元形状を推定する。これにより、無人飛行体100は、飛行高度毎の飛行コースにおいて推定した被写体BLの形状の半径及び中心を用いて被写体BLの形状を推定できるので、不規則な形状を有する被写体BLの3次元形状を高精度に推定できる。なお、被写体BLの3次元形状の推定は無人飛行体100に限らず、モバイルプラットフォームの一例としての送信機50又は通信端末80において行われてよい。
一方、現在の飛行高度が所定の終了高度Hend以下となっていないと判断された場合には(S8、NO)、UAV制御部110は、ジンバル200及び回転翼機構210を制御しながら、現在の飛行高度からステップS2において算出した上下撮像間隔dsideを減算した値に対応する次の飛行高度の飛行コースに降下する。更に降下後、UAV制御部110は、降下後の飛行高度の飛行コースにおいて、ステップS4〜ステップS8の処理を行う。現在の飛行高度が所定の終了高度Hend以下と判断されるまでステップS4〜ステップS8の処理が無人飛行体100の飛行コース毎に繰り返される。これにより、無人飛行体100は、複数の飛行高度毎の飛行コースにおける被写体BLの3次元形状を推定できるので、被写体BL全体としての3次元形状を高精度に推定できる。なお、飛行範囲(飛行コース)の設定は無人飛行体100に限らず、モバイルプラットフォームの一例としての送信機50又は通信端末80において行われてよい。
これにより、無人飛行体100は、現在の飛行高度の飛行コースにおける被写体BLの形状の半径及び中心位置を次の飛行高度の飛行コースにおける被写体BLの形状の半径及び中心位置として利用して飛行範囲を簡易に設定できるので、被写体BLの3次元形状の推定を行うための飛行及び空撮の制御を早期に行える。なお、飛行範囲(飛行コース)の設定は無人飛行体100に限らず、モバイルプラットフォームの一例としての送信機50又は通信端末80において行われてよい。
図18のステップS7は、ステップS7の変形例1として例えば図19Aに示すステップS9及びステップS7の処理に置き換えてよく、又は、ステップS7の変形例2として図19Bに示すステップS10及びステップS7の処理に置き換えてよい。
図19Aは、図18のステップS7の変形例1の動作手順の一例を示すフローチャートである。つまり、UAV制御部110の形状データ処理部112は、図18のステップS6の後、ステップS5において撮像された現在の飛行高度の飛行コースにおける被写体BLの複数の撮像画像並びにレーザ測距計290からのレーザ光の受光結果に基づいて、例えばSfM等の公知技術を用いて次の飛行高度の被写体BLの形状(例えば図17に示す形状Dm2,Dm3,Dm4,Dm5,Dm6,Dm7,Dm8)を推定してよい(S9)。つまり、ステップS9は、無人飛行体100の現在の飛行高度の飛行コースにおける撮像画像に、次の飛行高度の飛行コースにおける被写体BLの形状が映ることを前提とした処理である。UAV制御部110は、この前提を満たすと判断した場合には、上述したステップS9の処理を行ってよい。
UAV制御部110の飛行経路処理部111は、ステップS9の推定結果を用いて、無人飛行体100が飛行中の現在の飛行高度の次となる飛行高度(例えば初期飛行コースC1の次の飛行コースC2)の飛行範囲(飛行コース)を設定する(S7)。これにより、無人飛行体100は、現在の飛行高度の飛行コースにおける被写体BLの複数の撮像画像並びにレーザ測距計290からのレーザ光の受光結果から、次の飛行高度の被写体BLの形状を推定できるので、被写体BLの3次元形状の推定処理を短縮化できる。なお、飛行範囲(飛行コース)の設定は無人飛行体100に限らず、モバイルプラットフォームの一例としての送信機50又は通信端末80において行われてよい。
図19Bは、図18のステップS7の変形例2の動作手順の一例を示すフローチャートである。つまり、UAV制御部110の形状データ処理部112は、図18のステップS6の後、ステップS5において撮像された現在の飛行高度の飛行コースにおける被写体BLの複数の撮像画像並びにレーザ測距計290からのレーザ光の受光結果に基づいて、例えばSfM等の公知技術を用いて次の飛行高度の被写体BLの形状(例えば図17に示す形状Dm2,Dm3,Dm4,Dm5,Dm6,Dm7,Dm8)を予測して推定してよい(S10)。形状の予測は、例えば現在の飛行高度の飛行コースにおける被写体BLの形状を微分処理などによって行えばよい。つまり、ステップS9は、無人飛行体100の現在の飛行高度の飛行コースにおける撮像画像に、次の飛行高度の飛行コースにおける被写体BLの形状が映らず、現在の飛行高度の被写体BLの形状と次の飛行高度の被写体BLの形状とがほぼ同様であることを前提とした処理である。UAV制御部110は、この前提を満たすと判断した場合には、上述したステップS10の処理を行ってよい。
UAV制御部110の飛行経路処理部111は、ステップS9の推定結果を用いて、無人飛行体100が飛行中の現在の飛行高度の次となる飛行高度(例えば初期飛行コースC1の次の飛行コースC2)の飛行範囲(飛行コース)を設定する(S7)。これにより、無人飛行体100は、現在の飛行高度の飛行コースにおける被写体BLの複数の撮像画像並びにレーザ測距計290からのレーザ光の受光結果から、現在の飛行高度の被写体BLの形状の推定結果を用いて次の飛行高度の被写体BLの形状を予測して推定できるので、被写体BLの3次元形状の推定処理を短縮化できる。なお、飛行範囲(飛行コース)の設定は無人飛行体100に限らず、モバイルプラットフォームの一例としての送信機50又は通信端末80において行われてよい。
このように、実施の形態1では、無人飛行体100は、被写体BLの高さに応じて、被写体BLの周囲を飛行する飛行範囲を飛行高度毎に設定し、設定された飛行高度毎の飛行範囲の飛行を制御し、設定された飛行高度毎の飛行範囲の飛行中に、被写体BLを撮像する。無人飛行体100は、撮像された飛行高度毎の被写体BLの複数の撮像画像に基づいて、被写体の3次元形状を推定する。これにより、無人飛行体100は、飛行高度毎に被写体BLの形状を推定できるので、被写体BLの形状の高度における変化の有無に拘わらず、高精度に被写体BLの形状を推定でき、飛行時における飛行体と被写体との衝突を回避できる。
(実施の形態2)
実施の形態1では、無人飛行体100は、入力パラメータ(後述参照)に基づいて、被写体の周囲を円旋回して飛行する初期の飛行範囲(図17に示す初期飛行コースC1参照)を設定した。この場合、ある程度の正確な初期飛行半径が入力されることが好ましいため、ユーザが事前に被写体BLの半径の概要値を知っておく必要があり多少の負担になることが考えられる。
そこで、実施の形態2では、無人飛行体100は、ユーザが事前に被写体BLの半径の概要値を事前に知らなくても初期飛行コースC1の調整を可能とするために、入力パラメータの一部として取得した高度Hstartを基に、その高度の被写体BLの周囲を少なくとも2回円旋回して飛行する。
図20は、実施の形態2の被写体BLの3次元形状の推定の動作概要の説明図である。具体的には、無人飛行体100は、入力パラメータに含まれる被写体BLの半径Robj0及び初期飛行半径Rflight0−tempを用いて、1回目の飛行時の初期飛行コースC1−0を設定する。無人飛行体100は、その設定した初期飛行コースC1−0の飛行中に得た被写体BLの複数の撮像画像やレーザ測距計290の測距結果を基に、初期飛行コースC1−0における被写体BLの形状の半径及び中心位置を推定し、この推定結果を用いて初期飛行コースC1−0を調整する。
無人飛行体100は、2回目の飛行において調整された初期飛行コースC1を飛行しながら、同様に被写体BLを撮像し、複数の撮像画像やレーザ測距計290の測距結果を基に、調整された初期飛行コースC1における被写体BLの形状の半径及び中心位置を推定する。例えば、無人飛行体100は、1回目の飛行によって初期飛行半径Rflight0−tempを正確に調整可能であり、初期飛行半径Rflight0−tempから初期飛行半径Rflight0に調整し、この調整結果を用いて次の飛行コースC2を設定する。
次に、実施の形態2の被写体BLの3次元形状の推定の動作内容について、図20及び図21を参照して説明する。図21は、実施の形態2の3次元形状推定方法の動作手順の一例を示すフローチャートである。以下、無人飛行体100が被写体BLの3次元形状を推定するとして説明する。なお、図21の説明において、図18の説明と同一の内容は同一のステップ番号を付与して説明を簡略化又は省略し、異なる内容について説明する。
図21において、UAV制御部110の飛行経路処理部111は、入力パラメータを取得する(S1A)。ステップS1Aにおいて取得される入力パラメータは、実施の形態1と同様に、無人飛行体100の初期飛行コースC1−0の高度(言い換えると、被写体BLの高さを示す高度Hstart)の情報と、初期飛行コースC1−0の中心位置P0(言い換えると、被写体BLの頂上付近の中心位置)の情報(例えば緯度及び経度)とを有する。また、入力パラメータは、初期飛行コースC1−0における初期飛行半径Rflight0−tempの情報を更に含む。
ステップS1Aの後、無人飛行体100の1回目の初期飛行コースC1−0に関して、ステップS2〜ステップS6の処理が行われる。このステップS6の後、UAV制御部110は、現在の飛行コースの飛行高度がステップS1Aにおいて取得された入力パラメータに含まれる初期飛行コースC1−0の高度(言い換えると、被写体BLの高さを示す高度Hstart)と同一であるか否かを判断する(S11)。
UAV制御部110の飛行経路処理部111は、現在の飛行コースの飛行高度がステップS1Aにおいて取得された入力パラメータに含まれる初期飛行コースC1−0の高度と同一であると判断された場合(S11、YES)、ステップS6の推定結果を用いて、初期飛行範囲(例えば初期飛行半径)を調整して設定する(S12)。
ステップS12の後、無人飛行体100の処理はステップS4に戻る。なお、ステップS12の後、無人飛行体100の処理はステップS5に戻ってもよい。つまり、2回目の初期飛行コースの飛行における撮像位置(Waypoint)は、1回目の飛行コースの飛行における撮像位置(Waypoint)と同一であってよい。これにより、無人飛行体100は、同一の飛行高度の初期飛行コースC1における撮像位置の設定処理を省略でき、負荷軽減を図ることができる。
一方、現在の飛行コースの飛行高度がステップS1Aにおいて取得された入力パラメータに含まれる初期飛行コースC1−0の高度と同一でないと判断された場合(S11、NO)、実施の形態1と同様に、ステップS7以降の処理が行われる。
このように、実施の形態2では、無人飛行体100は、取得された入力パラメータに基づいて設定した1回目の飛行対象となる初期飛行範囲(初期飛行コースC1−0)を飛行し、この初期飛行コースC1−0の飛行中に得た被写体BLの複数の撮像画像やレーザ測距計290の測距結果に基づいて、初期飛行コースC1−0における被写体BLの半径及び中心位置を推定する。無人飛行体100は、推定された初期飛行コースC1−0における被写体BLの半径及び中心位置を用いて、初期飛行範囲を調整する。これにより、例えばユーザによって適正な初期飛行半径が入力されていない場合でも、無人飛行体100は、1回目の初期飛行コースC1−0の飛行によってその初期飛行半径の適性を簡易に判断でき、適正な初期飛行半径を取得できて被写体BLの3次元形状の推定に適した初期飛行コースC1を設定できる。なお、初期飛行範囲(初期飛行コースC1−0)の飛行及び調整の指示は無人飛行体100に限らず、モバイルプラットフォームの一例としての送信機50又は通信端末80において行われてよい。
また、無人飛行体100は、1回目の飛行によって調整された初期飛行コースC1を飛行し、その飛行中に得た被写体BLの複数の撮像画像やレーザ測距計290の測距結果に基づいて、初期飛行範囲(つまり、初期飛行コースC1)における被写体BLの半径及び中心位置を推定し、この推定結果を用いて、初期飛行範囲(つまり、初期飛行コースC1)の飛行高度の次の飛行高度の飛行範囲を設定する。これにより、無人飛行体100は、ユーザが事前に被写体BLの半径の概要値を事前に知らなくても、初期飛行コースC1の調整を可能とする。なお、初期飛行範囲(初期飛行コースC1−0)の飛行に基づく次の飛行コースの設定は無人飛行体100に限らず、モバイルプラットフォームの一例としての送信機50又は通信端末80において行われてよい。
以上、本開示について実施の形態を用いて説明したが、本開示に係る発明の技術的範囲は上述した実施の形態に記載の範囲には限定されない。上述した実施の形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 3次元形状推定システム
50 送信機
61 送信機制御部
61A、81A、111 飛行経路処理部
61B、81B、112 形状データ処理部
63、85 無線通信部
64、87、160 メモリ
80 通信端末
81 プロセッサ
89、240 GPS受信機
100 無人飛行体
102 UAV本体
110 UAV制御部
150 通信インタフェース
170 バッテリ
200 ジンバル
210 回転翼機構
220、230 撮像装置
250 慣性計測装置
260 磁気コンパス
270 気圧高度計
280 超音波高度計
290 レーザ測距計
TPD1、TPD2 タッチパネルディスプレイ
OP1、OPn 操作部

Claims (51)

  1. 設定された飛行高度毎の飛行範囲の飛行中に、飛行体により被写体の情報を取得するステップと、
    取得された前記被写体の情報に基づいて、前記被写体の3次元形状を推定するステップと、を有する、
    3次元形状推定方法。
  2. 前記被写体の高さに応じて、前記被写体の周囲を飛行する前記飛行体の飛行範囲を前記飛行高度毎に設定するステップ、を更に有する、
    請求項1に記載の3次元形状推定方法。
  3. 前記飛行範囲を設定するステップは、
    前記飛行体の現在の飛行高度の飛行中に取得された前記被写体の情報に基づいて、前記飛行体の次の飛行高度の飛行範囲を設定するステップを含む、
    請求項2に記載の3次元形状推定方法。
  4. 前記次の飛行高度の飛行範囲を設定するステップは、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記現在の飛行高度における前記被写体の半径及び中心を推定するステップと、
    推定された前記現在の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定するステップと、を含む、
    請求項3に記載の3次元形状推定方法。
  5. 前記次の飛行高度の飛行範囲を設定するステップは、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記次の飛行高度における前記被写体の半径及び中心を推定するステップと、
    推定された前記次の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定するステップと、を含む、
    請求項3に記載の3次元形状推定方法。
  6. 前記次の飛行高度の飛行範囲を設定するステップは、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記現在の飛行高度における前記被写体の半径及び中心を推定するステップと、
    推定された前記現在の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度における前記被写体の半径及び中心を予測するステップと、
    予測された前記次の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定するステップと、を含む、
    請求項3に記載の3次元形状推定方法。
  7. 前記飛行高度毎の飛行範囲の飛行を制御するステップ、を更に有する、
    請求項2〜6のうちいずれか一項に記載の3次元形状推定方法。
  8. 前記飛行範囲を設定するステップは、
    設定された前記飛行高度毎の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記飛行高度毎の飛行範囲における前記被写体の半径及び中心を推定するステップを含み、
    前記被写体の3次元形状を推定するステップは、
    推定された前記飛行高度毎の飛行範囲における前記被写体の半径及び中心を用いて、前記被写体の3次元形状を推定するステップを含む、
    請求項7に記載の3次元形状推定方法。
  9. 前記飛行範囲を設定するステップは、
    前記被写体の高さ、前記被写体の中心、前記被写体の半径、前記飛行体に含まれる撮像部の設定解像度をそれぞれ取得するステップと、
    取得された前記被写体の高さ、中心及び半径と前記設定解像度とを用いて、前記被写体の頂上付近を飛行高度とする前記飛行体の初期飛行範囲を設定するステップと、を含む、
    請求項7に記載の3次元形状推定方法。
  10. 前記飛行体の飛行範囲を設定するステップは、
    前記被写体の高さ、前記被写体の中心、前記飛行体の飛行半径をそれぞれ取得するステップと、
    取得された前記被写体の高さ及び中心と前記飛行半径とを用いて、前記被写体の頂上付近を飛行高度とする前記飛行体の初期飛行範囲を設定するステップと、を含む、
    請求項7に記載の3次元形状推定方法。
  11. 前記飛行範囲を設定するステップは、
    前記飛行高度毎の飛行範囲に複数の撮像位置を設定するステップを含み、
    前記被写体の情報を取得するステップは、
    設定された前記複数の撮像位置のうち隣接するそれぞれの撮像位置において、前記飛行体により前記被写体の一部を重複して撮像するステップを含む、
    請求項7に記載の3次元形状推定方法。
  12. 前記飛行体の次の飛行高度が所定の飛行高度以下となるか否かを判断するステップを更に有し、
    前記被写体の情報を取得するステップは、
    前記飛行体の次の飛行高度が前記所定の飛行高度以下となると判断されるまで、設定された前記飛行高度毎の前記飛行体の飛行範囲における前記被写体の情報の取得を繰り返すステップを含む、
    請求項7に記載の3次元形状推定方法。
  13. 前記被写体の情報を取得するステップは、
    設定された前記飛行高度毎の飛行範囲の飛行中に、前記飛行体により前記被写体を撮像するステップを含み、
    前記3次元形状を推定するステップは、
    撮像された前記飛行高度毎の前記被写体の複数の撮像画像に基づいて、前記被写体の3次元形状を推定するステップを含む、
    請求項7に記載の3次元形状推定方法。
  14. 前記被写体の情報を取得するステップは、
    設定された前記飛行高度毎の飛行範囲の飛行中に、前記飛行体が有する光照射計を用いた測距結果と前記被写体の位置情報とを取得するステップを含む、
    請求項7に記載の3次元形状推定方法。
  15. 前記飛行範囲を設定するステップは、
    設定された前記初期飛行範囲を前記飛行体に飛行させるステップと、
    前記初期飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記初期飛行範囲における前記被写体の半径及び中心を推定するステップと、
    推定された前記初期飛行範囲における前記被写体の半径及び中心を用いて、前記初期飛行範囲を調整するステップと、を含む、
    請求項10に記載の3次元形状推定方法。
  16. 前記飛行を制御するステップは、
    調整された前記初期飛行範囲を前記飛行体に飛行させるステップを含み、
    前記飛行範囲を設定するステップは、
    調整された前記初期飛行範囲の飛行中に撮像された前記被写体の複数の撮像画像に基づいて、前記初期飛行範囲における前記被写体の半径及び中心を推定するステップと、
    推定された前記初期飛行範囲における前記被写体の半径及び中心を用いて、前記初期飛行範囲の飛行高度の次の飛行高度の飛行範囲を設定するステップと、を含む、
    請求項15に記載の3次元形状推定方法。
  17. 設定された飛行高度毎の飛行範囲の飛行中に、被写体の情報を取得する取得部と、
    取得された前記被写体の情報に基づいて、前記被写体の3次元形状を推定する形状推定部と、を備える、
    飛行体。
  18. 前記被写体の高さに応じて、前記被写体の周囲を飛行する前記飛行体の飛行範囲を前記飛行高度毎に設定する設定部、を更に備える、
    請求項17に記載の飛行体。
  19. 前記設定部は、
    前記飛行体の現在の飛行高度の飛行中に取得された前記被写体の情報に基づいて、前記飛行体の次の飛行高度の飛行範囲を設定する、
    請求項18に記載の飛行体。
  20. 前記設定部は、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記現在の飛行高度における前記被写体の半径及び中心を推定し、
    推定された前記現在の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定する、
    請求項19に記載の飛行体。
  21. 前記設定部は、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記次の飛行高度における前記被写体の半径及び中心を推定し、
    推定された前記次の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定する、
    請求項19に記載の飛行体。
  22. 前記設定部は、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記現在の飛行高度における前記被写体の半径及び中心を推定し、
    推定された前記現在の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度における前記被写体の半径及び中心を予測し、
    予測された前記次の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定する、
    請求項19に記載の飛行体。
  23. 前記飛行高度毎の飛行範囲の飛行を制御する飛行制御部、を更に備える、
    請求項18〜22のうちいずれか一項に記載の飛行体。
  24. 前記設定部は、
    前記飛行高度毎の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記飛行高度毎の飛行範囲における前記被写体の半径及び中心を推定し、
    前記形状推定部は、
    推定された前記飛行高度毎の飛行範囲における前記被写体の半径及び中心を用いて、前記被写体の3次元形状を推定する、
    請求項23に記載の飛行体。
  25. 前記設定部は、
    前記被写体の高さ、前記被写体の中心、前記被写体の半径、前記飛行体に含まれる撮像部の設定解像度をそれぞれ取得し、
    取得された前記被写体の高さ、中心及び半径と前記設定解像度とを用いて、前記被写体の頂上付近を飛行高度とする前記飛行体の初期飛行範囲を設定する、
    請求項23に記載の飛行体。
  26. 前記設定部は、
    前記被写体の高さ、前記被写体の中心、前記飛行体の飛行半径をそれぞれ取得し、
    取得された前記被写体の高さ及び中心と前記飛行半径とを用いて、前記被写体の頂上付近を飛行高度とする前記飛行体の初期飛行範囲を設定する、
    請求項23に記載の飛行体。
  27. 前記設定部は、
    前記飛行高度毎の飛行範囲に複数の撮像位置を設定し、
    前記取得部は、
    設定された前記複数の撮像位置のうち隣接するそれぞれの撮像位置において、前記被写体の一部を重複して撮像する、
    請求項23に記載の飛行体。
  28. 前記飛行体の次の飛行高度が所定の飛行高度以下となるか否かを判断する判断部を更に備え、
    前記取得部は、
    前記飛行体の次の飛行高度が前記所定の飛行高度以下となると判断されるまで、前記飛行制御部に基づく前記飛行高度毎の前記飛行体の飛行範囲における前記被写体の情報の取得を繰り返す、
    請求項23に記載の飛行体。
  29. 前記取得部は、
    設定された前記飛行高度毎の飛行範囲の飛行中に、前記被写体を撮像する撮像部を含み、
    前記形状推定部は、
    撮像された前記飛行高度毎の前記被写体の複数の撮像画像に基づいて、前記被写体の3次元形状を推定する、
    請求項23に記載の飛行体。
  30. 前記取得部は、
    設定された前記飛行高度毎の飛行範囲の飛行中に、前記飛行体が有する光照射計を用いた測距結果と前記被写体の位置情報とを取得する、
    請求項23に記載の飛行体。
  31. 前記飛行制御部は、
    設定された前記初期飛行範囲を前記飛行体に飛行させ、
    前記設定部は、
    前記飛行制御部に基づく前記初期飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記初期飛行範囲における前記被写体の半径及び中心を推定し、
    推定された前記初期飛行範囲における前記被写体の半径及び中心を用いて、前記初期飛行範囲を調整する、
    請求項26に記載の飛行体。
  32. 前記飛行制御部は、
    調整された前記初期飛行範囲を前記飛行体に飛行させ、
    前記設定部は、
    調整された前記初期飛行範囲の飛行中に撮像された前記被写体の複数の撮像画像に基づいて、前記初期飛行範囲における前記被写体の半径及び中心を推定し、
    推定された前記初期飛行範囲における前記被写体の半径及び中心を用いて、前記初期飛行範囲の飛行高度の次の飛行高度の飛行範囲を設定する、
    請求項31に記載の飛行体。
  33. 被写体の周囲を飛行する飛行体と通信可能に接続されたモバイルプラットフォームであって、
    設定された飛行高度毎の飛行範囲の飛行中に、前記飛行体に前記被写体の情報の取得を指示する取得指示部と、
    取得された前記被写体の情報に基づいて、前記被写体の3次元形状を推定する形状推定部と、を有する、
    モバイルプラットフォーム。
  34. 前記被写体の高さに応じて、前記飛行体の飛行範囲を前記飛行高度毎に設定する設定部、を更に備える、
    請求項33に記載のモバイルプラットフォーム。
  35. 前記設定部は、
    前記飛行体の現在の飛行高度の飛行中に取得された前記被写体の情報に基づいて、前記飛行体の次の飛行高度の飛行範囲を設定する、
    請求項34に記載のモバイルプラットフォーム。
  36. 前記設定部は、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記現在の飛行高度における前記被写体の半径及び中心を推定し、
    推定された前記現在の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定する、
    請求項35に記載のモバイルプラットフォーム。
  37. 前記設定部は、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記次の飛行高度における前記被写体の半径及び中心を推定し、
    推定された前記次の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定する、
    請求項35に記載のモバイルプラットフォーム。
  38. 前記設定部は、
    前記現在の飛行高度の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記現在の飛行高度における前記被写体の半径及び中心を推定し、
    推定された前記現在の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度における前記被写体の半径及び中心を予測し、
    予測された前記次の飛行高度における前記被写体の半径及び中心を用いて、前記次の飛行高度の飛行範囲を設定する、
    請求項35に記載のモバイルプラットフォーム。
  39. 前記飛行高度毎の飛行範囲の飛行を制御する飛行制御部、を更に備える、
    請求項34〜38のうちいずれか一項に記載のモバイルプラットフォーム。
  40. 前記設定部は、
    前記飛行高度毎の飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記飛行高度毎の飛行範囲における前記被写体の半径及び中心を推定し、
    前記形状推定部は、
    推定された前記飛行高度毎の飛行範囲における前記被写体の半径及び中心を用いて、前記被写体の3次元形状を推定する、
    請求項39に記載のモバイルプラットフォーム。
  41. 前記設定部は、
    前記被写体の高さ、前記被写体の中心、前記被写体の半径、前記飛行体に含まれる撮像部の設定解像度をそれぞれ取得し、
    取得された前記被写体の高さ、中心及び半径と前記設定解像度とを用いて、前記被写体の頂上付近を飛行高度とする前記飛行体の初期飛行範囲を設定する、
    請求項39に記載のモバイルプラットフォーム。
  42. 前記設定部は、
    前記被写体の高さ、前記被写体の中心、前記飛行体の飛行半径をそれぞれ取得し、
    取得された前記被写体の高さ及び中心と前記飛行半径とを用いて、前記被写体の頂上付近を飛行高度とする前記飛行体の初期飛行範囲を設定する、
    請求項39に記載のモバイルプラットフォーム。
  43. 前記設定部は、
    前記飛行高度毎の飛行範囲に複数の撮像位置を設定し、
    前記取得指示部は、
    設定された前記複数の撮像位置のうち隣接するそれぞれの撮像位置において、前記飛行体に前記被写体の一部を重複して撮像させる、
    請求項39に記載のモバイルプラットフォーム。
  44. 前記飛行体の次の飛行高度が所定の飛行高度以下となるか否かを判断する判断部を更に備え、
    前記取得指示部は、
    前記飛行体の次の飛行高度が前記所定の飛行高度以下となると判断されるまで、前記飛行制御部に基づく前記飛行高度毎の前記飛行体の飛行範囲における前記被写体の情報の取得を繰り返させる、
    請求項39に記載のモバイルプラットフォーム。
  45. 前記取得指示部は、
    設定された前記飛行高度毎の飛行範囲の飛行中に、前記被写体を撮像するための指示を前記飛行体に送信し、
    前記形状推定部は、
    前記飛行体により撮像された前記飛行高度毎の前記被写体の複数の撮像画像に基づいて、前記被写体の3次元形状を推定する、
    請求項39に記載のモバイルプラットフォーム。
  46. 前記取得指示部は、
    設定された前記飛行高度毎の飛行範囲の飛行中に、前記飛行体が有する光照射計を用いた測距結果と前記被写体の位置情報との取得の指示を前記飛行体に送信する、
    請求項39に記載のモバイルプラットフォーム。
  47. 前記飛行制御部は、
    設定された前記初期飛行範囲を前記飛行体に飛行させ、
    前記設定部は、
    前記飛行制御部に基づく前記初期飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記初期飛行範囲における前記被写体の半径及び中心を推定し、
    推定された前記初期飛行範囲における前記被写体の半径及び中心を用いて、前記初期飛行範囲を調整する、
    請求項42に記載のモバイルプラットフォーム。
  48. 前記飛行制御部は、
    調整された前記初期飛行範囲を前記飛行体に飛行させ、
    前記設定部は、
    調整された前記初期飛行範囲の飛行中に取得された前記被写体の情報に基づいて、前記初期飛行範囲における前記被写体の半径及び中心を推定し、
    推定された前記初期飛行範囲における前記被写体の半径及び中心を用いて、前記初期飛行範囲の飛行高度の次の飛行高度の飛行範囲を設定する、
    請求項47に記載のモバイルプラットフォーム。
  49. 前記モバイルプラットフォームは、
    前記飛行体との間の通信を用いて前記飛行体を遠隔制御する操作端末、又は前記操作端末と接続され、前記操作端末を介して前記飛行体を遠隔制御する通信端末のいずれかである、
    請求項33〜48のうちいずれか一項に記載のモバイルプラットフォーム。
  50. コンピュータである飛行体に、
    設定された飛行高度毎の飛行範囲の飛行中に、前記飛行体により被写体の情報を取得するステップと、
    取得された前記被写体の情報に基づいて、前記被写体の3次元形状を推定するステップと、を実行させるためのプログラムを記録したコンピュータ読み取り可能な、
    記録媒体。
  51. コンピュータである飛行体に、
    設定された飛行高度毎の飛行範囲の飛行中に、前記飛行体により被写体の情報を取得するステップと、
    取得された前記被写体の情報に基づいて、前記被写体の3次元形状を推定するステップと、を実行させるための、
    プログラム。
JP2019502400A 2017-03-02 2017-03-02 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体 Active JP6878567B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/008385 WO2018158927A1 (ja) 2017-03-02 2017-03-02 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018158927A1 true JPWO2018158927A1 (ja) 2019-12-26
JP6878567B2 JP6878567B2 (ja) 2021-05-26

Family

ID=63369875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502400A Active JP6878567B2 (ja) 2017-03-02 2017-03-02 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体

Country Status (4)

Country Link
US (1) US20190385322A1 (ja)
JP (1) JP6878567B2 (ja)
CN (1) CN110366670B (ja)
WO (1) WO2018158927A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11000078B2 (en) * 2015-12-28 2021-05-11 Xin Jin Personal airbag device for preventing bodily injury
US20190324447A1 (en) * 2018-04-24 2019-10-24 Kevin Michael Ryan Intuitive Controller Device for UAV
JP7017998B2 (ja) * 2018-09-13 2022-02-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体
DE102018123411A1 (de) * 2018-09-24 2020-03-26 Autel Robotics Europe Gmbh Zielbeobachtungsverfahren, zugehörige Vorrichtung und System
CN109240314B (zh) * 2018-11-09 2020-01-24 百度在线网络技术(北京)有限公司 用于采集数据的方法和装置
JP7220785B2 (ja) * 2018-11-21 2023-02-10 広州極飛科技股▲ふん▼有限公司 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体
JP2020095519A (ja) * 2018-12-13 2020-06-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 形状推定装置、形状推定方法、プログラム、及び記録媒体
JP6611147B1 (ja) * 2019-05-16 2019-11-27 株式会社センシンロボティクス 撮像システム及び撮像方法
JP6611149B1 (ja) * 2019-05-16 2019-11-27 株式会社センシンロボティクス 撮像システム及び撮像方法
JP6611148B1 (ja) * 2019-05-16 2019-11-27 株式会社センシンロボティクス 撮像システム及び撮像方法
JP6611152B1 (ja) * 2019-08-22 2019-11-27 株式会社センシンロボティクス 撮像システム及び撮像方法
JP7384042B2 (ja) 2020-01-09 2023-11-21 三菱電機株式会社 飛行ルート学習装置、飛行ルート決定装置及び飛行装置
US20220019296A1 (en) * 2020-07-14 2022-01-20 Steven Quinn McCain Remote Pointing Device

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101290237A (zh) * 2008-01-18 2008-10-22 天津大学 建筑物理数据快速三维采样方法
JP2014006148A (ja) * 2012-06-25 2014-01-16 Topcon Corp 航空写真撮像方法及び航空写真撮像システム
JP2015037937A (ja) * 2014-09-16 2015-02-26 株式会社トプコン 飛行体の飛行制御システム
JP2015058758A (ja) * 2013-09-17 2015-03-30 一般財団法人中部電気保安協会 構造物点検システム
JP2015194069A (ja) * 2014-03-27 2015-11-05 株式会社フジタ 構造物の点検装置
JP2016045756A (ja) * 2014-08-25 2016-04-04 三菱重工業株式会社 データ処理方法、及び、データ処理装置
US20160253808A1 (en) * 2015-02-26 2016-09-01 Hexagon Technology Center Gmbh Determination of object data by template-based uav control
JP2017501484A (ja) * 2014-09-05 2017-01-12 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd ある環境内で可動物体を制御する方法、ある環境内で可動物体を制御するシステム、ある環境内で無人航空機を制御する方法、及び、ある環境内で無人航空機を制御するシステム
JP2017503246A (ja) * 2014-09-15 2017-01-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 航空機の飛行制御方法及び関連装置
US20170046873A1 (en) * 2015-04-14 2017-02-16 ETAK Systems, LLC Systems and methods for obtaining accurate 3d modeling data using uavs for cell sites

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4586158B2 (ja) * 2005-04-06 2010-11-24 独立行政法人産業技術総合研究所 空間移送システム
JP4624287B2 (ja) * 2006-03-17 2011-02-02 株式会社パスコ 建物形状変化検出方法及び建物形状変化検出システム
US20110006151A1 (en) * 2008-06-20 2011-01-13 Beard Randal W Aerial recovery of small and micro air vehicles
ES2589581T3 (es) * 2012-02-17 2016-11-15 The Boeing Company Vehículo aéreo no tripulado que recupera energía de corrientes ascendentes de aire
EP2829842B1 (en) * 2013-07-22 2022-12-21 Hexagon Technology Center GmbH Method, system and computer programme product for determination of an absolute volume of a stock pile using a structure from motion algorithm
JP6326237B2 (ja) * 2014-01-31 2018-05-16 株式会社トプコン 測定システム
JP6486024B2 (ja) * 2014-07-02 2019-03-20 三菱重工業株式会社 構造物の屋内監視システム及び方法
CN105519246B (zh) * 2014-11-28 2018-02-02 深圳市大疆创新科技有限公司 紧固组件、固持机构、使用该固持机构的支架以及遥控器
US10509417B2 (en) * 2015-03-18 2019-12-17 Van Cruyningen Izak Flight planning for unmanned aerial tower inspection with long baseline positioning
CN105388905B (zh) * 2015-10-30 2019-04-26 深圳一电航空技术有限公司 无人机飞行控制方法及装置
CN105329456B (zh) * 2015-12-07 2018-04-27 武汉金运激光股份有限公司 无人机人体三维建模方法
CN105825518B (zh) * 2016-03-31 2019-03-01 西安电子科技大学 基于移动平台拍摄的序列图像快速三维重建方法
CN106054920A (zh) * 2016-06-07 2016-10-26 南方科技大学 一种无人机飞行路径规划方法和装置
CN105979147A (zh) * 2016-06-22 2016-09-28 上海顺砾智能科技有限公司 一种无人机智能拍摄方法
CN205940552U (zh) * 2016-07-28 2017-02-08 四川省川核测绘地理信息有限公司 一种多旋翼无人机倾斜摄影系统
CN106295141B (zh) * 2016-08-01 2018-12-14 清华大学深圳研究生院 用于三维模型重建的多条无人机路径确定方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101290237A (zh) * 2008-01-18 2008-10-22 天津大学 建筑物理数据快速三维采样方法
JP2014006148A (ja) * 2012-06-25 2014-01-16 Topcon Corp 航空写真撮像方法及び航空写真撮像システム
JP2015058758A (ja) * 2013-09-17 2015-03-30 一般財団法人中部電気保安協会 構造物点検システム
JP2015194069A (ja) * 2014-03-27 2015-11-05 株式会社フジタ 構造物の点検装置
JP2016045756A (ja) * 2014-08-25 2016-04-04 三菱重工業株式会社 データ処理方法、及び、データ処理装置
JP2017501484A (ja) * 2014-09-05 2017-01-12 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd ある環境内で可動物体を制御する方法、ある環境内で可動物体を制御するシステム、ある環境内で無人航空機を制御する方法、及び、ある環境内で無人航空機を制御するシステム
JP2017503246A (ja) * 2014-09-15 2017-01-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 航空機の飛行制御方法及び関連装置
JP2015037937A (ja) * 2014-09-16 2015-02-26 株式会社トプコン 飛行体の飛行制御システム
US20160253808A1 (en) * 2015-02-26 2016-09-01 Hexagon Technology Center Gmbh Determination of object data by template-based uav control
US20170046873A1 (en) * 2015-04-14 2017-02-16 ETAK Systems, LLC Systems and methods for obtaining accurate 3d modeling data using uavs for cell sites

Also Published As

Publication number Publication date
US20190385322A1 (en) 2019-12-19
CN110366670A (zh) 2019-10-22
JP6878567B2 (ja) 2021-05-26
WO2018158927A1 (ja) 2018-09-07
CN110366670B (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
JP6878567B2 (ja) 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体
US11377211B2 (en) Flight path generation method, flight path generation system, flight vehicle, program, and storage medium
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
JP6326237B2 (ja) 測定システム
US20190318636A1 (en) Flight route display method, mobile platform, flight system, recording medium and program
JP6862477B2 (ja) 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
JP6289750B1 (ja) 移動体、移動体制御方法、移動体制御システム、及び移動体制御プログラム
JP6788094B2 (ja) 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体
JP2018138923A (ja) 測定システム
US20210185235A1 (en) Information processing device, imaging control method, program and recording medium
JP6329219B2 (ja) 操作端末、及び移動体
JP2019082837A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP2018138922A (ja) 測定システム
JP6921026B2 (ja) 送信機、飛行体、飛行制御指示方法、飛行制御方法、プログラム、及び記憶媒体
JP2022002391A (ja) 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210428

R150 Certificate of patent or registration of utility model

Ref document number: 6878567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150