JPWO2021124579A1 - 飛行体の撮像方法及び情報処理装置 - Google Patents

飛行体の撮像方法及び情報処理装置 Download PDF

Info

Publication number
JPWO2021124579A1
JPWO2021124579A1 JP2020519143A JP2020519143A JPWO2021124579A1 JP WO2021124579 A1 JPWO2021124579 A1 JP WO2021124579A1 JP 2020519143 A JP2020519143 A JP 2020519143A JP 2020519143 A JP2020519143 A JP 2020519143A JP WO2021124579 A1 JPWO2021124579 A1 JP WO2021124579A1
Authority
JP
Japan
Prior art keywords
information
shooting
light source
date
imaging method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020519143A
Other languages
English (en)
Inventor
晋也 西本
兼太郎 深見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensyn Robotics Inc
Original Assignee
Sensyn Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensyn Robotics Inc filed Critical Sensyn Robotics Inc
Priority to JP2020141902A priority Critical patent/JP2021100234A/ja
Publication of JPWO2021124579A1 publication Critical patent/JPWO2021124579A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/10Propulsion
    • B64U50/19Propulsion using electrically powered motors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Remote Sensing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】本発明は、特に、逆光での撮像となる場合においても、光源が映り込むことなく撮像が可能となる撮像方法及び情報処理装置を提供すること。【解決手段】本発明は、少なくとも飛行体の撮影ポイント情報及び撮影方向情報と、飛行体に搭載された撮影装置の撮影画角情報及び撮影角度情報と、撮影ポイント情報に関連する日時情報と、を含む撮影条件情報を取得する情報取得ステップと、撮影ポイント情報及び日時情報または撮影ポイント情報及び予め取得した光源の位置情報に基づき、飛行体に対する光源の位置する方位及び高度を算出する算出ステップと、撮影ポイント情報及び日時情報、撮影方向情報と撮影画角情報または撮影角度情報の少なくとも一方とから導かれる撮影範囲と、光源の位置する方位または高度の少なくとも一方とを比較し、撮影範囲内に前記光源が位置するかどうかを判定する判定ステップと、を含む、ことを特徴とする撮像方法。【選択図】図5

Description

本発明は、飛行体の撮像方法及び情報処理装置に関する。
近年、ドローン(Drone)や無人航空機(UAV:Unmanned Aerial Vehicle)などの飛行体(以下、「飛行体」と総称する)が産業に利用され始めている。こうした中で、特許文献1には、逆光での撮像となる場合には、逆光での撮像とならない位置になるように、無人航空機を飛行させるように制御する撮像方法が開示されている。
特開2018−092237号公報
しかしながら、上記特許文献1の開示技術では、撮像対象の全体像を撮像する場合に、逆光での撮像となる位置側からの撮像ができないため、該全体像を撮像するためには日時を改めて再撮影をするなど、ユーザ側で調整をする負担あった。
また、近年、逆光に対するソフトウェア補正技術が進歩しており、逆光であっても撮像できる環境となってきているが、特に撮影範囲内に光源が映り込んでいる場合には、該ソフトウェア補正技術でも対応が難しい状況である。
本発明はこのような背景を鑑みてなされたものであり、逆光での撮像となる場合においても、撮影範囲内に光源が位置するかどうかを確認することにより、光源が映り込むことなく撮像が可能となる撮像方法及び情報処理装置を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、対象物を撮像するために飛行体を制御する情報処理装置に接続された飛行体の撮像方法であって、少なくとも前記飛行体の撮影ポイント情報及び撮影方向情報と、前記飛行体に搭載された撮影装置の撮影画角情報及び撮影角度情報と、前記撮影ポイント情報に関連する日時情報と、を含む撮影条件情報を取得する情報取得ステップと、前記撮影ポイント情報及び前記日時情報または前記撮影ポイント情報及び予め取得した光源の位置情報に基づき、前記飛行体に対する光源の位置する方位及び高度を算出する算出ステップと、前記撮影ポイント情報及び前記日時情報、前記撮影方向情報と前記撮影画角情報または撮影角度情報の少なくとも一方とから導かれる撮影範囲と、前記光源の位置する方位または高度の少なくとも一方とを比較し、前記撮影範囲内に前記光源が位置するかどうかを判定する判定ステップと、を含む、ことを特徴とする撮像方法、である。
本発明によれば、特に、逆光での撮像となる場合においても、撮影範囲内に光源が位置するかどうかを確認することにより、光源が映り込むことなく撮像が可能となる撮像方法及び情報処理装置を提供することができる。
本発明の実施の形態にかかる管理システムの構成を示す図である。 図1の管理サーバのハードウェア構成を示すブロック図である。 図1のユーザ端末のハードウェア構成を示すブロック図である。 図1の飛行体のハードウェア構成を示すブロック図である。 図1の管理サーバの機能を示すブロック図である。 図5のパラメータ情報記憶部の構造を示すブロック図である。 本発明の実施の形態にかかる撮像方法のフローチャートである。 本発明の実施の形態にかかる撮影範囲の一例を示す図である。 本発明の実施の形態にかかる撮影範囲の一例を示す図である。 本発明の実施の形態にかかる撮影範囲の一例を示す図である。 本発明の実施の形態にかかる撮影範囲の一例を示す図である。 本発明の実施の形態にかかる撮影範囲の一例を示す図である。 本発明の実施の形態にかかる撮影範囲の一例を示す図である。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるフライト管理サーバ及びフライト管理システムは、以下のような構成を備える。
[項目1]
対象物を撮像するために飛行体を制御する情報処理装置に接続された飛行体の撮像方法であって、
少なくとも前記飛行体の撮影ポイント情報及び撮影方向情報と、前記飛行体に搭載された撮影装置の撮影画角情報及び撮影角度情報と、前記撮影ポイント情報に関連する日時情報と、を含む撮影条件情報を取得する情報取得ステップと、
前記撮影ポイント情報及び前記日時情報または前記撮影ポイント情報及び予め取得した光源の位置情報に基づき、前記飛行体に対する光源の位置する方位及び高度を算出する算出ステップと、
前記撮影ポイント情報及び前記日時情報、前記撮影方向情報と前記撮影画角情報または撮影角度情報の少なくとも一方とから導かれる撮影範囲と、前記光源の位置する方位または高度の少なくとも一方とを比較し、前記撮影範囲内に前記光源が位置するかどうかを判定する判定ステップと、を含む、
ことを特徴とする撮像方法。
[項目2]
項目1に記載の撮像方法であって、
前記判定するステップは、
垂直方向または水平方向の少なくともいずれかの撮影範囲内に前記光源が位置するかどうかを判定する、
ことを特徴とする撮像方法。
[項目3]
項目1または2に記載の撮像方法であって、
前記判定ステップにより前記撮影範囲内に前記光源が位置すると判定された場合には、前記管理サーバはユーザに対して警告を出力する、
ことを特徴とする撮像方法。
[項目4]
項目1乃至3に記載の撮像方法であって、
前記判定ステップにより前記撮影範囲内に前記光源が位置すると判定された場合には、前記撮影条件情報の少なくとも一部を変更する撮影条件変更ステップをさらに含む、
ことを特徴とする撮像方法。
[項目5]
項目1乃至4に記載の撮像方法であって、
前記光源は、光を発する人工物であり、
前記人工物が光を発するまたは光を発しない時間帯を示す時間帯情報を取得するステップと、
前記日時情報と前記時間帯情報を比較し、前記飛行装置が飛行する時間帯が、前記人工物が光を発するまたは光を発しない時間帯内に含まれるかどうかを判定するステップと、を含む、
ことを特徴とする撮像方法。
[項目6]
項目1乃至4に記載の撮像方法であって、
前記光源は、太陽であり、
前記対象物が位置する地域の天候情報を取得するステップと、
前記天候情報に基づき、前記太陽が現れる天気または前記太陽が現れない天気の時間帯を取得するステップと、
前記日時情報と前記時間帯情報を比較し、前記飛行装置が飛行する時間帯が、前記太陽が現れる天気または前記太陽が現れない天気の時間帯内に含まれるかどうかを判定するステップと、を含む、
ことを特徴とする撮像方法。
[項目7]
対象物を撮像するために飛行体を制御する情報処理装置であって、
前記情報処理装置は、
少なくとも前記飛行体の撮影ポイント情報及び撮影方向情報と、前記飛行体に搭載された撮影装置の撮影画角情報及び撮影角度情報と、前記撮影ポイント情報に関連する日時情報と、を含む撮影条件情報を取得する情報取得部と、
前記撮影ポイント情報及び前記日時情報または予め取得した光源の位置情報に基づき、前記飛行体に対する光源の位置する方位及び高度を算出する算出部と、
前記撮影ポイント情報及び前記日時情報、前記撮影方向情報と、前記撮影画角情報及び撮影角度情報の少なくとも一方とから導かれる撮影範囲と、前記光源のする方位または高度の少なくとも一方とを比較し、前記撮影範囲内に前記光源が位置するかどうかを判定する判定部と、を含む、
ことを特徴とする情報処理装置。
<実施の形態の詳細>
以下、本発明の実施の形態による飛行体の撮像方法及び情報処理装置についての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
<構成>
図1に示されるように、本実施の形態における管理システムは、管理サーバ1と、一以上のユーザ端末2と、一以上の飛行体4と、一以上の飛行体格納装置5とを有している。管理サーバ1と、ユーザ端末2と、飛行体4と、飛行体格納装置5は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、飛行体格納装置5を有さずに、ユーザにより持ち運びされる構成などでもよい。
<管理サーバ1>
図2は、管理サーバ1のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
図示されるように、管理サーバ1は、複数のユーザ端末2と、飛行体4、飛行体格納装置5と接続され本システムの一部を構成する。管理サーバ1は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
管理サーバ1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
プロセッサ10は、管理サーバ1全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ10はCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、管理サーバ1の起動時に実行されるBIOS(Basic Input / Output System)、及び各種設定情報等を格納する。
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよい。
送受信部13は、管理サーバ1をネットワークおよびブロックチェーンネットワークに接続する。なお、送受信部13は、Bluetooth(登録商標)及びBLE(Bluetooth Low Energy)の近距離通信インターフェースを備えていてもよい。
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
<ユーザ端末2>
図3に示されるユーザ端末2もまた、プロセッサ20、メモリ21、ストレージ22、送受信部23、入出力部24等を備え、これらはバス25を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ1と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
<飛行体4>
図4は、飛行体4のハードウェア構成を示すブロック図である。フライトコントローラ41は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの1つ以上のプロセッサを有することができる。
また、フライトコントローラ41は、メモリ411を有しており、当該メモリにアクセス可能である。メモリ411は、1つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および/またはプログラム命令を記憶している。また、フライトコントローラ41は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)等のセンサ類412を含みうる。
メモリ411は、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ/センサ類42から取得したデータは、メモリ411に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ/センサ42または内蔵メモリからネットワークNWを介して、少なくとも管理サーバ1やユーザ端末2、飛行体格納装置5のいずれかに記録されてもよい。カメラ42は飛行体4にジンバル43を介して設置される。
フライトコントローラ41は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、6自由度(並進運動x、y及びz、並びに回転運動θ、θ及びθ)を有する飛行体の空間的配置、速度、および/または加速度を調整するために、ESC44(Electric Speed Controller)を経由して飛行体の推進機構(モータ45等)を制御する。バッテリー48から給電されるモータ45によりプロペラ46が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの1つ以上を制御することができる。
フライトコントローラ41は、1つ以上の外部のデバイス(例えば、送受信機(プロポ)49、端末、表示装置、または他の遠隔の制御器)からのデータを送信および/または受け取るように構成された送受信部47と通信可能である。送受信機49は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
例えば、送受信部47は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。
送受信部47は、センサ類42で取得したデータ、フライトコントローラ41が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。
本実施の形態によるセンサ類42は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)、またはビジョン/イメージセンサ(例えば、カメラ)を含み得る。
<管理サーバの機能>
図5は、管理サーバ1に実装される機能を例示したブロック図である。本実施の形態においては、管理サーバ1は、通信部110、フライトミッション生成部120、情報取得部130、光源位置算出部140、判定部150、記憶部160、レポート生成部170を備えている。フライトミッション生成部120は、飛行経路生成部121を含む。また、記憶部160は、飛行経路情報記憶部162、フライトログ記憶部164、撮影条件パラメータ記憶部166を含む。なお、記憶部160は、撮像を行うために必要な情報を記憶する記憶部をさらに有していてもよく、例えば、飛行条件に関する情報(例えば、飛行速度やウェイポイント間隔など)や、撮影対象物に関する情報(例えば、位置座標や高さ情報など)、対象物の周辺環境に関する情報(例えば、地形や周辺の構造物に関する情報)を記憶する記憶部(不図示)をそれぞれ有していてもよい。
通信部110は、ユーザ端末2や、飛行体4、飛行体格納装置5と通信を行う。通信部110は、ユーザ端末2から、フライト依頼を受け付ける受付部としても機能する。
フライトミッション生成部120は、フライトミッションを生成する。フライトミッションは、少なくとも撮影ポイント(いわゆる、ウェイポイントであり、例えば緯度経度情報及び飛行高度情報を含む)情報及び撮影方向情報、撮影日時情報を含む飛行経路を含む情報である。飛行経路の設定は既知の方法で行われてもよく、例えば、手動で撮影ポイント及び撮影方向を設定されたものを参照したり、撮像対象物の位置座標と撮像対象物からの撮影距離を設定するなどして自動で撮影ポイント及び撮影方向を算出して設定したりしてもよい。
なお、飛行経路は、例えば、飛行体格納装置5を有さずに、ユーザにより機体を持ち運びされた位置を飛行開始位置としたり、飛行終了位置においてユーザが機体を回収したりする構成などでもよいし、管理サーバ1により管理された飛行体格納装置5の情報(例えば、位置情報や格納状態情報、格納機体情報など)を基に、飛行開始位置、途中経由地または飛行終了位置として選択された飛行体格納装置5の位置も含めた飛行経路として生成される構成でもよい。
情報取得部130は、飛行体の撮影条件情報を取得する。ここでいう撮影条件情報の取得とは、少なくとも飛行経路情報及び日時情報、撮影画角情報及び撮影角度情報を含む撮影条件パラメータの取得である。その他の撮影条件パラメータについても、例えば、記憶部160に予め記憶されたデフォルト値を取得したり、撮影対象物の大きさなどに合わせて自動で算出されて取得されるようにしてもよい。
光源位置算出部140は、例えば、撮影ポイント情報及び撮影日時情報に基づき、飛行体に対する光源の位置する方位及び高度位置(以下、光源位置と称する)を算出する。この算出方法は、例えば、光源が太陽である場合には、既知の方法により太陽高度及び方位(以下、「太陽の位置」と称する)を算出可能である。より具体的には、例えば太陽の位置を求めるための既知の数式に日時と緯度経度を代入することにより太陽の位置が算出可能であるため、この既知の太陽位置算出方法により直接算出したり、当該算出結果をテーブル化して対応関係を記録した太陽位置データテーブル(不図示)を用いるなどすることにより算出可能である。したがって、上述の撮影条件情報(特に飛行経路上の撮影ポイント情報と撮影日時情報)と上述の太陽位置算出方法または太陽位置データテーブルを用いることにより、撮影ポイントに対する太陽の位置情報を算出することが可能である。
また、光源位置算出部140は、例えば、撮影ポイント情報と予め取得した光源の位置情報とに基づき、飛行体に対する光源位置を算出する。例えば光源が光を発する人工物(例えば、照明など)である場合には、その光を発する位置を記憶した情報(例えば、緯度経度情報や高さ位置情報など)により当該人工物の光源の位置情報を取得することが可能であり、その光源の位置情報と撮影ポイント情報との相対関係から、撮影ポイントに対する光源の位置情報を算出することが可能である。
判定部150は、撮影範囲内に光源が入るかどうかを判定する。この判定は、撮影条件情報(特に飛行経路上の撮影ポイント情報及び撮影方向情報、撮影画角及び撮影角度に関する情報)と、上述の光源の位置情報を比較することにより、撮影ポイントからの撮影範囲内に光源が位置するかどうか判定が可能である。より具体的な判定方法の例としては、水平方向に対しては、撮影ポイントからの撮影方向を中心とする水平方向の撮影画角により形成される撮影範囲内に 、光源の位置する方位が含まれるかを比較して判定する。また、垂直方向に対しては、撮影ポイントからの撮影角度を中心とする垂直方向の撮影画角により形成される撮影範囲内に、光源の位置する高度が含まれるかを比較して判定する。
飛行経路情報記憶部162は、フライトミッション生成部120で生成された飛行体の撮影ポイント情報及び撮影方向情報、撮影日時情報を記憶している。フライトログ記憶部164は、例えば、フライトミッションにて設定された飛行経路上にて、飛行体4により取得された情報(例えば、離陸から着陸までに経由した位置の情報、静止画像、動画像、音声その他の情報)を記憶している。
撮影条件パラメータ記憶部166は、図6に示すように、撮影画角情報記憶部1661、撮影角度情報記憶部1662、光源位置情報記憶部1663を少なくとも含む。
レポート生成部170は、フライトログ記憶部164に基づいて、ユーザ端末2に表示されるレポート情報を生成する。
<撮像方法の一例>
図7−13を参照して、本実施形態にかかる撮像方法について説明する。図7には、本実施形態にかかる撮像方法のフローチャートが例示されている。このフローチャートでは、例示的にユーザ端末2上でアプリケーションを起動する構成を示しているが、これに限らず、例えば管理サーバ1や飛行体格納装置5がアプリケーションを起動可能なプロセッサと入出力装置を有し、各種設定等が可能な構成であってもよい。なお、図8−13は、本発明の実施の形態にかかる撮像方法における撮影範囲について説明する例である。
まず、情報取得部130により記憶部160から飛行体の撮影条件情報を取得する(SQ101)。ここでいう撮影条件情報の取得とは、少なくとも飛行経路情報及び日時情報、撮影画角情報及び撮影角度情報を含む撮影条件パラメータの取得である。その他の撮影条件パラメータについても、例えば、予めデフォルト値を取得したり、撮影対象物の大きさなどに合わせて自動で取得されるようにしてもよい。
なお、撮影対象物は、本例においては鉄塔である場合を図示して説明するが、これに限らず、カメラ42で撮影可能な物であればどのようなものであってもよく、例えば高層マンション、家、煙突、アンテナ塔、灯台、風車、樹木、観音像等の造形物、さらには人や動物などの生き物や火事等の煙などであってもよい。
次に、管理サーバ1は、光源位置算出部140により光源の位置情報を算出する(SQ102)。なお、光源は、自ら光を発する光源(例えば、太陽や月、照明など)に限らず、他のものから発された光を反射することにより生成された光源(例えば、ガラスや窓に反射した光など)も含まれる。
次に、管理サーバ1は、判定部150により撮影範囲内に光源が入るかどうかを判定する(SQ103)。ここで、撮影ポイントからの撮影範囲内に光源が位置しないと判定された場合には、飛行体は当該撮影条件情報に基づきフライトを開始する(SQ104)。
例えば、図8及び図9に例示されるような位置関係の場合、撮影範囲内に光源が位置しないと判定されるように判定してもよい。すなわち、図9に例示されるように水平方向の撮影範囲内に光源が含まれたとしても、図8に例示されるように垂直方向の撮影範囲内に光源が含まれなければ、撮影範囲内に光源が位置しないと判定されてもよい。
例えば、図8のような位置関係に代えて、図10に例示されるような位置関係の場合においても、撮影範囲内に光源が位置しないと判定されてもよい。
例えば、図11及び図12に例示されるような位置関係の場合、撮影範囲内に光源が位置しないと判定されてもよい。すなわち、図11に例示されるように垂直方向の撮影範囲内に光源が含まれたとしても、図12に例示されるように水平方向の撮影範囲内に光源が含まれなければ、撮影範囲内に光源が位置しないと判定されてもよい。
また、例えば、図示しないが、垂直方向及び水平方向の撮影範囲内に光源が含まれなければ、撮影範囲内に光源が位置しないと判定されてもよい。
次に、SQ103にて撮影ポイントからの撮影範囲内に光源が位置すると判定された場合には、撮影条件情報の少なくとも一部を変更する(SQ105)。
ここで、撮影条件情報の変更は、撮影ポイントからの撮影範囲内に光源が位置しないと判定されるようになるのであれば、いずれの撮影条件情報を変更して対応してもよい。
例えば、変更する撮影条件情報の1つは、撮影角度であり得る。すなわち、例えば図11のように上方から下方に向けて対象物を撮影する際に撮影範囲内に光源が位置する場合には、撮影角度を下向きではなく上向きに変更することにより、例えば図10のような撮影条件と変更されることで対応され得る。この時、飛行経路の進行方向も上方から下方に代えて、下方から上方となるように併せて変更してもよい。反対に、光源が上方にあり、図10のような撮影条件において撮影範囲内に光源が位置する場合には、図8のような撮影角度に変更することで対応され得る。
また、光源が上方にある場合において、図8のような撮影角度だと撮影範囲内に光源が位置することもあり得るが、その場合は撮影角度の変更に加えて、撮影高度も併せて変更することで、図13に記載されるように撮影範囲内に光源が位置しないように撮影条件を変更することも可能である。
例えば、変更する撮影条件情報の1つは、撮影ポイント及び撮影方向であり得る。すなわち、例えば図9のような位置関係では撮影範囲内に光源が位置するが、例えば図12のように撮影ポイント及び撮影方向を変更することで、撮影範囲内に光源が位置しないように撮影条件を変更することも可能である。この時、機体の撮影方向の変更に代えて、撮影装置の撮影角度を変更することで対応してもよい。
例えば、変更する撮影条件情報の1つは、撮影する日時であり得る。すなわち、例えば、設定された日時だと光源が図11のような位置にあるが、撮影する日時を変更することにより光源が図8のような位置になるため、その他の撮影条件を変更することなく対応することも可能である。
また、光源が光を発する人工物である場合には、例えば人工物が光を発するまたは光を発しない時間帯情報を記憶部160に記憶しておくことにより、日時情報と時間帯情報を比較することで設定された日時だと光源が光を発するまたは光を発しない時間帯であることも判定できるので、光源が光を発しない時間帯に撮影する日時を変更することで、光源が両撮影範囲内に位置していても撮影可能に設定してもよい。
さらに、光源が太陽である場合には、例えば対象物が位置する地域の天候情報を管理サーバ1内またはネットワークから取得することにより、設定された日時だと太陽が現れる天気または前記太陽が現れない天気の時間帯であることを判定し、撮影する日時を例えば太陽が現れない曇りの日時に変更することで、光源が両撮影範囲内に位置していても撮影可能に設定してもよい。
次に、飛行体がフライト中に取得した情報(例えば、撮影画像など)を利用して、レポートを出力する(SQ106)。
なお、図示していないが、SQ103の確認ステップの後に、管理サーバが撮影範囲内に光源が位置する旨の警告をユーザに対して出力するようにしてもよい。そして、警告に応じて、ユーザは、フライト自体を中止するステップへ進むのか、撮影条件を変更するステップに進むのか、さらには何れの撮影条件を変更するのかなどを選択することが可能にしてもよい。これにより、ユーザがフライトプランを柔軟に設定することが可能になる。
また、上述の実施の形態においては、情報処理装置としての管理サーバ1により当該撮像方法のための処理を実行しているが、これに代えて、飛行体4自体に搭載された情報処理装置や、飛行体格納装置5に搭載された情報処理装置により、上述の処理を実行するように構成をなしてもよい。
さらに、本例では対象物が鉄塔のように、隙間などにより対象物の一方側から他方側に位置する光源が見える対象物の場合について説明しているが、対象物が例えば、高層マンションのように他方側に位置する光源が隠れる対象物の場合については、例えば対象物の幅情報や高さ情報などに基づき設定される、撮影ポイントからの撮影方向または撮影角度を中心とする所定角度範囲内に、光源が位置するか判定することにより、光源が両撮影範囲内に位置していても撮影可能に設定してもよい。
このように、特に逆光での撮像となる場合においても、撮影範囲内に光源が位置するかどうかを確認することにより、光源が映り込むことなく撮像が可能となる。
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
1 管理サーバ
2 ユーザ端末
4 飛行体


Claims (7)

  1. 対象物を撮像するために飛行体を制御する情報処理装置に接続された飛行体の撮像方法であって、
    少なくとも前記飛行体の撮影ポイント情報及び撮影方向情報と、前記飛行体に搭載された撮影装置の撮影画角情報及び撮影角度情報と、前記撮影ポイント情報に関連する日時情報と、を含む撮影条件情報を取得する情報取得ステップと、
    前記撮影ポイント情報及び前記日時情報または前記撮影ポイント情報及び予め取得した光源の位置情報に基づき、前記飛行体に対する光源の位置する方位及び高度を算出する算出ステップと、
    前記撮影ポイント情報及び前記日時情報、前記撮影方向情報と前記撮影画角情報または撮影角度情報の少なくとも一方とから導かれる撮影範囲と、前記光源の位置する方位または高度の少なくとも一方とを比較し、前記撮影範囲内に前記光源が位置するかどうかを判定する判定ステップと、を含む、
    ことを特徴とする撮像方法。
  2. 請求項1に記載の撮像方法であって、
    前記判定するステップは、
    垂直方向または水平方向の少なくともいずれかの撮影範囲内に前記光源が位置するかどうかを判定する、
    ことを特徴とする撮像方法。
  3. 請求項1または2に記載の撮像方法であって、
    前記判定ステップにより前記撮影範囲内に前記光源が位置すると判定された場合には、前記情報処理装置はユーザに対して警告を出力する、
    ことを特徴とする撮像方法。
  4. 請求項1乃至3に記載の撮像方法であって、
    前記判定ステップにより前記撮影範囲内に前記光源が位置すると判定された場合には、前記撮影条件情報の少なくとも一部を変更する撮影条件変更ステップをさらに含む、
    ことを特徴とする撮像方法。
  5. 請求項1乃至4に記載の撮像方法であって、
    前記光源は、光を発する人工物であり、
    前記人工物が光を発するまたは光を発しない時間帯を示す時間帯情報を取得するステップと、
    前記日時情報と前記時間帯情報を比較し、前記飛行装置が飛行する時間帯が、前記人工物が光を発するまたは光を発しない時間帯内に含まれるかどうかを判定するステップと、を含む、
    ことを特徴とする撮像方法。
  6. 請求項1乃至4に記載の撮像方法であって、
    前記光源は、太陽であり、
    前記対象物が位置する地域の天候情報を取得するステップと、
    前記天候情報に基づき、前記太陽が現れる天気または前記太陽が現れない天気の時間帯を取得するステップと、
    前記日時情報と前記時間帯情報を比較し、前記飛行装置が飛行する時間帯が、前記太陽が現れる天気または前記太陽が現れない天気の時間帯内に含まれるかどうかを判定するステップと、を含む、
    ことを特徴とする撮像方法。
  7. 対象物を撮像するために飛行体を制御する情報処理装置であって、
    前記情報処理装置は、
    少なくとも前記飛行体の撮影ポイント情報及び撮影方向情報と、前記飛行体に搭載された撮影装置の撮影画角情報及び撮影角度情報と、前記撮影ポイント情報に関連する日時情報と、を含む撮影条件情報を取得する情報取得部と、
    前記撮影ポイント情報及び前記日時情報または前記撮影ポイント情報及び予め取得した光源の位置情報に基づき、前記飛行体に対する光源の位置する方位及び高度を算出する光源位置算出部と、
    前記撮影ポイント情報及び前記日時情報、前記撮影方向情報と、前記撮影画角情報または撮影角度情報の少なくとも一方とから導かれる撮影範囲と、前記光源の位置する方位または高度の少なくとも一方とを比較し、前記撮影範囲内に前記光源が位置するかどうかを判定する判定部と、を含む、
    ことを特徴とする情報処理装置。

JP2020519143A 2019-12-20 2019-12-20 飛行体の撮像方法及び情報処理装置 Pending JPWO2021124579A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020141902A JP2021100234A (ja) 2019-12-20 2020-08-25 飛行体の撮像方法及び情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/050206 WO2021124579A1 (ja) 2019-12-20 2019-12-20 飛行体の撮像方法及び情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020141902A Division JP2021100234A (ja) 2019-12-20 2020-08-25 飛行体の撮像方法及び情報処理装置

Publications (1)

Publication Number Publication Date
JPWO2021124579A1 true JPWO2021124579A1 (ja) 2021-12-23

Family

ID=76476743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020519143A Pending JPWO2021124579A1 (ja) 2019-12-20 2019-12-20 飛行体の撮像方法及び情報処理装置

Country Status (2)

Country Link
JP (1) JPWO2021124579A1 (ja)
WO (1) WO2021124579A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114750972B (zh) * 2022-04-27 2024-05-14 西安理工大学 多旋翼无人机回收辅助导航装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129277A (ja) * 2005-10-31 2007-05-24 Fujitsu Ltd 画像処理装置
WO2011099049A1 (ja) * 2010-02-09 2011-08-18 トヨタ自動車株式会社 撮像システム
JP2013054545A (ja) * 2011-09-05 2013-03-21 Mitsubishi Motors Corp 運転支援装置
WO2013136399A1 (ja) * 2012-03-12 2013-09-19 パナソニック株式会社 情報提供システム、情報提供装置、撮影装置、およびコンピュータプログラム
US20150264267A1 (en) * 2014-03-12 2015-09-17 Samsung Electronics Co., Ltd. Method for guiding shooting location of electronic device and apparatus therefor
JP2017068639A (ja) * 2015-09-30 2017-04-06 セコム株式会社 自律移動ロボット
JP2018092237A (ja) * 2016-11-30 2018-06-14 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、無人航空機制御システムの制御方法、およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129277A (ja) * 2005-10-31 2007-05-24 Fujitsu Ltd 画像処理装置
WO2011099049A1 (ja) * 2010-02-09 2011-08-18 トヨタ自動車株式会社 撮像システム
JP2013054545A (ja) * 2011-09-05 2013-03-21 Mitsubishi Motors Corp 運転支援装置
WO2013136399A1 (ja) * 2012-03-12 2013-09-19 パナソニック株式会社 情報提供システム、情報提供装置、撮影装置、およびコンピュータプログラム
US20150264267A1 (en) * 2014-03-12 2015-09-17 Samsung Electronics Co., Ltd. Method for guiding shooting location of electronic device and apparatus therefor
JP2017068639A (ja) * 2015-09-30 2017-04-06 セコム株式会社 自律移動ロボット
JP2018092237A (ja) * 2016-11-30 2018-06-14 キヤノンマーケティングジャパン株式会社 無人航空機制御システム、無人航空機制御システムの制御方法、およびプログラム

Also Published As

Publication number Publication date
WO2021124579A1 (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
JP6878567B2 (ja) 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体
US20200026720A1 (en) Construction and update of elevation maps
JP6829513B1 (ja) 位置算出方法及び情報処理システム
JP6583840B1 (ja) 検査システム
US20210185235A1 (en) Information processing device, imaging control method, program and recording medium
JP2021100234A (ja) 飛行体の撮像方法及び情報処理装置
JP6966810B2 (ja) 管理サーバ及び管理システム、表示情報生成方法、プログラム
WO2021124579A1 (ja) 飛行体の撮像方法及び情報処理装置
WO2021079516A1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP6934646B1 (ja) 飛行制限領域設定方法、ウェイポイント設定方法及び管理サーバ、情報処理システム、プログラム
JP6730764B1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
JP7004374B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP6991525B1 (ja) ウェイポイント高さ座標設定方法及び管理サーバ、情報処理システム、プログラム
JP6818379B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP2020169010A (ja) 飛行体
JP6684012B1 (ja) 情報処理装置および情報処理方法
JP2019082837A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP6899108B1 (ja) 計器指示値読取方法及び管理サーバ、計器指示値読取システム、プログラム
JP6978026B1 (ja) ウェイポイント設定方法及びウェイポイント修正方法、管理サーバ、情報処理システム、プログラム
JP6810498B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP6810497B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP7370045B2 (ja) 寸法表示システムおよび寸法表示方法
JP7072311B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP7401068B1 (ja) 情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200528

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200528

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200721

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200806