WO2018179403A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents
情報処理装置、情報処理方法および情報処理プログラム Download PDFInfo
- Publication number
- WO2018179403A1 WO2018179403A1 PCT/JP2017/013774 JP2017013774W WO2018179403A1 WO 2018179403 A1 WO2018179403 A1 WO 2018179403A1 JP 2017013774 W JP2017013774 W JP 2017013774W WO 2018179403 A1 WO2018179403 A1 WO 2018179403A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- altitude
- video frame
- flight altitude
- flying object
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 35
- 238000003672 processing method Methods 0.000 title claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims abstract description 4
- 239000003086 colorant Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/042—Control of altitude or depth specially adapted for aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0004—Transmission of traffic-related information to or from an aircraft
- G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/003—Flight plan management
- G08G5/0039—Modification of a flight plan
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Definitions
- the present invention relates to an information processing apparatus, an information processing method, and an information processing program.
- the “aircraft” is a so-called drone, which is an aircraft (UAV (Unmanned Aerial Vehicle)) that can be unmanned and can fly by remote control or autonomous control.
- UAV Unmanned Aerial Vehicle
- the information processing apparatus 100 is an apparatus for performing flight control according to the altitude at the time of shooting by the flying object.
- FIG. 2 is a diagram for explaining an information processing system including the controller 201 and the flying object 202 as the information processing apparatus according to the present embodiment.
- the controller 201 is a device having a calculation capability such as a so-called propo or notebook PC, and includes a wide area image generation unit 211, a photographing altitude acquisition unit 212, a reference image generation unit 213, a display unit 214, an operation unit 215, and a control unit 216. ing.
- the flying object 202 includes a flight drive unit 221 including a propeller and a motor, a flight control unit 222 that controls the flight drive unit 221, and an imaging unit 223 that captures an image.
- the wide area image 300 generated in this way is shown in FIG.
- the wide area image 300 is generated by combining the partial images 230 obtained by the flying object 202 moving while photographing the positions indicated by (1) to (6).
- the wide-area image generation unit 811 of the video processing server 803 acquires the flying object image 220 via the controller 801, extracts and synthesizes a plurality of video frame images 230 from the flying object image 220, and generates a wide-range captured image. To do. When combining a plurality of video frame images 230, selection, position adjustment, and the like of the video frame image 230 are performed using the latitude / longitude, direction, and image characteristics at the time of shooting.
- the display control unit 814 outputs the generated gradation image to the display 804.
- the display 804 may display the gradation image superimposed on the wide area image, displayed in parallel, or switched.
- the flying object can be controlled in accordance with the flight altitude at the time of past photographing with respect to the partial area image constituting the wide area image.
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成手段と、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時点での飛行高度を取得する撮影高度取得手段と、
前記ビデオフレーム画像ごとの前記飛行高度の違いを出力する撮影高度出力手段と、
を備えた。
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成ステップと、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時点での飛行高度を取得する撮影高度取得ステップと、
前記ビデオフレーム画像ごとの前記飛行高度を出力する撮影高度出力ステップと、
を含む。
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成ステップと、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時点での飛行高度を取得する撮影高度取得ステップと、
前記ビデオフレーム画像ごとの前記飛行高度を出力する撮影高度出力ステップと、
をコンピュータに実行させる。
本発明の第1実施形態としての情報処理装置100について、図1を用いて説明する。情報処理装置100は、飛行体による撮影時の高度に応じた飛行制御を行なうための装置である。
次に本発明の第2実施形態に係る情報処理システムについて、図2以降を用いて説明する。図2は、本実施形態に係る情報処理装置としてのコントローラ201と飛行体202とを含む情報処理システムを説明するための図である。
次に本発明の第3実施形態に係る情報処理システム800について、図8を用いて説明する。図8は、本実施形態に係る情報処理システム800の概略構成を説明するための機能構成図である。本実施形態に係る情報処理システム800は、上記第2実施形態と比べると、映像処理サーバ803とディスプレイ804を有しており、コントローラ801が広域画像生成部211などを有さない点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
Claims (10)
- 飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成手段と、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時点での飛行高度を取得する撮影高度取得手段と、
前記ビデオフレーム画像ごとの前記飛行高度の違いを出力する撮影高度出力手段と、
を備えた情報処理装置。 - 前記出力手段は、前記撮像画像と共に、前記飛行高度を表わす飛行高度画像を表示する表示手段である請求項1に記載の情報処理装置。
- 前記出力手段は、前記撮像画像に重畳して、前記飛行高度を表わす飛行高度画像を表示する表示手段である請求項1に記載の情報処理装置。
- 前記出力手段は、前記撮像画像に重畳して、前記飛行高度を画像解像度に置き換えて表現した画像を表示する表示手段である請求項1に記載の情報処理装置。
- 前記飛行高度画像は、飛行高度の違いを、異なる色によって表わした画像である請求項2または3に記載の情報処理装置。
- 前記飛行高度画像は、飛行高度の違いを、色の濃さの変化によって表わした画像である請求項2または3に記載の情報処理装置。
- 前記飛行体を制御する制御手段をさらに備え、
前記出力手段は、前記ビデオフレーム画像ごとの飛行高度を、前記制御手段に渡し、
前記制御手段は、前記ビデオフレーム画像ごとの飛行高度に応じて、前記飛行体の移動ルートを決定する請求項1乃至6のいずれか1項に記載の情報処理装置。 - 前記制御手段は、過去の撮影時点での飛行高度が最も高いビデオフレーム画像を特定し、特定したビデオフレーム画像を撮影した位置の、より低い高度に前記飛行体を移動させる請求項7に記載の情報処理装置。
- 飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成ステップと、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時点での飛行高度を取得する撮影高度取得ステップと、
前記ビデオフレーム画像ごとの前記飛行高度を出力する撮影高度出力ステップと、
を含む情報処理方法。 - 飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成ステップと、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時点での飛行高度を取得する撮影高度取得ステップと、
前記ビデオフレーム画像ごとの前記飛行高度を出力する撮影高度出力ステップと、
をコンピュータに実行させる情報処理プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/013774 WO2018179403A1 (ja) | 2017-03-31 | 2017-03-31 | 情報処理装置、情報処理方法および情報処理プログラム |
CN201780089004.3A CN110463178A (zh) | 2017-03-31 | 2017-03-31 | 信息处理设备、信息处理方法和信息处理程序 |
JP2019508475A JP6773214B2 (ja) | 2017-03-31 | 2017-03-31 | 情報処理装置、情報処理方法および情報処理プログラム |
US16/493,923 US11604478B2 (en) | 2017-03-31 | 2017-03-31 | Information processing apparatus, information processing method, and information processing program |
EP17903432.7A EP3606030A4 (en) | 2017-03-31 | 2017-03-31 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND INFORMATION PROCESSING PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/013774 WO2018179403A1 (ja) | 2017-03-31 | 2017-03-31 | 情報処理装置、情報処理方法および情報処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018179403A1 true WO2018179403A1 (ja) | 2018-10-04 |
Family
ID=63677859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/013774 WO2018179403A1 (ja) | 2017-03-31 | 2017-03-31 | 情報処理装置、情報処理方法および情報処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11604478B2 (ja) |
EP (1) | EP3606030A4 (ja) |
JP (1) | JP6773214B2 (ja) |
CN (1) | CN110463178A (ja) |
WO (1) | WO2018179403A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114879746B (zh) * | 2022-07-13 | 2022-09-20 | 山东中宇航空科技发展有限公司 | 一种农业植保无人机飞行路线优化方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012242321A (ja) * | 2011-05-23 | 2012-12-10 | Topcon Corp | 航空写真撮像方法及び航空写真撮像装置 |
JP2013139256A (ja) * | 2012-01-05 | 2013-07-18 | Parrot | 外乱を引き起こす動きを最小化しながら搭載型カメラによる撮影を行うための回転翼無人機の操縦方法 |
JP2017046328A (ja) | 2015-08-28 | 2017-03-02 | 株式会社オプティム | コントローラ端末及び、無線航空機のコントロール方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050267653A1 (en) * | 2004-04-19 | 2005-12-01 | Matsushita Patrick A | Method and system for processing and displaying real-time aircraft data |
WO2010041254A2 (en) * | 2008-10-06 | 2010-04-15 | Mantisvision Ltd. | Method and system for providing three-dimensional and range inter-planar estimation |
FR2965087B1 (fr) * | 2010-09-21 | 2013-05-17 | Dassault Aviat | Dispositif d'assistance a l'equipage d'un aeronef lors de changements de niveau de vol de celui-ci |
TW201215442A (en) * | 2010-10-06 | 2012-04-16 | Hon Hai Prec Ind Co Ltd | Unmanned Aerial Vehicle control system and method |
JP5882693B2 (ja) * | 2011-11-24 | 2016-03-09 | 株式会社トプコン | 航空写真撮像方法及び航空写真撮像装置 |
EP2527787B1 (en) | 2011-05-23 | 2019-09-11 | Kabushiki Kaisha TOPCON | Aerial photograph image pickup method and aerial photograph image pickup apparatus |
KR101329583B1 (ko) * | 2013-07-09 | 2013-11-14 | 주식회사 두레텍 | 회전익 구조체를 이용한 공중관측 지형자료 구축 방법 및 그 시스템 |
US9685091B2 (en) * | 2013-08-30 | 2017-06-20 | Insitu, Inc. | Aerial vehicle awareness display |
WO2015154286A1 (zh) * | 2014-04-10 | 2015-10-15 | 深圳市大疆创新科技有限公司 | 无人飞行器的飞行参数的测量方法及装置 |
JP6124384B2 (ja) * | 2014-05-30 | 2017-05-10 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 無人機の進行方向の作成方法、システム、及びプログラム |
CN106504192B (zh) * | 2016-10-21 | 2019-10-25 | 云南电网有限责任公司电力科学研究院 | 一种输电线路走廊地质灾害勘探影像处理方法及系统 |
KR102633595B1 (ko) * | 2016-11-21 | 2024-02-05 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
CN106502267B (zh) * | 2016-12-06 | 2019-03-29 | 上海师范大学 | 一种无人机避让系统 |
-
2017
- 2017-03-31 EP EP17903432.7A patent/EP3606030A4/en not_active Withdrawn
- 2017-03-31 JP JP2019508475A patent/JP6773214B2/ja active Active
- 2017-03-31 WO PCT/JP2017/013774 patent/WO2018179403A1/ja active Application Filing
- 2017-03-31 US US16/493,923 patent/US11604478B2/en active Active
- 2017-03-31 CN CN201780089004.3A patent/CN110463178A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012242321A (ja) * | 2011-05-23 | 2012-12-10 | Topcon Corp | 航空写真撮像方法及び航空写真撮像装置 |
JP2013139256A (ja) * | 2012-01-05 | 2013-07-18 | Parrot | 外乱を引き起こす動きを最小化しながら搭載型カメラによる撮影を行うための回転翼無人機の操縦方法 |
JP2017046328A (ja) | 2015-08-28 | 2017-03-02 | 株式会社オプティム | コントローラ端末及び、無線航空機のコントロール方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3606030A4 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2018179403A1 (ja) | 2020-05-14 |
JP6773214B2 (ja) | 2020-10-21 |
US20210124371A1 (en) | 2021-04-29 |
CN110463178A (zh) | 2019-11-15 |
US11604478B2 (en) | 2023-03-14 |
EP3606030A4 (en) | 2020-03-11 |
EP3606030A1 (en) | 2020-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107577247B (zh) | 目标追踪系统及方法 | |
JP2016119655A (ja) | 無人機を没入モードで操縦するためのビデオシステム | |
CN109445464B (zh) | 一种飞行控制方法及飞行控制系统 | |
US10712989B2 (en) | Visual output assembly for aircraft cabin | |
KR100950420B1 (ko) | 무인항공기 충돌회피 시스템 | |
JP2017015704A (ja) | ドローンに搭載されて土地をマッピングするように適合されたカメラユニット、およびカメラユニットによる画像撮像管理方法 | |
WO2017166714A1 (zh) | 全景图像的拍摄方法、装置及系统 | |
US20170178515A1 (en) | Method for controlling movement of at least one movable object, computer readable storage medium and apparatus configured to control movement of at least one movable object | |
CN110673650B (zh) | 无人机控制方法 | |
WO2019230604A1 (ja) | 検査システム | |
US20170061803A1 (en) | Controller terminal and method of controlling wireless aircraft | |
JP2019135605A (ja) | 撮影映像表示装置及び撮影映像表示方法 | |
JP6773213B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
WO2018179403A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP6966810B2 (ja) | 管理サーバ及び管理システム、表示情報生成方法、プログラム | |
CN111052726A (zh) | 用于自动检测和校正图像中的亮度变化的系统和方法 | |
CN210007799U (zh) | 图像处理系统及无人机 | |
JP2018069744A (ja) | 無人飛行体及び空中映像表示システム | |
EP3919374B1 (en) | Image capturing method | |
CN114727028B (zh) | 图像曝光方法及装置、无人机 | |
WO2021130980A1 (ja) | 飛行体の飛行経路表示方法及び情報処理装置 | |
JP2016119629A (ja) | 画像取得装置 | |
JP7212294B2 (ja) | 無線伝送システム、無線伝送装置、無線伝送方法、およびプログラム | |
WO2022070851A1 (ja) | 方法、システムおよびプログラム | |
KR102204435B1 (ko) | 무인항공기를 이용한 증강현실을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 기록매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17903432 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019508475 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2017903432 Country of ref document: EP |
|
ENP | Entry into the national phase |
Ref document number: 2017903432 Country of ref document: EP Effective date: 20191031 |