JP6212663B1 - 無人航空機飛行制御アプリケーション及び無人航空機飛行制御方法 - Google Patents

無人航空機飛行制御アプリケーション及び無人航空機飛行制御方法 Download PDF

Info

Publication number
JP6212663B1
JP6212663B1 JP2016572852A JP2016572852A JP6212663B1 JP 6212663 B1 JP6212663 B1 JP 6212663B1 JP 2016572852 A JP2016572852 A JP 2016572852A JP 2016572852 A JP2016572852 A JP 2016572852A JP 6212663 B1 JP6212663 B1 JP 6212663B1
Authority
JP
Japan
Prior art keywords
flight control
unmanned aircraft
smart device
aerial vehicle
unmanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016572852A
Other languages
English (en)
Other versions
JPWO2017208355A1 (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Application granted granted Critical
Publication of JP6212663B1 publication Critical patent/JP6212663B1/ja
Publication of JPWO2017208355A1 publication Critical patent/JPWO2017208355A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/006—Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0039—Modification of a flight plan

Abstract

【課題】 低コストかつ高性能に人物を検知し、検知した人にぶつからないように制御する無人航空機飛行制御アプリケーションを提供する。【解決手段】 無人航空機１００と接続されたスマートデバイス２００上で無人航空機飛行制御アプリケーションを起動し、スマートデバイスのカメラ部２０で撮像された撮像画像を取得して画像解析する。画像解析で検知された人にぶつからないように、無人航空機飛行制御モジュール２２４により無人航空機を飛行制御する。【選択図】図１

Description

本発明は、無人航空機と接続されたスマートデバイスのカメラで撮像された撮像画像を画像解析して人物を検知し、検知した人にぶつからないように無人航空機を制御する無人航空機飛行制御アプリケーション及び無人航空機飛行制御方法に関する。
近年、ドローンと呼ばれる無人航空機が普及し、空からの撮影や荷物の配送等、様々な分野に活用されている。ドローンとは無人航空機の総称として使われているが、主な特徴としては、複数の回転翼を持つマルチコプタータイプのものが多く機体の向きや高度を操作できること、無線やＷｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等の通信方法で制御可能なこと等があげられる。
しかし、ドローンの普及や数の増加に伴い、人との接触による事故の増加が懸念される。従来のドローン制御システムでは、超音波センサによって人を検知していたため、回転翼の影響を受けてしまい、人検知の精度が高くなかった。
超音波センサ以外を使用してドローンが物の検知を行う方法として、無人航空機のセンサシステムに光検出及び測距システムとカメラシステムを備え、樹木群の任意の数の直径を確認するシステムが提案されている（特許文献１）。
特開２０１４−１２２０１９号公報
しかしながら、特許文献１のシステムは、複数の無人航空機を用意し、センサシステムとして光検出及び測距システムとカメラシステムを備える必要がある。そのため、無人航空機一台のみでは、有効な検知を行えない。さらに、無人航空機本体にセンサシステムを備えるためのコストがかかるという問題がある。
本発明では、これらの課題に鑑み、低コストかつ高性能に人物を検知し、検知した人にぶつからないように制御する無人航空機飛行制御アプリケーション及び無人航空機飛行制御方法を提供することを目的とする。
本発明では、以下のような解決手段を提供する。
第１の特徴に係る発明は、無人航空機と接続されたスマートデバイス上で起動する無人航空機飛行制御アプリケーションであって、
前記スマートデバイスのカメラを起動させるカメラ起動手段と、
前記カメラで撮像された撮像画像を取得する撮像画像取得手段と、
前記取得された撮像画像を画像解析して人物を検知する人検知手段と、
前記検知された人にぶつからないように前記無人航空機を飛行制御する無人航空機飛行制御手段と、
を備えることを特徴とする無人航空機飛行制御アプリケーションを提供する。
第１の特徴に係る発明によれば、無人航空機と接続されたスマートデバイス上で起動する無人航空機飛行制御アプリケーションは、前記スマートデバイスのカメラを起動させるカメラ起動手段と、前記カメラで撮像された撮像画像を取得する撮像画像取得手段と、前記取得された撮像画像を画像解析して人物を検知する人検知手段と、前記検知された人にぶつからないように前記無人航空機を飛行制御する無人航空機飛行制御手段と、を備える
第１の特徴に係る発明は、無人航空機飛行制御アプリケーションであるが、無人航空機飛行制御方法であっても同様の作用、効果を奏する。
第２の特徴に係る発明は、第１の特徴に係る発明である無人航空機飛行制御アプリケーションであって、
前記人検知手段は、可視光により撮像された前記撮像画像の画像解析を行うことを特徴とする無人航空機飛行制御アプリケーションを提供する。
第２の特徴に係る発明によれば、第１の特徴に係る発明である無人航空機飛行制御アプリケーションは、前記人検知手段により、可視光により撮像された前記撮像画像の画像解析を行う。
第３の特徴に係る発明は、第１の特徴に係る発明である無人航空機飛行制御アプリケーションであって、
前記人検知手段は、サーモグラフィーにより撮像された前記撮像画像の画像解析を行うことを特徴とする無人航空機飛行制御アプリケーションを提供する。
第３の特徴に係る発明によれば、第１の特徴に係る発明である無人航空機飛行制御アプリケーションは、前記人検知手段により、サーモグラフィーにより撮像された前記撮像画像の画像解析を行う。
第４の特徴に係る発明は、第１の特徴から第３の特徴のいずれかに係る発明である無人航空機飛行制御アプリケーションであって、
前記無人航空機飛行制御手段によって飛行制御された前記無人航空機の行動履歴を、前記スマートデバイスの出力部に表示する行動履歴表示手段
を備えることを特徴とする無人航空機飛行制御アプリケーションを提供する。
第４の特徴に係る発明によれば、第１の特徴から第３の特徴のいずれかに係る発明である無人航空機飛行制御アプリケーションは、前記無人航空機飛行制御手段によって飛行制御された前記無人航空機の行動履歴を、前記スマートデバイスの出力部に表示する行動履歴表示手段を備える。
第５の特徴に係る発明は、第１の特徴から第４の特徴のいずれかに係る発明である無人航空機飛行制御アプリケーションであって、
前記無人航空機飛行制御手段によって飛行制御された前記無人航空機の行動データを、ネットワークを介して接続されたサーバに送信する行動データ送信手段
を備えることを特徴とする無人航空機飛行制御アプリケーションを提供する。
第５の特徴に係る発明によれば、第１の特徴から第４の特徴のいずれかに係る発明である無人航空機飛行制御アプリケーションは、前記無人航空機飛行制御手段によって飛行制御された前記無人航空機の行動データを、ネットワークを介して接続されたサーバに送信する行動データ送信手段を備える。
第６の特徴に係る発明は、第１の特徴から第５の特徴のいずれかに係る発明である無人航空機飛行制御アプリケーションであって、
前記スマートデバイスの充電池から接続された前記無人航空機に給電する時に、当該充電池の残量から当該無人航空機のスピードを制御するスピード制御手段
を備えることを特徴とする無人航空機飛行制御アプリケーションを提供する。
第６の特徴に係る発明によれば、第１の特徴から第５の特徴のいずれかに係る発明である無人航空機飛行制御アプリケーションは、前記スマートデバイスの充電池から接続された前記無人航空機に給電する時に、当該充電池の残量から当該無人航空機のスピードを制御するスピード制御手段を備える。
第７の特徴に係る発明は、第１の特徴から第６の特徴のいずれかに係る発明である無人航空機飛行制御アプリケーションであって、
前記無人航空機と前記スマートデバイスとの接続がＵＳＢ接続であることを特徴とする無人航空機飛行制御アプリケーションを提供する。
第７の特徴に係る発明によれば、第１の特徴から第６の特徴のいずれかに係る発明である無人航空機飛行制御アプリケーションは、前記無人航空機と前記スマートデバイスとの接続がＵＳＢ接続である。
第８の特徴に係る発明は、第１の特徴から第７の特徴のいずれかに係る発明である無人航空機飛行制御アプリケーションを搭載したスマートデバイスを提供する。
第９の特徴に係る発明は、第１の特徴から第７の特徴のいずれかに係る発明である無人航空機飛行制御アプリケーションで自動制御される無人航空機を提供する。
第１０の特徴に係る発明は、第１の特徴から第７の特徴のいずれかに係る発明である無人航空機飛行制御アプリケーションとネットワークを介して接続されたサーバを提供する。
第１１の特徴に係る発明は、無人航空機と接続されたスマートデバイス上で起動する無人航空機飛行制御方法であって、
前記スマートデバイスのカメラを起動させるカメラ起動ステップと、
前記カメラで撮像された撮像画像を取得する撮像画像取得ステップと、
前記取得された撮像画像を画像解析して人物を検知する人検知ステップと、
前記検知された人にぶつからないように前記無人航空機を飛行制御する無人航空機飛行制御ステップと、
を備えることを特徴とする無人航空機飛行制御方法を提供する。
本発明によれば、低コストかつ高性能に人物を検知し、検知した人にぶつからないように制御する無人航空機飛行制御アプリケーション及び無人航空機飛行制御方法を提供することが可能となる。
図１は、本発明の好適な実施形態である無人航空機１００とスマートデバイス２００の概要図である。 図２は、無人航空機１００とスマートデバイス２００の機能ブロックと各機能の関係を示す図である。 図３は、無人航空機１００とスマートデバイス２００の人検知に基づく無人航空機飛行制御処理のフローチャート図である。 図４は、可視光により撮像された撮像画像の人検知モジュール２２３による画像解析の一例である。 図５は、サーモグラフィーにより撮像された撮像画像の人検知モジュール２２３による画像解析の一例である。 図６は、無人航空機飛行制御モジュール２２４による人回避制御を行う場合の設定画面の一例である。 図７は、行動履歴表示機能を備える場合の無人航空機１００とスマートデバイス２００の機能ブロックと各機能の関係を示す図である。 図８は、行動履歴表示モジュール２１１により出力部２１０に表示された無人航空機１００の行動履歴の一例である。 図９は、行動データ送信機能を備える場合のスマートデバイス２００とサーバ３００の機能ブロックと各機能の関係を示す図である。 図１０は、スマートデバイス２００からサーバ３００に行動データを送信する場合のフローチャート図である。 図１１は、スピード制御機能を備える場合の無人航空機１００とスマートデバイス２００の機能ブロックと各機能の関係を示す図である。 図１２は、スピード制御機能を備える場合の無人航空機１００とスマートデバイス２００のフローチャート図である。 図１３は、スピード制御機能を備える場合の無人航空機１００とスマートデバイス２００のフローチャート図である。
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
［無人航空機１００とスマートデバイス２００の概要］
図１は、本発明の好適な実施形態である無人航空機１００とスマートデバイス２００の概要図である。この図１に基づいて、本発明の概要を説明する。
図１の上部は無人航空機１００を横から見た図である。無人航空機１００はスマートデバイス２００を搭載するものとする。ここでは、複数の回転翼１１０を備える無人航空機１００を例とする。無人航空機１００は、図２に示すように回転翼１１０、制御部１２０、記憶部１３０、通信部１４０を備えるドローン等の無人航空機である。
スマートデバイス２００は、同じく図２に示すようにカメラ部２０、充電池部２１、出力部２１０、制御部２２０、記憶部２３０、通信部２４０、入力部２５０から構成される多機能端末である。制御部２２０には、カメラ起動モジュール２２１、撮像画像取得モジュール２２２、人検知モジュール２２３、無人航空機飛行制御モジュール２２４を備える。スマートデバイス２００は通信部２４０を介して無人航空機１００と通信し、無人航空機１００を制御可能であるものとする。
スマートデバイス２００は、無人航空機１００を制御可能なスマートフォンやタブレット端末等の一般的な情報家電であってよく、スマートデバイス２００として図示しているスマートフォンはその一例にすぎない。また、スマートデバイス２００は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を搭載してもよく、その場合にはスマートデバイス２００を搭載した無人航空機１００の緯度、経度、高度等のＧＰＳ情報が取得可能である。
スマートデバイス２００と無人航空機１００の間の通信は、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈと同じ２．４ＧＨｚ帯やラジコン用の７３ＭＨｚ帯等の無線通信であってもよいし、ＵＳＢケーブルやＬＡＮケーブル等を介した有線通信であってもよい。本発明においては、無人航空機１００とスマートデバイス２００との間での通信が実現可能であればよく、特に制限を受けるものではない。ただし、無線航空機１００の通常の操縦に専用送信機（プロポ）を使用する場合には、無線航空機１００とプロポ間の無線通信に影響しない通信方法をとることが望ましい。
はじめに、ユーザは、スマートデバイス２００の無人航空機飛行制御アプリケーションを起動する。無人航空機飛行制御アプリケーションの起動は、スマートデバイス２００の入力部２５０を用いて行ってもよいし、スマートデバイス２００と無線通信可能な他の情報機器（非図示）から行ってもよい。または、無人航空機１００が飛行を開始したら、自動で無人航空機飛行制御アプリケーションを起動するようにスマートデバイス２００を設定しておいてもよい。無人航空機１００は、無人航空機飛行制御アプリケーションの起動前に飛行を開始していてもよいし、無人航空機飛行制御アプリケーションの起動後に飛行を開始してもよい。また、無人航空機１００の通常の操縦は、プロポを使用してもよいし、スマートデバイス２００に操縦用のプログラムを搭載しておき予め決定したコースに沿って飛行するよう自律制御を行ってもよいし、スマートデバイス２００と無線通信可能な他の情報機器から行ってもよい。
次に、スマートデバイス２００のカメラ起動モジュール２２１は、カメラ部２０を起動し、撮像を開始する。カメラ部２０による撮像は、可視光によるものであってもよいし、サーモグラフィーによるものであってもよい。カメラ部２０に可視光による撮像機能とサーモグラフィーによる撮像機能の両方を備える場合には、自動でどちらを使用するかを選択してもよいし、ユーザが無人航空機飛行制御アプリケーションの入力部２５０を介して設定可能としてもよい。
撮像の開始後、撮像画像取得モジュール２２２は、カメラ部２０で撮像した画像を取得し、記憶部２３０に保存する。撮像画像取得モジュール２２２は、無人航空機１００が飛行している場合、無人航空機１００の進行方向を撮像できるように、カメラ部２０の制御をあわせて行ってもよい。
人検知モジュール２２３は、記憶部２３０に保存された撮像画像に対し画像解析を行い、人物が撮像されているかどうかを検知する。図１の下部左の図は、人検知モジュール２２３が進行方向に人５００を検知した例を図示している。
カメラ部２０で可視光による撮像を行った場合、人検知モジュール２２３は、画像解析により撮像画像の特徴量を検出し人物の顔や全身を検知してもよいし、肌色抽出等の処理を併用してもよい。また、カメラ部２０によりサーモグラフィーによる撮像を行った場合、人検知モジュール２２３は、人の露出している肌の部分が他より高温であることを利用して、人物を検知する。人の検知方法は、既存の技術を使用してよく、特に本発明を限定するものではない。
無人航空機飛行制御モジュール２２４は、人検知モジュール２２３により人が検知されたかどうかを確認し、人が検知された場合には、検知された人にぶつからないように、無人航空機１００を飛行制御する。無人航空機１００の制御部１２０は、無人航空機飛行制御モジュール２２４による人回避のための飛行制御を、通常の操縦に優先して採用し実行するものとする。図１の下部右の図は、無人航空機飛行制御モジュール２２４により、無人航空機１００を上昇させ、人５００にぶつからないよう回避した例を図示している。
無人航空機飛行制御モジュール２２４により、人を回避して飛行させるために、人を検知した場合に無人航空機１００が回避のためにどのような行動をとるかをあらかじめ設定しておいてもよい。例えば、「高度２．０メートルまで上昇」、「高度２．５メートルまで上昇」、「右方向に１．０メートル移動」、「左方向に１．２メートル移動」、「その場に停止」、「着陸」等が設定として考えられる。これらは、無人航空機１００が停止（ホバリング）しているか、移動しているかによって、設定を行えるようにしてもよい。また、無人航空機１００の移動速度に応じた適切な選択肢を表示して、設定を行えるようにしてもよい。
以上のように、本発明によれば、無人航空機１００と接続されたスマートデバイス２００と、スマートデバイス２００のカメラ部２０を使用することにより、ハードウェア的に低コストで人物を検知し、検知した人にぶつからないように制御する無人航空機飛行制御アプリケーションを実現できる。また、本発明は、超音波センサを使用する障害物検知に比較して、回転翼１１０の影響を受けないため、高性能に人検知を行うことが可能である。
［各機能の説明］
図２は、無人航空機１００とスマートデバイス２００の機能ブロックと各機能の関係を示す図である。スマートデバイス２００は通信部２４０を介して無人航空機１００と通信し、無人航空機１００を制御可能であるものとする。
無人航空機１００は、無人での飛行が可能なドローン等の航空機であり、回転翼１１０、制御部１２０、記憶部１３０、通信部１４０から構成される。
回転翼１１０は、複数であってよく無人航空機１００を飛行させるために十分な浮力を生むものとする。
制御部１２０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。制御部１２０は通常の操縦による飛行と、無人航空機飛行制御モジュール２２４による人を回避した飛行を実現するために回転翼１１０をはじめとする無人航空機１００のメカ的機構を制御する。無人航空機１００の通常の操縦には、プロポを使用してもよいし、スマートデバイス２００に操縦用のプログラムを搭載しておき予め決定したコースに沿って飛行するよう自律制御を行ってもよいし、スマートデバイス２００と無線通信可能な他の情報機器から行ってもよく、制御部１２０はこれらの操縦による飛行を実現する。
記憶部１３０には、ハードディスクや半導体メモリによる、データのストレージ部を備える。記憶部１３０には、通信部１４０を介して送受信するデータの他に、プログラムによる自立制御による飛行を行うために一時的に必要なデータ等、その他の必要な情報も保持できるものとする。
通信部１４０により、スマートデバイス２００との通信を行う。通信は、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈと同じ２．４ＧＨｚ帯やラジコン用の７３ＭＨｚ帯等の無線通信であってもよいし、ＵＳＢケーブルやＬＡＮケーブル等を介した有線通信であってもよい。また、通常の操縦にプロポを使用する場合には、通信部１４０により、プロポとの通信も行う。
スマートデバイス２００は、カメラ部２０、充電池部２１、出力部２１０、制御部２２０、記憶部２３０、通信部２４０、入力部２５０から構成される端末である。制御部２２０にはカメラ起動モジュール２２１、撮像画像取得モジュール２２２、人検知モジュール２２３、無人航空機飛行制御モジュール２２４を備える。
スマートデバイス２００は、無人航空機１００を制御可能なスマートフォンやタブレット端末等の一般的な情報家電であってよく、スマートデバイス２００として図示しているスマートフォンはその一例にすぎない。また、スマートデバイス２００は、ＧＰＳを搭載してもよく、その場合にはスマートデバイス２００と接続された無人航空機１００の緯度、経度、高度等のＧＰＳ情報が取得可能である。
カメラ部２０にはカメラを備え、このカメラで撮像した画像をデジタルデータに変換して、記憶部２３０に保存する。カメラ部２０による撮像は、可視光によるものであってもよいし、サーモグラフィーによるものであってもよい。カメラ部２０に可視光による撮像機能とサーモグラフィーによる撮像機能の両方を備えてもよいし、どちらか片方だけを備えてもよい。また、保存した画像データは必要に応じて、通信部２４０を介して送信可能であるとする。また、撮像画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部２２０の働きにより、動画像の一部を切り出して、静止画像として記憶部２３０に保存することも可能であるとする。また、撮像して得られる画像は、ユーザが必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。
充電池部２１は、ニッケル・カドミウム蓄電池、ニッケル・水素蓄電池、リチウムイオンポリマー二次電池、等の充電池である。スマートデバイス２００と無人航空機１００を有線で接続する場合に、充電池２１から無人航空機１００に対して給電可能としてもよい。スマートデバイス２００と無人航空機１００をＵＳＢケーブルにより有線接続する場合には、通信と給電の両方を行うことが可能となる。
出力部２１０は、無人航空機飛行制御モジュール２２４によって飛行制御された無人航空機１００の行動履歴を出力するために必要な機能を備えるものとする。例として、液晶ディスプレイへの表示、スピーカーによる音声出力等様々な形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。
制御部２２０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部２２０には、カメラ起動モジュール２２１、撮像画像取得モジュール２２２、人検知モジュール２２３、無人航空機飛行制御モジュール２２４を備える。また、あらかじめ決定したコースに沿ってプログラムにより自立制御を行う場合やスマートデバイス２００と無線通信可能な他の情報機器から操縦を行う場合等、スマートデバイス２００から無人航空機１００の操縦を行う場合には、制御部２２０により通信部２４０を通じて、無人航空機１００に対する指示を行う。
記憶部２３０として、ハードディスクや半導体メモリによる、データのストレージ部を備える。記憶部２３０には、カメラ部２０により撮像された画像データを保存する。その他にも、人検知モジュール２２３で解析を行うための一時的なデータや、無人航空機飛行制御モジュール２２４で人を回避するための方法の設定等、必要なデータを保存可能であるものとする。
通信部２４０は無人航空機１００との通信を行う。通信は、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈと同じ２．４ＧＨｚ帯やラジコン用の７３ＭＨｚ帯等の無線通信であってもよいし、ＵＳＢケーブルやＬＡＮケーブル等を介した有線通信であってもよい。また、他の情報機器からスマートデバイス２００を介して無人航空機１００の操縦を行う場合には、当該他の情報機器との無線通信も行う。
入力部２５０は、無人航空機飛行制御アプリケーションの起動を指定したり、各種設定を行ったりするために必要な機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能を限定されるものではない。
［人検知に基づく無人航空機飛行制御処理］
図３は、無人航空機１００とスマートデバイス２００の人検知に基づく無人航空機飛行制御処理のフローチャート図である。上述した装置の各部とモジュールが行う処理について、本処理にて併せて説明する。
はじめに、ユーザは、スマートデバイス２００の無人航空機飛行制御アプリケーションを起動する（ステップＳ１０１）。無人航空機飛行制御アプリケーションの起動は、スマートデバイス２００の入力部２５０を用いて行ってもよいし、スマートデバイス２００と無線通信可能な他の情報機器（非図示）から行ってもよい。または、無人航空機１００が飛行を開始したら、自動で無人航空機飛行制御アプリケーションを起動するようにスマートデバイス２００を設定しておいてもよい。無人航空機１００は、無人航空機飛行制御アプリケーションの起動前に飛行を開始していてもよいし、無人航空機飛行制御アプリケーションの起動後に飛行を開始してもよい。また、無人航空機１００の通常の操縦は、プロポを使用してもよいし、スマートデバイス２００に操縦用のプログラムを搭載しておき予め決定したコースに沿って飛行するよう自律制御を行ってもよいし、スマートデバイス２００と無線通信可能な他の情報機器から行ってもよい。
次に、スマートデバイス２００のカメラ起動モジュール２２１は、カメラ部２０のカメラを起動し、撮像を開始する（ステップＳ１０２）。カメラ部２０による撮像は、可視光によるものであってもよいし、サーモグラフィーによるものであってもよい。カメラ部２０に可視光による撮像機能とサーモグラフィーによる撮像機能の両方を備える場合には、自動でどちらを使用するかを選択してもよいし、ユーザが無人航空機飛行制御アプリケーションの入力部２５０を介してどちらを使用するか設定可能としてもよい。
撮像の開始後、撮像画像取得モジュール２２２は、カメラ部２０で撮像した画像を取得する（ステップＳ１０３）。取得した画像はデジタルデータに変換して記憶部２３０に保存する。撮像画像取得モジュール２２２は、無人航空機１００が飛行している場合、無人航空機１００の進行方向を撮像できるように、カメラ部２０の制御をあわせて行ってもよい。
次に、人検知モジュール２２３は、記憶部２３０に保存された撮像画像に対し画像解析を行い、人物が撮像されているかどうかを検知する（ステップＳ１０４）。
図４は、可視光により撮像された撮像画像の人検知モジュール２２３による画像解析の一例である。カメラ部２０で可視光による撮像を行った場合、人検知モジュール２２３は、画像解析により撮像画像の特徴量を検出し人物の顔や全身を検知してもよいし、肌色抽出等の処理を併用してもよい。図４では、画像解析により人５００を検出した場合の画像例を示している。可視光による撮像画像の人の検知方法は、既存の技術を使用してよく、特に本発明を限定するものではない。
図５は、サーモグラフィーにより撮像された撮像画像の人検知モジュール２２３による画像解析の一例である。カメラ部２０でサーモグラフィーによる撮像を行った場合、人検知モジュール２２３は、顔や手等の人の露出している肌の部分が他より高温であることを利用して、人物を検知する。図５では、温度の高い部分の色を濃く表示しており、高温の部分を人５００として検出した場合の画像例を示している。サーモグラフィーによる撮像画像の人の検知方法は、既存の技術を使用してよく、特に本発明を限定するものではない。
図３に戻って、無人航空機飛行制御モジュール２２４は、人検知モジュール２２３により人が検知されたかどうかを確認する（ステップＳ１０５）。
人が検知された場合には、無人航空機飛行制御モジュール２２４は、検知された人にぶつからないように、通信部２４０を介して無人航空機１００を飛行制御する（ステップＳ１０６）。人を回避して飛行させるために、人を検知した場合に無人航空機１００が回避のためにどのような行動をとるかは、いつも決められた動作を行ってもよいし、複数の動作が可能な場合にはあらかじめ、どの動作を実行するか設定しておいてもよい。例えば、「高度２．０メートルまで上昇」、「高度２．５メートルまで上昇」、「右方向に１．０メートル移動」、「左方向に１．２メートル移動」、「その場に停止」、「着陸」等が設定として考えられる。これらは、無人航空機１００が停止（ホバリング）しているか、移動しているかによって、設定を行えるようにしてもよい。また、無人航空機１００の移動速度に応じた適切な選択肢を表示して、設定を行えるようにしてもよい。
図６は、無人航空機飛行制御モジュール２２４による人回避制御を行う場合の設定画面の一例である。スマートデバイス２００の出力部２１０に設定画面を表示している。ここでは、人を検知した際の回避方法を「ホバリング中」、「時速４ｋｍ以下」、「時速４ｋｍを超える」の３つの場面に分けて設定する画面例を示す。無人航空機飛行制御アプリケーションは表示部２１０に人回避方法の選択肢を複数表示し、ユーザはラジオボタンを用いて選択肢から１つを選択して設定を行う。図６では、「ホバリング中」に人を検知した場合には「高度２．５メートルまで上昇」、「時速４ｋｍ以下」の飛行中に人を検知した場合には「着陸」、「時速４ｋｍを超える」飛行中に人を検知した場合には「左方向に１．２メートル移動」を選択した例を図示している。ユーザはラジオボタンを用いて選択を行った後、設定保存ボタン６０１の選択により設定を保存する。キャンセルボタン６０２を選択した場合には、設定を破棄して以前の設定を使用するか、以前の設定が無い場合には初期設定を使用するものとする。ここでの選択肢はすべて、無人航空機１００の性能に合わせて、適切なものを表示するものとする。
無人航空機１００の制御部１２０は、無人航空機飛行制御モジュール２２４からの制御を受けて、人を回避した飛行を行うために回転翼１１０をはじめとする無人航空機１００のメカ的機構を制御する（ステップＳ１０７）。無人航空機１００の制御部１２０は、無人航空機飛行制御モジュール２２４による人回避のための飛行制御を、通常の操縦に優先して採用し実行するものとする。
ステップＳ１０５で人が検知されなかった場合には、制御部２２０は無人航空機飛行制御モジュール２２４を終了し、次のステップＳ１０８に進む。
制御部２２０は、無人航空機飛行アプリケーションを終了するかどうか確認し（ステップＳ１０８）、終了する場合には処理を終え、終了しない場合にはステップＳ１０３に戻って処理を継続する。無人航空機飛行アプリケーションの終了は、スマートデバイス２００の入力部２５０を用いて行ってもよいし、スマートデバイス２００と無線通信可能な他の情報機器（非図示）から行ってもよい。または、無人航空機１００が着陸したら、自動で無人航空機飛行制御アプリケーションを終了するようにスマートデバイス２００を設定しておいてもよい。さらに、一定時間の経過後や、充電池部２１の残量がある一定の値より少なくなった場合に、無人航空機飛行制御アプリケーションを終了してもよい。
以上のように、本発明によれば、無人航空機１００と接続されたスマートデバイス２００と、スマートデバイス２００のカメラ部２０を使用することにより、ハードウェア的に低コストで人物を検知し、検知した人にぶつからないように制御する無人航空機飛行制御アプリケーションを実現できる。また、本発明は、超音波センサを使用する障害物検知に比較して、回転翼１１０の影響を受けないため、高性能の人検知を行うことが可能である。
また、ここでは１台の無人航空機１００に対してスマートデバイス２００を接続する例を記載したが、複数台の機種が異なる無人航空機１００が存在する場合には、無人航空機飛行制御アプリケーションに無人航空機１００の機種設定を設けてもよい。無人航空機飛行制御アプリケーションが機種設定に応じた制御を行うことで、無人航空機１００の機種を変更しても、１台のスマートデバイス２００で対応することが可能となる。
［行動履歴表示機能］
図７は、行動履歴表示機能を備える場合の無人航空機１００とスマートデバイス２００の機能ブロックと各機能の関係を示す図である。無人航空機１００は図２の機能と同等の機能を備える。スマートデバイス２００は図２の機能に加えて、出力部２１０に行動履歴表示モジュール２１１を備える。
行動履歴の表示を行う設定の場合、行動履歴表示モジュール２１１は、図３のフローチャートのステップＳ１０６の無人航空機制御モジュール２２４による無人航空機飛行制御の内容を、行動履歴としてスマートデバイス２００の出力部２１０に表示する。行動履歴の表示は、無人航空機制御モジュール２２４による無人航空機飛行制御の内容だけでなく、図３のフローチャートの各ステップについて行ってもよい。その場合、各ステップを実行した後に、行動履歴表示モジュール２１１による表示を行う。行動履歴には、飛行制御アプリケーションの各ステップを実行した日時と実行した制御内容を含める。無人航空機制御モジュール２２４により、人回避制御を行った場合には、回避のための制御の詳細を表示することが望ましい。
図８は、行動履歴表示モジュール２１１により出力部２１０に表示された無人航空機１００の行動履歴の一例である。スマートデバイス２００の出力部２１０に行動履歴として、「２０１６／５／５」という年月日と、各時刻における制御内容を表示している。行動履歴が長くなった場合には、スクロールバー等を使用して、最新の行動履歴を表示しつつ、過去の行動履歴も参照できるようにすることが望ましい。履歴保存ボタン８０１を選択すると、表示した行動履歴を記憶部２３０に保存する。表示終了ボタン８０２を選択すると、行動履歴の表示を終了する。
このように、スマートデバイス２００に行動履歴表示機能を設けることにより、無人航空機１００の飛行後に、無人航空機１００とスマートデバイス２００の動作の検証や確認を行うことが可能となる。
［行動データ送信機能］
図９は、行動データ送信機能を備える場合のスマートデバイス２００とサーバ３００の機能ブロックと各機能の関係を示す図である。スマートデバイス２００は図２の機能に加えて、制御部２２０に行動データ送信モジュール２２５を備える。図示していないが、スマートデバイス２００は、図２と同じ機能を備える無人航空機１００と接続されて制御可能であるものとする。サーバ３００は出力部３１０、制御部３２０、記憶部３３０、通信部３４０、から構成される。スマートデバイス２００とサーバ３００は、通信網４００を介して通信可能であるものとする。通信網４００は、インターネット等の公衆通信網でも専用通信網でも良い。
サーバ３００は、後述の機能を備える、一般的なサーバであってよい。
サーバ３００は、出力部３１０として、受信した行動データを出力するために必要な機能を備えるものとする。例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の画面表示、更に、スピーカーやヘッドフォン、イヤフォン等の音声出力等が考えられる。出力方法により、本発明は特に機能を限定されるものではない。
制御部３２０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。
また、記憶部３３０として、ハードディスクや半導体メモリによる、データのストレージ部を備える。記憶部３３０には、受信した行動データを保存する。また、その他、無人航空機１００とスマートデバイス２００の情報等、必要に応じて保存する。
通信部３４０として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイス又は、第３世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。通信部３４０は、通信網４００を介してスマートデバイス２００と通信を行う。
図１０は、スマートデバイス２００からサーバ３００に行動データを送信する場合のフローチャート図である。図１０のステップＳ２０１の無人航空機飛行制御処理は、図３のフローチャートのステップＳ１０１からステップＳ１０７に相当する人検知に基づく無人航空機飛行制御処理であるものとする。無人航空機１００のフローは図示していないが、このステップＳ２０１の無人航空機飛行制御処理の中で、無人航空機１００の制御部１２０は、無人航空機飛行制御モジュール２２４からの制御を受けて、人を回避した飛行を実現するために回転翼１１０をはじめとする無人航空機１００のメカ的機構を制御する。
ステップＳ２０１の実行後、スマートデバイス２００の行動データ送信モジュール２２５は、通信部２４０を介して行動データをサーバ３００に送信する（ステップＳ２０２）。ここで、行動データとは、無人航空機飛行制御アプリケーションが図３及び図１０のフローチャートの各ステップを実行した日時と実行した制御内容である。無人航空機制御モジュール２２４により、人回避制御を行った場合には、回避のための制御の詳細を含めることが望ましい。この行動データには、前述の行動履歴の内容を含めてもよい。また、スマートデバイス２００にＧＰＳ機能がある場合には、無人航空機１００の飛行開始時から一定時間ごとの緯度、経度、高度等のＧＰＳ情報を行動データとして含めてもよい。
サーバ３００は、通信部３４０を介して行動データを受信する（ステップＳ２０３）。
行動データの受信後、制御部３２０は記憶部３３０に行動データを保存する（ステップＳ２０４）。保存したデータは、出力部３１０に表示する等して、無人航空機１００とスマートデバイス２００の動作の検証や確認を行う際に利用することが可能である。
スマートデバイス２００の制御部２２０は、行動データの送信後、無人航空機飛行アプリケーションを終了するかどうか確認し（ステップＳ２０５）、終了する場合には処理を終え、終了しない場合にはステップＳ２０１に戻って処理を継続する。ステップＳ２０１に戻って無人航空機飛行制御処理を継続する場合、図３のステップＳ１０１とステップＳ１０２の処理はスキップしてよい。無人航空機飛行アプリケーションの終了は、スマートデバイス２００の入力部２５０を用いて行ってもよいし、スマートデバイス２００と無線通信可能な他の情報機器（非図示）から行ってもよいし、サーバ３００から行ってもよい。または、無人航空機１００が着陸したら、自動で無人航空機飛行制御アプリケーションを終了するようにスマートデバイス２００を設定しておいてもよい。さらに、一定時間の経過後や、充電池部２１の残量がある一定の値より少なくなった場合に、無人航空機飛行制御アプリケーションを終了してもよい。
図１０では、行動データの送信は、撮像画像を取得して解析する一定サイクル毎に行う例を示したが、無人航空機飛行アプリケーションの終了前に、まとめて送信してもよい。
このように、スマートデバイス２００に行動データ送信機能を設けることにより、サーバ３００で、無人航空機１００とスマートデバイス２００の動作の検証や確認を行うことが可能となる。また、複数の無人航空機１００とスマートデバイス２００が存在する場合には、サーバ３００の記憶部３３０にデータベースを設けて行動データを蓄積し、行動データを比較検討することにより、無人航空機飛行制御処理の改善に役立てることも可能となる。
また、ここでは人検知モジュール２２３はスマートデバイス２００に備える構成を例として記載したが、スマートデバイス２００からサーバ３００へ撮像画像を送信し、サーバ３００の制御部３２０で画像解析を行う構成としてもよい。この場合、サーバ３００に蓄積した多くの事例を基に画像解析を行い人検知することで、より精度のよい人検知を行うことが可能となる。
［スピード制御機能］
図１１は、スピード制御機能を備える場合の無人航空機１００とスマートデバイス２００の機能ブロックと各機能の関係を示す図である。無人航空機１００は図２の機能と同等の機能を備える。スマートデバイス２００は図２の機能に加えて、制御部２２０にスピード制御モジュール２２６を備える。スピード制御機能を備える場合、スマートデバイス２００と無人航空機１００は有線で接続し、スマートデバイス２００の充電池２１から無人航空機１００に対して給電可能であるものとする。
図１２及び図１３は、スピード制御機能を備える場合の無人航空機１００とスマートデバイス２００のフローチャート図である。図１２のＡとＢは、それぞれ図１３のＡとＢにつながるものとする。また、図１３のＣは図１２のＣにつながるものとする。
はじめに、ユーザは、スマートデバイス２００の無人航空機飛行制御アプリケーションを起動する（ステップＳ３０１）。無人航空機飛行制御アプリケーションの起動は、スマートデバイス２００の入力部２５０を用いて行ってもよいし、スマートデバイス２００と無線通信可能な他の情報機器（非図示）から行ってもよい。または、無人航空機１００が飛行を開始したら、自動で無人航空機飛行制御アプリケーションを起動するようにスマートデバイス２００を設定しておいてもよい。無人航空機１００は、無人航空機飛行制御アプリケーションの起動前に飛行を開始していてもよいし、無人航空機飛行制御アプリケーションの起動後に飛行を開始してもよい。また、無人航空機１００の通常の操縦は、プロポを使用してもよいし、スマートデバイス２００に操縦用のプログラムを搭載しておき予め決定したコースに沿って飛行するよう自律制御を行ってもよいし、スマートデバイス２００と無線通信可能な他の情報機器から行ってもよい。
次に、スマートデバイス２００のカメラ起動モジュール２２１は、カメラ部２０のカメラを起動し、撮像を開始する（ステップＳ３０２）。カメラ部２０による撮像は、可視光によるものであってもよいし、サーモグラフィーによるものであってもよい。カメラ部２０に可視光による撮像機能とサーモグラフィーによる撮像機能の両方を備える場合には、自動でどちらを使用するかを選択してもよいし、ユーザが無人航空機飛行制御アプリケーションの入力部２５０を介して設定可能としてもよい。
次に、スマートデバイス２００のスピード制御モジュール２２６は、充電池部２１の充電池の残量確認を行う（ステップＳ３０３）。ここでは、充電池部２１の残量が何パーセントかを取得してもよいし、充電池部２１の残量であと何分無人航空機１００に給電可能かを確認してもよい。
ここで、充電池部２１の残量がある閾値以下かどうかを確認する（ステップＳ３０４）。閾値は無線航空機１００とスマートデバイス２００の性能に応じ、事前に定めるものとする。また、ユーザの指定に応じて閾値設定を変更もすることも可能とする。閾値の例としては、充電池部２１の残量が何パーセントかを取得する場合には「２０パーセント」、充電池部２１の残量であと何分無人航空機１００に給電可能かを取得する場合には「１０分」等が考えられる。
充電池部２１の残量がある閾値以下であった場合、スピード制御モジュール２２６は通信部２４０を介して無人航空機１００のスピード制御を行う（ステップＳ３０５）。充電池部２１の残量がある閾値を超える場合、ステップＳ３０７へ進む。
無人航空機１００の制御部１２０は、スマートデバイス２００のスピード制御モジュール２２６からのスピード制御を受けて、無人航空機１００の飛行スピードを一定速度以下になるよう制御を行う（ステップＳ３０６）。ここでの一定速度とは、無人航空機１００の性能に応じて定めるものとする。また、ユーザの指定により、当該一定速度を変更可能としてもよい。
スマートデバイス２００の撮像画像取得モジュール２２２は、カメラ部２０で撮像した画像を取得する（ステップＳ３０７）。取得した画像はデジタルデータに変換して記憶部２３０に保存する。撮像画像取得モジュール２２２は、無人航空機１００が飛行している場合、無人航空機１００の進行方向を撮像できるように、カメラ部２０の制御をあわせて行ってもよい。
図１３に進み、人検知モジュール２２３は、記憶部２３０に保存された撮像画像に対し、画像解析を行い、人物が撮像されているかどうかを検知する（ステップＳ３０８）。撮像画像の人検知方法は、前述した通り既存の技術を使用してよく、特に本発明を限定するものではない。
次に、無人航空機飛行制御モジュール２２４は、人検知モジュール２２３により人が検知されたかどうかを確認する（ステップＳ３０９）。
人が検知された場合には、無人航空機飛行制御モジュール２２４は、検知された人にぶつからないように、通信部２４０を介して無人航空機１００を飛行制御する（ステップＳ３１０）。人を回避して飛行させるために、人を検知した場合に無人航空機１００が回避のためにどのような行動をとるかは、いつも決められた動作を行ってもよいし、複数の動作が可能な場合にはあらかじめ、どの動作を実行するか設定しておいてもよい。詳しくは図６で説明した通りである。
無人航空機１００の制御部１２０は、無人航空機飛行制御モジュール２２４からの制御を受けて、人を回避した飛行を行うために回転翼１１０をはじめとする無人航空機１００のメカ的機構を制御する（ステップＳ３１１）。無人航空機１００の制御部１２０は、無人航空機飛行制御モジュール２２４による人回避のための飛行制御を、通常の操縦に優先して採用し実行するものとする。
ステップＳ３０９で人が検知されなかった場合には、制御部２２０は無人航空機飛行制御モジュール２２４を終了し、次のステップＳ３１２に進む。
制御部２２０は、無人航空機飛行アプリケーションを終了するかどうか確認し（ステップＳ３１２）、終了する場合には処理を終え、終了しない場合にはステップＳ３０３に戻って処理を継続する。無人航空機飛行アプリケーションの終了は、スマートデバイス２００の入力部２５０を用いて行ってもよいし、スマートデバイス２００と無線通信可能な他の情報機器（非図示）から行ってもよい。または、無人航空機１００が着陸したら、自動で無人航空機飛行制御アプリケーションを終了するようにスマートデバイス２００を設定しておいてもよい。さらに、一定時間の経過後や、充電池部２１の残量がある一定の値より少なくなった場合に、無人航空機飛行制御アプリケーションを終了してもよい。
ここでは、充電池の残量に応じたスピード制御を一段階でのみ行ったが、例えば、「残量２０パーセント以下の場合には、時速６ｋｍ以下」かつ「残量１０パーセント以下の場合には、時速４ｋｍ以下」等、多段階で設定可能としてもよい。
このように、スマートデバイス２００にスピード制御機能を設けることにより、スマートデバイス２００の充電池部２１の残量により、無人航空機１００の飛行スピードを制御し、充電池が無くなりそうな場合には低速で飛行させることにより、無人航空機１００の飛行時間を延ばすとともに、充電池切れの際にも周囲の人に安全な無人航空機飛行制御アプリケーションを提供することが可能となる。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
１００ 無人航空機、２００ スマートデバイス、３００ サーバ、４００ 通信網、５００ 人

Claims (10)

  1. 無人航空機と接続されたスマートデバイス上で起動する無人航空機飛行制御アプリケーションであって、
    前記スマートデバイスのカメラを起動させるカメラ起動手段と、
    前記カメラで撮像された撮像画像を取得する撮像画像取得手段と、
    前記取得された撮像画像を画像解析して人物を検知する人検知手段と、
    前記検知された人にぶつからないように前記無人航空機を飛行制御する無人航空機飛行制御手段と、
    前記スマートデバイスの充電池から接続された前記無人航空機に給電する時に、当該充電池の残量から当該無人航空機のスピードを制御するスピード制御手段と
    を備えることを特徴とする無人航空機飛行制御アプリケーション。
  2. 前記人検知手段は、可視光により撮像された前記撮像画像の画像解析を行うことを特徴とする請求項１に記載の無人航空機飛行制御アプリケーション。
  3. 前記人検知手段は、サーモグラフィーにより撮像された前記撮像画像の画像解析を行うことを特徴とする請求項１に記載の無人航空機飛行制御アプリケーション。
  4. 前記無人航空機飛行制御手段によって飛行制御された前記無人航空機の行動履歴を、前記スマートデバイスの出力部に表示する行動履歴表示手段
    を備えることを特徴とする請求項１から請求項３のいずれかに記載の無人航空機飛行制御アプリケーション。
  5. 前記無人航空機飛行制御手段によって飛行制御された前記無人航空機の行動データを、ネットワークを介して接続されたサーバに送信する行動データ送信手段
    を備えることを特徴とする請求項１から請求項４のいずれかに記載の無人航空機飛行制御アプリケーション。
  6. 前記無人航空機と前記スマートデバイスとの接続がＵＳＢ接続であることを特徴とする請求項１から請求項５のいずれかに記載の無人航空機飛行制御アプリケーション。
  7. 請求項１から請求項６のいずれかに記載の無人航空機飛行制御アプリケーションを搭載したスマートデバイス。
  8. 請求項１から請求項６のいずれかに記載の無人航空機飛行制御アプリケーションで自動制御される無人航空機。
  9. 請求項１から請求項６のいずれかに記載の無人航空機飛行制御アプリケーションとネットワークを介して接続されたサーバ。
  10. 無人航空機と接続されたスマートデバイス上で起動する無人航空機飛行制御アプリケーションが実行する無人航空機飛行制御方法であって、
    前記スマートデバイスのカメラを起動させるカメラ起動ステップと、
    前記カメラで撮像された撮像画像を取得する撮像画像取得ステップと、
    前記取得された撮像画像を画像解析して人物を検知する人検知ステップと、
    前記検知された人にぶつからないように前記無人航空機を飛行制御する無人航空機飛行制御ステップと、
    前記スマートデバイスの充電池から接続された前記無人航空機に給電する時に、当該充電池の残量から当該無人航空機のスピードを制御するステップと
    を備えることを特徴とする無人航空機飛行制御方法。
JP2016572852A 2016-05-31 2016-05-31 無人航空機飛行制御アプリケーション及び無人航空機飛行制御方法 Active JP6212663B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/066041 WO2017208355A1 (ja) 2016-05-31 2016-05-31 無人航空機飛行制御アプリケーション及び無人航空機飛行制御方法

Publications (2)

Publication Number Publication Date
JP6212663B1 true JP6212663B1 (ja) 2017-10-11
JPWO2017208355A1 JPWO2017208355A1 (ja) 2018-06-14

Family

ID=60040515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016572852A Active JP6212663B1 (ja) 2016-05-31 2016-05-31 無人航空機飛行制御アプリケーション及び無人航空機飛行制御方法

Country Status (3)

Country Link
US (1) US10510261B2 (ja)
JP (1) JP6212663B1 (ja)
WO (1) WO2017208355A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020230353A1 (ja) * 2019-05-13 2021-10-21 株式会社Ｎｔｔドコモ 対話装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977757B2 (en) * 2013-09-18 2021-04-13 James Brian Fry Video record receipt system and method of use
US20180144645A1 (en) * 2016-11-21 2018-05-24 Wal-Mart Stores, Inc. System and method for detecting humans by an unmanned autonomous vehicle
WO2019021915A1 (ja) * 2017-07-27 2019-01-31 京セラ株式会社 飛行体、携帯電子機器、セキュリティシステム及び電話システム
JP6839625B2 (ja) * 2017-07-27 2021-03-10 京セラ株式会社 飛行体、通信端末、及びプログラム
JP6703507B2 (ja) * 2017-07-27 2020-06-03 京セラ株式会社 携帯電子機器及びセキュリティシステム
CN113423641A (zh) * 2019-02-25 2021-09-21 株式会社日立高新技术 医用材料传送系统
JP2021046058A (ja) * 2019-09-18 2021-03-25 ソニー株式会社 無人航空機、制御方法、およびプログラム
CN110667884A (zh) * 2019-09-24 2020-01-10 蚌埠和能信息科技有限公司 一种飞行器的实时检测装置
US11431897B1 (en) * 2021-09-29 2022-08-30 International Business Machines Corporation Context-based detachable modular camera system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005263105A (ja) * 2004-03-19 2005-09-29 Chugoku Electric Power Co Inc:The 無人飛行体を利用した公衆への告知システム
US20140297067A1 (en) * 2012-08-02 2014-10-02 Benjamin Malay Vehicle control system
US20140316616A1 (en) * 2013-03-11 2014-10-23 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
JP2014199548A (ja) * 2013-03-29 2014-10-23 綜合警備保障株式会社 飛行制御システム及び飛行制御方法
JP2014212479A (ja) * 2013-04-19 2014-11-13 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX343180B (es) * 2012-05-18 2016-10-27 Univ King Abdullah Sci & Tech Dispositivo de rastreo satelital y acustico.
US9167124B2 (en) * 2012-07-27 2015-10-20 The Neat Company, Inc. Portable document scanner having user interface and integrated communication means
US9198363B2 (en) 2012-12-12 2015-12-01 The Boeing Company Tree metrology system
WO2016108220A1 (en) * 2014-12-29 2016-07-07 Klein Hagay Improved visual monitoring on smartphone screen
US9738380B2 (en) * 2015-03-16 2017-08-22 XCraft Enterprises, LLC Unmanned aerial vehicle with detachable computing device
EP3286079B1 (en) * 2015-04-21 2021-09-08 GoPro, Inc. Aerial capture platform
US9598182B2 (en) * 2015-05-11 2017-03-21 Lily Robotics, Inc. External microphone for an unmanned aerial vehicle
US20170043862A1 (en) * 2015-08-14 2017-02-16 Louis Alvin Lippincott Command driven electronic speed controller
US10238962B2 (en) * 2015-12-27 2019-03-26 Spin Master Ltd. System and method for recharging battery in augmented reality game system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005263105A (ja) * 2004-03-19 2005-09-29 Chugoku Electric Power Co Inc:The 無人飛行体を利用した公衆への告知システム
US20140297067A1 (en) * 2012-08-02 2014-10-02 Benjamin Malay Vehicle control system
US20140316616A1 (en) * 2013-03-11 2014-10-23 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
JP2014199548A (ja) * 2013-03-29 2014-10-23 綜合警備保障株式会社 飛行制御システム及び飛行制御方法
JP2014212479A (ja) * 2013-04-19 2014-11-13 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020230353A1 (ja) * 2019-05-13 2021-10-21 株式会社Ｎｔｔドコモ 対話装置

Also Published As

Publication number Publication date
JPWO2017208355A1 (ja) 2018-06-14
US20190080620A1 (en) 2019-03-14
US10510261B2 (en) 2019-12-17
WO2017208355A1 (ja) 2017-12-07

Similar Documents

Publication Publication Date Title
JP6212663B1 (ja) 無人航空機飛行制御アプリケーション及び無人航空機飛行制御方法
US10453333B1 (en) Methods and apparatus for leveraging a mobile phone or mobile computing device for use in controlling model vehicles
US11041737B2 (en) Method, device and system for processing a flight task
US10643406B2 (en) Data logging in aerial platform
US9652904B2 (en) System and method for data recording and analysis
WO2019119829A1 (zh) 一种无人机控制方法、装置、遥控设备和无人机系统
WO2019091226A1 (zh) 一种无人飞行器的控制方法和终端
CN104469673B (zh) 一种终端定位方法及装置
EP3261405B1 (fr) Réseau local pour l'échange simultané de données entre un drone et une pluralité de terminaux utilisateur, désignant un terminal utilisateur principal unique controlant le drone
WO2018187916A1 (zh) 云台随动控制方法及控制设备
KR101883292B1 (ko) 재난 구조 및 대응 시스템 및 그 운용 방법
WO2021088683A1 (zh) 电池自放电周期调整方法及无人飞行器
US20190075513A1 (en) Method for broadcasting a communication network identifier, method for connecting to a communication network, related computer program, hosting medium and mobile terminal
CN107636551B (zh) 一种飞行控制方法、装置及智能终端
US20210286352A1 (en) Moving object operation system, operation signal transmission system, moving object operation method, program, and recording medium
CN111625014A (zh) 一种无人机控制方法、车载终端及计算机可读存储介质
WO2019241970A1 (zh) 无人机的扬声器控制方法和设备
US20170139048A1 (en) Loading of ephemeris data into a drone
WO2018098898A1 (zh) 一种基于地磁方式的无人机控制方法和无人机
WO2023025204A1 (zh) 远程控制方法、装置及第一、第二控制端
CN111316576A (zh) 无人机的通信方法及无人机
CN114637314A (zh) 无人飞行器及其控制方法、装置、系统
WO2021075138A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US10530466B1 (en) Wireless communication management apparatus, wireless communication management system, and wireless communication management method
WO2020118500A1 (zh) 控制方法、控制系统、计算机可读存储介质和可飞行设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170719

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170802

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170915

R150 Certificate of patent or registration of utility model

Ref document number: 6212663

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250