JPWO2019163118A1 - コンピュータシステム、ドローン制御方法及びプログラム - Google Patents

コンピュータシステム、ドローン制御方法及びプログラム Download PDF

Info

Publication number
JPWO2019163118A1
JPWO2019163118A1 JP2020501973A JP2020501973A JPWO2019163118A1 JP WO2019163118 A1 JPWO2019163118 A1 JP WO2019163118A1 JP 2020501973 A JP2020501973 A JP 2020501973A JP 2020501973 A JP2020501973 A JP 2020501973A JP WO2019163118 A1 JPWO2019163118 A1 JP WO2019163118A1
Authority
JP
Japan
Prior art keywords
drone
image
position coordinates
image analysis
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020501973A
Other languages
English (en)
Other versions
JP6814431B2 (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Publication of JPWO2019163118A1 publication Critical patent/JPWO2019163118A1/ja
Application granted granted Critical
Publication of JP6814431B2 publication Critical patent/JP6814431B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】消費電力の低減を図りつつ、対象の情報を取得することが可能なコンピュータシステム、ドローン制御方法及びプログラムを提供することを目的とする。【解決手段】コンピュータシステムは、ドローンで撮影した画像を取得し、取得した前記画像を画像解析し、前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出し、抽出した前記ポイントの位置座標を取得し、前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる。また、コンピュータシステムは、ドローンで撮影した画像を取得し、取得した前記画像を画像解析し、前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出し、抽出した前記ポイントの位置座標を取得し、前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる。【選択図】図１

Description

本発明は、カメラ撮影するドローンを制御するコンピュータシステム、ドローン制御方法及びプログラムに関する。
近年、ドローンが普及し、空からの撮影などに活用されている。撮影された画像は画像解析されて道路や建築物等の傷やシミ等の診断に活用される。このような撮影に際して、赤外光や紫外光による撮影を行うことにより、可視光による撮影とは異なる画像が取得できることが知られている。
このような赤外光や紫外光による撮影の例として、近赤外線を建築物に照射し、この建築物の透過画像を解析することにより、包材のシール部における不良の有無を判断する構成が開示されている（特許文献１参照）。
特開２０１５−２３２４６８号公報
しかしながら、特許文献１の構成では、常時可視光以外の波長の光を対象に照射する必要があることから、このような構成をドローン等に用いた場合、対象に傷等の問題が存在していない場合であっても、この波長の光を照射することになってしまい、この装置による消費電力の過度な消費や、このような消費に伴う飛行時間の減少等の問題が発生してしまうおそれがあった。
そこで、最初に可視光による撮影で対象に何らかの問題を検知した場合に、可視光とは異なる波長の光により対象を撮影することで、対象の更なる情報を取得することを可能とすることに着目した。さらに、可視光で撮影された画像に画像解析がうまくいかない場合に、可視光とは異なる波長の光により対象を再度撮影することで、画像解析をうまく行えることに着目した。
本発明の目的は、消費電力の低減を図りつつ、対象の情報を取得することが可能なコンピュータシステム、ドローン制御方法及びプログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
本発明は、ドローンで撮影した画像を取得する画像取得手段と、
取得した前記画像を画像解析する画像解析手段と、
前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出する抽出手段と、
抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
を備えることを特徴とするコンピュータシステムを提供する。
本発明によれば、ドローンで撮影した画像を取得し、取得した前記画像を画像解析し、前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出し、抽出した前記ポイントの位置座標を取得し、前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる。
ここで、本発明は、コンピュータシステムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
また、本発明は、ドローンで撮影した画像を取得する画像取得手段と、
取得した前記画像を画像解析する画像解析手段と、
前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出する抽出手段と、
抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
を備えることを特徴とするコンピュータシステムを提供する。
本発明によれば、ドローンで撮影した画像を取得し、取得した前記画像を画像解析し、前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出し、抽出した前記ポイントの位置座標を取得し、前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる。
ここで、本発明は、コンピュータシステムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
本発明によれば、消費電力の低減を図りつつ、対象の情報を取得することが可能なコンピュータシステム、ドローン制御方法及びプログラムを提供することが可能となる。
図１は、ドローン制御システム１の概要を示す図である。 図２は、ドローン制御システム１の全体構成図である。 図３は、ドローン制御システム１の機能ブロック図である。 図４は、ドローン制御システム１が実行するドローン制御処理のフローチャートである。 図５は、ドローン制御システム１が実行するドローン制御処理のフローチャートである。 図６は、ドローン制御システム１が実行するドローン制御処理の変形例のフローチャートである。 図７は、ドローン制御システム１が実行するドローン制御処理の変形例のフローチャートである。 図８は、エッジ変化量が所定値以上のポイントの一例を示す図である。 図９は、解像度が低くて画像解析が不能なポイントの一例を示す図である。
以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
［ドローン制御システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるドローン制御システム１の概要を説明するための図である。ドローン制御システム１は、コンピュータ１０、ドローン１００から構成される。ドローン制御システム１は、ドローン１００が有する撮影装置により撮影した動画や静止画等の画像を、コンピュータ１０が取得し、取得した画像に基づいて、コンピュータ１０が各種処理を実行するコンピュータシステムである。ドローン制御システム１は、コンピュータ１０の処理結果に基づいて、ドローン１００の飛行ルートの設定、波長の変更した画像の撮影等のドローン１００に対する各種制御を実行する。
なお、ドローン制御システム１において、コンピュータ１０やドローン１００の数は、適宜変更可能である。また、ドローン制御システム１は、これらの他にドローン１００を制御する端末装置等の他の端末装置を有していてもよい。
コンピュータ１０は、無線通信、優先通信等により、ネットワークを介して、ドローン１００とデータ通信可能に接続されたコンピュータ装置である。コンピュータ１０は、画像解析、ドローン１００の制御等を実行するコンピュータ装置である。
ドローン１００は、コンピュータ１０とデータ通信可能に接続され、予め設定された飛行経路や、図示していない端末装置が指定する飛行経路に基づいて飛行する無人飛行機やマルチコプター等である。ドローン１００は、可視光だけでなく、可視光とは異なる他の波長（例えば、赤外線や紫外線）を用いた画像を撮影することが可能な撮影装置を有する。ドローン１００は、撮影した画像を、コンピュータ１０に送信する。
ドローン制御システム１が実行するドローン制御処理の概要について説明する。
なお、後述する各処理は、コンピュータ１０又はドローン１００の何れかに限らず、双方が実行してもよいし、コンピュータ１０が実行する処理として説明する各処理を、ドローン１００が実行する構成であってもよいし、その逆の構成であってもよい。
はじめに、ドローン１００は対象とする場所や建築物の近傍を飛行し、画像を撮影する（ステップＳ０１）。ここで、ドローン１００は、予め設定された飛行経路を飛行し、対象とする場所や建築物等を撮影する。この時ドローン１００が撮影する画像とは、可視光画像である。
ドローン１００は、撮影した画像を、コンピュータ１０に送信する。このとき、ドローン１００は、画像とともに、この画像を撮影した自身の位置座標及び自身の高度をコンピュータ１０に送信する。コンピュータ１０は、この画像を受信することにより、ドローン１００で撮影した画像を取得する（ステップＳ０２）。
コンピュータ１０は、取得した画像を画像解析する（ステップＳ０３）。コンピュータ１０は、取得した可視光画像を、エッジ検出を行う。エッジ検出とは、不連続に変化している箇所を特定することである。例えば、コンピュータ１０は、エッジ検出として、深さが不連続であるか、面の向きが不連続であるか、材質が変化しているか、照明が変化しているかを検出する。
コンピュータ１０は、画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出する（ステップＳ０４）。コンピュータ１０は、ヘッジ変化量として、例えば、変色、温度変化、変形を検出した際、これらが所定の閾値以上であるか否かを判定し、判定の結果が、所定の閾値以上であるポイントを抽出する。
コンピュータ１０は、抽出したポイントの位置座標を取得する（ステップＳ０５）。コンピュータ１０は、抽出したポイントの画像における座標に基づいて、実際の位置座標を取得する。これは、ドローン１００がこの画像を撮影した位置座標を、ポイントの座標であるものとして取得する。
コンピュータ１０は、この位置座標への飛行指示をドローン１００に送信するとともに可視光以外の他の波長の光で画像を撮影する撮影装置により、このポイントの画像を撮影させる再撮影指示を送信する（ステップＳ０６）。
なお、このポイントが複数存在する場合、全てのポイントに対して飛行指示及び再撮影指示を送信してもよい。このようにすることにより、ドローン制御システム１は、ドローン１００に、全てのポイントを飛行するように飛行ルートを設定する。
また、ポイントが複数存在する場合、ポイントの位置座標が、近い順にドローン１００が飛行するように飛行指示及び再撮影指示を送信する。このようにすることにより、ドローン制御システム１は、ドローン１００に、位置座標の近い順に飛行するように飛行ルートを設定する。
ドローン１００は、飛行指示及び再撮影指示を受信し、このポイントの位置座標に飛行するとともにこのポイントを可視光以外の他の波長の光で画像を撮影する（ステップＳ０７）。このようにすることにより、ドローン制御システム１は、ドローン１００を取得した位置座標に飛行させ、可視光以外のカメラで撮影させるよう制御する。
［変形例］
ドローン制御システム１の変形例についても説明する。この変形例において、上述した実施形態との相違点は、上述したステップＳ０４の処理である。それ以外の処理については、詳細な説明を省略する。
ドローン１００は、上述した実施形態と同様に、対象の画像（可視光画像）を撮影し、コンピュータ１０に送信する。このとき、ドローン１００は、自身の位置座標及び自身の高度も併せて送信する。
コンピュータ１０は、上述した実施形態と同様に、取得した画像を画像解析する。
コンピュータ１０は、画像解析の結果、取得した画像の解像度が低くて、画像解析が不能なポイントを抽出する。コンピュータ１０は、例えば、エッジ変化量の検出ができなかったポイントが存在する場合、この画像の解像度が低いことから画像解析が不能であったと判定し、このポイントを抽出する。
コンピュータ１０は、上述した実施形態と同様に、この抽出したポイントの位置座標を取得し、この位置座標への飛行指示及び再撮影指示をドローン１００に送信する。
なお、上述した実施形態と同様に、このポイントが複数存在する場合、全てのポイントに対して飛行指示及び再撮影指示を送信してもよい。
また、上述した実施形態と同様に、ポイントが複数存在する場合、ポイントの位置座標が、近い順にドローン１００が飛行するように飛行指示及び再撮影指示を送信してもよい。
ドローン１００は、上述した実施形態と同様に、飛行指示及び再撮影指示を受信し、このポイントの位置座標に飛行するとともにこのポイントを可視光以外の他の波長の光で画像を撮影する。
以上が、ドローン制御システム１の概要である。
［ドローン制御システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態であるドローン制御システム１のシステム構成について説明する。図２は、本発明の好適な実施形態であるドローン制御システム１のシステム構成を示す図である。ドローン制御システム１は、コンピュータ１０、ドローン１００から構成され、ドローン１００が有する撮影装置により撮影した動画や静止画等の画像を、公衆回線網５等を介して、コンピュータ１０が取得し、取得した画像に基づいて、コンピュータ１０が各種処理を実行するコンピュータシステムである。
なお、コンピュータ１０及びドローン１００は、１つに限らず、複数であってもよい。また、コンピュータ１０は、実在する装置に限らず、仮想的な装置であってもよい。また、公衆回線網５等により図示していない他の端末装置等の端末装置と通信可能に接続されていてもよい。
コンピュータ１０は、後述の機能を備えた上述したコンピュータ装置等である。
ドローン１００は、後述の機能を備えた上述した無人飛行機やマルチコプター等である。
［各機能の説明］
図３に基づいて、本発明の好適な実施形態であるドローン制御システム１の機能について説明する。図３は、コンピュータ１０、ドローン１００の機能ブロック図を示す図である。
コンピュータ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、コンピュータ１０は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ１０は、処理部１４として、画像解析、ドローン１００の飛行ルート設定、撮影指示、再撮影指示等の各種処理を実行する各種デバイス等を備える。
コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、撮影データ取得モジュール２０、再飛行データ送信モジュール２１、通知送信モジュール２２を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、処理部１４と協働して、画像解析モジュール４０、抽出モジュール４１、位置座標取得モジュール４２、高度取得モジュール４３、制御モジュール４４、通知作成モジュール４５を実現する。
ドローン１００は、コンピュータ１０と同様に、制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのデバイスを備える。また、ドローン１００は、入出力部１４０として、飛行に必要な飛行装置、画像を撮影する撮影装置等の各種デバイスを備える。
ドローン１０において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、撮影データ送信モジュール１５０、再飛行データ取得モジュール１５１を実現する。また、ドローンにおいて、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、飛行モジュール１７０、撮影モジュール１７１を実現する。
［ドローン制御処理］
図４及び図５に基づいて、ドローン制御システム１が実行するドローン制御処理について説明する。図４及び図５は、コンピュータ１０、ドローン１００が実行するドローン制御処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
はじめに、飛行モジュール１７０は、予め設定された飛行経路に基づいて、対象とする場所や建築物の近傍を飛行する（ステップＳ１０）。ステップＳ１０において、飛行モジュール１７０は、コンピュータ１０や図示してない端末装置からの飛行指示や、これらが設定した飛行経路に従って所定の速度で飛行する。対象とする場所や建築物とは、例えば、道路、トンネル、建築物である。
撮影モジュール１７１は、動画や静止画等の画像を撮影する（ステップＳ１１）。ステップＳ１１において、撮影モジュール１７１は、予め設定された地点又は飛行中常時撮影する。撮影モジュール１７１は、可視光の波長で、画像を撮影する。すなわち、ステップＳ１１における撮影モジュール１７１が撮影する画像とは、可視光画像である。
撮影データ送信モジュール１５０は、撮影モジュール１７１が撮影した画像、撮影した場所における自身の位置座標（ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）から取得した自身の位置情報、設定された飛行経路における自身の現在位置に該当する位置情報）及び撮影した場所における自身の高度（ドローン１００に設けられた高度計から取得）を、撮影データとして、コンピュータ１０に送信する（ステップＳ１２）。
なお、位置座標及び高度は、必ずしも含まれていなくともよく、撮影データ送信モジュール１５０は、画像のみを撮影データとして送信してもよい。また、撮影データ送信モジュール１５０は、画像及び位置座標を撮影データとして、送信してもよい。
撮影データ取得モジュール２０は、ドローン１００が送信した撮影データを取得する（ステップＳ１３）。ステップＳ１３において、撮影データ取得モジュール２０が、ドローン１００が送信した撮影データを受信することにより、ドローン１００で撮影された画像、ドローン１００の位置座標及びドローン１００の高度を取得する。
画像解析モジュール４０は、画像を画像解析する（ステップＳ１４）。ステップＳ１４において、画像解析モジュール４０は、取得した画像に対して、エッジ検出を行う。エッジ検出とは、不連続に変化している箇所を特定することである。画像解析モジュール４０は、例えば、エッジ検出として、深さが不連続であるか、面の向きが不連続であるか、材質が変化しているか、照明が変化しているかを検出する。
画像解析モジュール４０は、エッジが検出できたか否かを判断する（ステップＳ１５）。ステップＳ１５において、画像解析モジュール４０は、画像中に不連続に変化している箇所が存在するか否かに基づいて、エッジが検出できたか否かを判断する。また、画像解析モジュール４０は、例えば、変色、温度変化、変形を検出できたか否かを判断する。
ステップＳ１５において、画像解析モジュール４０は、エッジが検出できなかったと判断した場合（ステップＳ１５ ＮＯ）、画像解析モジュール４０は、この画像内にエッジが検出できなかったことから、この画像に写っている対象には問題がないと判断し、一旦処理を終了する。このとき、コンピュータ１０は、ドローン１００から次の撮影データを取得するまで、処理を待機する。
一方、ステップＳ１５において、画像解析モジュール４０は、エッジが検出できたと判断した場合（ステップＳ１５ ＹＥＳ）、画像解析モジュール４０は、検出したエッジのエッジ変化量が所定の閾値以上であるか否かを判定する（ステップＳ１６）。ステップＳ１６において、画像解析モジュール４０は、エッジ変化量（例えば、変色の度合い、温度変化の度合い、変形の度合い）が、予め設定された閾値（例えば、異常が発生していると判断するに足る値）以上であるか否かを判定する。画像解析モジュール４０は、エッジ変化量が所定の閾値以上ではないと判定した場合（ステップＳ１６ ＮＯ）、画像解析モジュール４０は、画像内に、エッジ変化量を検出できたものの、この画像に写っている対象には問題がないと判断し、一旦処理を終了する。このとき、コンピュータ１０は、ドローン１００から次の撮影データを取得するまで、処理を待機する。
一方、ステップＳ１６において、画像解析モジュール４０は、エッジ変化量が所定の閾値以上であると判定した場合（ステップＳ１６ ＹＥＳ）、抽出モジュール４１は、エッジ変化量が所定の閾値以上のポイントを抽出する（ステップＳ１７）。ステップＳ１７において、抽出モジュール４１は、このポイントを異常が発生しているポイントとして、抽出する。
図８に基づいて、抽出モジュール４１が抽出するエッジ変化量が所定の閾値以上のポイントについて説明する。図８は、エッジ変化量が所定の閾値以上のポイントを模式的に示した図である。図８において、抽出モジュール４１は、画像３００内に、エッジ変化量が所定の閾値以上のポイントを抽出している。図８において、抽出モジュール４１が抽出したポイント３１０〜３１３に対して、模式的に枠線３２０〜３２３を記載している。抽出モジュール４１は、抽出したポイント３１０〜３１３の其々に対して、このポイントは、画像３００内におけるこの場所が、エッジ変化量が所定の閾値以上の場所であることを意味する。
位置座標取得モジュール４２は、抽出したポイントの位置座標を取得する（ステップＳ１８）。ステップＳ１８において、位置座標取得モジュール４２は、抽出したポイントの画像における座標に基づいて、実際の位置座標（画像のポイントに対応する実際の場所の位置情報）を取得する。位置座標取得モジュール４２は、上述した撮影データに含まれるドローン１００の位置座標を、ポイントの位置座標であるものとして取得する。
なお、位置座標取得モジュール４２は、複数のポイントが抽出されていた場合、これらのポイントを近似的に同一の位置座標とみなしてこの画像を撮影した地点におけるドローン１００の位置座標を、ポイントの位置座標として取得する。また、複数の画像で同一のポイントを抽出した場合、すなわち、一の画像で一のポイントを抽出したうえで、一の画像とは異なる画像でこの一のポイントをさらに抽出した場合、各画像における撮影時のドローン１００の位置座標の平均値を、この一のポイントの位置座標として取得してもよい。この時の一のポイントの位置座標は、２又はそれ以上の数の画像に対しても適応可能である。
高度取得モジュール４３は、抽出したポイントの高度を取得する（ステップＳ１９）。ステップＳ１９において、高度取得モジュール４３は、抽出したポイントの画像におけるドローン１００の飛行高度に基づいて、この画像を撮影した高度を取得する。
制御モジュール４４は、取得したポイントの位置座標及び高度へドローン１００を飛行させる飛行指示を作成する（ステップＳ２０）。ステップＳ２０において、制御モジュール４４は、取得したポイントが一つである場合、このポイントの位置座標及び高度に飛行させるための設定を飛行指示として作成する。また、制御モジュール４４は、取得したポイントが複数ある場合、これらのポイントの其々へ飛行させるための設定を飛行指示として作成する。このような複数のポイントを飛行させる飛行指示の具体的な内容として、単純に、その順番を問わずに、全てのポイントを飛行させるものや、ポイントの位置座標が近い順に飛行させるものや、ポイントのエッジ変化量の大きい順に飛行させるものや、バッテリーの消費量が少ない順に飛行させるものや、その他のものが挙げられる。全てのポイントを飛行させるものとは、抽出したポイントの上空又は近傍をその順番は問わずに、例えば、ランダム、画像を撮影した順、画像を撮影した順とは逆順に、飛行させるものである。またポイントの位置座標が近い順に飛行させるものとは、現在のドローン１００の場所における位置座標及び高度と、ポイントの位置座標及び高度とを比較して、ドローン１００の位置座標に近い順に、該当するポイントの上空又は近傍をその順に、飛行させるものである。また、エッジ変更料の大きい順に飛行させるものとは、抽出したポイントのうち、エッジ変化量の大きさ順に、該当するポイントの上空又は近傍をその順に、飛行させるものである。また、バッテリーの消費量が少ない順に飛行させるものとは、抽出したポイントのうち、飛行に必要なバッテリーの消費量が少ない順に、該当するポイントの上空又は近傍をその順に、飛行させるものである。
制御モジュール４４は、このポイントを可視光以外の撮影装置で撮影させる再撮影指示を作成する（ステップＳ２１）。ステップＳ２１において、制御モジュール４４は、ドローン１００に、可視光以外の波長の光（例えば、赤外線の波長や紫外線の波長）による画像を撮影可能な撮影装置により、抽出したポイントを撮影させる指示を、再撮影指示として作成する。
再飛行データ送信モジュール２１は、飛行指示及び再撮影指示を、再飛行データとして、ドローン１００に送信する（ステップＳ２２）。ステップＳ２２において、飛行指示及び再撮影指示を、撮影データを取得したドローン１００に対して、再飛行データとして送信する。
なお、再飛行データ送信モジュール２１は、再飛行データを、撮影データを取得したドローン１００とは異なるドローンに対して送信してもよい。例えば、ドローン１００が、可視光による画像を撮影する装置のみしか有していない場合や、再撮影に必要だと判断されるバッテリー残量が残されていない場合（この場合には、ドローン１００は一度飛行が完了した際又は撮影データを送信する際等に、自身のバッテリー残量も併せて送信しておけばよい。）に、このドローン１００とは異なるドローン（可視光以外による画像を撮影する装置を有するドローンや再撮影に必要なバッテリー残量が残されているドローン）に、再飛行データを送信すればよい。
再飛行データ取得モジュール１５１は、再飛行データを取得する。飛行モジュール１７０は、再飛行データに基づいて、抽出したポイントに飛行する（ステップＳ２３）。ステップＳ２３の処理は、上述したステップＳ１０の処理と略同様であり、再飛行データに含まれる飛行指示に基づいて飛行する。
撮影モジュール１７１は、このポイントの画像を撮影する（ステップＳ２４）。ステップＳ２４において、撮影モジュール１７１は、画像として、赤外線や紫外線等の可視光以外の波長で、画像を撮影する。すなわち、ステップＳ２４における撮影モジュール１７１が撮影する画像とは、可視光以外の波長の画像である。
撮影データ送信モジュール１５０は、撮影モジュール１７１が撮影した画像、撮影した場所における自身の位置座標及び自身の高度を、再撮影データとしてコンピュータ１０に送信する（ステップＳ２５）。ステップＳ２５の処理は、上述したステップＳ１２の処理と同様である。
なお、上述したステップＳ１２の処理と同様に、位置座標及び高度は、必ずしも含まれていなくともよく、画像のみを再撮影データとして送信してもよい。また、撮影データ送信モジュール１５０は、画像及び位置座標を再撮影データとして、送信してもよい。
撮影データ取得モジュール２０は、ドローン１００が送信した再撮影データを取得する（ステップＳ２６）。ステップＳ２６において、上述したステップＳ１３の処理と同様に、撮影データ取得モジュール２０が、ドローン１００で撮影された画像、位置座標及び高度を取得する。
画像解析モジュール４０は、画像を解析する（ステップＳ２７）。ステップＳ２７において、画像解析モジュール４０は、エッジ検出やその他の特徴検出や特徴抽出を実行する。画像解析モジュール４０は、特徴検出や特徴抽出により、撮影対象の更なる情報を取得する。更なる情報とは、例えば、傷やシミの有無、傷やシミが存在する場合にはその大きさや場所や数等、傷やシミが存在しない場合にはその旨の通知を取得する。
通知作成モジュール４５は、画像解析の結果得られた更なる情報を、再撮影結果通知として作成する（ステップＳ２８）。ステップＳ２８において、この再撮影結果通知は、上述した傷やシミの有無、その大きさや場所やその数、傷やシミが存在しない旨、可視光の波長の画像ではエッジ検出されたが可視光の以外の波長の画像ではエッジ検出されなかった旨等をテキスト化又は音声化したものである。
通知送信モジュール２２は、作成した再撮影結果通知を、図示してないユーザが所有する端末装置等に送信する（ステップＳ２９）。端末装置等は、この再撮影結果通知を、受信し、これを自身に表示又は放音することにより、ユーザに通知する。ユーザは、この再撮影結果通知に基づいて、実際の対象の状況を把握することになる。
以上が、ドローン制御処理である。
なお、上述した各処理は、必ずしも一のハードウェアにより実行される構成でなくてもよい。例えば、上述した各処理を、コンピュータ１０又はドローン１００の何れか又は双方により実行される構成であってもよい。
［変形例］
図６及び図７に基づいて、ドローン制御システム1が実行するドローン制御処理の変形例について説明する。図６及び図７は、コンピュータ１０、ドローン１００が実行するドローン制御処理の変形例のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
なお、上述した実施形態と同様の構成については、その詳細な説明を省略し、相違点を記載していく。
はじめに、ドローン１００は、上述したステップＳ１０〜Ｓ１２の処理を実行する（ステップＳ３０〜Ｓ３２）。ドローン１００は、対象とする場所や建築物の近傍を飛行し、画像を撮影し、撮影データをコンピュータ１０に送信する。
撮影データ取得モジュール２０は、上述したステップＳ１３及びＳ１４の処理と同様に、撮影データを取得し、画像解析を実行する（ステップＳ３３、Ｓ３４）。
画像解析モジュール４０は、画像解析ができたか否かを判断する（ステップＳ３５）。ステップＳ３５において、画像解析モジュール４０は、上述したステップＳ１５と同様に、エッジ検出ができたか否かを判断する。また、画像解析モジュール４０は、エッジ検出以外の他の検出処理を実行できたか否かを判断する。
ステップＳ３５において、画像解析モジュール４０は、画像解析ができたかと判断した場合（ステップＳ３５ ＹＥＳ）、上述したドローン制御処理におけるステップＳ１６以降の処理を実行する。なお、本変形例においては、説明の簡略化のため、本処理を終了するものとして図中では記載する。
一方、ステップＳ３５において、画像解析モジュール４０は、画像解析ができなかったと判断した場合（ステップＳ３５ ＮＯ）、抽出モジュール４１は、この画像解析ができなかったポイントを、画像解析が不能な不能ポイントとして抽出する（ステップＳ３６）。ステップＳ３６において、画像解析モジュール４０は、この不能ポイントを、解像度が低いことにより画像解析ができなかったと判定し、抽出モジュール４１は、この不能ポイントを抽出する。
なお、画像解析モジュール４０は、この不能ポイントを、それ以外が理由により画像解析ができなかったと判定してもよい。例えば、ドローン１００の距離と対象との間の距離が近すぎることにより画像解析ができなかったと判定してもよいし、ドローン１００の飛行が不安定なため、鮮明な画像が得られなかったことにより画像解析ができなかったと判定してもよい。
図９に基づいて、抽出モジュール４１が抽出する不能ポイントについて説明する。図９は、不能ポイントを模式的に示した図である。図９において、抽出モジュール４１は、画像４００内に、不能ポイントを抽出している。図９において、抽出モジュール４１が抽出した不能ポイント４１０〜４１３に対して、模式的に枠線４２０〜４２３を記載している。抽出モジュール４１は、抽出した不能ポイント４１０〜４１３の其々に対して、画像４００内におけるこの場所が、画像解析ができなかった場所であることを意味する。
コンピュータ１０は、上述したステップＳ１８〜Ｓ２２の処理と同様の処理を実行する（ステップＳ３７〜Ｓ４１）。
位置座標取得モジュール４２は、抽出した不能ポイントの位置座標を取得する（ステップＳ３７）。上述したステップＳ１８と同様に、複数の不能ポイントが抽出されていた場合、これらの不能ポイントを近似的に同一の位置座標とみなしてこの画像を撮影した地点におけるドローン１００の位置座標を、不能ポイントの位置座標として取得する。また、複数の画像で同一の不能ポイントを抽出した場合、すなわち、一の画像で一の不能ポイントを抽出したうえで、一の画像とは異なる画像でこの一の不能ポイントをさらに抽出した場合、各画像における撮影時のドローン１００の位置座標の平均値を、この一の不能ポイントの位置座標として取得してもよい。この時の一の不能ポイントの位置座標は、２又はそれ以上の数の画像に対しても適応可能である。
高度取得モジュール４３は、抽出した不能ポイントの高度を取得する（ステップＳ３８）。
制御モジュール４４は、取得した不能ポイントの位置座標及び高度へドローン１００を飛行させる飛行指示を作成する（ステップＳ３９）。ステップＳ３９において、制御モジュール４４は、取得した不能ポイントが一つである場合、この不能ポイントの位置座標及び高度に飛行させるための設定を飛行指示として作成する。また、制御モジュール４４は、取得した不能ポイントが複数ある場合、これらの不能ポイントの其々へ飛行させるための設定を飛行指示として作成する。このような複数の不能ポイントを飛行させる飛行指示の具体的な内容として、単純に、その順番を問わずに、全ての不能ポイントを飛行させるものや、不能ポイントの位置座標が近い順に飛行させるものや、その他のものが挙げられる。全ての不能ポイントを飛行させるものとは、抽出した不能ポイントの上空又は近傍をその順番は問わずに、例えば、ランダム、画像を撮影した順、画像を撮影した順とは逆順に、飛行させるものである。また不能ポイントの位置座標が近い順に飛行させるものとは、現在のドローン１００の場所における位置座標及び高度と、不能ポイントの位置座標及び高度とを比較して、ドローン１００の位置座標に近い順に、該当するポイントの上空又は近傍をその順に、飛行させるものである。
制御モジュール４４は、このポイントを可視光以外の撮影装置で撮影させる再撮影指示を作成する（ステップＳ４０）。
再飛行データ送信モジュール２１は、飛行指示及び再撮影指示を、再飛行データとして、ドローン１００に送信する（ステップＳ４１）。
なお、再飛行データ送信モジュール２１は、再飛行データを、撮影データを取得したドローン１００とは異なるドローンに対して送信してもよい。例えば、ドローン１００が、可視光による画像を撮影する装置のみしか有していない場合や、再撮影に必要だと判断されるバッテリー残量が残されていない場合（この場合には、ドローン１００は一度飛行が完了した際又は撮影データを送信する際等に、自身のバッテリー残量も併せて送信しておけばよい。）に、このドローン１００とは異なるドローン（可視光以外による画像を撮影する装置を有するドローンや再撮影に必要なバッテリー残量が残されているドローン）に、再飛行データを送信すればよい。
ドローン１００は、上述したステップＳ２３〜Ｓ２５と同様の処理を実行する（ステップＳ４２〜Ｓ４４）。
再飛行データ取得モジュール１５１は、再飛行データを取得する。飛行モジュール１７０は、再飛行データに基づいて、抽出したポイントに飛行する（ステップＳ４２）。
撮影モジュール１７１は、この不能ポイントの画像を撮影する（ステップＳ４３）。ステップＳ４３において、撮影モジュール１７１は、画像として、赤外線や紫外線等の可視光以外の波長で、画像を撮影する。
撮影データ送信モジュール１５０は、再撮影データをコンピュータ１０に送信する（ステップＳ４４）。
コンピュータ１０は、上述したステップＳ２６〜Ｓ２９の処理と同様の処理を実行する（ステップＳ４５〜４８）。
撮影データ取得モジュール２０は、ドローン１００が送信した再撮影データを取得する（ステップＳ４５）。
画像解析モジュール４０は、画像を解析する（ステップＳ４６）。ステップＳ４６において、画像解析モジュール４０は、エッジ検出やその他の特徴検出や特徴抽出を実行する。画像解析モジュール４０は、特徴検出や特徴抽出により、撮影対象の更なる情報を取得する。更なる情報とは、例えば、傷やシミの有無、傷やシミが存在する場合にはその大きさや場所や数等、傷やシミが存在しない場合にはその旨の通知を取得する。
通知作成モジュール４５は、画像解析の結果得られた更なる情報を、再撮影結果通知として作成する（ステップＳ４７）。
通知送信モジュール２２は、作成した再撮影結果通知を、図示してないユーザが所有する端末装置等に送信する（ステップＳ４８）。端末装置等は、この再撮影結果通知を、受信し、これを自身に表示又は放音することにより、ユーザに通知する。ユーザは、この再撮影結果通知に基づいて、実際の対象の状況を把握することになる。
以上が、ドローン制御処理の変形例である。
なお、上述した各処理は、必ずしも一のハードウェアにより実行される構成でなくてもよい。例えば、上述した各処理を、コンピュータ１０又はドローン１００の何れか又は双方により実行される構成であってもよい。
上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
１ ドローン制御システム、１０ コンピュータ、１００ ドローン

Claims (11)

  1. ドローンで撮影した画像を取得する画像取得手段と、
    取得した前記画像を画像解析する画像解析手段と、
    前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出する抽出手段と、
    抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
    前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
    を備えることを特徴とするコンピュータシステム。
  2. 前記ポイントが複数ある場合に、
    全てのポイントを飛行するように前記ドローンの飛行ルートを設定する設定手段と、
    を備えることを特徴とする請求項１に記載のコンピュータシステム。
  3. 前記ポイントが複数ある場合に、
    ポイントの位置座標の近い順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
    を備えることを特徴とする請求項１に記載のコンピュータシステム。
  4. 前記ポイントが複数ある場合に、
    ポイントのエッジ変化量の大きい順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
    を備えることを特徴とする請求項１に記載のコンピュータシステム。
  5. ドローンで撮影した画像を取得する画像取得手段と、
    取得した前記画像を画像解析する画像解析手段と、
    前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出する抽出手段と、
    抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
    前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
    を備えることを特徴とするコンピュータシステム。
  6. 前記ポイントが複数ある場合に、
    全てのポイントを飛行するように前記ドローンの飛行ルートを設定する設定手段と、
    を備えることを特徴とする請求項５に記載のコンピュータシステム。
  7. 前記ポイントが複数ある場合に、
    ポイントの位置座標の近い順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
    を備えることを特徴とする請求項５に記載のコンピュータシステム。
  8. コンピュータシステムが実行するドローン制御方法であって、
    ドローンで撮影した画像を取得するステップと、
    取得した前記画像を画像解析するステップと、
    前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出するステップと、
    抽出した前記ポイントの位置座標を取得するステップと、
    前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップと、
    を備えることを特徴とするドローン制御方法。
  9. コンピュータシステムが実行するドローン制御方法であって、
    ドローンで撮影した画像を取得するステップと、
    取得した前記画像を画像解析するステップと、
    前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出するステップと、
    抽出した前記ポイントの位置座標を取得するステップと、
    前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップと、
    を備えることを特徴とするドローン制御方法。
  10. コンピュータシステムに、
    ドローンで撮影した画像を取得するステップ、
    取得した前記画像を画像解析するステップ、
    前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出するステップ、
    抽出した前記ポイントの位置座標を取得するステップ、
    前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップ、
    を実行させるためのコンピュータ読み取り可能なプログラム。
  11. コンピュータシステムに、
    ドローンで撮影した画像を取得するステップ、
    取得した前記画像を画像解析するステップ、
    前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出するステップ、
    抽出した前記ポイントの位置座標を取得するステップ、
    前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップ、
    を実行させるためのコンピュータ読み取り可能なプログラム。
JP2020501973A 2018-02-26 2018-02-26 コンピュータシステム、ドローン制御方法及びプログラム Active JP6814431B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/006897 WO2019163118A1 (ja) 2018-02-26 2018-02-26 コンピュータシステム、ドローン制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019163118A1 true JPWO2019163118A1 (ja) 2020-12-03
JP6814431B2 JP6814431B2 (ja) 2021-01-20

Family

ID=67688235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020501973A Active JP6814431B2 (ja) 2018-02-26 2018-02-26 コンピュータシステム、ドローン制御方法及びプログラム

Country Status (4)

Country Link
US (1) US11774969B2 (ja)
JP (1) JP6814431B2 (ja)
CN (1) CN112106342B (ja)
WO (1) WO2019163118A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7208402B2 (ja) * 2019-07-19 2023-01-18 株式会社Ｎｔｔドコモ 情報処理装置
CN110830719A (zh) * 2019-11-14 2020-02-21 苏州臻迪智能科技有限公司 取景范围确定方法及系统，拍摄控制方法及系统
WO2023089984A1 (ja) * 2021-11-19 2023-05-25 富士フイルム株式会社 移動体、移動体撮影システム及び移動体撮影方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016082441A (ja) * 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2016178769A (ja) * 2015-03-19 2016-10-06 綜合警備保障株式会社 点検対象特定システム及び点検対象特定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54114231A (en) * 1978-02-24 1979-09-06 Shinichi Hosoda Respiration converting system full drive nonndirectional dynamic speaker system
JP6619547B2 (ja) 2014-06-09 2019-12-11 株式会社イシダ 検査装置
WO2016069497A1 (en) * 2014-10-26 2016-05-06 Galileo Group, Inc. Methods and systems for remote sensing with airborne drones and mounted sensor devices
WO2017217185A1 (ja) * 2016-06-14 2017-12-21 富士フイルム株式会社 サーバ装置、画像処理システム及び画像処理方法
JP6259959B1 (ja) 2016-09-30 2018-01-10 株式会社オプティム ドローン制御システム、ドローン制御方法及びプログラム
CN106504363A (zh) 2016-10-19 2017-03-15 广东容祺智能科技有限公司 一种智能机载双光巡检系统稳定平台自动跟踪方法
CN106856002B (zh) * 2016-11-22 2020-06-26 上海大学 一种无人机拍摄图像质量评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016082441A (ja) * 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2016178769A (ja) * 2015-03-19 2016-10-06 綜合警備保障株式会社 点検対象特定システム及び点検対象特定方法

Also Published As

Publication number Publication date
US11774969B2 (en) 2023-10-03
JP6814431B2 (ja) 2021-01-20
WO2019163118A1 (ja) 2019-08-29
CN112106342B (zh) 2023-06-23
US20210208604A1 (en) 2021-07-08
CN112106342A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
JP6814431B2 (ja) コンピュータシステム、ドローン制御方法及びプログラム
KR102661983B1 (ko) 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치
EP2757771B1 (en) Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
US11258962B2 (en) Electronic device, method, and computer-readable medium for providing bokeh effect in video
KR20200080402A (ko) 비정상 상황 탐지 시스템 및 방법
US9922049B2 (en) Information processing device, method of processing information, and program for processing information
US20190340789A1 (en) Abnormality detection system, abnormality detection method, and program
US11206347B2 (en) Object-tracking based slow-motion video capture
JP6259959B1 (ja) ドローン制御システム、ドローン制御方法及びプログラム
JP6921031B2 (ja) 制御装置及び撮影方法
US20160156844A1 (en) Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium
JP2021166392A (ja) 通信装置、通信方法、及びプログラム
JP6775748B2 (ja) コンピュータシステム、位置推測方法及びプログラム
WO2019163119A1 (ja) コンピュータシステム、ドローン制御方法及びプログラム
JP6501091B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
KR20240021797A (ko) 협력적 추적
US11769258B2 (en) Feature processing in extended reality systems
JP6768997B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6798072B2 (ja) 制御装置、移動体、制御方法、及びプログラム
US20240096049A1 (en) Exposure control based on scene depth
WO2022067836A1 (en) Simultaneous localization and mapping using cameras capturing multiple spectra of light
JP2023068493A (ja) 移動式投射装置、移動式投射システム、移動式投射装置の制御方法、及び、制御プログラム
JP2021193412A (ja) 装置、撮像装置、撮像システム、移動体
WO2018042551A1 (ja) 不要物除去システム、不要物除去方法及びプログラム
JP2000023145A (ja) 撮像システム、撮像システムの制御装置および制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200813

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200813

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200813

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201209

R150 Certificate of patent or registration of utility model

Ref document number: 6814431

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250