WO2019064457A1 - コンピュータシステム、位置推測方法及びプログラム - Google Patents

コンピュータシステム、位置推測方法及びプログラム Download PDF

Info

Publication number
WO2019064457A1
WO2019064457A1 PCT/JP2017/035308 JP2017035308W WO2019064457A1 WO 2019064457 A1 WO2019064457 A1 WO 2019064457A1 JP 2017035308 W JP2017035308 W JP 2017035308W WO 2019064457 A1 WO2019064457 A1 WO 2019064457A1
Authority
WO
WIPO (PCT)
Prior art keywords
drone
camera
position data
computer system
module
Prior art date
Application number
PCT/JP2017/035308
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to CN201780095465.1A priority Critical patent/CN111164377B/zh
Priority to JP2019545514A priority patent/JP6775748B2/ja
Priority to PCT/JP2017/035308 priority patent/WO2019064457A1/ja
Priority to US16/651,430 priority patent/US11361463B2/en
Publication of WO2019064457A1 publication Critical patent/WO2019064457A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Definitions

  • the present invention relates to a computer system, position estimation method, and program for estimating the position of an object by photographing the object.
  • Patent Document 1 since it is necessary to capture an object with a stereo camera, when attached to a drone or the like, the cost increases, the size of the apparatus increases, and the power consumption increases. There was a possibility that the convenience would be lowered due to the problem.
  • An object of the present invention is to provide a computer system, position estimation method and program whose convenience is improved by estimating an absolute position of a photographed object only by photographing with a camera.
  • the present invention provides the following solutions.
  • the present invention relates to an image acquisition means for acquiring an image obtained by photographing an object; Position data acquisition means for acquiring three-dimensional position data of a camera that has photographed the object; Position estimation means for estimating an absolute position of the object based on three-dimensional position data of the camera; Providing a computer system characterized by comprising:
  • the computer system acquires an image obtained by photographing an object, acquires three-dimensional position data of a camera which photographed the object, and, based on the three-dimensional position data of the camera, Guess the absolute position of the object.
  • the present invention is a category of computer system, but it exerts the same operation / effect according to the category in other categories such as position estimation method and program.
  • FIG. 1 is a diagram showing an outline of a position estimation system 1.
  • FIG. 2 is an overall configuration diagram of the position estimation system 1.
  • FIG. 3 is a functional block diagram of the drone 10.
  • FIG. 4 is a flowchart showing the position estimation process performed by the drone 10.
  • FIG. 5 is a view schematically showing position estimation of an object which the drone 10 executes.
  • FIG. 1 is a view for explaining an outline of a position estimation system 1 according to a preferred embodiment of the present invention.
  • the position estimation system 1 is a computer system which comprises a drone 10, flies at a predetermined flying altitude, and captures images such as various moving images and still images.
  • the drone 10 is an imaging device such as a camera that captures an image such as a moving image or a still image, a gyro sensor that detects an inclination of the imaging device, various sensors such as an acceleration sensor, an altimeter, and a wind direction sensor, propellers and power necessary for flight, Equipped with The drone 10 flies based on a preset flight path or a flight path specified by an information terminal (not shown).
  • an imaging device such as a camera that captures an image such as a moving image or a still image
  • a gyro sensor that detects an inclination of the imaging device
  • various sensors such as an acceleration sensor, an altimeter, and a wind direction sensor, propellers and power necessary for flight, Equipped with
  • the drone 10 flies based on a preset flight path or a flight path specified by an information terminal (not shown).
  • the drone 10 acquires and stores data (feature points, feature amounts, and the like) on an object whose position is to be estimated. This may be acquired from an information terminal (not shown), or the drone 10 may have input data on the object.
  • the drone 10 may be connected to an information terminal (not shown) by wireless connection or wired connection. At this time, the drone 10 may transmit an image captured on the information terminal or data detected by various sensors.
  • the drone 10 flies based on a preset flight path, and captures an image of the area directly below the drone 10 with the imaging device (step S01).
  • This flight path includes the flight altitude at which the aircraft flies, the route, latitude and longitude, and the like.
  • the drone 10 acquires an image captured by the imaging device as a captured image, and analyzes the acquired captured image (step S02).
  • the drone 10 identifies an object or the like included in a captured image by analyzing either or both of feature points or feature amounts of the captured image.
  • a feature point is something that is shown in a captured image, and specifically, is a shape, a color, a brightness, an outline, or the like.
  • the feature amount is a statistical value such as various values (average of pixel values, variance, histogram, etc.) calculated from photographed image data.
  • the drone 10 compares the data of the target object acquired in advance with the feature points and feature amounts in the captured image obtained as a result of image analysis, and analyzes the presence or absence of the target object in the captured image by image analysis.
  • the drone 10 determines, as a result of the image analysis, whether or not an object is included in the captured image. If the drone 10 determines that the target is not included, the set flight is continued. On the other hand, when the drone 10 determines that the target is included, it specifies the position of the target in the captured image (step S03). The drone 10 acquires a photographed image obtained by photographing an object through these processes, and specifies its position. At this time, the drone 10 acquires the position data of the imaging device as the same as its position data (latitude, longitude, flight altitude, etc.). By the process described above, the drone 10 acquires three-dimensional position data of the imaging device that has captured the object.
  • the drone 10 rotates the imaging device based on the position of the object in the specified captured image and positions it parallel to a straight line indicating its own latitude.
  • the drone 10 obtains an angle A with respect to the object at this position (step S04).
  • the angle A is an angle at which the imaging device is tilted with respect to the object with reference to the angle when the imaging device captures an image directly below.
  • the drone 10 estimates the position of the object based on its own flying height and the tangent of the angle A (step S05).
  • the drone 10 calculates the distance between itself and the object based on its flight altitude and the tangent of the angle A.
  • the drone 10 estimates the position of the object based on the calculated distance and its own position.
  • the absolute position of the object is estimated based on the three-dimensional position data of the imaging device.
  • FIG. 2 is a diagram showing a system configuration of a position estimation system 1 according to a preferred embodiment of the present invention.
  • the position estimation system 1 is a computer system configured of a drone 10.
  • the drone 10 is the above-described unmanned airplane equipped with the functions described later.
  • FIG. 3 is a functional block diagram of the drone 10.
  • the drone 10 includes a central processing unit (CPU), a random access memory (RAM), a read only memory (ROM), and the like as the control unit 11, and a device for enabling communication with other devices as the communication unit 12.
  • a device for enabling communication with other devices as the communication unit 12.
  • the communication unit 12 comprises a WiFi (Wireless Fidelity) compliant device compliant with IEEE 802.11.
  • the drone 10 includes, as the storage unit 13, a storage unit of data such as a hard disk, a semiconductor memory, a recording medium, a memory card, and the like.
  • the drone 10 includes, as the processing unit 14, devices for executing various processes such as image processing, various calculations, processing of position data of its own, control processing of a photographing apparatus that it has, and the like.
  • the control unit 11 reads a predetermined program to realize an object data acquisition module 20, a position data acquisition module 21, and an output module 22 in cooperation with the communication unit 12. Further, in the drone 10, the control unit 11 reads a predetermined program to realize the storage module 30 in cooperation with the storage unit 13. Further, in the drone 10, the control unit 11 reads a predetermined program, thereby realizing the flight module 40, the imaging module 41, the analysis module 42, the calculation module 43, and the estimation module 44 in cooperation with the processing unit 14.
  • FIG. 4 is a flowchart of the position estimation process performed by the drone 10. The processing executed by each module described above will be described together with this processing.
  • the object data acquisition module 20 acquires object data which is data related to an object (step S10).
  • the object data acquisition module 20 acquires object data of an object whose position is to be estimated, which will be described later.
  • the object data is, for example, data that can uniquely identify an object, and is a feature point or a feature of the object in addition to the name, type, etc. of the object.
  • the feature points are, for example, the shape, the color, the brightness, the contour, etc. of the object.
  • the feature amount is, for example, a statistical numerical value such as an average, a variance, or a histogram of pixel values.
  • Such feature points and feature amounts are acquired by performing data communication with an information terminal (not shown) by wireless communication or wired communication.
  • the storage module 30 stores object data (step S11).
  • the flight module 40 starts flight based on a preset flight path (step S12).
  • the flight module 40 flies based on the flight path stored by the storage module 30, an instruction from an information terminal (not shown), and the like.
  • the flight path includes data on flight altitude, latitude, and longitude when the flight itself.
  • the photographing module 41 photographs a photographed image (step S13).
  • step S ⁇ b> 13 the photographing module 41 photographs a photographed image by the photographing device which is directed to the drone 10 in the perpendicular direction. That is, the photographing module 41 photographs the area directly below the drone 10.
  • the analysis module 42 analyzes the photographed image (step S14).
  • step S14 an object or the like appearing in the photographed image is analyzed by analyzing either or both of the feature points or the feature amount of the photographed image.
  • the analysis module 42 compares the object data stored in step S11 with the feature points and feature amounts of the photographed image obtained as a result of the image analysis, and determines whether the object exists in the photographed image. (Step S15). In step S15, the analysis module 42 determines whether or not there is object data that matches the feature point or feature amount of the captured image.
  • step S15 if the analysis module 42 determines that the feature point or feature amount of the captured image does not match the feature point or feature amount of the object as a result of the image analysis (NO in step S15), Determines that the flight module 40 does not exist, and the flight module 40 executes the process of step S12 described above again to continue the flight.
  • step S15 if the analysis module 42 determines that the feature point or feature amount of the captured image matches the feature point or feature amount of the object as a result of the image analysis (YES in step S15), It is determined that an object exists, and the position data acquisition module 21 acquires its current three-dimensional position data (step S16).
  • step S16 the position data acquisition module 21 acquires its own position data from GPS or the like. Further, the position data acquisition module 21 acquires its own flight altitude data from the flight path set in step S12 described above.
  • the position data acquisition module 21 acquires the three-dimensional position data of the drone 10 by acquiring the position data of the drone 10 and the flight altitude data. This makes it possible to obtain three-dimensional position data of the imaging device that has captured an object. This is because the position data of the drone 10 and the position data of the photographing device are substantially the same. That is, the position data acquisition module 21 acquires three-dimensional position data of the imaging device by acquiring three-dimensional position data of the drone 10.
  • the position data acquisition module 21 may acquire its own position data from the flight route currently set for itself.
  • the process of step S16 may be performed at arbitrary timings until it estimates the absolute position of the target which will be described later.
  • the analysis module 42 specifies the position of the object in the captured image (step S17). In step S17, the analysis module 42 identifies the coordinates of the object in the captured image based on the center of the captured image. The specification of the position of the object in the captured image performed by the analysis module 42 may be performed by another method.
  • the photographing module 41 rotates the photographing device toward the position of the target based on the position of the target in the specified photographed image, and tilts the photographing device by a predetermined angle in the direction of the target (step S18).
  • the imaging module 41 tilts the imaging device by a predetermined angle by rotating the imaging device parallel to a straight line indicating the latitude of the imaging device.
  • the photographing module 41 acquires an angle A between the photographing device and the object at this position (step S19).
  • the photographing module 41 obtains, as an angle A, an angle between the reference and a state in which the photographing device faces the object this time based on the state when the photographing device photographs directly below.
  • the angle A corresponds to the angle at which the imaging device is inclined.
  • the calculation module 43 calculates the distance between the drone and the object based on the tangent at the angle A and the flight altitude data acquired by the position data acquisition module 21 (step S20).
  • the estimation module 44 estimates the absolute position of the object based on the calculated distance between the drone and the object and the position data of itself (step S21). In step S21, the estimation module 44 estimates this position based on the latitude of the position data acquired by the position data acquisition module 21 and the calculated distance. That is, since the drone and the object exist on the same longitude, the inference module 44 adds or subtracts the distance calculated from the latitude in the position data of its own (based on the coordinates in the photographed image of the object) The latitude of the object is calculated by judging whether or not to subtract. The inference module 44 infers the absolute position of the object based on the calculated latitude of the object and the longitude of the drone.
  • FIG. 5 is a diagram schematically showing how the inference module 44 estimates the absolute position of the object 100. As shown in FIG. In FIG. 5, the drone 10 is described as estimating the absolute position of the object 100 present on the ground 200.
  • a perpendicular 210 extending from the imaging device to the ground 200, a straight line (hatched line 220) extended from the imaging device toward the object 100, and a straight line connecting the object 100 with a point 240 where the perpendicular 210 and the ground 200 are orthogonal 230) is virtually formed.
  • the angle A at which the imaging module 41 tilts the imaging device means the angle between the perpendicular 210 and the oblique side 220.
  • the values required for the absolute position of the object which the inference module 44 infers this time are the distance D which is the length of the adjacent side 230, the position of the drone 10 and the height H which is the length of the perpendicular 210.
  • the position of the drone 10 can be acquired from the current position in the flight path or position data acquired from GPS or the like.
  • the altitude H can be obtained as well as the position of the drone 10.
  • the distance D can be estimated from the tangent at the angle A (the value of tan A) and the height H from the coordinates at the point 240 (for example, the XY coordinate system). That is, the absolute position of the object 100 is estimated by adding or subtracting the estimated distance D to the value of the X coordinate at the coordinates at the point 240.
  • the inference module 44 infers the elevation of the object (step S22).
  • the estimation module 44 estimates the elevation of the object based on a database in which each position stored in advance by the storage module 30 is associated with the elevation at this position. In this database, the latitude and longitude at each position and the altitude at this latitude and longitude are associated.
  • the estimation module 44 estimates the elevation associated with the absolute position (latitude / longitude) of the object estimated by the process of step S21 described above by referring to this database.
  • the output module 22 outputs the position (latitude / longitude and altitude) of the inferred object and an identifier (name, number, type, etc.) that can uniquely identify the object as inference result data (step S23).
  • the output module 22 may output the estimation result data to an information terminal (not shown) or may output and store the estimation result data to the storage module 30.
  • the object is described on the assumption that it is a still life, but it may be a motion of an animal or the like.
  • the calculation module 43 may be configured to calculate the velocity of the target in addition to the position of the target. That is, assuming that the object is moving at a right angle with respect to the drone 10, the imaging module 41 captures each captured image before and after the movement, and the estimation module 44 determines the position of the object at each time point The calculation module 43 may calculate the velocity of the object based on the distance between these two points and the time between before and after movement.
  • the image analysis processing, various calculation processing, and various estimation processing are executed by the drone 10, it is not necessary for the drone 10 to execute either or both of these processing.
  • the drone 10 may be configured to transmit data necessary for these processes to an information terminal or the like, and the information terminal or the like executes these processes.
  • the above-described position may be estimated for each object.
  • predetermined conditions order of coordinates close to the center of the captured image, order of coordinates far from the center of the captured image, priority order set in advance for each object
  • the position of the object present in the captured image may be estimated in the order of high order and the like.
  • the above-described means and functions are realized by a computer (including a CPU, an information processing device, and various terminals) reading and executing a predetermined program.
  • the program is provided, for example, in the form of being provided from a computer via a network (SaaS: software as a service).
  • the program is provided in the form of being recorded on a computer-readable recording medium such as, for example, a flexible disk, a CD (such as a CD-ROM), and a DVD (such as a DVD-ROM or a DVD-RAM).
  • the computer reads the program from the recording medium, transfers the program to an internal storage device or an external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as, for example, a magnetic disk, an optical disk, or a magneto-optical disk, and may be provided from the storage device to the computer via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Navigation (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】カメラで撮影するだけで、撮影された対象物の絶対的な位置を推測することにより、利便性を向上させたコンピュータシステム、位置推測方法及びプログラムを提供することを目的とする。 【解決手段】コンピュータシステムは、対象物を撮影した画像を取得し、前記対象物を撮影したカメラの3次元の位置データを取得し、前記カメラの3次元の位置データに基づいて、前記対象物の絶対的な位置を推測する。また、コンピュータシステムは、カメラが対象物の方向に所定角度傾けることが可能であり、カメラの3次元の位置データ及び傾けた所定角度に基づいて対象物の絶対的な位置を推測する。また、コンピュータシステムは、対象物の位置と、この位置における高度とを対応付けて記憶し、推測した対象物の位置に対応付けられた高度を推測する。

Description

コンピュータシステム、位置推測方法及びプログラム
 本発明は、対象物を撮影することにより、この対象物の位置を推測するコンピュータシステム、位置推測方法及びプログラムに関する。
 近年、ドローン等により、上空から様々な画像を撮影することが行われている。このような撮影において、この画像に写っている対象物の位置データ(緯度及び経度)を推測するために、ドローンを対象物の上空まで移動させることが行われている。このような位置の推測において、ドローン自体の位置データは、把握しているため、このドローンの位置データを、対象物の位置データとして推測することにより行われる。
 しかしながら、ドローンを対象物まで移動させる手間がかかることから、このような方法とは異なる方法により、対象物の位置データを推測することが求められている。対象物の位置データの推測方法として、例えば、ステレオカメラを用いて対象物を撮影し、撮影画像と、ジャイロセンサにより検出したステレオカメラの傾きとにより、対象物の位置データを推測する構成が知られている(特許文献1参照)。
特開2017-32276
 しかしながら、特許文献1の構成では、対象物をステレオカメラで撮影する必要があることから、ドローン等に取り付ける場合、コストの増大や装置の大型化及び消費電力の増加に伴う飛行時間の減少等の問題があることから利便性が低くなってしまうおそれがあった。
 本発明は、カメラで撮影するだけで、撮影された対象物の絶対的な位置を推測することにより、利便性を向上させたコンピュータシステム、位置推測方法及びプログラムを提供することを目的とする。
 本発明では、以下のような解決手段を提供する。
 本発明は、対象物を撮影した画像を取得する画像取得手段と、
 前記対象物を撮影したカメラの3次元の位置データを取得する位置データ取得手段と、
 前記カメラの3次元の位置データに基づいて、前記対象物の絶対的な位置を推測する位置推測手段と、
 を備えることを特徴とするコンピュータシステムを提供する。
 本発明によれば、コンピュータシステムは、対象物を撮影した画像を取得し、前記対象物を撮影したカメラの3次元の位置データを取得し、前記カメラの3次元の位置データに基づいて、前記対象物の絶対的な位置を推測する。
 本発明は、コンピュータシステムのカテゴリであるが、位置推測法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
 本発明によれば、カメラで撮影するだけで、撮影された対象物の絶対的な位置を推測することにより、利便性を向上させたコンピュータシステム、位置推測方法及びプログラムを提供することが可能となる。
図1は、位置推測システム1の概要を示す図である。 図2は、位置推測システム1の全体構成図である。 図3は、ドローン10の機能ブロック図である。 図4は、ドローン10が実行する位置推測処理を示すフローチャートである。 図5は、ドローン10が実行する対象物の位置推測を模式的に示した図である。
 以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
 [位置推測システム1の概要]
 本発明の好適な実施形態の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態である位置推測システム1の概要を説明するための図である。位置推測システム1は、ドローン10から構成され、所定の飛行高度で飛行し、様々な動画や静止画等の画像を撮影するコンピュータシステムである。
 ドローン10は、動画や静止画等の画像を撮影するカメラ等の撮影装置、撮影装置の傾きを検出するジャイロセンサ、加速度センサ、高度計、風向センサ等の各種センサ、飛行に必要なプロペラや動力等を備える。ドローン10は、予め設定された飛行経路や図示していない情報端末が指定する飛行経路に基づいて飛行する。
 ドローン10は、位置を推測したい対象物に関するデータ(特徴点や特徴量等)を取得し、記憶する。これは、図示していない情報端末から取得してもよいし、ドローン10に、この対象物に関するデータを入力していてもよい。
 なお、ドローン10は、無線接続又は有線接続により、図示していない情報端末と接続されていてもよい。このとき、ドローン10は、情報端末に撮影した画像や、各種センサが検出したデータを送信してもよい。
 はじめに、ドローン10は、予め設定された飛行経路に基づいて飛行するとともに、撮影装置により、自身の直下を撮影する(ステップS01)。この飛行経路には、自身が飛行する飛行高度、経由地及び緯度・経度等が含まれる。
 ドローン10は、撮影装置が撮影した画像を、撮影画像として取得し、取得した撮影画像を画像解析する(ステップS02)。ドローン10は、撮影画像の特徴点又は特徴量の何れか又は双方を解析することにより、撮影画像に含まれる物体等を特定する。特徴点とは、撮影画像に写っている何かであり、具体的には、形状、色、輝度、輪郭等である。また、特徴量とは、撮影画像データから算出した各種数値(画素値の平均、分散、ヒストグラム等)等の統計的な数値である。
 ドローン10は、予め取得した対象物のデータと、画像解析の結果得られた撮影画像における特徴点や特徴量とを比較し、撮影画像における対象物の有無を画像解析により解析する。
 ドローン10は、画像解析の結果、撮影画像に対象物が含まれているか否かを判断する。ドローン10は、対象物が含まれていないと判断した場合、設定された飛行を継続する。一方、ドローン10は、対象物が含まれていると判断した場合、撮影画像における対象物の位置を特定する(ステップS03)。ドローン10は、これらの処理により、対象物を撮影した撮影画像を取得するとともに、その位置を特定する。このとき、ドローン10は、撮影装置の位置データを、自身の位置データ(緯度、経度、飛行高度等)と同一のものとして取得する。上述した処理により、ドローン10は、対象物を撮影した撮影装置の3次元の位置データを取得する。
 ドローン10は、特定した撮影画像内の対象物の位置に基づいて、撮影装置を回転させ、自身の緯度を示す直線に対して、平行に位置させる。ドローン10は、この位置における対象物に対する角度Aを取得する(ステップS04)。角度Aは、撮影装置が直下を撮影する際の角度を基準とし、対象物に対して撮影装置を傾けた角度である。
 ドローン10は、自身の飛行高度と角度Aの正接とに基づいて、対象物の位置を推測する(ステップS05)。ドローン10は、自身と対象物との間の距離を自身の飛行高度と角度Aの正接とに基づいて算出する。加えて、ドローン10は、算出した距離と、自身の位置とに基づいて、対象物の位置を推測する。この処理により、撮影装置の3次元の位置データに基づいて、対象物の絶対的な位置を推測する。
 以上が、位置推測システム1の概要である。
 [位置推測システム1のシステム構成]
 図2に基づいて、本発明の好適な実施形態である位置推測システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である位置推測システム1のシステム構成を示す図である。位置推測システム1は、ドローン10から構成されるコンピュータシステムである。
 ドローン10は、後述の機能を備えた上述した無人飛行機である。
 [各機能の説明]
 図3に基づいて、本発明の好適な実施形態である位置推測システム1の機能について説明する。図3は、ドローン10の機能ブロック図を示す図である。
 ドローン10は、制御部11として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部12として、他の機器と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイスを備える。また、ドローン10は、記憶部13として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、ドローン10は、処理部14として、画像処理、各種計算、自身の位置データの処理、自身が有する撮影装置の制御処理等の各種処理を実行するためのデバイス等を備える。
 ドローン10において、制御部11が所定のプログラムを読み込むことにより、通信部12と協働して、対象物データ取得モジュール20、位置データ取得モジュール21、出力モジュール22を実現する。また、ドローン10において、制御部11が所定のプログラムを読み込むことにより、記憶部13と協働して、記憶モジュール30を実現する。また、ドローン10において、制御部11が所定のプログラムを読み込むことにより、処理部14と協働して飛行モジュール40、撮影モジュール41、解析モジュール42、算出モジュール43、推測モジュール44を実現する。
 [位置推測処理]
 図4に基づいて、位置推測システム1が実行する学習処理について説明する。図4は、ドローン10が実行する位置推測処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
 はじめに、対象物データ取得モジュール20は、対象物に関するデータである対象物データを取得する(ステップS10)。ステップS10において、対象物データ取得モジュール20は、後述するその位置を推測する対象物の対象物データを取得する。対象物データとは、例えば、対象物を一意に特定可能なデータであり、対象物の名称、種類等に加え、対象物の特徴点や特徴量である。特徴点は、例えば、対象物の形状、色、輝度、輪郭等である。また、特徴量は、例えば、画素値の平均、分散、ヒストグラム等の統計的な数値である。このような特徴点や特徴量は、図示してない情報端末と無線通信又は有線通信等によりデータ通信を行うことにより取得する。
 記憶モジュール30は、対象物データを記憶する(ステップS11)。
 飛行モジュール40は、予め設定された飛行経路に基づいて飛行を開始する(ステップS12)。ステップS12において、飛行モジュール40は、記憶モジュール30が記憶する飛行経路や図示していない情報端末からの指示等に基づいて飛行する。このとき、飛行経路には、自身が飛行する際の飛行高度、緯度及び経度に関するデータが含まれる。
 撮影モジュール41は、撮影画像を撮影する(ステップS13)。ステップS13において、撮影モジュール41は、ドローン10に対して、垂直な方向に向いた撮影装置により、撮影画像を撮影する。すなわち、撮影モジュール41は、ドローン10の直下を撮影する。
 解析モジュール42は、撮影画像を画像解析する(ステップS14)。ステップS14において、撮影画像の特徴点又は特徴量の何れか又は双方を解析することにより、撮影画像に写っている物体等を解析する。
 解析モジュール42は、ステップS11において記憶した対象物データと、画像解析の結果として得られた撮影画像の特徴点や特徴量とを比較し、撮影画像内に対象物が存在するか否かを判断する(ステップS15)。ステップS15において、解析モジュール42は、撮影画像の特徴点や特徴量と一致する対象物データが存在するか否かを判断する。
 ステップS15において、解析モジュール42は、画像解析の結果、撮影画像の特徴点や特徴量と、対象物の特徴点や特徴量とが一致していないと判断した場合(ステップS15 NO)、対象物は存在していないと判断し、飛行モジュール40は、上述したステップS12の処理を再度実行し、飛行を継続する。
 一方、ステップS15において、解析モジュール42は、画像解析の結果、撮影画像の特徴点や特徴量と、対象物の特徴点や特徴量とが一致していると判断した場合(ステップS15 YES)、対象物が存在すると判断し、位置データ取得モジュール21は、自身の現在における3次元の位置データを取得する(ステップS16)。ステップS16において、位置データ取得モジュール21は、自身の位置データを、GPS等から取得する。また、位置データ取得モジュール21は、自身の飛行高度データを、上述したステップS12において設定された飛行経路から取得する。位置データ取得モジュール21が、ドローン10の位置データ及び飛行高度データを取得することにより、ドローン10の3次元の位置データを取得することになる。これにより、対象物を撮影した撮影装置の3次元の位置データを取得することが可能となる。これは、ドローン10の位置データと撮影装置の位置データとが略同一であるからである。すなわち、位置データ取得モジュール21は、ドローン10の3次元の位置データを取得することにより、撮影装置の3次元の位置データを取得する。
 なお、位置データ取得モジュール21は、自身の位置データを、自身に現在設定された飛行経路から取得してもよい。なお、ステップS16の処理は、後述する対象物の絶対的な位置を推測するまでの間の任意のタイミングで行われてもよい。
 解析モジュール42は、撮影画像内における対象物の位置を特定する(ステップS17)。ステップS17において、解析モジュール42は、撮影画像の中心を基準として、撮影画像における対象物の座標を把握することにより特定する。なお、解析モジュール42が実行する撮影画像内における対象物の位置の特定は、他の方法により行われてもよい。
 撮影モジュール41は、特定した撮影画像内における対象物の位置に基づいて、この対象物の位置に向けて、撮影装置を回転させ、撮影装置を対象物の方向に所定角度傾ける(ステップS18)。ステップS18において、撮影モジュール41は、撮影装置を、自身の緯度を示す直線に対して、平行な位置に回転させることにより、撮影装置を所定角度傾ける。
 撮影モジュール41は、この位置における撮影装置と対象物との間の角度Aを取得する(ステップS19)。ステップS19において、撮影モジュール41は、撮影装置が直下を撮影する際の状態を基準とし、この基準と、今回撮影装置が対象物に向いた状態との間の角度とを角度Aとして取得する。この角度Aが、撮影装置を傾けた角度に該当する。
 算出モジュール43は、この角度Aにおける正接と、位置データ取得モジュール21が取得した飛行高度データとに基づいて、ドローンと対象物との間の距離を算出する(ステップS20)。
 推測モジュール44は、算出したドローンと対象物との間の距離と、自身の位置データとに基づいて、対象物の絶対的な位置を推測する(ステップS21)。ステップS21において、推測モジュール44は、位置データ取得モジュール21が取得した自身の位置データの緯度と、算出した距離とに基づいてこの位置を推測する。すなわち、推測モジュール44は、ドローンと対象物とが同一経度上に存在することから、自身の位置データにおける緯度から算出した距離を加算又は減算(対象物の撮影画像における座標に基づいて、加算するか減算するのかは判断する)することにより、対象物の緯度を算出する。推測モジュール44は、算出した対象物の緯度と、ドローンの経度とに基づいて、対象物の絶対的な位置を推測する。
 図5に基づいて、推測モジュール44が実行する対象物の絶対的な位置の推測方法について説明する。図5は、推測モジュール44が対象物100の絶対的な位置を推測する方法を模式的に示した図である。図5において、ドローン10は、地面200に存在する対象物100の絶対的な位置を推測するものとして説明する。
 撮影装置から地面200に向けた垂線210、撮影装置から対象物100に向けて伸ばした直線(斜線220)及び垂線210と地面200とが直行する地点240と対象物100とを結ぶ直線(隣辺230)からなる直角三角形を仮想的に形成する。撮影モジュール41が撮影装置を傾けた角度Aとは、垂線210と斜辺220との間の角度を意味する。今回推測モジュール44が推測する対象物の絶対的な位置に必要な値は、隣辺230の長さである距離D、ドローン10の位置及び垂線210の長さである高度Hである。
 まず、ドローン10の位置は、飛行経路における現在地やGPS等から取得した位置データから取得可能である。次に、高度Hも、ドローン10の位置と同様に取得可能である。距離Dは、地点240における座標(例えば、XY座標系)から、角度Aの正接(tanAの値)と高度Hとから推測可能である。すなわち、推測した距離Dを、地点240における座標におけるX座標の値に加算又は減算することにより、対象物100の絶対的な位置を推測する。
 推測モジュール44は、対象物の標高を推測する(ステップS22)。ステップS22において、推測モジュール44は、記憶モジュール30が予め記憶した各位置とこの位置における標高とを対応付けたデータベースに基づいて、対象物の標高を推測する。このデータベースには、各位置における緯度・経度と、この緯度・経度における標高とが対応付けられている。推測モジュール44は、上述したステップS21の処理により推測した対象物の絶対的な位置(緯度・経度)に対応付けられた標高を、このデータベースを参照することにより推測する。
 出力モジュール22は、推測された対象物の位置(緯度・経度及び標高)及びこの対象物を一意に特定可能な識別子(名称、番号、種類等)を推測結果データとして出力する(ステップS23)。ステップS23において、出力モジュール22は、図示していない情報端末に対して、推測結果データを出力してもよいし、記憶モジュール30に対して出力し、記憶させてもよい。
 なお、上述した実施形態において、対象物は、静物である場合を前提として説明しているが、動物等の動きがあるものであってもよい。この場合、算出モジュール43は、対象物の位置に加え、この対象物の速度を算出する構成であってもよい。すなわち、対象物がドローン10に対して直角に動いているものとして、撮影モジュール41が移動前と移動後との其々の撮影画像を撮影し、推測モジュール44は、各時点における対象物の位置を推測し、算出モジュール43は、これらの2点間の距離と、移動前と移動後との間の時間とに基づいて、対象物の速度を算出すればよい。
 以上の処理において、画像解析処理、各種計算処理及び各種推測処理をドローン10が実行しているが、これらの処理の何れか又は双方は、必ずしもドローン10が実行する必要はない。例えば、ドローン10は、これらの処理に必要なデータを情報端末等に送信し、情報端末等がこれらの処理を実行する構成であってもよい。
 また、上述した実施形態において、一の対象物のみが存在する場合を前提として説明しているが、対象物が複数存在する場合であっても、本発明は、問題なく適用可能である。この場合、対象物毎に、上述した位置の推測を行えばよい。具体的には、撮影画像に複数の対象物を特定した場合、所定の条件(撮影画像の中心から近い座標順、撮影画像の中心から遠い座標順、予め対象物毎に設定された優先順位の高い順等)に沿って、撮影画像に存在する対象物の位置の推測を行っていけばよい。
 上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される(SaaS:ソフトウェア・アズ・ア・サービス)形態で提供される。また、プログラムは、例えば、フレキシブルディスク、CD(CD-ROMなど)、DVD(DVD-ROM、DVD-RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
 以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
 1 位置推測システム、10 ドローン

Claims (5)

  1.  対象物を撮影した画像を取得する画像取得手段と、
     前記対象物を撮影したカメラの3次元の位置データを取得する位置データ取得手段と、
     前記カメラの3次元の位置データに基づいて、前記対象物の絶対的な位置を推測する位置推測手段と、
     を備えることを特徴とするコンピュータシステム。
  2.  前記カメラは、前記対象物の方向に自身を所定角度傾けることが可能なカメラであって、
     前記位置推測手段は、前記カメラの3次元の位置データ及び傾けた所定角度に基づいて、前記対象物の絶対的な位置を推測する、
     ことを特徴とする請求項1に記載のコンピュータシステム。
  3.  前記位置と、当該位置における高度とを対応付けて記憶する記憶手段と、
     を備え、
     前記位置推測手段は、推測した前記位置に対応付けられた高度を推測する、
     ことを特徴とする請求項1に記載のコンピュータシステム。
  4.  コンピュータシステムが実行する位置推測方法であって、
     対象物を撮影した画像を取得するステップと、
     前記対象物を撮影したカメラの3次元の位置データを取得するステップと、
     前記カメラの3次元の位置データに基づいて、前記対象物の絶対的な位置を推測するステップと、
     を備えることを特徴とする位置推測方法。
  5.  コンピュータシステムに、
     対象物を撮影した画像を取得するステップ、
     前記対象物を撮影したカメラの3次元の位置データを取得するステップ、
     前記カメラの3次元の位置データに基づいて、前記対象物の絶対的な位置を推測するステップ、
     を実行させるためのコンピュータ読み取り可能なプログラム。
PCT/JP2017/035308 2017-09-28 2017-09-28 コンピュータシステム、位置推測方法及びプログラム WO2019064457A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780095465.1A CN111164377B (zh) 2017-09-28 2017-09-28 计算机系统、位置推测方法以及程序
JP2019545514A JP6775748B2 (ja) 2017-09-28 2017-09-28 コンピュータシステム、位置推測方法及びプログラム
PCT/JP2017/035308 WO2019064457A1 (ja) 2017-09-28 2017-09-28 コンピュータシステム、位置推測方法及びプログラム
US16/651,430 US11361463B2 (en) 2017-09-28 2017-09-28 Position estimation system and method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/035308 WO2019064457A1 (ja) 2017-09-28 2017-09-28 コンピュータシステム、位置推測方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019064457A1 true WO2019064457A1 (ja) 2019-04-04

Family

ID=65901136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035308 WO2019064457A1 (ja) 2017-09-28 2017-09-28 コンピュータシステム、位置推測方法及びプログラム

Country Status (4)

Country Link
US (1) US11361463B2 (ja)
JP (1) JP6775748B2 (ja)
CN (1) CN111164377B (ja)
WO (1) WO2019064457A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI746234B (zh) * 2020-10-29 2021-11-11 仲碩科技股份有限公司 無人直升機對海面目標測距定位的方法
CN113741541B (zh) * 2021-09-28 2024-06-11 广州极飞科技股份有限公司 无人设备飞行控制方法、装置、系统、设备及存储介质
CN116894936A (zh) * 2023-06-20 2023-10-17 北京自动化控制设备研究所 基于无人机视觉的海上目标识别定位方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11166827A (ja) * 1997-10-01 1999-06-22 Seiko Instruments Inc 携帯型高度計およびgps受信装置の電源供給制御方法
JP2000013782A (ja) * 1998-06-22 2000-01-14 Mitsubishi Electric Corp エプロン監視方法及びその装置
JP2008090808A (ja) * 2006-12-27 2008-04-17 Ntt Data Corp 画像補正装置、画像補正方法及びプログラム
WO2015163107A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2016105081A (ja) * 2014-11-19 2016-06-09 首都高技術株式会社 点群データ利用システム
US20170067734A1 (en) * 2015-09-09 2017-03-09 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3560670B2 (ja) * 1995-02-06 2004-09-02 富士通株式会社 適応的認識システム
US8913783B2 (en) * 2009-10-29 2014-12-16 Sri International 3-D model based method for detecting and classifying vehicles in aerial imagery
FI20106090A0 (fi) * 2010-10-21 2010-10-21 Zenrobotics Oy Menetelmä kohdeobjektin kuvien suodattamiseksi robottijärjestelmässä
CN104880177A (zh) 2015-06-23 2015-09-02 赵国梁 一种多角度无人航测系统
US9889932B2 (en) * 2015-07-18 2018-02-13 Tata Consultancy Services Limited Methods and systems for landing of unmanned aerial vehicle
JP6598552B2 (ja) 2015-07-28 2019-10-30 大成建設株式会社 位置計測システム
US10618673B2 (en) * 2016-04-15 2020-04-14 Massachusetts Institute Of Technology Systems and methods for dynamic planning and operation of autonomous systems using image observation and information theory
CN107000832B (zh) 2017-01-19 2019-03-26 深圳市大疆创新科技有限公司 无人机起落架控制方法、装置、无人机及其系统
US11205072B2 (en) * 2018-08-24 2021-12-21 Loveland Innovations, LLC Solar ray mapping via divergent beam modeling
US11402857B2 (en) * 2020-01-30 2022-08-02 Performance Drone Works Llc Unmanned aertial vehicle with rotatable net assembly

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11166827A (ja) * 1997-10-01 1999-06-22 Seiko Instruments Inc 携帯型高度計およびgps受信装置の電源供給制御方法
JP2000013782A (ja) * 1998-06-22 2000-01-14 Mitsubishi Electric Corp エプロン監視方法及びその装置
JP2008090808A (ja) * 2006-12-27 2008-04-17 Ntt Data Corp 画像補正装置、画像補正方法及びプログラム
WO2015163107A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2016105081A (ja) * 2014-11-19 2016-06-09 首都高技術株式会社 点群データ利用システム
US20170067734A1 (en) * 2015-09-09 2017-03-09 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates

Also Published As

Publication number Publication date
US20200311959A1 (en) 2020-10-01
CN111164377B (zh) 2021-08-27
JPWO2019064457A1 (ja) 2020-07-02
JP6775748B2 (ja) 2020-10-28
US11361463B2 (en) 2022-06-14
CN111164377A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
US20210133996A1 (en) Techniques for motion-based automatic image capture
JP6404527B1 (ja) カメラ制御システム、カメラ制御方法、およびプログラム
TW201904643A (zh) 控制裝置、飛行體以及記錄媒體
US10679376B2 (en) Determining a pose of a handheld object
JP6775748B2 (ja) コンピュータシステム、位置推測方法及びプログラム
JP6583840B1 (ja) 検査システム
JP6259959B1 (ja) ドローン制御システム、ドローン制御方法及びプログラム
JP2023100642A (ja) 検査システム
US20190215461A1 (en) System, method, and program for adjusting angle of camera
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
JP6681101B2 (ja) 検査システム
WO2019150418A1 (ja) ドローン、駆除方法及びプログラム
JP6481228B1 (ja) 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
JPWO2018198317A1 (ja) 無人飛行体による空撮システム、方法及びプログラム
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台
WO2021016867A1 (zh) 终端设备及其数据处理方法、无人机及其控制方法
KR102639524B1 (ko) 전자 장치의 지도 병합 방법
JP7363225B2 (ja) 計測装置、計測システム、計測方法およびプログラム
WO2022141123A1 (zh) 可移动平台及其控制方法、装置、终端设备和存储介质
JP7487900B1 (ja) 情報処理方法、情報処理システム及びプログラム
KR102439142B1 (ko) 기간 시설의 이미지를 획득하는 방법 및 장치
JP6681102B2 (ja) 検査システム
EP3904995A1 (en) Localization device
WO2018042551A1 (ja) 不要物除去システム、不要物除去方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17926875

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019545514

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17926875

Country of ref document: EP

Kind code of ref document: A1