WO2020049850A1 - 情報処理装置、情報処理方法、プログラム、および移動装置 - Google Patents

情報処理装置、情報処理方法、プログラム、および移動装置 Download PDF

Info

Publication number
WO2020049850A1
WO2020049850A1 PCT/JP2019/026432 JP2019026432W WO2020049850A1 WO 2020049850 A1 WO2020049850 A1 WO 2020049850A1 JP 2019026432 W JP2019026432 W JP 2019026432W WO 2020049850 A1 WO2020049850 A1 WO 2020049850A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile device
unit
information processing
moving
imaging data
Prior art date
Application number
PCT/JP2019/026432
Other languages
English (en)
French (fr)
Inventor
真人 西尾
雄平 矢部
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/261,577 priority Critical patent/US11995995B2/en
Priority to JP2020541033A priority patent/JPWO2020049850A1/ja
Priority to CN201980055398.XA priority patent/CN112602030A/zh
Publication of WO2020049850A1 publication Critical patent/WO2020049850A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G05D1/1064Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones specially adapted for avoiding collisions with other aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0052Navigation or guidance aids for a single aircraft for cruising
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0078Surveillance aids for monitoring traffic from the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04Anti-collision systems
    • G08G5/045Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Definitions

  • Patent Literature 1 discloses a technique capable of specifying an object in imaging data aerial photographed by an unmanned aerial vehicle and specifying a position of the object.
  • Patent Literature 2 discloses a technique for avoiding a collision between an unmanned aerial vehicle and an obstacle by measuring a distance and a speed of the obstacle.
  • the movement control unit 112 can control the movement (flying) of the own device so as to eliminate a cause that hinders the identification of the direction of the moving device 100b (hereinafter, the flight is referred to as “obstacle avoidance flight”). In some cases).
  • the flight is referred to as “obstacle avoidance flight”.
  • the characteristics of the mobile device 100b using the imaging data are described.
  • the area 10 may not be clearly shown or may be hidden by an obstacle.
  • all or part of the propeller portion and the camera portion, which are the characteristic regions 10 of the mobile device 100b may be hidden by an obstacle ("obstacle" in FIG.
  • the movement control unit 112 moves the position of the own device (movable device) in the front-back direction, the left-right direction, or the up-down direction until the characteristic region 10 of the propeller portion and the camera portion hidden by the obstacle is imaged. And change them in various directions. Accordingly, the movement control unit 112 can easily detect the characteristic region 10 of the moving device 100b used in the processing, and thus can improve the analysis accuracy of the direction of the moving device 100b. Note that this control is merely an example, and the content of control by the movement control unit 112 can be changed as appropriate.
  • the moving device control unit 113 has a functional configuration that controls the movement of the moving device 100b based on the prediction result of the direction or the position of the moving device 100b. For example, when the prediction unit 111d predicts the movement route of the own device and the mobile device 100b and predicts that the own device and the mobile device 100b will collide with each other, the mobile device control unit 113 uses the mobile device 100b based on the prediction result. A collision avoidance flight can be realized. More specifically, the mobile device control unit 113 causes the prediction unit 111d to calculate the travel route of the mobile device 100b capable of avoiding the collision, and controls (moves) the mobile device 100b according to the calculated travel route.
  • the sensor unit 140 has a functional configuration for acquiring various sensor data relating to the surrounding environment of the own device.
  • the sensor unit 140 includes a positioning sensor (a GNSS receiver or a barometric pressure sensor), a gyro sensor, an acceleration sensor, a geomagnetic sensor, a proximity sensor, a microphone, a temperature sensor (such as a thermo sensor), a humidity sensor, an illuminance sensor, a pressure sensor, It has an infrared sensor and the like.
  • the types of sensors included in the sensor unit 140 are not limited to these.
  • each of the sensors included in the sensor unit 140 may be plural. Further, each of these sensors may be provided in an external device other than the own device, and various sensor data may be acquired from the external device.
  • step S1000 the mobile device 100a starts flying based on the control of the movement control unit 112.
  • step S1004 the imaging unit 130 generates imaging data by imaging the mobile device 100b.
  • step S1008 the device specifying unit 111a specifies the mobile device 100b to be captured in the image data by analyzing the image data.
  • the mobile device 100a when the mobile device 100a is hovering and the mobile device 100b is moving by flight, the mobile device 100a changes in the direction and position coordinates of the mobile device 100b and its own device. , The collision avoidance flight by the own device can be performed as shown in FIG.
  • the control device 200 controls the flight of the mobile device 100 in a predetermined airspace. Therefore, as can be seen by comparing FIGS. 2 and 13, the mobile device 100 according to the second embodiment includes the analysis unit 111 (the device identification unit 111a, the position identification unit 111b, the direction identification unit 111c, and the prediction unit 111d). ) And the mobile device controller 113 (in the second embodiment, these functional components are provided in the control device 200).
  • the control unit 210 has a functional configuration that comprehensively controls the overall processing performed by the control device 200.
  • the control unit 210 can control starting and stopping of each functional configuration.
  • the control content of the control unit 210 is not particularly limited.
  • the control unit 210 may control processing (for example, processing by an OS) generally performed in various servers, general-purpose computers, PCs, tablet PCs, and the like.
  • the direction specifying unit 111c may specify the direction of the moving device 100b based on light emitted by the moving device 100b, which is captured in the imaging data. For example, as shown in FIG. 26, when the moving device 100b is a car, the direction identification unit 111c detects light emitted from the headlight of the car, which is the moving device 100b, by analyzing the imaging data, and detects the light. The direction of the optical axis (virtual light beam representative of the light beam) may be specified as the direction of the moving device 100b. Note that the direction specifying unit 111c may use any light as long as the light is emitted from the moving device 100b to specify the direction.
  • Example of hardware configuration In the above, the modified examples according to the present disclosure have been described. Subsequently, an example of a hardware configuration of an information processing device 900 that embodies the mobile device 100 according to the first embodiment or the control device 200 according to the second embodiment will be described with reference to FIG.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls overall operations in the information processing device 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901 and operation parameters.
  • the RAM 903 temporarily stores a program used in the execution of the CPU 901 and parameters that change as appropriate in the execution. These are mutually connected by a host bus 904 including a CPU bus and the like.
  • the functions of the control unit 110 of the mobile device 100 or the control unit 210 of the control device 200 are realized by cooperation of the CPU 901, the ROM 902, and the RAM 903.
  • the direction identification unit which is reflected in the imaging data, identifies the direction of the moving device based on a marker attached to the moving device, The information processing device according to any one of (1) to (6).
  • the information processing device is a movable device, and includes an imaging unit that generates the imaging data, The information processing device according to any one of (1) to (7).
  • the imaging unit that generates the imaging data is provided in an external device that is a movable device, The information processing device according to any one of (1) to (7).
  • the movable device is capable of flying, and the imaging data is generated by aerial photography; The information processing device according to (8) or (9).
  • the mobile device further includes a mobile device control unit that controls the movement of the mobile device based on a prediction result of the orientation or the position of the mobile device, The information processing device according to (13).
  • the moving device control unit by controlling the movement of the moving device based on the prediction result of the orientation or the position of the moving device, to avoid collision between the moving device and another object, The information processing device according to (14).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

撮像データに写る移動装置の向きをより適切に特定することを可能にする。撮像データを取得する取得部(111c)と、前記撮像データを解析することで前記撮像データに写る移動装置の向きを特定する方向特定部(111c)と、を備える、情報処理装置(100)が提供される。

Description

情報処理装置、情報処理方法、プログラム、および移動装置
 本開示は、情報処理装置、情報処理方法、プログラム、および移動装置に関する。
 近年、無人航空機(UAV:Unmanned Aerial Vehicle)を用いるシステム、またはサービスなどが盛んに開発されている。例えば、以下の特許文献1には、無人航空機によって空撮された撮像データに写った物体を特定し、当該物体の位置を特定することができる技術が開示されている。また、特許文献2には、障害物との距離や速度を測定することで、無人航空機と障害物との衝突を回避する技術が開示されている。
特開2017-58831号公報 特表2017-529616号公報
 しかし、特許文献1に開示されている技術によっては、撮像データに写る移動装置の向きを特定することができなかった。また、特許文献2に開示されている技術に関しては、無人航空機の速度または障害物の速度が速い場合などにおいて、単なる距離や速度の測定に加えて障害物の移動方向となる向きを特定し、当該向きも考慮して処理を行った方が、無人航空機と障害物との衝突をより確実かつより迅速に回避することができる場合がある。
 そこで、本開示は上記に鑑みてなされたものであり、本開示は、撮像データに写る移動装置の向きをより適切に特定することが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラム、および移動装置を提供する。
 本開示によれば、撮像データを取得する取得部と、前記撮像データを解析することで前記撮像データに写る移動装置の向きを特定する方向特定部と、を備える、情報処理装置が提供される。
 また、本開示によれば、撮像データを取得することと、前記撮像データを解析することで前記撮像データに写る移動装置の向きを特定することと、を有する、コンピュータにより実行される情報処理方法が提供される。
 また、本開示によれば、撮像データを取得することと、前記撮像データを解析することで前記撮像データに写る移動装置の向きを特定することと、をコンピュータに実現させるためのプログラムが提供される。
 また、本開示によれば、撮像データを生成する撮像部と、前記撮像データを解析することで前記撮像データに写る他の移動装置の向きを特定する情報処理装置に対して、前記撮像データを送信する通信部と、前記情報処理装置による制御に基づいて自装置を移動させる移動制御部と、を備える、移動装置が提供される。
 本開示によれば、撮像データに写る移動装置の向きをより適切に特定することが可能になる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係る情報処理システムのシステム構成例を示す図である。 移動装置100aの機能構成例を示すブロック図である。 移動装置100bの位置および向きの特定方法を説明するための図である。 移動装置100bの位置および向きの特定方法を説明するための図である。 移動装置100bの位置および向きの予測について説明するための図である。 障害物によって移動装置100bの特徴領域10が明確に写らない場合の、移動装置100aによる移動(飛行)制御を説明するための図である。 移動装置100aによる、移動装置100bの位置および向きの特定処理フローの一例を示すフローチャートである。 移動装置100aによる、移動装置100bとの衝突を回避する際の衝突回避飛行に関する処理フローの一例を示すフローチャートである。 移動装置100aによる、移動装置100bとの衝突を回避する際の衝突回避飛行の具体例を示す図である。 移動装置100aによる、移動装置100bとの衝突を回避する際の衝突回避飛行の具体例を示す図である。 移動装置100aによる、移動装置100bとの衝突を回避する際の衝突回避飛行の具体例を示す図である。 本開示の第2の実施形態に係る情報処理システムのシステム構成例を示す図である。 移動装置100の機能構成例を示すブロック図である。 管制装置200の機能構成例を示すブロック図である。 管制装置200による、移動装置100bの位置および向きの特定処理フローの一例を示すフローチャートである。 管制装置200による、移動装置100aと移動装置100bとの衝突を回避する際の衝突回避飛行に関する処理フローの一例を示すフローチャートである。 移動装置100の一種である飛行機の位置および向きの特定方法を説明するための図である。 移動装置100の一種である飛行機の位置および向きの特定方法を説明するための図である。 移動装置100の一種であるヘリコプターの位置および向きの特定方法を説明するための図である。 移動装置100の一種であるヘリコプターの位置および向きの特定方法を説明するための図である。 移動装置100の一種であるグライダーの位置および向きの特定方法を説明するための図である。 移動装置100の一種であるグライダーの位置および向きの特定方法を説明するための図である。 移動装置100の一種である自動車の位置および向きの特定方法を説明するための図である。 移動装置100の一種である自動車の位置および向きの特定方法を説明するための図である。 移動装置100の一種である自動車の位置および向きの特定方法を説明するための図である。 移動装置100が出射する光に基づく移動装置100の向きの特定方法を説明するための図である。 移動装置100の周囲の環境に基づく移動装置100の向きの特定方法を説明するための図である。 移動装置100に付されたマーカに基づく移動装置100の向きの特定方法を説明するための図である。 複数の移動装置100が連携して移動(飛行)する場合の具体例について説明するための図である。 移動装置100または管制装置200のハードウェア構成例を示すブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.第1の実施形態
  1.1.システム構成例
  1.2.移動装置100の機能構成例
  1.3.処理フロー例
 2.第2の実施形態
  2.1.システム構成例
  2.2.移動装置100の機能構成例
  2.3.管制装置200の機能構成例
  2.4.処理フロー例
 3.変形例
  3.1.移動装置100のバリエーション
  3.2.向きの特定方法のバリエーション
 4.備考
 5.ハードウェア構成例
 6.まとめ
  <1.第1の実施形態>
 (1.1.システム構成例)
 まず、図1を参照して、本開示の第1の実施形態に係る情報処理システムのシステム構成例について説明する。図1に示すように、本実施形態に係る情報処理システムは、無人の飛行可能な装置である移動装置100(図1の例では、移動装置100aおよび移動装置100b。以降、単に「移動装置100」と表記した場合には、移動装置100aおよび移動装置100bの両方を指すことに留意されたい)を備える。
 そして、本実施形態に係る情報処理システムは、1以上の移動装置100が自律的に飛行するシステムであることを想定している。なお、本開示が適用されるシステムはこれに限定されない。例えば、本開示は、移動装置100の移動の態様(例えば、移動装置100の向きや位置など)が解析される様々なシステムに適用され得る。より具体的には、本開示は、移動装置100が飛行することなく地上や水上を移動する場合において当該移動装置100の向きや位置を解析するシステムに適用されてもよい。
 本実施形態に係る移動装置100は、撮像データを生成する撮像部130を備える無人の飛行可能な装置であり、情報処理装置でもある。移動装置100は、撮像部130によって生成された撮像データを解析することなどによって自律的に飛行を制御することができる。例えば、移動装置100が飛行している時に、進行方向に障害物が現れた場合、移動装置100は撮像部130によって生成された撮像データを解析することで障害物を認識し衝突を回避するように飛行してもよい(以降、当該飛行を「衝突回避飛行」と呼称する場合がある)。
 また例えば、移動装置100aは、撮像部130によって生成された撮像データを取得し、当該撮像データを解析することで当該撮像データに写る移動装置100bの向きを特定することができる。より具体的に説明すると、移動装置100aは、移動装置100bが移動している方向、移動装置100bが移動可能な方向、または移動装置100bが移動すると予想される方向の少なくともいずれか1つを移動装置100bの向きとして特定する。移動装置100bが移動している方向、移動装置100bが移動可能な方向、または移動装置100bが移動すると予想される方向のそれぞれは、二次元方向でもよいし、三次元方向でもよい。
 移動装置100bの向きの特定方法についてより具体的に説明すると、移動装置100aは、撮像データに写る、移動装置100bの特徴に基づいて移動装置100bの向きを特定することができる。例えば、移動装置100aは、撮像データに写る、移動装置100bのプロペラやカメラなどに基づいて移動装置100bの向きを特定することができる。ここで、向きの特定に用いられるプロペラやカメラなどの部分を「特徴領域10」と呼称する場合もある(換言すると、特徴領域とは、移動装置100bに備えられるプロペラやカメラなどの部分、またはそれらの部分周辺に位置する所定の部分を指す)。移動装置100bの特徴(換言すると特徴領域10)に基づいて移動装置100bの向きを特定する方法の詳細については後述する。
 また、移動装置100aは、撮像データに写る移動装置100bの向きだけでなく、移動装置100bの位置を特定することもできる。より具体的には、移動装置100aは、GNSS(Global Navigation Satelite System)受信機、または気圧センサなどを搭載しており(移動装置100aの位置の特定に使用されるこれらのセンサを「測位センサ」と呼称する場合がある)、これらのセンサによって取得されたセンサデータに基づいて三次元空間における自装置の位置座標を特定することができる。そして、移動装置100aは、撮像部130によって生成された撮像データにおける移動装置100bの位置に基づいて自装置と移動装置100bとの相対的な位置関係を認識することで、移動装置100bの位置座標を特定することができる。
 さらに、移動装置100aは、上記処理によって出力した向きおよび位置(換言すると位置座標)に基づいて未来のある時点での移動装置100bの向きまたは位置を予測することができる。また、移動装置100aは、向きまたは位置の予測結果に基づいて自装置または移動装置100bの移動(本実施形態においては飛行)を制御することができる。これら、移動装置100aの機能の詳細については後述する。
 なお、本実施形態に係る移動装置100は、図1に示すようにマルチコプター型の飛行可能な装置であることを想定しているが、必ずしもこれに限定されない。例えば、移動装置100は、飛行機型の飛行可能な装置(垂直離着陸機(VTOL:Vertical Take-Offand Landing)など)、またはヘリコプタ―型の飛行可能な装置などであってもよい。VTOLは飛行機型とマルチコプター型の両方の特性を有するものである。また、上記のとおり、本実施形態に係る移動装置100は無人の飛行可能な装置であることを想定しているが、必ずしもこれに限定されない。例えば、移動装置100は有人の飛行可能な装置であってもよい。また、移動装置100は、飛行機能を有しない単なる移動可能な装置であってもよい。移動装置100が飛行機能を有しない移動可能な装置である場合の例については「3.変形例」にて詳述する。
 以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図1を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、移動装置100の機能の全部または一部が、他の外部装置によって実現されてもよい。また、移動装置100が飛行可能な装置とは別個の装置であり、ユーザによって飛行可能な装置に装着されることで上記の機能が実現されてもよい。また、移動装置100が撮像部130を備えているのではなく、移動装置100が、別個に備えられた撮像部130(例えばカメラ)と通信することで上記の機能が実現されてもよい。また、移動装置100の台数は特に限定されていない。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。
 (1.2.移動装置100の機能構成例)
 上記では、本実施形態に係る情報処理システムのシステム構成例について説明した。続いて、図2を参照して、移動装置100(図2の例では、移動装置100a)の機能構成例について説明する。
 図2に示すように、移動装置100aは、制御部110と、通信部120と、撮像部130と、センサ部140と、記憶部150と、移動機構160と、を備える。
 (制御部110)
 制御部110は、移動装置100aが行う処理全般を統括的に制御する機能構成である。例えば、制御部110は、各機能構成の起動や停止を制御することができる。なお、制御部110の制御内容は特に限定されない。例えば、制御部110は、各種サーバ、汎用コンピュータ、PC(Personal Computer)、またはタブレットPCなどにおいて一般的に行われる処理(例えばOS(Operating System)による処理など)を制御してもよい。図2に示すように、制御部110は、解析部111と、移動制御部112と、移動装置制御部113と、を備える。
 (解析部111)
 解析部111は、撮像部130によって生成された撮像データ、およびセンサ部140によって取得された各種センサデータを解析する機能構成である。図2に示すように、解析部111は、装置特定部111aと、位置特定部111bと、方向特定部111cと、予測部111dと、を備える。
 (装置特定部111a)
 装置特定部111aは、撮像部130によって生成された撮像データを解析することで、撮像データに写る移動装置100bを特定する機能構成である。例えば、装置特定部111aは、移動装置100bが撮像された撮像データから抽出された移動装置100bの特徴量を予め取得しておく。そして、装置特定部111aは、当該特徴量と、撮像部130によって生成された撮像データから抽出された特徴量と、を比較することで、撮像部130によって生成された撮像データに写る移動装置100bを特定する。複数種類の移動装置100bが存在する場合、装置特定部111aは、それぞれの移動装置100bの特徴量と、撮像部130によって生成された撮像データから抽出された特徴量と、を比較し、最も類似する移動装置100bを探索することで移動装置100bを特定することができる。
 また、移動装置100bが未知の有体物である場合(換言すると、装置特定部111aが移動装置100bの特徴量を予め取得していない場合)、装置特定部111aは外部装置と連携することによって移動装置100bを特定してもよい。例えば、装置特定部111aは、撮像部130によって生成された撮像データに写る有体物の特徴量(または、有体物に関する何らかの情報)を用いてインターネット上で類似する有体物を探索することで移動装置100bを特定してもよい。
 また、撮像データに移動装置100b以外の有体物が写っている場合、装置特定部111aは、当該有体物を特定してもよい。例えば、装置特定部111aは、様々な有体物の特徴量を予め取得しておき、当該特徴量と、撮像データから抽出された特徴量と、を比較することで移動装置100b以外の有体物を特定してもよい。また装置特定部111aは、上記のように、外部装置(例えば、インターネット上のサーバなど)と連携することなどによって移動装置100b以外の有体物を特定してもよい。
 なお、装置特定部111aによる移動装置100bや他の有体物の特定方法は上記に限定されない。例えば、移動装置100b、または移動装置100b以外の有体物が移動装置100aと通信可能なタグ装置などを装着している場合、装置特定部111aは、移動装置100bや他の有体物の識別情報(例えばIDなど)を、通信部120を介してタグ装置から受信することでこれらを特定してもよい。
 (位置特定部111b)
 位置特定部111bは、撮像部130によって生成された撮像データを解析することで、撮像データに写る移動装置100bの位置を特定する機能構成である。より具体的には、センサ部140は、GNSS受信機や気圧センサなどの測位センサを備えており、位置特定部111bは、センサ部140からこれらのセンサデータを取得し解析することで、三次元空間における自装置の位置座標を特定する。
 そして、位置特定部111bは、撮像部130によって生成された撮像データを解析し、撮像データにおける移動装置100bの位置に基づいて自装置と移動装置100bとの相対的な位置関係を認識することで、三次元空間における移動装置100bの位置座標を特定する。ここで、「移動装置100bの位置」は、移動装置100bの特徴(換言すると特徴領域10)に基づいて特定される移動装置100bの重心20の位置であるとするが、必ずしもこれに限定されない。例えば「移動装置100bの位置」は、移動装置100bにおける所定の部分の位置であってもよい。また「移動装置100bの位置座標」とは、所定の点(以降「基準点」と呼称する)を基準としたときに三次元直交座標系(例えばx座標、y座標およびz座標)で表される、移動装置100bの位置の座標であることを想定している。
 ここで、図3および図4を参照して、「移動装置100bの位置」および「移動装置100bの位置座標」について具体的に説明する。図3には、上方向から見たときの移動装置100bが示されている。また図4には、横方向から見たときの移動装置100bが示されている。位置特定部111bは、撮像部130によって生成された撮像データを解析することで、移動装置100b毎に予め決められている特徴領域10(図3および図4の例ではプロペラの特徴領域10aおよびカメラの特徴領域10b)を特定し、当該特徴領域10に基づいて撮像データにおける移動装置100bの重心20の位置を特定する。ここで、移動装置100bが未知の有体物である場合において上記で説明した装置特定部111aが外部装置(例えば、インターネット上のサーバなど)と連携することなどによって移動装置100bを特定した場合、位置特定部111bは、位置の特定処理に用いる特徴領域10に関する情報(移動装置100bにおける特徴領域10の箇所や個数など)を当該外部装置などから取得してもよい。また、法令などによって移動装置100bに備えられるべき装備が定められており当該装備が特徴領域10である場合、位置特定部111bは当該法令などに基づいて特徴領域10を特定してもよい。
 そして、位置特定部111bは、撮像データにおける重心20の位置を、所定の基準点を原点とした場合における三次元直交座標系で表すことで「移動装置100bの位置座標」を特定する。すなわち、位置特定部111bは、図3および図4に示すように三次元直交座標系におけるx座標、y座標およびz座標をそれぞれ算出する。なお、基準点の位置は特に限定されない。例えば、基準点は、本実施形態に係る情報処理システムによって管理される空域における所定の位置に設定されてもよいし、当該空域直下の所定の地点に設定されてもよい。また、「移動装置100bの位置座標」の定義は上記に限定されない。例えば、「移動装置100bの位置座標」は、所定の基準点を原点としたときの三次元斜交座標系で表される座標であってもよい。
 なお上記では、位置特定部111bが測位センサによって取得されたセンサデータに基づいて自装置の位置座標を特定する旨を説明したところ、自装置の位置座標の特定方法はこれに限定されない。例えば、位置座標が特定されている外部装置(他の移動装置100bなどを含む)が存在する場合、位置特定部111bは、当該外部装置の位置座標に基づいて自装置の位置座標を特定してもよい。より具体的には、位置特定部111bは、外部装置が撮像された撮像データを解析し、撮像データにおける外部装置の位置に基づいて自装置と外部装置との相対的な位置関係を認識する。そして、位置特定部111bは、外部装置から提供された当該装置の位置座標と、自装置と外部装置との相対的な位置関係に基づいて三次元空間における自装置の位置座標を特定してもよい。
 (方向特定部111c)
 方向特定部111cは、撮像部130によって生成された撮像データを取得する取得部として機能し、当該撮像データを解析することで、撮像データに写る移動装置100bの向きを特定する機能構成である。より具体的に説明すると、方向特定部111cは、移動装置100bが移動している方向、移動装置100bが移動可能な方向、または移動装置100bが移動すると予想される方向の少なくともいずれか1つを移動装置100bの向きとして特定する。移動装置100bが移動している方向、移動装置100bが移動可能な方向、または移動装置100bが移動すると予想される方向のそれぞれは、二次元方向でもよいし、三次元方向でもよい。ここで「二次元方向」とは、例えば略水平面(図3に示すようなxy平面)における方向でもよいし、略垂直面(図4に示すようなxz平面)における方向でもよいし、必ずしもこれらに限定されない。
 移動装置100bの向きの特定方法についてより具体的に説明すると、方向特定部111cは、移動装置100bの特徴に基づいて向きを特定する。例えば図3および図4に示すように、方向特定部111cは、撮像データを解析することで、移動装置100bに備えられるカメラの特徴領域10bを特定する。そして例えば、方向特定部111cは、位置特定部111bによって特定された移動装置100bの位置座標(移動装置100bの重心20の位置座標)からカメラの特徴領域10b中の点(例えば、カメラの特徴領域10bの中心点など)へ向かう方向の直線を算出し、当該方向を移動装置100bの向きとする。
 そして方向特定部111cは、図3に示すように、xy平面においてx軸と算出した直線とのなす角度θを特定することで、xy平面における移動装置100bの向きを示す。また方向特定部111cは、図4に示すように、xz平面においてx軸と算出した直線とのなす角度θ´を特定することで、xz平面における移動装置100bの向きを示す。なお、方向特定部111cが二次元方向を特定する場合には、例えば図3のxy平面における方向または図4のxz平面における方向のいずれか一方を特定し、三次元方向を特定する場合には、xy平面およびxz平面それぞれの方向を特定する。
 なお、移動装置100bの向きの特定方法は上記に限定されない。例えば、上記の直線の算出にはカメラの特徴領域10b以外の特徴領域10が用いられてもよいし、移動装置100bの位置座標(移動装置100bの重心20の位置座標)以外の点が用いられてもよい。また方向特定部111cは、三次元方向の特定に移動装置100bの位置座標を用いることなく、単に複数の特徴領域10の位置関係に基づいて移動装置100bの向きを特定してもよい。
 また方向特定部111cは、サポートベクターマシンやニューラルネットワークなどの機械学習の手法によって移動装置100bの向きを特定してもよい。例えば、移動装置100bの特徴領域10と向きを紐づけた学習データによって学習が行われた分類器が生成され、その分類器に移動装置100bの特徴領域10が入力されることで向きの特定が行われてもよい。なお、サポートベクターマシンについては、例えば、複数のサポートベクターマシンが組み合わされることで多クラス分類用のサポートベクターマシンモデルが構築され、当該モデルに学習データが入力されることで分類器が生成される。また、ニューラルネットワークについては、多層ニューラルネットワークが構築され、学習データが入力され多層ニューラルネットワークのパラメータの調整が行われることで分類器が生成される。また方向特定部111cは、分類器として人工知能(AI:Artificial Intelligence)などを用いて移動装置100bの向きを特定してもよい。方向特定部111cによる向きの特定方法のバリエーションについては後段にて詳細に説明する。
 (予測部111d)
 予測部111dは、移動装置100bの向きおよび位置に基づいて未来のある時点での移動装置100bの向きまたは位置(換言すると移動経路)を予測する機能構成である。より具体的には、移動装置100bが撮像データ中に移動装置100bをとらえている状態で移動装置100bが移動している場合において、予測部111dは、時刻t=t0の時点と、さらに単位時間Δt後の時点それぞれの移動装置100bの向きおよび位置座標を取得し、それらの平均変化率を算出する。向きおよび位置座標の平均変化率はテンソルとして表されることができ、予測部111dは、当該テンソルを所定の方法で解析することによって、未来のある時点での移動装置100bの向きまたは位置を予測することができる。「所定の方法」とは、例えば、テンソルの時系列解析が可能な機械学習(または人工知能)ライブラリーに対してテンソルを入力することを含むが、これに限定されない。なお、予測部111dは、複数の移動装置100bの向きまたは位置を予測してもよい。また、予測部111dは、上記の方法を用いて自装置の向きまたは位置を予測してもよい。より具体的には、予測部111dは、テンソルとして表された、自装置の向きおよび位置座標の平均変化率を所定の方法で解析することによって、未来のある時点での自装置の向きまたは位置を予測してもよい。
 予測部111dは、このように移動装置100bの位置座標だけでなく向きも考慮して予測を行うことで、より短時間に高い精度の予測を実現することができる。例えば図5に示すように、移動装置100bが、ある方向を向いた状態でホバリングしている場合、予測部111dは、移動装置100bの向きに対して逆方向に進む可能性を排除し、移動装置100bが向いている方向の経路を移動装置100bの予測経路とすることができる。一方、移動装置100bの位置座標のみに基づいて予測が行われる場合、移動装置100bの向きに対して逆方向に進む可能性を排除することができないし、移動装置100bが相当程度飛行しなければ精度の高い予測を行うことができない。以上によって、予測部111dは、移動装置100bの位置座標だけでなく向きも考慮して予測を行うことで、より短時間に高い精度の予測を実現することができる。
 (移動制御部112)
 移動制御部112は、自装置の移動(本実施形態においては飛行)を制御する機能構成である。例えば、解析部111が撮像部130によって生成された撮像データまたはセンサ部140によって取得された各種センサデータを解析した場合、移動制御部112は、この解析結果に基づいて移動機構160を制御する制御情報を生成し、当該情報を移動機構160に提供する。例えば、解析の結果、自装置の進行方向に障害物が検出された場合、移動制御部112は、検出された障害物の形状や動作などに基づいて衝突回避飛行を制御することができる。
 また、予測部111dが自装置の向きまたは位置を予測した場合、移動制御部112は、この予測結果に基づいて自装置の移動(飛行)を制御してもよい。例えば、予測部111dが自装置と移動装置100bの移動経路を予測し、自装置と移動装置100bが互いに衝突すると予測した場合、移動制御部112は、この予測結果に基づいて自装置による衝突回避飛行を実現することができる。より具体的には、移動制御部112は、衝突を回避可能な自装置の移動経路を予測部111dに計算させ、計算された移動経路に従って、自装置を移動(飛行)させる制御情報を生成する。そして、移動制御部112は、当該情報を移動機構160に提供することで自装置による衝突回避飛行を実現することができる。
 また、移動制御部112は、移動装置100bの向きの特定を妨げる原因を除去するように自装置の移動(飛行)を制御することができる(以降、当該飛行を「障害回避飛行」と呼称する場合がある)。例えば、逆光のなかで撮像が行われた場合、影がある領域の撮像が行われた場合、または障害物の多い場所で撮像が行われた場合などにおいて、撮像データにて移動装置100bの特徴領域10が明確に写らなかったり、障害物に隠れたりすることがある。例えば図6に示すように、移動装置100bの特徴領域10であるプロペラ部分やカメラ部分の全部または一部が障害物で隠れる場合がある(図6における「障害物」は、逆光によって白飛びが発生した領域でもよいし、影がある領域でもよい)。この場合、移動制御部112は、障害物に隠れているプロペラ部分およびカメラ部分の特徴領域10が撮像されるまで、自装置(移動可能な装置)の位置を前後方向、左右方向、または上下方向など様々な方向に変更させる。これによって移動制御部112は、処理に用いられる移動装置100bの特徴領域10が検出され易くすることができるため、移動装置100bの向きの解析精度を向上させることができる。なお、当該制御はあくまで一例であり、移動制御部112による制御内容は適宜変更され得る。
 (移動装置制御部113)
 移動装置制御部113は、移動装置100bの向きまたは位置の予測結果に基づいて移動装置100bの移動を制御する機能構成である。例えば、予測部111dが自装置と移動装置100bの移動経路を予測し、自装置と移動装置100bが互いに衝突すると予測した場合、移動装置制御部113は、この予測結果に基づいて移動装置100bによる衝突回避飛行を実現することができる。より具体的には、移動装置制御部113は、衝突を回避可能な移動装置100bの移動経路を予測部111dに計算させ、計算された移動経路に従って、移動装置100bを移動(飛行)させる制御情報を生成する。そして、移動装置制御部113は、通信部120を介して当該制御情報を移動装置100bに対して提供することで移動装置100bによる衝突回避飛行を実現することができる。なお、自装置のみの衝突回避飛行によって適切に衝突が回避可能な場合などにおいては、移動装置制御部113は備えられなくてもよい。
 (通信部120)
 通信部120は、外部装置との通信を行う機能構成である。例えば、通信部120は、移動装置100bの制御に用いられる制御情報を移動装置100bに対して送信する。なお、通信部120が通信する情報の内容はこれに限定されない。例えば、通信部120は、自装置の解析部111による解析結果など(例えば、自装置や移動装置100bの向きや位置座標など)を移動装置100bに対して送信してもよいし、逆に移動装置100bによる解析結果などを移動装置100bから受信してもよい。これによって、移動装置100aおよび移動装置100bによる分散処理が実現され得る。また、通信部120が通信に用いる通信方式は特に限定されない。
 (撮像部130)
 撮像部130は、撮像処理を行うことで撮像データを生成する機能構成である(なお、撮像部130は撮像データを取得する取得部として扱われてもよい)。より具体的には、撮像部130は、移動装置100bまたはその周辺の環境を撮像することで撮像データを生成する。特に、方向特定部111cが移動装置100bの向いている三次元方向を特定する場合、撮像部130は、例えばステレオカメラのように、三次元画像データの生成に用いられる撮像データ(Depthデータなども含む)を生成できる構成である。
 撮像部130によって生成される「撮像データ」は、静止画データ、動画データ、または像として視覚化されていない測定値を含む概念である。また、「撮像データ」は、RGBカメラによって取得されたものでもよいし、赤外線カメラなどのようにRGB以外の波長帯域の光を検出可能なイメージセンサによって取得されたものでもよい。
 撮像部130は、撮像レンズ、絞り、ズームレンズ、およびフォーカスレンズなどにより構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイなどを各々備えている。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
 本実施形態のように移動装置100aが飛行可能である場合、撮像部130の撮像レンズは、空撮を行うことができるように地表方向に向けられた状態で設置されている。なお、撮像部130の各部材(撮像レンズなど)の設置態様はこれに限定されず、撮像部130の各部材は、撮像方向を変更可能な態様で設置されていてもよい。
 (センサ部140)
 センサ部140は、自装置の周辺環境に関する各種センサデータを取得する機能構成である。例えばセンサ部140は、測位センサ(GNSS受信機や気圧センサなど)、ジャイロセンサ、加速度センサ、地磁気センサ、近接センサ、マイクロホン、温度センサ(例えばサーモセンサなど)、湿度センサ、照度センサ、圧力センサ、赤外線センサなどを備えている。なお、センサ部140が備えるセンサの種類はこれらに限定されない。また、センサ部140が備える各センサはそれぞれ複数あってもよい。また、これらの各センサが自装置以外の外部装置に備えられており、各種センサデータは外部装置から取得されてもよい。
 (記憶部150)
 記憶部150は、各種情報を記憶する機能構成である。例えば、記憶部150は、解析部111による解析処理に用いられる情報(例えば撮像データ、各種センサデータ、移動装置100bの特徴量、または基準点などの情報)や、解析部111によって出力された情報など(例えば移動装置100bの向き、または位置座標など)を記憶する。また、記憶部150は、各機能構成によって処理に用いられるプログラムやパラメータなども記憶する。なお、記憶部150によって記憶される情報はこれらに限定されない。
 (移動機構160)
 移動機構160は、自装置を移動(本実施形態においては飛行)させるための機構であり、例えば、アクチュエータ、モータ、またはプロペラなどを含む。移動機構160は、移動制御部112から提供された制御情報に従って駆動し、自装置を移動(飛行)させる。
 以上、移動装置100(図2の例では、移動装置100a)の機能構成例について説明した。なお、図2を用いて説明した上記の機能構成はあくまで一例であり、移動装置100aの機能構成は係る例に限定されない。より具体的には、移動装置100aは、図2に示す構成の全てを必ずしも備えなくてもよい。また、移動装置100aの機能構成は、仕様や運用に応じて柔軟に変形可能である。
 また、移動装置100b(換言すると、移動装置100aによって向きや位置座標を特定される装置)は、必ずしも移動装置100aと同一の機能構成を備えていなくてもよい。より具体的には、移動装置100bは、移動装置100aが移動装置100bの向きを特定するに足りる特徴を備えていれば、必ずしも移動装置100aと同一の機能構成を備えていなくてもよい。
 (1.3.処理フロー例)
 上記では、移動装置100の機能構成例について説明した。続いて、移動装置100による処理フロー例について説明する。
 (移動装置100bの向きおよび位置座標の特定処理フロー)
 まず図7を参照して、移動装置100aによる、移動装置100bの向きおよび位置座標の特定処理フローについて説明する。
 ステップS1000では、移動装置100aが移動制御部112による制御に基づいて飛行を開始する。ステップS1004では、撮像部130が移動装置100bを撮像することで撮像データを生成する。ステップS1008では、装置特定部111aが、撮像データを解析することで撮像データに写る移動装置100bを特定する。
 ステップS1012では、位置特定部111bおよび方向特定部111cが撮像データを解析することで移動装置100bの特徴領域10(例えば、プロペラ部分やカメラ部分など)の抽出を試みる。移動装置100bの特徴領域10の抽出に成功しなかった場合(ステップS1016/No)、ステップS1020にて、移動制御部112が障害回避飛行を実現する。例えば、移動制御部112は、自装置(移動可能な装置)の位置を前後方向、左右方向、または上下方向など様々な方向に変更させて、移動装置100bの特徴領域10の抽出を試みる(ステップS1020)。
 移動装置100bの特徴領域10の抽出に成功した場合(ステップS1016/Yes)、ステップS1024にて、位置特定部111bが移動装置100bの特徴領域10に基づいて撮像データにおける移動装置100bの重心20の位置を特定する。ステップS1028では、位置特定部111bが、撮像データにおける移動装置100bの重心20の位置に基づいて移動装置100bの位置座標を特定する。より具体的には、位置特定部111bは、撮像データにおける移動装置100bの重心20の位置を、所定の基準点を原点とした場合における三次元直交座標系で表すことで移動装置100bの位置座標を特定する。
 移動装置100bの位置座標の特定処理と並行して、ステップS1032にて、方向特定部111cが移動装置100bの特徴領域10に基づいて移動装置100bの向きを特定する。例えば、方向特定部111cは、位置特定部111bによって特定された移動装置100bの位置座標(移動装置100bの重心20の位置座標)からカメラの特徴領域10b中の点(例えば、カメラの特徴領域10bの中心点など)へ向かう方向の直線を算出し、当該方向を移動装置100bの向きとして特定したり、単に複数の特徴領域10の位置関係に基づいて移動装置100bの向きを特定したりする。
 そして、ステップS1036にて記憶部150が移動装置100bの向きおよび位置座標を記憶し、一連の処理が終了する。移動装置100aは、飛行している間において、図7を参照して説明した処理を繰り返すことで、1以上の移動装置100bそれぞれの向きおよび位置座標を記憶(更新)していく。なお、移動装置100aは、移動装置100bの向きまたは位置座標のいずれか一方を特定できなかった場合、残りの一方のみを記憶(更新)してもよい。
 (衝突回避飛行に関する処理フロー)
 続いて、図8を参照して、移動装置100aが自装置と移動装置100bとの衝突を回避する際の衝突回避飛行に関する処理フロー例について説明する。
 ステップS1100では、移動装置100aの予測部111dが、移動装置100bおよび自装置の向きおよび位置座標を記憶部150から取得する。ステップS1104では、予測部111dが移動装置100bおよび自装置の向きおよび位置座標の変化に基づいて移動装置100bおよび自装置の移動経路を予測する。
 そして、予測部111dが、移動経路の予測結果に基づいて単位時間Δt以内に移動装置100bおよび自装置が衝突すると予測した場合(ステップS1108/Yes)、ステップS1112にて、予測部111dは、衝突を回避可能な移動装置100bまたは自装置の移動経路を計算する。ステップS1116では、予測部111dによって計算された移動経路に従って、移動制御部112が自装置による衝突回避飛行を実施するか、または、移動装置制御部113が衝突回避飛行を移動装置100bに指示する(換言すると、移動装置制御部113が、移動装置100bに対して衝突回避飛行を指示する制御情報を提供する)。移動装置100aは、飛行している間において、図8を参照して説明した処理を繰り返すことによって、自装置と移動装置100bとの衝突を回避する。
 図8を参照して説明した処理によって、様々な状況における移動装置100aと移動装置100bとの衝突が回避される。例えば、図9のAに示すように、移動装置100aが飛行により移動しており移動装置100bがホバリングしている場合において、移動装置100aは、移動装置100bおよび自装置の向きおよび位置座標の変化に基づいて、図9のBに示すように自装置による衝突回避飛行を行うことができる。
 また、図10のAに示すように、移動装置100aがホバリングしており移動装置100bが飛行により移動している場合において、移動装置100aは、移動装置100bおよび自装置の向きおよび位置座標の変化に基づいて、図10のBに示すように自装置による衝突回避飛行を行うことができる。
 また、図11のAに示すように、移動装置100aおよび移動装置100bが互いに飛行により移動している場合において、移動装置100aは、移動装置100bおよび自装置の向きおよび位置座標の変化に基づいて、図11のBに示すように自装置による衝突回避飛行を行うことができる。もちろん図9~図11において、移動装置100bも、自らの制御または移動装置100aによる制御に基づいて衝突回避飛行を行ってもよい。
 <2.第2の実施形態>
 (2.1.システム構成例)
 上記では、本開示の第1の実施形態について説明した。続いて、本開示の第2の実施形態について説明する。
 図12は、第2の実施形態に係るシステム構成例を示す図である。図12に示すように、第2の実施形態に係る情報処理システムは、無人の飛行可能な装置である移動装置100(図12の例では、移動装置100aおよび移動装置100b)と、管制装置200と、を備える。そして、第1の実施形態では、移動装置100が自律的に飛行していたところ、第2の実施形態では、所定の空域においては移動装置100が管制装置200と通信を行うことで管制装置200による制御を受けて飛行する。なお図12では、管制装置200は、移動装置100aおよび移動装置100bと通信を行うことで移動装置100aおよび移動装置100bによる飛行を制御しているが、管制装置200は、移動装置100aまたは移動装置100bのいずれか一方と通信を行うことで、いずれか一方による飛行を制御してもよい。
 なお、第2の実施形態において、管制装置200は、移動可能な装置である移動装置100(外部装置)に備えられる撮像部130によって生成された撮像データを解析することで移動装置100の飛行を制御する。なお、管制装置200の種類は特に限定されない。
 (2.2.移動装置100の機能構成例)
 上記では、第2の実施形態に係る情報処理システムのシステム構成例について説明した。続いて、図13を参照して、第2の実施形態に係る移動装置100(移動装置100aまたは移動装置100b)の機能構成例について説明する。図13は、第2の実施形態に係る移動装置100の機能構成例を示すブロック図である。
 第2の実施形態においては、所定の空域において管制装置200が移動装置100の飛行を制御する。したがって図2と図13とを比較して分かるように、第2の実施形態に係る移動装置100は、解析部111(装置特定部111a、位置特定部111b、方向特定部111c、および予測部111dを含む)と、移動装置制御部113と、を備えていなくてもよい(第2の実施形態において、これらの機能構成は管制装置200に備えられている)。
 そして、通信部120は、撮像部130によって生成された撮像データや、センサ部140によって取得された各種センサデータを管制装置200に対して送信し、これらのデータの解析に基づいて生成された各種情報(例えば、制御情報など)を管制装置200から受信する。また、移動制御部112は、管制装置200から受信された制御情報を移動機構160に提供することで自装置の移動(飛行)を制御する。なお、その他の機能構成については、上記で説明した第1の実施形態に係る機能構成と同様であり得るため説明を省略する。
 (2.3.管制装置200の機能構成例)
 続いて、図14を参照して、第2の実施形態に係る管制装置200の機能構成例について説明する。図14は、第2の実施形態に係る管制装置200の機能構成例を示すブロック図である。
 図14に示すように、管制装置200は、制御部210と、通信部220と、記憶部230と、を備える。
 (制御部210)
 制御部210は、管制装置200が行う処理全般を統括的に制御する機能構成である。例えば、制御部210は、各機能構成の起動や停止を制御することができる。なお、制御部210の制御内容は特に限定されない。例えば、制御部210は、各種サーバ、汎用コンピュータ、PC、またはタブレットPCなどにおいて一般的に行われる処理(例えばOSによる処理など)を制御してもよい。
 図14に示すように、制御部210は、解析部211(装置特定部211a、位置特定部211b、方向特定部211c、および予測部211dを含む)と、移動装置制御部213と、を備える。これらの機能構成は、第1の実施形態に係る移動装置100が備えていた解析部111(装置特定部111a、位置特定部111b、方向特定部111c、および予測部111dを含む)と、移動装置制御部113と同様であり得るため説明を省略する。すなわち、解析部211は、移動装置100から提供された撮像データなどを解析することで移動装置100の向きや位置座標を特定し、未来のある時点での移動装置100の向きまたは位置座標(換言すると移動経路)を予測する。そして、移動装置制御部213は、移動装置100の向きまたは位置座標の予測結果に基づいて移動装置100の移動(飛行)を制御するための制御情報を生成する。
 (通信部220)
 通信部220は、外部装置との通信を行う機能構成である。例えば、通信部220は、移動装置100によって取得された撮像データや各種センサデータを移動装置100から受信する。そして、通信部220は、移動装置制御部213によって生成された制御情報を移動装置100に対して送信する。なお、通信部220が通信する情報の内容はこれに限定されない。また、通信部220が通信に用いる通信方式は特に限定されない。
 (記憶部230)
 記憶部230は、各種情報を記憶する機能構成である。例えば、記憶部230は、解析部211による解析処理に用いられる情報(例えば撮像データ、各種センサデータ、移動装置100の特徴量、または基準点などの情報)や、解析部211によって出力された情報など(例えば各移動装置100の向き、または位置座標など)を記憶する。また、記憶部230は、各機能構成によって処理に用いられるプログラムやパラメータなども記憶する。なお、記憶部230によって記憶される情報はこれらに限定されない。
 以上、第2の実施形態に係る移動装置100および管制装置200の機能構成例について説明した。なお、図13および図14を用いて説明した上記の機能構成はあくまで一例であり、第2の実施形態に係る移動装置100および管制装置200の機能構成は係る例に限定されない。より具体的には、第2の実施形態に係る移動装置100および管制装置200は、図13および図14に示す構成の全てを必ずしも備えなくてもよい。また、移動装置100の機能の一部が管制装置200によって実現されてもよいし、逆に管制装置200の機能の一部が移動装置100によって実現されてもよい。このように、第2の実施形態に係る移動装置100および管制装置200の機能構成は、仕様や運用に応じて柔軟に変形可能である。
 (2.4.処理フロー例)
 上記では、第2の実施形態に係る移動装置100および管制装置200の機能構成例について説明した。続いて、第2の実施形態に係る移動装置100および管制装置200の処理フロー例について説明する。
 (移動装置100bの向きおよび位置座標の特定処理フロー)
 まず図15を参照して、管制装置200による、移動装置100bの向きおよび位置座標の特定処理フローについて説明する。
 ステップS1200では、移動装置100aが移動制御部112による制御に基づいて飛行を開始する。ステップS1204では、撮像部130が移動装置100bを撮像することで撮像データを生成する。ステップS1208では、通信部120が撮像データを管制装置200に対して送信する。ステップS1212では、管制装置200の装置特定部211aが、撮像データを解析することで撮像データに写る移動装置100bを特定する。
 ステップS1216では、位置特定部211bおよび方向特定部211cが撮像データを解析することで移動装置100bの特徴領域10(例えば、プロペラ部分やカメラ部分など)の抽出を試みる。移動装置100bの特徴領域10の抽出に成功しなかった場合(ステップS1220/No)、ステップS1224にて、移動装置制御部213が移動装置100aの飛行を制御するための制御情報を生成し、通信部220が当該制御情報を移動装置100aに対して送信する。ステップS1228では、移動装置100aの移動制御部112が当該制御情報を用いて障害回避飛行を実現する。例えば、移動制御部112は、自装置(移動可能な装置)の位置を前後方向、左右方向、または上下方向など様々な方向に変更させて、移動装置100bの特徴領域10の抽出を試みる(ステップS1228)。
 移動装置100bの特徴領域10の抽出に成功した場合(ステップS1220/Yes)、ステップS1232にて、管制装置200の位置特定部211bおよび方向特定部211cが移動装置100bの向きおよび位置座標を特定する。より具体的には、位置特定部211bは、移動装置100bの特徴領域10に基づいて撮像データにおける移動装置100bの重心20の位置を特定し、当該位置を、所定の基準点を原点とした場合における三次元直交座標系で表すことで移動装置100bの位置座標を特定する。そして、方向特定部211cは、位置特定部111bによって特定された移動装置100bの位置座標(移動装置100bの重心20の位置座標)からカメラの特徴領域10b中の点(例えば、カメラの特徴領域10bの中心点など)へ向かう方向の直線を算出し、当該方向を移動装置100bの向きとして特定したり、単に複数の特徴領域10の位置関係に基づいて移動装置100bの向きを特定したりする。
 そして、ステップS1236にて記憶部230が移動装置100bの向きおよび位置座標を記憶し、一連の処理が終了する。管制装置200は、移動装置100aが飛行している間において、図15を参照して説明した処理を繰り返すことで、1以上の移動装置100bそれぞれの向きおよび位置座標を記憶(更新)していく。なお、管制装置200は、移動装置100bの向きまたは位置座標のいずれか一方を特定できなかった場合、残りの一方のみを記憶(更新)してもよい。
 (衝突回避飛行に関する処理フロー)
 続いて、図16を参照して、移動装置100aと移動装置100bとの衝突を回避する際の衝突回避飛行に関する処理フロー例について説明する。
 ステップS1300では、管制装置200の予測部211dが、移動装置100aおよび移動装置100bの向きおよび位置座標を記憶部230から取得する。ステップS1304では、予測部111dが移動装置100aおよび移動装置100bの向きおよび位置座標の変化に基づいて移動装置100aおよび移動装置100bの移動経路を予測する。
 そして、予測部111dが、移動経路の予測結果に基づいて単位時間Δt以内に移動装置100aおよび移動装置100bが衝突すると予測した場合(ステップS1308/Yes)、ステップS1312にて、予測部111dは、衝突を回避可能な移動装置100aまたは移動装置100bの移動経路を計算する。ステップS1316では、移動装置制御部213が、例えば移動装置100aの飛行を制御するための制御情報を生成し、通信部220が当該制御情報を移動装置100aに対して送信する。ステップS1320では、移動装置100aの移動制御部112が当該制御情報を用いて衝突回避飛行を実現し、一連の処理が終了する。
 なお、管制装置200は、移動装置100aではなく移動装置100bによる衝突回避飛行を実現してもよい。管制装置200は、移動装置100aおよび移動装置100bが飛行している間において、図16を参照して説明した処理を繰り返すことで、これらが衝突することを防ぐ。
  <3.変形例>
 (3.1.移動装置100のバリエーション)
 上記では、本開示の第2の実施形態について説明した。続いて、本開示に係る変形例として、移動装置100のバリエーションについて説明する。なお、以降では、第1の実施形態の構成に変形例が適用された場合を一例として説明する。例えば、位置座標および向きの特定は移動装置100の位置特定部111bおよび方向特定部111cによって実現されるとする。もちろん、第2の実施形態の構成に変形例が適用されてもよい。
 上記の実施形態では、マルチコプター型の飛行可能な装置である移動装置100が一例として用いられていたところ、移動装置100は、マルチコプター型以外の飛行可能な装置であってもよい。例えば、図17および図18に示すように、移動装置100は飛行機であってもよい。このとき、移動装置100aの位置特定部111bおよび方向特定部111cは、図17および図18に示すように、機首の特徴領域10c、主翼の特徴領域10d、水平尾翼の特徴領域10e、および垂直尾翼の特徴領域10fに基づいて移動装置100bの位置座標(移動装置100bの重心20)および向き(図17に示すxy平面における角度θ、図18に示すxz平面における角度θ´)を特定することができる。
 また、図19および図20に示すように、移動装置100はヘリコプターであってもよい。このとき、移動装置100aの位置特定部111bおよび方向特定部111cは、図19および図20に示すように、機首の特徴領域10g、水平尾翼の特徴領域10h、および垂直尾翼の特徴領域10iに基づいて移動装置100bの位置座標(移動装置100bの重心20)および向き(図19に示すxy平面における角度θ、図20に示すxz平面における角度θ´)を特定することができる。
 また、図21および図22に示すように、移動装置100はグライダー(または滑空機。動力を用いない固定翼の航空機)であってもよい。このとき、移動装置100aの位置特定部111bおよび方向特定部111cは、図21および図22に示すように、機首の特徴領域10j、主翼の特徴領域10k、および尾翼の特徴領域10lに基づいて移動装置100bの位置座標(移動装置100bの重心20)および向き(図21に示すxy平面における角度θ、図22に示すxz平面における角度θ´)を特定することができる。
 また、移動装置100は(飛行できない)移動可能な装置であってもよい。例えば図23~図25に示すように、移動装置100は自動車であってもよい。このとき、移動装置100aの位置特定部111bおよび方向特定部111cは、図23~図25に示すように、ヘッドライトの特徴領域10m、前方ナンバープレートの特徴領域10n、前輪の特徴領域10o、ハンドルの特徴領域10p、ドアミラーの特徴領域10q、テールライトの特徴領域10r、後方ナンバープレートの特徴領域10s、後輪の特徴領域10t、およびマフラーの特徴領域10uに基づいて移動装置100bの位置座標(移動装置100bの重心20)および向き(xy平面における角度θ、図25に示すxz平面における角度θ´)を特定することができる。
 なお、移動装置100は、自動車以外にも例えば、バイク、自転車、線路上を走行する鉄道車両、水上を進行する船舶、家電製品(例えば、自律的に移動する掃除機など)、またはロボットなど(例えば、人型ロボットや自律搬送ロボットなど)であってもよい。
 また、第1の実施形態(移動装置100が自律的に移動するシステム)においても第2の実施形態(移動装置100が管制装置200による制御を受けて移動するシステム)においても、複数の移動装置100が存在する場合、それぞれの種類が互いに異なっていてもよい。例えば、移動装置100aと移動装置100bが存在する場合、移動装置100aおよび移動装置100bの両方が飛行可能な装置、両方が飛行機能を有しない単なる移動可能な装置、または片方のみが飛行可能な装置であり残りの片方が飛行機能を有しない単なる移動可能な装置であってもよい。
 (3.2.向きの特定方法のバリエーション)
 続いて、移動装置100による向きの特定方法のバリエーションについて説明する。
 上記の実施形態では、移動装置100aの方向特定部111cが、撮像データに写る、移動装置100bの特徴(特徴領域10)に基づいて移動装置100bの向きを特定する旨を説明したところ、方向特定部111cは移動装置100bの特徴以外に基づいて移動装置100bの向きを特定してもよい。
 例えば、方向特定部111cは、撮像データに写る、移動装置100bによって出射された光に基づいて移動装置100bの向きを特定してもよい。例えば図26に示すように移動装置100bが自動車である場合、方向特定部111cは、撮像データを解析することで移動装置100bである自動車のヘッドライドから出射された光を検出し、当該光の光軸(光束の代表となる仮想的な光線)の方向を移動装置100bの向きとして特定してもよい。なお、方向特定部111cは、移動装置100bから出射される光であれば如何なる光を向きの特定に用いてもよい。
 また、方向特定部111cは、撮像データに写る、移動装置100bの周囲の環境に基づいて移動装置100bの向きを特定してもよい。例えば図27に示すように移動装置100bが自動車である場合、移動装置100aの方向特定部111cは、撮像データを解析することで移動装置100bが位置する道路状況を認識し、当該道路状況において移動装置100bが進行可能な方向を移動装置100bの向きとして特定してもよい。また例えば、移動装置100bが鉄道車両である場合、方向特定部111cは、撮像データを解析することで移動装置100bが位置する線路状況を認識し、当該線路状況において移動装置100bが進行可能な方向を移動装置100bの向きとして特定してもよい。また、ある移動装置100bの向きが特定されている場合、方向特定部111cは、当該移動装置100bの向きを、当該移動装置100b付近に位置する他の移動装置100bの向きとしてもよい。互いに近傍に位置する複数の移動装置100bが略同一の向きを向いている場合(例えば、複数の移動装置100bが整列している場合など)には、方向特定部111cは、当該方法によってより効率的に複数の移動装置100bの向きを特定することができる。また、移動装置100bが水上を進行する船舶である場合、方向特定部111cは、移動装置100bの進行によって形成される波の形状に基づいて移動装置100bの向きを特定してもよい。また、移動装置100bが飛行機などの航空機である場合、方向特定部111cは、移動装置100bの進行によって形成される雲(飛行機雲など)の形状に基づいて移動装置100bの向きを特定してもよい。また、移動装置100bが自動車やバイクなどの有人の移動可能な装置である場合、方向特定部111cは、移動装置100bに乗っている人の顔の向きに基づいて移動装置100bの向きを特定してもよい。
 また、方向特定部111cは、移動装置100bの向きに関する過去の履歴情報に基づいて移動装置100bの向きを特定してもよい。例えば、移動装置100aは、過去のある時点において、ある移動装置100bの向きおよび位置座標を特定した場合、当該向きおよび位置を履歴情報として記憶しておく。そして、同一の移動装置100b(または他の移動装置100b)が略同一の位置座標に移動した場合、方向特定部111cは、履歴情報として記憶されている向きを当該移動装置100bの向きとしてもよい。空路、道路、線路または航路などのように、位置座標に基づいて大まかな向きが決められている場合があるところ、方向特定部111cは、上記のように過去の履歴情報を用いることでより適切に移動装置100bの向きを特定することができる。
 また、方向特定部111cは、撮像データに写る、移動装置100bに付されたマーカ30に基づいて移動装置100bの向きを特定してもよい。例えば図28のAに示すように、移動装置100bが自律的に移動可能な掃除機ロボットなどであり、各方向にあまり特徴が変化しない場合、移動装置100bの特徴(特徴領域10)だけでは向きの特定精度が低くなる場合がある。このような場合、ユーザは、図28のBに示すような、ある方向を示すマーカ30(この例では矢印方向を示すマーカ30)を移動装置100bに付すことによって、ユーザ所望の方向を移動装置100bの向きとすることができる。方向特定部111cは、撮像データを解析することでマーカ30を認識し、当該マーカ30が示す方向を移動装置100bの向きとすることができる。また、移動装置100bが、その特徴だけでは向きの特定が困難である場合や、未知の有体物である場合などであっても、マーカ30が移動装置100bに付されることによって当該移動装置100bの向きが特定され得る。
 なお、方向特定部111cは、上記で説明してきた向きの様々な特定方法を組み合わせて実施することができ、かつ、その組み合わせを適宜変更することができる。例えば、方向特定部111cは、移動装置100bの撮像環境などに応じて上記で説明してきた向きの様々な特定方法の組み合わせを変更することができる。これによって、方向特定部111cは、移動装置100bの撮像環境が悪化した場合であっても、移動装置100bの向きをより高い精度で特定することができる。
  <4.備考>
 上記では、本開示に係る変形例について説明した。続いて、複数の移動装置100による向きや位置座標の特定、および移動装置100の追跡について説明する。より具体的に説明すると、移動装置100は、他の移動装置100の向きや位置座標を特定するために、他の移動装置100を追跡したり、複数の移動装置100が連携したりしてもよい。
 例えば、移動装置100aが2台以上存在する場合、各移動装置100aは、互いに連携して移動(飛行)することで移動装置100bの向きや位置座標の特定を行う。例えば、図29に示すように、移動装置100a-1および移動装置100a-2が存在する場合、各移動装置100aの移動制御部112は、基本的に、それぞれの探索範囲(図中では、探索範囲は円形を有しているがこれに限定されない)が所定面積より大きく重ならないように移動(飛行)制御を行う。これによって、移動制御部112は、移動装置100bの向きや位置座標の特定などをより効率的に実現することができる。
 また移動制御部112は、自装置と移動装置100bとの相対的な位置関係の変化に基づいて自装置の移動(飛行)を制御することで、少なくとも一台の移動装置100bを追跡してもよい。例えば移動制御部112は、自装置の探索範囲内に存在する移動装置100bの位置と、探索範囲の中心点との距離を単位時間Δtごとに算出する。より具体的には、図29において、移動装置100a-1の移動制御部112は、探索範囲内に存在する各移動装置100bの重心20a~重心20dの位置と、探索範囲の中心点との距離(dA1~dA4)を単位時間Δtごとに算出する(なお図29では、移動装置100b本体は便宜的に表されていない)。同様に、移動装置100a-2の移動制御部112は、探索範囲内に存在する各移動装置100bの重心20c~重心20eの位置と、探索範囲の中心点との距離(dB1~dB3)を単位時間Δtごとに算出する。そして、各移動装置100aの移動制御部112は、各移動装置100bと探索範囲の中心点との距離(dA1~dA4、dB1~dB3)の時間微分量の合計値(または平均値)が最小と(または所定値より小さく)なるように自装置の飛行を制御する。これによって、探索範囲に含まれる全ての移動装置100bが略同一の方向に移動している場合には、移動装置100aは、全ての移動装置100bを追跡するように移動(飛行)することができ、探索範囲に含まれる各移動装置100bが別々の方向に移動している場合には、移動装置100aは、各移動装置100bの追跡をより効率的に実現することができる。
 なお、探索範囲に含まれる各移動装置100bが別々の方向に移動している場合、移動制御部112は、自装置の位置(飛行高度)をより高く変更することによって各移動装置100bの追跡をより効率的に実現してもよい。また、各移動装置100bに優先度(または優先度に相当する所定の情報)が付与されている場合、移動制御部112は、優先度の高い移動装置100bほどより優先的に追跡されるように自装置の移動(飛行)を制御してもよい。
 また、図29において、重心20cを有する移動装置100b(以降「移動装置100b-1」とする)および重心20dを有する移動装置100b(以降「移動装置100b-2」とする)は、移動装置100a-1および移動装置100a-2両方の探索範囲に含まれているため、移動装置100a-1および移動装置100a-2は移動装置100b-1および移動装置100b-2を分担して追跡してもよい(換言すると、移動装置100aによって特定された移動装置100bが、他の移動装置100aによって空撮された撮像データにも写ることによって特定された場合、これらの移動装置100aは分担して追跡を行ってもよい)。例えば、移動装置100a-1および移動装置100a-2それぞれの移動制御部112は、所定の演算によって、移動装置100a-1および移動装置100a-2のどちらが移動装置100b-1または移動装置100b-2のどちらを追跡するのか(または、移動装置100b-1および移動装置100b-2の両方を追跡するのか)を決定してもよい(換言すると、移動制御部112は、移動装置100a-1または移動装置100a-2のうちの少なくともどちらかが各移動装置100bの追跡を行うように移動(飛行)を制御する)。なお、移動装置100b-1および移動装置100b-2については、移動装置100a-1によって出力されたそれぞれの位置座標と、移動装置100a-2によって出力されたそれぞれの位置座標とが一致する(または、それぞれの位置座標の差異が所定値以下となる)ことに基づいて、移動装置100a-1によって捕捉された各移動装置100b(移動装置100b-1および移動装置100b-2)と、移動装置100a-2によって捕捉された各移動装置100bが同一の装置であることが認識される。
  <5.ハードウェア構成例>
 上記では、本開示に係る変形例について説明した。続いて、図30を参照して、第1の実施形態に係る移動装置100または第2の実施形態に係る管制装置200を具現する情報処理装置900のハードウェア構成例について説明する。
 図30は、情報処理装置900のハードウェア構成を示す図である。情報処理装置900は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置(HDD)910と、ドライブ911と、通信装置912と、を備える。
 CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904により相互に接続されている。当該CPU901、ROM902およびRAM903の協働により、移動装置100の制御部110、または管制装置200の制御部210の各機能が実現される。
 ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
 入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置900の使用者は、当該入力装置908を操作することにより、各装置に対して各種情報を入力したり処理動作を指示したりすることができる。当該入力装置908により、各装置の入力部(図示なし)の機能が実現される。
 出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。さらに、出力装置909は、スピーカおよびヘッドホンなどの音声出力装置を含む。表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。当該出力装置909により、各装置の出力部(図示なし)の機能が実現される。
 ストレージ装置910は、データ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。当該ストレージ装置910により移動装置100の記憶部150、または管制装置200の記憶部230の各機能が実現される。
 ドライブ911は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ911は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体913に記録されている情報を読み出して、RAM903に出力する。また、ドライブ911は、リムーバブル記憶媒体913に情報を書き込むこともできる。
 通信装置912は、例えば、通信網914に接続するための通信デバイス等で構成された通信インタフェースである。当該通信装置912により移動装置100の通信部120、または管制装置200の通信部220の各機能が実現される。
  <6.まとめ>
 以上で説明してきたように、本開示は、撮像部130によって生成された撮像データを取得し、当該撮像データを解析することで当該撮像データに写る移動装置100の向きおよび位置を特定することができる。また、本開示は、移動装置100の向きおよび位置に基づいて未来のある時点での移動装置100の向きまたは位置を予測することができる。さらに、本開示は、向きまたは位置の予測結果に基づいて移動装置100の移動を制御することができる。
 これによって、例えば、特定の空域において移動装置100の管理が必要になった場合において、本開示は、移動装置100の管理を適切に行うことができる。また、本開示は、未来のある時点での移動装置100の状況や空域の混雑状況などを適切に予測することができる。さらに、本開示は、複数の移動装置100の衝突を適切に回避することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 撮像データを取得する取得部と、
 前記撮像データを解析することで前記撮像データに写る移動装置の向きを特定する方向特定部と、を備える、
 情報処理装置。
(2)
 前記方向特定部は、前記移動装置が移動している方向、前記移動装置が移動可能な方向、または前記移動装置が移動すると予想される方向の少なくともいずれか1つを前記移動装置の向きとして特定する、
 前記(1)に記載の情報処理装置。
(3)
 前記方向特定部は、前記移動装置の向いている二次元方向または三次元方向の少なくともいずれか1つを前記移動装置の向きとして特定する、
 前記(1)または(2)に記載の情報処理装置。
(4)
 前記方向特定部は、前記撮像データに写る、前記移動装置の特徴に基づいて前記移動装置の向きを特定する、
 前記(1)から(3)のいずれか1項に記載の情報処理装置。
(5)
 前記方向特定部は、前記撮像データに写る、前記移動装置によって出射された光に基づいて前記移動装置の向きを特定する、
 前記(1)から(4)のいずれか1項に記載の情報処理装置。
(6)
 前記方向特定部は、前記撮像データに写る、前記移動装置の周囲の環境に基づいて前記移動装置の向きを特定する、
 前記(1)から(5)のいずれか1項に記載の情報処理装置。
(7)
 前記方向特定部は、前記撮像データに写る、前記移動装置に付されたマーカに基づいて前記移動装置の向きを特定する、
 前記(1)から(6)のいずれか1項に記載の情報処理装置。
(8)
 前記情報処理装置は移動可能な装置であり、前記撮像データを生成する撮像部を備える、
 前記(1)から(7)のいずれか1項に記載の情報処理装置。
(9)
 前記撮像データを生成する撮像部は移動可能な装置である外部装置に備えられる、
 前記(1)から(7)のいずれか1項に記載の情報処理装置。
(10)
 前記移動可能な装置は飛行可能であり、前記撮像データは空撮によって生成される、
 前記(8)または(9)に記載の情報処理装置。
(11)
 前記移動装置の向きの特定が妨げられたことを認識し、移動する位置を前後、左右、上下、又はこれらを組み合わせて制御する移動制御部をさらに備える、
 前記(8)から(10)のいずれか1項に記載の情報処理装置。
(12)
 前記撮像データを解析することで前記撮像データに写る前記移動装置の位置を特定する位置特定部をさらに備える、
 前記(1)から(11)のいずれか1項に記載の情報処理装置。
(13)
 前記向きおよび前記位置に基づいて未来のある時点での前記移動装置の前記向きまたは前記位置を予測する予測部をさらに備える、
 前記(12)に記載の情報処理装置。
(14)
 前記移動装置の前記向きまたは前記位置の予測結果に基づいて前記移動装置の移動を制御する移動装置制御部をさらに備える、
 前記(13)に記載の情報処理装置。
(15)
 前記移動装置制御部は、前記移動装置の前記向きまたは前記位置の予測結果に基づいて前記移動装置の移動を制御することで、前記移動装置と他の物体との衝突を回避する、
 前記(14)に記載の情報処理装置。
(16)
 撮像データを取得することと、
 前記撮像データを解析することで前記撮像データに写る移動装置の向きを特定することと、を有する、
 コンピュータにより実行される情報処理方法。
(17)
 撮像データを取得することと、
 前記撮像データを解析することで前記撮像データに写る移動装置の向きを特定することと、
 をコンピュータに実現させるためのプログラム。
(18)
 撮像データを生成する撮像部と、
 前記撮像データを解析することで前記撮像データに写る他の移動装置の向きを特定する情報処理装置に対して、前記撮像データを送信する通信部と、
 前記情報処理装置による制御に基づいて自装置を移動させる移動制御部と、を備える、
 移動装置。
 100  移動装置
 110  制御部
 111  解析部
 111a  装置特定部
 111b  位置特定部
 111c  方向特定部
 111d  予測部
 112  移動制御部
 113  移動装置制御部
 120  通信部
 130  撮像部
 140  センサ部
 150  記憶部
 160  移動機構
 200  管制装置
 210  制御部
 211  解析部
 211a  装置特定部
 211b  位置特定部
 211c  方向特定部
 211d  予測部
 213  移動装置制御部
 220  通信部
 230  記憶部

Claims (18)

  1.  撮像データを取得する取得部と、
     前記撮像データを解析することで前記撮像データに写る移動装置の向きを特定する方向特定部と、を備える、
     情報処理装置。
  2.  前記方向特定部は、前記移動装置が移動している方向、前記移動装置が移動可能な方向、または前記移動装置が移動すると予想される方向の少なくともいずれか1つを前記移動装置の向きとして特定する、
     請求項1に記載の情報処理装置。
  3.  前記方向特定部は、前記移動装置の向いている二次元方向または三次元方向の少なくともいずれか1つを前記移動装置の向きとして特定する、
     請求項1に記載の情報処理装置。
  4.  前記方向特定部は、前記撮像データに写る、前記移動装置の特徴に基づいて前記移動装置の向きを特定する、
     請求項1に記載の情報処理装置。
  5.  前記方向特定部は、前記撮像データに写る、前記移動装置によって出射された光に基づいて前記移動装置の向きを特定する、
     請求項1に記載の情報処理装置。
  6.  前記方向特定部は、前記撮像データに写る、前記移動装置の周囲の環境に基づいて前記移動装置の向きを特定する、
     請求項1に記載の情報処理装置。
  7.  前記方向特定部は、前記撮像データに写る、前記移動装置に付されたマーカに基づいて前記移動装置の向きを特定する、
     請求項1に記載の情報処理装置。
  8.  前記情報処理装置は移動可能な装置であり、前記撮像データを生成する撮像部を備える、
     請求項1に記載の情報処理装置。
  9.  前記撮像データを生成する撮像部は移動可能な装置である外部装置に備えられる、
     請求項1に記載の情報処理装置。
  10.  前記移動可能な装置は飛行可能であり、前記撮像データは空撮によって生成される、
     請求項8に記載の情報処理装置。
  11.  前記移動装置の向きの特定が妨げられたことを認識し、移動する位置を前後、左右、上下、又はこれらを組み合わせて制御する移動制御部をさらに備える、
     請求項8に記載の情報処理装置。
  12.  前記撮像データを解析することで前記撮像データに写る前記移動装置の位置を特定する位置特定部をさらに備える、
     請求項1に記載の情報処理装置。
  13.  前記向きおよび前記位置に基づいて未来のある時点での前記移動装置の前記向きまたは前記位置を予測する予測部をさらに備える、
     請求項12に記載の情報処理装置。
  14.  前記移動装置の前記向きまたは前記位置の予測結果に基づいて前記移動装置の移動を制御する移動装置制御部をさらに備える、
     請求項13に記載の情報処理装置。
  15.  前記移動装置制御部は、前記移動装置の前記向きまたは前記位置の予測結果に基づいて前記移動装置の移動を制御することで、前記移動装置と他の物体との衝突を回避する、
     請求項14に記載の情報処理装置。
  16.  撮像データを取得することと、
     前記撮像データを解析することで前記撮像データに写る移動装置の向きを特定することと、を有する、
     コンピュータにより実行される情報処理方法。
  17.  撮像データを取得することと、
     前記撮像データを解析することで前記撮像データに写る移動装置の向きを特定することと、
     をコンピュータに実現させるためのプログラム。
  18.  撮像データを生成する撮像部と、
     前記撮像データを解析することで前記撮像データに写る他の移動装置の向きを特定する情報処理装置に対して、前記撮像データを送信する通信部と、
     前記情報処理装置による制御に基づいて自装置を移動させる移動制御部と、を備える、
     移動装置。
PCT/JP2019/026432 2018-09-04 2019-07-03 情報処理装置、情報処理方法、プログラム、および移動装置 WO2020049850A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/261,577 US11995995B2 (en) 2018-09-04 2019-07-03 Information processing device, information processing method, program, and mobile device
JP2020541033A JPWO2020049850A1 (ja) 2018-09-04 2019-07-03 情報処理装置、情報処理方法、プログラム、および移動装置
CN201980055398.XA CN112602030A (zh) 2018-09-04 2019-07-03 信息处理设备、信息处理方法、程序和移动设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018165362 2018-09-04
JP2018-165362 2018-09-04

Publications (1)

Publication Number Publication Date
WO2020049850A1 true WO2020049850A1 (ja) 2020-03-12

Family

ID=69722853

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026432 WO2020049850A1 (ja) 2018-09-04 2019-07-03 情報処理装置、情報処理方法、プログラム、および移動装置

Country Status (3)

Country Link
JP (1) JPWO2020049850A1 (ja)
CN (1) CN112602030A (ja)
WO (1) WO2020049850A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0626859A (ja) * 1992-07-07 1994-02-04 Nippon Yusoki Co Ltd 無人走行車の測距装置
JP2010015194A (ja) * 2008-06-30 2010-01-21 Ihi Corp 自律移動ロボット装置及び自律移動ロボット装置の制御方法
JP2015095225A (ja) * 2013-11-14 2015-05-18 カシオ計算機株式会社 情報生成装置、情報生成方法、及び、情報生成プログラム
JP2017207815A (ja) * 2016-05-16 2017-11-24 井関農機株式会社 作業車両の制御システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3879848B2 (ja) * 2003-03-14 2007-02-14 松下電工株式会社 自律移動装置
US7493202B2 (en) * 2004-11-12 2009-02-17 Takata Corporation Vehicle safety control system by image processing
CN105759834B (zh) * 2016-03-09 2018-07-24 中国科学院上海微系统与信息技术研究所 一种主动捕获低空小型无人飞行器的系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0626859A (ja) * 1992-07-07 1994-02-04 Nippon Yusoki Co Ltd 無人走行車の測距装置
JP2010015194A (ja) * 2008-06-30 2010-01-21 Ihi Corp 自律移動ロボット装置及び自律移動ロボット装置の制御方法
JP2015095225A (ja) * 2013-11-14 2015-05-18 カシオ計算機株式会社 情報生成装置、情報生成方法、及び、情報生成プログラム
JP2017207815A (ja) * 2016-05-16 2017-11-24 井関農機株式会社 作業車両の制御システム

Also Published As

Publication number Publication date
US20210295554A1 (en) 2021-09-23
CN112602030A (zh) 2021-04-02
JPWO2020049850A1 (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
US11861892B2 (en) Object tracking by an unmanned aerial vehicle using visual sensors
CN110363058B (zh) 使用单触发卷积神经网络的用于避障的三维对象定位
US11749124B2 (en) User interaction with an autonomous unmanned aerial vehicle
US11726498B2 (en) Aerial vehicle touchdown detection
US11989861B2 (en) Deep learning-based real-time detection and correction of compromised sensors in autonomous machines
US20220050478A1 (en) Image Space Motion Planning Of An Autonomous Vehicle
US11551414B2 (en) Simulation architecture for on-vehicle testing and validation
US20190250601A1 (en) Aircraft flight user interface
US20220019248A1 (en) Objective-Based Control Of An Autonomous Unmanned Aerial Vehicle
WO2019067695A1 (en) FLIGHT CONTROL USING VISION BY COMPUTER
JP2018535487A (ja) Uav経路を計画し制御するシステム及び方法
US11536833B2 (en) Information processing device, information processing method, and vehicle
WO2019098082A1 (ja) 制御装置、および制御方法、プログラム、並びに移動体
WO2019239694A1 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP2022524108A (ja) ロボット車両の積荷フットプリントの協働決定
Zsedrovits et al. Visual detection and implementation aspects of a UAV see and avoid system
KR102176483B1 (ko) 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
Srigrarom et al. Hybrid motion-based object detection for detecting and tracking of small and fast moving drones
Sier et al. Uav tracking with lidar as a camera sensor in gnss-denied environments
EP3115978B1 (en) Monitoring
Al-Muteb et al. An autonomous stereovision-based navigation system (ASNS) for mobile robots
WO2020049850A1 (ja) 情報処理装置、情報処理方法、プログラム、および移動装置
US20220144186A1 (en) Object Tracking System Including Stereo Camera Assembly and Methods of Use
US11995995B2 (en) Information processing device, information processing method, program, and mobile device
CN116868239A (zh) 静态占用跟踪

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19857805

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020541033

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19857805

Country of ref document: EP

Kind code of ref document: A1