JP6949930B2 - Control device, moving body and control method - Google Patents

Control device, moving body and control method Download PDF

Info

Publication number
JP6949930B2
JP6949930B2 JP2019225427A JP2019225427A JP6949930B2 JP 6949930 B2 JP6949930 B2 JP 6949930B2 JP 2019225427 A JP2019225427 A JP 2019225427A JP 2019225427 A JP2019225427 A JP 2019225427A JP 6949930 B2 JP6949930 B2 JP 6949930B2
Authority
JP
Japan
Prior art keywords
communication quality
unmanned aerial
aerial vehicle
image pickup
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019225427A
Other languages
Japanese (ja)
Other versions
JP2021097268A (en
Inventor
本庄 謙一
謙一 本庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2019225427A priority Critical patent/JP6949930B2/en
Publication of JP2021097268A publication Critical patent/JP2021097268A/en
Application granted granted Critical
Publication of JP6949930B2 publication Critical patent/JP6949930B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、制御装置、移動体および制御方法に関する。 The present invention relates to a control device, a moving body and a control method.

特許文献1には、無人航空機(UAV)の飛行制限高度を検出し、飛行制限高度に応答した無人航空機(UAV)の動的な高さ制御を行うことが記載されている。 Patent Document 1 describes that it detects the flight limit altitude of an unmanned aerial vehicle (UAV) and dynamically controls the height of the unmanned aerial vehicle (UAV) in response to the flight limit altitude.

特表2018−502008号公報Special Table 2018-502008

移動体の一つである無人航空機(「無人機」、「UAV:Unmanned Aerial Vehicle」)は、「ドローン」とも呼ばれ、ユーザによって遠隔操作可能であり、飛行プログラムによる自動飛行も可能である。無人航空機は様々なサイズおよび構成を備えている。無人航空機は、カメラ等の撮像装置を備えており、ユーザはこの無人航空機を操作して、カメラ等の撮像装置により被写体(人や建物等)を空撮することができる。 An unmanned aerial vehicle (“unmanned aerial vehicle”, “UAV: Unmanned Aerial Vehicle”), which is one of the moving objects, is also called a “drone” and can be remotely controlled by a user, and can also be automatically flown by a flight program. Unmanned aerial vehicles come in a variety of sizes and configurations. The unmanned aerial vehicle is equipped with an image pickup device such as a camera, and the user can operate the unmanned aerial vehicle to take an aerial photograph of a subject (people, buildings, etc.) by the image pickup device such as a camera.

無人航空機が備える撮像装置により撮像された画像(撮像画像)は、無人航空機内の記憶手段に保存される。その他、撮像画像は無人航空機から見た外部装置へと送信(リアルタイム配信等)されて、外部モニタに撮像画像が表示されることもある。 The image (captured image) captured by the imaging device included in the unmanned aerial vehicle is stored in the storage means in the unmanned aerial vehicle. In addition, the captured image may be transmitted (real-time distribution, etc.) to an external device viewed from the unmanned aerial vehicle, and the captured image may be displayed on an external monitor.

無人航空機は、外部装置と通信しながら空中を飛行することができる。この通信には、上述の撮像画像のリアルタイム配信等に用いられる通信が含まれるが、これ以外の用途における通信を無人航空機が外部装置との間で行ってもよい。 Unmanned aerial vehicles can fly in the air while communicating with external devices. This communication includes communication used for real-time distribution of the captured image described above, but communication for other purposes may be performed by an unmanned aerial vehicle with an external device.

無人航空機などの移動体が移動する空間においては、通信品質の良い領域と、良くない領域とが存在し得る。無人航空機が通信品質の良い領域を飛行すれば、飛行中における外部装置との間の通信が安定し、より高画質な撮像画像をリアルタイム配信できるなどの、通信品質の向上に起因する恩恵を受けることができる。 In a space where a moving object such as an unmanned aerial vehicle moves, there may be an area where communication quality is good and an area where communication quality is not good. If an unmanned aerial vehicle flies in an area with good communication quality, it will benefit from improved communication quality, such as stable communication with external devices during flight and real-time delivery of higher quality captured images. be able to.

しかしながら、無人航空機は、通信品質の良い領域を単に飛行すれば良いとは限らない。実際、無人航空機と被写体との間の相対位置は、無人航空機の飛行経路に応じて変動するものである。そのため、無人航空機が通信品質の良い領域から外れないように飛行した場合、被写体が撮像装置の撮像範囲の外へとはみ出る、または、被写体に対する撮像装置の姿勢(カメラアングル等)がユーザの意図に反して変動する、などの事態が起こり得る。その結果、ユーザが意図したような撮像画像を取得できないことがある。 However, unmanned aerial vehicles do not always have to simply fly in areas with good communication quality. In fact, the relative position between the unmanned aerial vehicle and the subject varies depending on the flight path of the unmanned aerial vehicle. Therefore, when the unmanned aerial vehicle flies so as not to deviate from the area where the communication quality is good, the subject protrudes out of the image pickup range of the image pickup device, or the attitude of the image pickup device (camera angle, etc.) with respect to the subject becomes the user's intention. On the contrary, it may fluctuate. As a result, it may not be possible to acquire the captured image as intended by the user.

上記とは反対に、被写体が撮像装置の撮像範囲の外へとはみ出ないように、また、被写体に対する撮像装置の姿勢(カメラアングル等)がユーザの意図に沿うように、無人航空機を飛行させた場合、無人航空機は上述の通信品質の良い領域以外の領域を通ることがある。この場合、通信品質の良い領域以外の領域を無人航空機が飛行している時に、外部装置との間の通信品質が劣化してしまうので、ユーザが意図した高画質な撮像画像を配信できない可能性もある。 Contrary to the above, the unmanned aerial vehicle was flown so that the subject did not go out of the imaging range of the imaging device and the attitude of the imaging device with respect to the subject (camera angle, etc.) was in line with the user's intention. In this case, the unmanned aerial vehicle may pass through an area other than the above-mentioned area with good communication quality. In this case, when the unmanned aerial vehicle is flying in an area other than the area with good communication quality, the communication quality with the external device deteriorates, so that it may not be possible to deliver the high-quality captured image intended by the user. There is also.

すなわち、移動体の移動経路(無人航空機の飛行経路等)に応じて、移動体が備える撮像装置により撮像された画像の品質(カメラアングルや画質等)が、ユーザの意図とは異なってしまうという問題があった。 That is, the quality (camera angle, image quality, etc.) of the image captured by the image pickup device provided in the moving object differs from the user's intention according to the moving path of the moving object (flight path of the unmanned aerial vehicle, etc.). There was a problem.

そこで本開示は、移動体が備える撮像装置が撮像時に移動し得る空間における、通信品質に応じて、被写体の撮像をユーザの意図に沿うように行うことができる制御装置、移動体および制御方法を提供することを目的とする。 Therefore, the present disclosure describes a control device, a moving body, and a control method capable of imaging a subject according to a user's intention in a space where the imaging device included in the moving body can move at the time of imaging. The purpose is to provide.

一態様において、移動体が備える撮像装置の姿勢を制御する制御装置が、前記撮像装置が撮像時に移動し得る空間における通信品質を示す通信品質情報を取得し、前記通信品質情報に基づいて前記撮像装置の姿勢を制御する。 In one aspect, a control device that controls the posture of the image pickup device included in the moving body acquires communication quality information indicating communication quality in a space where the image pickup device can move at the time of imaging, and the image pickup is based on the communication quality information. Control the attitude of the device.

上記構成において、前記制御装置は、前記通信品質情報が示す通信品質が所定の基準より良い領域を、前記移動体が移動するように、前記移動体の移動を制御してよい。 In the above configuration, the control device may control the movement of the moving body so that the moving body moves in a region where the communication quality indicated by the communication quality information is better than a predetermined reference.

上記構成において、前記制御装置は、前記通信品質情報に基づいて、前記撮像装置の姿勢を所定の状態に維持するように、前記撮像装置の姿勢を制御してよい。 In the above configuration, the control device may control the posture of the image pickup device so as to maintain the posture of the image pickup device in a predetermined state based on the communication quality information.

上記構成において、前記制御装置は、前記通信品質情報に基づいて、被写体を撮像し続けることができるように、前記撮像装置の姿勢を制御してよい。 In the above configuration, the control device may control the posture of the image pickup device so that the subject can continue to be imaged based on the communication quality information.

上記構成において、前記制御装置は、前記通信品質情報が示す通信品質が所定の基準より良い領域に加えて、前記通信品質情報が示す通信品質が所定の基準より良くない領域を、前記移動体が移動するように、前記移動体の移動を制御し、前記撮像装置の姿勢を所定の状態に維持するように、前記撮像装置の姿勢を制御してよい。 In the above configuration, in the control device, in addition to the region where the communication quality indicated by the communication quality information is better than the predetermined reference, the moving body sets the region where the communication quality indicated by the communication quality information is not better than the predetermined reference. The movement of the moving body may be controlled so as to move, and the posture of the image pickup device may be controlled so as to maintain the posture of the image pickup device in a predetermined state.

上記構成において、前記制御装置は、前記撮像装置が撮像した撮像画像の転送レートを下げた状態で、前記画像を外部装置へとリアルタイム送信してよい。 In the above configuration, the control device may transmit the image to an external device in real time in a state where the transfer rate of the captured image captured by the imaging device is lowered.

上記構成において、前記制御装置は、前記制御装置が、前記通信品質情報が示す通信品質が所定の基準より良い領域を、前記移動体が移動するように、前記移動体の移動を制御し、かつ、前記通信品質情報に基づいて、前記撮像装置の姿勢を所定の状態に維持するように、前記撮像装置の姿勢を制御する、第1の制御パターンと、前記制御装置が、前記通信品質情報が示す通信品質が所定の基準より良い領域を、前記移動体が移動するように、前記移動体の移動を制御し、かつ、前記通信品質情報に基づいて、被写体を撮像し続けることができるように、前記撮像装置の姿勢を制御する、第2の制御パターンと、のうち、いずれかの制御パターンを選択して、前記移動体の移動および前記撮像装置の姿勢を制御してよい。 In the above configuration, the control device controls the movement of the moving body so that the moving body moves in a region where the communication quality indicated by the communication quality information is better than a predetermined reference. The first control pattern that controls the posture of the image pickup device so as to maintain the posture of the image pickup device in a predetermined state based on the communication quality information, and the control device, the communication quality information The movement of the moving body is controlled so that the moving body moves in a region where the communication quality shown is better than a predetermined reference, and the subject can be continuously imaged based on the communication quality information. , The second control pattern that controls the posture of the image pickup device, or one of the control patterns may be selected to control the movement of the moving body and the posture of the image pickup device.

上記構成において、前記制御装置は、前記第1の制御パターンと、前記第2の制御パターンと、前記制御装置が、前記通信品質情報が示す通信品質が所定の基準より良い領域に加えて、前記通信品質情報が示す通信品質が所定の基準より良くない領域を、前記移動体が移動するように、前記移動体の移動を制御し、かつ、前記撮像装置の姿勢を所定の状態に維持するように、前記撮像装置の姿勢を制御する、第3の制御パターンと、のうち、いずれか1つの制御パターンを選択して、前記移動体の移動および前記撮像装置の姿勢を制御してよい。 In the above configuration, the control device includes the first control pattern, the second control pattern, and the control device in addition to the region where the communication quality indicated by the communication quality information is better than a predetermined reference. To control the movement of the moving body and maintain the posture of the imaging device in a predetermined state so that the moving body moves in a region where the communication quality indicated by the communication quality information is not better than a predetermined standard. In addition, one of the third control pattern that controls the posture of the image pickup device may be selected to control the movement of the moving body and the posture of the image pickup device.

一態様において、移動体が、上記構成の制御装置と、前記撮像装置とを備える。 In one aspect, the moving body includes the control device having the above configuration and the image pickup device.

一態様において、前記移動体が、撮像装置を支持する支持機構をさらに備えてよい。 In one aspect, the moving body may further include a support mechanism for supporting the imaging device.

上記構成において、前記移動体が、無人航空機であってよい。 In the above configuration, the moving body may be an unmanned aerial vehicle.

一態様において、移動体が備える撮像装置の姿勢を制御する制御装置による制御方法が、前記撮像装置が撮像時に移動し得る空間における通信品質を示す通信品質情報を前記制御装置が取得するステップと、前記通信品質情報に基づいて前記撮像装置の姿勢を前記制御装置が制御するステップとを有する。 In one aspect, the control method by the control device for controlling the posture of the image pickup device included in the moving body includes a step in which the control device acquires communication quality information indicating communication quality in a space where the image pickup device can move at the time of imaging. The control device has a step of controlling the posture of the image pickup device based on the communication quality information.

上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The outline of the above invention is not a list of all the features of the present disclosure. Sub-combinations of these feature groups can also be inventions.

本開示は、移動体が備える撮像装置が撮像時に移動し得る空間における、通信品質に応じて、被写体の撮像をユーザの意図に沿うように行うことができる制御装置、移動体および制御方法を提供することができる。 The present disclosure provides a control device, a moving body, and a control method capable of imaging a subject according to a user's intention in a space where the imaging device included in the moving body can move at the time of imaging. can do.

実施形態における移動体システムの一例を示す模式図Schematic diagram showing an example of a mobile system according to an embodiment 無人航空機100のハードウェア構成の一例を示すブロック図Block diagram showing an example of the hardware configuration of the unmanned aerial vehicle 100 制御装置による無人航空機100および撮像装置220の第1の制御パターンを示す概念図A conceptual diagram showing a first control pattern of the unmanned aerial vehicle 100 and the image pickup device 220 by the control device. 制御装置による無人航空機100および撮像装置220の第2の制御パターンを示す概念図A conceptual diagram showing a second control pattern of the unmanned aerial vehicle 100 and the image pickup device 220 by the control device. 制御装置が実行する制御パターン選択処理の一例を示すフローチャートFlow chart showing an example of control pattern selection processing executed by the control device 第2の制御パターンの変形例を示す概念図Conceptual diagram showing a modified example of the second control pattern

以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。 Hereinafter, the present disclosure will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Not all combinations of features described in the embodiments are essential to the solution of the invention.

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。 The claims, description, drawings, and abstracts include matters that are subject to copyright protection. The copyright holder will not object to any person's reproduction of these documents as long as they appear in the Patent Office files or records. However, in other cases, all copyrights are reserved.

(実施形態)
以下の実施形態では、理解を容易とするため、移動体の一つである無人航空機(UAV:Unmanned Aerial Vehicle)に搭載された撮像装置で被写体を空撮するという前提で、本開示を詳述する。しかしながら、これにより特許請求の範囲に記載の主題を限定することは意図されていない。例えば移動体は、ロボット、地上を移動する車両、水上を移動する船舶等を含む概念であり、無人航空機以外の移動体にも本開示を適用可能である。以下の説明における無人航空機100は、移動体の例示であり、無人航空機100の飛行は、移動体の移動の例示である。
(Embodiment)
In the following embodiments, in order to facilitate understanding, the present disclosure is detailed on the premise that an image pickup device mounted on an unmanned aerial vehicle (UAV), which is one of the moving objects, takes an aerial photograph of a subject. do. However, this is not intended to limit the subject matter described in the claims. For example, a moving body is a concept including a robot, a vehicle moving on the ground, a ship moving on water, and the like, and the present disclosure can be applied to a moving body other than an unmanned aerial vehicle. The unmanned aerial vehicle 100 in the following description is an example of a moving body, and the flight of the unmanned aerial vehicle 100 is an example of the movement of a moving body.

図1は、実施形態における移動体システムの一例を示す模式図である。移動体システムは、無人航空機100及び遠隔操縦機50を備えてよい。無人航空機100及び遠隔操縦機50は、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。図1の例では、遠隔操縦機50は、ユーザが把持する遠隔操縦機本体52と、ユーザに画像情報等を提示するモニタ54とを備えた送信機(プロポ)である。しかし、遠隔操縦機50はこれには限られず、例えばスマートフォンやPC等であってもよい。遠隔操縦機50により、無人航空機100が操作されてよい。 FIG. 1 is a schematic diagram showing an example of a mobile system according to an embodiment. The mobile system may include an unmanned aerial vehicle 100 and a remote control aircraft 50. The unmanned aerial vehicle 100 and the remote control aircraft 50 can communicate with each other by wired communication or wireless communication (for example, wireless LAN (Local Area Network)). In the example of FIG. 1, the remote control device 50 is a transmitter (propo) including a remote control device main body 52 held by the user and a monitor 54 for presenting image information or the like to the user. However, the remote control device 50 is not limited to this, and may be, for example, a smartphone or a PC. The unmanned aerial vehicle 100 may be operated by the remote control aircraft 50.

無人航空機100は、UAV本体102と、撮像装置220とを備える。無人航空機100は、ジンバル(支持機構)200と、センサ230とを更に備えていてよい。図示されているように、撮像装置220はジンバル200のアームに回転自在に配置されており、空中を移動中に外観を撮像(空撮)することができる。ジンバル200の操作は、遠隔操縦機50により行われてよい。ジンバル(支持機構)200は無人航空機100に取り付けられてよい。このとき、ジンバル(支持機構)200に撮像装置220が支持されてよい。このようにして、撮像装置220はジンバル(支持機構)200を介して無人航空機100に支持されてよい。 The unmanned aerial vehicle 100 includes a UAV main body 102 and an image pickup device 220. The unmanned aerial vehicle 100 may further include a gimbal (support mechanism) 200 and a sensor 230. As shown in the figure, the image pickup device 220 is rotatably arranged on the arm of the gimbal 200, and can take an image (aerial image) of the appearance while moving in the air. The operation of the gimbal 200 may be performed by the remote controller 50. The gimbal (support mechanism) 200 may be attached to the unmanned aerial vehicle 100. At this time, the image pickup device 220 may be supported by the gimbal (support mechanism) 200. In this way, the imaging device 220 may be supported by the unmanned aerial vehicle 100 via the gimbal (support mechanism) 200.

UAV本体102は1つまたは複数の回転翼(プロペラ)を備える。UAV本体102は、回転翼の回転を制御することにより無人航空機100を飛行させる。UAV本体102は、例えば4つの回転翼を用いて無人航空機100を飛行させてよい。 The UAV body 102 includes one or more rotor blades (propellers). The UAV main body 102 flies the unmanned aerial vehicle 100 by controlling the rotation of the rotor blades. The UAV body 102 may fly the unmanned aerial vehicle 100 using, for example, four rotors.

撮像装置220は、所望の撮像範囲に含まれる被写体(例えば、空撮対象となる人物や、上空の様子、山や川等の景色、地上の建物等)を撮像する撮像用のカメラでよい。 The imaging device 220 may be a camera for imaging that captures a subject included in a desired imaging range (for example, a person to be aerial photographed, a state of the sky, a landscape such as a mountain or a river, a building on the ground, etc.).

センサ230は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラであってよい。2つのセンサ230が、無人航空機100の機首である正面に設けられてよい。さらに、他の2つのセンサ230が、無人航空機100の底面に設けられてよい。正面側の2つのセンサ230はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つのセンサ230もペアとなり、ステレオカメラとして機能してよい。複数のセンサ230により撮像された画像に基づいて、無人航空機100の周囲の3次元空間データ(3次元形状データ)が生成されてよい。なお、無人航空機100が備えるセンサ230の数は4つに限定されない。無人航空機100は、無人航空機100の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つのセンサ230を備えてよい。センサ230で設定できる画角は、撮像装置220で設定できる画角より広くてよい。センサ230は、単焦点レンズ又は魚眼レンズを有してよい。 The sensor 230 may be a sensing camera that captures the surroundings of the unmanned aerial vehicle 100 in order to control the flight of the unmanned aerial vehicle 100. Two sensors 230 may be provided in front of the nose of the unmanned aerial vehicle 100. In addition, two other sensors 230 may be provided on the bottom surface of the unmanned aerial vehicle 100. The two sensors 230 on the front side may be paired and function as a so-called stereo camera. The two sensors 230 on the bottom side may also be paired and function as a stereo camera. Based on the images captured by the plurality of sensors 230, three-dimensional spatial data (three-dimensional shape data) around the unmanned aerial vehicle 100 may be generated. The number of sensors 230 included in the unmanned aerial vehicle 100 is not limited to four. The unmanned aerial vehicle 100 may include at least one sensor 230 on each of the nose, tail, sides, bottom surface, and ceiling surface of the unmanned aerial vehicle 100. The angle of view that can be set by the sensor 230 may be wider than the angle of view that can be set by the image pickup apparatus 220. The sensor 230 may have a single focus lens or a fisheye lens.

センサ230は、上述のセンシング用のカメラに限られず、赤外線センサ、超音波センサ、TOF(time of flight)センサ等を備えていてよい。これらのセンサを用いることにより、撮影対象とする被写体までの距離や、被写体との間の相対速度を測定することができる。撮像装置220自体によって被写体までの距離を測定することもできる。 The sensor 230 is not limited to the above-mentioned sensing camera, and may include an infrared sensor, an ultrasonic sensor, a TOF (time of flight) sensor, and the like. By using these sensors, it is possible to measure the distance to the subject to be photographed and the relative speed to the subject. The distance to the subject can also be measured by the image pickup device 220 itself.

図2は、無人航空機100のハードウェア構成の一例を示すブロック図である。無人航空機100は、UAV制御部110と、通信インタフェース120と、メモリ130と、ジンバル200と、回転翼機構210と、1以上のセンサ230と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270とを含む構成である。 FIG. 2 is a block diagram showing an example of the hardware configuration of the unmanned aerial vehicle 100. The unmanned aerial vehicle 100 includes a UAV control unit 110, a communication interface 120, a memory 130, a gimbal 200, a rotary wing mechanism 210, one or more sensors 230, a GPS receiver 240, and an inertial measurement unit (IMU: Inertial). The configuration includes a measurement unit) 250, a magnetic compass 260, and a barometric altimeter 270.

UAV制御部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部110は、無人航空機100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。 The UAV control unit 110 is configured by using, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor). The UAV control unit 110 performs signal processing for controlling the operation of each part of the unmanned aerial vehicle 100, data input / output processing with and from other parts, data calculation processing, and data storage processing.

UAV制御部110は、メモリ130に格納されたプログラムに従って無人航空機100の飛行を制御する。UAV制御部110は、画像を空撮してよい。 The UAV control unit 110 controls the flight of the unmanned aerial vehicle 100 according to the program stored in the memory 130. The UAV control unit 110 may take an aerial image.

UAV制御部110は、無人航空機100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から無人航空機100が存在する緯度及び経度を示す緯度経度情報を、並びに気圧高度計270から無人航空機100が存在する高度を示す高度情報を、それぞれ位置情報として取得してよい。 The UAV control unit 110 acquires position information indicating the position of the unmanned aerial vehicle 100. The UAV control unit 110 acquires latitude and longitude information indicating the latitude and longitude of the unmanned aerial vehicle 100 from the GPS receiver 240, and altitude information indicating the altitude at which the unmanned aerial vehicle 100 exists from the barometric altimeter 270 as position information. You can do it.

UAV制御部110は、磁気コンパス260から無人航空機100の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機100の機首の向きに対応する方位で示されてよい。 The UAV control unit 110 may acquire orientation information indicating the orientation of the unmanned aerial vehicle 100 from the magnetic compass 260. The orientation information may be indicated, for example, in the orientation corresponding to the orientation of the nose of the unmanned aerial vehicle 100.

UAV制御部110は、撮像装置220の撮像範囲を示す撮像範囲情報を取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220の画角を示す画角情報を撮像装置220から取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220の撮像方向を示す情報を取得してよい。UAV制御部110は、例えば撮像装置220の撮像方向を示す情報として、ジンバル200から撮像装置220の姿勢の状態を示す姿勢情報を取得してよい。撮像装置220の姿勢情報は、ジンバル200のピッチ軸及びヨー軸の基準回転角度からの回転角度を示してよい。ここでの基準とは、例えばUAV制御部110がイニシャライズを実行したときの予め定められたヨー軸周り、ピッチ軸周りおよびロール軸周りの規定角度である。 The UAV control unit 110 may acquire image pickup range information indicating the image pickup range of the image pickup apparatus 220. The UAV control unit 110 may acquire the angle of view information indicating the angle of view of the image pickup device 220 from the image pickup device 220 as a parameter for specifying the image pickup range. The UAV control unit 110 may acquire information indicating the imaging direction of the imaging device 220 as a parameter for specifying the imaging range. The UAV control unit 110 may acquire posture information indicating the posture state of the imaging device 220 from the gimbal 200, for example, as information indicating the imaging direction of the imaging device 220. The posture information of the image pickup apparatus 220 may indicate the rotation angle of the gimbal 200 from the reference rotation angle of the pitch axis and the yaw axis. The reference here is, for example, a predetermined angle around the yaw axis, the pitch axis, and the roll axis when the UAV control unit 110 executes initialization.

UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人航空機100が存在する位置を示す位置情報を取得してよい。UAV制御部110は、撮像装置220及びセンサ230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて、撮像装置220が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲情報を生成することで、撮像範囲情報を取得してよい。 The UAV control unit 110 may acquire position information indicating the position where the unmanned aerial vehicle 100 exists as a parameter for specifying the imaging range. The UAV control unit 110 defines an imaging range indicating a geographical range to be imaged by the imaging device 220 based on the angle of view and the imaging direction of the imaging device 220 and the sensor 230, and the position where the unmanned aerial vehicle 100 exists, and images the image. The imaging range information may be acquired by generating the range information.

UAV制御部110は、メモリ130から撮像範囲情報を取得してよい。UAV制御部110は、通信インタフェース120を介して撮像範囲情報を取得してよい。 The UAV control unit 110 may acquire imaging range information from the memory 130. The UAV control unit 110 may acquire imaging range information via the communication interface 120.

UAV制御部110は、ジンバル200、回転翼機構210、撮像装置220、センサ230、GPS受信機240、慣性計測装置250、磁気コンパス260、および気圧高度計270を制御する。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像装置220の撮像方向(姿勢、カメラアングル)を制御してよい。UAV制御部110は、カメラレンズ222の画角を変更させる制御信号を撮像制御部11に送信することにより、撮像装置220の画角を制御してよい。UAV制御部110による、各構成要素の制御は、遠隔操縦機50から通信インタフェース120を介して受信した制御信号に基づいて行われてよい。 The UAV control unit 110 controls the gimbal 200, the rotary wing mechanism 210, the image pickup device 220, the sensor 230, the GPS receiver 240, the inertial measurement unit 250, the magnetic compass 260, and the barometric altimeter 270. The UAV control unit 110 may control the imaging direction (posture, camera angle) of the imaging device 220 supported by the gimbal 200 by controlling the rotation mechanism of the gimbal 200. The UAV control unit 110 may control the angle of view of the image pickup device 220 by transmitting a control signal for changing the angle of view of the camera lens 222 to the image pickup control unit 11. The control of each component by the UAV control unit 110 may be performed based on the control signal received from the remote control unit 50 via the communication interface 120.

撮像範囲とは、撮像装置220又はセンサ230により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、緯度及び経度で定義される2次元空間データにおける範囲でもよい。撮像範囲は、撮像装置220又はセンサ230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて特定されてよい。撮像装置220やセンサ230の撮像方向は、撮像装置220やセンサ230の撮像レンズが設けられた正面が向く方位(撮像レンズの光軸方向)からそれぞれ定義されてよい。撮像装置220の撮像方向は、無人航空機100の機首の方位と、ジンバル200に対する撮像装置220の姿勢の状態とから特定される方向でよい。センサ230の撮像方向は、無人航空機100の機首の方位と、センサ230が設けられた位置とから特定される方向でよい。 The imaging range refers to a geographical range imaged by the imaging device 220 or the sensor 230. The imaging range is defined by latitude, longitude, and altitude. The imaging range may be a range in three-dimensional spatial data defined by latitude, longitude, and altitude. The imaging range may be a range in two-dimensional spatial data defined by latitude and longitude. The imaging range may be specified based on the angle of view and imaging direction of the imaging device 220 or sensor 230, and the position where the unmanned aerial vehicle 100 is located. The imaging direction of the image pickup device 220 or the sensor 230 may be defined from the direction in which the front surface of the image pickup device 220 or the sensor 230 provided with the image pickup lens faces (the optical axis direction of the image pickup lens). The imaging direction of the imaging device 220 may be a direction specified from the orientation of the nose of the unmanned aerial vehicle 100 and the attitude of the imaging device 220 with respect to the gimbal 200. The imaging direction of the sensor 230 may be a direction specified from the orientation of the nose of the unmanned aerial vehicle 100 and the position where the sensor 230 is provided.

UAV制御部110は、複数のセンサ230により撮像された複数の画像を解析することで、無人航空機100の周囲の環境を特定してよい。UAV制御部110は、無人航空機100の周囲の環境に基づいて、例えば障害物を回避して飛行を制御してよい。 The UAV control unit 110 may identify the environment around the unmanned aerial vehicle 100 by analyzing a plurality of images captured by the plurality of sensors 230. The UAV control unit 110 may control the flight, for example, avoiding obstacles, based on the environment around the unmanned aerial vehicle 100.

UAV制御部110は、無人航空機100の周囲に存在するオブジェクトの立体形状(3次元形状)を示す立体情報(3次元情報)を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部でよい。立体情報は、例えば、3次元空間データである。UAV制御部110は、複数のセンサ230から得られたそれぞれの画像から、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。UAV制御部110は、メモリ130に格納された3次元地図データベースを参照することにより、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。UAV制御部110は、ネットワーク上に存在するサーバが管理する3次元地図データベースを参照することで、無人航空機100の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。 The UAV control unit 110 may acquire three-dimensional information (three-dimensional information) indicating the three-dimensional shape (three-dimensional shape) of an object existing around the unmanned aerial vehicle 100. The object may be, for example, a part of a landscape such as a building, a road, a car, a tree, or the like. The three-dimensional information is, for example, three-dimensional spatial data. The UAV control unit 110 may acquire the three-dimensional information by generating the three-dimensional information indicating the three-dimensional shape of the object existing around the unmanned aerial vehicle 100 from each image obtained from the plurality of sensors 230. The UAV control unit 110 may acquire three-dimensional information indicating the three-dimensional shape of an object existing around the unmanned aerial vehicle 100 by referring to the three-dimensional map database stored in the memory 130. The UAV control unit 110 may acquire three-dimensional information regarding the three-dimensional shape of an object existing around the unmanned aerial vehicle 100 by referring to a three-dimensional map database managed by a server existing on the network.

UAV制御部110は、無人航空機100(および撮像装置220)が存在する付近の空間の通信品質を示す通信品質情報を、通信インタフェース120を介して外部装置から取得してよい。通信品質情報は、所定の空間における通信品質(例えば、ハイビジョンでの動画伝送が可能な通信速度や通信環境、より高解像度な4Kや8K等での動画伝送が可能な通信速度や通信環境、など)を示す3次元座標情報であってよい。 The UAV control unit 110 may acquire communication quality information indicating the communication quality of the space near the unmanned aerial vehicle 100 (and the imaging device 220) from the external device via the communication interface 120. Communication quality information includes communication quality in a predetermined space (for example, communication speed and communication environment capable of video transmission in high definition, communication speed and communication environment capable of video transmission in higher resolution 4K, 8K, etc.) ) May be three-dimensional coordinate information.

無人航空機100(および撮像装置220)が存在する付近の空間の範囲については、以下の通りである。UAV制御部110は、無人航空機100が備える撮像装置220が撮像時に移動し得る空間の通信品質を示す通信品質情報を取得すればよい。本開示においては、撮像時の無人航空機100や撮像装置220の位置における通信品質の善し悪しが問題となるからである。ただしUAV制御部110は、無人航空機100が備える撮像装置220が撮像時に移動し得る空間も含んだ、より広い空間における通信品質を示す通信品質情報を取得してもよい。UAV制御部110は例えば、無人航空機100の現在位置から所定の距離(例えば半径1km)までの空間について、通信品質情報を取得することができる。ただし、所定の距離は半径1kmには限られない。さらに、無人航空機100の飛行ルートが予め決定あるいは予測されている場合には、UAV制御部110は、その飛行ルートにおける、無人航空機100(および撮像装置220)の現在地点よりも前方についての通信品質情報を取得してもよい。 The range of space in the vicinity of the unmanned aerial vehicle 100 (and the imaging device 220) is as follows. The UAV control unit 110 may acquire communication quality information indicating the communication quality of the space in which the imaging device 220 included in the unmanned aerial vehicle 100 can move at the time of imaging. This is because in the present disclosure, the quality of communication quality at the position of the unmanned aerial vehicle 100 or the imaging device 220 at the time of imaging becomes a problem. However, the UAV control unit 110 may acquire communication quality information indicating communication quality in a wider space including a space in which the image pickup device 220 included in the unmanned aerial vehicle 100 can move at the time of imaging. For example, the UAV control unit 110 can acquire communication quality information for a space from the current position of the unmanned aerial vehicle 100 to a predetermined distance (for example, a radius of 1 km). However, the predetermined distance is not limited to a radius of 1 km. Further, if the flight route of the unmanned aerial vehicle 100 is predetermined or predicted, the UAV control unit 110 determines the communication quality of the flight route ahead of the current position of the unmanned aerial vehicle 100 (and the image pickup device 220). Information may be obtained.

UAV制御部110は、回転翼機構210を制御することで、無人航空機100の飛行(移動)を制御する。つまりUAV制御部110は、回転翼機構210を制御することにより、無人航空機100の緯度、経度、及び高度を含む位置を制御する。UAV制御部110は、前述の通信品質情報を取得することにより、通信品質が比較的高い領域を選んで飛行するように、無人航空機100の移動を制御することができる。 The UAV control unit 110 controls the flight (movement) of the unmanned aerial vehicle 100 by controlling the rotary wing mechanism 210. That is, the UAV control unit 110 controls the position including the latitude, longitude, and altitude of the unmanned aerial vehicle 100 by controlling the rotary wing mechanism 210. By acquiring the above-mentioned communication quality information, the UAV control unit 110 can control the movement of the unmanned aerial vehicle 100 so as to select and fly a region having a relatively high communication quality.

UAV制御部110は、無人航空機100の飛行を制御することにより、撮像装置220の撮像範囲を制御してよい。UAV制御部110は、撮像装置220が備えるズームレンズを制御することで、撮像装置220の画角を制御してよい。UAV制御部110は、撮像装置220のデジタルズーム機能を利用して、デジタルズームにより、撮像装置220の画角を制御してよい。 The UAV control unit 110 may control the imaging range of the imaging device 220 by controlling the flight of the unmanned aerial vehicle 100. The UAV control unit 110 may control the angle of view of the image pickup device 220 by controlling the zoom lens included in the image pickup device 220. The UAV control unit 110 may control the angle of view of the image pickup device 220 by the digital zoom by utilizing the digital zoom function of the image pickup device 220.

通信インタフェース120は、遠隔操縦機50や、図示を省略する外部装置と通信する。通信インタフェース120は、任意の無線通信方式により無線通信してよい。通信インタフェース120は、任意の有線通信方式により有線通信してよい。通信インタフェース120は、空撮画像や空撮画像に関する付加情報(メタデータ)を、遠隔操縦機50や外部装置に送信してよい。 The communication interface 120 communicates with the remote control device 50 and an external device (not shown). The communication interface 120 may perform wireless communication by any wireless communication method. The communication interface 120 may perform wired communication by any wired communication method. The communication interface 120 may transmit an aerial image or additional information (metadata) related to the aerial image to the remote control device 50 or an external device.

メモリ130は、UAV制御部110がジンバル200、回転翼機構210、撮像装置220、センサ230、GPS受信機240、慣性計測装置250、磁気コンパス260、および気圧高度計270を制御するのに必要なプログラム等を格納する。メモリ130は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSB(Universal Serial Bus)メモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ130は、無人航空機100から取り外し可能であってよい。メモリ130は、作業用メモリとして動作してよい。 The memory 130 is a program required for the UAV control unit 110 to control the gimbal 200, the rotary wing mechanism 210, the image pickup device 220, the sensor 230, the GPS receiver 240, the inertial measurement unit 250, the magnetic compass 260, and the barometric altimeter 270. Etc. are stored. The memory 130 may be a computer-readable recording medium, and may be a SRAM (Static Random Access Memory), a DRAM (Dynamic Random Access Memory), an EPROM (Erasable Programmable Read Only Memory), an EPROM (Electrically Erasable Programmable Read-Only Memory), and an EPROM (Electrically Erasable Programmable Read-Only Memory). It may include at least one of flash memories such as USB (Universal Serial Bus) memory. The memory 130 may be removable from the unmanned aerial vehicle 100. The memory 130 may operate as a working memory.

ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置220を回転させることで、撮像装置220の姿勢を変更してよい。ジンバル200による撮像装置220の回転は、遠隔操縦機50からUAV制御部110が受信した制御信号に基づいて制御されてよい。 The gimbal 200 may rotatably support the image pickup device 220 about the yaw axis, the pitch axis, and the roll axis. The gimbal 200 may change the posture of the image pickup device 220 by rotating the image pickup device 220 about at least one of the yaw axis, the pitch axis, and the roll axis. The rotation of the image pickup device 220 by the gimbal 200 may be controlled based on the control signal received by the UAV control unit 110 from the remote control device 50.

撮像装置220は、撮像範囲の被写体を撮像して撮像画像データを生成する。撮像装置220の撮像により得られた撮像画像データ(例えば空撮画像)は、撮像装置220が有するメモリ13、または図示を省略するストレージに格納されてよい。加えて、撮像画像データは、通信インタフェース120を介して外部装置へと送信されてよい。この外部送信された撮像画像データは、図示を省略する表示装置に表示されてよい。このようにして、無人航空機100は空撮画像をライブ配信することができる。このライブ配信を4Kや8K等の高解像度の画像によって行う場合には、高解像度のデータを伝送可能な、通信品質の高い領域を、無人航空機100が飛行している必要がある。 The image pickup apparatus 220 captures a subject in the imaging range and generates captured image data. The captured image data (for example, an aerial image) obtained by the imaging of the imaging device 220 may be stored in the memory 13 of the imaging device 220 or a storage (not shown). In addition, the captured image data may be transmitted to an external device via the communication interface 120. The externally transmitted captured image data may be displayed on a display device (not shown). In this way, the unmanned aerial vehicle 100 can live-deliver aerial images. When this live distribution is performed by a high-resolution image such as 4K or 8K, the unmanned aerial vehicle 100 needs to fly in a region having high communication quality capable of transmitting high-resolution data.

GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人航空機100の位置)を算出する。GPS受信機240は、無人航空機100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。 The GPS receiver 240 receives a plurality of signals indicating the time transmitted from the plurality of navigation satellites (that is, GPS satellites) and the position (coordinates) of each GPS satellite. The GPS receiver 240 calculates the position of the GPS receiver 240 (that is, the position of the unmanned aerial vehicle 100) based on the plurality of received signals. The GPS receiver 240 outputs the position information of the unmanned aerial vehicle 100 to the UAV control unit 110. The position information of the GPS receiver 240 may be calculated by the UAV control unit 110 instead of the GPS receiver 240. In this case, information indicating the time included in the plurality of signals received by the GPS receiver 240 and the position of each GPS satellite is input to the UAV control unit 110.

慣性計測装置250は、無人航空機100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置250は、無人航空機100の姿勢として、無人航空機100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出してよい。また、慣性計測装置250が検出した加速度等の値から、無人航空機100の速度を検出してもよい。 The inertial measurement unit 250 detects the attitude of the unmanned aerial vehicle 100 and outputs the detection result to the UAV control unit 110. The inertial measurement unit 250 detects, as the posture of the unmanned aerial vehicle 100, the acceleration in the three axial directions of the unmanned aerial vehicle 100 in the front-rear direction, the left-right direction, and the up-down direction, and the angular velocity in the three-axis directions of the pitch axis, the roll axis, and the yaw axis. It's okay. Further, the speed of the unmanned aerial vehicle 100 may be detected from the values such as the acceleration detected by the inertial measurement unit 250.

磁気コンパス260は、無人航空機100の機首の方位を検出し、検出結果をUAV制御部110に出力する。 The magnetic compass 260 detects the direction of the nose of the unmanned aerial vehicle 100 and outputs the detection result to the UAV control unit 110.

気圧高度計270は、無人航空機100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。 The barometric altimeter 270 detects the altitude at which the unmanned aerial vehicle 100 flies, and outputs the detection result to the UAV control unit 110.

次に、撮像装置220側の構成を説明する。撮像装置220はカメラボディ221とカメラレンズ222を備える。カメラレンズ222は、カメラボディ221から取り外し可能なものであっても、カメラボディ221と一体型のものであってもよい。 Next, the configuration on the imaging device 220 side will be described. The image pickup apparatus 220 includes a camera body 221 and a camera lens 222. The camera lens 222 may be removable from the camera body 221 or may be integrated with the camera body 221.

カメラボディ221は、撮像制御部11と、撮像素子12と、メモリ13と、加速度センサ14とを備える。カメラボディ221は、シャッタ駆動部やゲイン制御部、フラッシュ等の、追加の構成を備えてもよい。 The camera body 221 includes an image pickup control unit 11, an image pickup element 12, a memory 13, and an acceleration sensor 14. The camera body 221 may include additional configurations such as a shutter drive unit, a gain control unit, and a flash.

撮像制御部11は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等のマイクロプロセッサ、MCU(Micro Control Unit)等のマイクロコントローラなどにより構成されていてよい。撮像制御部11は、撮像装置220による撮像処理全般を制御する。この制御は、UAV制御部110からの動作命令に応じて行ってもよい。また、撮像制御部11は、露光時間、絞り(アイリス)などの撮像条件を決定する。撮像制御部11は、撮像素子12に撮像の指示を送出してよい。 The image pickup control unit 11 may be composed of a microprocessor such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit), a microcontroller such as an MCU (Micro Control Unit), or the like. The image pickup control unit 11 controls the entire image pickup process by the image pickup apparatus 220. This control may be performed in response to an operation command from the UAV control unit 110. In addition, the image pickup control unit 11 determines imaging conditions such as an exposure time and an aperture (iris). The image pickup control unit 11 may send an image pickup instruction to the image pickup device 12.

カメラレンズ222を通って入射した光は、撮像素子12の撮像面上に結像する。撮像素子12は、撮像面上に結像した光学像を光電変換し、画像信号として出力する。撮像素子12には、CCD(Charge Coupled Device:電荷結合素子)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor:相補型MOS)イメージセンサが用いられてよい。 The light incident through the camera lens 222 is imaged on the image pickup surface of the image pickup element 12. The image sensor 12 photoelectrically converts the optical image formed on the image pickup surface and outputs it as an image signal. A CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor: Complementary MOS) image sensor may be used as the image pickup device 12.

撮像制御部11は、画像信号に対し、アナログデジタル変換を行って画像データを生成してよい。撮像制御部11は、シェーディング補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ディベイヤ、圧縮等の各種の画像処理を行ってよい。 The image pickup control unit 11 may generate image data by performing analog-to-digital conversion on the image signal. The image pickup control unit 11 may perform various image processing such as shading correction, color correction, contour enhancement, noise removal, gamma correction, debayer, and compression.

メモリ13は、各種データや画像データを記憶する記憶媒体である。メモリ13は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSB(Universal Serial Bus)メモリなどであってよい。メモリ13は、カメラボディ221から取り外し可能に設けられてよい。メモリ13は、撮像制御部11が撮像素子12等を制御するのに必要なプログラム等を格納してよい。メモリ13は、例えば、シャッタスピードS、F値、ISO感度、ND値を基に露光量を算出するための露光制御情報を保持してよい。ISO感度は、ゲインに対応する値である。ND値は減光フィルタによる減光度を表す。露光制御情報は、AEアルゴリズムを含む。なお、メモリ13と同様のメモリ18をカメラレンズ222側に設けてよい。メモリ18は、レンズ制御部17によって行われる処理に有用なデータを保存しておくことができる。 The memory 13 is a storage medium for storing various data and image data. The memory 13 may be a computer-readable recording medium, and may be a SRAM (Static Random Access Memory), a DRAM (Dynamic Random Access Memory), an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Erasable Programmable Read-Only Memory), and an EEPROM. It may be a USB (Universal Serial Bus) memory or the like. The memory 13 may be provided so as to be removable from the camera body 221. The memory 13 may store a program or the like necessary for the image pickup control unit 11 to control the image pickup device 12 or the like. The memory 13 may hold, for example, exposure control information for calculating the exposure amount based on the shutter speed S, F value, ISO sensitivity, and ND value. The ISO sensitivity is a value corresponding to the gain. The ND value represents the degree of dimming by the dimming filter. The exposure control information includes an AE algorithm. A memory 18 similar to the memory 13 may be provided on the camera lens 222 side. The memory 18 can store data useful for processing performed by the lens control unit 17.

加速度センサ14は、撮像装置220の加速度を検出する。加速度センサ14は、カメラレンズ222に設けられてもよい。加速度センサ14は、3軸加速度センサであってよい。 The acceleration sensor 14 detects the acceleration of the image pickup device 220. The acceleration sensor 14 may be provided on the camera lens 222. The acceleration sensor 14 may be a 3-axis acceleration sensor.

カメラレンズ222は、レンズ群15を備える。レンズ群15は、被写体からの光を集光して撮像素子12に結像する。図2には、レンズ群15が備える、レンズ15A、15Bおよび15Cの3枚のレンズが示されている。しかし、レンズ群15が備えるレンズの枚数は2枚以下や4枚以上であってもよい。レンズ群15は、フォーカスレンズ、ズームレンズ、像振れ補正用レンズ等を含んでいてよい。レンズ群15に含まれるレンズ15A、15B、および15Cはそれぞれ、レンズ駆動部16A、16B、および16Cによって駆動される。レンズ駆動部16A、16B、および16Cはモータ(図示せず)を有し、レンズ制御部17からの制御信号を入力すると、ズームレンズ及びフォーカスレンズを含むレンズ群15を光軸方向に移動させてよい。レンズ駆動部16は、ズームレンズを移動させてズーム倍率を変更するズーミング動作を行う場合、レンズ群15を収容する鏡筒を前後方向に伸縮させてよい。 The camera lens 222 includes a lens group 15. The lens group 15 collects light from the subject and forms an image on the image pickup device 12. FIG. 2 shows three lenses 15A, 15B, and 15C included in the lens group 15. However, the number of lenses included in the lens group 15 may be 2 or less or 4 or more. The lens group 15 may include a focus lens, a zoom lens, an image shake correction lens, and the like. The lenses 15A, 15B, and 15C included in the lens group 15 are driven by the lens driving units 16A, 16B, and 16C, respectively. The lens driving units 16A, 16B, and 16C have motors (not shown), and when a control signal from the lens control unit 17 is input, the lens group 15 including the zoom lens and the focus lens is moved in the optical axis direction. good. When the lens driving unit 16 performs a zooming operation in which the zoom lens is moved to change the zoom magnification, the lens barrel accommodating the lens group 15 may be expanded and contracted in the front-rear direction.

図3は、制御装置による無人航空機100および撮像装置220の第1の制御パターンを示す概念図である。制御装置は、UAV制御部110を備えた装置であってよい。制御装置は、UAV制御部110および撮像制御部11を備えた装置であってもよい。また、制御装置は、無人航空機100から見た外部装置(例えば遠隔操縦機50)であってもよく、外部装置が無人航空機100および撮像装置220を遠隔制御してもよい。以下、制御装置はUAV制御部110を備えた装置であるという前提で、第1の制御パターンを説明する。 FIG. 3 is a conceptual diagram showing a first control pattern of the unmanned aerial vehicle 100 and the image pickup device 220 by the control device. The control device may be a device including the UAV control unit 110. The control device may be a device including a UAV control unit 110 and an image pickup control unit 11. Further, the control device may be an external device (for example, the remote control device 50) viewed from the unmanned aerial vehicle 100, or the external device may remotely control the unmanned aerial vehicle 100 and the image pickup device 220. Hereinafter, the first control pattern will be described on the premise that the control device is a device including the UAV control unit 110.

無人航空機100が空中を飛行している。この例において、無人航空機100は、被写体OBJに対して接近しながら、撮像装置220を用いて被写体OBJを撮像する。遠隔操縦機50(図1参照)を把持したユーザは、無人航空機100が被写体OBJに対して水平移動で接近するように、遠隔操縦機50を操作し、この端末からの制御信号を受信したUAV制御部110が、無人航空機100の移動制御を行う。 Unmanned aerial vehicle 100 is flying in the air. In this example, the unmanned aerial vehicle 100 uses the image pickup device 220 to image the subject OBJ while approaching the subject OBJ. The user holding the remote controller 50 (see FIG. 1) operates the remote controller 50 so that the unmanned aerial vehicle 100 approaches the subject OBJ by horizontal movement, and receives a control signal from this terminal. The control unit 110 controls the movement of the unmanned aerial vehicle 100.

無人航空機100が飛行する空間、すなわち無人航空機100が備える撮像装置220が撮像時に移動し得る空間には、通信品質が所定の基準より良い領域Bと、通信品質が所定の基準より良くない領域Aおよび領域Cとが存在する。例えば、所定の基準が「動画の解像度が4K(3840×2160ピクセル)でリアルタイム配信が可能であること」であったとする。この場合、通信品質が所定の基準より良い領域Bは、撮像画像を4K(3840×2160ピクセル)や8K(7680×4320ピクセル)等の高画質でリアルタイム配信するのに十分な通信品質を備えている。一方、通信品質が所定の基準より良くない領域Aおよび領域Cは、撮像画像の4Kや8K等の高画質でのリアルタイム配信できる程の通信品質を備えていない。 In the space where the unmanned aerial vehicle 100 flies, that is, the space where the image pickup device 220 included in the unmanned aerial vehicle 100 can move at the time of imaging, the area B where the communication quality is better than the predetermined standard and the area A where the communication quality is not better than the predetermined standard And the region C exists. For example, it is assumed that the predetermined standard is "the resolution of the moving image is 4K (3840 x 2160 pixels) and real-time distribution is possible". In this case, the region B whose communication quality is better than a predetermined standard has sufficient communication quality to deliver the captured image in real time with high image quality such as 4K (3840 × 2160 pixels) or 8K (7680 × 4320 pixels). There is. On the other hand, the regions A and C whose communication quality is not better than a predetermined standard do not have enough communication quality to deliver the captured image in real time with high image quality such as 4K or 8K.

領域Aと領域Bとの間の境界面を、飛行上限境界面ULと表現し、領域Bと領域Cとの境界面を、飛行下限境界面LLと表現する。なお、説明の便宜上、通信品質に差がある領域が、上記の空間における上下に分かれて存在していることを例示した。しかし実際には、上記の空間における水平方向や斜め方向においても、通信品質に差が生じ得る。この通信品質の差は、通信インタフェース120を介してUAV制御部110が取得する上述の通信品質情報の中で、空間上の座標毎あるいは領域毎の通信品質の高さを示す値、等の形態で表現されている。そのため、通信品質情報を取得したUAV制御部110は、空間上の通信品質が良い場所(領域B)と通信品質の良くない場所(領域Aおよび領域C)とを特定することができる。ここでは、無人航空機100が上昇又は下降することを前提に説明している。しかしながら、無人航空機100が地表に対して水平方向に移動することを前提としてもよい。この場合には、無人航空機100は前後左右の少なくとも1つ方向に飛行境界面を有する。 The boundary surface between the area A and the area B is expressed as the flight upper limit boundary surface UL, and the boundary surface between the area B and the area C is expressed as the flight lower limit boundary surface LL. For convenience of explanation, it is illustrated that regions having a difference in communication quality exist separately in the upper and lower parts in the above space. However, in reality, there may be a difference in communication quality even in the horizontal direction and the diagonal direction in the above space. This difference in communication quality is in the form of a value indicating the high level of communication quality for each coordinate or region in space in the above-mentioned communication quality information acquired by the UAV control unit 110 via the communication interface 120. It is expressed by. Therefore, the UAV control unit 110 that has acquired the communication quality information can identify a place in the space where the communication quality is good (area B) and a place where the communication quality is not good (area A and area C). Here, the description is made on the premise that the unmanned aerial vehicle 100 goes up or down. However, it may be assumed that the unmanned aerial vehicle 100 moves horizontally with respect to the ground surface. In this case, the unmanned aerial vehicle 100 has flight boundaries in at least one direction, front, back, left, and right.

無人航空機100は、通信品質の良い領域を飛行した方が、撮像装置220が撮像した撮像画像データをより高品質で、外部装置へと送信(リアルタイム配信)することができる。そのため、遠隔操縦機50からの制御信号を受信したUAV制御部110は、通信品質情報が示す通信品質が所定の基準より良い領域Bを、無人航空機100が飛行(移動)するように、無人航空機100の飛行(移動)を制御する。図示した例においては、UAV制御部110の制御により、飛行上限境界面ULと、飛行下限境界面LLとの間を、無人航空機100が飛行する。なお、UAV制御部110は、飛行上限境界面ULと飛行下限境界面LLとの中間付近ではなく、無人航空機100が可能な限り水平飛行できるような、図3に矢印で示した位置を、無人航空機100が飛行するように制御してよい。 The unmanned aerial vehicle 100 can transmit (real-time distribution) the captured image data captured by the imaging device 220 to an external device with higher quality when the unmanned aerial vehicle 100 flies in an area with good communication quality. Therefore, the UAV control unit 110 that has received the control signal from the remote control aircraft 50 receives the unmanned aerial vehicle 100 so that the unmanned aerial vehicle 100 flies (moves) in the region B where the communication quality indicated by the communication quality information is better than a predetermined standard. Control 100 flights (movements). In the illustrated example, the unmanned aerial vehicle 100 flies between the flight upper limit boundary surface UL and the flight lower limit boundary surface LL under the control of the UAV control unit 110. The UAV control unit 110 is not located near the middle of the flight upper limit boundary surface UL and the flight lower limit boundary surface LL, but at a position indicated by an arrow in FIG. 3 so that the unmanned aerial vehicle 100 can fly as horizontally as possible. The aircraft 100 may be controlled to fly.

UAV制御部110はさらに、通信品質情報に基づいて、撮像装置220の姿勢を所定の状態に維持するように、撮像装置220の姿勢を制御する。図示した例においては、UAV制御部110は、被写体OBJに対する撮像装置220のカメラアングルが変わらないように、撮像装置220の姿勢を制御する。この姿勢制御は、UAV制御部110がジンバル200の回転を制御することにより可能である。さらに、撮像装置220に含まれるレンズ(図2の例では、カメラレンズ222のレンズ群15)のフォーカスやズームを変動させるように、UAV制御部110が撮像制御部11に制御信号を送信してもよい。 The UAV control unit 110 further controls the posture of the image pickup device 220 so as to maintain the posture of the image pickup device 220 in a predetermined state based on the communication quality information. In the illustrated example, the UAV control unit 110 controls the posture of the image pickup device 220 so that the camera angle of the image pickup device 220 with respect to the subject OBJ does not change. This attitude control is possible by the UAV control unit 110 controlling the rotation of the gimbal 200. Further, the UAV control unit 110 transmits a control signal to the image pickup control unit 11 so as to change the focus and zoom of the lens included in the image pickup apparatus 220 (in the example of FIG. 2, the lens group 15 of the camera lens 222). May be good.

ここで、ユーザが遠隔操縦機50に対して行った操作は、無人航空機100が被写体OBJに対して水平移動で接近することを意図した操作であった。すなわち、UAV制御部110が上述のような制御を行うことにより、無人航空機100はユーザが意図した通りに移動し、ユーザが意図した通りの撮像画像(被写体OBJに水平に接近するような画像であって、例えば4K以上の解像度のもの)を取得して、リアルタイム配信することができる。 Here, the operation performed by the user on the remote control aircraft 50 was an operation intended for the unmanned aerial vehicle 100 to approach the subject OBJ by horizontal movement. That is, when the UAV control unit 110 performs the above-mentioned control, the unmanned aerial vehicle 100 moves as intended by the user, and the captured image as intended by the user (an image that approaches the subject OBJ horizontally). Therefore, it is possible to acquire (for example, a resolution of 4K or higher) and deliver it in real time.

なお、被写体OBJに対する撮像装置220のカメラアングルが変わらないようにすることは、撮像装置220の姿勢を所定の状態に維持することの一例である。例えば、ユーザが被写体OBJをローアングルからハイアングルまで一定の角度変化を伴って撮像したい場合、UAV制御部110はジンバル200を制御して、ピッチ軸を中心に撮像装置220を所定の速度で回転させる。この時、UAV制御部110は、回転翼機構210を制御して、無人航空機100を上昇させる。他にもユーザが被写体OBJを一定の角度変化をもってパンニングすることがある。この場合には、ヨー軸を中心に撮像装置220を所定の速度で回転させる。この時、UAV制御部110は、回転翼機構210を制御して無人航空機100を地表に対して水平方向に移動させる。このような、撮像装置220を所定の速度で回転させることもまた、撮像装置220の姿勢を所定の状態に維持することの一例である。撮像装置220の姿勢を維持するときに、ズーム動作やフォーカス動作を合わせて行っても良い。このようにすることで、被写体OBJに対して合焦を維持しつつ画角を維持することができる。 Keeping the camera angle of the image pickup device 220 with respect to the subject OBJ unchanged is an example of maintaining the posture of the image pickup device 220 in a predetermined state. For example, when the user wants to image the subject OBJ with a constant angle change from a low angle to a high angle, the UAV control unit 110 controls the gimbal 200 and rotates the image pickup device 220 at a predetermined speed around the pitch axis. Let me. At this time, the UAV control unit 110 controls the rotary wing mechanism 210 to raise the unmanned aerial vehicle 100. In addition, the user may pan the subject OBJ with a constant angle change. In this case, the image pickup apparatus 220 is rotated at a predetermined speed around the yaw axis. At this time, the UAV control unit 110 controls the rotary wing mechanism 210 to move the unmanned aerial vehicle 100 in the horizontal direction with respect to the ground surface. Rotating the image pickup device 220 at a predetermined speed is also an example of maintaining the posture of the image pickup device 220 in a predetermined state. When maintaining the posture of the image pickup apparatus 220, the zoom operation and the focus operation may be performed together. By doing so, it is possible to maintain the angle of view while maintaining the focus on the subject OBJ.

図4は、制御装置による無人航空機100および撮像装置220の第2の制御パターンを示す概念図である。制御装置は、UAV制御部110を備えた装置であってよい。制御装置は、UAV制御部110および撮像制御部11を備えた装置であってもよい。また、制御装置は、無人航空機100から見た外部装置(例えば遠隔操縦機50)であってもよく、外部装置が無人航空機100および撮像装置220を遠隔制御してもよい。以下、制御装置はUAV制御部110を備えた装置であるという前提で、第2の制御パターンを説明する。 FIG. 4 is a conceptual diagram showing a second control pattern of the unmanned aerial vehicle 100 and the image pickup device 220 by the control device. The control device may be a device including the UAV control unit 110. The control device may be a device including a UAV control unit 110 and an image pickup control unit 11. Further, the control device may be an external device (for example, the remote control device 50) viewed from the unmanned aerial vehicle 100, or the external device may remotely control the unmanned aerial vehicle 100 and the image pickup device 220. Hereinafter, the second control pattern will be described on the premise that the control device is a device including the UAV control unit 110.

無人航空機100が空中を飛行している。この例において、無人航空機100は、被写体OBJに対して接近しながら、撮像装置220を用いて被写体OBJを撮像する。遠隔操縦機50(図1参照)を把持したユーザは、無人航空機100が被写体OBJに対して水平移動で接近するように、遠隔操縦機50を操作し、この端末からの制御信号を受信したUAV制御部110が、無人航空機100の移動制御を行う。 Unmanned aerial vehicle 100 is flying in the air. In this example, the unmanned aerial vehicle 100 uses the image pickup device 220 to image the subject OBJ while approaching the subject OBJ. The user holding the remote controller 50 (see FIG. 1) operates the remote controller 50 so that the unmanned aerial vehicle 100 approaches the subject OBJ by horizontal movement, and receives a control signal from this terminal. The control unit 110 controls the movement of the unmanned aerial vehicle 100.

無人航空機100が飛行する空間、すなわち無人航空機100が備える撮像装置220が撮像時に移動し得る空間には、通信品質が所定の基準より良い領域Bと、通信品質が所定の基準より良くない領域Aおよび領域Cとが存在する。例えば、所定の基準が「動画の解像度が4K(3840×2160ピクセル)でリアルタイム配信が可能であること」であったとする。この場合、通信品質が所定の基準より良い領域Bは、撮像画像を4K(3840×2160ピクセル)や8K(7680×4320ピクセル)等の高画質でリアルタイム配信するのに十分な通信品質を備えている。一方、通信品質が所定の基準より良くない領域Aおよび領域Cは、撮像画像の4Kや8K等の高画質でのリアルタイム配信できる程の通信品質を備えていない。 In the space where the unmanned aerial vehicle 100 flies, that is, the space where the image pickup device 220 included in the unmanned aerial vehicle 100 can move at the time of imaging, the area B where the communication quality is better than the predetermined standard and the area A where the communication quality is not better than the predetermined standard And the region C exists. For example, it is assumed that the predetermined standard is "the resolution of the moving image is 4K (3840 x 2160 pixels) and real-time distribution is possible". In this case, the region B whose communication quality is better than a predetermined standard has sufficient communication quality to deliver the captured image in real time with high image quality such as 4K (3840 × 2160 pixels) or 8K (7680 × 4320 pixels). There is. On the other hand, the regions A and C whose communication quality is not better than a predetermined standard do not have enough communication quality to deliver the captured image in real time with high image quality such as 4K or 8K.

図3と同様に、領域Aと領域Bとの間の境界面を、飛行上限境界面ULと表現し、領域Bと領域Cとの境界面を、飛行下限境界面LLと表現する。上記の空間における上下方向だけでなく水平方向や斜め方向においても、通信品質に差が生じ得ること、この通信品質の差は上述の通信品質情報の中で表現されていること、通信品質情報を取得したUAV制御部110は、空間上の通信品質が良い場所(領域B)と通信品質の良くない場所(領域Aおよび領域C)とを特定することができること等は、図3における説明と同様である。 Similar to FIG. 3, the boundary surface between the area A and the area B is expressed as the flight upper limit boundary surface UL, and the boundary surface between the area B and the area C is expressed as the flight lower limit boundary surface LL. Communication quality may differ not only in the vertical direction but also in the horizontal direction and diagonal direction in the above space, this difference in communication quality is expressed in the above communication quality information, and communication quality information. The acquired UAV control unit 110 can identify a place having good communication quality (area B) and a place having poor communication quality (area A and area C) in the space, and the like is the same as the description in FIG. Is.

無人航空機100は、通信品質の良い領域を飛行した方が、撮像装置220が撮像した撮像画像データをより高品質で、外部装置へと送信(リアルタイム配信)することができる。そのため、遠隔操縦機50からの制御信号を受信したUAV制御部110は、通信品質情報が示す通信品質が所定の基準より良い領域Bを、無人航空機100が飛行(移動)するように、無人航空機100の飛行(移動)を制御する。図示した例においては、UAV制御部110の制御により、飛行上限境界面ULと、飛行下限境界面LLとの間を、無人航空機100が飛行する。 The unmanned aerial vehicle 100 can transmit (real-time distribution) the captured image data captured by the imaging device 220 to an external device with higher quality when the unmanned aerial vehicle 100 flies in an area with good communication quality. Therefore, the UAV control unit 110 that has received the control signal from the remote control aircraft 50 receives the unmanned aerial vehicle 100 so that the unmanned aerial vehicle 100 flies (moves) in the region B where the communication quality indicated by the communication quality information is better than a predetermined standard. Control 100 flights (movements). In the illustrated example, the unmanned aerial vehicle 100 flies between the flight upper limit boundary surface UL and the flight lower limit boundary surface LL under the control of the UAV control unit 110.

ここで、図3に示した第1の制御パターンとは異なり、仮に無人航空機100が水平飛行を続けたとすると、無人航空機100は、通信品質が所定の基準より良い領域Bから、通信品質が所定の基準より良くない領域Cへと逸脱してしまうことになる。領域Cにおいては、撮像装置220が撮像した撮像画像を、高画質でリアルタイム配信することはできない。 Here, unlike the first control pattern shown in FIG. 3, if the unmanned aerial vehicle 100 continues to fly horizontally, the unmanned aerial vehicle 100 has a predetermined communication quality from a region B in which the communication quality is better than a predetermined standard. It will deviate to the region C which is not better than the standard of. In the region C, the captured image captured by the imaging device 220 cannot be delivered in real time with high image quality.

そこで無人航空機100は、撮像装置220のカメラアングルを水平に保つことよりも、通信品質の良い領域を飛行することを優先し、領域Aの外へと逸脱しないようなルートで飛行する。このような飛行ルートの一例は、飛行上限境界面ULと飛行下限境界面LLとの中間付近を通る、図中の矢印で示したようなルートである。UAV制御部110は、領域Aの外へと逸脱しないようなルートを設定し、設定されたルートに沿って飛行(移動)するように、無人航空機100の飛行(移動)を制御する。UAV制御部110の前述のような制御により、撮像装置220を備えた無人航空機100は、外部装置との間の良好な通信品質を維持することができる。 Therefore, the unmanned aerial vehicle 100 gives priority to flying in a region with good communication quality rather than keeping the camera angle of the image pickup device 220 horizontal, and flies on a route that does not deviate from the region A. An example of such a flight route is a route as shown by an arrow in the figure, which passes near the middle of the flight upper limit boundary surface UL and the flight lower limit boundary surface LL. The UAV control unit 110 sets a route that does not deviate from the area A, and controls the flight (movement) of the unmanned aerial vehicle 100 so as to fly (move) along the set route. By the above-mentioned control of the UAV control unit 110, the unmanned aerial vehicle 100 provided with the image pickup device 220 can maintain good communication quality with the external device.

一方、上記のように設定されたルートに沿って無人航空機100が飛行した場合、水平飛行を維持することはできない。そこでUAV制御部110は、通信品質情報に基づいて、被写体OBJを撮像し続けることができるように、撮像装置220の姿勢を制御する。図示した例においては、UAV制御部110はジンバル200を制御して、無人航空機100が斜めに上昇を始めた時点から、ピッチ軸を中心に撮像装置220が徐々に下向きになるように回転させる。例えば、この撮像装置220の下向き回転は、撮像装置220のカメラレンズ222の光軸の延長線上に、被写体OBJが存在し続けるように行われる。さらに、撮像装置220に含まれるレンズ(図2の例では、カメラレンズ222のレンズ群15)のフォーカスやズームを変動させるように、UAV制御部110が撮像制御部11に制御信号を送信してもよい。 On the other hand, when the unmanned aerial vehicle 100 flies along the route set as described above, the level flight cannot be maintained. Therefore, the UAV control unit 110 controls the posture of the image pickup device 220 so that the subject OBJ can continue to be imaged based on the communication quality information. In the illustrated example, the UAV control unit 110 controls the gimbal 200 to rotate the image pickup device 220 gradually downward about the pitch axis from the time when the unmanned aerial vehicle 100 starts to ascend diagonally. For example, the downward rotation of the image pickup device 220 is performed so that the subject OBJ continues to exist on the extension line of the optical axis of the camera lens 222 of the image pickup device 220. Further, the UAV control unit 110 transmits a control signal to the image pickup control unit 11 so as to change the focus and zoom of the lens included in the image pickup apparatus 220 (in the example of FIG. 2, the lens group 15 of the camera lens 222). May be good.

ここで、ユーザが遠隔操縦機50に対して行った操作は、無人航空機100が被写体OBJに対して水平移動で接近することを意図した操作であった。UAV制御部110が上述のような制御を行うことにより、無人航空機100は水平移動せず、撮像装置220のカメラアングルが変動するものの、被写体OBJを撮像し続けることができる。また、通信品質の高さを維持できるので、撮像動画を、ユーザが意図した通りの解像度(例えば4K以上の解像度)でリアルタイム配信することができる。 Here, the operation performed by the user on the remote control aircraft 50 was an operation intended for the unmanned aerial vehicle 100 to approach the subject OBJ by horizontal movement. By performing the above-mentioned control by the UAV control unit 110, the unmanned aerial vehicle 100 does not move horizontally, and although the camera angle of the image pickup device 220 fluctuates, the subject OBJ can continue to be imaged. Further, since the high communication quality can be maintained, the captured moving image can be delivered in real time at the resolution intended by the user (for example, a resolution of 4K or more).

図5は、制御装置が実行する制御パターン選択処理の一例を示すフローチャートである。制御装置は、UAV制御部110を備えた装置であってよい。制御装置は、UAV制御部110および撮像制御部11を備えた装置であってもよい。また、制御装置は、無人航空機100から見た外部装置(例えば遠隔操縦機50)であってもよく、外部装置が無人航空機100および撮像装置220を遠隔制御してもよい。以下、制御装置はUAV制御部110を備えた装置であるという前提で、図5に示したフローチャートを説明する。 FIG. 5 is a flowchart showing an example of the control pattern selection process executed by the control device. The control device may be a device including the UAV control unit 110. The control device may be a device including a UAV control unit 110 and an image pickup control unit 11. Further, the control device may be an external device (for example, the remote control device 50) viewed from the unmanned aerial vehicle 100, or the external device may remotely control the unmanned aerial vehicle 100 and the image pickup device 220. Hereinafter, the flowchart shown in FIG. 5 will be described on the assumption that the control device is a device including the UAV control unit 110.

ステップSt1において、UAV制御部110が、無人航空機100(および撮像装置220)が存在する付近の空間の通信品質情報を取得する。この通信品質情報は、例えば、図示を省略する外部サーバ等から、通信インタフェース120を介して受信してよい。無人航空機100(および撮像装置220)が存在する付近の空間の範囲については、図2に基づき上述した通りである。 In step St1, the UAV control unit 110 acquires communication quality information in the space near the unmanned aerial vehicle 100 (and the imaging device 220). This communication quality information may be received from, for example, an external server (not shown) or the like via the communication interface 120. The range of space in the vicinity of the unmanned aerial vehicle 100 (and the imaging device 220) is as described above based on FIG.

ステップSt2において、UAV制御部110は、取得した通信品質情報に基づいて、通信品質情報が示す通信品質が所定の基準より良い領域を無人航空機100が飛行した場合に、撮像装置220の姿勢を所定の状態に維持できるか否かを判定する。例えば、無人航空機100が水平飛行を行って被写体OBJに接近しながら撮像を行う場合、図3および図4に示した領域Bを無人航空機100が飛行しながら、撮像装置220のカメラアングルを一定のまま維持できるか否かを判定する。通信品質情報が示す通信品質が所定の基準より良い領域を無人航空機100が飛行した場合に、撮像装置220の姿勢を所定の状態に維持できると判定された場合(ステップSt2:Yes)、ステップSt3へと処理が遷移する。一方、通信品質情報が示す通信品質が所定の基準より良い領域を無人航空機100が飛行した場合に、撮像装置220の姿勢を所定の状態に維持できないと判定された場合(ステップSt2:No)、ステップSt4へと処理が遷移する。 In step St2, the UAV control unit 110 determines the posture of the image pickup device 220 based on the acquired communication quality information when the unmanned aerial vehicle 100 flies in a region where the communication quality indicated by the communication quality information is better than a predetermined standard. Judge whether or not the state can be maintained. For example, when the unmanned aerial vehicle 100 flies horizontally and takes an image while approaching the subject OBJ, the camera angle of the imaging device 220 is constant while the unmanned aerial vehicle 100 flies in the area B shown in FIGS. 3 and 4. Determine if it can be maintained as it is. When it is determined that the attitude of the image pickup apparatus 220 can be maintained in a predetermined state when the unmanned aerial vehicle 100 flies in a region where the communication quality indicated by the communication quality information is better than a predetermined standard (step St2: Yes), step St3 The process transitions to. On the other hand, when it is determined that the attitude of the image pickup apparatus 220 cannot be maintained in a predetermined state when the unmanned aerial vehicle 100 flies in a region where the communication quality indicated by the communication quality information is better than a predetermined standard (step St2: No). The process transitions to step St4.

ステップSt3において、UAV制御部110は、図3に示した制御パターン1に従った制御を行う。すなわちUAV制御部110は、通信品質情報が示す通信品質が所定の基準より良い領域(図3および図4における領域Bに相当)を無人航空機100が飛行(移動)するように、無人航空機100の飛行(移動)を制御する。さらに、UAV制御部110は、通信品質情報に基づいて、撮像装置220の姿勢を所定の状態に維持するように、撮像装置220の姿勢を制御する。例えば、無人航空機100が水平飛行を行って被写体OBJに接近しながら撮像を行う場合、UAV制御部110は、被写体OBJに対する撮像装置220のカメラアングルが変わらないように、撮像装置220の姿勢を制御する。 In step St3, the UAV control unit 110 performs control according to the control pattern 1 shown in FIG. That is, the UAV control unit 110 sets the unmanned aerial vehicle 100 so that the unmanned aerial vehicle 100 flies (moves) in a region where the communication quality indicated by the communication quality information is better than a predetermined reference (corresponding to the region B in FIGS. 3 and 4). Control flight (movement). Further, the UAV control unit 110 controls the posture of the image pickup device 220 so as to maintain the posture of the image pickup device 220 in a predetermined state based on the communication quality information. For example, when the unmanned aerial vehicle 100 makes a horizontal flight and takes an image while approaching the subject OBJ, the UAV control unit 110 controls the attitude of the image pickup device 220 so that the camera angle of the image pickup device 220 with respect to the subject OBJ does not change. do.

ステップSt4において、UAV制御部110は、図4に示した制御パターン2に従った制御を行う。すなわちUAV制御部110は、通信品質情報が示す通信品質が所定の基準より良い領域(図3および図4における領域Bに相当)を無人航空機100が飛行(移動)するように、無人航空機100の飛行(移動)を制御する。さらにUAV制御部110は、通信品質情報に基づいて、被写体OBJを撮像し続けることができるように、撮像装置220の姿勢を制御する。例えばUAV制御部110は、ジンバル200を制御して、無人航空機100が斜めに上昇を始めた時点から、ピッチ軸を中心に撮像装置220が徐々に下向きになるように回転させる。 In step St4, the UAV control unit 110 performs control according to the control pattern 2 shown in FIG. That is, the UAV control unit 110 sets the unmanned aerial vehicle 100 so that the unmanned aerial vehicle 100 flies (moves) in a region where the communication quality indicated by the communication quality information is better than a predetermined reference (corresponding to the region B in FIGS. 3 and 4). Control flight (movement). Further, the UAV control unit 110 controls the posture of the image pickup device 220 so that the subject OBJ can continue to be imaged based on the communication quality information. For example, the UAV control unit 110 controls the gimbal 200 to rotate the image pickup device 220 about the pitch axis so as to gradually face downward from the time when the unmanned aerial vehicle 100 starts to ascend diagonally.

以上のような制御をUAV制御部110が行うことにより、無人航空機100が飛行する空間の通信品質に応じて、撮像画像の用途に沿った適切な制御パターンを選択して、無人航空機100の飛行(移動)と撮像装置220の姿勢とを制御することができる。 By performing the above control by the UAV control unit 110, the flight of the unmanned aerial vehicle 100 is performed by selecting an appropriate control pattern according to the application of the captured image according to the communication quality of the space in which the unmanned aerial vehicle 100 flies. (Movement) and the posture of the image pickup device 220 can be controlled.

図6は、図4に示した第2の制御パターンの変形例を示す概念図である。変形例においても、制御装置は、UAV制御部110を備えた装置であってよい。制御装置は、UAV制御部110および撮像制御部11を備えた装置であってもよい。また、制御装置は、無人航空機100から見た外部装置(例えば遠隔操縦機50)であってもよく、外部装置が無人航空機100および撮像装置220を遠隔制御してもよい。以下、制御装置はUAV制御部110を備えた装置であるという前提で、第2の制御パターンの変形例を説明する。 FIG. 6 is a conceptual diagram showing a modified example of the second control pattern shown in FIG. Also in the modified example, the control device may be a device including the UAV control unit 110. The control device may be a device including a UAV control unit 110 and an image pickup control unit 11. Further, the control device may be an external device (for example, the remote control device 50) viewed from the unmanned aerial vehicle 100, or the external device may remotely control the unmanned aerial vehicle 100 and the image pickup device 220. Hereinafter, a modified example of the second control pattern will be described on the premise that the control device is a device including the UAV control unit 110.

無人航空機100が空中を飛行している。この例において、無人航空機100は、被写体OBJに対して接近しながら、撮像装置220を用いて被写体OBJを撮像する。遠隔操縦機50(図1参照)を把持したユーザは、無人航空機100が被写体OBJに対して水平移動で接近するように、遠隔操縦機50を操作し、この端末からの制御信号を受信したUAV制御部110が、無人航空機100の移動制御を行う。 Unmanned aerial vehicle 100 is flying in the air. In this example, the unmanned aerial vehicle 100 uses the image pickup device 220 to image the subject OBJ while approaching the subject OBJ. The user holding the remote controller 50 (see FIG. 1) operates the remote controller 50 so that the unmanned aerial vehicle 100 approaches the subject OBJ by horizontal movement, and receives a control signal from this terminal. The control unit 110 controls the movement of the unmanned aerial vehicle 100.

無人航空機100が飛行する空間、すなわち無人航空機100が備える撮像装置220が撮像時に移動し得る空間には、通信品質が所定の基準より良い領域Bと、通信品質が所定の基準より良くない領域Aおよび領域Cとが存在する。例えば、所定の基準が「動画の解像度が4K(3840×2160ピクセル)でリアルタイム配信が可能であること」であったとする。この場合、通信品質が所定の基準より良い領域Bは、撮像画像を4K(3840×2160ピクセル)や8K(7680×4320ピクセル)等の高画質でリアルタイム配信するのに十分な通信品質を備えている。一方、通信品質が所定の基準より良くない領域Aおよび領域Cは、撮像画像の4Kや8K等の高画質でのリアルタイム配信できる程の通信品質を備えていない。 In the space where the unmanned aerial vehicle 100 flies, that is, the space where the image pickup device 220 included in the unmanned aerial vehicle 100 can move at the time of imaging, the area B where the communication quality is better than the predetermined standard and the area A where the communication quality is not better than the predetermined standard And the region C exists. For example, it is assumed that the predetermined standard is "the resolution of the moving image is 4K (3840 x 2160 pixels) and real-time distribution is possible". In this case, the region B whose communication quality is better than a predetermined standard has sufficient communication quality to deliver the captured image in real time with high image quality such as 4K (3840 × 2160 pixels) or 8K (7680 × 4320 pixels). There is. On the other hand, the regions A and C whose communication quality is not better than a predetermined standard do not have enough communication quality to deliver the captured image in real time with high image quality such as 4K or 8K.

図3および図4と同様に、領域Aと領域Bとの間の境界面を、飛行上限境界面ULと表現し、領域Bと領域Cとの境界面を、飛行下限境界面LLと表現する。上記の空間における上下方向だけでなく水平方向や斜め方向においても、通信品質に差が生じ得ること、この通信品質の差は上述の通信品質情報の中で表現されていること、通信品質情報を取得したUAV制御部110は、空間上の通信品質が良い場所(領域B)と通信品質の良くない場所(領域Aおよび領域C)とを特定することができること等は、図3における説明と同様である。 Similar to FIGS. 3 and 4, the boundary surface between the area A and the area B is expressed as the flight upper limit boundary surface UL, and the boundary surface between the area B and the area C is expressed as the flight lower limit boundary surface LL. .. Communication quality may differ not only in the vertical direction but also in the horizontal direction and diagonal direction in the above space, this difference in communication quality is expressed in the above communication quality information, and communication quality information. The acquired UAV control unit 110 can identify a place having good communication quality (area B) and a place having poor communication quality (area A and area C) in the space, and the like is the same as the description in FIG. Is.

無人航空機100は、通信品質の良い領域を飛行した方が、撮像装置220が撮像した撮像画像データをより高品質で、外部装置へと送信(リアルタイム配信)することができる。そのため、遠隔操縦機50からの制御信号を受信したUAV制御部110は、通信品質情報が示す通信品質が所定の基準より良い領域Bの少なくとも一部を、無人航空機100が飛行(移動)するように、無人航空機100の飛行(移動)を制御する。図示した例においては、UAV制御部110の制御により、飛行上限境界面ULと、飛行下限境界面LLとの間を、無人航空機100が飛行する。 The unmanned aerial vehicle 100 can transmit (real-time distribution) the captured image data captured by the imaging device 220 to an external device with higher quality when the unmanned aerial vehicle 100 flies in an area with good communication quality. Therefore, the UAV control unit 110 that has received the control signal from the remote control aircraft 50 causes the unmanned aerial vehicle 100 to fly (move) in at least a part of the region B in which the communication quality indicated by the communication quality information is better than the predetermined reference. In addition, it controls the flight (movement) of the unmanned aerial vehicle 100. In the illustrated example, the unmanned aerial vehicle 100 flies between the flight upper limit boundary surface UL and the flight lower limit boundary surface LL under the control of the UAV control unit 110.

一方、図4に示した第2のパターンとは異なり、無人航空機100は水平飛行を維持する。すなわち、UAV制御部110は、通信品質情報が示す通信品質が所定の基準より良い領域Bに加えて、通信品質情報が示す通信品質が所定の基準より良くない領域Cを、無人航空機100が飛行(移動)するように、無人航空機100の飛行(移動)を制御する。ここで、領域Cにおいては、撮像装置220が撮像した撮像画像を、例えば4Kや8K等の高画質でリアルタイム配信することはできない。 On the other hand, unlike the second pattern shown in FIG. 4, the unmanned aerial vehicle 100 maintains level flight. That is, in the UAV control unit 110, the unmanned aerial vehicle 100 flies in the area B where the communication quality indicated by the communication quality information is better than the predetermined standard and in the area C where the communication quality indicated by the communication quality information is not better than the predetermined standard. The flight (movement) of the unmanned aerial vehicle 100 is controlled so as to (move). Here, in the region C, the captured image captured by the imaging device 220 cannot be delivered in real time with high image quality such as 4K or 8K.

しかしながら、無人航空機100が領域Cを飛行している時であっても、制御装置(UAV制御部110等)が撮像画像の転送レートを下げる為の処理を追加的に実行することにより、外部装置への撮像画像の配信を維持することができる。画像の転送レートを落とす為の処理の具体例としては、撮像画像の解像度を下げる、撮像装置220による撮像のフレームレートを下げる、撮像対象となる被写体OBJが明確である場合に背景を黒くしてデータフレームレートを下げる、画像転送の際の圧縮率を上げる、等がある。ただし、これらには限られない。無人航空機100は、撮像装置220が撮像した撮像画像の転送レートを下げた状態で、撮像画像を外部装置へとリアルタイム送信する。 However, even when the unmanned aerial vehicle 100 is flying in the area C, the control device (UAV control unit 110 or the like) additionally executes a process for lowering the transfer rate of the captured image, thereby causing an external device. It is possible to maintain the delivery of the captured image to. Specific examples of the process for reducing the image transfer rate include lowering the resolution of the captured image, lowering the frame rate of the image captured by the imaging device 220, and blackening the background when the subject OBJ to be imaged is clear. There are methods such as lowering the data frame rate and increasing the compression rate when transferring images. However, it is not limited to these. The unmanned aerial vehicle 100 transmits the captured image to the external device in real time in a state where the transfer rate of the captured image captured by the imaging device 220 is lowered.

また、無人航空機100が領域Cを飛行している時であっても、そもそも撮像画像の外部装置への配信が不要な場合もあり得る。撮像装置220が撮像した撮像画像は、メモリ13やメモリ130等(図2参照)に記録されることが可能であり、記録済みの画像データを、リアルタイム配信ではない態様で、外部装置に伝送することもできる。 Further, even when the unmanned aerial vehicle 100 is flying in the area C, it may not be necessary to deliver the captured image to an external device in the first place. The captured image captured by the imaging device 220 can be recorded in a memory 13, a memory 130, or the like (see FIG. 2), and the recorded image data is transmitted to an external device in a mode other than real-time distribution. You can also do it.

上記のように、撮像画像の転送レートを下げる、撮像画像をリアルタイム配信ではない態様で外部装置に伝送する等の処理を行うことを前提とするならば、無人航空機100は、通信品質が所定の基準より良い領域Bから、通信品質が所定の基準より良くない領域Cへと逸脱してしまっても問題はない。そのため、無人航空機100は水平飛行を維持してよく、UAV制御部110は、撮像装置220の姿勢を所定の状態に維持するように、撮像装置220の姿勢を制御する。図示した例においては、UAV制御部110は、被写体OBJに対する撮像装置220のカメラアングルが変わらないように、撮像装置220の姿勢を制御する。この姿勢制御は、UAV制御部110がジンバル200の回転を制御することにより可能である。さらに、撮像装置220に含まれるレンズ(図2の例では、カメラレンズ222のレンズ群15)のフォーカスやズームを変動させるように、UAV制御部110が撮像制御部11に制御信号を送信してもよい。 As described above, if it is premised that the transfer rate of the captured image is lowered, the captured image is transmitted to the external device in a mode other than real-time distribution, and the like, the unmanned aerial vehicle 100 has a predetermined communication quality. There is no problem even if the communication quality deviates from the area B better than the standard to the area C whose communication quality is not better than the predetermined standard. Therefore, the unmanned aerial vehicle 100 may maintain level flight, and the UAV control unit 110 controls the attitude of the image pickup device 220 so as to maintain the attitude of the image pickup device 220 in a predetermined state. In the illustrated example, the UAV control unit 110 controls the posture of the image pickup device 220 so that the camera angle of the image pickup device 220 with respect to the subject OBJ does not change. This attitude control is possible by the UAV control unit 110 controlling the rotation of the gimbal 200. Further, the UAV control unit 110 transmits a control signal to the image pickup control unit 11 so as to change the focus and zoom of the lens included in the image pickup apparatus 220 (in the example of FIG. 2, the lens group 15 of the camera lens 222). May be good.

以上のように、第2の制御パターンの変形例に従って、UAV制御部110が上述のような制御を行うことにより、無人航空機100はユーザが意図した通りに移動し、ユーザが意図した通りの撮像画像(被写体OBJに水平に接近するような画像)を取得することができる。 As described above, the UAV control unit 110 performs the above-mentioned control according to the modified example of the second control pattern, so that the unmanned aerial vehicle 100 moves as the user intended and the image is taken as the user intended. An image (an image that approaches the subject OBJ horizontally) can be acquired.

制御装置(UAV制御部110を備えた装置等)は、上述の第1の制御パターンと、第2の制御パターンとのうち、いずれかの制御パターンを選択して、無人航空機100の飛行(移動)および撮像装置220の姿勢を制御してよい。また、制御装置(UAV制御部110を備えた装置等)は、上述の第1の制御パターンと、第2の制御パターンと、第3の制御パターンとのうち、いずれか1つの制御パターンを選択して、無人航空機100の飛行(移動)および撮像装置220の姿勢を制御してよい。この制御パターンの選択は、ユーザが遠隔操縦機50等を操作して、どの制御パターンを選択するかを示す指示情報を制御装置に対して入力することにより行われてよい。また、図5におけるステップSt2にあるように、制御装置(UAV制御部110を備えた装置等)が所定の判定基準に基づいて、どの制御パターンを選択するかを決定してもよい。 The control device (device or the like provided with the UAV control unit 110) selects one of the above-mentioned first control pattern and the second control pattern to fly (move) the unmanned aerial vehicle 100. ) And the posture of the image pickup device 220 may be controlled. Further, the control device (device or the like provided with the UAV control unit 110) selects any one of the above-mentioned first control pattern, second control pattern, and third control pattern. Then, the flight (movement) of the unmanned aerial vehicle 100 and the attitude of the image pickup device 220 may be controlled. The selection of the control pattern may be performed by the user operating the remote controller 50 or the like and inputting instruction information indicating which control pattern to select to the control device. Further, as shown in step St2 in FIG. 5, a control device (such as a device provided with the UAV control unit 110) may determine which control pattern to select based on a predetermined determination criterion.

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。 Although various embodiments have been described above with reference to the drawings, it goes without saying that the present invention is not limited to such examples. It is clear that a person skilled in the art can come up with various modifications or modifications within the scope of the claims, which naturally belong to the technical scope of the present invention. Understood. In addition, each component in the above embodiment may be arbitrarily combined as long as the gist of the invention is not deviated.

特許請求の範囲、明細書、及び図面中において示した装置、方法、およびプログラムにおける動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each process such as the operation, procedure, step, and step in the device, method, and program shown in the claims, the specification, and the drawing is particularly "before", "prior to", etc. As long as the output of the previous process is not used in the subsequent process, it can be realized in any order. Even if the scope of claims, the specification, and the operation flow in the drawings are explained using "first", "next", etc. for convenience, it does not mean that it is essential to carry out in this order. No.

本開示は、移動体が備える撮像装置が撮像時に移動し得る空間における、通信品質に応じて、被写体の撮像をユーザの意図に沿うように行うことができる制御装置、移動体および制御方法として有用である。 The present disclosure is useful as a control device, a moving body, and a control method capable of imaging a subject according to a user's intention in a space where the imaging device included in the moving body can move at the time of imaging. Is.

11 撮像制御部
12 撮像素子
13 メモリ
14 加速度センサ
15 レンズ群
16 レンズ駆動部
17 レンズ制御部
18 メモリ
50 遠隔操縦機
52 遠隔操縦機本体
54 モニタ
100 無人航空機
102 UAV本体
110 UAV制御部
120 通信インタフェース
130 メモリ
200 ジンバル
210 回転翼機構
220 撮像装置
221 カメラボディ
222 カメラレンズ
230 センサ
240 GPS受信機
250 慣性計測装置
260 磁気コンパス
270 気圧高度計
LL 飛行下限境界面
UL 飛行上限境界面
OBJ 被写体
11 Imaging control unit 12 Imaging element 13 Memory 14 Acceleration sensor 15 Lens group 16 Lens drive unit 17 Lens control unit 18 Memory 50 Remote control unit 52 Remote control unit 54 Monitor 100 Unmanned aerial vehicle 102 UAV main unit 110 UAV control unit 120 Communication interface 130 Memory 200 Gimbal 210 Rotating wing mechanism 220 Imaging device 221 Camera body 222 Camera lens 230 Sensor 240 GPS receiver 250 Inertial measurement unit 260 Magnetic compass 270 Barometric altitude meter LL Flight lower limit boundary surface UL Flight upper limit boundary surface OBJ Subject

Claims (6)

移動体が備える、被写体に対する撮像装置の姿勢を制御する制御装置であって、
前記制御装置は、前記撮像装置が撮像時に移動し得る空間における、前記撮像装置が撮像した画像を前記制御装置から外部装置へ送信するための通信品質を示す通信品質情報を取得し、
前記制御装置は、
前記制御装置が、前記通信品質情報が示す通信品質が所定の基準より良い領域を、前記移動体が移動するように、前記移動体の移動を制御し、かつ、前記通信品質情報に基づいて、前記撮像装置の姿勢を所定の状態に維持するように、前記撮像装置の姿勢を制御する、第1の制御パターンと、
前記制御装置が、前記通信品質情報が示す通信品質が所定の基準より良い領域を、前記移動体が移動するように、前記移動体の移動を制御し、かつ、前記通信品質情報に基づいて、被写体を撮像し続けることができるように、前記撮像装置の姿勢を制御する、第2の制御パターンと、
のうち、いずれかの制御パターンを選択して、前記移動体の移動および前記撮像装置の姿勢を制御する、
制御装置。
A control device provided in a moving body that controls the posture of the image pickup device with respect to the subject.
The control device acquires communication quality information indicating communication quality for transmitting an image captured by the image pickup device from the control device to an external device in a space where the image pickup device can move at the time of imaging.
The control device is
The control device controls the movement of the moving body so that the moving body moves in a region where the communication quality indicated by the communication quality information is better than a predetermined reference, and based on the communication quality information, the control device controls the movement of the moving body. A first control pattern that controls the posture of the image pickup device so as to maintain the posture of the image pickup device in a predetermined state.
The control device controls the movement of the moving body so that the moving body moves in a region where the communication quality indicated by the communication quality information is better than a predetermined reference, and based on the communication quality information, the control device controls the movement of the moving body. A second control pattern that controls the posture of the image pickup device so that the subject can be continuously imaged,
Of these, one of the control patterns is selected to control the movement of the moving body and the posture of the imaging device.
Control device.
前記制御装置は、
前記第1の制御パターンと、
前記第2の制御パターンと、
前記制御装置が、前記通信品質情報が示す通信品質が所定の基準より良い領域に加えて、前記通信品質情報が示す通信品質が所定の基準より良くない領域を、前記移動体が移動するように、前記移動体の移動を制御し、かつ、前記撮像装置の姿勢を所定の状態に維持するように、前記撮像装置の姿勢を制御する、第3の制御パターンと、
のうち、いずれか1つの制御パターンを選択して、前記移動体の移動および前記撮像装置の姿勢を制御する、
請求項に記載の制御装置。
The control device is
The first control pattern and
The second control pattern and
The control device is such that the moving body moves in a region where the communication quality indicated by the communication quality information is better than a predetermined reference and in addition to a region where the communication quality indicated by the communication quality information is not better than the predetermined reference. A third control pattern that controls the movement of the moving body and controls the posture of the imaging device so as to maintain the posture of the imaging device in a predetermined state.
One of the control patterns is selected to control the movement of the moving body and the posture of the imaging device.
The control device according to claim 1.
前記制御装置は、前記撮像装置が撮像した画像の転送レートを下げた状態で、前記画像を外部装置へとリアルタイム送信する、The control device transmits the image to an external device in real time in a state where the transfer rate of the image captured by the image pickup device is lowered.
請求項2に記載の制御装置。The control device according to claim 2.
請求項1から請求項のいずれか1項に記載の制御装置と、前記撮像装置とを備える、移動体。 A mobile body including the control device according to any one of claims 1 to 3 and the image pickup device. 前記撮像装置を支持する支持機構をさらに備える、請求項に記載の移動体。 The moving body according to claim 4 , further comprising a support mechanism for supporting the image pickup apparatus. 前記移動体が、無人航空機である、
請求項又は請求項に記載の移動体。
The moving object is an unmanned aerial vehicle.
The mobile body according to claim 4 or 5.
JP2019225427A 2019-12-13 2019-12-13 Control device, moving body and control method Active JP6949930B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019225427A JP6949930B2 (en) 2019-12-13 2019-12-13 Control device, moving body and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019225427A JP6949930B2 (en) 2019-12-13 2019-12-13 Control device, moving body and control method

Publications (2)

Publication Number Publication Date
JP2021097268A JP2021097268A (en) 2021-06-24
JP6949930B2 true JP6949930B2 (en) 2021-10-13

Family

ID=76431631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019225427A Active JP6949930B2 (en) 2019-12-13 2019-12-13 Control device, moving body and control method

Country Status (1)

Country Link
JP (1) JP6949930B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7055926B1 (en) * 2021-08-03 2022-04-18 Kddi株式会社 Flight plan generator and flight plan generator
JP7102636B1 (en) * 2021-08-03 2022-07-19 Kddi株式会社 Flight plan generator, flight plan generator and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008059391A (en) * 2006-08-31 2008-03-13 Sanyo Electric Co Ltd Remote control mobile object
JP6627678B2 (en) * 2016-07-26 2020-01-08 トヨタ自動車株式会社 Mobile remote control system

Also Published As

Publication number Publication date
JP2021097268A (en) 2021-06-24

Similar Documents

Publication Publication Date Title
US11649052B2 (en) System and method for providing autonomous photography and videography
US11263761B2 (en) Systems and methods for visual target tracking
JP6596745B2 (en) System for imaging a target object
WO2019227441A1 (en) Video control method and device of movable platform
WO2018193574A1 (en) Flight path generation method, information processing device, flight path generation system, program and recording medium
WO2019075758A1 (en) Imaging control method, imaging device and unmanned aerial vehicle
WO2017197653A1 (en) Systems and methods for digital video stabalization
WO2021217371A1 (en) Control method and apparatus for movable platform
WO2020227998A1 (en) Image stability augmentation control method, photography device and movable platform
WO2022141956A1 (en) Flight control method, video editing method, device, unmanned aerial vehicle, and storage medium
JP6949930B2 (en) Control device, moving body and control method
WO2020042159A1 (en) Rotation control method and apparatus for gimbal, control device, and mobile platform
WO2019183789A1 (en) Method and apparatus for controlling unmanned aerial vehicle, and unmanned aerial vehicle
CN111344650B (en) Information processing device, flight path generation method, program, and recording medium
WO2019189381A1 (en) Moving body, control device, and control program
JP7501535B2 (en) Information processing device, information processing method, and information processing program
JP2021096865A (en) Information processing device, flight control instruction method, program, and recording medium
WO2020225979A1 (en) Information processing device, information processing method, program, and information processing system
CN111213107B (en) Information processing device, imaging control method, program, and recording medium
JP6790318B2 (en) Unmanned aerial vehicles, control methods, and programs
WO2019127192A1 (en) Image processing method and apparatus
US20210092306A1 (en) Movable body, image generation method, program, and recording medium
WO2020246261A1 (en) Mobile body, position estimation method, and program
US20210092282A1 (en) Control device and control method
WO2021115192A1 (en) Image processing device, image processing method, program and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210922

R150 Certificate of patent or registration of utility model

Ref document number: 6949930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150