JP6949930B2 - Control device, moving body and control method - Google Patents
Control device, moving body and control method Download PDFInfo
- Publication number
- JP6949930B2 JP6949930B2 JP2019225427A JP2019225427A JP6949930B2 JP 6949930 B2 JP6949930 B2 JP 6949930B2 JP 2019225427 A JP2019225427 A JP 2019225427A JP 2019225427 A JP2019225427 A JP 2019225427A JP 6949930 B2 JP6949930 B2 JP 6949930B2
- Authority
- JP
- Japan
- Prior art keywords
- communication quality
- unmanned aerial
- aerial vehicle
- image pickup
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 20
- 238000004891 communication Methods 0.000 claims description 162
- 238000003384 imaging method Methods 0.000 claims description 88
- 230000033001 locomotion Effects 0.000 claims description 34
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000012546 transfer Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 description 31
- 238000012545 processing Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000010006 flight Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000003705 background correction Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、制御装置、移動体および制御方法に関する。 The present invention relates to a control device, a moving body and a control method.
特許文献1には、無人航空機(UAV)の飛行制限高度を検出し、飛行制限高度に応答した無人航空機(UAV)の動的な高さ制御を行うことが記載されている。 Patent Document 1 describes that it detects the flight limit altitude of an unmanned aerial vehicle (UAV) and dynamically controls the height of the unmanned aerial vehicle (UAV) in response to the flight limit altitude.
移動体の一つである無人航空機(「無人機」、「UAV:Unmanned Aerial Vehicle」)は、「ドローン」とも呼ばれ、ユーザによって遠隔操作可能であり、飛行プログラムによる自動飛行も可能である。無人航空機は様々なサイズおよび構成を備えている。無人航空機は、カメラ等の撮像装置を備えており、ユーザはこの無人航空機を操作して、カメラ等の撮像装置により被写体(人や建物等)を空撮することができる。 An unmanned aerial vehicle (“unmanned aerial vehicle”, “UAV: Unmanned Aerial Vehicle”), which is one of the moving objects, is also called a “drone” and can be remotely controlled by a user, and can also be automatically flown by a flight program. Unmanned aerial vehicles come in a variety of sizes and configurations. The unmanned aerial vehicle is equipped with an image pickup device such as a camera, and the user can operate the unmanned aerial vehicle to take an aerial photograph of a subject (people, buildings, etc.) by the image pickup device such as a camera.
無人航空機が備える撮像装置により撮像された画像(撮像画像)は、無人航空機内の記憶手段に保存される。その他、撮像画像は無人航空機から見た外部装置へと送信(リアルタイム配信等)されて、外部モニタに撮像画像が表示されることもある。 The image (captured image) captured by the imaging device included in the unmanned aerial vehicle is stored in the storage means in the unmanned aerial vehicle. In addition, the captured image may be transmitted (real-time distribution, etc.) to an external device viewed from the unmanned aerial vehicle, and the captured image may be displayed on an external monitor.
無人航空機は、外部装置と通信しながら空中を飛行することができる。この通信には、上述の撮像画像のリアルタイム配信等に用いられる通信が含まれるが、これ以外の用途における通信を無人航空機が外部装置との間で行ってもよい。 Unmanned aerial vehicles can fly in the air while communicating with external devices. This communication includes communication used for real-time distribution of the captured image described above, but communication for other purposes may be performed by an unmanned aerial vehicle with an external device.
無人航空機などの移動体が移動する空間においては、通信品質の良い領域と、良くない領域とが存在し得る。無人航空機が通信品質の良い領域を飛行すれば、飛行中における外部装置との間の通信が安定し、より高画質な撮像画像をリアルタイム配信できるなどの、通信品質の向上に起因する恩恵を受けることができる。 In a space where a moving object such as an unmanned aerial vehicle moves, there may be an area where communication quality is good and an area where communication quality is not good. If an unmanned aerial vehicle flies in an area with good communication quality, it will benefit from improved communication quality, such as stable communication with external devices during flight and real-time delivery of higher quality captured images. be able to.
しかしながら、無人航空機は、通信品質の良い領域を単に飛行すれば良いとは限らない。実際、無人航空機と被写体との間の相対位置は、無人航空機の飛行経路に応じて変動するものである。そのため、無人航空機が通信品質の良い領域から外れないように飛行した場合、被写体が撮像装置の撮像範囲の外へとはみ出る、または、被写体に対する撮像装置の姿勢(カメラアングル等)がユーザの意図に反して変動する、などの事態が起こり得る。その結果、ユーザが意図したような撮像画像を取得できないことがある。 However, unmanned aerial vehicles do not always have to simply fly in areas with good communication quality. In fact, the relative position between the unmanned aerial vehicle and the subject varies depending on the flight path of the unmanned aerial vehicle. Therefore, when the unmanned aerial vehicle flies so as not to deviate from the area where the communication quality is good, the subject protrudes out of the image pickup range of the image pickup device, or the attitude of the image pickup device (camera angle, etc.) with respect to the subject becomes the user's intention. On the contrary, it may fluctuate. As a result, it may not be possible to acquire the captured image as intended by the user.
上記とは反対に、被写体が撮像装置の撮像範囲の外へとはみ出ないように、また、被写体に対する撮像装置の姿勢(カメラアングル等)がユーザの意図に沿うように、無人航空機を飛行させた場合、無人航空機は上述の通信品質の良い領域以外の領域を通ることがある。この場合、通信品質の良い領域以外の領域を無人航空機が飛行している時に、外部装置との間の通信品質が劣化してしまうので、ユーザが意図した高画質な撮像画像を配信できない可能性もある。 Contrary to the above, the unmanned aerial vehicle was flown so that the subject did not go out of the imaging range of the imaging device and the attitude of the imaging device with respect to the subject (camera angle, etc.) was in line with the user's intention. In this case, the unmanned aerial vehicle may pass through an area other than the above-mentioned area with good communication quality. In this case, when the unmanned aerial vehicle is flying in an area other than the area with good communication quality, the communication quality with the external device deteriorates, so that it may not be possible to deliver the high-quality captured image intended by the user. There is also.
すなわち、移動体の移動経路(無人航空機の飛行経路等)に応じて、移動体が備える撮像装置により撮像された画像の品質(カメラアングルや画質等)が、ユーザの意図とは異なってしまうという問題があった。 That is, the quality (camera angle, image quality, etc.) of the image captured by the image pickup device provided in the moving object differs from the user's intention according to the moving path of the moving object (flight path of the unmanned aerial vehicle, etc.). There was a problem.
そこで本開示は、移動体が備える撮像装置が撮像時に移動し得る空間における、通信品質に応じて、被写体の撮像をユーザの意図に沿うように行うことができる制御装置、移動体および制御方法を提供することを目的とする。 Therefore, the present disclosure describes a control device, a moving body, and a control method capable of imaging a subject according to a user's intention in a space where the imaging device included in the moving body can move at the time of imaging. The purpose is to provide.
一態様において、移動体が備える撮像装置の姿勢を制御する制御装置が、前記撮像装置が撮像時に移動し得る空間における通信品質を示す通信品質情報を取得し、前記通信品質情報に基づいて前記撮像装置の姿勢を制御する。 In one aspect, a control device that controls the posture of the image pickup device included in the moving body acquires communication quality information indicating communication quality in a space where the image pickup device can move at the time of imaging, and the image pickup is based on the communication quality information. Control the attitude of the device.
上記構成において、前記制御装置は、前記通信品質情報が示す通信品質が所定の基準より良い領域を、前記移動体が移動するように、前記移動体の移動を制御してよい。 In the above configuration, the control device may control the movement of the moving body so that the moving body moves in a region where the communication quality indicated by the communication quality information is better than a predetermined reference.
上記構成において、前記制御装置は、前記通信品質情報に基づいて、前記撮像装置の姿勢を所定の状態に維持するように、前記撮像装置の姿勢を制御してよい。 In the above configuration, the control device may control the posture of the image pickup device so as to maintain the posture of the image pickup device in a predetermined state based on the communication quality information.
上記構成において、前記制御装置は、前記通信品質情報に基づいて、被写体を撮像し続けることができるように、前記撮像装置の姿勢を制御してよい。 In the above configuration, the control device may control the posture of the image pickup device so that the subject can continue to be imaged based on the communication quality information.
上記構成において、前記制御装置は、前記通信品質情報が示す通信品質が所定の基準より良い領域に加えて、前記通信品質情報が示す通信品質が所定の基準より良くない領域を、前記移動体が移動するように、前記移動体の移動を制御し、前記撮像装置の姿勢を所定の状態に維持するように、前記撮像装置の姿勢を制御してよい。 In the above configuration, in the control device, in addition to the region where the communication quality indicated by the communication quality information is better than the predetermined reference, the moving body sets the region where the communication quality indicated by the communication quality information is not better than the predetermined reference. The movement of the moving body may be controlled so as to move, and the posture of the image pickup device may be controlled so as to maintain the posture of the image pickup device in a predetermined state.
上記構成において、前記制御装置は、前記撮像装置が撮像した撮像画像の転送レートを下げた状態で、前記画像を外部装置へとリアルタイム送信してよい。 In the above configuration, the control device may transmit the image to an external device in real time in a state where the transfer rate of the captured image captured by the imaging device is lowered.
上記構成において、前記制御装置は、前記制御装置が、前記通信品質情報が示す通信品質が所定の基準より良い領域を、前記移動体が移動するように、前記移動体の移動を制御し、かつ、前記通信品質情報に基づいて、前記撮像装置の姿勢を所定の状態に維持するように、前記撮像装置の姿勢を制御する、第1の制御パターンと、前記制御装置が、前記通信品質情報が示す通信品質が所定の基準より良い領域を、前記移動体が移動するように、前記移動体の移動を制御し、かつ、前記通信品質情報に基づいて、被写体を撮像し続けることができるように、前記撮像装置の姿勢を制御する、第2の制御パターンと、のうち、いずれかの制御パターンを選択して、前記移動体の移動および前記撮像装置の姿勢を制御してよい。 In the above configuration, the control device controls the movement of the moving body so that the moving body moves in a region where the communication quality indicated by the communication quality information is better than a predetermined reference. The first control pattern that controls the posture of the image pickup device so as to maintain the posture of the image pickup device in a predetermined state based on the communication quality information, and the control device, the communication quality information The movement of the moving body is controlled so that the moving body moves in a region where the communication quality shown is better than a predetermined reference, and the subject can be continuously imaged based on the communication quality information. , The second control pattern that controls the posture of the image pickup device, or one of the control patterns may be selected to control the movement of the moving body and the posture of the image pickup device.
上記構成において、前記制御装置は、前記第1の制御パターンと、前記第2の制御パターンと、前記制御装置が、前記通信品質情報が示す通信品質が所定の基準より良い領域に加えて、前記通信品質情報が示す通信品質が所定の基準より良くない領域を、前記移動体が移動するように、前記移動体の移動を制御し、かつ、前記撮像装置の姿勢を所定の状態に維持するように、前記撮像装置の姿勢を制御する、第3の制御パターンと、のうち、いずれか1つの制御パターンを選択して、前記移動体の移動および前記撮像装置の姿勢を制御してよい。 In the above configuration, the control device includes the first control pattern, the second control pattern, and the control device in addition to the region where the communication quality indicated by the communication quality information is better than a predetermined reference. To control the movement of the moving body and maintain the posture of the imaging device in a predetermined state so that the moving body moves in a region where the communication quality indicated by the communication quality information is not better than a predetermined standard. In addition, one of the third control pattern that controls the posture of the image pickup device may be selected to control the movement of the moving body and the posture of the image pickup device.
一態様において、移動体が、上記構成の制御装置と、前記撮像装置とを備える。 In one aspect, the moving body includes the control device having the above configuration and the image pickup device.
一態様において、前記移動体が、撮像装置を支持する支持機構をさらに備えてよい。 In one aspect, the moving body may further include a support mechanism for supporting the imaging device.
上記構成において、前記移動体が、無人航空機であってよい。 In the above configuration, the moving body may be an unmanned aerial vehicle.
一態様において、移動体が備える撮像装置の姿勢を制御する制御装置による制御方法が、前記撮像装置が撮像時に移動し得る空間における通信品質を示す通信品質情報を前記制御装置が取得するステップと、前記通信品質情報に基づいて前記撮像装置の姿勢を前記制御装置が制御するステップとを有する。 In one aspect, the control method by the control device for controlling the posture of the image pickup device included in the moving body includes a step in which the control device acquires communication quality information indicating communication quality in a space where the image pickup device can move at the time of imaging. The control device has a step of controlling the posture of the image pickup device based on the communication quality information.
上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The outline of the above invention is not a list of all the features of the present disclosure. Sub-combinations of these feature groups can also be inventions.
本開示は、移動体が備える撮像装置が撮像時に移動し得る空間における、通信品質に応じて、被写体の撮像をユーザの意図に沿うように行うことができる制御装置、移動体および制御方法を提供することができる。 The present disclosure provides a control device, a moving body, and a control method capable of imaging a subject according to a user's intention in a space where the imaging device included in the moving body can move at the time of imaging. can do.
以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。 Hereinafter, the present disclosure will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Not all combinations of features described in the embodiments are essential to the solution of the invention.
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。 The claims, description, drawings, and abstracts include matters that are subject to copyright protection. The copyright holder will not object to any person's reproduction of these documents as long as they appear in the Patent Office files or records. However, in other cases, all copyrights are reserved.
(実施形態)
以下の実施形態では、理解を容易とするため、移動体の一つである無人航空機(UAV:Unmanned Aerial Vehicle)に搭載された撮像装置で被写体を空撮するという前提で、本開示を詳述する。しかしながら、これにより特許請求の範囲に記載の主題を限定することは意図されていない。例えば移動体は、ロボット、地上を移動する車両、水上を移動する船舶等を含む概念であり、無人航空機以外の移動体にも本開示を適用可能である。以下の説明における無人航空機100は、移動体の例示であり、無人航空機100の飛行は、移動体の移動の例示である。
(Embodiment)
In the following embodiments, in order to facilitate understanding, the present disclosure is detailed on the premise that an image pickup device mounted on an unmanned aerial vehicle (UAV), which is one of the moving objects, takes an aerial photograph of a subject. do. However, this is not intended to limit the subject matter described in the claims. For example, a moving body is a concept including a robot, a vehicle moving on the ground, a ship moving on water, and the like, and the present disclosure can be applied to a moving body other than an unmanned aerial vehicle. The unmanned
図1は、実施形態における移動体システムの一例を示す模式図である。移動体システムは、無人航空機100及び遠隔操縦機50を備えてよい。無人航空機100及び遠隔操縦機50は、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。図1の例では、遠隔操縦機50は、ユーザが把持する遠隔操縦機本体52と、ユーザに画像情報等を提示するモニタ54とを備えた送信機(プロポ)である。しかし、遠隔操縦機50はこれには限られず、例えばスマートフォンやPC等であってもよい。遠隔操縦機50により、無人航空機100が操作されてよい。
FIG. 1 is a schematic diagram showing an example of a mobile system according to an embodiment. The mobile system may include an unmanned
無人航空機100は、UAV本体102と、撮像装置220とを備える。無人航空機100は、ジンバル(支持機構)200と、センサ230とを更に備えていてよい。図示されているように、撮像装置220はジンバル200のアームに回転自在に配置されており、空中を移動中に外観を撮像(空撮)することができる。ジンバル200の操作は、遠隔操縦機50により行われてよい。ジンバル(支持機構)200は無人航空機100に取り付けられてよい。このとき、ジンバル(支持機構)200に撮像装置220が支持されてよい。このようにして、撮像装置220はジンバル(支持機構)200を介して無人航空機100に支持されてよい。
The unmanned
UAV本体102は1つまたは複数の回転翼(プロペラ)を備える。UAV本体102は、回転翼の回転を制御することにより無人航空機100を飛行させる。UAV本体102は、例えば4つの回転翼を用いて無人航空機100を飛行させてよい。
The
撮像装置220は、所望の撮像範囲に含まれる被写体(例えば、空撮対象となる人物や、上空の様子、山や川等の景色、地上の建物等)を撮像する撮像用のカメラでよい。
The
センサ230は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラであってよい。2つのセンサ230が、無人航空機100の機首である正面に設けられてよい。さらに、他の2つのセンサ230が、無人航空機100の底面に設けられてよい。正面側の2つのセンサ230はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つのセンサ230もペアとなり、ステレオカメラとして機能してよい。複数のセンサ230により撮像された画像に基づいて、無人航空機100の周囲の3次元空間データ(3次元形状データ)が生成されてよい。なお、無人航空機100が備えるセンサ230の数は4つに限定されない。無人航空機100は、無人航空機100の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つのセンサ230を備えてよい。センサ230で設定できる画角は、撮像装置220で設定できる画角より広くてよい。センサ230は、単焦点レンズ又は魚眼レンズを有してよい。
The
センサ230は、上述のセンシング用のカメラに限られず、赤外線センサ、超音波センサ、TOF(time of flight)センサ等を備えていてよい。これらのセンサを用いることにより、撮影対象とする被写体までの距離や、被写体との間の相対速度を測定することができる。撮像装置220自体によって被写体までの距離を測定することもできる。
The
図2は、無人航空機100のハードウェア構成の一例を示すブロック図である。無人航空機100は、UAV制御部110と、通信インタフェース120と、メモリ130と、ジンバル200と、回転翼機構210と、1以上のセンサ230と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270とを含む構成である。
FIG. 2 is a block diagram showing an example of the hardware configuration of the unmanned
UAV制御部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部110は、無人航空機100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
The
UAV制御部110は、メモリ130に格納されたプログラムに従って無人航空機100の飛行を制御する。UAV制御部110は、画像を空撮してよい。
The
UAV制御部110は、無人航空機100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から無人航空機100が存在する緯度及び経度を示す緯度経度情報を、並びに気圧高度計270から無人航空機100が存在する高度を示す高度情報を、それぞれ位置情報として取得してよい。
The
UAV制御部110は、磁気コンパス260から無人航空機100の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機100の機首の向きに対応する方位で示されてよい。
The
UAV制御部110は、撮像装置220の撮像範囲を示す撮像範囲情報を取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220の画角を示す画角情報を撮像装置220から取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220の撮像方向を示す情報を取得してよい。UAV制御部110は、例えば撮像装置220の撮像方向を示す情報として、ジンバル200から撮像装置220の姿勢の状態を示す姿勢情報を取得してよい。撮像装置220の姿勢情報は、ジンバル200のピッチ軸及びヨー軸の基準回転角度からの回転角度を示してよい。ここでの基準とは、例えばUAV制御部110がイニシャライズを実行したときの予め定められたヨー軸周り、ピッチ軸周りおよびロール軸周りの規定角度である。
The
UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人航空機100が存在する位置を示す位置情報を取得してよい。UAV制御部110は、撮像装置220及びセンサ230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて、撮像装置220が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲情報を生成することで、撮像範囲情報を取得してよい。
The
UAV制御部110は、メモリ130から撮像範囲情報を取得してよい。UAV制御部110は、通信インタフェース120を介して撮像範囲情報を取得してよい。
The
UAV制御部110は、ジンバル200、回転翼機構210、撮像装置220、センサ230、GPS受信機240、慣性計測装置250、磁気コンパス260、および気圧高度計270を制御する。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像装置220の撮像方向(姿勢、カメラアングル)を制御してよい。UAV制御部110は、カメラレンズ222の画角を変更させる制御信号を撮像制御部11に送信することにより、撮像装置220の画角を制御してよい。UAV制御部110による、各構成要素の制御は、遠隔操縦機50から通信インタフェース120を介して受信した制御信号に基づいて行われてよい。
The
撮像範囲とは、撮像装置220又はセンサ230により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、緯度及び経度で定義される2次元空間データにおける範囲でもよい。撮像範囲は、撮像装置220又はセンサ230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて特定されてよい。撮像装置220やセンサ230の撮像方向は、撮像装置220やセンサ230の撮像レンズが設けられた正面が向く方位(撮像レンズの光軸方向)からそれぞれ定義されてよい。撮像装置220の撮像方向は、無人航空機100の機首の方位と、ジンバル200に対する撮像装置220の姿勢の状態とから特定される方向でよい。センサ230の撮像方向は、無人航空機100の機首の方位と、センサ230が設けられた位置とから特定される方向でよい。
The imaging range refers to a geographical range imaged by the
UAV制御部110は、複数のセンサ230により撮像された複数の画像を解析することで、無人航空機100の周囲の環境を特定してよい。UAV制御部110は、無人航空機100の周囲の環境に基づいて、例えば障害物を回避して飛行を制御してよい。
The
UAV制御部110は、無人航空機100の周囲に存在するオブジェクトの立体形状(3次元形状)を示す立体情報(3次元情報)を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部でよい。立体情報は、例えば、3次元空間データである。UAV制御部110は、複数のセンサ230から得られたそれぞれの画像から、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。UAV制御部110は、メモリ130に格納された3次元地図データベースを参照することにより、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。UAV制御部110は、ネットワーク上に存在するサーバが管理する3次元地図データベースを参照することで、無人航空機100の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。
The
UAV制御部110は、無人航空機100(および撮像装置220)が存在する付近の空間の通信品質を示す通信品質情報を、通信インタフェース120を介して外部装置から取得してよい。通信品質情報は、所定の空間における通信品質(例えば、ハイビジョンでの動画伝送が可能な通信速度や通信環境、より高解像度な4Kや8K等での動画伝送が可能な通信速度や通信環境、など)を示す3次元座標情報であってよい。
The
無人航空機100(および撮像装置220)が存在する付近の空間の範囲については、以下の通りである。UAV制御部110は、無人航空機100が備える撮像装置220が撮像時に移動し得る空間の通信品質を示す通信品質情報を取得すればよい。本開示においては、撮像時の無人航空機100や撮像装置220の位置における通信品質の善し悪しが問題となるからである。ただしUAV制御部110は、無人航空機100が備える撮像装置220が撮像時に移動し得る空間も含んだ、より広い空間における通信品質を示す通信品質情報を取得してもよい。UAV制御部110は例えば、無人航空機100の現在位置から所定の距離(例えば半径1km)までの空間について、通信品質情報を取得することができる。ただし、所定の距離は半径1kmには限られない。さらに、無人航空機100の飛行ルートが予め決定あるいは予測されている場合には、UAV制御部110は、その飛行ルートにおける、無人航空機100(および撮像装置220)の現在地点よりも前方についての通信品質情報を取得してもよい。
The range of space in the vicinity of the unmanned aerial vehicle 100 (and the imaging device 220) is as follows. The
UAV制御部110は、回転翼機構210を制御することで、無人航空機100の飛行(移動)を制御する。つまりUAV制御部110は、回転翼機構210を制御することにより、無人航空機100の緯度、経度、及び高度を含む位置を制御する。UAV制御部110は、前述の通信品質情報を取得することにより、通信品質が比較的高い領域を選んで飛行するように、無人航空機100の移動を制御することができる。
The
UAV制御部110は、無人航空機100の飛行を制御することにより、撮像装置220の撮像範囲を制御してよい。UAV制御部110は、撮像装置220が備えるズームレンズを制御することで、撮像装置220の画角を制御してよい。UAV制御部110は、撮像装置220のデジタルズーム機能を利用して、デジタルズームにより、撮像装置220の画角を制御してよい。
The
通信インタフェース120は、遠隔操縦機50や、図示を省略する外部装置と通信する。通信インタフェース120は、任意の無線通信方式により無線通信してよい。通信インタフェース120は、任意の有線通信方式により有線通信してよい。通信インタフェース120は、空撮画像や空撮画像に関する付加情報(メタデータ)を、遠隔操縦機50や外部装置に送信してよい。
The
メモリ130は、UAV制御部110がジンバル200、回転翼機構210、撮像装置220、センサ230、GPS受信機240、慣性計測装置250、磁気コンパス260、および気圧高度計270を制御するのに必要なプログラム等を格納する。メモリ130は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSB(Universal Serial Bus)メモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ130は、無人航空機100から取り外し可能であってよい。メモリ130は、作業用メモリとして動作してよい。
The
ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置220を回転させることで、撮像装置220の姿勢を変更してよい。ジンバル200による撮像装置220の回転は、遠隔操縦機50からUAV制御部110が受信した制御信号に基づいて制御されてよい。
The
撮像装置220は、撮像範囲の被写体を撮像して撮像画像データを生成する。撮像装置220の撮像により得られた撮像画像データ(例えば空撮画像)は、撮像装置220が有するメモリ13、または図示を省略するストレージに格納されてよい。加えて、撮像画像データは、通信インタフェース120を介して外部装置へと送信されてよい。この外部送信された撮像画像データは、図示を省略する表示装置に表示されてよい。このようにして、無人航空機100は空撮画像をライブ配信することができる。このライブ配信を4Kや8K等の高解像度の画像によって行う場合には、高解像度のデータを伝送可能な、通信品質の高い領域を、無人航空機100が飛行している必要がある。
The
GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人航空機100の位置)を算出する。GPS受信機240は、無人航空機100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
The
慣性計測装置250は、無人航空機100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置250は、無人航空機100の姿勢として、無人航空機100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出してよい。また、慣性計測装置250が検出した加速度等の値から、無人航空機100の速度を検出してもよい。
The
磁気コンパス260は、無人航空機100の機首の方位を検出し、検出結果をUAV制御部110に出力する。
The
気圧高度計270は、無人航空機100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。
The
次に、撮像装置220側の構成を説明する。撮像装置220はカメラボディ221とカメラレンズ222を備える。カメラレンズ222は、カメラボディ221から取り外し可能なものであっても、カメラボディ221と一体型のものであってもよい。
Next, the configuration on the
カメラボディ221は、撮像制御部11と、撮像素子12と、メモリ13と、加速度センサ14とを備える。カメラボディ221は、シャッタ駆動部やゲイン制御部、フラッシュ等の、追加の構成を備えてもよい。
The
撮像制御部11は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等のマイクロプロセッサ、MCU(Micro Control Unit)等のマイクロコントローラなどにより構成されていてよい。撮像制御部11は、撮像装置220による撮像処理全般を制御する。この制御は、UAV制御部110からの動作命令に応じて行ってもよい。また、撮像制御部11は、露光時間、絞り(アイリス)などの撮像条件を決定する。撮像制御部11は、撮像素子12に撮像の指示を送出してよい。
The image
カメラレンズ222を通って入射した光は、撮像素子12の撮像面上に結像する。撮像素子12は、撮像面上に結像した光学像を光電変換し、画像信号として出力する。撮像素子12には、CCD(Charge Coupled Device:電荷結合素子)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor:相補型MOS)イメージセンサが用いられてよい。
The light incident through the
撮像制御部11は、画像信号に対し、アナログデジタル変換を行って画像データを生成してよい。撮像制御部11は、シェーディング補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ディベイヤ、圧縮等の各種の画像処理を行ってよい。
The image
メモリ13は、各種データや画像データを記憶する記憶媒体である。メモリ13は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSB(Universal Serial Bus)メモリなどであってよい。メモリ13は、カメラボディ221から取り外し可能に設けられてよい。メモリ13は、撮像制御部11が撮像素子12等を制御するのに必要なプログラム等を格納してよい。メモリ13は、例えば、シャッタスピードS、F値、ISO感度、ND値を基に露光量を算出するための露光制御情報を保持してよい。ISO感度は、ゲインに対応する値である。ND値は減光フィルタによる減光度を表す。露光制御情報は、AEアルゴリズムを含む。なお、メモリ13と同様のメモリ18をカメラレンズ222側に設けてよい。メモリ18は、レンズ制御部17によって行われる処理に有用なデータを保存しておくことができる。
The
加速度センサ14は、撮像装置220の加速度を検出する。加速度センサ14は、カメラレンズ222に設けられてもよい。加速度センサ14は、3軸加速度センサであってよい。
The
カメラレンズ222は、レンズ群15を備える。レンズ群15は、被写体からの光を集光して撮像素子12に結像する。図2には、レンズ群15が備える、レンズ15A、15Bおよび15Cの3枚のレンズが示されている。しかし、レンズ群15が備えるレンズの枚数は2枚以下や4枚以上であってもよい。レンズ群15は、フォーカスレンズ、ズームレンズ、像振れ補正用レンズ等を含んでいてよい。レンズ群15に含まれるレンズ15A、15B、および15Cはそれぞれ、レンズ駆動部16A、16B、および16Cによって駆動される。レンズ駆動部16A、16B、および16Cはモータ(図示せず)を有し、レンズ制御部17からの制御信号を入力すると、ズームレンズ及びフォーカスレンズを含むレンズ群15を光軸方向に移動させてよい。レンズ駆動部16は、ズームレンズを移動させてズーム倍率を変更するズーミング動作を行う場合、レンズ群15を収容する鏡筒を前後方向に伸縮させてよい。
The
図3は、制御装置による無人航空機100および撮像装置220の第1の制御パターンを示す概念図である。制御装置は、UAV制御部110を備えた装置であってよい。制御装置は、UAV制御部110および撮像制御部11を備えた装置であってもよい。また、制御装置は、無人航空機100から見た外部装置(例えば遠隔操縦機50)であってもよく、外部装置が無人航空機100および撮像装置220を遠隔制御してもよい。以下、制御装置はUAV制御部110を備えた装置であるという前提で、第1の制御パターンを説明する。
FIG. 3 is a conceptual diagram showing a first control pattern of the unmanned
無人航空機100が空中を飛行している。この例において、無人航空機100は、被写体OBJに対して接近しながら、撮像装置220を用いて被写体OBJを撮像する。遠隔操縦機50(図1参照)を把持したユーザは、無人航空機100が被写体OBJに対して水平移動で接近するように、遠隔操縦機50を操作し、この端末からの制御信号を受信したUAV制御部110が、無人航空機100の移動制御を行う。
Unmanned
無人航空機100が飛行する空間、すなわち無人航空機100が備える撮像装置220が撮像時に移動し得る空間には、通信品質が所定の基準より良い領域Bと、通信品質が所定の基準より良くない領域Aおよび領域Cとが存在する。例えば、所定の基準が「動画の解像度が4K(3840×2160ピクセル)でリアルタイム配信が可能であること」であったとする。この場合、通信品質が所定の基準より良い領域Bは、撮像画像を4K(3840×2160ピクセル)や8K(7680×4320ピクセル)等の高画質でリアルタイム配信するのに十分な通信品質を備えている。一方、通信品質が所定の基準より良くない領域Aおよび領域Cは、撮像画像の4Kや8K等の高画質でのリアルタイム配信できる程の通信品質を備えていない。
In the space where the unmanned
領域Aと領域Bとの間の境界面を、飛行上限境界面ULと表現し、領域Bと領域Cとの境界面を、飛行下限境界面LLと表現する。なお、説明の便宜上、通信品質に差がある領域が、上記の空間における上下に分かれて存在していることを例示した。しかし実際には、上記の空間における水平方向や斜め方向においても、通信品質に差が生じ得る。この通信品質の差は、通信インタフェース120を介してUAV制御部110が取得する上述の通信品質情報の中で、空間上の座標毎あるいは領域毎の通信品質の高さを示す値、等の形態で表現されている。そのため、通信品質情報を取得したUAV制御部110は、空間上の通信品質が良い場所(領域B)と通信品質の良くない場所(領域Aおよび領域C)とを特定することができる。ここでは、無人航空機100が上昇又は下降することを前提に説明している。しかしながら、無人航空機100が地表に対して水平方向に移動することを前提としてもよい。この場合には、無人航空機100は前後左右の少なくとも1つ方向に飛行境界面を有する。
The boundary surface between the area A and the area B is expressed as the flight upper limit boundary surface UL, and the boundary surface between the area B and the area C is expressed as the flight lower limit boundary surface LL. For convenience of explanation, it is illustrated that regions having a difference in communication quality exist separately in the upper and lower parts in the above space. However, in reality, there may be a difference in communication quality even in the horizontal direction and the diagonal direction in the above space. This difference in communication quality is in the form of a value indicating the high level of communication quality for each coordinate or region in space in the above-mentioned communication quality information acquired by the
無人航空機100は、通信品質の良い領域を飛行した方が、撮像装置220が撮像した撮像画像データをより高品質で、外部装置へと送信(リアルタイム配信)することができる。そのため、遠隔操縦機50からの制御信号を受信したUAV制御部110は、通信品質情報が示す通信品質が所定の基準より良い領域Bを、無人航空機100が飛行(移動)するように、無人航空機100の飛行(移動)を制御する。図示した例においては、UAV制御部110の制御により、飛行上限境界面ULと、飛行下限境界面LLとの間を、無人航空機100が飛行する。なお、UAV制御部110は、飛行上限境界面ULと飛行下限境界面LLとの中間付近ではなく、無人航空機100が可能な限り水平飛行できるような、図3に矢印で示した位置を、無人航空機100が飛行するように制御してよい。
The unmanned
UAV制御部110はさらに、通信品質情報に基づいて、撮像装置220の姿勢を所定の状態に維持するように、撮像装置220の姿勢を制御する。図示した例においては、UAV制御部110は、被写体OBJに対する撮像装置220のカメラアングルが変わらないように、撮像装置220の姿勢を制御する。この姿勢制御は、UAV制御部110がジンバル200の回転を制御することにより可能である。さらに、撮像装置220に含まれるレンズ(図2の例では、カメラレンズ222のレンズ群15)のフォーカスやズームを変動させるように、UAV制御部110が撮像制御部11に制御信号を送信してもよい。
The
ここで、ユーザが遠隔操縦機50に対して行った操作は、無人航空機100が被写体OBJに対して水平移動で接近することを意図した操作であった。すなわち、UAV制御部110が上述のような制御を行うことにより、無人航空機100はユーザが意図した通りに移動し、ユーザが意図した通りの撮像画像(被写体OBJに水平に接近するような画像であって、例えば4K以上の解像度のもの)を取得して、リアルタイム配信することができる。
Here, the operation performed by the user on the
なお、被写体OBJに対する撮像装置220のカメラアングルが変わらないようにすることは、撮像装置220の姿勢を所定の状態に維持することの一例である。例えば、ユーザが被写体OBJをローアングルからハイアングルまで一定の角度変化を伴って撮像したい場合、UAV制御部110はジンバル200を制御して、ピッチ軸を中心に撮像装置220を所定の速度で回転させる。この時、UAV制御部110は、回転翼機構210を制御して、無人航空機100を上昇させる。他にもユーザが被写体OBJを一定の角度変化をもってパンニングすることがある。この場合には、ヨー軸を中心に撮像装置220を所定の速度で回転させる。この時、UAV制御部110は、回転翼機構210を制御して無人航空機100を地表に対して水平方向に移動させる。このような、撮像装置220を所定の速度で回転させることもまた、撮像装置220の姿勢を所定の状態に維持することの一例である。撮像装置220の姿勢を維持するときに、ズーム動作やフォーカス動作を合わせて行っても良い。このようにすることで、被写体OBJに対して合焦を維持しつつ画角を維持することができる。
Keeping the camera angle of the
図4は、制御装置による無人航空機100および撮像装置220の第2の制御パターンを示す概念図である。制御装置は、UAV制御部110を備えた装置であってよい。制御装置は、UAV制御部110および撮像制御部11を備えた装置であってもよい。また、制御装置は、無人航空機100から見た外部装置(例えば遠隔操縦機50)であってもよく、外部装置が無人航空機100および撮像装置220を遠隔制御してもよい。以下、制御装置はUAV制御部110を備えた装置であるという前提で、第2の制御パターンを説明する。
FIG. 4 is a conceptual diagram showing a second control pattern of the unmanned
無人航空機100が空中を飛行している。この例において、無人航空機100は、被写体OBJに対して接近しながら、撮像装置220を用いて被写体OBJを撮像する。遠隔操縦機50(図1参照)を把持したユーザは、無人航空機100が被写体OBJに対して水平移動で接近するように、遠隔操縦機50を操作し、この端末からの制御信号を受信したUAV制御部110が、無人航空機100の移動制御を行う。
Unmanned
無人航空機100が飛行する空間、すなわち無人航空機100が備える撮像装置220が撮像時に移動し得る空間には、通信品質が所定の基準より良い領域Bと、通信品質が所定の基準より良くない領域Aおよび領域Cとが存在する。例えば、所定の基準が「動画の解像度が4K(3840×2160ピクセル)でリアルタイム配信が可能であること」であったとする。この場合、通信品質が所定の基準より良い領域Bは、撮像画像を4K(3840×2160ピクセル)や8K(7680×4320ピクセル)等の高画質でリアルタイム配信するのに十分な通信品質を備えている。一方、通信品質が所定の基準より良くない領域Aおよび領域Cは、撮像画像の4Kや8K等の高画質でのリアルタイム配信できる程の通信品質を備えていない。
In the space where the unmanned
図3と同様に、領域Aと領域Bとの間の境界面を、飛行上限境界面ULと表現し、領域Bと領域Cとの境界面を、飛行下限境界面LLと表現する。上記の空間における上下方向だけでなく水平方向や斜め方向においても、通信品質に差が生じ得ること、この通信品質の差は上述の通信品質情報の中で表現されていること、通信品質情報を取得したUAV制御部110は、空間上の通信品質が良い場所(領域B)と通信品質の良くない場所(領域Aおよび領域C)とを特定することができること等は、図3における説明と同様である。
Similar to FIG. 3, the boundary surface between the area A and the area B is expressed as the flight upper limit boundary surface UL, and the boundary surface between the area B and the area C is expressed as the flight lower limit boundary surface LL. Communication quality may differ not only in the vertical direction but also in the horizontal direction and diagonal direction in the above space, this difference in communication quality is expressed in the above communication quality information, and communication quality information. The acquired
無人航空機100は、通信品質の良い領域を飛行した方が、撮像装置220が撮像した撮像画像データをより高品質で、外部装置へと送信(リアルタイム配信)することができる。そのため、遠隔操縦機50からの制御信号を受信したUAV制御部110は、通信品質情報が示す通信品質が所定の基準より良い領域Bを、無人航空機100が飛行(移動)するように、無人航空機100の飛行(移動)を制御する。図示した例においては、UAV制御部110の制御により、飛行上限境界面ULと、飛行下限境界面LLとの間を、無人航空機100が飛行する。
The unmanned
ここで、図3に示した第1の制御パターンとは異なり、仮に無人航空機100が水平飛行を続けたとすると、無人航空機100は、通信品質が所定の基準より良い領域Bから、通信品質が所定の基準より良くない領域Cへと逸脱してしまうことになる。領域Cにおいては、撮像装置220が撮像した撮像画像を、高画質でリアルタイム配信することはできない。
Here, unlike the first control pattern shown in FIG. 3, if the unmanned
そこで無人航空機100は、撮像装置220のカメラアングルを水平に保つことよりも、通信品質の良い領域を飛行することを優先し、領域Aの外へと逸脱しないようなルートで飛行する。このような飛行ルートの一例は、飛行上限境界面ULと飛行下限境界面LLとの中間付近を通る、図中の矢印で示したようなルートである。UAV制御部110は、領域Aの外へと逸脱しないようなルートを設定し、設定されたルートに沿って飛行(移動)するように、無人航空機100の飛行(移動)を制御する。UAV制御部110の前述のような制御により、撮像装置220を備えた無人航空機100は、外部装置との間の良好な通信品質を維持することができる。
Therefore, the unmanned
一方、上記のように設定されたルートに沿って無人航空機100が飛行した場合、水平飛行を維持することはできない。そこでUAV制御部110は、通信品質情報に基づいて、被写体OBJを撮像し続けることができるように、撮像装置220の姿勢を制御する。図示した例においては、UAV制御部110はジンバル200を制御して、無人航空機100が斜めに上昇を始めた時点から、ピッチ軸を中心に撮像装置220が徐々に下向きになるように回転させる。例えば、この撮像装置220の下向き回転は、撮像装置220のカメラレンズ222の光軸の延長線上に、被写体OBJが存在し続けるように行われる。さらに、撮像装置220に含まれるレンズ(図2の例では、カメラレンズ222のレンズ群15)のフォーカスやズームを変動させるように、UAV制御部110が撮像制御部11に制御信号を送信してもよい。
On the other hand, when the unmanned
ここで、ユーザが遠隔操縦機50に対して行った操作は、無人航空機100が被写体OBJに対して水平移動で接近することを意図した操作であった。UAV制御部110が上述のような制御を行うことにより、無人航空機100は水平移動せず、撮像装置220のカメラアングルが変動するものの、被写体OBJを撮像し続けることができる。また、通信品質の高さを維持できるので、撮像動画を、ユーザが意図した通りの解像度(例えば4K以上の解像度)でリアルタイム配信することができる。
Here, the operation performed by the user on the
図5は、制御装置が実行する制御パターン選択処理の一例を示すフローチャートである。制御装置は、UAV制御部110を備えた装置であってよい。制御装置は、UAV制御部110および撮像制御部11を備えた装置であってもよい。また、制御装置は、無人航空機100から見た外部装置(例えば遠隔操縦機50)であってもよく、外部装置が無人航空機100および撮像装置220を遠隔制御してもよい。以下、制御装置はUAV制御部110を備えた装置であるという前提で、図5に示したフローチャートを説明する。
FIG. 5 is a flowchart showing an example of the control pattern selection process executed by the control device. The control device may be a device including the
ステップSt1において、UAV制御部110が、無人航空機100(および撮像装置220)が存在する付近の空間の通信品質情報を取得する。この通信品質情報は、例えば、図示を省略する外部サーバ等から、通信インタフェース120を介して受信してよい。無人航空機100(および撮像装置220)が存在する付近の空間の範囲については、図2に基づき上述した通りである。
In step St1, the
ステップSt2において、UAV制御部110は、取得した通信品質情報に基づいて、通信品質情報が示す通信品質が所定の基準より良い領域を無人航空機100が飛行した場合に、撮像装置220の姿勢を所定の状態に維持できるか否かを判定する。例えば、無人航空機100が水平飛行を行って被写体OBJに接近しながら撮像を行う場合、図3および図4に示した領域Bを無人航空機100が飛行しながら、撮像装置220のカメラアングルを一定のまま維持できるか否かを判定する。通信品質情報が示す通信品質が所定の基準より良い領域を無人航空機100が飛行した場合に、撮像装置220の姿勢を所定の状態に維持できると判定された場合(ステップSt2:Yes)、ステップSt3へと処理が遷移する。一方、通信品質情報が示す通信品質が所定の基準より良い領域を無人航空機100が飛行した場合に、撮像装置220の姿勢を所定の状態に維持できないと判定された場合(ステップSt2:No)、ステップSt4へと処理が遷移する。
In step St2, the
ステップSt3において、UAV制御部110は、図3に示した制御パターン1に従った制御を行う。すなわちUAV制御部110は、通信品質情報が示す通信品質が所定の基準より良い領域(図3および図4における領域Bに相当)を無人航空機100が飛行(移動)するように、無人航空機100の飛行(移動)を制御する。さらに、UAV制御部110は、通信品質情報に基づいて、撮像装置220の姿勢を所定の状態に維持するように、撮像装置220の姿勢を制御する。例えば、無人航空機100が水平飛行を行って被写体OBJに接近しながら撮像を行う場合、UAV制御部110は、被写体OBJに対する撮像装置220のカメラアングルが変わらないように、撮像装置220の姿勢を制御する。
In step St3, the
ステップSt4において、UAV制御部110は、図4に示した制御パターン2に従った制御を行う。すなわちUAV制御部110は、通信品質情報が示す通信品質が所定の基準より良い領域(図3および図4における領域Bに相当)を無人航空機100が飛行(移動)するように、無人航空機100の飛行(移動)を制御する。さらにUAV制御部110は、通信品質情報に基づいて、被写体OBJを撮像し続けることができるように、撮像装置220の姿勢を制御する。例えばUAV制御部110は、ジンバル200を制御して、無人航空機100が斜めに上昇を始めた時点から、ピッチ軸を中心に撮像装置220が徐々に下向きになるように回転させる。
In step St4, the
以上のような制御をUAV制御部110が行うことにより、無人航空機100が飛行する空間の通信品質に応じて、撮像画像の用途に沿った適切な制御パターンを選択して、無人航空機100の飛行(移動)と撮像装置220の姿勢とを制御することができる。
By performing the above control by the
図6は、図4に示した第2の制御パターンの変形例を示す概念図である。変形例においても、制御装置は、UAV制御部110を備えた装置であってよい。制御装置は、UAV制御部110および撮像制御部11を備えた装置であってもよい。また、制御装置は、無人航空機100から見た外部装置(例えば遠隔操縦機50)であってもよく、外部装置が無人航空機100および撮像装置220を遠隔制御してもよい。以下、制御装置はUAV制御部110を備えた装置であるという前提で、第2の制御パターンの変形例を説明する。
FIG. 6 is a conceptual diagram showing a modified example of the second control pattern shown in FIG. Also in the modified example, the control device may be a device including the
無人航空機100が空中を飛行している。この例において、無人航空機100は、被写体OBJに対して接近しながら、撮像装置220を用いて被写体OBJを撮像する。遠隔操縦機50(図1参照)を把持したユーザは、無人航空機100が被写体OBJに対して水平移動で接近するように、遠隔操縦機50を操作し、この端末からの制御信号を受信したUAV制御部110が、無人航空機100の移動制御を行う。
Unmanned
無人航空機100が飛行する空間、すなわち無人航空機100が備える撮像装置220が撮像時に移動し得る空間には、通信品質が所定の基準より良い領域Bと、通信品質が所定の基準より良くない領域Aおよび領域Cとが存在する。例えば、所定の基準が「動画の解像度が4K(3840×2160ピクセル)でリアルタイム配信が可能であること」であったとする。この場合、通信品質が所定の基準より良い領域Bは、撮像画像を4K(3840×2160ピクセル)や8K(7680×4320ピクセル)等の高画質でリアルタイム配信するのに十分な通信品質を備えている。一方、通信品質が所定の基準より良くない領域Aおよび領域Cは、撮像画像の4Kや8K等の高画質でのリアルタイム配信できる程の通信品質を備えていない。
In the space where the unmanned
図3および図4と同様に、領域Aと領域Bとの間の境界面を、飛行上限境界面ULと表現し、領域Bと領域Cとの境界面を、飛行下限境界面LLと表現する。上記の空間における上下方向だけでなく水平方向や斜め方向においても、通信品質に差が生じ得ること、この通信品質の差は上述の通信品質情報の中で表現されていること、通信品質情報を取得したUAV制御部110は、空間上の通信品質が良い場所(領域B)と通信品質の良くない場所(領域Aおよび領域C)とを特定することができること等は、図3における説明と同様である。
Similar to FIGS. 3 and 4, the boundary surface between the area A and the area B is expressed as the flight upper limit boundary surface UL, and the boundary surface between the area B and the area C is expressed as the flight lower limit boundary surface LL. .. Communication quality may differ not only in the vertical direction but also in the horizontal direction and diagonal direction in the above space, this difference in communication quality is expressed in the above communication quality information, and communication quality information. The acquired
無人航空機100は、通信品質の良い領域を飛行した方が、撮像装置220が撮像した撮像画像データをより高品質で、外部装置へと送信(リアルタイム配信)することができる。そのため、遠隔操縦機50からの制御信号を受信したUAV制御部110は、通信品質情報が示す通信品質が所定の基準より良い領域Bの少なくとも一部を、無人航空機100が飛行(移動)するように、無人航空機100の飛行(移動)を制御する。図示した例においては、UAV制御部110の制御により、飛行上限境界面ULと、飛行下限境界面LLとの間を、無人航空機100が飛行する。
The unmanned
一方、図4に示した第2のパターンとは異なり、無人航空機100は水平飛行を維持する。すなわち、UAV制御部110は、通信品質情報が示す通信品質が所定の基準より良い領域Bに加えて、通信品質情報が示す通信品質が所定の基準より良くない領域Cを、無人航空機100が飛行(移動)するように、無人航空機100の飛行(移動)を制御する。ここで、領域Cにおいては、撮像装置220が撮像した撮像画像を、例えば4Kや8K等の高画質でリアルタイム配信することはできない。
On the other hand, unlike the second pattern shown in FIG. 4, the unmanned
しかしながら、無人航空機100が領域Cを飛行している時であっても、制御装置(UAV制御部110等)が撮像画像の転送レートを下げる為の処理を追加的に実行することにより、外部装置への撮像画像の配信を維持することができる。画像の転送レートを落とす為の処理の具体例としては、撮像画像の解像度を下げる、撮像装置220による撮像のフレームレートを下げる、撮像対象となる被写体OBJが明確である場合に背景を黒くしてデータフレームレートを下げる、画像転送の際の圧縮率を上げる、等がある。ただし、これらには限られない。無人航空機100は、撮像装置220が撮像した撮像画像の転送レートを下げた状態で、撮像画像を外部装置へとリアルタイム送信する。
However, even when the unmanned
また、無人航空機100が領域Cを飛行している時であっても、そもそも撮像画像の外部装置への配信が不要な場合もあり得る。撮像装置220が撮像した撮像画像は、メモリ13やメモリ130等(図2参照)に記録されることが可能であり、記録済みの画像データを、リアルタイム配信ではない態様で、外部装置に伝送することもできる。
Further, even when the unmanned
上記のように、撮像画像の転送レートを下げる、撮像画像をリアルタイム配信ではない態様で外部装置に伝送する等の処理を行うことを前提とするならば、無人航空機100は、通信品質が所定の基準より良い領域Bから、通信品質が所定の基準より良くない領域Cへと逸脱してしまっても問題はない。そのため、無人航空機100は水平飛行を維持してよく、UAV制御部110は、撮像装置220の姿勢を所定の状態に維持するように、撮像装置220の姿勢を制御する。図示した例においては、UAV制御部110は、被写体OBJに対する撮像装置220のカメラアングルが変わらないように、撮像装置220の姿勢を制御する。この姿勢制御は、UAV制御部110がジンバル200の回転を制御することにより可能である。さらに、撮像装置220に含まれるレンズ(図2の例では、カメラレンズ222のレンズ群15)のフォーカスやズームを変動させるように、UAV制御部110が撮像制御部11に制御信号を送信してもよい。
As described above, if it is premised that the transfer rate of the captured image is lowered, the captured image is transmitted to the external device in a mode other than real-time distribution, and the like, the unmanned
以上のように、第2の制御パターンの変形例に従って、UAV制御部110が上述のような制御を行うことにより、無人航空機100はユーザが意図した通りに移動し、ユーザが意図した通りの撮像画像(被写体OBJに水平に接近するような画像)を取得することができる。
As described above, the
制御装置(UAV制御部110を備えた装置等)は、上述の第1の制御パターンと、第2の制御パターンとのうち、いずれかの制御パターンを選択して、無人航空機100の飛行(移動)および撮像装置220の姿勢を制御してよい。また、制御装置(UAV制御部110を備えた装置等)は、上述の第1の制御パターンと、第2の制御パターンと、第3の制御パターンとのうち、いずれか1つの制御パターンを選択して、無人航空機100の飛行(移動)および撮像装置220の姿勢を制御してよい。この制御パターンの選択は、ユーザが遠隔操縦機50等を操作して、どの制御パターンを選択するかを示す指示情報を制御装置に対して入力することにより行われてよい。また、図5におけるステップSt2にあるように、制御装置(UAV制御部110を備えた装置等)が所定の判定基準に基づいて、どの制御パターンを選択するかを決定してもよい。
The control device (device or the like provided with the UAV control unit 110) selects one of the above-mentioned first control pattern and the second control pattern to fly (move) the unmanned aerial vehicle 100. ) And the posture of the
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。 Although various embodiments have been described above with reference to the drawings, it goes without saying that the present invention is not limited to such examples. It is clear that a person skilled in the art can come up with various modifications or modifications within the scope of the claims, which naturally belong to the technical scope of the present invention. Understood. In addition, each component in the above embodiment may be arbitrarily combined as long as the gist of the invention is not deviated.
特許請求の範囲、明細書、及び図面中において示した装置、方法、およびプログラムにおける動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each process such as the operation, procedure, step, and step in the device, method, and program shown in the claims, the specification, and the drawing is particularly "before", "prior to", etc. As long as the output of the previous process is not used in the subsequent process, it can be realized in any order. Even if the scope of claims, the specification, and the operation flow in the drawings are explained using "first", "next", etc. for convenience, it does not mean that it is essential to carry out in this order. No.
本開示は、移動体が備える撮像装置が撮像時に移動し得る空間における、通信品質に応じて、被写体の撮像をユーザの意図に沿うように行うことができる制御装置、移動体および制御方法として有用である。 The present disclosure is useful as a control device, a moving body, and a control method capable of imaging a subject according to a user's intention in a space where the imaging device included in the moving body can move at the time of imaging. Is.
11 撮像制御部
12 撮像素子
13 メモリ
14 加速度センサ
15 レンズ群
16 レンズ駆動部
17 レンズ制御部
18 メモリ
50 遠隔操縦機
52 遠隔操縦機本体
54 モニタ
100 無人航空機
102 UAV本体
110 UAV制御部
120 通信インタフェース
130 メモリ
200 ジンバル
210 回転翼機構
220 撮像装置
221 カメラボディ
222 カメラレンズ
230 センサ
240 GPS受信機
250 慣性計測装置
260 磁気コンパス
270 気圧高度計
LL 飛行下限境界面
UL 飛行上限境界面
OBJ 被写体
11
Claims (6)
前記制御装置は、前記撮像装置が撮像時に移動し得る空間における、前記撮像装置が撮像した画像を前記制御装置から外部装置へ送信するための通信品質を示す通信品質情報を取得し、
前記制御装置は、
前記制御装置が、前記通信品質情報が示す通信品質が所定の基準より良い領域を、前記移動体が移動するように、前記移動体の移動を制御し、かつ、前記通信品質情報に基づいて、前記撮像装置の姿勢を所定の状態に維持するように、前記撮像装置の姿勢を制御する、第1の制御パターンと、
前記制御装置が、前記通信品質情報が示す通信品質が所定の基準より良い領域を、前記移動体が移動するように、前記移動体の移動を制御し、かつ、前記通信品質情報に基づいて、被写体を撮像し続けることができるように、前記撮像装置の姿勢を制御する、第2の制御パターンと、
のうち、いずれかの制御パターンを選択して、前記移動体の移動および前記撮像装置の姿勢を制御する、
制御装置。 A control device provided in a moving body that controls the posture of the image pickup device with respect to the subject.
The control device acquires communication quality information indicating communication quality for transmitting an image captured by the image pickup device from the control device to an external device in a space where the image pickup device can move at the time of imaging.
The control device is
The control device controls the movement of the moving body so that the moving body moves in a region where the communication quality indicated by the communication quality information is better than a predetermined reference, and based on the communication quality information, the control device controls the movement of the moving body. A first control pattern that controls the posture of the image pickup device so as to maintain the posture of the image pickup device in a predetermined state.
The control device controls the movement of the moving body so that the moving body moves in a region where the communication quality indicated by the communication quality information is better than a predetermined reference, and based on the communication quality information, the control device controls the movement of the moving body. A second control pattern that controls the posture of the image pickup device so that the subject can be continuously imaged,
Of these, one of the control patterns is selected to control the movement of the moving body and the posture of the imaging device.
Control device.
前記第1の制御パターンと、
前記第2の制御パターンと、
前記制御装置が、前記通信品質情報が示す通信品質が所定の基準より良い領域に加えて、前記通信品質情報が示す通信品質が所定の基準より良くない領域を、前記移動体が移動するように、前記移動体の移動を制御し、かつ、前記撮像装置の姿勢を所定の状態に維持するように、前記撮像装置の姿勢を制御する、第3の制御パターンと、
のうち、いずれか1つの制御パターンを選択して、前記移動体の移動および前記撮像装置の姿勢を制御する、
請求項1に記載の制御装置。 The control device is
The first control pattern and
The second control pattern and
The control device is such that the moving body moves in a region where the communication quality indicated by the communication quality information is better than a predetermined reference and in addition to a region where the communication quality indicated by the communication quality information is not better than the predetermined reference. A third control pattern that controls the movement of the moving body and controls the posture of the imaging device so as to maintain the posture of the imaging device in a predetermined state.
One of the control patterns is selected to control the movement of the moving body and the posture of the imaging device.
The control device according to claim 1.
請求項2に記載の制御装置。The control device according to claim 2.
請求項4又は請求項5に記載の移動体。 The moving object is an unmanned aerial vehicle.
The mobile body according to claim 4 or 5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019225427A JP6949930B2 (en) | 2019-12-13 | 2019-12-13 | Control device, moving body and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019225427A JP6949930B2 (en) | 2019-12-13 | 2019-12-13 | Control device, moving body and control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021097268A JP2021097268A (en) | 2021-06-24 |
JP6949930B2 true JP6949930B2 (en) | 2021-10-13 |
Family
ID=76431631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019225427A Active JP6949930B2 (en) | 2019-12-13 | 2019-12-13 | Control device, moving body and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6949930B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7055926B1 (en) * | 2021-08-03 | 2022-04-18 | Kddi株式会社 | Flight plan generator and flight plan generator |
JP7102636B1 (en) * | 2021-08-03 | 2022-07-19 | Kddi株式会社 | Flight plan generator, flight plan generator and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008059391A (en) * | 2006-08-31 | 2008-03-13 | Sanyo Electric Co Ltd | Remote control mobile object |
JP6627678B2 (en) * | 2016-07-26 | 2020-01-08 | トヨタ自動車株式会社 | Mobile remote control system |
-
2019
- 2019-12-13 JP JP2019225427A patent/JP6949930B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021097268A (en) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11649052B2 (en) | System and method for providing autonomous photography and videography | |
US11263761B2 (en) | Systems and methods for visual target tracking | |
JP6596745B2 (en) | System for imaging a target object | |
WO2019227441A1 (en) | Video control method and device of movable platform | |
WO2018193574A1 (en) | Flight path generation method, information processing device, flight path generation system, program and recording medium | |
WO2019075758A1 (en) | Imaging control method, imaging device and unmanned aerial vehicle | |
WO2017197653A1 (en) | Systems and methods for digital video stabalization | |
WO2021217371A1 (en) | Control method and apparatus for movable platform | |
WO2020227998A1 (en) | Image stability augmentation control method, photography device and movable platform | |
WO2022141956A1 (en) | Flight control method, video editing method, device, unmanned aerial vehicle, and storage medium | |
JP6949930B2 (en) | Control device, moving body and control method | |
WO2020042159A1 (en) | Rotation control method and apparatus for gimbal, control device, and mobile platform | |
WO2019183789A1 (en) | Method and apparatus for controlling unmanned aerial vehicle, and unmanned aerial vehicle | |
CN111344650B (en) | Information processing device, flight path generation method, program, and recording medium | |
WO2019189381A1 (en) | Moving body, control device, and control program | |
JP7501535B2 (en) | Information processing device, information processing method, and information processing program | |
JP2021096865A (en) | Information processing device, flight control instruction method, program, and recording medium | |
WO2020225979A1 (en) | Information processing device, information processing method, program, and information processing system | |
CN111213107B (en) | Information processing device, imaging control method, program, and recording medium | |
JP6790318B2 (en) | Unmanned aerial vehicles, control methods, and programs | |
WO2019127192A1 (en) | Image processing method and apparatus | |
US20210092306A1 (en) | Movable body, image generation method, program, and recording medium | |
WO2020246261A1 (en) | Mobile body, position estimation method, and program | |
US20210092282A1 (en) | Control device and control method | |
WO2021115192A1 (en) | Image processing device, image processing method, program and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210922 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6949930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |