JP6821220B2 - 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム - Google Patents
無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム Download PDFInfo
- Publication number
- JP6821220B2 JP6821220B2 JP2019556433A JP2019556433A JP6821220B2 JP 6821220 B2 JP6821220 B2 JP 6821220B2 JP 2019556433 A JP2019556433 A JP 2019556433A JP 2019556433 A JP2019556433 A JP 2019556433A JP 6821220 B2 JP6821220 B2 JP 6821220B2
- Authority
- JP
- Japan
- Prior art keywords
- measured value
- distance
- control
- unmanned aerial
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 41
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 title claims description 32
- 238000005259 measurement Methods 0.000 claims description 69
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 description 52
- 238000004364 calculation method Methods 0.000 description 28
- 230000001276 controlling effect Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 7
- 101150047683 ESC1 gene Proteins 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 241000287531 Psittacidae Species 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
- B64C13/02—Initiating means
- B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
- B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/16—Flying platforms with five or more distinct rotor axes, e.g. octocopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/25—UAVs specially adapted for particular uses or applications for manufacturing or servicing
- B64U2101/26—UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
図1に、本発明の一実施形態である無人航空機の斜視図を示し、図2に、無人航空機をzの負方向から見た図を示す(着陸脚5は略した)。無人航空機1は、本体部2と、本体部2からの制御信号により駆動する6つのモータM1〜M6(図2)と、モータM1〜M6の各々の駆動により回転して無人航空機1を飛行させる6つのロータ(回転翼)R1〜R6と、本体部2とモータM1〜M6とをそれぞれ接続するアームA1〜A6(図2)と、飛行中に前方を撮影するためのステレオカメラ3と、飛行中に前方以外を撮影するための外部環境撮影カメラ4と、離着陸時の転倒防止等に寄与する着陸脚5とを備えている。図1に示すとおり、x軸周り、y軸周り、z軸周りの回転角として、ロール角、ピッチ角、ヨー角が定義される。また機体の上昇、下降(ロータR1〜R6全体としての回転数)に対応する量として、スロットル量が定義される。図2に示すとおり、ロータR1,R3,R5はzの負方向から見て時計回りに回転し、ロータR2,R4,R6はzの負方向から見て反時計回りに回転する。すなわち隣り合うロータ同士は逆向きに回転する。6本のアームA1〜A6は長さが等しく、図2に示すとおり60°間隔で配置されている。無人航空機1は、その他にも用途等に応じて追加のカメラやペイロード等を備えていてよい(不図示)。
本実施形態における無人航空機1は、無人航空機1と、被点検構造物等の対象要素との距離を、ステレオカメラ3と計測値決定回路6とを用いて飛行中に計測し、計測値決定回路6から距離の計測値を示す信号をリアルタイムで受信した制御信号生成回路8が、当該距離の計測値に応じて当該距離を飛行中にリアルタイムで制御するための制御信号を生成する(主演算回路7aが制御指令値を生成し、信号変換回路7bが制御指令値データをパルス信号としての制御信号に変換する)ことにより距離制御を行う。図4に、ステレオカメラ3と計測値決定回路6とを用いた距離計測、そしてその後に続く、距離制御モジュール9bを含む自律制御プログラム9aを主演算回路7aが実行することにより行われる制御指令値の生成処理を含む処理のフローチャートを示す。
図5は、特許文献1の図1からの引用である(座標軸の定義のみ変更している。)。ステレオカメラ3による距離計測の原理は、以下に特許文献1の段落[0003]−[0004]から引用して説明するとおり、図5を用いて説明される。
図1は平行配置したステレオカメラによる距離計測の原理を説明するための図である。カメラC0とC1が距離Bだけ離れて設置されている。カメラC0とC1の焦点距離、光学中心、撮像面は下記のとおりである。
焦点距離:f、
光学中心:O0、O1
撮像面:s0、s1
カメラC0の光学中心O0から光軸方向に距離dだけ離れた位置にある被写体Aの像は、直線A−O0と撮像面s0との交点であるP0に像を結ぶ。一方カメラC1では、同じ被写体Aが、撮像面s1上の位置P1に像を結ぶ。ここで、カメラC1の光学中心O1を通り、直線A−O0と平行な直線と、撮像面s1との交点をP0’とし、点P0’とP1との距離をpとする。」(特許文献1の段落[0003]を引用)
P0’は、カメラC0上の像P0と同じ位置であり、距離pは、同じ被写体の像の、二つのカメラで撮影した画像上での位置のずれ量を表し、これを視差と呼ぶ。
三角形:A−O0−O1、三角形O1− P0’−P1は相似なので、
d = Bf/p
が得られる。カメラC0とC1の距離B(基線長)と焦点距離fが既知ならば、視差pから距離dを求めることができる。」(特許文献1の段落[0004]を引用)
〔構成〕
図5は、ステレオカメラ3の該略構成図の一例を示す。カメラ部300には右カメラC1と左カメラC0が配置されている。右カメラC1と左カメラC0は、同じレンズ、同じCMOSイメージセンサを有し、右カメラC1と左カメラC0は互いの光軸が平行に、かつ、二つの撮像面が同一平面になるように配置されている。左カメラC0と右カメラC1は同じレンズ301、絞り302、CMOSイメージセンサ303を有する。」(特許文献1の段落[0030]を引用。ただし参照符号を変更した。)
CMOSイメージセンサ303は、カメラ制御部308が出力する、制御信号を入力として動作する。CMOSイメージセンサ303は1000x1000 画素のモノクロイメージセンサであるとし、レンズ301は、上下左右共に片側80 度、両側160 度の視野の像を、等距離射影方式でCMOSイメージセンサ303の撮像領域内に結像する特性を持つ。」(特許文献1の段落[0031]を引用。ただし参照符号を変更した。)
なお、レンズ特性は等距離射影特性に限られず、等立体角射影や正射影など、魚眼レンズとして利用されるレンズや、強い樽型の歪曲収差を持つ中心射影特性などをもつレンズでもよい。いずれのレンズも等距離射影と同様に、中心射影に比べ画像周辺の拡大率が小さいため、本実施形態と同等の効果が得られる。」(特許文献1の段落[0032]を引用)
さらに、歪曲の小さい中心射影特性を持つレンズを利用した場合でも、変形画像の画素数を小さくすることで、同傾向の効果が得られる。」(特許文献1の段落[0033]を引用)
CMOSイメージセンサ303が出力した画像信号は、CDS304に出力され相関二重サンプリングによるノイズ除去が行われ、AGC305により信号強度に応じて利得制御され、A/D306によりA/D変換される。画像信号はCMOSイメージセンサ303の全体を記憶可能なフレームメモリ307に記憶される。」(特許文献1の段落[0034]を引用。ただし参照符号を変更した。)
フレームメモリ307に記憶された画像信号はデジタル信号処理部6により、距離の算出等が行われ、仕様によってはフォーマット変換され液晶などの表示手段に表示される。デジタル信号処理部6は、DSP、CPU、ROM、RAMなどを備えたLSIである。後述する機能ブロックは、例えばこのデジタル信号処理部6により、ハード的又はソフト的に提供される。なお、カメラ制御部308をデジタル信号処理部6に配置してもよく、図示する構成は一例である。」(特許文献1の段落[0035]を引用。ただし参照符号を変更した。)
デジタル信号処理部6は、水平同期信号HD、垂直同期信号VD及びクロック信号の各パルスをカメラ制御部308に出力する。または、カメラ制御部308が水平同期信号HD及び垂直同期信号VDを生成することも可能である。カメラ制御部308は、タイミングジェネレータやクロックドライバを有し、HD,VD及びクロック信号からCMOSイメージセンサ303を駆動するための制御信号を生成する。」(特許文献1の段落[0036]を引用。ただし参照符号を変更した。)
上述のステップS401〜S403に示すとおり距離の計測値dが決定され、これを示す信号が主演算回路7aへと出力されると、主演算回路7aは、距離制御モジュール9bを含む自律制御プログラム9aを実行することによりステップS404以降の処理を行う。なお、ステップS401〜S403は所定時間間隔で繰り返され、したがって図4の処理フローに従う処理全体、及びその後の制御処理も所定時間間隔で繰り返されるが、ステレオカメラ3において撮影される画像(動画)の1フレームごとに(1コマごとに)距離の計測値dを決定してこれを示す信号を主演算回路7aに出力することは必須ではなく、例えば撮影の10フレームごとに1回、図4のフローチャート全体の処理が実行されるとしてもよい。図9の変形例においても同様である。
本発明者は、距離計測及びこれに応じた距離制御を行う本発明の無人航空機1の試作機を設計した。ただし本試作機は、図3の構成中、センサ部14の各種センサに加えて、図10A及び図10Bの下方(図1のz方向)及びそのやや斜め方向から見た図及び写真と、図11のブロック図とにそれぞれ示すとおり、下方カメラ17とSLAM(Simultaneous Localization and Mapping)処理回路18とを備えている。ただし、図10Aにおいては着陸脚5を省略した。下方カメラ17は飛行中に下方(図1のz方向)を撮影する単眼カメラであり、図6のステレオカメラと同様にCDS回路、AGC回路、A/Dコンバータ、フレームメモリを備え、撮影した画像の信号処理、記録をこれらにより行う。SLAM処理回路18は、CPU,GPU(Graphics Processing Unit:グラフィクス・プロセッシング・ユニット),メモリ等を備える市販の回路基板であり、メモリにVisual SLAMを実行するためのプログラムやデータ等を記録して用いる。Visual SLAMとは、連続して撮影された画像の複数のフレーム間で複数の特徴点を追跡することにより自己位置とマップの推定を並行して行う技術であり、MonoSLAM(非特許文献3)やPTAM(Parallel Tracking and Mapping)(非特許文献4,5)等、さまざまなアルゴリズムが開発されている。SLAM処理回路18がそのようなアルゴリズムを実装したプログラムを実行することにより、下方カメラ17のフレームメモリに記録された画像信号を用いてVisual SLAMによる自己位置推定とマッピングを行い、これにより推定された自己位置(無人航空機1の周囲に存在する要素に対する無人航空機1の相対位置)や速度(位置の時間微分により求められる。)、姿勢(撮影した画像における複数の特徴点の配置から幾何学計算により求められる。)等、図3の構成においてセンサ部14からのセンサデータを用いて決定されていた、無人航空機1の状態を表す量を決定する。これらの量を示す信号は主演算回路7aへと出力され、そして主演算回路7aは、図3の構成においてセンサ部14から入力される情報を利用していたのと同様にSLAM処理回路18から入力される情報を利用する。またSLAM処理回路18が推定したマップ情報も主演算回路7aへと出力され、記録装置10に記録される。SLAMに関連する構成以外は、基本的には図1〜図9を用いて説明した構成と同様である。なお、下方カメラ17としては単眼カメラではなく図5,図6を用いて説明したステレオカメラを用いてもよく、この場合も同様の原理でVisual SLAMによる自己位置等の推定が可能である。Visual SLAMではなく、例えばレーザ距離センサを用いたSLAMも適用可能であり、この場合は下方カメラ17の代わりにレーザ距離センサを用いる(非特許文献6)。
外部入力装置から受信する外部入力信号により示される外部入力指令値と、センサ部14の測定により得られる姿勢情報のデータを用いて主演算回路7aが自律制御プログラム9aを実行することにより生成される姿勢制御の指令値とを組み合わせて(合成)制御指令値を生成することにより、姿勢を自律制御するセミマニュアルモードである。無人航空機1を離陸させるためには、機体が離陸するまで単純に「thrust」スティックを上方向に押せばよく、以降は自律制御により姿勢が安定化されつつ外部入力信号に従って機体を操縦することができる。着陸のためには、機体が着陸するまで単純に「thrust」スティックを下方向に押せばよい。離陸及び着陸は以降のモードを含む全てのモードで実行でき、後述のGPSウェイポイントモード(離陸と着陸は自律的に実行される。)を除く各モードにおいて手順は同一である。
2.Visionアシストモード
既に述べたとおり、センサ部14に代わって下方カメラ17とSLAM処理回路18によるVisual SLAM処理により得られた機体位置、速度、姿勢等の情報を用いるモードである。外部入力信号により示される外部入力指令値と、Visual SLAM処理によって得られる情報を用いて主演算回路7aが自律制御プログラム9aを実行することにより生成される自律制御の指令値とを組み合わせて、(合成)制御指令値を生成することにより制御するセミマニュアルモードである。この制御モードにおいて、操縦者が指を外部入力装置から離す時、無人航空機1はその時の機体位置に留まる。無人航空機1を左に移動させるためには、「roll」スティックを左に押す。停止するためには、単純にスティックから手を離せばよい。無人航空機1を上方に移動させるためには、「thrust」スティックを上に押す。停止させるために、単純にスティックをリリースすればよい(「thrust」スティックにはバネが搭載されていて、ミドルポジションに戻る。)。
3.距離制御モード
本試作機においては上記「2.」のVisionアシストモードと共に用いられるモードであり、既に説明したとおりの原理により、無人航空機1の正面にある最も近い対象要素(壁、トラス、ワイヤ等)に対して固定の距離が維持されるように距離制御を行うモードである。左/右及び上/下の方向への飛行制御は、無人航空機1の正面にある対象要素に沿って機体を「スライド」させるために用いることができる。固定の距離としての目標値は、外部入力装置19上の距離設定ノブ20を用いて最小1m、最大3mの範囲内で設定される(図12)。
4.GPSアシストモード
基本的に外部コントローラからの制御信号で動作しつつ、GPSセンサデータに基づき姿勢・(ホバリング時の)位置を自律制御するモードである。
5.GPSウェイポイントモード
予め飛行計画情報の一部として設定されたGPSウェイポイントを利用して、上述の飛行計画情報によって与えられる飛行計画に従い、GPSセンサからの位置データ等を用いて飛行計画経路を自律飛行するモードである。
1.外部入力装置(無線コントローラ)がオフであることを確認する。
2.機体バッテリをプラグインする。
3.機体の「vision power」ボタンを押す。
a.「vision power」LEDが黄色く点滅を始める。
b.「vision power」LEDが無地の緑になるまで待つ。
4.機体を離陸パッド21の上に置く。
a.ステレオカメラ3が図13中の矢印(前方)の方向を向くように置く。
b.また着陸脚5の前方2つの端部が、第1のマーク22の上にそれぞれ位置するように置く。
5.機体背部の「Initialize」ボタンを押す。
6.機体を、着陸脚5の前方2つの端部が第1のマーク22から第2のマーク23へとスライドするように移動させる。
7.機体背部の「Initialize」LEDが消えたことを確認する。「Initialize」LEDが消えない場合、ステップ4から作業を繰り返す。
2 本体部
3 ステレオカメラ
4 外部環境撮影カメラ
5 着陸脚
6 計測値決定回路(デジタル信号処理部)
7a 主演算回路
7b 信号変換回路
8 制御信号生成回路
9a 自律制御プログラム
9b 距離制御モジュール
9c 各種データベース
10 記録装置
11 電源系
12 通信アンテナ
13 通信回路
14 センサ部
C0 左カメラ
C1 右カメラ
A 被写体
O0,O1 光学中心
s0,s1 撮像面
P0,P1 像位置
300 カメラ部
301 レンズ
302 絞り
303 CMOSイメージセンサ
304 CDS回路
305 AGC回路
306 A/Dコンバータ
307 フレームメモリ
308 カメラ制御部(カメラ制御回路)
15a 被点検構造物
15b 被点検要素
16a 等距離面
16b 等距離線
17 下方カメラ
18 SLAM処理回路
19 外部入力装置
20 距離設定ノブ
21 離陸パッド
22 第1のマーク
23 第2のマーク
24 初期設定用ピクチャ
Claims (11)
- 外部入力信号及び/又は予め生成された飛行計画情報を用いた制御により飛行する無人航空機と、対象要素と、の距離を計測する距離センサとして、該対象要素を撮影する撮影カメラと、撮影した画像情報を用いて該距離の計測値を決定し、該距離の計測値を示す信号を出力する計測値決定回路と、を備えた距離センサであって、該対象要素の撮影と、該距離の計測値の決定と、該信号の出力とを所定時間間隔で繰り返す、距離センサと、
記録装置と、
前記所定時間間隔で繰り返し出力される前記信号が入力され続け、該入力された該信号の示す前記距離の計測値を、該計測値に対応する計測時刻と関連付けて、該計測値及び該対応する計測時刻の組のデータとして前記記録装置に記録し続けるとともに、前記距離センサにより計測された該距離の計測値に応じて、飛行中に前記無人航空機の飛行を制御するための制御信号を生成する制御信号生成回路と
を備え、
前記制御信号生成回路は、
前記計測値のうち最新の計測値が第1の基準値よりも小さく、且つ、該最新の計測値が前回の計測値よりも小さい場合において、前記無人航空機を前記対象要素から離れさせるための制御信号を生成し、
前記最新の計測値が前記第1の基準値よりも小さく、且つ、該最新の計測値が前記前回の計測値よりも小さくない場合において、前記距離の制御を伴わない制御信号を生成し、
前記最新の計測値が、前記第1の基準値以上の第2の基準値よりも大きく、且つ、該最新の計測値が前記前回の計測値よりも大きい場合において、前記無人航空機を前記対象要素に近づけるための制御信号を生成し、
前記最新の計測値が前記第2の基準値よりも大きく、且つ、該最新の計測値が前記前回の計測値よりも大きくない場合において、前記距離の制御を伴わない制御信号を生成する
よう構成された、
無人航空機の飛行制御装置。 - 前記無人航空機は、少なくとも前記外部入力信号を用いた制御により飛行する無人航空機であって、該外部入力信号は、該無人航空機の飛行中に外部入力装置からリアルタイムで入力される信号であり、前記制御信号は、前記距離の計測値に応じて該外部入力信号を変更して得られる信号である、請求項1に記載の飛行制御装置。
- 前記無人航空機は、少なくとも前記飛行計画情報を用いた制御により飛行する無人航空機であって、該飛行計画情報は、コンピュータがプログラムを実行することにより飛行前に予め生成された飛行計画情報である、請求項1に記載の飛行制御装置。
- 前記計測値決定回路が前記制御信号生成回路に統合されている、請求項1乃至3のいずれか一項に記載の飛行制御装置。
- 前記第1の基準値と前記第2の基準値が等しい、請求項1乃至4のいずれか一項に記載の飛行制御装置。
- 前記撮影カメラの撮影とは異なる方向を撮影する外部環境撮影カメラを更に備えた、請求項1乃至5のいずれか一項に記載の飛行制御装置。
- 前記無人航空機の周囲に存在する要素に対する該無人航空機の相対位置を計測するための相対位置計測センサを更に備えた、請求項1乃至6のいずれか一項に記載の飛行制御装置。
- 前記対象要素は、被点検構造物である、請求項1乃至7のいずれか一項に記載の飛行制御装置。
- 請求項1乃至8のいずれか一項に記載の飛行制御装置を備えた無人航空機。
- 撮影カメラにより対象要素を撮影し、
撮影した画像情報を用いて、外部入力信号及び/又は予め生成された飛行計画情報を用いた制御により飛行する無人航空機と、前記対象要素と、の距離の計測値を計測値決定回路によって決定し、
前記計測値決定回路が該距離の計測値を示す信号を出力する
ことを所定時間間隔で繰り返す段階と、
制御信号生成回路が、前記所定時間間隔で繰り返し出力される前記信号の入力を受け続け、該制御信号生成回路が、該入力された該信号の示す前記距離の計測値を、該計測値に対応する計測時刻と関連付けて、該計測値及び該対応する計測時刻の組のデータとして記録装置に記録し続けるとともに、該制御信号生成回路が、該距離の計測値に応じて、飛行中に前記無人航空機の飛行を制御するための制御信号を生成する段階と
を備え、
前記制御信号を生成する段階は、
前記計測値のうち最新の計測値が第1の基準値よりも小さく、且つ、該最新の計測値が前回の計測値よりも小さい場合において、前記制御信号生成回路が前記無人航空機を前記対象要素から離れさせるための制御信号を生成し、
前記最新の計測値が前記第1の基準値よりも小さく、且つ、該最新の計測値が前記前回の計測値よりも小さくない場合において、前記距離の制御を伴わない制御信号を生成し、
前記最新の計測値が、前記第1の基準値以上の第2の基準値よりも大きく、且つ、該最新の計測値が前記前回の計測値よりも大きい場合において、前記制御信号生成回路が前記無人航空機を前記対象要素に近づけるための制御信号を生成し、
前記最新の計測値が前記第2の基準値よりも大きく、且つ、該最新の計測値が前記前回の計測値よりも大きくない場合において、前記距離の制御を伴わない制御信号を生成する
ことを含む、
無人航空機の飛行制御方法。 - 対象要素を撮影カメラが撮影した画像情報を用いて、外部入力信号及び/又は予め生成された飛行計画情報を用いた制御により飛行する無人航空機と、該対象要素と、の距離の計測値を決定し、該距離の計測値を示す信号を出力する段階を所定時間間隔で計測値決定回路に繰り返し行わせ、
前記所定時間間隔で繰り返し出力される前記信号の入力を受け続ける制御信号生成回路に、該入力された該信号の示す前記距離の計測値を、該計測値に対応する計測時刻と関連付けて、該計測値及び該対応する計測時刻の組のデータとして記録装置に記録させ続け、
前記距離の計測値に応じて、飛行中に前記無人航空機の飛行を制御するための制御指令値を生成する段階であって、
前記計測値のうち最新の計測値が第1の基準値よりも小さく、且つ、該最新の計測値が前回の計測値よりも小さい場合において、前記無人航空機を前記対象要素から離れさせるための制御指令値を生成し、
前記最新の計測値が前記第1の基準値よりも小さく、且つ、該最新の計測値が前記前回の計測値よりも小さくない場合において、前記距離の制御を伴わない制御指令値を生成し、
前記最新の計測値が、前記第1の基準値以上の第2の基準値よりも大きく、且つ、該最新の計測値が前記前回の計測値よりも大きい場合において、前記無人航空機を前記対象要素に近づけるための制御指令値を生成し、
前記最新の計測値が前記第2の基準値よりも大きく、且つ、該最新の計測値が前記前回の計測値よりも大きくない場合において、前記距離の制御を伴わない制御指令値を生成する
ことを含む、前記制御指令値を生成する段階を、前記制御信号生成回路に行わせる
ためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/042617 WO2019106714A1 (ja) | 2017-11-28 | 2017-11-28 | 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020215317A Division JP7184381B2 (ja) | 2020-12-24 | 2020-12-24 | 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019106714A1 JPWO2019106714A1 (ja) | 2020-11-19 |
JP6821220B2 true JP6821220B2 (ja) | 2021-01-27 |
Family
ID=66665471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019556433A Active JP6821220B2 (ja) | 2017-11-28 | 2017-11-28 | 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220019222A1 (ja) |
JP (1) | JP6821220B2 (ja) |
WO (1) | WO2019106714A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11364995B2 (en) * | 2019-03-06 | 2022-06-21 | The Boeing Company | Multi-rotor vehicle with edge computing systems |
CN110385719B (zh) * | 2019-07-23 | 2020-08-28 | 珠海市一微半导体有限公司 | 机器人判断是否碰撞虚拟墙的方法和芯片以及智能机器人 |
US11783273B1 (en) * | 2020-12-02 | 2023-10-10 | Express Scripts Strategic Development, Inc. | System and method for receiving and delivering a medical package |
CN113534093B (zh) * | 2021-08-13 | 2023-06-27 | 北京环境特性研究所 | 飞机目标的螺旋桨叶片数量反演方法及目标识别方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5760559B2 (ja) * | 2011-03-18 | 2015-08-12 | 株式会社リコー | ステレオカメラ装置、視差画像生成方法 |
DE102011017564B4 (de) * | 2011-04-26 | 2017-02-16 | Airbus Defence and Space GmbH | Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler |
JP2016111414A (ja) * | 2014-12-03 | 2016-06-20 | コニカミノルタ株式会社 | 飛行体の位置検出システム及び飛行体 |
WO2016098146A1 (ja) * | 2014-12-19 | 2016-06-23 | 株式会社 スカイロボット | 構造体非破壊検査システム |
WO2016112733A1 (zh) * | 2015-01-13 | 2016-07-21 | 广州极飞电子科技有限公司 | 无人机调度方法及系统、无人机 |
JP2017024616A (ja) * | 2015-07-24 | 2017-02-02 | リズム時計工業株式会社 | 飛行体及びその飛行制御方法、飛行体の飛行制御に用いる発光装置、並びに、飛行制御システム |
JP2017059955A (ja) * | 2015-09-15 | 2017-03-23 | ツネイシホールディングス株式会社 | 撮像システム及びコンピュータプログラム |
WO2017050893A1 (en) * | 2015-09-22 | 2017-03-30 | Pro-Drone Lda. | Autonomous inspection of elongated structures using unmanned aerial vehicles |
JP6375503B2 (ja) * | 2015-10-15 | 2018-08-22 | 株式会社プロドローン | 飛行型検査装置および検査方法 |
JP6390013B2 (ja) * | 2015-10-16 | 2018-09-19 | 株式会社プロドローン | 小型無人飛行機の制御方法 |
US9720413B1 (en) * | 2015-12-21 | 2017-08-01 | Gopro, Inc. | Systems and methods for providing flight control for an unmanned aerial vehicle based on opposing fields of view with overlap |
US9630714B1 (en) * | 2016-01-04 | 2017-04-25 | Gopro, Inc. | Systems and methods for providing flight control for an unmanned aerial vehicle based on tilted optical elements |
WO2017151641A1 (en) * | 2016-02-29 | 2017-09-08 | Optecks, Llc | Aerial three-dimensional scanner |
JP6080143B1 (ja) * | 2016-05-17 | 2017-02-15 | エヌカント株式会社 | 飛行式店内広告システム |
JP6845026B2 (ja) * | 2016-05-30 | 2021-03-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 無人飛行体、制御方法、及び制御プログラム |
US11203425B2 (en) * | 2016-06-30 | 2021-12-21 | Skydio, Inc. | Unmanned aerial vehicle inspection system |
US10788428B2 (en) * | 2017-09-25 | 2020-09-29 | The Boeing Company | Positioning system for aerial non-destructive inspection |
-
2017
- 2017-11-28 US US16/767,454 patent/US20220019222A1/en active Pending
- 2017-11-28 JP JP2019556433A patent/JP6821220B2/ja active Active
- 2017-11-28 WO PCT/JP2017/042617 patent/WO2019106714A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2019106714A1 (ja) | 2019-06-06 |
JPWO2019106714A1 (ja) | 2020-11-19 |
US20220019222A1 (en) | 2022-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10860040B2 (en) | Systems and methods for UAV path planning and control | |
US11635775B2 (en) | Systems and methods for UAV interactive instructions and control | |
US11592844B2 (en) | Image space motion planning of an autonomous vehicle | |
US11649052B2 (en) | System and method for providing autonomous photography and videography | |
US10447912B2 (en) | Systems, methods, and devices for setting camera parameters | |
EP3971674B1 (en) | Systems and methods for uav flight control | |
JP6816156B2 (ja) | Uav軌道を調整するシステム及び方法 | |
JP6821220B2 (ja) | 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム | |
WO2016070318A1 (en) | Camera calibration | |
Holz et al. | Towards multimodal omnidirectional obstacle detection for autonomous unmanned aerial vehicles | |
WO2020225979A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び情報処理システム | |
JP7184381B2 (ja) | 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム | |
Padilla et al. | Factors Affecting 3D Reconstruction of Micro Aerial Vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200526 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200526 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A801 Effective date: 20200601 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20200601 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200709 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6821220 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |