JP7173746B2 - 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム - Google Patents
飛行体、情報記録方法、飛行体の制御方法、および制御プログラム Download PDFInfo
- Publication number
- JP7173746B2 JP7173746B2 JP2018068485A JP2018068485A JP7173746B2 JP 7173746 B2 JP7173746 B2 JP 7173746B2 JP 2018068485 A JP2018068485 A JP 2018068485A JP 2018068485 A JP2018068485 A JP 2018068485A JP 7173746 B2 JP7173746 B2 JP 7173746B2
- Authority
- JP
- Japan
- Prior art keywords
- route
- flight
- flying object
- image
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 67
- 238000007689 inspection Methods 0.000 claims description 111
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 66
- 238000003384 imaging method Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 21
- 230000005540 biological transmission Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 239000003550 marker Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000004056 waste incineration Methods 0.000 description 1
Images
Description
以下、本発明の一実施形態を図1から図11に基づいて説明する。
本発明の一実施形態に係る飛行体の動作概要を図2に基づいて説明する。図2は、飛行体1に施設A1内の飛行経路を学習させる方法を説明する図である。飛行体1は、無人で自律飛行可能な飛行体である。飛行体1は、まず飛行経路を学習するために当該飛行経路に沿って移動する点検員を追尾して飛行し、学習後はその飛行経路に沿って自律飛行する。飛行経路は屋内に設定されたものであっても屋外に設定されたものであってもよく、屋内である場合、どのような建物内であってもよいが、本実施形態では、自律飛行する飛行体1が施設A1内を撮像した画像を用いて施設A1の点検を行う例を説明する。施設A1は、例えば廃棄物の焼却施設である。
本実施形態に係る飛行体1の構成を図1に基づいて説明する。図1は、飛行体1の要部構成の一例を示すブロック図である。また、同図では、飛行体1の撮像した画像を解析するサーバ2についても図示している。飛行体1とサーバ2は、施設の点検を支援する点検支援システム5を構成している。
点検員の追尾方法と点検箇所の学習方法について図3に基づいて説明する。図3は、点検員の追尾方法の例と点検箇所の学習方法の例を示す図である。図3の(a)には、点検箇所を指し示すための指示体の一例である作業指示スティック300を示している。
飛行制御部103は、撮像画像における目標物(所定の検出対象物)の写り方と、制御対応情報112に含まれる撮像画像(経路画像)における目標物の写り方の相違に基づいて、上記撮像画像が撮像された位置まで飛行体1を飛行させる。目標物は、飛行経路の複数個所に配置されており、自律飛行における目印となる。つまり、飛行体1は、各目標物を辿ることにより、飛行経路に沿って飛行することができる。
図8に基づいて、飛行経路の学習について説明する。図8は、飛行経路の例と、該飛行経路に沿った飛行時に撮像された画像の例と、制御対応情報112の例を示す図である。図8の飛行経路は、同図の(a)に示すように、施設A2内の地点P1をスタート地点とし、ここから地点P2まで飛行して90°右旋回し、右旋回後地点P3まで直進し、地点P3で再度90°右旋回し、右旋回後直進して地点P4に着陸するというものである。施設A2内には、目標物B2~B5がある。なお、図8において、Y軸の正方向が北、X軸の正方向が西であるとする。また、図示していないが、上述のように、飛行経路の学習は、飛行経路に沿って移動する追尾対象(例えば点検員)を追尾しながら行う。
計器の自動読み取りについて図9に基づいて説明する。図9は、飛行体1による撮像画像の例と、サーバ2が解析する画像の例を示す図である。同図の(a)には飛行体1が点検対象の施設内を撮像した撮像画像C13の例を示している。この撮像画像C13には計器D2が写っている。飛行体1は、計器D2の計測値を読み取ることができる程度まで当該計器D2に接近し、同図の(b)に示すような撮像画像C14を撮像する。そして、データ送信制御部107は、計器D2を特定する情報(例えば撮像画像C14の撮像位置を示す情報)と共に撮像画像C14をサーバ2に送信する。
経路学習時に飛行体1が行う処理の流れを図10に基づいて説明する。図10は、経路学習時に飛行体1が行う処理の一例を示すフローチャートである。上述のように、経路の学習は、経路に沿って移動する追尾対象を追尾しながら行う。また、図10には示していないが、追尾中においては、撮像制御部101により飛行体1の周囲が常時撮像され、撮像された画像が撮像画像111として記憶部11に記憶されていく。
自律飛行時に飛行体1が行う処理の流れを図11に基づいて説明する。図11は、自律飛行時に飛行体1が行う処理の一例を示すフローチャートである。
本発明の参考例を図12に基づいて説明する。図12は、本発明の一参考例を示す図であり、飛行体1の現在位置を、当該飛行体1を外部から撮像した画像に基づいて特定する例を説明する図である。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
飛行体1の機能の一部は、飛行体1と通信可能なサーバ(上述のサーバ2であってもよいし、他のサーバであってもよい)に持たせてもよい。例えば、経路の学習に関する機能はサーバに持たせ、飛行体1は該サーバが生成した制御対応情報112を用いて自律飛行するといった構成も可能である。この場合、経路画像を取得するステップと、該経路画像と駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録するステップはサーバが実行することになる。
バッテリ15に対する給電は、ユーザが手動で行ってもよいし、飛行体1が自動で行うようにしてもよい。後者の場合、例えば充電ポートを設けておき、当該充電ポートまで飛行体1が自律飛行して給電を受ける方法等が適用可能である。この場合、例えば電磁誘導や磁界共鳴を利用した無線給電が好ましい。また、飛行体1にアンテナを搭載し、飛行経路に複数の送電アンテナを配置して、飛行体1の最寄りの送電アンテナから高周波の電波を送信することにより、飛行中の飛行体1に給電することも可能である。この他にも、例えば飛行経路が明るい場所である場合には、飛行体1に太陽電池を搭載し、太陽電池が生成した電力をバッテリ15に蓄電するようにしてもよい。また、飛行経路における、直線部分にレーザ光や可視光の照射装置を設置し、飛行体1に受光部を設けることにより、直線飛行しながら受光し、受光により発生した電力をバッテリ15に蓄電するようにしてもよい。
飛行体1の制御ブロック(特に制御部10に含まれる各部)、並びにサーバ2の制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
本発明の一態様に係る飛行体は、駆動制御に従って飛行する飛行体であって、飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、を備えている。
101 撮像制御部
102 追尾制御部
103 飛行制御部
104 経路画像取得部
105 経路学習部
106 点検箇所学習部(処理実行部)
112 制御対応情報
300 作業指示スティック(指示体)
Claims (10)
- 駆動制御に従って飛行する飛行体であって、
飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、
上記経路画像取得部が取得する、上記駆動制御が行われた際に撮像された上記経路画像と、当該駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、
上記飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行するときに、上記飛行体の自律飛行時において点検の対象となる点検箇所を特定し、当該点検箇所を示す点検箇所情報を記録する点検箇所学習部と、を備えていることを特徴とする飛行体。 - 駆動制御に従って飛行する飛行体であって、
飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、
上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、
上記飛行経路に沿って移動する追尾対象を追尾するように上記飛行体を飛行させる追尾制御部と、を備え、
上記経路画像取得部は、上記追尾制御部が、上記追尾対象を追尾するように上記飛行体を飛行させているときに上記経路画像を取得する、ことを特徴とする飛行体。 - 飛行経路に沿って自律飛行する飛行体であって、
上記飛行体から撮像された撮像画像を取得する撮像制御部と、
上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御部と、を備え、
上記経路画像は、過去に上記飛行体が上記飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行したときに、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行うたびに取得された画像であり、
上記飛行制御部は、複数の上記経路画像のうち、上記撮像画像と一致した経路画像に対応する上記駆動制御を行う、ことを特徴とする飛行体。 - 上記飛行制御部は、上記撮像画像における所定の検出対象物の写り方と、上記経路画像における上記所定の検出対象物の写り方の相違に基づいて、上記経路画像が撮像された位置まで上記飛行体を飛行させることを特徴とする請求項3に記載の飛行体。
- 駆動制御に従って飛行する飛行体であって、
飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、
上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、
上記飛行経路に沿って飛行中の上記飛行体からの撮像画像から所定の指示体を検出すると共に、該指示体が指し示す指示対象物について所定の処理を行う処理実行部と、を備えていることを特徴とする飛行体。 - 駆動制御に従って飛行する飛行体であって、
飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、
上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、
上記飛行経路に沿って飛行中の上記飛行体からの撮像画像に写っている被写体の中からユーザが指定した指示対象物について所定の処理を行う処理実行部と、を備えていることを特徴とする飛行体。 - 飛行体を自律飛行させるための情報を記録するコンピュータによる情報記録方法であって、
所定の飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って上記飛行体を飛行させる場合において、当該飛行経路に沿って飛行させるための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得するステップと、
上記ステップで取得される、上記駆動制御が行われた際に撮像された上記経路画像と、当該駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録するステップと、を含み、
上記飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行するときに、上記飛行体の自律飛行時において点検の対象となる点検箇所を特定し、当該点検箇所を示す点検箇所情報を記録するステップをさらに含む、ことを特徴とする情報記録方法。 - 飛行体を飛行経路に沿って自律飛行させるコンピュータによる飛行体の制御方法であって、
上記飛行体から撮像された撮像画像を取得する撮像ステップと、
上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御ステップと、を含み、
上記経路画像は、過去に上記飛行体が上記飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行したときに、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行うたびに取得された画像であり、
上記飛行制御ステップでは、複数の上記経路画像のうち、上記撮像画像と一致した経路画像に対応する上記駆動制御を行う、ことを特徴とする飛行体の制御方法。 - 請求項1に記載の飛行体を動作させるための制御プログラムであって、上記飛行体が備えるコンピュータを、上記経路画像取得部、上記経路学習部、および点検箇所学習部として機能させる制御プログラム。
- 請求項3に記載の飛行体を動作させるための制御プログラムであって、上記飛行体が備えるコンピュータを、上記撮像制御部および上記飛行制御部として機能させる制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018068485A JP7173746B2 (ja) | 2018-03-30 | 2018-03-30 | 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018068485A JP7173746B2 (ja) | 2018-03-30 | 2018-03-30 | 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019179422A JP2019179422A (ja) | 2019-10-17 |
JP7173746B2 true JP7173746B2 (ja) | 2022-11-16 |
Family
ID=68278585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018068485A Active JP7173746B2 (ja) | 2018-03-30 | 2018-03-30 | 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7173746B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020126517A (ja) * | 2019-02-06 | 2020-08-20 | 住友重機械エンバイロメント株式会社 | 移動体、巡回点検システム及び巡回点検方法 |
JP7451251B2 (ja) * | 2020-03-19 | 2024-03-18 | 水ing株式会社 | 水処理施設の巡回点検システム、無人移動ユニット及びプログラム |
US20230196930A1 (en) * | 2020-06-03 | 2023-06-22 | Nec Corporation | Landing information determination apparatus, landing information determination system, landing information determination method, and computer-readable medium |
JP7122439B2 (ja) | 2020-07-06 | 2022-08-19 | 株式会社タクマ | ごみピット転落警報装置、ごみピット転落警報方法およびごみピット転落警報プログラム |
JP6899108B1 (ja) * | 2020-11-12 | 2021-07-07 | 株式会社センシンロボティクス | 計器指示値読取方法及び管理サーバ、計器指示値読取システム、プログラム |
WO2022107775A1 (ja) * | 2020-11-20 | 2022-05-27 | ファナック株式会社 | 飛行指令生成装置、およびコンピュータ読み取り可能な記憶媒体 |
JP2022147890A (ja) * | 2021-03-24 | 2022-10-06 | 株式会社デンソー | 検査装置 |
WO2023037458A1 (ja) * | 2021-09-08 | 2023-03-16 | 日本電信電話株式会社 | 点検システム、点検方法、及び飛行装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011258065A (ja) | 2010-06-10 | 2011-12-22 | Yaskawa Electric Corp | 移動体システム |
JP2017058829A (ja) | 2015-09-15 | 2017-03-23 | 株式会社オプティム | 無人航空機制御システム、無人航空機制御方法 |
WO2017197197A1 (en) | 2016-05-11 | 2017-11-16 | Brain Corporation | Systems and methods for initializing a robot to autonomously travel a trained route |
JP2018021491A (ja) | 2016-08-02 | 2018-02-08 | 株式会社日立製作所 | システム及び飛行ルート生成方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11231725B2 (en) * | 2017-03-06 | 2022-01-25 | Spiral Inc. | Control system for a flying object, control device therefor, and marker thereof |
-
2018
- 2018-03-30 JP JP2018068485A patent/JP7173746B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011258065A (ja) | 2010-06-10 | 2011-12-22 | Yaskawa Electric Corp | 移動体システム |
JP2017058829A (ja) | 2015-09-15 | 2017-03-23 | 株式会社オプティム | 無人航空機制御システム、無人航空機制御方法 |
WO2017197197A1 (en) | 2016-05-11 | 2017-11-16 | Brain Corporation | Systems and methods for initializing a robot to autonomously travel a trained route |
JP2018021491A (ja) | 2016-08-02 | 2018-02-08 | 株式会社日立製作所 | システム及び飛行ルート生成方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019179422A (ja) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7173746B2 (ja) | 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム | |
CN106291535B (zh) | 一种障碍物检测装置、机器人及避障系统 | |
US10878633B2 (en) | Augmented reality-based measuring system | |
US9472109B2 (en) | Obstacle detection system providing context awareness | |
US9758239B2 (en) | System and method for controlling an unmanned air vehicle | |
US20100228418A1 (en) | System and methods for displaying video with improved spatial awareness | |
US20140336928A1 (en) | System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling | |
CN103941746A (zh) | 无人机巡检图像处理系统及方法 | |
CN108692701B (zh) | 基于粒子滤波器的移动机器人多传感器融合定位方法 | |
CN110944908B (zh) | 用于检测螺旋桨的系统和方法 | |
KR20170004508A (ko) | 영상정보를 이용한 비행체의 자동 착륙 방법 및 장치 | |
CN108917746A (zh) | 头盔姿态测量方法、测量装置及测量系统 | |
CN110392908A (zh) | 用于生成地图数据的电子设备及其操作方法 | |
Hell et al. | Drone systems for factory security and surveillance | |
CN113140003A (zh) | 使用图像中所示的现有界标创建地面控制点文件 | |
KR20160027605A (ko) | 사용자기기의 실내 위치를 측정하기 위한 측위방법 및 이를 구현하기 위한 장치 | |
JP2016085613A (ja) | 運航状況表示システム及び運航状況表示方法 | |
JPH0524589A (ja) | 垂直離着陸航空機の自動着陸誘導方法 | |
JP2021131762A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US10989797B2 (en) | Passive altimeter system for a platform and method thereof | |
CN105278538A (zh) | 一种带机头方向指示的无人机遥控装置及方法 | |
JP2013234971A (ja) | 3軸標識計測方法、3軸標識計測プログラム、及び3軸標識計測装置 | |
JP2017016395A (ja) | 経路生成方法とシステム | |
US10310080B2 (en) | Three dimensional manufacturing positioning system | |
US11577402B2 (en) | Robot system and portable teaching device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7173746 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R157 | Certificate of patent or utility model (correction) |
Free format text: JAPANESE INTERMEDIATE CODE: R157 |