JP7173746B2 - 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム - Google Patents

飛行体、情報記録方法、飛行体の制御方法、および制御プログラム Download PDF

Info

Publication number
JP7173746B2
JP7173746B2 JP2018068485A JP2018068485A JP7173746B2 JP 7173746 B2 JP7173746 B2 JP 7173746B2 JP 2018068485 A JP2018068485 A JP 2018068485A JP 2018068485 A JP2018068485 A JP 2018068485A JP 7173746 B2 JP7173746 B2 JP 7173746B2
Authority
JP
Japan
Prior art keywords
route
flight
flying object
image
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018068485A
Other languages
English (en)
Other versions
JP2019179422A (ja
Inventor
和人 飯尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Zosen Corp
Original Assignee
Hitachi Zosen Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=68278585&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP7173746(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Hitachi Zosen Corp filed Critical Hitachi Zosen Corp
Priority to JP2018068485A priority Critical patent/JP7173746B2/ja
Publication of JP2019179422A publication Critical patent/JP2019179422A/ja
Application granted granted Critical
Publication of JP7173746B2 publication Critical patent/JP7173746B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は自律飛行可能な飛行体に関する。
ドローン等の飛行体の様々な産業分野への利用が進められている。例えば、下記の特許文献1には、無人航空機を用いて施設の点検を行うシステムが開示されている。このシステムでは、施設内に複数の固定器を設置し、各固定器と無人航空機との間での無線信号の空中伝搬時間を利用して無人航空機の三次元位置を特定し、その特定結果を用いて該無人航空機を飛行ルートに沿って自動飛行させている。
特開2017-154577号公報(2017年9月7日公開)
しかしながら、上述のような従来技術では、飛行ルートに沿って予め固定器を設置しておく必要があり、固定器の設置や維持管理に手間も費用もかかるという問題がある。また、GPS(Global Positioning System)を利用して無人航空機の位置を特定する方法も考えられるが、GPSで得られる位置情報の精度には限界があり、また、施設内などではGPS信号を受信できない場合もある。
本発明の一態様は、GPSや無線信号の発信機等を用いることなく、所定の飛行経路に沿って自律飛行することができる飛行体等を実現することを目的とする。
上記の課題を解決するために、本発明の一態様に係る飛行体は、駆動制御に従って飛行する飛行体であって、飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、を備えている。
また、上記の課題を解決するために、本発明の一態様に係る他の飛行体は、飛行経路に沿って自律飛行する飛行体であって、上記飛行体から撮像された撮像画像を取得する撮像制御部と、上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御部と、を備えている。
また、上記の課題を解決するために、本発明の一態様に係る情報記録方法は、飛行体を自律飛行させるための情報を記録するコンピュータによる情報記録方法であって、所定の飛行経路を学習するために当該飛行経路に沿って上記飛行体を飛行させる場合において、当該飛行経路に沿って飛行させるための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得するステップと、上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録するステップと、を含む。
また、上記の課題を解決するために、本発明の一態様に係る飛行体の制御方法は、飛行体を飛行経路に沿って自律飛行させるコンピュータによる飛行体の制御方法であって、上記飛行体から撮像された撮像画像を取得する撮像ステップと、上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御ステップと、を含む。
本発明の一態様によれば、GPSや無線信号の発信機等を用いることなく、飛行体を所定の飛行経路に沿って自律飛行させることが可能になるという効果を奏する。
本発明の実施形態1に係る飛行体の要部構成の一例を示すブロック図である。 上記飛行体に施設内の飛行経路を学習させる方法を説明する図である。 点検員の追尾方法の例と点検箇所の学習方法の例を示す図である。 基準位置から目標物を撮像した基準画像の例を示す図である。 図4の例と比べて離れた位置の上記飛行体から目標物を撮像した例を示す図である。 図4の例と比べてX軸方向およびY軸方向にずれた位置の上記飛行体から目標物を撮像した例を示す図である。 図4の例と比べてZ軸方向にずれた位置の上記飛行体から目標物を撮像した例を示す図である。 飛行経路の例と、該飛行経路に沿った飛行時に撮像された画像の例と、制御対応情報の例を示す図である。 上記飛行体による撮像画像の例と、サーバが解析する画像の例を示す図である。 経路学習時に上記飛行体が行う処理の一例を示すフローチャートである。 自律飛行時に上記飛行体が行う処理の一例を示すフローチャートである。 本発明の一参考例を示す図であり、上記飛行体の現在位置を、当該飛行体を外部から撮像した画像に基づいて特定する例を説明する図である。
〔実施形態1〕
以下、本発明の一実施形態を図1から図11に基づいて説明する。
〔動作概要〕
本発明の一実施形態に係る飛行体の動作概要を図2に基づいて説明する。図2は、飛行体1に施設A1内の飛行経路を学習させる方法を説明する図である。飛行体1は、無人で自律飛行可能な飛行体である。飛行体1は、まず飛行経路を学習するために当該飛行経路に沿って移動する点検員を追尾して飛行し、学習後はその飛行経路に沿って自律飛行する。飛行経路は屋内に設定されたものであっても屋外に設定されたものであってもよく、屋内である場合、どのような建物内であってもよいが、本実施形態では、自律飛行する飛行体1が施設A1内を撮像した画像を用いて施設A1の点検を行う例を説明する。施設A1は、例えば廃棄物の焼却施設である。
飛行経路の学習にあたり、点検員は点検経路A11に沿って施設A1内を移動する。そして、飛行体1は点検員を追尾して施設A1内を飛行しながら、その飛行経路を学習する。また、点検経路A11には、複数の点検箇所A12があるので、飛行体1はそれらの点検箇所A12についても学習する。このような学習を繰り返すことにより、飛行体1は学習した飛行経路に沿って自律飛行することが可能となり、また、自律飛行中に各点検箇所A12で点検のための処理(計器の撮像等)を行うことが可能になる。
点検経路A11は、アップダウンがある複雑に入り組んだ経路となっており、また点検箇所A12の数も多い。このため、点検作業は点検員にとって重労働であり、また点検に要する時間も長大となる。しかし、飛行体1を利用することにより、点検箇所A12の一部または全部について、飛行体1に点検を行わせることができる。よって、点検員の作業負担を減らし、短時間で点検を完了することが可能になる。また、飛行体1によれば、点検員の目が届かない高所や、足場がないような場所にある点検箇所A12についても点検が可能である。
〔装置構成〕
本実施形態に係る飛行体1の構成を図1に基づいて説明する。図1は、飛行体1の要部構成の一例を示すブロック図である。また、同図では、飛行体1の撮像した画像を解析するサーバ2についても図示している。飛行体1とサーバ2は、施設の点検を支援する点検支援システム5を構成している。
飛行体1は、飛行体1の各部を統括して制御する制御部10、飛行体1が使用する各種データを記憶する記憶部11、および、飛行体1を飛行させるための駆動部13を備えている。さらに、飛行体1は、飛行体1の周囲を撮像する撮像部12、飛行体1が他の機器(例えばサーバ2)と通信するための通信部14、飛行体1が動作するための電力を供給するバッテリ15、および近接センサ16を備えている。
制御部10には、撮像制御部101、追尾制御部102、飛行制御部103、経路画像取得部104、経路学習部105、点検箇所学習部(処理実行部)106、およびデータ送信制御部107が含まれている。
撮像制御部101は、撮像部12の動作を制御して飛行体1からの撮像画像を撮像させると共に、撮像部12が撮像した撮像画像を取得する。そして、撮像制御部101は、取得した撮像画像を撮像画像111として記憶部11に記録する。なお、撮像制御部101は、撮像画像111が撮像されたタイミングを特定できるように、撮像時刻を示す時刻情報等についても合せて記録する。
追尾制御部102は、駆動部13を制御して、飛行経路に沿って移動する点検員(追尾対象)を追尾するように飛行体1を飛行させる。なお、追尾方法については図3に基づいて後述する。
飛行制御部103は、駆動部13を制御して、飛行体1を自律飛行させる。詳細は後述するが、飛行制御部103は、過去に飛行体1が飛行経路に沿って飛行するにおいて駆動制御を行った際に撮像された経路画像と、撮像画像とが一致したと判定したときに、上記駆動制御を行う。これにより、過去に飛行経路に沿って飛行したとき(点検員を追尾して飛行したとき)と同様のタイミングで同じ駆動制御が行われるので、飛行経路に沿った自律飛行が可能になる。
なお、自律飛行時においても、追尾飛行時においても、近接センサ16により、飛行体1から所定距離以内に接近した物体(障害物等)を検知した場合、安全面を考慮して、飛行体1の進行を停止させるか、進行方向を変更させることが望ましい。また、障害物等を回避した後は、追尾または飛行経路に沿った自律飛行に復帰できるようにすることが望ましい。
経路画像取得部104は、飛行体1が飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に飛行体1から撮像された撮像画像である経路画像を取得する。具体的には、経路画像取得部104は、点検員を追尾しながら飛行経路に沿って飛行する際に撮像された撮像画像111のうち、追尾制御部102が駆動制御を行った際に撮像された撮像画像111を取得する。
経路学習部105は、上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を生成し、制御対応情報112として記憶部11に記録する。飛行経路の学習については図8に基づいて後述する。
点検箇所学習部106は、撮像画像111から所定の指示体を検出すると共に、該指示体が指し示す指示対象物について所定の処理を行う。具体的には、点検箇所学習部106は、指示体が指し示す指示対象物を点検箇所であると特定して、特定した点検箇所を示す点検箇所情報113を記憶部11に記録する処理を行う。
データ送信制御部107は、サーバ2にデータを送信する制御を行う。データの送信は通信部14を介して行う。具体的には、データ送信制御部107は、点検箇所を撮像した撮像画像111をサーバ2に送信する。
記憶部11には、撮像部12が撮像した画像である撮像画像111が記憶されている他、制御対応情報112および点検箇所情報113が記憶されている。上述のように、制御対応情報112は、飛行経路に沿って飛行している飛行体1の駆動制御が行われる際に撮像した経路画像と、駆動制御の内容を示す制御情報とを対応付けた情報である。また、点検箇所情報113は点検箇所を示す情報である。
サーバ2は、飛行体1が撮像した撮像画像を受信し、解析する。具体的には、サーバ2は、データ送信制御部107が送信する、点検箇所を撮像した撮像画像111を受信し、その撮像画像111に写っている計器が示す値を特定する。計器が示す値の特定については図9に基づいて後述する。
〔点検員の追尾と点検箇所の学習〕
点検員の追尾方法と点検箇所の学習方法について図3に基づいて説明する。図3は、点検員の追尾方法の例と点検箇所の学習方法の例を示す図である。図3の(a)には、点検箇所を指し示すための指示体の一例である作業指示スティック300を示している。
作業指示スティック300は、球状の先端部301と棒状の持ち手部302とを含み、持ち手部302にはボタン303が設けられている。先端部301は中空となっており、その内部には図示しない光源が配置されている。ボタン303を操作することにより、光源を発光させることができ、光源からの光は透明な先端部301を透過して、該先端部301の外部に出射される。光源としては、例えば発光色を変化させることのできるLED(Light Emitting Diode)を適用してもよく、この場合、ボタン303を操作することにより、発光色を変化させることができるようにすることが好ましい。また、ボタン303を操作することにより、複数の発光パターン(例えば、点滅させるパターンと点灯させるパターン等)で発光させることができるようにしてもよい。
作業指示スティック300の先端部301は球状であるから、何れの方向から撮像しても円形に写る。このため、飛行体1は、自機で撮像した画像から作業指示スティック300(より詳細には球状の先端部301)を検出し、これに追従するように飛行してもよい。この場合、追尾対象は作業指示スティック300(より詳細には球状の先端部301)ということになる。
例えば、図3の(b)の例では、作業指示スティック300を持った点検員が、施設A3における点検経路の一部である廊下を移動している。そして、点検員の背後を飛行体1が飛行している。この飛行体1からの撮像画像は、同図の(c)における撮像画像C11のようになる。撮像画像C11は点検員の背後から撮像されたものであるが、作業指示スティック300の先端部301は円形に写っている。このため、追尾制御部102は、撮像画像C11から先端部301を容易に検出することができる。なお、作業指示スティック300を所定の発光色で発光させたり、点滅させたりすることにより、先端部301の検出精度を高めることもできる。
先端部301を検出して追尾を行う場合、追尾制御部102は、撮像される画像中の先端部301のサイズが所定のサイズで維持されるように駆動部13を制御して飛行体1を飛行させてもよい。例えば、追尾制御部102は、撮像される画像中の先端部301のサイズが所定の閾値以下となったときに、飛行体1を所定距離だけ前進させてもよい。このような処理を繰り返すことにより、直進する点検員から一定の距離を保って追尾することができる。また、点検員が進行方向を変えた場合、撮像画像において先端部301の写る位置が変化するので、追尾制御部102は、その変化に応じて、飛行体1を旋回させる。なお、撮像画像における先端部301のサイズと、その撮像画像の撮像時における先端部301と飛行体1との距離との対応関係は予め特定しておく。これにより、追尾制御部102は、撮像画像において先端部301の写る位置が変化したときの撮像画像における先端部301のサイズから、飛行体1を旋回させるべき位置あるいはタイミングを特定することができる。
無論、画像に基づく追尾を行う場合、追尾対象は作業指示スティック300に限られない。例えば、点検員の装用している物品や、その物品に付されたマーク等を追尾対象として追尾を行ってもよい。例えば、点検員のヘルメットの後方側に所定のマークが描かれたシールを貼り付けておき、そのマークを追尾対象として追尾を行わせることもできる。また、点検経路に沿って移動する人(点検員等)や、物(例えばロボットや他の飛行体等)を追尾対象としてもよい。
なお、点検員を追尾する方法は上記の例に限られず、例えば点検員にビーコン信号等の信号の発信機を持たせ、飛行体1にその受信機を搭載して、追尾制御部102は、該信号の受信強度等に基づいて点検員を追尾してもよい。また、例えばRFID(Radio Frequency Identifier)を用いて点検員を追尾することも可能である。さらに、無線信号と画像とを併用して追尾を行う構成としてもよい。これにより、無線信号による追尾または画像による追尾が一時的にできなくなった場合であっても、他方を利用した追尾が可能であるから、安定した追尾が実現できる。
また、点検員は、自身を追尾している飛行体1に対し、作業指示スティック300で点検箇所(指示対象物)を指し示すことにより、その点検箇所を飛行体1に学習させることができる。例えば、図3の(d)には、計器D1の近傍で作業指示スティック300の先端部301を点灯させた様子を撮像した撮像画像C12を示している。点検箇所学習部106は、このような撮像画像を解析することにより、計器D1が点検員の指定する点検箇所であると特定する。特定の方法は特に限定されず、例えば、持ち手部302の延伸方向(先端部301の前方)に写っている物体を点検箇所であると特定してもよいし、先端部301が写っている箇所から所定範囲内に写っている物体を点検箇所であると特定してもよい。
また、例えば、作業指示スティック300を使用したジェスチャによって点検箇所を指定してもよい。この場合、点検箇所学習部106は、ジェスチャの内容から点検箇所を特定する。例えば、点検箇所の周囲を囲むように先端部301を動かすジェスチャにより点検箇所を指定する場合、点検箇所学習部106は、撮像された画像から上記ジェスチャを検出する。そして、先端部301の軌跡で囲まれる領域に写っている物体を点検箇所であると特定する。
また、点検箇所学習部106は、検出した点検箇所において、飛行体1がどのような処理を行うかについても特定してもよい。飛行体1が行う処理は特に限定されず、例えば点検箇所の画像を撮像する処理等が挙げられる。また、例えば飛行体1がセンサを備えている場合には、該センサによりセンシングを行う等の処理であってもよい。センサの種類も特に限定されず、例えば赤外線サーモグラフィ等の熱画像センサであってもよい。この場合、点検員では気付くことが困難な、点検箇所の温度異常等を検知することも可能になる。
飛行体1が行う処理の特定方法は特に限定されない。例えば、飛行体1が行う処理に応じたジェスチャを予め定めておいてもよく、この場合、点検箇所学習部106は、撮像された画像からジェスチャを検出し、検出したジェスチャに応じた処理を特定する。また、例えば、処理に応じた先端部301の点灯パターンを予め定めておいてもよく、この場合、点検箇所学習部106は、撮像された画像から検出した先端部301の点灯パターンに応じた処理を特定する。
そして、点検箇所学習部106は、特定した点検箇所を示す点検箇所情報113を記憶部11に記録する。点検箇所情報113には、飛行体1が次回以降に点検経路を飛行する際に、当該点検箇所を自動で検出できるような情報が含まれていればよい。例えば、点検箇所学習部106は、点検箇所を撮像した画像の他、点検箇所の位置情報を含む点検箇所情報113を生成し、記録してもよい。また、点検箇所で行う処理を特定していた場合、該処理を示す情報も点検箇所情報113に含めてもよい。
なお、作業指示スティック300は、飛行体1に対する任意の指示を行う際に使用できる。例えば、飛行体1は、作業指示スティック300が指し示す指示対象物を撮像する処理や、指示対象物の状態を検出する処理を行ってもよい。このような処理は、制御部10に、撮像画像から所定の指示体を検出すると共に、該指示体が指し示す指示対象物について所定の処理を行う処理実行部を追加することによって実現可能である。なお、状態の検出は、例えば、飛行体1にセンサを搭載することによって実現可能である。
また、点検箇所学習部106は、飛行経路に沿って飛行中の飛行体1からの撮像画像に写っている被写体の中からユーザが指定した指示対象物を点検箇所として学習してもよい。指示対象物の指定方法は特に限定されない。例えば、飛行体1は、撮像部12で撮像した画像をユーザの所持するタブレット端末等の端末装置に送信し、送信した画像から指示対象物を指定させてもよい。この場合、上記端末装置は、飛行体1から受信した上記画像を表示して、ユーザによる指示対象物の指定操作(例えば、表示している画像において)を受け付け、指定された位置(画像上の位置)を飛行体1に通知する。これにより、飛行体1の点検箇所学習部106は、ユーザが指定した指示対象物を特定することができる。また、上記端末装置は、飛行体1から受信した上記画像から指示対象物の候補となる物体を検出し、それら候補をユーザに提示して指示対象物を選択させてもよい。物体検出は、例えば公知の画像認識技術を用いることにより実現できる。この場合、上記端末装置はユーザの選択操作を受け付けて、選択された指示対象物を飛行体1に通知し、点検箇所学習部106はこの通知からユーザが指定した指示対象物を特定する。なお、指示対象物は、飛行体1が例えば撮像やセンサによるセンシング等の所定の処理を行う対象となるものであればよく、点検箇所に限られない。このような所定の処理は、上述のように処理実行部を設け、該処理実行部に実行させればよい。
〔自律飛行時の目標検出と位置特定〕
飛行制御部103は、撮像画像における目標物(所定の検出対象物)の写り方と、制御対応情報112に含まれる撮像画像(経路画像)における目標物の写り方の相違に基づいて、上記撮像画像が撮像された位置まで飛行体1を飛行させる。目標物は、飛行経路の複数個所に配置されており、自律飛行における目印となる。つまり、飛行体1は、各目標物を辿ることにより、飛行経路に沿って飛行することができる。
このような自律飛行を行う前提として、予め、上記目標物を所定の基準位置から飛行体1に撮像させておく。これについて図4に基づいて説明する。図4は、基準位置から目標物を撮像した基準画像の例を示す図である。なお、図4の(a)(b)では、高さ方向をZ、目標物B1の正面方向をX、ZとXに垂直な方向をYとしている。後述の図5から図7も同様である。
図4の例では、目標物B1は正面視で正方形状の物体である。目標物B1は、点検対象の施設に含まれるモニタや計器、配管等の設備要素の1つであってもよいし、位置検出のために配置された標識であってもよい。後述の目標物B2~B5も同様である。図4の例では、同図の(a)(b)に示すように、この目標物B1から距離D1だけ離れた、床面から高さH1の位置(基準位置)を飛行(ホバリング)している飛行体1に目標物B1を撮像させている。この状態では、飛行体1は、目標物B1の真正面に位置している。
上記の撮像によって得られた撮像画像である基準画像C1を同図の(c)に示している。基準画像C1の中央部には、目標物B1が写っている。上述のように、正面視で正方形状の目標物B1を正面から撮像しているので、基準画像C1に写る目標物B1も正方形状(幅w1=高さh1)である。基準画像C1から、目標物B1と飛行体1の相対位置と、目標物B1の写り方(基準画像C1の画像領域において目標物B1が占める領域の形状、位置、およびサイズ)との対応関係が特定できる。
また、飛行制御部103は、飛行体1が撮像した画像から目標物B1を検出できるように学習しておく。なお、目標物B1と飛行体1との位置関係によっては、撮像される画像に写る目標物B1の形状およびサイズ等が異なる場合があるので、様々な位置から目標物1Bを撮像した画像を教師データとして機械学習しておくことが望ましい。
飛行体1の自律飛行時において、飛行制御部103は、目標物B1の外観の学習結果に基づき、飛行体1から撮像した撮像画像から目標物B1を検出する。そして、飛行制御部103は、検出した目標物B1の写り方から、飛行体1の現在位置と基準位置とのずれを特定し、このずれを相殺するように飛行体1を飛行させることにより、飛行体1を基準位置に移動させる。
ここで、基準位置からのずれの特定方法について、図5から図7に基づいて説明する。図5は、図4の例と比べて離れた位置の飛行体1から目標物B1を撮像した例を示す図である。図6は、図4の例と比べてX軸方向およびY軸方向にずれた位置の飛行体1から目標物B1を撮像した例を示す図である。図7は、図4の例と比べてZ軸方向にずれた位置の飛行体1から目標物B1を撮像した例を示す図である。
図5の(a)に示す撮像画像C2においても、図4の(c)の基準画像C1と同様に目標物B1が正方形状に写っている。ただし、基準画像C1と比べて、幅w2および高さh2が小さくなっている。ずれの特定にあたり、飛行制御部103は、まず、上述の学習結果に基づいて撮像画像C2から目標物B1を検出する。
次に、飛行制御部103は、目標物B1の撮像画像C2における形状、位置、およびサイズから、飛行体1の現在位置と基準位置とのずれを特定する。具体的には、飛行制御部103は、撮像画像C2において、目標物B1が中央部に写る正方形状に写っていることから、Z軸方向およびY軸方向のずれがゼロであると特定する。
また、飛行制御部103は、撮像画像C2に写る目標物B1の幅w2および高さh2と、基準画像C1における目標物B1の幅w1および高さh1とに基づいて、X軸方向のずれを特定する。具体的には、飛行制御部103は、画像C2に写る目標物B1の幅w2および高さh2が、目標物B1から飛行体1までの距離D2に反比例するものとして、飛行体1から目標物B1までの距離D2を算出する。例えば、基準画像C1において、目標物B1の幅w1および高さh1が各400ピクセルで写っており、画像C2では、目標物B1の幅w2および高さh2が各200ピクセルで写っていたとする。この場合、飛行制御部103は、D2=2×D1と算出する。
以上の処理により、飛行制御部103は、図5の(a)の撮像画像C2から、飛行体1の現在位置が、同図の(b)に示すような、基準位置から距離(D2-D1)だけX軸の負方向にずれた位置であると特定する。
また、図6の(a)に示す撮像画像C3にも目標物B1が写っているが、図4の(c)のような正方形状には写っておらず、横向きの等脚台形状に歪んで写っている。このように、目標物B1が歪んで写っている場合であっても、飛行制御部103は、上述の学習結果に基づいて目標物B1を検出する。
目標物B1が歪んで写っている場合にも、飛行制御部103は、その形状(歪み方)、撮像画像C3における位置、およびサイズから、飛行体1の現在位置と基準位置とのずれを特定する。具体的には、飛行制御部103は、撮像画像C3に写る目標物B1の左辺の長さha1が右辺の長さhb1よりも長いことから、目標物B1の正面よりもY軸の負の向きにずれた位置に飛行体1が位置していると特定する。また、飛行制御部103は、目標物B1が撮像画像C3の中央に写っていることから、飛行体1が目標物B1の中央部に向いていると特定する。また、飛行制御部103は、目標物B1の上辺と下辺の長さが等しいことから、Z軸方向のずれはゼロであると特定する。
そして、以上の特定結果から、飛行制御部103は、飛行体1の現在位置の基準位置からのずれ方が、同図の(b)に示すようなずれ方であると特定する。すなわち、飛行体1の現在位置は、XY平面において基準位置からY軸の負方向に回動してずれた位置(この回動により撮像方向がθ1変化)であると特定する。なお、飛行体1の現在位置から目標物B1までの距離D3は、撮像画像C3における目標物B1の高さha1およびhb1から算出できる。
同様に、図6の(c)に示す撮像画像C4が撮像された場合、飛行制御部103は、飛行体1の現在位置の基準位置からのずれ方が、同図の(d)に示すようなずれ方であると特定する。すなわち、飛行体1の現在位置は、XY平面において基準位置からY軸の正方向に回動してずれた位置(この回動により撮像方向がθ2変化)であると特定する。なお、飛行体1の現在位置から目標物B1までの距離D3は、撮像画像C3における目標物B1の高さha2およびhb2から算出できる。
また、図7の(a)に示す撮像画像C5が撮像された場合、飛行制御部103は、撮像画像C5に写る目標物B1の上辺の長さwa1が下辺の長さwb1よりも短いことから、基準位置からZ軸の負の向きにずれた位置に飛行体1が位置していると特定する。さらに、下辺の長さwb1=w1であることから、飛行体1の現在位置から当該下辺までの距離がD1であると特定する。また、撮像画像C5における目標物B1の位置が、基準画像C1よりも上方となっていることから、飛行体1はZ軸の負の向きに直進したと特定する。
そして、以上の特定結果から、飛行制御部103は、飛行体1の現在位置の基準位置からのずれ方が、同図の(b)に示すようなずれ方であると特定する。すなわち、飛行体1の現在位置は、基準位置からZ軸の負方向にずれた位置であり、飛行体1から目標物B1までの距離がD1である位置と特定する。
同様に、図7の(c)に示す撮像画像C5が撮像された場合、飛行制御部103は、飛行制御部103は、飛行体1の現在位置の基準位置からのずれ方が、同図の(d)に示すようなずれ方であると特定する。すなわち、飛行体1の現在位置は、基準位置からZ軸の正方向にずれた位置であり、飛行体1から目標物B1までの距離がD1である位置と特定する。
なお、飛行制御部103は、目標物の写り方から飛行体1の基準位置に対する相対位置を求め、該相対位置に基づいて飛行体1を自律飛行させてもよい。例えば、飛行制御部103は、基準位置を原点とした座標系を設定し、撮像された目標物の写り方に基づいて、その座標系における座標値を、飛行体1の相対位置として算出してもよい。この場合、飛行制御部103は、算出した相対位置に基づいて自律飛行を制御する。
また、飛行体1が、飛行体1から対象物までの距離を測定する距離計(例えばレーザや超音波を用いたもの等)を備えている場合、距離計の測定結果を補助的に用いて自律飛行を行ってもよい。例えば、飛行制御部103は、上述の方法で基準位置付近まで移動した後、距離計で目標物までの距離を測定し、その距離に応じて飛行体1の位置を微調整して正確に基準位置まで移動してもよい。特に、飛行体1によって計器の撮像を行う場合等には、できるだけ飛行体1を計器に接近させることが好ましく、それには精密な駆動制御が必要となる。このため、飛行制御部103は、撮像対象を撮像する際には、距離計で撮像対象までの距離を測定しながら、撮像対象から所定距離(撮像に適した距離)まで飛行体1を飛行させることが好ましい。
〔飛行経路の学習〕
図8に基づいて、飛行経路の学習について説明する。図8は、飛行経路の例と、該飛行経路に沿った飛行時に撮像された画像の例と、制御対応情報112の例を示す図である。図8の飛行経路は、同図の(a)に示すように、施設A2内の地点P1をスタート地点とし、ここから地点P2まで飛行して90°右旋回し、右旋回後地点P3まで直進し、地点P3で再度90°右旋回し、右旋回後直進して地点P4に着陸するというものである。施設A2内には、目標物B2~B5がある。なお、図8において、Y軸の正方向が北、X軸の正方向が西であるとする。また、図示していないが、上述のように、飛行経路の学習は、飛行経路に沿って移動する追尾対象(例えば点検員)を追尾しながら行う。
同図の(b)に示す撮像画像C7は、地点P1から離陸するときの飛行体1から撮像された画像である。撮像画像C7には施設A2の南西角が写っていると共に、目標物B2が写っている。経路画像取得部104は、地点P1において、離陸・前進制御(飛行体1を浮上させ、前進させる制御)が行われることを検知し、その際に撮像された撮像画像C7を取得する。そして、経路学習部105は、撮像画像C7と離陸・前進制御とを対応付けて、制御対応情報112として記憶部11に記録する。また、撮像画像C7に写っている目標物B2を示す情報も制御対応情報112に含めてもよい。この場合、本学習の終了後、自律飛行前に、飛行制御部103には、自律飛行時に撮像した撮像画像から目標物B2を検出できるように学習させておく。
なお、撮像画像C7は、追尾制御部102が離陸制御を行った直後(前進させる制御を行う直前)の撮像画像としてもよいし、追尾制御部102が離陸制御を行うことを決定した後、駆動部13を駆動させる前の撮像画像としてもよい。このようにして記録された制御対応情報112を参照することにより、撮像画像C7と同様の画像が撮像されたとき、すなわち飛行経路の学習時と同様の位置に同様の向きで飛行体1が配置されたときに飛行体1を離陸させ、前進させることができる。無論、離陸と前進とを別の制御として記録してもよい。例えば、離陸して所定の高度まで飛行体1を浮上させる制御と、所定の高度を維持した状態で飛行体1を前進させる制御とをそれぞれ記録してもよい。この場合、飛行体1を浮上させる際の画像と、前進させる際の画像とをそれぞれ取得する。
また、同図の(c)に示す撮像画像C8は、地点P2に到達し、右旋回する直前の飛行体1から撮像された画像である。撮像画像C8には施設A2の南西角が写っていると共に、目標物B2が同図の(b)よりも大きく写っている。経路画像取得部104は、地点P2において、旋回制御(飛行体1を90°右旋回させる制御)が行われることを検知し、その際に撮像された撮像画像C8を取得する。そして、経路学習部105は、撮像画像C8と上記旋回制御とを対応付けて、地点P1の撮像画像C7等を含む上記制御対応情報112に追加する。なお、撮像画像C8は、追尾制御部102が離陸制御を行うことを決定した後、駆動部13を駆動させる前の撮像画像とすればよい。
このようにして記録された制御対応情報112を参照することにより、撮像画像C8と同様の画像が撮像されたタイミングで上記旋回制御を行うことができる。より詳細には、飛行制御部103は、まず、制御対応情報112に記録された撮像画像を基準画像として、飛行体1の現在位置と、基準画像の撮像位置とのずれを特定する。そして、飛行制御部103は、特定したずれを相殺する方向に飛行体1を飛行させ、飛行中に撮像された撮像画像と、基準画像とが一致したタイミングで上記旋回制御を行う。
また、同図の(d)に示す撮像画像C9は、地点P3に到達し、右旋回する直前の飛行体1から撮像された画像である。撮像画像C9には施設A2の北西角が写っていると共に、目標物B3が写っている。経路画像取得部104は、地点P3において、旋回制御(飛行体1を90°右旋回させる制御)が行われることを検知し、その際に撮像された撮像画像C9を取得する。そして、経路学習部105は、撮像画像C9と上記旋回制御とを対応付けて、地点P1、P2の撮像画像C7、C8等を含む上記制御対応情報112に追加する。また、撮像画像C9に写っている目標物B3を示す情報も制御対応情報112に含めてもよい。この場合、本学習の終了後、自律飛行前に、飛行制御部103には、自律飛行時に撮像した撮像画像から目標物B3を検出できるように学習させておく。飛行制御部103は、地点P2における旋回後、撮像画像C9を基準画像とすることにより、飛行体1を地点P3まで飛行させることができる。
また、同図の(e)に示す画像C10は、地点P4に到達し、地点P4に着陸した飛行体1から撮像された画像である。撮像画像C10には施設A2の北東角が写っていると共に、目標物B4およびB5が写っている。経路画像取得部104は、地点P4において、着陸制御(飛行体1を床面まで下降させ、飛行のための駆動を停止する制御)が行われることを検知し、その際に撮像された撮像画像C10を取得する。そして、経路学習部105は、撮像画像C10と上記旋回制御とを対応付けて、地点P1~P3の撮像画像C7~C9等を含む上記制御対応情報112に追加する。なお、撮像画像C10は、追尾制御部102が着陸制御を行った直後の撮像画像としてもよいし、追尾制御部102が着陸制御を行うことを決定した後、駆動部13を駆動させる前の撮像画像としてもよい。また、撮像画像C10に写っている目標物B4を示す情報および目標物B5を示す情報の何れかまたは両方についても制御対応情報112に含めてもよい。この場合、本学習の終了後、自律飛行前に、飛行制御部103には、自律飛行時に撮像した撮像画像から目標物B4、B5を検出できるように学習させておく。飛行制御部103は、地点P3における旋回後、撮像画像C10を基準画像とすることにより、飛行体1を地点P4まで飛行させ、地点P4で着陸させることができる。
以上のような処理により、図8の(f)に示すような制御対応情報112が生成される。この制御対応情報112は、スタート地点P1から着陸地点P4までの飛行経路において、飛行体1の制御が行われた際の撮像画像と、該撮像画像に写る目標物と、当該制御とが対応付けられた情報である。
なお、経路画像取得部104は、非制御時に撮像された撮像画像(例えば、制御が行われた地点間で撮像された撮像画像)についても取得してもよい。この場合、飛行制御部103は、自律飛行時において、該自律飛行中に撮像された撮像画像と、非制御時に撮像された上記撮像画像とが一致していなければ、一致するように飛行体1を制御することができる。これにより、さらに安定した自律飛行が可能になる。
また、経路学習部105は、例えば、飛行体1の飛行速度、飛行時間、飛行方向等の、各地点間の移動態様を示す情報についても制御対応情報112に含めてもよい。この場合、飛行制御部103は、自律飛行時において、各地点間を上記移動態様で飛行体1を飛行させることができる。なお、ある地点から次の地点までの飛行における、飛行速度、飛行時間、および飛行方向が分かれば、上記次の地点まで自律飛行することは一応可能である。ただし、風などの影響により制御通りの速度、方向に飛行できないことも想定されるため、地点間の移動および各地点での制御タイミングの特定には、制御対応情報112に含まれる撮像画像を用いることが好ましい。
この他にも、例えば、予め飛行経路に沿って複数種類の標識(数字、シリアル番号、記号、文字、マーク等、任意の標識であってよい)を所定の順で配置しておき、経路学習部105は、それらの標識とその順序とを学習してもよい。例えば、飛行経路に沿った床面や壁面、あるいは天井等に上記標識として数字を1から順に書き込んでおいてもよい。無論、飛行経路にあるもの(例えば番号、記号、文字等)を標識として利用してもよい。
この場合、経路学習部105は、この数字の並びと、その並びに沿って飛行するための駆動制御の内容を記録しておく。そして、自律飛行には、飛行制御部103は、撮像された画像に写る数字から飛行経路における飛行体1の位置を特定し、該数字の次の数字に向けて飛行体1を飛行させるという処理を繰り返す。このような方法によっても、飛行経路に沿った自律飛行が実現できる。
〔計器の自動読み取り〕
計器の自動読み取りについて図9に基づいて説明する。図9は、飛行体1による撮像画像の例と、サーバ2が解析する画像の例を示す図である。同図の(a)には飛行体1が点検対象の施設内を撮像した撮像画像C13の例を示している。この撮像画像C13には計器D2が写っている。飛行体1は、計器D2の計測値を読み取ることができる程度まで当該計器D2に接近し、同図の(b)に示すような撮像画像C14を撮像する。そして、データ送信制御部107は、計器D2を特定する情報(例えば撮像画像C14の撮像位置を示す情報)と共に撮像画像C14をサーバ2に送信する。
サーバ2は、受信した撮像画像C14を解析して計器D2が示す値を特定する。この際、サーバ2は、同図の(c)に示すように撮像画像C14を拡大した画像E1を生成してもよい。同図の(c)の例では、サーバ2は、画像E1から計器D2が写っている画像領域(破線の矩形で示す)を特定している。サーバ2は、この画像領域から計器D2の指針と目盛を検出し、それらの位置関係から計器D2が示す値を特定する。なお、指針と目盛の位置関係と、計器D2の示す値との対応関係については、予めサーバ2に記憶させておけばよい。なお、読み取りの対象となる計器がデジタル表示の計器であれば、サーバ2は文字認識によりその数値を読み取ればよい。
そして、サーバ2は、特定した値を点検結果として記録する。また、サーバ2は、特定した値に応じた所定の処理を行ってもよい。例えば、飛行体1が点検員と共に飛行している場合、サーバ2は、特定した値が異常値であるか否かの判定結果を飛行体1に通知し、出力させてもよい。また、この通知は、点検員や施設の管理者の端末装置に対して行ってもよい。これにより、点検員は、点検結果を即時に認識することができるので、速やかに適切な対応を取ることができる。
なお、上述の処理の一部は飛行体1が行うようにしてもよい。例えば、撮像画像から計器D2の指針と目盛を検出し、それらの位置関係を特定する処理までを飛行体1で行い、その位置関係に対応する数値の算出はサーバ2で行う構成としてもよい。また、飛行体1では数値の読み取りができなかった場合に、飛行体1よりも画像解析能力の高いサーバ2で数値の読み取りを行う構成としてもよい。なお、指針が揺れ動く等により計器D2の読み取りが困難である場合、サーバ2または飛行体1は、計器D2に関する設備要素の動作制御を行い、指針の揺れを小さくした上で、再度計器D2を撮像して読み取りを行ってもよい。
〔処理の流れ(経路学習)〕
経路学習時に飛行体1が行う処理の流れを図10に基づいて説明する。図10は、経路学習時に飛行体1が行う処理の一例を示すフローチャートである。上述のように、経路の学習は、経路に沿って移動する追尾対象を追尾しながら行う。また、図10には示していないが、追尾中においては、撮像制御部101により飛行体1の周囲が常時撮像され、撮像された画像が撮像画像111として記憶部11に記憶されていく。
S1において、追尾制御部102は、追尾対象の追尾を開始する。具体的には、追尾制御部102は、追尾対象を検出すると共に、検出した追尾対象に追従するように駆動部13を駆動する。
追尾中のS2において、経路画像取得部104は、追尾制御部102が駆動部13の駆動制御を実行するか否かを判定する。ここで経路画像取得部104が、駆動制御が実行されると判定した場合(S2でYES)、S3の処理に進む。一方、駆動制御は実行されないと判定した場合(S2でNO)、S5の処理に進む。
S3において、経路画像取得部104は、駆動制御が行われる際に飛行体1から当該飛行体1の周囲を撮像した撮像画像(経路画像)を取得する。撮像画像の取得については、図8に基づいて説明した通りであるから説明を繰り返さない。
S4において、経路学習部105は、S3で取得された撮像画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を生成し、これを制御対応情報112として記憶部11に記録する。
S5において、点検箇所学習部106は、撮像画像111を解析して所定の指示体の検出を試みる。なお、所定の指示体は、例えば図3に示した作業指示スティック300であってもよい。ここで点検箇所学習部106が、指示体を検出した場合(S5でYES)、S6の処理に進む。一方、指示体が検出されなかった場合(S5でNO)、S8の処理に進む。
S6において、点検箇所学習部106は、S5で検出した指示体が指し示す点検箇所を特定する。そして、続くS7において、点検箇所学習部106は、特定した上記点検箇所を示す点検箇所情報113を記憶部11に記録する。なお、点検箇所の特定方法および点検箇所情報113については図3に基づいて説明した透りであるから説明を繰り返さない。
S8において、追尾制御部102は、追尾を終了するか否かを判定する。追尾を終了する条件は予め定めておけばよい。例えば、ビーコンを用いた追尾を行う場合、ビーコン信号が検出できなくなったときに追尾を終了すると判定してもよい。この場合、追尾対象が人であれば、その人が、経路の学習を終了させたいときにビーコン信号の発信を停止させる操作を行えばよい。ここで追尾を終了すると判定した場合(S8でYES)、追尾制御部102は飛行体1を着陸させると共に、撮像制御部101に指示して撮像を終了させ、これにより図示の処理は終了する。一方、追尾を終了しないと判定した場合(S8でNO)、処理はS2に戻り、経路の学習が継続される。
〔処理の流れ(自律飛行)〕
自律飛行時に飛行体1が行う処理の流れを図11に基づいて説明する。図11は、自律飛行時に飛行体1が行う処理の一例を示すフローチャートである。
S11において、撮像制御部101は、撮像部12に飛行体1の周囲の撮像を開始させ、撮像部12が撮像した画像を撮像画像111として記憶部11に記録する。また、S12において、飛行制御部103は、撮像画像111から所定の目標物を検出する。さらに、S13において、飛行制御部103は、目標物が検出された撮像画像111における当該目標物の写り方から、飛行体1の現在位置の基準位置からのずれを特定する。なお、基準位置は、制御対応情報112に含まれる撮像画像の撮像位置である。
S14において、飛行制御部103は、S13で特定したずれに基づいて、上記基準位置に向かって飛行体1を飛行させる。より詳細には、飛行制御部103は、S13で特定されたずれを相殺する方向に飛行体1を飛行させる。例えば、S13において基準位置から北向きにずれていると特定された場合、飛行制御部103は飛行体1を南向きに飛行させる。なお、自律飛行の開始時には、離陸地点に経路の学習時と同じ向きに飛行体1を設置してもよく、この場合、飛行体1は既に基準位置にあるから、S11の後、S12~S14は省略してS15の処理に進み、S15でYESと判定してS16の処理に進めばよい。
S15において、飛行制御部103は、最新の撮像画像111と、制御対応情報112に記録された撮像画像とが一致したか否かを判定する。なお、これらの画像は完全に一致する必要はなく、飛行制御部103は、所定の基準を満たす程度に一致していれば一致したと判定すればよい。ここで一致したと判定された場合(S15でYES)S16の処理に進み、一致していないと判定された場合(S15でNO)S14の処理に戻る。
S16において、飛行制御部103は、制御対応情報112に従って駆動部13の駆動制御を行う。より詳細には、飛行制御部103は、制御対応情報112において、S15で一致していると判定された撮像画像に対応付けられている制御を実行する。
S17において、飛行制御部103は、自律飛行を終了するか否かを判定する。自律飛行を終了する条件は予め定めておけばよい。例えば、着陸の制御を行った後であれば、自律飛行を終了すると判定してもよい。ここで自律飛行を終了すると判定した場合(S17でYES)、飛行制御部103は飛行体1の飛行制御を終了すると共に、撮像制御部101に指示して撮像を終了させ、これにより図示の処理は終了する。一方、自律飛行を終了しないと判定した場合(S17でNO)、処理はS12に戻る。この場合、S12では、制御対応情報112に記録されている次の地点に対応付けられた目標物を検出する。この後、上述したS13~S16の処理により上記次の地点まで自律飛行が継続される。
なお、S12~S14を省略することも可能である。この場合、飛行体1を所定の位置に所定の向きで配置する。そして、飛行制御部103は、飛行体1を上記所定の位置から所定の方向に向かって飛行させながら、撮像画像と最新の撮像画像111と、制御対応情報112に記録された撮像画像とが一致したか否かを判定する処理を行う。ただし、S12~S14を省略した場合、飛行体1の位置が制御対応情報112の生成時とずれたときに、飛行経路に沿った飛行を継続することが難しくなることも想定されるので、S12~S14の処理は行うことが好ましい。
また、図示していないが、飛行制御部103は、自律飛行中において、点検箇所情報113が示す点検箇所に飛行体1を移動させる。点検箇所への移動は、例えば、基準位置への移動と同様に、最新の撮像画像111と、点検箇所情報113に含まれる、点検箇所を撮像した画像とが一致するように制御することによって実現可能である。点検箇所における処理が点検箇所の撮像であれば、点検箇所まで移動すればその撮像画像が撮像画像111として記録される。なお、記録された撮像画像111から、点検箇所の画像を容易に検出できるように、点検箇所を撮像した時刻を示す情報等を記録しておいてもよい。なお、点検箇所における処理は、撮像部12による撮像に限られず、例えば点検箇所の状態をセンサ等で検出する処理であってもよい。
〔参考例〕
本発明の参考例を図12に基づいて説明する。図12は、本発明の一参考例を示す図であり、飛行体1の現在位置を、当該飛行体1を外部から撮像した画像に基づいて特定する例を説明する図である。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
飛行体1の現在位置は、当該飛行体1を外部から撮像した画像に基づいて特定することもできる。この場合、例えば図12の(a)に示すように、飛行体1にマーカ400を取り付けてもよい。図示のマーカ400は、図3に示した作業指示スティック300と同様に、球状の先端部に棒状部が接続された構成であり、棒状部が飛行体1に接続されている。マーカ400の先端部は球状であるから、どのような角度で撮像しても円形に写るため、画像解析による検出が容易である。
また、マーカ400の先端部は、飛行体1の向きが特定できるような外観とすることが好ましい。例えば、飛行体1の正面方向に向く面を白、右側面方向に向く面を赤、左側面方向に向く面を緑のようにマーカ400の先端部を塗り分けることにより、撮像画像に写ったマーカ400の色から飛行体1の向きを特定することができる。
図12の(b)では、飛行体1が施設A4を飛行する様子を上方から描いている。施設A4の四隅には、撮像装置F1~F4が配置されており、これらの撮像装置F1~F4により飛行体1およびマーカ400が撮像される。そして、撮像装置F1~F4が撮像した撮像画像は、図示しないサーバに送信される。なお、本参考例におけるサーバは、飛行体1の駆動制御を遠隔で行う機能を備えている。
当該サーバはそれらの撮像画像におけるマーカ400の位置とサイズから飛行体1の現在位置を特定する。そして、サーバは、特定した現在位置に基づいて飛行体1の駆動制御を行う。
〔実施形態2〕
飛行体1の機能の一部は、飛行体1と通信可能なサーバ(上述のサーバ2であってもよいし、他のサーバであってもよい)に持たせてもよい。例えば、経路の学習に関する機能はサーバに持たせ、飛行体1は該サーバが生成した制御対応情報112を用いて自律飛行するといった構成も可能である。この場合、経路画像を取得するステップと、該経路画像と駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録するステップはサーバが実行することになる。
また、自律飛行時の制御に関する機能をサーバに持たせてもよい。この場合、飛行体1から撮像された撮像画像を取得する撮像ステップと、制御対応情報112に含まれる撮像画像(経路画像)と、取得した上記撮像画像とが一致したと判定したときに、駆動制御を行う飛行制御ステップはサーバが実行することになる。この場合、飛行体1は、サーバの制御に従って飛行することになる。
〔変形例〕
バッテリ15に対する給電は、ユーザが手動で行ってもよいし、飛行体1が自動で行うようにしてもよい。後者の場合、例えば充電ポートを設けておき、当該充電ポートまで飛行体1が自律飛行して給電を受ける方法等が適用可能である。この場合、例えば電磁誘導や磁界共鳴を利用した無線給電が好ましい。また、飛行体1にアンテナを搭載し、飛行経路に複数の送電アンテナを配置して、飛行体1の最寄りの送電アンテナから高周波の電波を送信することにより、飛行中の飛行体1に給電することも可能である。この他にも、例えば飛行経路が明るい場所である場合には、飛行体1に太陽電池を搭載し、太陽電池が生成した電力をバッテリ15に蓄電するようにしてもよい。また、飛行経路における、直線部分にレーザ光や可視光の照射装置を設置し、飛行体1に受光部を設けることにより、直線飛行しながら受光し、受光により発生した電力をバッテリ15に蓄電するようにしてもよい。
また、飛行体1に音声認識機能と音声出力機能を設けてもよい。また、飛行体1に人物の特定機能を設けてもよい。これにより、飛行体1のユーザは人と接しているような感覚で飛行体1を使用することが可能になる。例えば、飛行体1は、特定した人物が点検員であれば、前日の点検作業の申し送りを行った上で、その人物の当日の作業内容を音声で説明することも可能である。また、飛行体1は、特定した人物が経験の浅い点検員である場合に、点検経路に沿って飛行して点検経路や点検箇所を教えながら、点検に関するガイダンス(点検の目的や方法、留意点等)を音声出力することもできる。また、点検員と飛行体1とで点検作業を行う場合、点検員の発話により、飛行体1に割り込み処理を行わせること等も可能である。また、飛行体1は、例えば、特定の人物のみ立ち入りが許可されているエリアがある場合に、そのエリアへの立ち入り可否を人物の特定結果に基づいて判定し、立ち入り可であればそのエリア内へ案内するといった動作を行うことも可能である。
また、飛行体1の他の用途として、例えば施設内の警備や点検員等の作業の見守りが挙げられる。警備を行う場合、飛行体1は、所定の飛行経路に沿って飛行しながら撮像を行い、学習時にはなかった障害物等を検知したときに所定の管理者に報知してもよい。また、異常の有無の判定には、作業予定を示すデータ等を利用してもよい。これにより、人が倒れている等の施設内の異常を管理者に早期に発見させることができる。また、見守りを行う場合、飛行体1は、見守り対象者とその周囲を撮像した画像から、見守り対象者が危険な場所に接近していることを検知したときに見守り対象者に報知してもよい。これにより、見守り対象者に注意喚起し、事故の発生を未然に防ぐことができる。
また、飛行体1が撮像した撮像画像には、点検経路や点検箇所が写っているから、この撮像画像を点検員の教育コンテンツとして利用することもできる。また、この場合、点検箇所等に関連する情報を上記撮像画像に重畳して表示させてもよい。例えば、配管を流れる流体の流速、流動方向、および該流体が何であるか等を示す情報を表示させてもよく、これにより点検の意義を点検員により深く理解してもらうことが可能になる。
〔ソフトウェアによる実現例〕
飛行体1の制御ブロック(特に制御部10に含まれる各部)、並びにサーバ2の制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、飛行体1およびサーバ2は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔付記事項〕
本発明の一態様に係る飛行体は、駆動制御に従って飛行する飛行体であって、飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、を備えている。
上記の構成によれば、所定の飛行経路に沿って飛行している飛行体の駆動制御が行われる際に撮像した経路画像と、駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する。この制御対応情報を用いることにより、上記飛行体が上記飛行経路を飛行するときに、記録された経路画像と同様の画像が撮像された際に、当該経路画像と対応付けられた制御情報の示す駆動制御を行うことができる。つまり、上記制御対応情報を参照することにより、該制御対応情報を記録したとき、すなわち飛行体が過去に上記飛行経路に沿って飛行したときと同様のタイミングで飛行体の駆動制御を行うことができる。よって、上記の構成によれば、GPSや無線信号の発信機等を用いることなく、飛行体を所定の飛行経路に沿って自律飛行させることが可能になる。
上記飛行体は、上記飛行経路に沿って移動する追尾対象を追尾するように上記飛行体を飛行させる追尾制御部を備えていてもよい。該構成によれば、飛行体が上記飛行経路に沿って移動する追尾対象を追尾して飛行する。また、上記飛行体は、所定の飛行経路に沿って飛行するにおいて、上述の制御対応情報を記録する。よって、上記の構成によれば、追尾対象が移動した飛行経路に沿って飛行体を自律飛行させることが可能になる。
本発明の他の態様に係る飛行体は、飛行経路に沿って自律飛行する飛行体であって、上記飛行体から撮像された撮像画像を取得する撮像制御部と、上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御部と、を備えている。
上記の構成によれば、撮像画像が経路画像と一致したと判定したときに、当該経路画像が撮像された際に行われた駆動制御を行う。ここで、撮像画像が経路画像と一致したときの飛行体の位置は、経路画像を撮像したときの位置、すなわち過去に飛行経路に沿って飛行したときに駆動制御を行った位置である。よって、上記の構成によれば、過去に飛行経路に沿って飛行したときと同じ位置で同じ駆動制御を行うことができるので、上記飛行体は、GPSや無線信号の発信機等を用いることなく、所定の飛行経路に沿って自律飛行することができる。
上記他の態様に係る飛行体における上記飛行制御部は、上記撮像画像における所定の検出対象物の写り方と、上記経路画像における上記所定の検出対象物の写り方の相違に基づいて、上記経路画像が撮像された位置まで上記飛行体を飛行させてもよい。該構成によれば、GPSや無線信号の発信機等を用いることなく、経路画像が撮像された位置まで飛行体を飛行させることができる。そして、この位置まで飛行させた後は、当該経路画像と対応付けられた制御情報の示す駆動制御を行うので、所定の飛行経路に沿った飛行が可能となる。
上記一態様に係る飛行体および上記他の態様に係る飛行体は、上記飛行経路に沿って飛行中の上記飛行体からの撮像画像から所定の指示体を検出すると共に、該指示体が指し示す指示対象物について所定の処理を行う処理実行部を備えていてもよい。
上記の構成によれば、上記飛行体のユーザは、上記飛行経路に沿って飛行中の飛行体の周囲で、所定の指示体を用いて所望の対象物を指し示すという直感的かつ簡易な動作を行うだけで、飛行体に所定の処理を行わせることができる。所定の処理の内容は特に限定されず、例えばそこに指示対象物があることを学習する処理や、指示対象物を撮像する等の処理であってもよい。
上記一態様に係る飛行体および上記他の態様に係る飛行体は、上記飛行経路に沿って飛行中の上記飛行体からの撮像画像に写っている被写体の中からユーザが指定した指示対象物について所定の処理を行う処理実行部を備えていてもよい。
上記の構成によれば、上記飛行体のユーザは、撮像画像に写っている被写体の中から所望の指示対象物を指定するという直感的かつ簡易な操作を行うだけで、飛行体に所定の処理を行わせることができる。所定の処理の内容は特に限定されず、例えばそこに指示対象物があることを学習する処理や、指示対象物を撮像する等の処理であってもよい。
本発明の一態様に係る情報記録方法は、飛行体を自律飛行させるための情報を記録する情報記録方法であって、所定の飛行経路を学習するために当該飛行経路に沿って上記飛行体を飛行させる場合において、当該飛行経路に沿って飛行させるための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得するステップと、上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録するステップと、を含む。該情報記録方法によれば、上記一態様に係る飛行体と同様の作用効果を奏する。
本発明の一態様に係る飛行体の制御方法は、飛行体を飛行経路に沿って自律飛行させる、飛行体の制御方法であって、上記飛行体から撮像された撮像画像を取得する撮像ステップと、上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御ステップと、を含む。該制御方法によれば、上記他の態様に係る飛行体と同様の作用効果を奏する。
上述の飛行体は、コンピュータによって実現してもよく、この場合には、コンピュータを上記飛行体が備える各部(ソフトウェア要素)として動作させることにより上記飛行体をコンピュータにて動作させる制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 飛行体
101 撮像制御部
102 追尾制御部
103 飛行制御部
104 経路画像取得部
105 経路学習部
106 点検箇所学習部(処理実行部)
112 制御対応情報
300 作業指示スティック(指示体)

Claims (10)

  1. 駆動制御に従って飛行する飛行体であって、
    飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、
    上記経路画像取得部が取得する、上記駆動制御が行われた際に撮像された上記経路画像と、当該駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、
    上記飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行するときに、上記飛行体の自律飛行時において点検の対象となる点検箇所を特定し、当該点検箇所を示す点検箇所情報を記録する点検箇所学習部と、を備えていることを特徴とする飛行体。
  2. 駆動制御に従って飛行する飛行体であって、
    飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、
    上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、
    上記飛行経路に沿って移動する追尾対象を追尾するように上記飛行体を飛行させる追尾制御部と、を備え
    上記経路画像取得部は、上記追尾制御部が、上記追尾対象を追尾するように上記飛行体を飛行させているときに上記経路画像を取得する、ことを特徴とする飛行体。
  3. 飛行経路に沿って自律飛行する飛行体であって、
    上記飛行体から撮像された撮像画像を取得する撮像制御部と、
    上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御部と、を備え
    上記経路画像は、過去に上記飛行体が上記飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行したときに、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行うたびに取得された画像であり、
    上記飛行制御部は、複数の上記経路画像のうち、上記撮像画像と一致した経路画像に対応する上記駆動制御を行う、ことを特徴とする飛行体。
  4. 上記飛行制御部は、上記撮像画像における所定の検出対象物の写り方と、上記経路画像における上記所定の検出対象物の写り方の相違に基づいて、上記経路画像が撮像された位置まで上記飛行体を飛行させることを特徴とする請求項3に記載の飛行体。
  5. 駆動制御に従って飛行する飛行体であって、
    飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、
    上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、
    上記飛行経路に沿って飛行中の上記飛行体からの撮像画像から所定の指示体を検出すると共に、該指示体が指し示す指示対象物について所定の処理を行う処理実行部と、を備えていることを特徴とする飛行体。
  6. 駆動制御に従って飛行する飛行体であって、
    飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、
    上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、
    上記飛行経路に沿って飛行中の上記飛行体からの撮像画像に写っている被写体の中からユーザが指定した指示対象物について所定の処理を行う処理実行部と、を備えていることを特徴とする飛行体。
  7. 飛行体を自律飛行させるための情報を記録するコンピュータによる情報記録方法であって、
    所定の飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って上記飛行体を飛行させる場合において、当該飛行経路に沿って飛行させるための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得するステップと、
    上記ステップで取得される、上記駆動制御が行われた際に撮像された上記経路画像と、当該駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録するステップと、を含み、
    上記飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行するときに、上記飛行体の自律飛行時において点検の対象となる点検箇所を特定し、当該点検箇所を示す点検箇所情報を記録するステップをさらに含む、ことを特徴とする情報記録方法。
  8. 飛行体を飛行経路に沿って自律飛行させるコンピュータによる飛行体の制御方法であって、
    上記飛行体から撮像された撮像画像を取得する撮像ステップと、
    上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御ステップと、を含み、
    上記経路画像は、過去に上記飛行体が上記飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行したときに、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行うたびに取得された画像であり、
    上記飛行制御ステップでは、複数の上記経路画像のうち、上記撮像画像と一致した経路画像に対応する上記駆動制御を行う、ことを特徴とする飛行体の制御方法。
  9. 請求項1に記載の飛行体を動作させるための制御プログラムであって、上記飛行体が備えるコンピュータを、上記経路画像取得部上記経路学習部、および点検箇所学習部として機能させる制御プログラム。
  10. 請求項3に記載の飛行体を動作させるための制御プログラムであって、上記飛行体が備えるコンピュータを、上記撮像制御部および上記飛行制御部として機能させる制御プログラム。
JP2018068485A 2018-03-30 2018-03-30 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム Active JP7173746B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018068485A JP7173746B2 (ja) 2018-03-30 2018-03-30 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018068485A JP7173746B2 (ja) 2018-03-30 2018-03-30 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム

Publications (2)

Publication Number Publication Date
JP2019179422A JP2019179422A (ja) 2019-10-17
JP7173746B2 true JP7173746B2 (ja) 2022-11-16

Family

ID=68278585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018068485A Active JP7173746B2 (ja) 2018-03-30 2018-03-30 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム

Country Status (1)

Country Link
JP (1) JP7173746B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020126517A (ja) * 2019-02-06 2020-08-20 住友重機械エンバイロメント株式会社 移動体、巡回点検システム及び巡回点検方法
JP7451251B2 (ja) * 2020-03-19 2024-03-18 水ing株式会社 水処理施設の巡回点検システム、無人移動ユニット及びプログラム
US20230196930A1 (en) * 2020-06-03 2023-06-22 Nec Corporation Landing information determination apparatus, landing information determination system, landing information determination method, and computer-readable medium
JP7122439B2 (ja) 2020-07-06 2022-08-19 株式会社タクマ ごみピット転落警報装置、ごみピット転落警報方法およびごみピット転落警報プログラム
JP6899108B1 (ja) * 2020-11-12 2021-07-07 株式会社センシンロボティクス 計器指示値読取方法及び管理サーバ、計器指示値読取システム、プログラム
WO2022107775A1 (ja) * 2020-11-20 2022-05-27 ファナック株式会社 飛行指令生成装置、およびコンピュータ読み取り可能な記憶媒体
JP2022147890A (ja) * 2021-03-24 2022-10-06 株式会社デンソー 検査装置
WO2023037458A1 (ja) * 2021-09-08 2023-03-16 日本電信電話株式会社 点検システム、点検方法、及び飛行装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011258065A (ja) 2010-06-10 2011-12-22 Yaskawa Electric Corp 移動体システム
JP2017058829A (ja) 2015-09-15 2017-03-23 株式会社オプティム 無人航空機制御システム、無人航空機制御方法
WO2017197197A1 (en) 2016-05-11 2017-11-16 Brain Corporation Systems and methods for initializing a robot to autonomously travel a trained route
JP2018021491A (ja) 2016-08-02 2018-02-08 株式会社日立製作所 システム及び飛行ルート生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11231725B2 (en) * 2017-03-06 2022-01-25 Spiral Inc. Control system for a flying object, control device therefor, and marker thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011258065A (ja) 2010-06-10 2011-12-22 Yaskawa Electric Corp 移動体システム
JP2017058829A (ja) 2015-09-15 2017-03-23 株式会社オプティム 無人航空機制御システム、無人航空機制御方法
WO2017197197A1 (en) 2016-05-11 2017-11-16 Brain Corporation Systems and methods for initializing a robot to autonomously travel a trained route
JP2018021491A (ja) 2016-08-02 2018-02-08 株式会社日立製作所 システム及び飛行ルート生成方法

Also Published As

Publication number Publication date
JP2019179422A (ja) 2019-10-17

Similar Documents

Publication Publication Date Title
JP7173746B2 (ja) 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム
CN106291535B (zh) 一种障碍物检测装置、机器人及避障系统
US10878633B2 (en) Augmented reality-based measuring system
US9472109B2 (en) Obstacle detection system providing context awareness
US9758239B2 (en) System and method for controlling an unmanned air vehicle
US20100228418A1 (en) System and methods for displaying video with improved spatial awareness
US20140336928A1 (en) System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling
CN103941746A (zh) 无人机巡检图像处理系统及方法
CN108692701B (zh) 基于粒子滤波器的移动机器人多传感器融合定位方法
CN110944908B (zh) 用于检测螺旋桨的系统和方法
KR20170004508A (ko) 영상정보를 이용한 비행체의 자동 착륙 방법 및 장치
CN108917746A (zh) 头盔姿态测量方法、测量装置及测量系统
CN110392908A (zh) 用于生成地图数据的电子设备及其操作方法
Hell et al. Drone systems for factory security and surveillance
CN113140003A (zh) 使用图像中所示的现有界标创建地面控制点文件
KR20160027605A (ko) 사용자기기의 실내 위치를 측정하기 위한 측위방법 및 이를 구현하기 위한 장치
JP2016085613A (ja) 運航状況表示システム及び運航状況表示方法
JPH0524589A (ja) 垂直離着陸航空機の自動着陸誘導方法
JP2021131762A (ja) 情報処理装置、情報処理方法、及びプログラム
US10989797B2 (en) Passive altimeter system for a platform and method thereof
CN105278538A (zh) 一种带机头方向指示的无人机遥控装置及方法
JP2013234971A (ja) 3軸標識計測方法、3軸標識計測プログラム、及び3軸標識計測装置
JP2017016395A (ja) 経路生成方法とシステム
US10310080B2 (en) Three dimensional manufacturing positioning system
US11577402B2 (en) Robot system and portable teaching device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221104

R150 Certificate of patent or registration of utility model

Ref document number: 7173746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157