JP6795073B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents
情報処理装置、情報処理方法及び情報処理プログラム Download PDFInfo
- Publication number
- JP6795073B2 JP6795073B2 JP2019183174A JP2019183174A JP6795073B2 JP 6795073 B2 JP6795073 B2 JP 6795073B2 JP 2019183174 A JP2019183174 A JP 2019183174A JP 2019183174 A JP2019183174 A JP 2019183174A JP 6795073 B2 JP6795073 B2 JP 6795073B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- flight
- hovering camera
- bridge
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 81
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003384 imaging method Methods 0.000 claims description 161
- 238000000034 method Methods 0.000 claims description 72
- 230000008569 process Effects 0.000 claims description 49
- 238000004891 communication Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 21
- 230000002093 peripheral effect Effects 0.000 claims 3
- 238000007689 inspection Methods 0.000 description 57
- 238000010586 diagram Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 239000004567 concrete Substances 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000011150 reinforced concrete Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011513 prestressed concrete Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Astronomy & Astrophysics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Bridges Or Land Bridges (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
1.本開示の一実施形態
1.1.概要
1.2.システム構成例
1.3.機能構成例
1.4.動作例
1.5.損傷データの生成例
1.5.1 機能構成例
1.5.2 動作例
2.まとめ
[1.1.概要]
本開示の一実施形態について詳細に説明するにあたり、まずは本開示の一実施形態の概要について説明する。
つ低コストで可能な点検作業が可能な技術を考案するに至った。
図2は、本開示の一実施形態にかかる点検システム10のシステム構成例を示す説明図である。図2に示した本開示の一実施形態にかかる点検システム10は、構築物、例えば橋梁1の点検を効率的に行なうことを目的としたシステムである。以下、図2を用いて本開示の一実施形態にかかる点検システム10のシステム構成例について説明する。
ことが可能であり、各ロータの回転を制御することで、上昇、下降、水平移動しつつ飛行することが出来る。もちろんロータの数は係る例に限定されるものではない。
能な装置であり、ホバリングカメラ100との間で無線により情報の送受信を行なう。制御端末200は、ホバリングカメラ100との間の無線通信を、ホバリングカメラ100との間で直接行っても良いが、構築物、特に橋梁1の点検においては制御端末200の通信可能範囲を超えてホバリングカメラ100が飛行することもあり得るので、点検時に設置される無線中継ノード400を介して行なっても良い。
衛星からの電波が遮られたり、橋梁1による電波の反射等に起因するマルチパスが発生したりしてしまうと、ホバリングカメラ100は現在位置を高い精度で知ることが出来なくなるおそれがある。
まず、本開示の一実施形態にかかるホバリングカメラ100の機能構成例について説明する。図3は、本開示の一実施形態にかかるホバリングカメラ100の機能構成例を示す説明図である。以下、図3を用いて本開示の一実施形態にかかるホバリングカメラ100の機能構成例について説明する。
方向に±90度の範囲で表される撮像方向を撮像可能とすることができる。撮像装置101が、撮像する方向を変更できることで、ホバリングカメラ100は所定の方向の画像を撮像し、制御端末200に撮像画像を提供することが出来る。そして制御部110は、撮像装置101が静止画像を撮像した時点のホバリングカメラ100の位置情報(GPSによる測位や、位置推定ノード500を用いた測位による位置情報が含まれ得る。位置推定ノード500を用いた測位については後述する)、撮像時の機体情報(例えばヨー角、ピッチ角、加速度、角速度)、撮像方向の情報を、その静止画像のメタデータとして関連付ける。関連付けたメタデータの格納方法としては、メタデータを静止画像データの付加情報領域(例えばExifフォーマットの特定の領域)に付加してもよいし、メタデータを画像ファイルと別ファイルに記録するなど別体のデータとしてもよい。
PC箱桁橋等に分けられる。従って点検対象となる橋梁1の構築方法が分かれば、飛行情報生成部232は、橋梁1の構築方法に適した飛行経路を生成することが出来る。そして、飛行情報生成部232は、ホバリングカメラ100の飛行経路を、橋梁1の概況図上に重ねて表示させる。
図5は、本開示の一実施形態にかかる点検システム10の動作例を示す流れ図である。図5に示したのは、ホバリングカメラ100を飛行させて、ホバリングカメラ100に橋梁1を撮像させることで橋梁1を点検する際の、本開示の一実施形態にかかる点検システム10の動作例である。なお、ホバリングカメラ100を用いて橋梁1を点検する際には、橋梁1の適切な位置に無線中継ノード400や位置推定ノード500が予め設置されているものとする。以下、図5を用いて本開示の一実施形態にかかる点検システム10の動作例について説明する。
行する。橋梁1の概況図を表示部210に表示している制御端末200は、ユーザに対して、表示部210に表示している橋梁1の概況図を用いて、点検する橋梁1の領域をユーザに指定させる(ステップS102)。ステップS102のユーザに指定させる処理は例えば飛行情報生成部232が実行する。
ID:(撮像点の相対座標,撮像方向,撮像時の速度,次の撮像点までの移動時間,その他)
撮像点の相対座標は、X軸、Y軸、Z軸の3点で指定する。なお、X軸を緯度方向、Y軸を経度方向、Z軸を高さ方向とする。またその他の情報としては、例えば特殊な撮像を制御する情報が含まれ得る。特殊な撮像を制御する情報には、例えば、同一の位置で複数
の撮像方向で撮像するための情報、ブラケット撮像(同一の位置及び撮像方向において異なる露出、シャッタスピード、ISO感度等で撮像することをいう)のためのパラメータに関する情報、撮像時の赤外線の波長の情報が含まれ得る。このフォーマットに従えば、制御端末200が生成する飛行情報は以下の様な値のリストで構成され得る。
0:(0,0,0,0,0,2,1.0)
1:(5,0,0,0,0,2,1.0)
2:(7,0,0,0,0,2,1.0)
3:(9,0,0,0,0,2,1.0)
制御端末200が生成する飛行情報に含まれる撮像点は、例えばベースステーション600の絶対座標や1回目の撮像位置等の任意の位置の絶対座標を基準点とし、その基準点からの相対座標で指定されてもよい。ホバリングカメラ100は、基準点の絶対座標からの相対座標を絶対座標に変換して、飛行時に変換後の座標を参照してもよい。また、制御端末200が生成する飛行情報に含まれる撮像点は、相対座標ではなく絶対座標で指定されてもよい。また、制御端末200が生成する飛行情報に含まれる特殊な撮像を制御する情報には所定の値が格納され得る。例えば、特殊な撮像を制御する情報には、1:複数の撮像方向での撮像、2:ブラケット撮像(シャッタスピードの変化)、3:ブラケット撮像(ISO感度の変化)、・・・などの値が格納され得る。制御端末200は、例えば記憶部240に記憶されている、橋桁3において損傷が生じやすいと考えられる場所については、特殊な撮像を制御する情報を飛行情報に含めてもよい。
図7に示したのは、上記S103でホバリングカメラ100の飛行情報が生成される際に、複数の飛行経路が生成され、表示部210にその飛行経路R1、R2が表示されている状態の一例である。制御端末200は、表示部210に複数の飛行経路を表示して、ユーザに飛行経路を1つ選択させる。制御端末200は、ユーザの飛行経路の選択に基づいて飛行情報を生成する。
、撮像を繰り返すことで橋梁1の底面の画像が得られる。
バリングカメラ100が自動飛行し、撮像処理を実行する処理を示した。しかし、橋梁1の概況図では分からない障害物が飛行経路上に存在することも考えられる。
ホバリングカメラ100を飛行させて、ホバリングカメラ100に橋梁1を撮像させることで、例えば橋桁3の底面のような作業員が容易に近づけない場所の様子が把握可能と
なる。ホバリングカメラ100が撮像した静止画像には、例えば、その静止画像を撮像したホバリングカメラ100の位置情報(GPSによる測位や、位置推定ノード500を用いた測位による位置情報が含まれ得る)、撮像時の機体情報(例えばヨー角、ピッチ角、加速度、角速度)、撮像方向の情報が紐付けられる。またホバリングカメラ100が全ての撮像地点で撮像対象面との間の距離を一定に保って撮像することで、画像中の損傷が発生している場所の相対的な位置が分かる。従って、ホバリングカメラ100が撮像した静止画像に、橋桁3の損傷部分が含まれていれば、その損傷部分の絶対的な場所の把握が可能になる。例えば、静止画像の中心を原点として損傷している場所の相対値を算出し、その画像を撮像した際のホバリングカメラ100の位置情報にその相対値を算出することで、損傷部分の位置情報が求められる。なお、損傷部分の位置情報として例えば下記のようなデータを記録することができる。
(1)その静止画像の撮像位置の情報を損傷部分の位置として記録する(相対値(オフセット)を記録しない)。
(2)その静止画像の撮像位置の情報及び損傷部分に対応する相対値(オフセット)を損傷部分の位置として記録する。
(3)基準となる絶対値(例えば後述するように、位置情報の精度が高いと考えられる四隅の静止画像の撮像位置や、位置推定ノード500の座標)及び相対値(オフセット)を損傷部分の位置として記録する。
(4)算出された絶対値(例えば緯度、経度、高度)を損傷部分の位置として記録する。
(画像ID、損傷ID、損傷部分の位置情報、損傷部分の画像上での座標、損傷種類ID、損傷程度)
損傷種類IDは、例えばヒビ、剥離、漏水、遊離石灰等の損傷の種類にそれぞれ付与されたIDのことをいう。また損傷程度のフィールドには、損傷の最大幅や、画像中の損傷部分の長さ等が記録され得る。ホバリングカメラ100が撮像した静止画像から、ユーザの手入力、または情報処理装置300による自動処理で、本実施形態にかかる点検システム10は、上述したフォーマットに従った損傷データを生成することが出来る。そして、本実施形態にかかる点検システム10が生成した損傷データは、橋梁1に生じた損傷を修復するための工事業者に対する発注処理に用いられ得る。
(損傷ID、損傷部分の位置情報、損傷部分の画像上での座標、損傷種類ID、損傷程度)
なお、スティッチングした画像の画像IDを生成し、スティッチングした画像の画像IDを損傷データに含めても良い。スティッチングした画像から、ユーザの手入力、または情報処理装置300による自動処理で、本実施形態にかかる点検システム10は、上述したフォーマットに従った損傷データを生成することが出来る。
図15は、本開示の一実施形態に係る情報処理装置300の機能構成例を示す説明図で
ある。図15に示したのは、ホバリングカメラ100が撮像した静止画像から橋桁3の絶対的な損傷位置を求めて損傷データを生成する機能を有する、本開示の一実施形態に係る情報処理装置300の機能構成例である。以下、図15を用いて本開示の一実施形態に係る情報処理装置300の機能構成例について説明する。
図16は、本開示の一実施形態に係る情報処理装置300の動作例を示す流れ図である。図16に示したのは、ホバリングカメラ100が撮像した静止画像から橋桁3の絶対的な損傷位置を求めて損傷データを生成する際の、本開示の一実施形態に係る情報処理装置300の動作例である。以下、図16を用いて本開示の一実施形態に係る情報処理装置300の動作例について説明する。
以上説明したように本開示の一実施形態によれば、設定された飛行情報に基づいて自動飛行し、点検対象の構築物を撮像するホバリングカメラ100、及びホバリングカメラ100に撮像させた静止画像に基づいて構築物の損傷状態を確認可能な点検システム10が提供される。
ら橋梁1を動画像として撮像してもよく、情報処理装置300は、そのホバリングカメラ100が撮像した動画像を用いて損傷データを生成してもよい。ホバリングカメラ100は、動画像の撮像処理の実行時に定期的に位置情報を取得し、動画像の撮像時刻と、位置情報の取得時刻とを紐付けることで、情報処理装置300は、動画像を用いた損傷データの生成が可能になる。
(1)
構築物の概況に関する情報を取得する取得部と、
前記取得部が取得した情報に基づいて、前記構築物の周縁を飛行させて該構築物を撮像させる飛行体の飛行情報を生成する飛行情報生成部と、
を備える、制御装置。
(2)
前記飛行体が前記飛行情報に基づいて飛行した際に障害物を検出すると、前記飛行情報生成部は、該障害物を避ける飛行情報を再生成する、前記(1)に記載の制御装置。
(3)
前記飛行体が前記飛行情報に基づいて飛行した際に障害物を検出すると、前記飛行情報生成部は、前記構築物の概況に関する情報に前記障害物の位置に関する情報を含めて提示する、前記(2)に記載の制御装置。
(4)
前記飛行情報生成部は、前記飛行情報として前記飛行体の飛行経路及び前記飛行体が撮像処理を実行する位置の情報を含んだ情報を生成する、前記(1)〜(3)のいずれかに記載の制御装置。
(5)
前記飛行情報生成部は、前記飛行情報として前記飛行体が撮像処理を実行する位置における撮像方向の情報を含んだ情報を生成する、前記(4)に記載の制御装置。
(6)
前記飛行情報生成部は、前記飛行情報として前記飛行体が撮像処理を実行する位置における特殊な撮像を制御する情報を含んだ情報を生成する、前記(4)または(5)に記載の制御装置。
(7)
前記構築物は、橋梁である、前記(1)〜(6)のいずれかに記載の制御装置。
(8)
前記飛行情報生成部は、前記橋梁の底面を撮像させる飛行情報を生成する、前記(7)に記載の制御装置。
(9)
前記飛行情報生成部は、前記橋梁の側面を撮像させる飛行情報を生成する、前記(7)に記載の制御装置。
(10)
前記飛行情報生成部は、前記橋梁の構築方法に基づいて飛行情報を生成する、前記(7)〜(9)のいずれかに記載の制御装置。
(11)
前記飛行情報生成部は、前記橋梁に関する情報に基づき特殊な撮像を制御する情報を含んだ情報を生成する、前記(7)〜(10)のいずれかに記載の制御装置。
(12)
前記橋梁に関する情報は、前記橋梁で損傷が生じやすい場所の情報である、前記(11)に記載の制御装置。
(13)
構築物の概況に関する情報に基づいて生成された飛行情報に基づいて該構築物の周縁を飛行するよう制御する制御部と、
前記飛行情報に基づいて飛行している際に前記構築物の撮像処理を実行する撮像部と、
を備える撮像装置。
(14)
構築物の概況に関する情報を取得することと、
取得された前記情報に基づいて、前記構築物の周縁を飛行させて該構築物を撮像させる飛行体の飛行情報を生成することと、
を含む、制御方法。
(15)
構築物の概況に関する情報に基づいて生成された飛行情報に基づいて該構築物の周縁を飛行するよう制御することと、
前記飛行情報に基づいて飛行している際に前記構築物の撮像処理を実行することと、
を含む、撮像方法。
(16)
コンピュータに、
構築物の概況に関する情報を取得することと、
取得された前記情報に基づいて、前記構築物の周縁を飛行させて該構築物を撮像させる飛行体の飛行情報を生成することと、
を実行させる、コンピュータプログラム。
(17)
コンピュータに、
構築物の概況に関する情報に基づいて生成された飛行情報に基づいて該構築物の周縁を飛行するよう制御することと、
前記飛行情報に基づいて飛行している際に前記構築物の撮像処理を実行することと、
を実行させる、コンピュータプログラム。
100 ホバリングカメラ
101 撮像装置
104a〜104d ロータ
108a〜108d モータ
110 制御部
120 通信部
130 センサ部
132 位置情報取得部
140 記憶部
150 バッテリ
200 制御端末
300 情報処理装置
400 無線中継ノード
500 位置推定ノード
600 ベースステーション
700 充電ステーション
Claims (20)
- 構造物に関連する緯度と経度に関連する情報を取得する取得部と、
前記構造物に関連する前記情報に基づいて構造物の概況に関する情報を表示する表示部と、
前記表示された構造物の概況画像に対して、飛行体よって撮像される構造物の領域の指定に基づき、飛行体の飛行を開始する前に、構造物の周辺を飛行する飛行体の飛行情報を生成する生成部とを備え、
前記表示部は、前記生成された飛行体の飛行情報に基づいて、構造物の概要画像上に飛行体の飛行経路を表示する、情報処理装置。 - 前記生成部は、前記飛行情報として前記飛行体が撮像処理を実行する位置における撮像方向の情報を含んだ情報を生成する、請求項1に記載の情報処理装置。
- 前記生成部は、前記飛行情報として前記飛行体が撮像処理を実行する位置における特殊な撮像を制御する情報を含んだ情報を生成する、請求項1または請求項2に記載の情報処理装置。
- 前記構造物は、橋梁である、請求項1〜3のいずれか一項に記載の情報処理装置。
- 前記生成部は、前記橋梁に関する情報に基づき特殊な撮像を制御する情報を含んだ情報を生成する、請求項4に記載の情報処理装置。
- 前記橋梁に関する情報は、前記橋梁で損傷が生じやすい場所の情報である、請求項4または請求項5に記載の情報処理装置。
- 前記生成部は、前記橋梁の側面が指定された場合、前記橋梁の側面に沿った飛行経路を飛行情報として生成し、前記橋梁の底面が指定された場合、前記橋梁の底面側を往復するような飛行経路を飛行情報として生成する、請求項4〜6のいずれか一項に記載の情報処理装置。
- 前記飛行情報は、撮像を行う位置を示す情報を含む、請求項1〜7のいずれか一項に記載の情報処理装置。
- 前記飛行情報は、撮像を行う位置を示す座標情報を含む、請求項1〜8のいずれか一項に記載の情報処理装置。
- 前記飛行情報は、所定の基準点からの相対座標である前記座標情報を含む、請求項9に記載の情報処理装置。
- 前記生成部は、静止画像の撮像位置が等間隔となるように飛行情報を生成する、請求項1〜10のいずれか一項に記載の情報処理装置。
- 前記生成部は、前記構造物のうち損傷している可能性が高いと考えられる部分を詳細に撮像させるような飛行情報を生成する、請求項1〜11のいずれか一項に記載の情報処理装置。
- 前記部分の情報は、予め記憶部に記憶される、請求項12に記載の情報処理装置。
- 前記部分の情報は、ユーザにより入力される、請求項12に記載の情報処理装置。
- 前記生成部は、複数の飛行経路を生成し、
前記表示部は、前記複数の飛行経路を表示する、請求項1〜14のいずれか一項に記載の情報処理装置。 - 前記生成部は、表示された前記複数の飛行経路のうち選択された一の飛行経路に基づいて飛行情報を生成する、請求項15に記載の情報処理装置。
- 飛行情報を前記飛行体に送信する通信部、
を備える請求項1〜16のいずれか一項に記載の情報処理装置。 - 前記通信部は、前記飛行体が撮像した画像を前記飛行体から受信し、
前記表示部は、前記画像を表示する、請求項17に記載の情報処理装置。 - 構造物に関連する緯度と経度に関連する情報を取得することと、
前記構造物に関連する前記情報に基づいて構造物の概況に関する情報を表示することと、
前記表示された構造物の概況画像に対して、飛行体よって撮像される構造物の領域の指定に基づき、飛行体の飛行を開始する前に、構造物の周辺を飛行する飛行体の飛行情報を生成することと、
を含み、
前記生成された飛行体の飛行情報に基づいて、構造物の概要画像上に飛行体の飛行経路を表示する、情報処理方法。 - コンピュータに、
構造物に関連する緯度と経度に関連する情報を取得することと、
前記構造物に関連する前記情報に基づいて構造物の概況に関する情報を表示することと、
前記表示された構造物の概況画像に対して、飛行体よって撮像される構造物の領域の指定に基づき、飛行体の飛行を開始する前に、構造物の周辺を飛行する飛行体の飛行情報を生成することと、
を実行させ、
前記生成された飛行体の飛行情報に基づいて、構造物の概要画像上に飛行体の飛行経路を表示する、情報処理プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014091272 | 2014-04-25 | ||
JP2014091272 | 2014-04-25 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016514839A Division JP6597603B2 (ja) | 2014-04-25 | 2015-04-02 | 制御装置、撮像装置、制御方法、撮像方法及びコンピュータプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020185928A Division JP7078093B2 (ja) | 2014-04-25 | 2020-11-06 | 情報処理装置、情報処理方法及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020035456A JP2020035456A (ja) | 2020-03-05 |
JP6795073B2 true JP6795073B2 (ja) | 2020-12-02 |
Family
ID=54332274
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016514839A Active JP6597603B2 (ja) | 2014-04-25 | 2015-04-02 | 制御装置、撮像装置、制御方法、撮像方法及びコンピュータプログラム |
JP2019183174A Active JP6795073B2 (ja) | 2014-04-25 | 2019-10-03 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2020185928A Active JP7078093B2 (ja) | 2014-04-25 | 2020-11-06 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2022079707A Pending JP2022111131A (ja) | 2014-04-25 | 2022-05-13 | 飛行制御方法、情報処理装置及びコンピュータプログラム |
JP2024010769A Pending JP2024050706A (ja) | 2014-04-25 | 2024-01-29 | 情報処理方法、情報処理装置及びコンピュータプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016514839A Active JP6597603B2 (ja) | 2014-04-25 | 2015-04-02 | 制御装置、撮像装置、制御方法、撮像方法及びコンピュータプログラム |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020185928A Active JP7078093B2 (ja) | 2014-04-25 | 2020-11-06 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2022079707A Pending JP2022111131A (ja) | 2014-04-25 | 2022-05-13 | 飛行制御方法、情報処理装置及びコンピュータプログラム |
JP2024010769A Pending JP2024050706A (ja) | 2014-04-25 | 2024-01-29 | 情報処理方法、情報処理装置及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (3) | US10372133B2 (ja) |
EP (2) | EP4283985A3 (ja) |
JP (5) | JP6597603B2 (ja) |
CN (2) | CN106061836B (ja) |
WO (1) | WO2015163106A1 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6143727B2 (ja) * | 2014-10-17 | 2017-06-07 | 中日本ハイウェイ・エンジニアリング東京株式会社 | 橋梁点検システム及び橋梁点検方法 |
JP6478329B2 (ja) * | 2016-02-02 | 2019-03-06 | Jfe鋼板株式会社 | 構造物の点検システムおよび点検方法 |
JP6634314B2 (ja) * | 2016-03-01 | 2020-01-22 | 株式会社タクマ | 無人航空機を用いた施設内点検システム |
JP6960975B2 (ja) * | 2016-03-30 | 2021-11-05 | ヤンマーパワーテクノロジー株式会社 | 経路生成システム |
US10053218B2 (en) * | 2016-03-31 | 2018-08-21 | General Electric Company | System and method for positioning an unmanned aerial vehicle |
JP6778008B2 (ja) * | 2016-03-31 | 2020-10-28 | 倉敷紡績株式会社 | ナビゲーション装置及びナビゲーション方法 |
WO2017217185A1 (ja) * | 2016-06-14 | 2017-12-21 | 富士フイルム株式会社 | サーバ装置、画像処理システム及び画像処理方法 |
JP2018055362A (ja) * | 2016-09-28 | 2018-04-05 | セコム株式会社 | 監視システム |
WO2018070354A1 (ja) * | 2016-10-14 | 2018-04-19 | 富士フイルム株式会社 | 撮影計画生成装置、撮影計画生成方法、およびプログラム |
JP6571739B2 (ja) * | 2016-10-28 | 2019-09-04 | エム ルッソ ジョン | 無人航空機による液体輸送、その方法及びシステム |
JP6720838B2 (ja) * | 2016-11-08 | 2020-07-08 | 富士通株式会社 | 飛行装置、飛行装置制御方法および飛行装置制御プログラム |
CN106774384A (zh) * | 2016-12-05 | 2017-05-31 | 王源浩 | 一种桥梁检测智能避障机器人 |
JP6748007B2 (ja) * | 2017-03-09 | 2020-08-26 | ヤンマーパワーテクノロジー株式会社 | 経路生成システム |
JP6726224B2 (ja) | 2018-03-19 | 2020-07-22 | Kddi株式会社 | 管理装置及び飛行装置管理方法 |
WO2020004448A1 (ja) * | 2018-06-26 | 2020-01-02 | 株式会社Nttドコモ | 飛行体制御装置 |
JP6927943B2 (ja) * | 2018-10-30 | 2021-09-01 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 情報処理装置、飛行制御方法及び飛行制御システム |
CN113498498B (zh) * | 2019-03-06 | 2024-04-19 | 索尼集团公司 | 行动控制设备和行动控制方法、以及程序 |
WO2020189492A1 (ja) * | 2019-03-18 | 2020-09-24 | 株式会社Nttドコモ | 情報処理装置及び情報処理方法 |
US11022972B2 (en) * | 2019-07-31 | 2021-06-01 | Bell Textron Inc. | Navigation system with camera assist |
JP7377651B2 (ja) * | 2019-09-02 | 2023-11-10 | 株式会社野村総合研究所 | コンピュータプログラム |
JPWO2021181553A1 (ja) * | 2020-03-11 | 2021-09-16 | ||
US20230094918A1 (en) * | 2020-03-11 | 2023-03-30 | Nec Corporation | Aircraft control apparatus, aircraft control method, and non-transitory computer-readable medium |
JP6975818B2 (ja) * | 2020-03-31 | 2021-12-01 | 西日本電信電話株式会社 | 位置情報取得システム、位置情報取得方法及びプログラム |
JP6975284B2 (ja) * | 2020-03-31 | 2021-12-01 | 西日本電信電話株式会社 | 位置情報取得システム、位置情報取得方法及びプログラム |
CN112407283B (zh) * | 2020-11-24 | 2021-07-06 | 广东技术师范大学 | 基于多层次协同的无人机喷施作业方法和装置 |
US20220292633A1 (en) * | 2021-03-15 | 2022-09-15 | International Business Machines Corporation | Image stitching for high-resolution scans |
EP4411069A1 (en) | 2021-09-28 | 2024-08-07 | FUJIFILM Corporation | Image processing device, method, and program |
KR102413637B1 (ko) * | 2021-10-18 | 2022-06-28 | (주)레인보우테크 | 교량 영상 데이터를 이용하여 교량을 유지 보수하는 방법 및 시스템 |
KR102443574B1 (ko) * | 2022-02-17 | 2022-09-15 | 주식회사 시에라베이스 | 시설물 점검용 무인이동체의 3d 점검경로 생성방법 |
KR102549568B1 (ko) * | 2022-10-19 | 2023-06-29 | 주식회사 시에라베이스 | 구조물 점검용 무인이동체 점검경로 생성방법 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6173091A (ja) | 1984-09-19 | 1986-04-15 | 株式会社日立製作所 | 格納容器内自動点検システム |
JPS63120310A (ja) | 1986-11-10 | 1988-05-24 | Toshiba Corp | ロボツト監視装置 |
JPH10229554A (ja) * | 1997-02-14 | 1998-08-25 | Meidensha Corp | 監視システム |
JP2002288637A (ja) | 2001-03-23 | 2002-10-04 | Honda Motor Co Ltd | 環境情報作成方法 |
JP2003110981A (ja) | 2001-09-28 | 2003-04-11 | Hiroboo Kk | 空撮映像処理システム及び無線式の小型無人飛行体 |
JP2003127994A (ja) | 2001-10-24 | 2003-05-08 | Kansai Electric Power Co Inc:The | 無人飛行物体の制御システム |
JP4375725B2 (ja) | 2004-03-19 | 2009-12-02 | 中国電力株式会社 | 無人飛行体を用いた送電線点検システムおよび方法 |
US7228227B2 (en) * | 2004-07-07 | 2007-06-05 | The Boeing Company | Bezier curve flightpath guidance using moving waypoints |
JP2006027448A (ja) * | 2004-07-16 | 2006-02-02 | Chugoku Electric Power Co Inc:The | 無人飛行体を利用した空撮方法及びその装置 |
JP2006180326A (ja) * | 2004-12-24 | 2006-07-06 | Equos Research Co Ltd | 車両用状況監視システム |
US20100250022A1 (en) | 2006-12-29 | 2010-09-30 | Air Recon, Inc. | Useful unmanned aerial vehicle |
JP2008186145A (ja) * | 2007-01-29 | 2008-08-14 | Mitsubishi Electric Corp | 空撮画像処理装置および空撮画像処理方法 |
KR20090005998A (ko) * | 2007-07-10 | 2009-01-14 | 김형윤 | 구조물 건전성 감시를 위한 진단 화상을 생성하는 시스템및 방법 |
US8060270B2 (en) * | 2008-02-29 | 2011-11-15 | The Boeing Company | System and method for inspection of structures and objects by swarm of remote unmanned vehicles |
CN102077230A (zh) | 2008-04-17 | 2011-05-25 | 旅行者保险公司 | 用于确定和处理物体结构状况信息的方法和系统 |
US20100286859A1 (en) | 2008-11-18 | 2010-11-11 | Honeywell International Inc. | Methods for generating a flight plan for an unmanned aerial vehicle based on a predicted camera path |
US20100215212A1 (en) * | 2009-02-26 | 2010-08-26 | Honeywell International Inc. | System and Method for the Inspection of Structures |
GB0920636D0 (en) * | 2009-11-25 | 2010-01-13 | Cyberhawk Innovations Ltd | Unmanned aerial vehicle |
US8385065B2 (en) * | 2010-01-19 | 2013-02-26 | Flir Systems, Inc. | Gimbal system with forced flow of external air through a channel to remove heat |
US9036861B2 (en) | 2010-04-22 | 2015-05-19 | The University Of North Carolina At Charlotte | Method and system for remotely inspecting bridges and other structures |
KR101705872B1 (ko) | 2010-09-08 | 2017-02-10 | 삼성전자주식회사 | 모바일 디바이스의 화면상의 영역 선택 방법 및 장치 |
JP5618840B2 (ja) * | 2011-01-04 | 2014-11-05 | 株式会社トプコン | 飛行体の飛行制御システム |
DE102011017564B4 (de) * | 2011-04-26 | 2017-02-16 | Airbus Defence and Space GmbH | Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler |
US9534902B2 (en) * | 2011-05-11 | 2017-01-03 | The Boeing Company | Time phased imagery for an artificial point of view |
US20140297066A1 (en) | 2011-11-04 | 2014-10-02 | Panasonic Corporation | Remote control system |
US20140033692A1 (en) * | 2012-08-01 | 2014-02-06 | Caterpillar Inc. | System and method to charge and discharge an accumulator |
US9162753B1 (en) * | 2012-12-31 | 2015-10-20 | Southern Electrical Equipment Company, Inc. | Unmanned aerial vehicle for monitoring infrastructure assets |
US9180816B2 (en) * | 2013-04-29 | 2015-11-10 | Elkhart Brass Manufacturing Company, Inc. | Fender mirror mount |
US20140336928A1 (en) * | 2013-05-10 | 2014-11-13 | Michael L. Scott | System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling |
CN103365295B (zh) * | 2013-06-29 | 2015-09-30 | 天津大学 | 基于dsp的四旋翼无人飞行器自主悬停控制系统及方法 |
CA3161756A1 (en) * | 2014-01-10 | 2015-07-16 | Pictometry International Corp. | Unmanned aircraft structure evaluation system and method |
-
2015
- 2015-04-02 CN CN201580011479.1A patent/CN106061836B/zh active Active
- 2015-04-02 US US15/115,414 patent/US10372133B2/en active Active
- 2015-04-02 CN CN202010586055.0A patent/CN111717407B/zh active Active
- 2015-04-02 EP EP23198916.1A patent/EP4283985A3/en active Pending
- 2015-04-02 JP JP2016514839A patent/JP6597603B2/ja active Active
- 2015-04-02 EP EP15782519.1A patent/EP3135580B1/en active Active
- 2015-04-02 WO PCT/JP2015/060509 patent/WO2015163106A1/ja active Application Filing
-
2019
- 2019-06-17 US US16/442,549 patent/US11237560B2/en active Active
- 2019-10-03 JP JP2019183174A patent/JP6795073B2/ja active Active
-
2020
- 2020-11-06 JP JP2020185928A patent/JP7078093B2/ja active Active
-
2021
- 2021-12-17 US US17/553,830 patent/US20220107643A1/en active Pending
-
2022
- 2022-05-13 JP JP2022079707A patent/JP2022111131A/ja active Pending
-
2024
- 2024-01-29 JP JP2024010769A patent/JP2024050706A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2020035456A (ja) | 2020-03-05 |
WO2015163106A1 (ja) | 2015-10-29 |
EP3135580A1 (en) | 2017-03-01 |
JPWO2015163106A1 (ja) | 2017-04-13 |
JP2022111131A (ja) | 2022-07-29 |
US11237560B2 (en) | 2022-02-01 |
JP6597603B2 (ja) | 2019-10-30 |
US20220107643A1 (en) | 2022-04-07 |
US20190302770A1 (en) | 2019-10-03 |
JP2021036451A (ja) | 2021-03-04 |
US20170010615A1 (en) | 2017-01-12 |
US10372133B2 (en) | 2019-08-06 |
EP3135580B1 (en) | 2023-10-18 |
CN111717407B (zh) | 2023-09-29 |
EP4283985A3 (en) | 2024-01-10 |
CN111717407A (zh) | 2020-09-29 |
EP4283985A2 (en) | 2023-11-29 |
CN106061836A (zh) | 2016-10-26 |
CN106061836B (zh) | 2020-07-31 |
JP2024050706A (ja) | 2024-04-10 |
JP7078093B2 (ja) | 2022-05-31 |
EP3135580A4 (en) | 2017-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6795073B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP6828774B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
JP6387782B2 (ja) | 制御装置、制御方法及びコンピュータプログラム | |
JP2024020389A (ja) | 制御方法、制御装置及びプログラム | |
JP2018174002A (ja) | 移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191028 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201026 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6795073 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |