JP7452743B2 - 飛行情報制御方法、制御装置及びコンピュータプログラム - Google Patents

飛行情報制御方法、制御装置及びコンピュータプログラム Download PDF

Info

Publication number
JP7452743B2
JP7452743B2 JP2023110153A JP2023110153A JP7452743B2 JP 7452743 B2 JP7452743 B2 JP 7452743B2 JP 2023110153 A JP2023110153 A JP 2023110153A JP 2023110153 A JP2023110153 A JP 2023110153A JP 7452743 B2 JP7452743 B2 JP 7452743B2
Authority
JP
Japan
Prior art keywords
flight
information
imaging
hovering camera
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023110153A
Other languages
English (en)
Other versions
JP2023130439A (ja
Inventor
佳世子 田中
浩太郎 佐部
務 澤田
悟 清水
康輔 鈴木
ペーター ドゥール
美紀 渋谷
弘也 水村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2023130439A publication Critical patent/JP2023130439A/ja
Priority to JP2024032902A priority Critical patent/JP2024063175A/ja
Application granted granted Critical
Publication of JP7452743B2 publication Critical patent/JP7452743B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0091Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/02Mechanical
    • G01N2201/021Special mounting in general
    • G01N2201/0214Airborne

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bridges Or Land Bridges (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本開示は、飛行情報制御方法、情報処理装置及びコンピュータプログラムに関する。
無線で操縦できる飛行体にカメラを取り付けて、そのカメラで撮像するという写真の撮像方法に関する技術が開示されている(例えば特許文献1等参照)。飛行体にカメラを取り付けることで、上空からや、三脚が立てられない場所からの写真を撮像することが可能になる。また飛行体にカメラを取り付けて撮像することで、本物の飛行機やヘリコプターを使用した場合よりもコストを抑えることが出来る、安全に撮像が出来る、低空や狭い場所でも撮像が出来る、目標に接近して撮像が出来る等の様々な利点がもたらされる。
特開2006-27448号公報
このようなカメラが備えられた飛行体を用いることで、人間が容易に立ち入ることが出来ない場所の状況を効果的に撮像できれば、川や海の上に架けられた橋梁、トンネル、ダム、道路等の社会インフラや空港、ビル、倉庫、工場、プラント等の産業インフラのような、人間が近づくのが難しい構築物の点検に大いに役立つと考えられる。
そこで本開示では、撮像を実施可能な飛行体による対象領域の撮像を効率化することが可能な、新規かつ改良された飛行情報生成方法、情報処理装置及びコンピュータプログラムを提案する。
本開示によれば、コンピュータが実行する飛行情報制御方法であって、撮像対象に関する情報を基に、撮像対象物の概況図を表示部に表示し、撮像対象に関する情報を基にした撮像対象物の対象領域を特定し、飛行情報に基づいて飛行して撮影を行う飛行撮像装置が、対象領域を撮影するための対象領域を撮像する飛行経路を含む飛行情報を生成し、生成は、表示部に表示された撮像対象物の対象領域の特定に応じて、飛行撮像装置が対象領域を撮影するための対象領域を撮像する飛行経路を含む飛行情報を生成し、表示は、飛行経路を概況図に重ねて表示する飛行情報制御方法が提供される。
また本開示によれば、撮像対象に関する情報を基に、撮像対象物の概況図を表示する表示部と、撮像対象に関する情報を基にした撮像対象物の対象領域を特定する対象領域特定部と、飛行情報に基づいて飛行して撮影を行う飛行撮像装置が、対象領域を撮影するための対象領域を撮像する飛行経路を含む飛行情報を生成する生成部と、を有し、生成部は、表示部に表示された撮像対象物の対象領域の特定に応じて、飛行撮像装置が対象領域を撮影するための対象領域を撮像する飛行経路を含む飛行情報を生成し、表示部は、飛行経路を概況図に重ねて表示する情報処理装置が提供される。
また本開示によれば、コンピュータに、撮像対象に関する情報を基に、撮像対象物の概況図を表示部に表示し、撮像対象に関する情報を基にした撮像対象物の対象領域を特定し、飛行情報に基づいて飛行して撮影を行う飛行撮像装置が、対象領域を撮影するための対象領域を撮像する飛行経路を含む飛行情報を生成する処理を実行させ、生成する処理は、表示部に表示された撮像対象物の対象領域の特定に応じて、飛行撮像装置が対象領域を撮影するための対象領域を撮像する飛行経路を含む飛行情報を生成し、表示する処理は、飛行経路を概況図に重ねて表示するコンピュータプログラムが提供される。
以上説明したように本開示によれば、撮像を実施可能な飛行体による対象領域の撮像を効率化することが可能な、新規かつ改良された飛行情報生成方法、情報処理装置及びコンピュータプログラムを提供することが出来る。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態の概要について説明する説明図である。 本開示の一実施形態にかかる点検システム10のシステム構成例を示す説明図である。 本開示の一実施形態にかかるホバリングカメラ100の機能構成例を示す説明図である。 本開示の一実施形態にかかる制御端末200の機能構成例を示す説明図である。 本開示の一実施形態にかかる点検システム10の動作例を示す流れ図である。 制御端末200の表示部210に表示される画面の一例を示す説明図である。 制御端末200の表示部210に表示される画面の一例を示す説明図である。 制御端末200の表示部210に表示される画面の一例を示す説明図である。 ホバリングカメラ100による橋梁1の底面の撮像の様子を概念的に示す説明図である。 本開示の一実施形態にかかる点検システム10におけるホバリングカメラ100の動作を概念的に示す説明図である。 本開示の一実施形態にかかる点検システム10におけるホバリングカメラ100の動作を概念的に示す説明図である。 制御端末200の表示部210に表示される画面の一例を示す説明図である。 橋桁3の底面を点検する場合の概要を示す説明図である。 ホバリングカメラ100が撮像した静止画像をスティッチングして得られた画像20の例を示す説明図である。 本開示の一実施形態に係る情報処理装置300の機能構成例を示す説明図である。 本開示の一実施形態に係る情報処理装置300の動作例を示す流れ図である。 本開示の一実施形態に係る制御端末200の動作例を示す流れ図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本開示の一実施形態
1.1.概要
1.2.システム構成例
1.3.機能構成例
1.4.動作例
1.5.損傷データの生成例
1.5.1 機能構成例
1.5.2 動作例
2.まとめ
<1.本開示の一実施形態>
[1.1.概要]
本開示の一実施形態について詳細に説明するにあたり、まずは本開示の一実施形態の概要について説明する。
道路や橋梁、トンネル、ビルディング等の構築物の維持管理には、人間による構築物の状態の確認が欠かせない。通常、このような構築物の目視による確認は、作業員が当該構築物に近づき、腐食やヒビ割れ等の損傷や、ボルト等の連結部材の緩みが構造物に生じていないかどうかを目で確認したり、これら異常の有無の確認のために打音検査したりするのが一般的である。
橋梁、特にコンクリート橋の維持管理のためには、橋桁や橋脚の目視検査や打音検査を行なう作業員のために、例えば橋脚や橋桁の裏面部に足場を組む必要があったり、作業員の安全を確保したり、作業車両を配置したりするために一部又は全部の車線を通行止めにしたりする必要が生じたりしていた。これらの要因により、点検に要するコストだけでなく、通行止めによる道路誘導員の手配に要するコスト、さらには通行止めにより生じうる迂回路の交通渋滞が問題となり得る。
また、河川や海の上に建設されている等の理由で、足場を組むのが容易で無かったり、そもそも足場が組めなかったりする橋梁も存在する。従って、これらの事情を鑑みて、安全で、交通に影響を与えず、かつ低コストの構築物の点検作業が実現可能な技術が望まれる。
そこで本件開示者らは、上記事情を鑑みて、安全で、交通に影響を与えず、かつ低コストの構築物の点検作業が実現可能な技術について検討した。そして本件開示者らは、以下で説明するように、撮像装置を備えた飛行体(以下の説明では、撮像装置を備えた飛行体のことを「ホバリングカメラ」とも称する)を用いて、安全で、交通に影響を与えず、かつ低コストで可能な点検作業が可能な技術を考案するに至った。
図1は、本開示の一実施形態の概要について説明する説明図である。図1には、例えばコンクリートで構築された橋梁1が模式的に示されている。コンクリートで構築された橋梁1を点検する場合、上述したように、従来は作業員がヒビ割れや腐食等の損傷が生じていないかの目視点検を行なうために、橋脚2や橋桁3の裏面部に足場を組む必要があったり、作業員の安全を確保したり、作業車両を配置したりするために一部又は全部の車線を通行止めにしたりする必要が生じたりしていた。
本開示の一実施形態では、橋梁1を点検する場合に、ホバリングカメラ100を用いる。ホバリングカメラ100は、予め設定された飛行情報(本実施形態では、飛行経路及び静止画像の撮像位置の情報を含むものをいう)に従って自動飛行するよう構成された、撮像装置を備える飛行体である。なお静止画像の撮像位置の情報には、例えば撮像処理を実行する位置、撮像する方向、次の撮像処理を実行する位置までの移動時間等が含まれ得る。
例えば橋桁3の裏側(底面)を点検する場合、ホバリングカメラ100を自動飛行させて、ホバリングカメラ100に橋桁3の裏側を撮像させる。ホバリングカメラ100に橋桁3の裏側を撮像させることで、橋桁3の点検のために橋脚2や橋桁3の裏面部に足場を組む必要が無くなったり、車線を通行止めにする頻度が軽減され、または通行止めが不要になったりする。また例えば橋桁3の横側(側面)を点検する場合、ホバリングカメラ100を自動飛行させて、ホバリングカメラ100に橋桁3の横側を撮像させる。従ってホバリングカメラ100を自動飛行させて、ホバリングカメラ100に橋桁3の裏側や横側を撮像させることで、作業員の安全を確保し、交通に影響を与えずに、かつ低コストで橋梁1の点検が可能となる。
ホバリングカメラ100を自動飛行させて橋桁3の裏側を撮像させるためには、ホバリングカメラ100の飛行経路の設定と、橋桁3の裏側の位置における静止画像の撮像位置の情報の設定が必要になる。本開示の一実施形態では、ホバリングカメラ100に設定する飛行情報を、橋梁1の概況に関する情報を用いて効率的に作成することで、橋梁1の効率的な点検を可能にすることを目的とする。
以上、本開示の一実施形態の概要について説明した。続いて、本開示の一実施形態にかかる点検システムの構成例について説明する。
[1.2.システム構成例]
図2は、本開示の一実施形態にかかる点検システム10のシステム構成例を示す説明図である。図2に示した本開示の一実施形態にかかる点検システム10は、構築物、例えば橋梁1の点検を効率的に行なうことを目的としたシステムである。以下、図2を用いて本開示の一実施形態にかかる点検システム10のシステム構成例について説明する。
図2に示したように、本開示の一実施形態にかかる点検システム10は、ホバリングカメラ100と、制御端末200と、情報処理装置300と、無線中継ノード400と、位置推定ノード500と、ベースステーション600と、充電ステーション700と、サーバ装置800と、を含んで構成される。
ホバリングカメラ100は、本開示の撮像装置の一例であり、上述したように撮像装置を備える飛行体である。ホバリングカメラ100は、指定された飛行経路に基づいて自動飛行し、指定された撮像位置において撮像装置で静止画像を撮像することが出来るよう構成された飛行体である。ホバリングカメラ100は、例えば4つのロータにより飛行することが可能であり、各ロータの回転を制御することで、上昇、下降、水平移動しつつ飛行することが出来る。もちろんロータの数は係る例に限定されるものではない。
ホバリングカメラ100に設定される飛行開始位置から飛行終了位置までの飛行経路や撮像位置は、例えばGPS(Global Positioning System;全地球測位システム)の位置情報として設定される。従ってホバリングカメラ100は、GPS衛星からの電波を受信して現在位置を算出するGPS受信機が組み込まれ得る。ホバリングカメラ100に設定される飛行経路は、緯度、経度、高度の全てがGPSの位置情報として設定されていてもよく、緯度、経度のみがGPSの位置情報として設定され、高度については例えば後述のベースステーション600からの相対的な高さとして設定されていてもよい。
制御端末200は、本開示の制御装置の一例であり、ホバリングカメラ100の飛行に関する制御を実行する端末である。制御端末200は、ホバリングカメラ100の飛行に関する制御として、例えばホバリングカメラ100に送る飛行情報の生成、ホバリングカメラ100への離陸指示や、後述のベースステーション600への帰還指示、ホバリングカメラ100が何らかの理由で自動で飛行出来なくなった場合のホバリングカメラ100の操縦等がある。制御端末200によるホバリングカメラ100の飛行情報の生成処理については、後に詳述するが、ここで簡単に一例を説明する。
ホバリングカメラ100の飛行情報を生成する際には、制御端末200は、点検を行う橋梁1の概況に関する情報、例えば点検を行う橋梁1の概況図を読み込み、画面に表示させる。この橋梁1の概況図上の点には、予め詳細なGPS情報が入った地図データ上の点を対応付けておく。この対応付けは最低2組の点で行なわれていることが望ましい。橋梁1の概況図に、予め、詳細なGPS情報が入った地図データ上の点が対応付けられていることで、ホバリングカメラ100の飛行経路がGPSの値として定義される。そして制御端末200は、この橋梁1の概況図に基づいてホバリングカメラ100の飛行経路を生成する。ホバリングカメラ100の飛行経路は、ユーザ(構築物点検の作業員)が分かりやすいよう、概況図上に重ねて表示させる。
制御端末200は、ホバリングカメラ100の飛行情報を生成する際に、橋梁1の構造や、寸法、ホバリングカメラ100に撮像させる橋梁1の部分を考慮してもよい。制御端末200は、ホバリングカメラ100の飛行情報を生成する際に、損傷している可能性が高いと考えられる部分についてはホバリングカメラ100に詳細に撮像させるような飛行情報を生成してもよい。
上述したように、ホバリングカメラ100に設定される飛行経路は、緯度、経度、高度の全てがGPSの位置情報として設定されていてもよいが、橋梁1の概況図に高度データが存在しない場合が考えられる。橋梁1の概況図に高度データが存在しない場合は、ホバリングカメラ100に設定される飛行経路は、緯度、経度のみがGPSの位置情報として設定され、高度については例えばベースステーション600からの相対的な高さとして設定されていてもよい。
制御端末200は、ホバリングカメラ100へ設定する飛行情報を設定する際に、ホバリングカメラ100が橋梁1を撮像する際の、撮像対象面との距離が一定になるような飛行情報を生成することが望ましい。ホバリングカメラ100が橋梁1を撮像する際に、撮像対象面との距離が一定となるような飛行情報を生成することで、制御端末200は、同縮尺の画像をホバリングカメラ100に生成させることが出来る。
制御端末200は、例えばノート型コンピュータやタブレット型の端末等の持ち運び可能な装置であり、ホバリングカメラ100との間で無線により情報の送受信を行なう。制御端末200は、ホバリングカメラ100との間の無線通信を、ホバリングカメラ100との間で直接行っても良いが、構築物、特に橋梁1の点検においては制御端末200の通信可能範囲を超えてホバリングカメラ100が飛行することもあり得るので、点検時に設置される無線中継ノード400を介して行なっても良い。
制御端末200は、ホバリングカメラ100が飛行中に撮像装置で撮像した画像を取得し、必要に応じて表示する。制御端末200は、ホバリングカメラ100が飛行中に撮像装置で撮像している動画像をストリーミングで取得し、表示してもよい。ホバリングカメラ100が飛行中に撮像装置で撮像している動画像をストリーミングで取得し、表示することで、制御端末200は、ホバリングカメラ100がどのような位置を飛行しているのかをユーザに提示することが出来る。
情報処理装置300は、様々な情報を処理する装置であり、例えばパーソナルコンピュータ(PC)やゲーム機等の情報を処理する機能を有する装置であり得る。本実施形態では、情報処理装置300は、特にホバリングカメラ100が撮像した画像を表示して、橋梁1の状態をユーザに確認させる機能を有する装置である。また情報処理装置300は、ホバリングカメラ100が撮像した画像から、橋桁3の絶対的な損傷位置を算出し、後述の損傷データを生成する機能を有する。情報処理装置300は、生成した損傷データを、サーバ装置800へ送信する機能を有していても良い。なお、ホバリングカメラ100が撮像した画像から、橋桁3の絶対的な損傷位置を算出し、後述の損傷データを生成する機能は、制御端末200が有していても良い。
情報処理装置300は、ホバリングカメラ100が撮像した画像を、例えば制御端末200から取得する。ホバリングカメラ100が撮像した画像を情報処理装置300が取得するのは特定のタイミングに限定されないが、例えば、情報処理装置300は、ホバリングカメラ100の一度の飛行が終了したタイミングでホバリングカメラ100が撮像した画像を制御端末200から取得してもよい。
無線中継ノード400は、ホバリングカメラ100と制御端末200との間の無線通信を中継する装置である。上述したように、構築物、特に橋梁1の点検においては、制御端末200の通信可能範囲を超えてホバリングカメラ100が飛行することもあり得る。従って、構築物の点検時に設置される無線中継ノード400を介して、ホバリングカメラ100と制御端末200との間の無線通信が行われ得る。無線中継ノード400の数は1つだけとは限らず、橋梁1の点検範囲によっては複数設置され得る。従って、ホバリングカメラ100と制御端末200との間の無線通信は、複数の無線中継ノード400を介して行われ得る。ホバリングカメラ100は電波の状況に応じて、通信先を制御端末200と無線中継ノード400との間で切り替え得る。
無線中継ノード400は、橋梁1の点検時に、橋面上(歩道上が望ましい)の適切な場所に設置され得る。また無線中継ノード400は、橋桁3の欄干部から吊り下げられるようにして設置されても良い。そして橋梁1の点検前には、所定の方法によって無線中継ノード400が正常に動作することを、例えば制御端末200を用いて確認することが望ましい。
位置推定ノード500は、ホバリングカメラ100に現在位置を推定させるための装置である。上述したように、ホバリングカメラ100の飛行経路は、例えばGPSの位置情報として設定される。この際に、GPS衛星からの電波を遮るものが無い場合は、ホバリングカメラ100は現在位置を極めて高い精度で知ることが出来る。しかし、ホバリングカメラ100は橋桁3の下に潜り込んでしまうことが避けられず、橋桁3によってGPS衛星からの電波が遮られたり、橋梁1による電波の反射等に起因するマルチパスが発生したりしてしまうと、ホバリングカメラ100は現在位置を高い精度で知ることが出来なくなるおそれがある。
そこで本実施形態では、橋桁3の下においてホバリングカメラ100に現在位置を正確に取得させるために位置推定ノード500を設ける。位置推定ノード500としては、例えばAR(Augmented Reality;拡張現実)マーカーを用いてもよく、GPS信号の発信機を用いてもよい。
位置推定ノード500としてARマーカーを用いた場合、ホバリングカメラ100に現在位置を認識させるためには、例えば橋梁1の両端から位置推定ノード500をぶら下げて、ホバリングカメラ100に位置推定ノード500を撮像させる。そして位置推定ノード500を撮像したホバリングカメラ100に、指定した位置推定ノード500の間を飛行させる。ホバリングカメラ100は、位置推定ノード500間の位置を、例えばホバリングカメラ100に備えたセンサ(例えばIMU(Inertial Measurement Unit)センサ)の積算値と、撮像した画像から算出した移動先の位置推定ノード500までの距離とで把握することが可能になる。従ってホバリングカメラ100は位置推定ノード500を撮像することで、橋桁3の下においても現在位置を正確に取得することが出来る。
また位置推定ノード500としてGPS信号の発信機を用いた場合、ホバリングカメラ100に現在位置を認識させるためには、例えば橋梁1の対角や四隅に位置推定ノード500を設置する。ホバリングカメラ100は位置推定ノード500から発したGPS信号を受信することで、橋桁3の下においても現在位置を正確に取得することが出来る。
ベースステーション600は、ホバリングカメラ100の離着陸のために設けられる装置である。ベースステーション600は、GPS受信機を備え、GPS衛星からの電波の受信によって現在位置を算出する。ベースステーション600が算出した現在位置は制御端末200に送られる。ベースステーション600が算出した現在位置が制御端末200に送られることで、制御端末200は、橋梁1の概況図上にベースステーション600の位置を表示することが可能になる。
ベースステーション600は、ホバリングカメラ100の動作確認を行なう機能を有していても良い。ベースステーション600が実行するホバリングカメラ100の動作確認には、例えば通信機能の確認、撮像機能の確認、飛行機能の確認、各種センサのキャリブレーションなどが含まれ得る。なおホバリングカメラ100のセンサのキャリブレーション方法としては、ベースステーション600を用いた方法に限られないことは言うまでもなく、ホバリングカメラ100のセンサのキャリブレーション方法として、例えばキャリブレーション専用の治具にホバリングカメラ100を固定させて、ピッチ方向やロール方向にホバリングカメラ100を回転させてセンサを較正する方法もあり得る。
充電ステーション700は、ホバリングカメラ100に備えられる二次電池への充電を行なう。ホバリングカメラ100はバッテリを動力源としており、飛行や撮像に伴ってバッテリに蓄えられた電力を消費する。充電ステーション700は、ホバリングカメラ100に備えられるバッテリが二次電池であれば、そのバッテリへの充電を行なうことで、ホバリングカメラ100が消費した電力を回復させることができる。充電ステーション700は、ケーブル等をホバリングカメラ100に接続してホバリングカメラ100へ給電することでホバリングカメラ100を充電してもよく、非接触電力伝送方式によってホバリングカメラ100へ給電することでホバリングカメラ100を充電しても良い。
サーバ装置800は、各種データを格納する装置である。本実施形態では、サーバ装置800は、情報処理装置300が生成した損傷データを格納しても良い。
本開示の一実施形態にかかる点検システム10は、図2に示したような構成を有することで、ホバリングカメラ100に橋梁1を撮像させて、橋梁1の画像を取得することが出来る。ホバリングカメラ100に橋梁1を撮像させることで、本開示の一実施形態にかかる点検システム10は、橋脚や橋桁に足場を組む必要が無くなったり、作業員の安全を確保するために一部又は全部の車線を通行止めにする頻度が軽減され、または通行止めが不要になったりすることで、橋梁1の低コストでかつ効率的な点検が可能となる。
本開示の一実施形態にかかる点検システム10のシステム構成例について説明した。続いて、本開示の一実施形態にかかる点検システム10を構成するホバリングカメラ100及び制御端末200の機能構成例について説明する。
[1.3.機能構成例]
まず、本開示の一実施形態にかかるホバリングカメラ100の機能構成例について説明する。図3は、本開示の一実施形態にかかるホバリングカメラ100の機能構成例を示す説明図である。以下、図3を用いて本開示の一実施形態にかかるホバリングカメラ100の機能構成例について説明する。
図3に示したように、本開示の一実施形態に係るホバリングカメラ100は、撮像装置101と、ロータ104a~104dと、モータ108a~108dと、制御部110と、通信部120と、センサ部130と、位置情報取得部132と、記憶部140と、バッテリ150と、を含んで構成される。
制御部110は、ホバリングカメラ100の動作を制御する。例えば制御部110は、モータ108a~108dの回転速度の調整によるロータ104a~104dの回転速度の調整、撮像装置101による撮像処理、通信部120を介した他の装置(例えば制御端末200)との間の情報の送受信処理、記憶部140に対する情報の記憶や読出しを制御し得る。
本実施形態では、制御部110は、制御端末200から送信された飛行情報に基づいてモータ108a~108dの回転速度を調整しての飛行および撮像装置101に対する静止画像の撮像処理の実行を制御する。制御部110は、制御端末200から送信された飛行情報に基づいてモータ108a~108dや撮像装置101を制御することで、制御端末200の要求に基づいた画像を制御端末200に提供することが可能になる。
撮像装置101は、レンズやCCDイメージセンサ、CMOSイメージセンサ等の撮像素子、フラッシュ等で構成されている。ホバリングカメラ100に備えられる撮像装置101は、制御端末200からの制御により静止画像または動画像の撮像を実行する。撮像装置101が撮像する画像は、通信部120から制御端末200へ送信される。また本実施形態では、撮像装置101は、制御端末200から送信された飛行情報に含まれる静止画像の撮像位置の情報に基づいて撮像処理を実行する。撮像装置101の撮像処理によって得られた画像は、記憶部140に記憶されたり、通信部120から制御端末200へ送信されたりし得る。ホバリングカメラ100で橋梁1の底面側を撮像する場合は、太陽光が橋梁1に遮られて明るさが足りないことが考えられるので、ホバリングカメラ100は、橋梁1の底面側の撮像時にフラッシュを発光させるとよい。
撮像装置101は、撮像する方向を、例えば制御部110からの制御によって任意の方向に変更することが出来る。例えばホバリングカメラの水平方向を0度とした時に、上下方向に±90度の範囲で表される撮像方向を撮像可能とすることができる。撮像装置101が、撮像する方向を変更できることで、ホバリングカメラ100は所定の方向の画像を撮像し、制御端末200に撮像画像を提供することが出来る。そして制御部110は、撮像装置101が静止画像を撮像した時点のホバリングカメラ100の位置情報(GPSによる測位や、位置推定ノード500を用いた測位による位置情報が含まれ得る。位置推定ノード500を用いた測位については後述する)、撮像時の機体情報(例えばヨー角、ピッチ角、加速度、角速度)、撮像方向の情報を、その静止画像のメタデータとして関連付ける。関連付けたメタデータの格納方法としては、メタデータを静止画像データの付加情報領域(例えばExifフォーマットの特定の領域)に付加してもよいし、メタデータを画像ファイルと別ファイルに記録するなど別体のデータとしてもよい。
ロータ104a~104dは、回転により揚力を生じさせることでホバリングカメラ100を飛行させる。ロータ104a~104dの回転はモータ108a~108dの回転によりなされる。モータ108a~108dは、ロータ104a~104dを回転させる。モータ108a~108dの回転は制御部110によって制御され得る。
通信部120は、制御端末200との間で無線通信による情報の送受信処理を行う。ホバリングカメラ100は、撮像装置101で撮像されている画像を通信部120から制御端末200へ送信する。またホバリングカメラ100は、飛行に関する指示を制御端末200から通信部120で受信する。
センサ部130は、ホバリングカメラ100の状態を取得する装置群であり、例えば加速度センサ、ジャイロセンサ、超音波センサ、気圧センサ、オプティカルフローセンサ、レーザーレンジファインダー等で構成され得る。センサ部130は、取得したホバリングカメラ100の状態を所定の信号に変換して、必要に応じて制御部110に提供し得る。位置情報取得部132は、例えばGPSやビジョンセンサ等を用いてホバリングカメラ100の現在位置の情報を取得する。位置情報取得部132は、取得したホバリングカメラ100の現在位置の情報を、必要に応じて制御部110に提供し得る。制御部110は、位置情報取得部132が取得したホバリングカメラ100の現在位置の情報を用いて、制御端末200から受信した飛行情報に基づいたホバリングカメラ100の飛行制御を実行する。
またセンサ部130は、飛行時に飛行を妨げる可能性のある障害物を検知する。センサ部130が障害物を検知することで、ホバリングカメラ100はその検知した障害物に関する情報を制御端末200に提供することが出来る。
記憶部140は、様々な情報を記憶する。記憶部140が記憶する情報としては、例えば制御端末200から送信されたホバリングカメラ100の飛行情報、撮像装置101で撮像した画像等があり得る。
バッテリ150は、ホバリングカメラ100を動作させるための電力を蓄える。バッテリ150は、放電のみが可能な一次電池であってもよく、充電も可能な二次電池であってもよいが、バッテリ150が二次電池である場合は、バッテリ150は、例えば図2に示した充電ステーション700から電力の供給を受け得る。
本開示の一実施形態に係るホバリングカメラ100は、図3に示したような構成を有することで、制御端末200から送信された飛行情報に含まれる飛行経路に基づいて自動飛行して、制御端末200から送信された飛行情報に含まれる静止画像の撮像位置の情報に基づいて撮像処理を実行することが出来る。
以上、図3を用いて本開示の一実施形態にかかるホバリングカメラ100の機能構成例について説明した。続いて、本開示の一実施形態にかかる制御端末200の機能構成例について説明する。
図4は、本開示の一実施形態にかかる制御端末200の機能構成例を示す説明図である。以下、図4を用いて本開示の一実施形態にかかる制御端末200の機能構成例について説明する。
図4に示したように、本開示の一実施形態にかかる制御端末200は、表示部210と、通信部220と、制御部230と、記憶部240と、を含んで構成される。
表示部210は、例えば液晶表示装置、有機EL表示装置等の平板表示装置からなる。表示部210は、例えば、撮像装置101が撮像している画像や、ホバリングカメラ100の動作を制御するための情報を表示し得る。表示部210にはタッチパネルが備えられ、ユーザは表示部210を指等で触ることで表示部210に表示される情報に対して直接操作することができる。
通信部220は、ホバリングカメラ100との間で無線通信による情報の送受信を行う。制御端末200は、撮像装置101で撮像されている画像を、ホバリングカメラ100から通信部220で受信する。また制御端末200は、ホバリングカメラ100の飛行に関する指示を通信部220からホバリングカメラ100へ送信する。ホバリングカメラ100の飛行に関する命令は、制御部230で生成され得る。
制御部230は、制御端末200の動作を制御する。例えば制御部230は、表示部210への文字、図形、画像その他の情報の表示処理、通信部220を介した他の装置(例えばホバリングカメラ100)との間の情報の送受信処理を制御し得る。また制御部230は、飛行情報生成部232と、表示制御部234と、を含んで構成される。
飛行情報生成部232は、ホバリングカメラ100に送信する飛行情報を生成する。飛行情報生成部232は、飛行情報の生成に際して、例えば、後述の記憶部240に記憶されている、点検対象の構築物に関する情報を用いる。飛行情報生成部232は、飛行情報を生成すると、ホバリングカメラ100の離陸前に、生成した飛行情報を通信部220から送信させる。
飛行情報生成部232による飛行情報の生成処理については後に詳述するが、飛行情報生成部232による飛行情報の生成処理の一例について簡単に説明する。飛行情報生成部232は、ホバリングカメラ100の飛行情報を生成する際に、点検を行う橋梁1の概況図を読み込む。読み込んだ橋梁1の概況図は、表示制御部234によって表示部210に表示させる。上述したようにこの橋梁1の概況図上の点には、予め、詳細なGPS情報が入った地図データ上の点を対応付けておく。この対応付けは最低2組の点で行なわれていることが望ましい。橋梁1の概況図に、予め、詳細なGPS情報が入った地図データ上の点が対応付けられていることで、ホバリングカメラ100の飛行経路がGPSの値(緯度及び経度の組)として定義される。
そして飛行情報生成部232は、この橋梁1の概況図に基づいてホバリングカメラ100の飛行経路を生成する。飛行情報生成部232は、ホバリングカメラ100の飛行経路を生成する際に、橋梁1の構築方法、幅、径間長等の構造に関する情報、ホバリングカメラ100の飛行可能時間、橋梁1の点検方法等の情報を用いる。コンクリート橋は、補強方法によって鉄筋コンクリート(RC)とPC(プレストレストコンクリート)に分けられ、桁の形状によって、例えばRCT桁橋、PCT桁橋、PC中空床版橋、RC箱桁橋、PC箱桁橋等に分けられる。従って点検対象となる橋梁1の構築方法が分かれば、飛行情報生成部232は、橋梁1の構築方法に適した飛行経路を生成することが出来る。そして、飛行情報生成部232は、ホバリングカメラ100の飛行経路を、橋梁1の概況図上に重ねて表示させる。
飛行情報生成部232は、ホバリングカメラ100の飛行経路を、上述したようにGPSの値(緯度及び経度の組)として定義する。飛行情報生成部232がホバリングカメラ100の飛行経路をGPSの値として定義することで、ホバリングカメラ100は、飛行時にどの位置で撮像処理を実行すべきかを、GPSの値に基づいて判断できる。
表示制御部234は、表示部210への文字、図形、画像その他の情報の表示を制御する。後述の説明で参照する図面において表示部210に表示される文字、図形、記号、画像その他の情報は、表示制御部234によって表示が制御されるものである。例えば、表示制御部234は、飛行情報生成部232がホバリングカメラ100に送信する飛行情報を生成する際に、点検対象の構築物(橋梁1)の概況図や、生成した飛行情報を表示部210へ表示する制御を実行する。
記憶部240は、各種情報を記憶する。記憶部240に記憶される情報としては、例えば点検対象の構築物(橋梁1)に関する情報がある。点検対象の構築物に関する情報には、例えば点検対象の構築物(橋梁1)の概況図、点検対象の構築物の構築方法が含まれ得る。また点検対象の構築物について、損傷が生じやすいと考えられる場所が予め分かっていれば、点検対象の構築物に関する情報には、損傷している可能性が高いと考えられる部分の情報が含まれ得る。
なお制御端末200は、点検対象の構築物(橋梁1)に関する情報を予め記憶部240に記憶しておかなくとも、当該構築物の点検時に、例えば情報処理装置300から受信するようにしてもよい。
本開示の一実施形態に係る制御端末200は、図4に示したような構成を有することで、ホバリングカメラ100に送信する飛行情報を、点検対象の構築物(橋梁1)に関する情報に基づいて生成して、飛行情報に基づいて飛行するホバリングカメラ100で、飛行情報に基づき撮像された画像を取得することが出来る。
以上、図4を用いて本開示の一実施形態にかかる制御端末200の機能構成例について説明した。続いて、本開示の一実施形態にかかる点検システム10の動作例について説明する。
[1.4.動作例]
図5は、本開示の一実施形態にかかる点検システム10の動作例を示す流れ図である。図5に示したのは、ホバリングカメラ100を飛行させて、ホバリングカメラ100に橋梁1を撮像させることで橋梁1を点検する際の、本開示の一実施形態にかかる点検システム10の動作例である。なお、ホバリングカメラ100を用いて橋梁1を点検する際には、橋梁1の適切な位置に無線中継ノード400や位置推定ノード500が予め設置されているものとする。以下、図5を用いて本開示の一実施形態にかかる点検システム10の動作例について説明する。
ホバリングカメラ100の飛行情報を生成する制御端末200は、点検対象の橋梁1の概況図を含んだ、橋梁1に関する情報を読み込み、橋梁1の概況図を表示部210に表示する(ステップS101)。橋梁1に関する情報の読み込みは、例えば飛行情報生成部232が実行し、橋梁1の概況図の表示部210への表示は、例えば表示制御部234が実行する。橋梁1の概況図を表示部210に表示している制御端末200は、ユーザに対して、表示部210に表示している橋梁1の概況図を用いて、点検する橋梁1の領域をユーザに指定させる(ステップS102)。ステップS102のユーザに指定させる処理は例えば飛行情報生成部232が実行する。
例えば橋梁1の一部分を点検対象とする場合は、制御端末200は、表示部210に表示している橋梁1の概況図における点検対象の領域をユーザに指定させる。また例えば橋梁1の全体を点検対象とする場合は、制御端末200は、表示部210に表示している橋梁1の概況図における、橋梁1の全ての部分の領域をユーザに指定させる。
図6は、制御端末200の表示部210に表示される画面の一例を示す説明図である。図6に示したのは、上記ステップS102で、点検する橋梁1の領域をユーザに指定させる際に表示部210に表示される画面の一例である。図6には、点検する橋梁1の領域として橋桁を指定した場合に、表示部210に表示される画面が表示されているものとする。制御端末200は、図示せぬ入力部として例えばタッチパネルを有し、例えばユーザに画面をなぞらせたり、点検対象の径間を選択させたりすることで、橋梁1の領域をユーザに指定させることが出来る。もちろん点検する橋梁1の領域をユーザに指定させる方法は係る例に限定されるものではない。また、ユーザに指定された領域の表示も、図6に示した例に限定されるものではない。
図6には、ベースステーション600の位置を示すマークB1が橋梁1の概況図に重畳されて表示されている様子も示されている。上述したように、ベースステーション600は、GPS受信機を備え、GPS衛星からの電波の受信によって現在位置を算出することが出来る。従って制御端末200は、ベースステーション600が算出した現在位置の情報に基づいて、ベースステーション600の位置を示すマークB1を橋梁1の概況図に重畳させて表示することが出来る。
点検する橋梁1の領域をユーザに指定させると、続いて制御端末200は、橋梁1に関する情報に基づき、ユーザが指定した、点検する領域におけるホバリングカメラ100の飛行情報を生成する(ステップS103)。ステップS103の飛行情報の生成処理は、例えば飛行情報生成部232が実行する。
制御端末200は、上記ステップS103でホバリングカメラ100の飛行情報を生成する際に、橋梁1の構築方法、幅、径間長等の構造に関する情報、ホバリングカメラ100の飛行可能時間、橋梁1の点検方法等の情報を用いる。例えば、橋梁1の構築方法としてT桁が用いられている場合は、制御端末200は、ホバリングカメラ100が橋梁1の底面側で浮上と下降を繰り返すような飛行経路を飛行情報として生成する。また制御端末200は、上記ステップS103でホバリングカメラ100の飛行情報を生成する際に、橋梁1の撮像対象面の情報を用いてもよい。例えば橋梁1の側面を撮像することをユーザが選択した場合は、制御端末200は、橋梁1の側面に沿った飛行経路を飛行情報として生成し、橋梁1の底面を撮像することをユーザが選択した場合は、制御端末200は、橋梁1の底面側を往復するような飛行経路を飛行情報として生成する。
制御端末200が生成する飛行情報の一例を説明する。飛行情報は、例えば撮像処理を実行する位置毎のリストを以下のようなフォーマットで指定してもよい。
ID:(撮像点の相対座標,撮像方向,撮像時の速度,次の撮像点までの移動時間,その他)
撮像点の相対座標は、X軸、Y軸、Z軸の3点で指定する。なお、X軸を緯度方向、Y軸を経度方向、Z軸を高さ方向とする。またその他の情報としては、例えば特殊な撮像を制御する情報が含まれ得る。特殊な撮像を制御する情報には、例えば、同一の位置で複数の撮像方向で撮像するための情報、ブラケット撮像(同一の位置及び撮像方向において異なる露出、シャッタスピード、ISO感度等で撮像することをいう)のためのパラメータに関する情報、撮像時の赤外線の波長の情報が含まれ得る。このフォーマットに従えば、制御端末200が生成する飛行情報は以下の様な値のリストで構成され得る。
0:(0,0,0,0,0,2,1.0)
1:(5,0,0,0,0,2,1.0)
2:(7,0,0,0,0,2,1.0)
3:(9,0,0,0,0,2,1.0)
制御端末200が生成する飛行情報に含まれる撮像点は、例えばベースステーション600の絶対座標や1回目の撮像位置等の任意の位置の絶対座標を基準点とし、その基準点からの相対座標で指定されてもよい。ホバリングカメラ100は、基準点の絶対座標からの相対座標を絶対座標に変換して、飛行時に変換後の座標を参照してもよい。また、制御端末200が生成する飛行情報に含まれる撮像点は、相対座標ではなく絶対座標で指定されてもよい。また、制御端末200が生成する飛行情報に含まれる特殊な撮像を制御する情報には所定の値が格納され得る。例えば、特殊な撮像を制御する情報には、1:複数の撮像方向での撮像、2:ブラケット撮像(シャッタスピードの変化)、3:ブラケット撮像(ISO感度の変化)、・・・などの値が格納され得る。制御端末200は、例えば記憶部240に記憶されている、橋桁3において損傷が生じやすいと考えられる場所については、特殊な撮像を制御する情報を飛行情報に含めてもよい。
制御端末200は、上記ステップS103の飛行情報の生成処理の際には、例えば橋梁1の橋桁3の裏面を、ホバリングカメラ100に等間隔で撮像させるような飛行情報を生成してもよい。従って制御端末200は、ステップS103の飛行情報の生成処理の際に、静止画像の撮像位置が等間隔となるように飛行情報を生成してもよい。
制御端末200は、上記ステップS103でホバリングカメラ100の飛行情報を生成する際に、損傷している可能性が高いと考えられる部分の情報が予め記憶部140に記憶されていれば、その記憶されている情報を読み出して、その部分についてホバリングカメラ100に詳細に撮像させるような飛行情報を生成してもよい。損傷している可能性が高いと考えられる部分をホバリングカメラ100に撮像させる際には、制御端末200は、上述の特殊な撮像を制御する情報を飛行情報に含めてもよい。もちろん損傷している可能性が高いと考えられる部分の情報は、予め記憶部140に記憶されていなくてもよく、その場合は損傷している可能性が高いと考えられる部分の情報をユーザが点検時に入力してもよい。
点検する橋梁1の領域をホバリングカメラ100に飛行させる際に、ホバリングカメラ100の飛行可能時間によっては、一度にその領域をホバリングカメラ100に飛行させることが出来ないことが考えられる。ホバリングカメラ100の飛行可能時間は、予めバッテリ150の容量や、ロータ104a~dを動かすためのモータ108a~108dの消費電力、撮像装置101、制御部110、通信部120の消費電力等から求めることが可能である。そして飛行情報を生成する際に、スタート位置(例えばベースステーション600)から最初の撮像地点までの予定移動時間、撮像地点間の予定移動時間、最後の撮像地点からスタート位置に戻るまでの予定移動時間等から、ホバリングカメラ100の一度の点検飛行に要する時間を見積もることも可能である。従って、点検する橋梁1の領域に対する飛行経路をホバリングカメラ100が一度の点検飛行では飛行できない場合は、制御端末200は、生成した飛行経路をいくつかに分割してもよい。
また制御端末200は、上記ステップS103でホバリングカメラ100の飛行情報を生成する際に、複数の飛行経路を生成し、表示部210にその飛行経路を表示してもよい。図7は、制御端末200の表示部210に表示される画面の一例を示す説明図である。図7に示したのは、上記S103でホバリングカメラ100の飛行情報が生成される際に、複数の飛行経路が生成され、表示部210にその飛行経路R1、R2が表示されている状態の一例である。制御端末200は、表示部210に複数の飛行経路を表示して、ユーザに飛行経路を1つ選択させる。制御端末200は、ユーザの飛行経路の選択に基づいて飛行情報を生成する。
上記ステップS103でホバリングカメラ100の飛行情報を生成すると、続いて制御端末200は、生成した飛行情報をホバリングカメラ100に送信し、離陸指示をホバリングカメラ100に送信する(ステップS104)。生成した飛行情報の送信及び離陸指示の送信は、例えば飛行情報生成部232が通信部220を通じて実行する。
図8は、制御端末200の表示部210に表示される画面の一例を示す説明図である。図8に示したのは、ホバリングカメラ100へ離陸指示を送信する際に制御端末200の表示部210に表示される画面の一例である。ユーザは、表示部210に表示される離陸指示ボタン211を触ることで、制御端末200からホバリングカメラ100へ離陸指示を送信させることが出来る。なお制御端末200からホバリングカメラ100へ離陸指示を送信させる際には、その離陸指示の前に上記ステップS103で生成した飛行情報が制御端末200からホバリングカメラ100へ送信されてもよいが、制御端末200からホバリングカメラ100へ離陸指示を送信した後に、上記ステップS103で生成した飛行情報が制御端末200からホバリングカメラ100へ送信されてもよい。
制御端末200から飛行情報及び離陸指示を受信し、ベースステーション600から離陸したホバリングカメラ100は、制御端末200から送られた飛行情報に基づいて飛行して、撮像処理を実行して静止画像を得る(ステップS105)。ホバリングカメラ100は、静止画像を得る撮像処理を実行した際の位置情報や撮像処理時の機体の情報を取得し、静止画像に紐づけておく。撮像処理時の機体の情報には、例えばヨー角、ピッチ角、加速度、角速度の情報が含まれ得る。またホバリングカメラ100は、飛行中に撮像装置101で撮像している動画像を制御端末200にストリーミング送信してもよい。制御端末200は、ホバリングカメラ100が飛行中に撮像装置で撮像している動画像をストリーミングで取得し、表示することで、制御端末200は、ホバリングカメラ100がどのような位置を飛行しているのかをユーザに提示することが出来る。
ホバリングカメラ100は、撮像処理を実行する際には、全ての撮像地点で、撮像対象面(例えば橋桁3の側面や底面)との間の距離を一定に保つことが望ましい。全ての撮像地点で撮像対象面との間の距離を一定に保つことで、ホバリングカメラ100は、同じ大きさで撮像した静止画像を得ることが出来る。
損傷している可能性が高いと考えられる部分がホバリングカメラ100の飛行経路に含まれている場合、ホバリングカメラ100は、その部分については、撮像装置の撮像方向を変化させたり、波長の異なる赤外線を当てたり、シャッタスピードを変化させたりして、複数の静止画像を撮像してもよい。また損傷している可能性が高いと考えられる部分がホバリングカメラ100の飛行経路に含まれている場合、ホバリングカメラ100は、その部分については撮像処理を行なう位置の間隔を他の部分より狭くしてもよい。
図9は、本開示の一実施形態にかかる点検システム10におけるホバリングカメラ100の動作を概念的に示す説明図である。ホバリングカメラ100が飛行情報に基づいて橋梁1の底面側を飛行する場合、ホバリングカメラ100は例えば時刻tの時点で停止して橋梁1の底面を撮像し、撮像後に時刻tで撮像を行なう位置まで飛行し、時刻tの時点で停止して橋梁1の底面を別の位置で撮像し、以後は橋梁1の底面側の撮像のために飛行、停止、撮像を時刻tの時点まで繰り返す。ホバリングカメラ100が飛行、停止、撮像を繰り返すことで橋梁1の底面の画像が得られる。
ホバリングカメラ100は、飛行情報に基づいて飛行する際に、GPS衛星からの電波を障害無く受信出来れば現在位置を正確に把握できる。しかし、橋梁1の下など、GPS衛星からの電波を受信しづらい位置では、ホバリングカメラ100は、現在位置の正確な把握が困難になる。そこで本実施形態では、位置推定ノード500を用いることで、GPS衛星からの電波を受信しづらい位置でもホバリングカメラ100に正確な現在位置を把握させる。
図10は、本開示の一実施形態にかかる点検システム10におけるホバリングカメラ100の動作を概念的に示す説明図である。例えば図10のStartからGoalまでをホバリングカメラ100が飛行するような経路が設定された場合、ホバリングカメラ100は、GPS衛星30からの電波を障害なく受信して測位するGPS測位エリア40と、例えばビジョンセンサを用いて現在位置を推定するセンサ測位エリア50とを行き来することになる。
ホバリングカメラ100は、GPS測位エリア40ではGPS衛星30からの電波を用いて現在位置を把握する。ホバリングカメラ100は、センサ測位エリア50では位置推定ノード500間の位置を、位置推定ノード500がARマーカーであれば、ホバリングカメラ100に備えたセンサ(例えばIMUセンサ)の積算値と、撮像装置101で撮像した画像から算出した移動先の位置推定ノード500までの距離とで現在位置を把握する。位置推定ノード500がGPS信号の発信機であれば、ホバリングカメラ100は、位置推定ノード500から発信される信号を用いて、それぞれ把握する。
このように位置推定ノード500を用いることで、ホバリングカメラ100は、GPS衛星からの電波を受信しづらい位置に移動しても、正確な現在位置を把握することが出来る。
ホバリングカメラ100は、最後の撮像地点での撮像処理を完了すると、自動的にベースステーション600まで飛行して、ベースステーション600に帰還する(ステップS106)。そして制御端末200は、ベースステーション600に帰還したホバリングカメラ100が撮像した画像をホバリングカメラ100から取得する(ステップS107)。なおホバリングカメラ100が撮像した画像の取得は、このようにホバリングカメラ100がベースステーション600に帰還してから取得してもよいが、制御端末200は、ホバリングカメラ100が撮像処理を実行して静止画像を得る度にその静止画像を逐次取得してもよい。
本開示の一実施形態に係る点検システム10は、ホバリングカメラ100及び制御端末200が図5に示したような動作を実行することで、ホバリングカメラ100に送信する飛行情報を、点検対象の構築物(橋梁1)に関する情報に基づいて制御端末200で生成して、飛行情報に基づいて飛行するホバリングカメラ100で飛行情報に基づき画像を撮像し、ホバリングカメラ100が撮像した画像を制御端末200で取得することが出来る。
なお、ホバリングカメラ100が飛行している間、ホバリングカメラ100が撮像する動画像を見て、詳細に撮像したい部分をユーザが見つけたとする。その場合、例えばユーザは制御端末200を操作して、ホバリングカメラ100に対して自動飛行を停止してマニュアル操作に切り替える指示を制御端末200から送出させてもよい。
上述の例では、制御端末200で飛行情報を生成して、生成した飛行情報に基づいてホバリングカメラ100が自動飛行し、撮像処理を実行する処理を示した。しかし、橋梁1の概況図では分からない障害物が飛行経路上に存在することも考えられる。
図11は、本開示の一実施形態にかかる点検システム10におけるホバリングカメラ100の動作を概念的に示す説明図である。図11には、橋桁3の下に樹木4が生えている様子が示されている。この樹木4は、橋梁1の概況図には現れない障害物であり、ホバリングカメラ100の飛行時に初めて存在が明らかになる場合がある。
従って、本実施形態では、制御端末200で生成した飛行情報に基づいてホバリングカメラ100を一度テスト飛行させ、飛行情報に含まれる飛行経路上に障害物がないかどうかを確認するようにしても良い。
制御端末200で生成した飛行情報に基づいてホバリングカメラ100を一度テスト飛行させる際には、ホバリングカメラ100が撮像している動画像を制御端末200でストリーミング受信して、飛行情報に含まれる飛行経路上に障害物がないかどうかを、ユーザがその動画像を見ながら確認するようにしても良く、ホバリングカメラ100のセンサ部130によって障害物を検知させても良い。障害物の詳細な位置は、ホバリングカメラ100の撮像装置101としてステレオカメラを備えておき、ステレオカメラによる撮像で障害物までの距離を把握したり、ホバリングカメラ100の向きによって障害物の方向を特定したりすることで把握することが可能である。なお、ホバリングカメラ100をテスト飛行させている際に、飛行経路上に障害物が存在していれば、ホバリングカメラ100は自動飛行を停止してホバリング状態に移行し、ユーザからの操作を待機してもよく、自動的にベースステーション600に帰還するようにしてもよい。
飛行情報に含まれる飛行経路上に障害物が存在することが分かったら、制御端末200は、障害物の場所を橋梁1の概況図に登録してもよい。障害物の場所はユーザが手入力してもよく、ホバリングカメラ100がセンサ部130によって障害物を検知した場合にはその検知した障害物の場所をホバリングカメラ100から取得して、障害物の場所を橋梁1の概況図に登録してもよい。
図12は、制御端末200の表示部210に表示される画面の一例を示す説明図である。図12に示したのは、ホバリングカメラ100のテスト飛行によって飛行経路上に障害物が存在することが分かった場合の、表示部210に表示される画面の一例である。ホバリングカメラ100のテスト飛行によって飛行経路上に障害物が存在することが分かれば、制御端末200は、障害物の場所を示すマークO1を橋梁1の概況図に重ねて表示させる。
障害物の場所が分かれば、制御端末200は、その障害物の場所を避けるような飛行経路となるように飛行情報を再生成し、ホバリングカメラ100に再生成した飛行情報を送信する。ホバリングカメラ100は、制御端末200が再生成した飛行情報に基づいて飛行することで、障害物(樹木4)を避けて飛行及び撮像処理を行なうことが出来る。
ホバリングカメラ100を飛行させて障害物の場所を把握する方法は係る例に限定されるものではない。例えば、制御端末200が生成した飛行経路の外周を、ホバリングカメラ100に撮像装置101で動画像を撮像させながら単純な経路で飛行させて、橋桁3の下に障害物があるかどうかを確認するようにしてもよい。
[1.5.損傷データの生成例]
ホバリングカメラ100を飛行させて、ホバリングカメラ100に橋梁1を撮像させることで、例えば橋桁3の底面のような作業員が容易に近づけない場所の様子が把握可能となる。ホバリングカメラ100が撮像した静止画像には、例えば、その静止画像を撮像したホバリングカメラ100の位置情報(GPSによる測位や、位置推定ノード500を用いた測位による位置情報が含まれ得る)、撮像時の機体情報(例えばヨー角、ピッチ角、加速度、角速度)、撮像方向の情報が紐付けられる。またホバリングカメラ100が全ての撮像地点で撮像対象面との間の距離を一定に保って撮像することで、画像中の損傷が発生している場所の相対的な位置が分かる。従って、ホバリングカメラ100が撮像した静止画像に、橋桁3の損傷部分が含まれていれば、その損傷部分の絶対的な場所の把握が可能になる。例えば、静止画像の中心を原点として損傷している場所の相対値を算出し、その画像を撮像した際のホバリングカメラ100の位置情報にその相対値を算出することで、損傷部分の位置情報が求められる。なお、損傷部分の位置情報として例えば下記のようなデータを記録することができる。
(1)その静止画像の撮像位置の情報を損傷部分の位置として記録する(相対値(オフセット)を記録しない)。
(2)その静止画像の撮像位置の情報及び損傷部分に対応する相対値(オフセット)を損傷部分の位置として記録する。
(3)基準となる絶対値(例えば後述するように、位置情報の精度が高いと考えられる四隅の静止画像の撮像位置や、位置推定ノード500の座標)及び相対値(オフセット)を損傷部分の位置として記録する。
(4)算出された絶対値(例えば緯度、経度、高度)を損傷部分の位置として記録する。
レンズの焦点距離、イメージセンサのサイズ、撮像対象までの距離等の数値を用いることによって撮像範囲の物理サイズを求める技術が知られている。従って損傷部分の把握の際に、ホバリングカメラ100から撮像対象(例えば橋桁3の裏面や側面)までの距離情報や、撮像装置101の画角情報を用いて、ホバリングカメラ100の撮像範囲の物理サイズが推定されてもよい。撮像画像の中心位置(ホバリングカメラ100が撮像を行った位置)を原点として、その原点からの損傷部分までの物理的な相対位置が推定され、この相対位置に撮像画像の原点の位置座標が足し合わされることで、損傷部分の物理的な位置情報が決定される。なお、これらの距離情報や画角情報は、撮像の際にホバリングカメラ100が有するセンサを介して取得し、画像と関連付けて記録しておいたものを利用してもよいし、予めホバリングカメラ100または撮像装置101に設定された値を用いても良い。また撮像位置情報、距離情報や画角情報以外にも撮像時の機体情報(例えばヨー角、ピッチ角、加速度、角速度)、撮像方向の情報を用いて損傷部分の位置情報を算出してもよい。
ホバリングカメラ100が撮像した静止画像からの損傷部分の検出は、ユーザ自身が目で見て行なっても良いが、画像処理によって例えば情報処理装置300が自動的に行なっても良い。損傷部分の検出を自動化する際には、例えばパターンマッチング処理等の画像処理技術が用いられ得る。
損傷データのデータ構成は、例えば以下のフォーマットで定義される。
(画像ID、損傷ID、損傷部分の位置情報、損傷部分の画像上での座標、損傷種類ID、損傷程度)
損傷種類IDは、例えばヒビ、剥離、漏水、遊離石灰等の損傷の種類にそれぞれ付与されたIDのことをいう。また損傷程度のフィールドには、損傷の最大幅や、画像中の損傷部分の長さ等が記録され得る。ホバリングカメラ100が撮像した静止画像から、ユーザの手入力、または情報処理装置300による自動処理で、本実施形態にかかる点検システム10は、上述したフォーマットに従った損傷データを生成することが出来る。そして、本実施形態にかかる点検システム10が生成した損傷データは、橋梁1に生じた損傷を修復するための工事業者に対する発注処理に用いられ得る。
しかし、ホバリングカメラ100は一度の点検飛行で数多くの静止画像を撮像する。従って、ホバリングカメラ100が点検飛行の際に撮像した静止画像を1枚ずつ確認するのはユーザの負担が大きい。
そこで、ホバリングカメラ100が撮像した静止画像を繋ぎあわせて(スティッチングして)1枚の画像を得る。ホバリングカメラ100が撮像した静止画像をスティッチングすることで、例えば橋桁3の1径間分の底面の様子が1枚の画像として得られることになる。そして、ホバリングカメラ100が撮像した静止画像をスティッチングして得られた橋桁3の1径間分の底面の画像を確認することで、ユーザは橋桁3の底面に損傷があるかどうかを確認することが出来る。なお、静止画像のスティッチング処理は、制御端末200で行われてもよく、情報処理装置300で行われても良い。
図13は、ホバリングカメラ100が撮像した静止画像に基づいて橋桁3の底面を点検する場合の概要を示す説明図である。橋桁3の底面のある一部分(例えば橋桁3の1径間長分)をホバリングカメラ100に撮像させ、ホバリングカメラ100が撮像した静止画像をスティッチングすることで、橋桁3の底面を撮像した1枚の画像20が得られる。なお符号21に示したのは、ホバリングカメラ100の一度の撮像処理で撮像される画像を示している。
ホバリングカメラ100が撮像した静止画像をスティッチングして得られた画像から損傷部分の絶対的な場所を求める際には、スティッチングした画像のうち撮像時の位置情報の精度が相対的に高い位置情報を基準点として選択することができる。基準点としてスティッチングした画像の基になる四隅の静止画像の撮像時の、ホバリングカメラ100の位置情報を用いても良い。スティッチングした画像の基になる四隅の静止画像は一番歪みが少なく、またGPS測位エリアの方が位置情報の誤差が少なくなり、GPS測位エリアとなる、またGPS測位エリアに近い四隅の撮像時の位置情報を基準点として使うのが好ましいと考えられるので、四隅の静止画像に対応するホバリングカメラ100の位置情報から、損傷部分の絶対的な場所を求めることで、その損傷部分の位置を精度よく求めることが可能となる。なお、各位置情報の精度として、例えばGPS位置測位データ中の測位ステータス情報(2D測位中、3D測位中又は測位不能の状態を表す情報や受信衛星数等のデータ)を用いてもよい。
図14は、ホバリングカメラ100が撮像した静止画像をスティッチングして得られた画像20の例を示す説明図である。画像20の基となる四隅の静止画像C1~C4の中心G1~G4が、それぞれの静止画像を撮像した際のホバリングカメラ100の位置に対応する。本実施形態では、この四隅の静止画像C1~C4に対応するホバリングカメラ100の位置情報を用いて、画像20におけるそれぞれの損傷部分の絶対位置を算出する。
スティッチングした画像から損傷データを生成する際には、損傷データのデータ構成は、例えば以下のフォーマットで定義される。すなわち、上述した損傷データから画像IDが削除される。
(損傷ID、損傷部分の位置情報、損傷部分の画像上での座標、損傷種類ID、損傷程度)
なお、スティッチングした画像の画像IDを生成し、スティッチングした画像の画像IDを損傷データに含めても良い。スティッチングした画像から、ユーザの手入力、または情報処理装置300による自動処理で、本実施形態にかかる点検システム10は、上述したフォーマットに従った損傷データを生成することが出来る。
[1.5.1.機能構成例]
図15は、本開示の一実施形態に係る情報処理装置300の機能構成例を示す説明図である。図15に示したのは、ホバリングカメラ100が撮像した静止画像から橋桁3の絶対的な損傷位置を求めて損傷データを生成する機能を有する、本開示の一実施形態に係る情報処理装置300の機能構成例である。以下、図15を用いて本開示の一実施形態に係る情報処理装置300の機能構成例について説明する。
図15に示したように、本開示の一実施形態にかかる情報処理装置300は、表示部310と、通信部320と、制御部330と、記憶部340と、を含んで構成される。
表示部310は、例えば液晶表示装置、有機EL表示装置等の平板表示装置からなる。表示部310は、例えば、ホバリングカメラ100の撮像装置101が撮像した画像や、その撮像装置101が撮像した画像から得られる橋梁1の損傷に関する情報等を表示し得る。
通信部320は、例えば制御端末200との間で無線通信による情報の送受信を行う。情報処理装置300は、ホバリングカメラ100が撮像した画像を、その画像の絶対的な撮像位置の情報と共に、制御端末200から通信部320で受信する。
制御部330は、情報処理装置300の動作を制御する。例えば制御部330は、表示部310への文字、図形、画像その他の情報の表示処理、通信部320を介した他の装置(例えば制御端末200)との間の情報の送受信処理を制御し得る。また制御部330は、撮像位置情報取得部332と、損傷位置算出部334と、画像合成部336と、損傷データ生成部338と、を含んで構成される。
撮像位置情報取得部332は、ホバリングカメラ100が橋梁1を撮像した際にホバリングカメラ100で取得された、その撮像時の撮像位置の情報を取得する。損傷位置算出部334は、ホバリングカメラ100が撮像した画像から橋梁1の損傷部分を、例えばパターンマッチング処理等の画像処理技術を用いて検出し、その損傷部分の絶対的な位置を、撮像位置情報取得部332が取得した撮像位置の情報を用いて算出する。
画像合成部336は、ホバリングカメラ100が撮像した静止画像を繋ぎあわせて1つの画像を生成するスティッチングする画像処理を実行する。画像合成部336は、ホバリングカメラ100が撮像した静止画像をスティッチングする際に、各静止画像の撮像時の撮像位置の情報を用いても良い。
損傷位置算出部334は、損傷位置の算出の際に、画像合成部336でスティッチングした画像の基になる撮像画像における隅の撮像画像(例えば四隅のそれぞれ)の撮像位置の情報を用いてもよい。上述したように、スティッチングした画像の基になる撮像画像における四隅の静止画像は一番歪みが少ないと考えられるので、損傷位置算出部334は、スティッチングした画像の基になる撮像画像における隅の撮像画像の撮像位置の情報を用いることで、より正確な損傷位置を求めることが出来る。
損傷データ生成部338は、損傷位置算出部334が算出した、橋梁1の損傷部分の絶対的な位置を用いて、上述したような損傷データを生成する。損傷データ生成部338は、1枚の静止画像単位で損傷データを生成してもよく、画像合成部336がスティッチングした画像に対して1つの損傷データを生成してもよい。
記憶部340は、各種情報を記憶する。記憶部340に格納される情報には、例えば、ホバリングカメラ100の撮像装置101が撮像した静止画像及びその静止画像を撮像した際のホバリングカメラ100の絶対的な撮像位置の情報、損傷データ生成部338が生成した損傷データの情報が含まれ得る。
本開示の一実施形態に係る情報処理装置300は、図15に示したような構成を有することで、ホバリングカメラ100が撮像した静止画像から損傷データを生成することが可能となり、従って本開示の一実施形態に係る情報処理装置300は、点検対象の構築物である橋梁1の点検結果を効率的に生成することが可能となる。なお上述したように、損傷データは情報処理装置300ではなく、制御端末200が生成してもよい。従って、図15に示した動作は情報処理装置300の制御部330の構成は、制御端末200が有してもよい。また、点検対象の構築物である橋梁1の点検結果は、公の、また私的なデータベースに蓄積し、活用することができる。なお上述したように、損傷データは情報処理装置300ではなく、制御端末200が生成してもよい。従って、図15に示した動作は情報処理装置300の制御部330の構成は、制御端末200が有してもよい。
以上、図15を用いて本開示の一実施形態に係る情報処理装置300の機能構成例について説明した。続いて本開示の一実施形態に係る情報処理装置300の動作例について説明する。
[1.5.2.動作例]
図16は、本開示の一実施形態に係る情報処理装置300の動作例を示す流れ図である。図16に示したのは、ホバリングカメラ100が撮像した静止画像から橋桁3の絶対的な損傷位置を求めて損傷データを生成する際の、本開示の一実施形態に係る情報処理装置300の動作例である。以下、図16を用いて本開示の一実施形態に係る情報処理装置300の動作例について説明する。
情報処理装置300は、まずホバリングカメラ100が橋梁1の周縁を飛行しつつ撮像した、撮像位置の情報が紐付いた画像を取得する(ステップS301)。ステップS301で撮像位置の情報が紐付いた画像を取得すると、続いて情報処理装置300は、その画像から損傷部分を、例えばパターンマッチング処理等の画像処理技術を用いて検出する(ステップS302)。ステップS302の損傷部分の検出処理は、例えば損傷位置算出部334が実行し得る。
上記ステップS302で画像から損傷部分を検出すると、続いて情報処理装置300は、その損傷部分の絶対的な位置の算出を行なう(ステップS303)。ステップS303の算出処理は、例えば損傷位置算出部334が実行し得る。情報処理装置300は、ステップS303での損傷部分の絶対的な位置の算出を、ホバリングカメラ100が撮像した静止画像の撮像位置の情報に基づいて行なう。情報処理装置300は、損傷部分の絶対的な位置の算出の際に、ホバリングカメラ100から撮像対象(例えば橋桁3の裏面や側面)までの距離情報や、撮像装置101の画角情報によって、ホバリングカメラ100の撮像範囲の物理サイズが推定されてもよい。撮像画像の中心からの損傷部分までの物理的な相対位置を推定し、この相対位置に撮像画像の原点としての位置座標を足し合わせることで、情報処理装置300は、損傷部分の物理的な位置情報を決めることができる。そして情報処理装置300は、損傷部分の絶対的な位置を含んだ損傷データの生成を行なう(ステップS304)。ステップS304の損傷データの生成処理は、例えば損傷データ生成部338が実行し得る。
本開示の一実施形態に係る情報処理装置300は、図16に示したような動作を実行することで、ホバリングカメラ100が撮像した静止画像から損傷データを生成することが可能となり、従って本開示の一実施形態に係る情報処理装置300は、点検対象の構築物である橋梁1の点検結果を効率的に生成することが可能となる。なお上述したように、損傷データは情報処理装置300ではなく、制御端末200が生成してもよい。従って、図16に示した動作は制御端末200が実行してもよい。
図17は、本開示の一実施形態に係る制御端末200の動作例を示す流れ図である。図17に示したのは、情報処理装置300が生成した損傷データを用いた、制御端末200による飛行情報の生成処理の一例である。以下、図17を用いて本開示の一実施形態に係る制御端末200の動作例について説明する。
ホバリングカメラ100が撮像した静止画像を制御端末200が表示し、その静止画像上で損傷の場所がユーザによって指定されると(ステップS311)、制御端末200は、その指定された場所の損傷位置を、情報処理装置300が生成した損傷データから取得する(ステップS312)。損傷場所の指定方法は問わないが、例えば静止画像を表示し、制御端末200のタッチパネルを指などで触らせることで損傷場所をユーザに指定させてもよい。
ユーザに指定された場所の損傷位置を損傷データから取得すると、続いて制御端末200は、損傷データから取得した損傷位置へホバリングカメラ100を飛行させて、損傷位置を撮像させる飛行情報を生成する(ステップS313)。ステップS313の処理は、例えば飛行情報生成部232が実行する。制御端末200がこのステップS313で生成する飛行情報は、損傷位置を詳細に確認するためであるので、上述の図5の説明で述べた制御端末200が生成する飛行情報に比べ、撮像位置の間隔を狭めたり、各撮像位置で前述の特殊な撮像を実行したりするようにホバリングカメラ100へ指示するものであってもよい。特殊な撮像を行う場合は、前述のように飛行情報は特殊な撮像を制御する情報を含む。
上記ステップS313で飛行情報を生成すると、図5のステップS104、S105で示したように、制御端末200は生成した飛行情報をホバリングカメラ100に送信し、ホバリングカメラ100は飛行情報に基づいて飛行および撮像処理を実行する。そして図5のステップS106、S107で示したように、ホバリングカメラ100は、最後の撮像地点での撮像処理を完了すると、自動的にベースステーション600まで飛行して、ベースステーション600に帰還し、制御端末200は、ホバリングカメラ100が撮像した画像をホバリングカメラ100から取得する。
本開示の一実施形態に係る制御端末200は、図17に示したような動作を実行することで、情報処理装置300が生成した損傷データを用いて、橋桁3の損傷部分をホバリングカメラ100に詳細に撮像させるための飛行情報を生成することが出来る。
<2.まとめ>
以上説明したように本開示の一実施形態によれば、設定された飛行情報に基づいて自動飛行し、点検対象の構築物を撮像するホバリングカメラ100、及びホバリングカメラ100に撮像させた静止画像に基づいて構築物の損傷状態を確認可能な点検システム10が提供される。
本開示の一実施形態に係る点検システム10は、ホバリングカメラ100に送信する飛行情報を制御端末200で生成する際に、点検対象の構築物に関する情報を用いる。点検対象の構築物に関する情報を用いることで、制御端末200は、ホバリングカメラ100を飛行させて点検対象の構築物を効率よく点検するための飛行情報を生成することが出来る。
なお、上記実施形態では、ホバリングカメラ100が撮像する画像は静止画像であり、その静止画像を用いて橋梁1の損傷状態を点検する場合の点検システム10の例を示したが、本開示は係る例に限定されるものではない。ホバリングカメラ100は、飛行しながら橋梁1を動画像として撮像してもよく、情報処理装置300は、そのホバリングカメラ100が撮像した動画像を用いて損傷データを生成してもよい。ホバリングカメラ100は、動画像の撮像処理の実行時に定期的に位置情報を取得し、動画像の撮像時刻と、位置情報の取得時刻とを紐付けることで、情報処理装置300は、動画像を用いた損傷データの生成が可能になる。
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、各装置に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの一部又は全部は、たとえばインターネット等のネットワークを介して接続されるサーバ装置で実現されてもよい。また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの構成は、単独の装置で実現されてもよく、複数の装置が連携するシステムで実現されても良い。複数の装置が連携するシステムには、例えば複数のサーバ装置の組み合わせ、サーバ装置と端末装置との組み合わせ等が含まれ得る。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
所定の飛行情報に基づいて構築物の周縁を飛行して該構築物を撮像する撮像装置で取得された、該構築物を撮像した時の撮像位置情報を取得する撮像位置情報取得部と、
前記撮像装置が撮像した前記構築物の撮像画像及び該撮像位置情報を用いて、前記撮像画像に含まれる前記構築物の損傷の位置情報を含む前記構築物の損傷に関するデータを生成する損傷データ生成部と、
を備える、情報処理装置。
(2)
前記撮像画像に含まれる前記構築物の損傷の位置を算出する損傷位置算出部をさらに備える、前記(1)に記載の情報処理装置。
(3)
複数の前記撮像画像を繋ぎあわせた合成画像を生成する画像合成部をさらに備え、
前記損傷位置算出部は、前記画像合成部で生成される基となる撮像画像の内、位置精度が相対的に高い撮像位置の情報が関連付けられた撮像画像の撮像位置の情報を用いて、前記撮像画像に写っている前記構築物の損傷の位置を算出する、前記(2)に記載の情報処理装置。
(4)
前記損傷位置算出部は、前記位置精度が相対的に高い撮像位置として、前記合成画像の隅の部分に対応する撮像画像の撮像位置の情報を用いて、前記撮像画像に写っている前記構築物の損傷の位置を算出する、前記(3)に記載の情報処理装置。
(5)
前記損傷データ生成部は、前記損傷位置算出部が算出した前記構築物の損傷の位置を用いて前記構築物の損傷に関するデータを生成する、前記(2)~(4)のいずれかに記載の情報処理装置。
(6)
前記損傷位置算出部は、前記撮像画像に写っている前記構築物の絶対的な損傷の位置を算出する、前記(2)~(5)のいずれかに記載の情報処理装置。
(7)
前記損傷データ生成部が生成したデータを用いて該データに対応する損傷の位置を前記撮像装置に撮像させる飛行情報を生成する飛行情報生成部をさらに備える、前記(1)~(6)のいずれかに記載の情報処理装置。
(8)
所定の飛行情報に基づいて構築物の周縁を飛行して該構築物を撮像する撮像装置から、該構築物の撮像時の撮像位置の情報を取得することと、
前記撮像装置が撮像した前記構築物の撮像画像及び該撮像画像の撮像位置の情報を用いて、前記撮像画像に写っている前記構築物の損傷の位置情報を含む前記構築物の損傷に関するデータを生成することと、
を含む、情報処理方法。
(9)
コンピュータに、
所定の飛行情報に基づいて構築物の周縁を飛行して該構築物を撮像する撮像装置から、該構築物の撮像時の撮像位置の情報を取得することと、
前記撮像装置が撮像した前記構築物の撮像画像及び該撮像画像の撮像位置の情報を用いて、前記撮像画像に写っている前記構築物の損傷の位置情報を含む前記構築物の損傷に関するデータを生成することと、
を実行させる、コンピュータプログラム。
10 点検システム
100 ホバリングカメラ
101 撮像装置
104a~104d ロータ
108a~108d モータ
110 制御部
120 通信部
130 センサ部
132 位置情報取得部
140 記憶部
150 バッテリ
200 制御端末
300 情報処理装置
400 無線中継ノード
500 位置推定ノード
600 ベースステーション
700 充電ステーション

Claims (8)

  1. コンピュータが実行する飛行情報制御方法であって、
    撮像対象に関する情報を基に、撮像対象物の概況図を表示部に表示し、
    撮像対象に関する情報を基にした撮像対象物の対象領域を特定し、
    飛行情報に基づいて飛行して撮影を行う飛行撮像装置が、前記対象領域を撮影するための前記対象領域を撮像する飛行経路を含む前記飛行情報を生成し、
    前記生成は、前記表示部に表示された前記撮像対象物の対象領域の特定に応じて、前記飛行撮像装置が前記対象領域を撮影するための前記対象領域を撮像する飛行経路を含む前記飛行情報を生成し、
    前記表示は、前記飛行経路を前記概況図に重ねて表示する
    飛行情報制御方法。
  2. 前記表示は、前記撮像対象物の対象領域をユーザが特定可能に表示し、
    前記生成は、ユーザからの対象領域の特定に応じて、前記飛行撮像装置が前記対象領域を撮影するための前記対象領域を撮像する飛行経路を含む前記飛行情報を生成する、
    請求項1に記載の飛行情報制御方法。
  3. 前記表示は、前記飛行経路を示す線前記概況図に重ねて表示する
    請求項1に記載の飛行情報制御方法。
  4. 前記生成は、前記対象領域を撮像する飛行経路が一度の飛行では飛行できない場合、飛行経路を分割し、分割した複数の飛行経路を含む前記飛行情報を生成し、
    前記表示は、分割した複数の飛行経路に前記概況図に重ねて表示する
    請求項1に記載の飛行情報制御方法。
  5. 前記生成は、前記飛行情報を生成する際に、前記対象領域を異なる経路で撮影するための複数の飛行経路を生成し、前記複数の飛行経路のうち選択された飛行経路を含む前記飛行情報を生成し、
    前記表示は、前記複数の飛行経路を前記概況図に重ねて選択可能に表示する
    請求項1に記載の飛行情報制御方法。
  6. 前記生成は、前記飛行撮像装置が前記対象領域を、当該対象領域に沿って一方方向に等間隔で前記一方方向に対する交差方向に往復移動させて前記対象領域を撮像する飛行経路を含む前記飛行情報を生成する
    請求項1に記載の飛行情報制御方法。
  7. 撮像対象に関する情報を基に、撮像対象物の概況図を表示する表示部と、
    撮像対象に関する情報を基にした撮像対象物の対象領域を特定する対象領域特定部と、
    飛行情報に基づいて飛行して撮影を行う飛行撮像装置が、前記対象領域を撮影するための前記対象領域を撮像する飛行経路を含む前記飛行情報を生成する生成部と、
    を有し、
    前記生成部は、前記表示部に表示された前記撮像対象物の対象領域の特定に応じて、前記飛行撮像装置が前記対象領域を撮影するための前記対象領域を撮像する飛行経路を含む前記飛行情報を生成し、
    前記表示部は、前記飛行経路を前記概況図に重ねて表示する
    制御装置
  8. コンピュータに、
    撮像対象に関する情報を基に、撮像対象物の概況図を表示部に表示し、
    撮像対象に関する情報を基にした撮像対象物の対象領域を特定し、
    飛行情報に基づいて飛行して撮影を行う飛行撮像装置が、前記対象領域を撮影するための前記対象領域を撮像する飛行経路を含む前記飛行情報を生成する
    処理を実行させ、
    前記生成する処理は、前記表示部に表示された前記撮像対象物の対象領域の特定に応じて、前記飛行撮像装置が前記対象領域を撮影するための前記対象領域を撮像する飛行経路を含む前記飛行情報を生成し、
    前記表示する処理は、前記飛行経路を前記概況図に重ねて表示する
    コンピュータプログラム。
JP2023110153A 2014-04-25 2023-07-04 飛行情報制御方法、制御装置及びコンピュータプログラム Active JP7452743B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024032902A JP2024063175A (ja) 2014-04-25 2024-03-05 飛行情報制御方法、制御装置及びコンピュータプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014091273 2014-04-25
JP2014091273 2014-04-25
JP2021004839A JP7070725B2 (ja) 2014-04-25 2021-01-15 飛行情報生成方法、情報処理装置及びコンピュータプログラム
JP2022076189A JP7310972B2 (ja) 2014-04-25 2022-05-02 飛行情報制御方法、情報処理装置及びコンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022076189A Division JP7310972B2 (ja) 2014-04-25 2022-05-02 飛行情報制御方法、情報処理装置及びコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024032902A Division JP2024063175A (ja) 2014-04-25 2024-03-05 飛行情報制御方法、制御装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2023130439A JP2023130439A (ja) 2023-09-20
JP7452743B2 true JP7452743B2 (ja) 2024-03-19

Family

ID=54332275

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2016514840A Active JP6555255B2 (ja) 2014-04-25 2015-04-02 情報処理装置、情報処理方法及びコンピュータプログラム
JP2019124246A Active JP6828774B2 (ja) 2014-04-25 2019-07-03 情報処理装置、情報処理方法及びコンピュータプログラム
JP2021004839A Active JP7070725B2 (ja) 2014-04-25 2021-01-15 飛行情報生成方法、情報処理装置及びコンピュータプログラム
JP2022076189A Active JP7310972B2 (ja) 2014-04-25 2022-05-02 飛行情報制御方法、情報処理装置及びコンピュータプログラム
JP2023110153A Active JP7452743B2 (ja) 2014-04-25 2023-07-04 飛行情報制御方法、制御装置及びコンピュータプログラム
JP2024032902A Pending JP2024063175A (ja) 2014-04-25 2024-03-05 飛行情報制御方法、制御装置及びコンピュータプログラム

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2016514840A Active JP6555255B2 (ja) 2014-04-25 2015-04-02 情報処理装置、情報処理方法及びコンピュータプログラム
JP2019124246A Active JP6828774B2 (ja) 2014-04-25 2019-07-03 情報処理装置、情報処理方法及びコンピュータプログラム
JP2021004839A Active JP7070725B2 (ja) 2014-04-25 2021-01-15 飛行情報生成方法、情報処理装置及びコンピュータプログラム
JP2022076189A Active JP7310972B2 (ja) 2014-04-25 2022-05-02 飛行情報制御方法、情報処理装置及びコンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024032902A Pending JP2024063175A (ja) 2014-04-25 2024-03-05 飛行情報制御方法、制御装置及びコンピュータプログラム

Country Status (5)

Country Link
US (3) US11250585B2 (ja)
EP (2) EP3098562B1 (ja)
JP (6) JP6555255B2 (ja)
CN (2) CN110954545B (ja)
WO (1) WO2015163107A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6555255B2 (ja) * 2014-04-25 2019-08-07 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP6549727B2 (ja) * 2015-12-08 2019-07-24 住友重機械工業株式会社 ショベルの通信システム、マルチコプタ、及びショベル
JP6039050B1 (ja) * 2015-12-25 2016-12-07 俊雄 小泉 無人機を用いた構造物等の検査方法
JP6576474B2 (ja) * 2016-01-26 2019-09-18 富士フイルム株式会社 撮影支援装置及び撮影支援方法
JP6626970B2 (ja) * 2016-06-14 2019-12-25 富士フイルム株式会社 サーバ装置、画像処理システム及び画像処理方法
WO2017217470A1 (ja) * 2016-06-16 2017-12-21 日本電気株式会社 点検システム、移動ロボット装置及び点検方法
WO2018061176A1 (ja) * 2016-09-30 2018-04-05 株式会社オプティム ドローン制御システム、ドローン制御方法及びプログラム
WO2018070354A1 (ja) * 2016-10-14 2018-04-19 富士フイルム株式会社 撮影計画生成装置、撮影計画生成方法、およびプログラム
JP6833452B2 (ja) * 2016-10-28 2021-02-24 株式会社東芝 巡視点検システム、情報処理装置、巡視点検制御プログラム
CN108628337A (zh) * 2017-03-21 2018-10-09 株式会社东芝 路径生成装置、路径控制系统以及路径生成方法
CN110537365B (zh) 2017-04-28 2022-09-02 索尼公司 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
CN107193286B (zh) * 2017-06-02 2020-12-08 同济大学 桥梁实景数字化采集方法
JP7025157B2 (ja) * 2017-09-19 2022-02-24 株式会社トプコン 撮影方法および撮影用プログラム
US20200364954A1 (en) * 2017-09-28 2020-11-19 Optim Corporation Maintenance device control system, maintenance device control method, and program
US11361463B2 (en) 2017-09-28 2022-06-14 Optim Corporation Position estimation system and method, and non-transitory storage medium
JP2019196980A (ja) * 2018-05-09 2019-11-14 株式会社センシンロボティクス 検査システム
JP6996712B2 (ja) * 2018-05-14 2022-01-17 株式会社末広システム ドローンの自動運転・自動制御・自動対処システム
CN108846325A (zh) * 2018-05-28 2018-11-20 广州极飞科技有限公司 目标区域作业的规划方法、装置、存储介质及处理器
JP7170234B2 (ja) * 2018-06-28 2022-11-14 パナソニックIpマネジメント株式会社 検査装置及び検査方法
JP7352908B2 (ja) * 2019-12-11 2023-09-29 株式会社Acsl 無人航空機の推定位置を修正するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体
JP7366741B2 (ja) * 2019-12-27 2023-10-23 株式会社クボタ 圃場の水管理装置
JP6975818B2 (ja) * 2020-03-31 2021-12-01 西日本電信電話株式会社 位置情報取得システム、位置情報取得方法及びプログラム
JP6961776B1 (ja) * 2020-09-25 2021-11-05 康一 高橋 検査方法
JP7117645B2 (ja) * 2020-10-19 2022-08-15 パナソニックIpマネジメント株式会社 監視装置、監視システム、監視方法、及び、コンピュータプログラム
CN116240826B (zh) * 2023-05-06 2023-07-14 四川省公路规划勘察设计研究院有限公司 一种复位顶推系统及其纠偏方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002211494A (ja) 2001-01-17 2002-07-31 Todaka Seisakusho:Kk 無人ヘリコプタ用飛行計画装置
JP2006027448A (ja) 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165641A (ja) * 1998-11-24 2000-06-16 Matsushita Electric Ind Co Ltd 画像処理方法,画像処理装置およびデータ記憶媒体
JP4475632B2 (ja) 2004-03-19 2010-06-09 中国電力株式会社 無人飛行体を用いた送電線点検システム
JP4363642B2 (ja) * 2004-07-02 2009-11-11 富士フイルム株式会社 地図表示システム及びデジタルカメラ
JP4463099B2 (ja) 2004-12-28 2010-05-12 株式会社エヌ・ティ・ティ・データ モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法
US7693617B2 (en) * 2006-09-19 2010-04-06 The Boeing Company Aircraft precision approach control
JP4065893B1 (ja) * 2006-12-04 2008-03-26 東京エレクトロン株式会社 欠陥検出装置、欠陥検出方法、情報処理装置、情報処理方法及びそのプログラム
JP2008304260A (ja) 2007-06-06 2008-12-18 Mitsubishi Electric Corp 画像処理装置
IL188825A0 (en) * 2008-01-16 2008-11-03 Orbotech Ltd Inspection of a substrate using multiple cameras
US8060270B2 (en) * 2008-02-29 2011-11-15 The Boeing Company System and method for inspection of structures and objects by swarm of remote unmanned vehicles
US8543265B2 (en) 2008-10-20 2013-09-24 Honeywell International Inc. Systems and methods for unmanned aerial vehicle navigation
US20100286859A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Methods for generating a flight plan for an unmanned aerial vehicle based on a predicted camera path
US20100215212A1 (en) * 2009-02-26 2010-08-26 Honeywell International Inc. System and Method for the Inspection of Structures
US8345921B1 (en) * 2009-03-10 2013-01-01 Google Inc. Object detection with false positive filtering
CN201673126U (zh) * 2010-05-27 2010-12-15 长安大学 一种高楼墙面裂缝检测装置
US20130176424A1 (en) * 2010-09-29 2013-07-11 Entech Engineering, Inc. Complete remote sensing bridge investigation system
KR101688155B1 (ko) * 2010-10-25 2016-12-20 엘지전자 주식회사 이동 단말기의 정보 처리 장치 및 그 방법
WO2012115594A1 (en) * 2011-02-21 2012-08-30 Stratech Systems Limited A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield
US9758239B2 (en) * 2011-04-14 2017-09-12 Hexagon Technology Center Gmbh System and method for controlling an unmanned air vehicle
JP2012228919A (ja) * 2011-04-25 2012-11-22 Shinpo Sukeyuki 水上無人観察装置
DE102011017564B4 (de) * 2011-04-26 2017-02-16 Airbus Defence and Space GmbH Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler
JP2013192354A (ja) 2012-03-13 2013-09-26 Namiki Precision Jewel Co Ltd リニアアクチュエータ
US8965679B2 (en) * 2012-06-11 2015-02-24 Honeywell International Inc. Systems and methods for unmanned aircraft system collision avoidance
WO2014026091A2 (en) * 2012-08-10 2014-02-13 General Electric Company Route examining system and method
US20140268105A1 (en) * 2013-03-15 2014-09-18 Zygo Corporation Optical defect inspection system
CN203299134U (zh) * 2013-05-06 2013-11-20 中国计量学院 基于四轴飞行器的风力发电机叶片表面裂纹检测装置
JP2015058758A (ja) * 2013-09-17 2015-03-30 一般財団法人中部電気保安協会 構造物点検システム
CN103529049A (zh) 2013-10-11 2014-01-22 上海电机学院 移动式风力发电机组叶片损伤实时检测装置
AU2015204838B2 (en) * 2014-01-10 2020-01-02 Pictometry International Corp. Unmanned aircraft structure evaluation system and method
JP6555255B2 (ja) 2014-04-25 2019-08-07 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002211494A (ja) 2001-01-17 2002-07-31 Todaka Seisakusho:Kk 無人ヘリコプタ用飛行計画装置
JP2006027448A (ja) 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置

Also Published As

Publication number Publication date
US11250585B2 (en) 2022-02-15
EP3537104B1 (en) 2021-06-02
EP3098562B1 (en) 2019-06-05
CN106062510A (zh) 2016-10-26
CN106062510B (zh) 2021-08-03
EP3098562A4 (en) 2017-08-30
JP2021073574A (ja) 2021-05-13
JP2022106904A (ja) 2022-07-20
US11657534B2 (en) 2023-05-23
US20170169582A1 (en) 2017-06-15
EP3537104A1 (en) 2019-09-11
JP2024063175A (ja) 2024-05-10
JP2019194903A (ja) 2019-11-07
JP2023130439A (ja) 2023-09-20
US20230298202A1 (en) 2023-09-21
CN110954545B (zh) 2023-01-13
CN110954545A (zh) 2020-04-03
US20220122288A1 (en) 2022-04-21
JP6828774B2 (ja) 2021-02-10
JP7070725B2 (ja) 2022-05-18
WO2015163107A1 (ja) 2015-10-29
JP7310972B2 (ja) 2023-07-19
JPWO2015163107A1 (ja) 2017-04-13
EP3098562A1 (en) 2016-11-30
JP6555255B2 (ja) 2019-08-07

Similar Documents

Publication Publication Date Title
JP7452743B2 (ja) 飛行情報制御方法、制御装置及びコンピュータプログラム
JP7078093B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6387782B2 (ja) 制御装置、制御方法及びコンピュータプログラム
JP2024020389A (ja) 制御方法、制御装置及びプログラム
JP2018174002A (ja) 移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240219

R151 Written notification of patent or utility model registration

Ref document number: 7452743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151