JP6960643B1 - 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 - Google Patents
点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 Download PDFInfo
- Publication number
- JP6960643B1 JP6960643B1 JP2020159202A JP2020159202A JP6960643B1 JP 6960643 B1 JP6960643 B1 JP 6960643B1 JP 2020159202 A JP2020159202 A JP 2020159202A JP 2020159202 A JP2020159202 A JP 2020159202A JP 6960643 B1 JP6960643 B1 JP 6960643B1
- Authority
- JP
- Japan
- Prior art keywords
- crack
- cracks
- learning model
- specialized
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Revetment (AREA)
- Image Analysis (AREA)
Abstract
【課題】本発明は、コンクリート護岸の点検に適した無人飛行体による点検システム及び管理サーバを提供すること。【解決手段】本発明は、コンクリート護岸に出現する複数種のヒビ割れを特定可能な第１のヒビ割れ学習モデルと、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデルを適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、を備える点検システムを提供する。【選択図】図９
Description
本発明は、飛行体によるコンクリート護岸の点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法に関する。
近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「無人飛行体」と総称する）が産業に利用され始めている。こうした中で、特許文献１には、飛行体が予め設定された複数のウェイポイントにおいて撮影対象を順次撮影するシステムが開示されている。
ここで、従来の点検、特にコンクリート護岸の点検においては、船舶に搭乗した人員が人手により撮影等行っており、特に浮遊物回収ネットや橋等の障害が存在する部分では多大な工数や負荷がかかっていた。このようなコンクリート護岸の点検を無人飛行体で行うシステムが構築できれば大変有用である。
しかしながら、コンクリート護岸特有の立地等の要因に対応するための点検システムは、現状において十分に構築されているとはいえない。
本発明はこのような背景を鑑みてなされたものであり、特に、コンクリート護岸の点検に適した無人飛行体による点検システム及び管理サーバを提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第１のヒビ割れ学習モデルと、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデルを適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、を備える点検システム、である。
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第１のヒビ割れ学習モデルと、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデルを適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、を備える点検システム、である。
本発明によれば、特に、コンクリート護岸の点検に適した無人飛行体による点検システム及び管理サーバを提供することができる。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による点検システム及び管理サーバは、以下のような構成を備える。
［項目１］
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第１のヒビ割れ学習モデルと、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデルを適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
を備える点検システム。
［項目２］
前記特化ヒビ割れ学習モデルは、
滲出物により被覆されたヒビ割れに関する複数の第１のヒビ割れ画像に基づき機械学習した第２の学習モデルと、
風浪による表面劣化により発生したヒビ割れに関する複数の第２のヒビ割れ画像に基づき機械学習した第３の学習モデルと、
のうち少なくとも何れか一方である、
ことを特徴とする請求項１に記載の点検システム。
［項目３］
前記第１のヒビ割れ情報及び特化ヒビ割れ情報は、それぞれ異なるヒビ割れ画像であり、
前記検出結果出力部は、前記異なるヒビ割れ画像を重ね合わせて出力する、
ことを特徴とする請求項１または２に記載の点検システム。
［項目４］
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第１のヒビ割れ学習モデルと、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデルを適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
を備える管理サーバ。
［項目５］
管理サーバ用プログラムにおいて、
前記管理サーバを、
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第１のヒビ割れ学習モデルと、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデルを適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
して機能させることを特徴とする管理サーバ用プログラム。
［項目６］
無人飛行体により撮影されたコンクリート護岸の撮影画像に第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に特化学習モデルを適用して得られる特化ヒビ割れ情報を含む検出結果情報を管理サーバより提供する検出結果情報提供方法であって、
前記第１のヒビ割れ学習モデルは、コンクリート護岸に出現する複数種のヒビ割れを特定可能な学習モデルであり、
前記特化学習モデルは、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な学習モデルである、
ことを特徴とするヒビ割れ情報提供方法。
［項目１］
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第１のヒビ割れ学習モデルと、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデルを適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
を備える点検システム。
［項目２］
前記特化ヒビ割れ学習モデルは、
滲出物により被覆されたヒビ割れに関する複数の第１のヒビ割れ画像に基づき機械学習した第２の学習モデルと、
風浪による表面劣化により発生したヒビ割れに関する複数の第２のヒビ割れ画像に基づき機械学習した第３の学習モデルと、
のうち少なくとも何れか一方である、
ことを特徴とする請求項１に記載の点検システム。
［項目３］
前記第１のヒビ割れ情報及び特化ヒビ割れ情報は、それぞれ異なるヒビ割れ画像であり、
前記検出結果出力部は、前記異なるヒビ割れ画像を重ね合わせて出力する、
ことを特徴とする請求項１または２に記載の点検システム。
［項目４］
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第１のヒビ割れ学習モデルと、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデルを適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
を備える管理サーバ。
［項目５］
管理サーバ用プログラムにおいて、
前記管理サーバを、
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第１のヒビ割れ学習モデルと、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化ヒビ割れ学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデルを適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第1のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
して機能させることを特徴とする管理サーバ用プログラム。
［項目６］
無人飛行体により撮影されたコンクリート護岸の撮影画像に第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に特化学習モデルを適用して得られる特化ヒビ割れ情報を含む検出結果情報を管理サーバより提供する検出結果情報提供方法であって、
前記第１のヒビ割れ学習モデルは、コンクリート護岸に出現する複数種のヒビ割れを特定可能な学習モデルであり、
前記特化学習モデルは、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な学習モデルである、
ことを特徴とするヒビ割れ情報提供方法。
＜実施の形態の詳細＞
以下、本発明の実施の形態による無人飛行体による点検システム及び当該点検システムを実施するための管理サーバについての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
以下、本発明の実施の形態による無人飛行体による点検システム及び当該点検システムを実施するための管理サーバについての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
＜全体構成＞
図１に示されるように、本実施の形態における点検システムは、ユーザが事前に設定した飛行経路を飛行する無人飛行体４によりコンクリート護岸を撮影し、当該撮影した画像を基に、コンクリート護岸のヒビ割れを検出するものである。
図１に示されるように、本実施の形態における点検システムは、ユーザが事前に設定した飛行経路を飛行する無人飛行体４によりコンクリート護岸を撮影し、当該撮影した画像を基に、コンクリート護岸のヒビ割れを検出するものである。
従来は図１に示されるような水面（例えば、湾などの海等）に船舶を浮かべ、搭乗した人員でコンクリート護岸のヒビ割れの状態を人手で確認していたが、本点検システムにおいては、上述のとおり無人飛行体４により撮影した撮影画像を用いてヒビ割れの確認を行う。特に、鋭意検討の結果、このような環境下におけるヒビ割れにおいて、通常の機械学習によるヒビ割れ検知が難しいヒビ割れの種類が特定できたので、該当する特定種についてのみ学習した特化学習モデルを用いることで正確なヒビ割れ発生の確認が可能である。
＜システム構成＞
図２に示されるように、本実施の形態における点検システムは、管理サーバ１と、ユーザ端末２と、無人飛行体４とを有している。管理サーバ１と、ユーザ端末２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らない。
図２に示されるように、本実施の形態における点検システムは、管理サーバ１と、ユーザ端末２と、無人飛行体４とを有している。管理サーバ１と、ユーザ端末２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らない。
＜管理サーバ１＞
図３は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
図３は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
図示されるように、管理サーバ１は、ユーザ端末２と、無人飛行体４と接続され本システムの一部を構成する。管理サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
管理サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
プロセッサ１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。また、後述の記憶部１３０が記憶領域の一部に設けられていてもよい。
送受信部１３は、管理サーバ１をネットワークＮＷに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。
入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
＜ユーザ端末２＞
図４に示されるユーザ端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
図４に示されるユーザ端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
＜無人飛行体４＞
図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。
メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくとも管理サーバ１やユーザ端末２のいずれか１つに記録されてもよい。カメラ４２は無人飛行体４にジンバル４３を介して設置される。
フライトコントローラ４１は、無人飛行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する無人飛行体４の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して無人飛行体４の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで無人飛行体４の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。
フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。
送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。
本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。
＜管理サーバの機能＞
図６は、管理サーバ１に実装される機能を例示したブロック図である。本実施の形態においては、管理サーバ１は、通信部１１０、飛行経路生成部１２０、記憶部１３０、特化ヒビ割れ学習部１４０、第１のヒビ割れ学習部１５０、ヒビ割れ情報出力部１６０、検出結果出力部１７０を備えている。また、記憶部１３０は、パラメータ情報記憶部１３２、フライトログ記憶部１３４の各種データベースを含む。
図６は、管理サーバ１に実装される機能を例示したブロック図である。本実施の形態においては、管理サーバ１は、通信部１１０、飛行経路生成部１２０、記憶部１３０、特化ヒビ割れ学習部１４０、第１のヒビ割れ学習部１５０、ヒビ割れ情報出力部１６０、検出結果出力部１７０を備えている。また、記憶部１３０は、パラメータ情報記憶部１３２、フライトログ記憶部１３４の各種データベースを含む。
通信部１１０は、ユーザ端末２や無人飛行体４と通信を行う。通信部１１０は、ユーザ端末２から、フライト依頼を受け付ける受付部としても機能する。
飛行経路生成部１２０は、パラメータ情報記憶部１３２のパラメータ情報（例えば、ウェイポイントの位置（緯度経度や高度）、飛行速度、最低飛行高度、ウェイポイントの配置間隔、撮影角度、撮影画角、撮像画像のオーバーラップ率など）を参照して新規の飛行経路が自動的に生成されてもよいし、一部またはすべてのウェイポイントに関する情報を手動で設定して飛行経路を生成するようにしてもよい。
特化ヒビ割れ学習部１４０は、特定種のヒビ割れに関するヒビ割れ画像を教師データとして機械学習し、学習モデルを生成する。ここでいう特定種のヒビ割れとは、例えば滲出物（コンクリート等）により被覆されたヒビ割れ（以下、「滲出物ヒビ割れ」という。）、および／または、風浪による表面劣化により発生したヒビ割れ（以下、「風浪ヒビ割れ」という。）である。そして、例えば、滲出物ヒビ割れに関する複数の第２のヒビ割れ画像を教師データとして機械学習し、滲出物ヒビ割れに特化した第２のヒビ割れ学習モデルを生成したり、風浪ヒビ割れに関する複数の第３のヒビ割れ画像を教師データとして機械学習し、風浪ヒビ割れに特化した第３のヒビ割れ学習モデルを生成し、各ヒビ割れ学習モデルを特化ヒビ割れ学習モデル記憶部１３８に記憶する。なお、第２のヒビ割れ学習モデルや第３のヒビ割れ学習モデルといった特化ヒビ割れ学習モデルは、管理サーバ１内の特化ヒビ割れ学習部１４０に限らず、管理サーバ１外部で作成されたものであってもよく、外部から特化ヒビ割れ学習モデル記憶部１３８に記憶されてもよい。
ここで、コンクリート護岸のヒビ割れ特有の検知率の課題について、例えば、図７に例示されるヒビ割れＡ−Ｅのような画像に対してヒビ割れ検出を行う場合を例に説明する。特にヒビ割れＤは滲出物により被覆されたヒビ割れであり、ヒビ割れＥは風浪による表面劣化により発生したヒビ割れである。ヒビ割れＡ−Ｃの種類についてはここで言及しないが、ヒビ割れＤ、Ｅとは異なる種類のヒビ割れであって、後述する第１のヒビ割れ学習モデルにより高精度に検出可能な一般的なヒビ割れである。
図８に示されるように、ヒビ割れの種類を特に限定しない複数のヒビ割れ画像を教師データとして機械学習を行ったところ、ヒビ割れＡ−Ｃに関しては追加学習を行うことで検知率が向上しているが、ヒビ割れＤ、Ｅに関しては追加学習を行っても検知率が十分に向上しなかった。
そこで、ヒビ割れＤ及びヒビ割れＥに対応するヒビ割れ画像をそれぞれ教師データとして学習させた学習モデルをそれぞれ生成したところ、図９に例示されるように、非特化ヒビ割れ学習部１５０により生成された第１のヒビ割れ学習モデル（後述）を用いた検出結果１だけでは精度よく確認できなかったヒビ割れＤ（検出結果２）やヒビ割れＥ（検出結果３）が確認することができるようになった。
第１のヒビ割れ学習部１５０は、コンクリート護岸における複数の第１のヒビ割れ画像を教師データとして機械学習し、第１のヒビ割れ学習モデルを生成する。第１のヒビ割れ画像は、特に限定されず、例えばヒビ割れの種類を限定しないヒビ割れ画像であってもよいが、上述の第２のヒビ割れ画像（滲出物ヒビ割れの画像）及び第３のヒビ割れ画像（風浪ヒビ割れの画像）以外のヒビ割れ画像であれば、さらに互いの差異が明らかとなる各学習モデルを生成することが可能である。なお、第１のヒビ割れ学習モデルについても、管理サーバ１内の第１のヒビ割れ学習部１４０に限らず、管理サーバ１外部で作成されたものであってもよく、外部から第１のヒビ割れ学習モデル記憶部１３８に記憶されてもよい。
ヒビ割れ情報出力部１６０は、上述の第１〜３のヒビ割れ学習モデルなどのヒビ割れ学習モデルを用いて、無人飛行体４により撮影されたコンクリート護岸の撮影画像から各ヒビ割れを検出し、それぞれに対応したヒビ割れ情報（例えば、静止画像など）を出力する。
検出結果出力部１７０は、例えば、ヒビ割れ情報出力部１６０が出力した各ヒビ割れ情報としての検出画像（例えば、図９に例示されるように、第１の学習モデルを用いた検出結果１および第２の学習モデルを用いた検出結果２、第３の学習モデルを用いた検出結果３）をそれぞれ生成し、これらの検出画像を重ね合わせて検出結果画像（例えば、図９に例示される、ヒビ割れ検出結果画像）を出力する。
＜点検方法の一例＞
図１０を参照して、本実施形態にかかる点検システムによる点検方法について説明する。
図１０を参照して、本実施形態にかかる点検システムによる点検方法について説明する。
まず、管理サーバ１は、点検開始までに所定のパラメータ情報の入力を受付け、当該パラメータ情報をパラメータ情報記憶部１３２に記憶する（ＳＱ１０１）。
次に、管理サーバ１は、飛行経路を生成する（ＳＱ１０２）。例えば、パラメータ情報記憶部１３２のパラメータ情報を参照して新規の飛行経路が自動的に生成されたり、ユーザが飛行経路を設定して生成したりする。
次に、無人飛行体４は、飛行経路及びウェイポイント情報に基づき、ウェイポイントにおいてコンクリート護岸の撮影を行い、管理サーバ１は当該撮影により取得した情報（例えば、撮影画像）をフライトログ記憶部１３４に記憶する（ＳＱ１０３）。
次に、管理サーバ１は、ヒビ割れ情報出力部１６０により、特定種のヒビ割れに特化した特化ヒビ割れ学習モデル、例えば滲出物ヒビ割れに特化した第２のヒビ割れ学習モデル、および／または、風浪ヒビ割れに特化した第３のヒビ割れ学習モデルを用いて、撮影画像のヒビ割れを検出し、それぞれに対応したヒビ割れ情報（例えば、静止画像など）を出力する（ＳＱ１０４）。
次に、管理サーバ１は、ヒビ割れ情報出力部１６０により第１のヒビ割れ学習部１５０により生成した第１のヒビ割れ学習モデルを用いて、撮影画像のヒビ割れを検出し、それに対応したヒビ割れ情報を出力する（ＳＱ１０５）。なお、ＳＱ１０４とＳＱ１０５は順不同であるし、両者が並列に処理されてもよい。
次に、管理サーバ１は、検出結果出力部１７０により、例えば、ヒビ割れ情報出力部１６０により検出した各ヒビ割れ情報としての検出結果（特にヒビ割れ位置）を示す検出画像をそれぞれ生成し（例えば、図９に例示されるように、第１のヒビ割れ学習モデルを用いた検出結果１および第２のヒビ割れ学習モデルを用いた検出結果２、第３のヒビ割れ学習モデルを用いた検出結果３）、これらの検出画像を重ね合わせて検出結果（例えば、図９に例示される、ヒビ割れ検出結果画像）を生成し、ユーザ端末２に出力する（ＳＱ１０６）。
このように、本発明は、船舶等による点検作業を経ない、コンクリート護岸の点検に適した無人飛行体による点検システム及び管理サーバを提供することができる。特に図９に示されるように、コンクリート護岸におけるヒビ割れは、複合的な要因による複数種類のヒビ割れにより構成されているところ、本点検システムにより、より正確なコンクリート護岸におけるヒビ割れ形状を検出可能となる。
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
１ 管理サーバ
２ ユーザ端末
４ 無人飛行体
２ ユーザ端末
４ 無人飛行体
Claims (4)
- コンクリート護岸に出現する複数種のヒビ割れを特定可能な第１のヒビ割れ学習モデルと、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデルを適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第１のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
を備え、
前記特化学習モデルは、
滲出物により被覆されたヒビ割れに関する複数の第１のヒビ割れ画像に基づき機械学習した第２の学習モデルと、
風浪による表面劣化により発生したヒビ割れに関する複数の第２のヒビ割れ画像に基づき機械学習した第３の学習モデルと、
のうち何れか一方の学習モデルのみ、または、両学習モデルのみで構成されており、
前記第１のヒビ割れ情報は、前記撮影画像における前記複数種のヒビ割れ内、１種以上のヒビ割れのヒビ割れ位置が示されたヒビ割れ画像であり、
前記特化ヒビ割れ情報は、前記撮影画像における前記特定種のヒビ割れのヒビ割れ位置が示されたヒビ割れ画像であり、
前記検出結果出力部は、各ヒビ割れ画像のみを重ね合わせて前記１種以上のヒビ割れ及び前記特定種のヒビ割れのヒビ割れ位置が示された検出結果画像を出力する、
点検システム。 - コンクリート護岸に出現する複数種のヒビ割れを特定可能な第１のヒビ割れ学習モデルと、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデルを適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第１のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
を備え、
前記特化学習モデルは、
滲出物により被覆されたヒビ割れに関する複数の第１のヒビ割れ画像に基づき機械学習した第２の学習モデルと、
風浪による表面劣化により発生したヒビ割れに関する複数の第２のヒビ割れ画像に基づき機械学習した第３の学習モデルと、
のうち何れか一方の学習モデルのみ、または、両学習モデルのみで構成されており、
前記第１のヒビ割れ情報は、前記撮影画像における前記複数種のヒビ割れ内、１種以上のヒビ割れのヒビ割れ位置が示されたヒビ割れ画像であり、
前記特化ヒビ割れ情報は、前記撮影画像における前記特定種のヒビ割れのヒビ割れ位置が示されたヒビ割れ画像であり 、
前記検出結果出力部は、各ヒビ割れ画像のみを重ね合わせて前記１種以上のヒビ割れ及び前記特定種のヒビ割れのヒビ割れ位置が示された検出結果画像を出力する、
管理サーバ。 - 管理サーバ用プログラムにおいて、
前記管理サーバを、
コンクリート護岸に出現する複数種のヒビ割れを特定可能な第１のヒビ割れ学習モデルと、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な特化学習モデルとを記憶する学習モデル記憶部と、
無人飛行体により撮影されたコンクリート護岸の撮影画像に前記第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に前記特化学習モデルを適用して得られる特化ヒビ割れ情報を出力するヒビ割れ情報出力部と、
前記第１のヒビ割れ情報及び前記特化ヒビ割れ情報を含む検出結果情報を出力する検出結果出力部と、
して機能させ、
前記特化学習モデルは、
滲出物により被覆されたヒビ割れに関する複数の第１のヒビ割れ画像に基づき機械学習した第２の学習モデルと、
風浪による表面劣化により発生したヒビ割れに関する複数の第２のヒビ割れ画像に基づき機械学習した第３の学習モデルと、
のうち何れか一方の学習モデルのみ、または、両学習モデルのみで構成されており、
前記第１のヒビ割れ情報は、前記撮影画像における前記複数種のヒビ割れ内、１種以上のヒビ割れのヒビ割れ位置が示されたヒビ割れ画像であり、
前記特化ヒビ割れ情報は、前記撮影画像における前記特定種のヒビ割れのヒビ割れ位置が示されたヒビ割れ画像であり 、
前記検出結果出力部は、各ヒビ割れ画像のみを重ね合わせて前記１種以上のヒビ割れ及び前記特定種のヒビ割れのヒビ割れ位置が示された検出結果画像を出力する、
ことを特徴とする管理サーバ用プログラム。 - 無人飛行体により撮影されたコンクリート護岸の撮影画像に第１のヒビ割れ学習モデルを適用して得られる第１のヒビ割れ情報、及び、前記撮影画像に特化学習モデルを適用して得られる特化ヒビ割れ情報を含む検出結果情報を管理サーバより提供する検出結果情報提供方法であって、
前記第１のヒビ割れ学習モデルは、コンクリート護岸に出現する複数種のヒビ割れを特定可能な学習モデルであり、
前記特化学習モデルは、前記複数種のヒビ割れ以外のヒビ割れであって、コンクリート護岸に出現する特定種のヒビ割れを特定可能な学習モデルであり、
前記特化学習モデルは、さらに、
滲出物により被覆されたヒビ割れに関する複数の第１のヒビ割れ画像に基づき機械学習した第２の学習モデルと、
風浪による表面劣化により発生したヒビ割れに関する複数の第２のヒビ割れ画像に基づき機械学習した第３の学習モデルと、
のうち何れか一方の学習モデルのみ、または、両学習モデルのみで構成されており、
前記第１のヒビ割れ情報は、前記撮影画像における前記複数種のヒビ割れ内、１種以上のヒビ割れのヒビ割れ位置が示されたヒビ割れ画像であり、
前記特化ヒビ割れ情報は、前記撮影画像における前記特定種のヒビ割れのヒビ割れ位置が示されたヒビ割れ画像であり 、
前記検出結果出力部は、各ヒビ割れ画像のみを重ね合わせて前記１種以上のヒビ割れ及び前記特定種のヒビ割れのヒビ割れ位置が示された検出結果画像を出力する、
ことを特徴とするヒビ割れ情報提供方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020159202A JP6960643B1 (ja) | 2020-09-24 | 2020-09-24 | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 |
| JP2021043169A JP2022053447A (ja) | 2020-09-24 | 2021-03-17 | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020159202A JP6960643B1 (ja) | 2020-09-24 | 2020-09-24 | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021043169A Division JP2022053447A (ja) | 2020-09-24 | 2021-03-17 | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6960643B1 true JP6960643B1 (ja) | 2021-11-05 |
| JP2022052780A JP2022052780A (ja) | 2022-04-05 |
Family
ID=78409683
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020159202A Active JP6960643B1 (ja) | 2020-09-24 | 2020-09-24 | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 |
| JP2021043169A Pending JP2022053447A (ja) | 2020-09-24 | 2021-03-17 | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021043169A Pending JP2022053447A (ja) | 2020-09-24 | 2021-03-17 | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6960643B1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006064501A (ja) * | 2004-08-26 | 2006-03-09 | Toray Ind Inc | 中空糸膜の断面形状測定方法および装置 |
| JP2016065809A (ja) * | 2014-09-25 | 2016-04-28 | 前田建設工業株式会社 | コンクリート構造物の点検支援装置、点検支援方法、及びプログラム |
| WO2017014288A1 (ja) * | 2015-07-21 | 2017-01-26 | 株式会社東芝 | ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム |
| JP2019039936A (ja) * | 2015-09-10 | 2019-03-14 | 富士フイルム株式会社 | 損傷情報抽出装置、損傷情報抽出方法および損傷情報抽出プログラム |
| JP2020021326A (ja) * | 2018-08-01 | 2020-02-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 情報処理方法、情報処理装置およびプログラム |
-
2020
- 2020-09-24 JP JP2020159202A patent/JP6960643B1/ja active Active
-
2021
- 2021-03-17 JP JP2021043169A patent/JP2022053447A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006064501A (ja) * | 2004-08-26 | 2006-03-09 | Toray Ind Inc | 中空糸膜の断面形状測定方法および装置 |
| JP2016065809A (ja) * | 2014-09-25 | 2016-04-28 | 前田建設工業株式会社 | コンクリート構造物の点検支援装置、点検支援方法、及びプログラム |
| WO2017014288A1 (ja) * | 2015-07-21 | 2017-01-26 | 株式会社東芝 | ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム |
| JP2019039936A (ja) * | 2015-09-10 | 2019-03-14 | 富士フイルム株式会社 | 損傷情報抽出装置、損傷情報抽出方法および損傷情報抽出プログラム |
| JP2020021326A (ja) * | 2018-08-01 | 2020-02-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 情報処理方法、情報処理装置およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022053447A (ja) | 2022-04-05 |
| JP2022052780A (ja) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6807093B1 (ja) | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 | |
| JP2019196980A (ja) | 検査システム | |
| JP2020140726A (ja) | 無人飛行体のフライト管理サーバ及びフライト管理システム | |
| US11047690B2 (en) | Automated emergency response | |
| JP6807092B1 (ja) | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 | |
| JP6960643B1 (ja) | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 | |
| JP2023164746A (ja) | 作業計画生成システム | |
| JP2021015605A (ja) | 管理サーバ及び管理システム、表示情報生成方法、プログラム | |
| JP7149569B2 (ja) | 建造物の測定方法 | |
| JP6991525B1 (ja) | ウェイポイント高さ座標設定方法及び管理サーバ、情報処理システム、プログラム | |
| JP6730764B1 (ja) | 飛行体の飛行経路表示方法及び情報処理装置 | |
| JP6800505B1 (ja) | 飛行体の管理サーバ及び管理システム | |
| JP7228311B1 (ja) | 情報処理システム、情報処理方法、プログラム、サーバ | |
| JP6771253B1 (ja) | 飛行体の管理サーバ及び管理システム | |
| JP6786138B1 (ja) | 飛行体の管理サーバ及び管理システム | |
| WO2022113482A1 (ja) | 情報処理装置、方法およびプログラム | |
| JP7072311B1 (ja) | 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム | |
| WO2022180975A1 (ja) | 位置特定装置、情報処理装置、位置特定方法、情報処理方法、及びプログラム | |
| JP7401068B1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| JP7217570B1 (ja) | 情報処理システム及びプログラム、情報処理方法、サーバ | |
| JP6765738B1 (ja) | 無人飛行体のフライト管理サーバ及びフライト管理システム | |
| WO2024052997A1 (ja) | 情報処理システム及びプログラム、情報処理方法、サーバ | |
| WO2021038622A1 (ja) | 無人移動体の制御システムおよび無人移動体の制御方法 | |
| Sun | H. Sø/1SOPS widel | |
| JP2022132484A (ja) | 監視装置、監視プログラム及び飛行体を利用した監視システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200928 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200928 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201006 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201008 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201127 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210317 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210319 |
|
| C11 | Written invitation by the commissioner to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C11 Effective date: 20210520 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210701 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210708 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210916 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211004 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6960643 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |