JP7228310B1 - 情報処理システム及びプログラム、情報処理方法、サーバ - Google Patents

Abstract

【課題】ヒビ割れのある対象物が分割された状態で検出されることを防止することが可能な情報処理システム及びプログラムを提供する。【解決手段】本発明の一実施形態によれば、構造物における一以上の対象物が映る原画像に対して対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、推定したヒビ割れ領域の周囲の色に少なくとも応じて、原画像における前記ヒビ割れ領域を着色するヒビ割れ着色部と、着色後の画像に対して対象物が存在する対象物領域を推定する対象物領域推定部と、を備える情報処理システムが提供される。【選択図】図１

Description

本発明は、ヒビ割れを検出する情報処理システム及びプログラム、情報処理方法、サーバに関する。

建築物や土木構造物の壁におけるヒビ割れを検出するヒビ割れ検出装置が、特許文献１に開示されている。特許文献１に開示されたヒビ割れ検出装置によれば、ヒビ割れ検出のための前処理の一例として、対象画像からタイルを表す画像領域（タイル領域）を抽出し、タイル領域以外の画像領域をヒビ割れ検出の対象範囲から除外する処理が実行される（引用文献１の段落００２２参照）。

特許第６８９４３３９号公報

しかしながら、このようにヒビ割れ検出処理の前にタイル領域を抽出する処理を行うと、ヒビ割れがあるタイルは、そのヒビ割れにより、本来は１つであるタイルが分割された２つのタイルとして誤検出されたり、あるいは、分割されたタイルの一方の部分が欠損した状態で誤検出されたりする可能性がある。この場合は、ヒビ割れ箇所が分割されたタイルの境界（目地）として認識されてしまうなどにより、ヒビ割れ検出が正しくなされなくなるおそれがある。

本発明はこのような背景を鑑みてなされたものであり、特に、ヒビ割れのあるタイル等の対象物が分割された状態で検出されることを防止することが可能な情報処理システム及びプログラム、情報処理方法、サーバを提供することを一つの目的とする。

本発明の一態様によれば、構造物における一以上の対象物が映る原画像に対して対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、推定したヒビ割れ領域の周囲の色に少なくとも応じて、原画像におけるヒビ割れ領域を着色するヒビ割れ着色部と、着色後の画像に対して対象物が存在する対象物領域を推定する対象物領域推定部と、を備えることを特徴とする情報処理システムが提供される。

本発明によれば、特に、ヒビ割れのあるタイル等の対象物が分割された状態で検出されることを防止することが可能な情報処理システム及びプログラム、情報処理方法、サーバを提供することができる。

本発明の実施の形態の全体構成を示す図である。 本発明の実施の形態にかかる情報処理システムのシステム構成を示す図である。 図２のサーバのハードウェア構成を示すブロック図である。 図２の端末のハードウェア構成を示すブロック図である。 図２の飛行体のハードウェア構成を示すブロック図である。 図２のサーバ、端末の機能を示すブロック図である。 ヒビ割れ形状解析部によるヒビ割れ領域の形状解析処理を説明する図である。 本実施形態にかかる情報処理システムによるヒビ割れ領域検出方法を実施する処理を示すフローチャートである。 ヒビ割れ領域を検出する対象の画像の一例である。 検出対象の画像を格子状に複数の領域に分割した状態を概念的に示す図である。 ヒビ割れ領域が存在すると推定された分割領域の上に、推定されたヒビ割れ領域を示した状態の画像である。 図（ａ）は、画像中に推定されたヒビ割れ領域と、そのヒビ割れ領域を含む拡大領域とを示す図であり、図（ｂ）は、ヒビ割れ領域を着色した状態を示す図である。 対象物領域推定部によって推定された対象物領域を示す図である。 推定された対象物領域に着色前の元のヒビ割れ領域が重畳された状態を示す図である。 図１１に示した対象物領域を拡大して示す図である。 対象物領域が推定された各分割領域によって再構築された元の１つの検出対象画像を示す図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム及びプログラム、情報処理方法、サーバは、以下のような構成を備える。
［項目１］
構造物における一以上の対象物が映る原画像に対して当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
推定した前記ヒビ割れ領域の周囲の色に少なくとも応じて、前記原画像における前記ヒビ割れ領域を着色するヒビ割れ着色部と、
当該着色後の画像に対して前記対象物が存在する対象物領域を推定する対象物領域推定部と、を備える、
ことを特徴とする情報処理システム。
［項目２］
推定した前記対象物領域と前記ヒビ割れ領域の位置を少なくとも重畳して前記対象物領域におけるヒビ割れ領域を特定する重畳部をさらに備える、
ことを特徴とする項目１に記載の情報処理システム。
［項目３］
前記ヒビ割れ推定部は、推定した前記対象物領域を対応づけた前記原画像に対してヒビ割れ領域の推定を再実行し、前記対象物領域におけるヒビ割れ領域を特定する、
ことを特徴とする項目１に記載の情報処理システム。
［項目４］
特定された前記対象物領域における前記ヒビ割れ領域に対して、ヒビ割れ形状の解析を実行するヒビ割れ形状解析部をさらに備える、
ことを特徴とする項目２または３に記載の情報処理システム。
［項目５］
前記ヒビ割れ推定部は、前記原画像を二以上の分割画像に分割し、各分割画像に対してヒビ割れ領域を推定する、
ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目６］
前記ヒビ割れ着色部は、推定された前記ヒビ割れ領域を拡大させた拡大領域を生成し、当該拡大領域内の色情報に基づき統計的に決定された色で前記ヒビ割れ領域を着色する、
ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目７］
前記ヒビ割れ着色部は、前記対象物の色情報を取得し、当該色情報に一致または略一致した色で前記ヒビ割れ領域を着色する、
ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目８］
処理部を有するコンピュータに情報処理を実行させるプログラムであって、
前記プログラムは、前記処理部に、
構造物における一以上の対象物が映る原画像に対して当該対象物におけるヒビ割れ領域を推定することと、
推定した前記ヒビ割れ領域の周囲の色に少なくとも応じて、前記原画像における前記ヒビ割れ領域を着色することと、
当該着色後の画像に対して前記対象物が存在する対象物領域を推定することと、
を実行させる、プログラム。
［項目９］
ヒビ割れ推定部により、構造物における一以上の対象物が映る原画像に対して当該対象物におけるヒビ割れ領域を推定するステップと、
ヒビ割れ着色部により、推定した前記ヒビ割れ領域の周囲の色に少なくとも応じて、前記原画像における前記ヒビ割れ領域を着色するステップと、
対象物領域推定部により、当該着色後の画像に対して前記対象物が存在する対象物領域を推定するステップと、
をコンピュータにおいて実行する、情報処理方法。
［項目１０］
構造物における一以上の対象物が映る原画像に対して当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
推定した前記ヒビ割れ領域の周囲の色に少なくとも応じて、前記原画像における前記ヒビ割れ領域を着色するヒビ割れ着色部と、
当該着色後の画像に対して前記対象物が存在する対象物領域を推定する対象物領域推定部と、を備える、
ことを特徴とするサーバ。

＜実施の形態の詳細＞
以下、本発明の実施の形態による情報処理システムを説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

＜本実施形態の概要＞
図１に示されるように、本実施の形態における情報処理システムは、例えば建物や土木建造物などの構造物の壁面を撮像した画像を基に、そのような壁面に存在するヒビ割れを検出するものである。構造物の壁面は、一例として、ユーザ自身がカメラを操作して撮像してもよいし、あるいは、自律飛行もしくは遠隔操作により飛行する図１に示すような無人飛行体４に搭載したカメラを遠隔操作して撮像してもよい。

本実施形態における情報処理システムは、後述するように、ヒビ割れの無い状態の対象物が存在する対象物領域を推定する処理を行うことにより、検査対象の画像中におけるヒビ割れ箇所の有無を単に検出するだけでなく、検査対象の画像中において対象物（例えば、壁面のタイルやパネルなどの区画された領域をなすもの）が存在する領域を特定し、さらには、どの対象物のどの部分にヒビ割れ箇所が存在するかについても検出することを可能にするものである。

＜システム構成＞
図２に示されるように、本実施の形態における情報処理システムは、サーバ１と、端末２と、無人飛行体４とを有している。サーバ１と、端末２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されていてもよい。なお、図示された構成は一例であり、これに限らず、例えば無人飛行体４がネットワークＮＷに接続されていなくてもよい。その場合、無人飛行体４の操作がユーザが操作する送信機（いわゆるプロポ）により行われたり、無人飛行体４のカメラにより取得した画像データが無人飛行体４に接続される補助記憶装置（例えばＳＤカードなどのメモリカードやＵＳＢメモリなど）に記憶され、ユーザにより事後的に補助記憶装置からサーバ１や端末２に読み出されて記憶されたりする構成であってもよく、操作目的または画像データの記憶目的のいずれか一方の目的のためだけに無人飛行体４がネットワークＮＷに接続されていてもよい。

＜サーバ１のハードウェア構成＞
図２は、本実施形態におけるサーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

プロセッサ１０は、サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。また、後述の記憶部１３０が記憶領域の一部に設けられていてもよい。

送受信部１３は、サーバ１が通信ネットワークを介して外部装置（不図示）や無人飛行体４等と通信を行うための通信インターフェースである。送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子等をさらに備えていてもよい。

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

＜端末２＞
図４に示される端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述したサーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。

＜無人飛行体４＞
図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。

また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。

メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくともサーバ１や端末２のいずれか１つに記録されてもよい。カメラ４２は無人飛行体４にジンバル４３を介して設置される。

フライトコントローラ４１は、無人飛行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する無人飛行体４の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して無人飛行体４の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで無人飛行体４の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

＜サーバ１の機能＞
図６は、サーバ１及び端末２に実装される機能を例示したブロック図である。本実施の形態においては、サーバ１は、画像取得部１１５、処理部１２０、記憶部１３０を備えている。処理部１２０は、ヒビ割れ推定部１２１、ヒビ割れ着色部１２２、対象物領域推定部１２３、重畳部１２４、ヒビ割れ形状解析部１２５を含んでいる。また、記憶部１３０は、情報・画像記憶部１３１、ヒビ割れ推定学習モデル１３２、対象物領域推定学習モデル１３３を含んでいる。なお、各種機能部は、サーバ１のプロセッサ１０における機能部として例示しているが、各種機能部の一部または全部は、サーバ１のプロセッサ１０または端末２のプロセッサ２０、無人飛行体４のコントローラ４１の能力等に合わせて、プロセッサ１０またはプロセッサ２０、コントローラ４１のうちのいずれの構成において実現されていてもよい。

通信部１１０は、ネットワークＮＷを介して端末２や、無人飛行体４と通信を行う。通信部１１０は、端末２や無人飛行体４等からの各種要求やデータ等を受け付ける受付部としても機能する。

画像取得部１１５は、例えば、通信インターフェースを介した無線通信あるいはＵＳＢ端子等を介した有線通信によって、無人飛行体４に搭載されたデジタルカメラやユーザが用いたデジタルカメラで撮像された画像をそれらのデジタルカメラから取得する。画像取得部１１５は、ＵＳＢメモリやＳＤメモリ等の記憶媒体を介して画像を取得するように構成されていてもよい。

処理部１２０は、画像取得部１１５が取得した画像についてヒビ割れ検出を行い、どの対象物のどの部分にヒビ割れ箇所が存在するかを検出する一連の処理を実行する各機能部１２１～１２５を備えている。

ヒビ割れ推定部１２１は、構造物における一以上の対象物（建物や土木建造物の壁面のタイルやパネル等）が映る原画像に対して、その対象物において存在するヒビ割れ領域を推定する処理を実行する。本実施形態のヒビ割れ推定部１２１は、記憶部１３０のヒビ割れ推定学習モデル１３２を用いてヒビ割れ領域を推定する。ヒビ割れ推定学習モデル１３２の詳細については後述する。

ヒビ割れ推定部１２１は、原画像の全体に対してヒビ割れ領域を推定する処理を実行してもよいし、あるいは、原画像を複数の領域に分割する処理を実行した後に、各々の分割領域についてヒビ割れ領域を推定する処理を実行してもよい。原画像を複数の領域に分割してヒビ割れ領域を推定する処理は、ヒビ割れ領域推定を行う領域を細分化することでその処理のための計算量も細分化できるので、原画像全体について一度にヒビ割れ領域を推定する処理を実行する場合に比べて、ヒビ割れ推定部１２１における計算負荷を抑えることができる。ヒビ割れ推定部１２１は、原画像を複数の領域に分割する処理を実行した場合には、各々の分割領域に関する以下に説明する各処理を実行した後、それらの分割領域を再構築して元の１つの画像に対応する画像を生成する。

ヒビ割れ着色部１２２は、画像中においてヒビ割れ推定部１２１で推定されたヒビ割れ領域を、その周囲の対象物等の色に応じて着色する処理を実行し、ヒビ割れ領域を着色した状態の画像を生成する。

ヒビ割れ着色部１２２による着色処理の一例として、ヒビ割れ着色部１２２は、推定されたヒビ割れ領域を含む、そのヒビ割れ領域よりも広い拡大領域を画像中に画定し、その拡大領域内に含まれるオブジェクト（壁面のタイルやパネル等の対象物や、それら対象物の間の目地等）の色情報に基づいて統計的に色を決定し、その決定した色でヒビ割れ領域を着色する。拡大領域内のオブジェクトの色情報に基づいて統計的に色を決定する処理は、例えば、拡大領域内に含まれる各種色の色情報を、それらの色が拡大領域内において占める面積に応じて加重平均することにより実行することが可能である。ヒビ割れ領域を着色した状態の画像では、ヒビ割れ領域がその周囲の対象物と同化して、壁面にヒビ割れ領域がほとんど存在していないように見える。

ヒビ割れ着色部１２２による着色処理の他の例として、ヒビ割れ着色部１２２は、壁面のタイルやパネル等の対象物の色情報を取得して、その色情報と一致するもしくは実質的に一致する色でヒビ割れ領域を着色する。対象物の色情報を取得する処理は、例えば、画像全体における色情報のうち最頻値を有する色情報を着色色として決定することにより実行したり、ヒビ割れ領域に隣接する所定領域内（例えば、ヒビ割れ領域から特定数以内の画素）の色情報の最頻値もしくは平均値を有する色情報を着色色として決定することにより実行することが可能である。あるいは、壁面のタイルやパネル等の対象物の色情報が既知である場合には、例えばユーザが端末２の入出力部２４（図４参照）を介してその色情報を指定したり予め設定しておくことで、ヒビ割れ着色部１２２が色情報を取得することも可能である。

対象物領域推定部１２３は、ヒビ割れ着色部１２２により生成された、ヒビ割れ領域を着色した状態の画像に対して、対象物（壁面のタイルやパネル等）が存在する領域である対象物領域を推定する処理を実行する。本実施形態の対象物領域推定部１２３は、記憶部１３０の対象物領域推定学習モデル１３３を用いて対象物領域を推定する。対象物領域推定学習モデル１３３の詳細については後述する。

対象物領域推定部１２３による対象物領域推定処理により、画像中における対象物（壁面のタイルやパネル等）が存在する領域が検出され、さらには、その領域における個々の対象物の位置及び形状等が検出される。換言すれば、この対象物領域推定処理により個々の対象物の位置及び形状等が個別に認識される。対象物がタイルである場合を例に挙げてこれを説明すると、対象物領域推定処理により、画像中におけるタイルが存在する領域が検出されると共に、その領域において目地で区切られた個々のタイルの位置及び形状も個別に検出される。

重畳部１２４は、ヒビ割れ領域を着色した状態の画像において対象物領域推定部１２３によって推定された対象物領域に、ヒビ割れ推定部１２１によって推定されたヒビ割れ着色部１２２による着色処理前のヒビ割れ領域を重畳して、対象物領域におけるヒビ割れ領域を特定する処理を実行する。上記のように、対象物領域推定部１２３による対象物領域推定処理により、画像中における対象物（壁面のタイルやパネル等）が存在する領域と個々の対象物の位置及び形状等が検出されている。そのため、重畳部１２４によれば、画像中のヒビ割れ領域が存在する領域（ヒビ割れ着色部１２２に着色された領域）に、ヒビ割れ推定部１２１で推定されたヒビ割れ領域を重畳することにより、壁面上のヒビ割れ領域が存在する位置を単に検出するのではなく、壁面上のタイル等のどの対象物にヒビ割れ領域が存在しているのかを特定することができる。重畳部１２４は、ヒビ割れ領域が単一の対象物に存在している場合には、ヒビ割れ領域が存在する対象物としてその対象物を特定し、また、ヒビ割れ領域が複数の対象物にわたって存在している場合には、ヒビ割れ領域が存在する対象物としてそれらの複数の対象物を特定する。

ヒビ割れ形状解析部１２５は、ヒビ割れ推定部１２１によって推定されたヒビ割れ領域に基づいて、ヒビ割れ領域の形状（長さ及び幅等）を解析する処理を実行する。ヒビ割れ領域の形状解析処理には種々の公知の手法を用いることが可能であるが、本実施形態のヒビ割れ形状解析部１２５は、一例として、ヘッセ行列を用いた手法によりヒビ割れ箇所の形状解析処理を行うように構成されている。

ここで、図７を参照して、ヘッセ行列を用いたヒビ割れ領域の形状解析手法について説明する。

画像の各画素（ｘ，ｙ）において、輝度値ｆ（ｘ，ｙ）を高さ方向とし、（ｘ，ｙ）を連続変数とすると、画像は三次元曲面と解釈することができる。画素中の或る画素（ｘ，ｙ）に関するヘッセ行列は、画像の輝度値をｘ方向及びｙ方向に２階微分した要素から構成される正方行列であり、下記の式（１）で表される。

… 式（１）

このヘッセ行列の固有値λ_１，λ_２の関係に基づき、

… 式（２）
の関係を満たす画素を線状構造とみなして強調する。

ここで、図７（ａ）には、ヒビ割れ推定部１２１によって推定されたヒビ割れ領域Ａと、正解である実際のヒビ割れ領域Ｂとの概念図が示されており、図７（ｂ）には、推定されたヒビ割れ領域Ａに基づいて上述するように線状構造とみなされた画素によって形成された、１画素の線幅からなるスケルトンＣが示されている。スケルトンＣは、ヒビ割れ箇所の延伸方向及び長さを示す。

そして、スケルトンＣ上でヘッセ行列のスケールを変えて線状構造を評価し、線状構造と判別された画素について線らしさの評価値が最大であるスケールを調べることにより、ヒビ割れ幅を評価することができる（図７（ｃ）参照）。このようにヘッセ行列をスケールさせてヒビ割れ幅を評価することにより、ヒビ割れ形状解析部１２５は、ヒビ割れ箇所の形状として、図７（ｃ）に示すように正解である実際のヒビ割れ領域Ｂに近い線状構造Ｄを得ることができる。

このように、ヒビ割れ推定部１２１（及び後述のヒビ割れ推定学習モデル１３２）によって推定されたヒビ割れ領域に対して、ヘッセ行列を用いたヒビ割れ箇所の形状解析手法を用いることで、スケルトンＣに基づいてヒビ割れ箇所の延伸方向及び長さを取得し、ヘッセ行列に基づいてヒビ割れ箇所の幅を取得することができる。

なお、上述したヘッセ行列を用いた手法は、論文「画像処理によるコンクリート構造物のヒビ割れ幅の分類」（コンクリート工学年次論文集，Ｖｏｌ．３４，Ｎｏ．１，２０１２）に開示されている。

次に、記憶部１３０の情報・画像記憶部１３１は、画像取得部１１５が取得した画像の他、ヒビ割れ着色部１２２が生成したヒビ割れ領域を着色した状態の画像や、処理部１２０の各機能部１２１～１２５による処理に生成された情報・データ等を、少なくとも一時的に記憶する。

ヒビ割れ推定学習モデル１３２は、種々のヒビ割れに関するヒビ割れ画像を教師データとして機械学習して生成された学習モデルである。ヒビ割れ推定学習モデル１３２は、例えば任意の外部コンピュータ装置（不図示）を学習器として用いて作成して、記憶部１３０に記憶させることができる。ヒビ割れ推定学習モデル１３２は、タイルやパネル等の異なる対象物毎にヒビ割れ画像を教師データとして機械学習して生成してもよく、この場合は、対象物毎に特化した複数のヒビ割れ推定学習モデルが生成されて記憶部１３０に記憶される。

ヒビ割れ推定学習モデル１３２は、各層にニューロンを含む複数の層で構成されるニューラルネットワークで機械学習を実行して生成される。そのようなニューラルネットワークとして、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のようなディープニューラルネットワークを用いることができる。

本実施形態では特に、画像の何処に何が写っているかを推定する物体検出に加えて、それがどのような形状を有しているかも推定することが可能なＭａｓｋ Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が用いられる。Ｍａｓｋ Ｒ－ＣＮＮによれば、ＣＮＮを用いて物体の候補領域を抽出し、領域位置とクラスの確率を同時に推定することにより、物体にバウンディングボックスを掛け、その物体がどのクラスに属するか（その物体が何であるか）を推定することに加えて、バウンディングボックス内のピクセル単位でクラス分類を行うことで、その物体の形も推定することが可能である。そのため、本実施形態のヒビ割れ推定学習モデル１３２を用いることで、画像中のヒビ割れ領域の位置のみならず、そのヒビ割れ領域の形状も推定することが可能である。

対象物領域推定学習モデル１３３は、タイルやパネル等の種々の対象物に関する画像を教師データとして機械学習して生成された学習モデルである。対象物領域推定学習モデル１３３も、例えば任意の外部コンピュータ装置（不図示）を学習器として用いて作成して、記憶部１３０に記憶させることができる。対象物領域推定学習モデル１３３は、タイルやパネル等の種々の対象物毎にヒビ割れ画像を教師データとして機械学習して生成してもよく、この場合は、対象物毎に特化した複数の対象物領域推定学習モデルが生成されて記憶部１３０に記憶される。

本実施形態では、対象物領域推定学習モデル１３３もＭａｓｋ Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で機械学習を実行して生成されている。そのため、本実施形態の対象部領域推定学習モデル１３３を用いることで、画像中の対象部が存在する領域のみならず、その領域における個々の対象部の位置及び形状も推定することが可能である。

＜ヒビ割れ領域検出方法の一例＞
続いて、図８等を参照して、本実施形態にかかる情報処理システムによるヒビ割れ領域検出方法について説明する。図８は、本実施形態にかかる情報処理システムによるヒビ割れ領域検出方法を実施する処理を示すフローチャートである。

最初に、サーバ１の画像取得部１１５は、無人飛行体４に搭載されたカメラやユーザが用いたカメラで撮像された原画像をそれらのカメラから取得する（Ｓ１０１）。

取得する原画像は、建物や土木建造物等の壁面等における、ヒビ割れ領域を検出する対象物を撮像したものである。図９に、検出対象の原画像の一例を示す。

次に、サーバ１のヒビ割れ推定部１２１は、一以上の対象物（建物や土木建造物等の壁面におけるタイルやパネル等）が映る原画像に対して、その対象物におけるヒビ割れ領域を推定する処理を実行する（Ｓ１０２）。

このヒビ割れ領域を推定する処理は、ヒビ割れ推定部１２１が、ヒビ割れ領域を検出する対象の原画像を複数の領域に分割する処理を含んでもよい。

図１０は、検出対象の画像を格子状に複数の領域に分割した状態を概念的に示す図である。図１０に示す例では、検出対象の画像が縦３個×横３個の合計９個の領域に分割されている。ヒビ割れ推定部１２１は、ヒビ割れ推定部１２１によって分割された各分割領域の画像を、分割前の原画像全体のどの部分に対応するかを示す情報と関連付けて、情報・画像記憶部１３１に格納する。なお、このように検出対象画像を分割する処理はオプションであり、検出対象の原画像を分割することなく１つの画像全体について後続の処理を実行してもよい。

ヒビ割れ領域を推定する処理において、ヒビ割れ推定部１２１は次に、検出対象の原画像の上記のように分割された個々の分割領域について、ヒビ割れ推定学習モデル１３２を用いてヒビ割れ領域を推定する処理を実行する。

図１１は、ヒビ割れ推定部１２１によるヒビ割れ領域推定処理の結果、ヒビ割れ領域が存在すると推定された分割領域の上に、推定されたヒビ割れ領域を示した状態の画像を示している。ヒビ割れ推定部１２１は、推定されたヒビ割れ領域に関する情報（ヒビ割れ領域が存在する分割領域、当該分割領域におけるヒビ割れ領域の位置、ヒビ割れ領域の大きさ・形状等）を情報・画像記憶部１３１に格納する。

次に、サーバ１のヒビ割れ着色部１２２は、ヒビ割れ推定部１２１で推定されたヒビ割れ領域を、その周囲の対象物等の色に応じて着色する処理を実行する（Ｓ１０３）。

着色処理の一例として、ヒビ割れ着色部１２２は、推定されたヒビ割れ領域を含む、そのヒビ割れ領域よりも広い拡大領域を画像中に画定する（図１２（ａ）参照）。そして、ヒビ割れ着色部１２２は、その拡大領域内に含まれるオブジェクト（図示の例では、壁面のタイル及びタイル間の目地）の色情報に基づいて統計的に色を決定し、その決定した色でヒビ割れ領域を着色し、ヒビ割れ領域を着色した状態の画像を生成する（図１２（ｂ）参照）。図１２（ｂ）に示すように、ヒビ割れ領域を着色した状態の画像では、ヒビ割れ領域がその周囲の対象物と同化して、壁面にヒビ割れ領域がほとんど存在していないように見える。ヒビ割れ着色部１２２は、生成したヒビ割れ領域を着色した状態の画像を情報・画像記憶部１３１に格納する。

次に、サーバ１の対象物領域推定部１２３は、ヒビ割れ着色部１２２により生成された、ヒビ割れ領域を着色した状態の画像に対して、対象物（図示の例では、壁面のタイル）が存在する対象物領域を対象物領域推定学習モデル１３３を用いて推定する処理を実行する（Ｓ１０４）。

図１３は、対象物領域推定部１２３によって推定された対象物領域を示す図である。対象物領域推定部１２３による対象物領域推定する処理により、着色したヒビ割れ領域が存在する分割領域の画像についても、画像中における対象物（図示の例では、壁面のタイル）が存在する領域が検出され、さらには、その領域における個々の対象物（タイル）の位置及び形状等が個別に検出される。なお、このステップＳ１０４の処理においては、対象物領域推定部１２３は、ヒビ割れ領域が推定されていない分割領域についても同様に、対象物（図示の例では、壁面のタイル）が存在する対象物領域を対象物領域推定学習モデル１３３を用いて推定する処理を実行する。対象物領域推定部１２３は、各々の分割領域について推定した対象物領域に関する情報を情報・画像記憶部１３１に格納する。

次に、サーバ１の重畳部１２４は、ヒビ割れ領域を着色した状態の画像（分割領域）において対象物領域推定部１２３によって推定された対象物領域に、ヒビ割れ推定部１２１によって推定されたヒビ割れ着色部１２２による着色処理前のヒビ割れ領域を重畳して、対象物領域におけるヒビ割れ領域を特定する処理を実行する（Ｓ１０５）。

重畳部１２４による上記重畳処理は、推定された対象物領域における着色されたヒビ割れ領域が存在する位置の上に、着色前の元のヒビ割れ領域が重なるように行われる。対象物領域推定部１２３による対象物領域推定する処理（Ｓ１０４）により、画像中における対象物（図示例ではタイル）が存在する領域と個々の対象物（タイル）の位置及び形状等が検出されているので、この重畳処理によれば、壁面上のヒビ割れ領域が存在する位置を単に検出するのではなく、壁面上のどの対象物（タイル）にヒビ割れ領域が存在しているのかを特定することができる。重畳部１２４は、この処理によって特定された対象物領域とヒビ割れ領域との関係（どの対象物（タイル）にヒビ割れ領域が存在しているのか等）を示す情報を情報・画像記憶部１３１に格納する。図１４は、推定された対象物領域に着色前の元のヒビ割れ領域が重畳された状態を示している。図１４に示す例では、ヒビ割れ領域が存在する２つのタイルが重畳処理によって特定され、他のタイルとは異なる明度で示されている。

次に、サーバ１のヒビ割れ形状解析部１２５は、ヒビ割れ推定部１２１によって推定されたヒビ割れ領域に基づいて、ヒビ割れ領域の形状（長さ及び幅等）を解析する処理を実行する（Ｓ１０６）。

ヒビ割れ形状解析部１２５は、一例として、上述したようにヘッセ行列を用いた手法によりヒビ割れ箇所の形状解析処理を行うように構成されており、その形状解析処理により、ヒビ割れ箇所の延伸方向及び長さと、ヒビ割れ箇所の幅とをヒビ割れ領域の形状に関する情報として取得し、取得したヒビ割れ領域の形状に関する情報を情報・画像記憶部１３１に格納する。図１５は図１４に示した対象物領域を拡大して示す図であり、図１５には推定されたヒビ割れ領域に基づいて生成されたスケルトンと、ヒビ割れ幅を評価して得られた実際のヒビ割れ領域に近い線状構造とが示されている。図１５では、ヒビ割れ形状解析部１２５による解析の結果取得された、ヒビ割れ箇所を構成する各セグメントの長さ及び幅に関する数値情報も併せて示されている。

最後に、ヒビ割れ推定部１２１は、上記ステップＳ１０２において原画像を複数の分割領域に分割する処理を実行していた場合には、分割した分割領域の画像を元の１つの検出対象画像に再構築する処理を実行する（Ｓ１０７）。

ヒビ割れ推定部１２１は、情報・画像記憶部１３１に格納した、各分割領域の画像が分割前の全体画像のどの部分に対応するかを示す情報に基づいて、それらの分割領域を元の１つの検出対象画像に再構築する。対象物領域が推定された各分割領域の画像のうち、ヒビ割れ領域が推定された分割領域では、上述した処理により、形状が解析されて特定されたヒビ割れ箇所が、推定された対象物領域の上に重畳される。

図１６は、対象物領域が推定された各分割領域によって再構築された元の１つの検出対象画像を示している。図１６において、明度が低い（黒に近い）色で示されたタイルは、対象物領域推定部１２３によって推定された対象物領域である。また、図１６には、検出対象の壁面のうち、窓枠部分の図示左側に位置する２つの対象物（タイル）に、長さ及び幅が特定された形状を有するヒビ割れ箇所が存在することが示されている。ヒビ割れ推定部１２１は、このように再構築された画像とその画像に関連する各種データとを、互いに関連付けて情報・画像記憶部１３１に格納する。再構築された画像に関連する各種データは、上記各処理により得られたデータ（推定された対象物領域（例えば、ＩＤが割り振られて管理されてもよい）、各対象物の位置及び形状、推定された対象物領域の数、ヒビ割れ箇所が存在する対象物領域（例えば、ＩＤが特定されて管理されてもよい）、ヒビ割れ箇所の形状（長さ及び幅）、ヒビ割れ箇所が存在する対象物領域の数（特に、長さまたは幅の少なくともいずれかが基準値を超えるヒビ割れ箇所が存在する対象物領域の数）等に関する情報）を含む。これらの画像及びその画像に関連する各種データは、端末２からの要求に応じてその一部または全部が端末２へ送信されてもよい。そして、画像及びその画像に関連する各種データは、ユーザが端末２の入出力部２４（例えばディスプレイ）を介して所定のユーザインタフェースにおいて閲覧可能であってもよい。特に、ヒビ割れ箇所が存在する対象物領域の数（特に、長さまたは幅の少なくともいずれかが基準値を超えるヒビ割れ箇所が存在する対象物領域の数）が確認可能となることで、修理の際に準備する新規の対象物の用意がスムーズとなる。なお、長さまたは幅の少なくともいずれかが基準値を超えるヒビ割れ箇所が存在する対象物領域の数の抽出は、処理部１２０においてヒビ割れの長さまたは幅の少なくともいずれかの値を対応する基準値と比較した結果に基づいて行われてもよいし、これに代えて、端末２上でヒビ割れに関するデータを受け取った後に、端末２上で同様の比較を行って抽出してもよい。

このように、本実施形態のサーバ１によれば、推定したヒビ割れ領域の周囲の色に少なくとも応じて原画像におけるヒビ割れ領域を着色し、ヒビ割れ領域を着色した画像に対して対象物が存在する対象物領域を推定する処理を行うことにより、ヒビ割れがある対象物（タイルやパネル等）であっても、そのヒビ割れにより分割された状態で検出されること等を防止して、対象物をより正確に検出することが可能となる。さらに、少なくとも推定した対象物領域とヒビ割れ領域の位置とを重畳して対象物領域におけるヒビ割れ領域を特定することにより、原画像において推定された対象物領域におけるヒビ割れ領域の位置のみならず、対象物領域におけるどの対象物にヒビ割れ領域が存在しているかについても推定することができる。

（変形例）
次に、本実施形態のサーバ１の変形例について説明する。

上述した実施形態では、サーバ１の重畳部１２４が、ヒビ割れ領域を着色した状態の画像（分割領域）において対象物領域推定部１２３によって推定された対象物領域に、ヒビ割れ推定部１２１によって推定されたヒビ割れ着色部１２２による着色処理前のヒビ割れ領域を重畳して、対象物領域におけるヒビ割れ領域を特定する処理を実行することを説明した（図８のステップＳ１０５）。本変形例は、このような重畳処理の代替となり得る処理を提供する。

本変形例では、サーバ１の重畳部１２４による重畳処理（図５のステップＳ１０５）に代えて、ヒビ割れ推定部１２１が、図８のステップＳ１０４の処理において対象物領域推定部１２３によって推定された対象物領域を対応付けた原画像に対して、図８のステップＳ１０２を参照して説明したヒビ割れ領域を推定する処理を再実行して、対象物領域におけるヒビ割れ領域を特定する。この処理によっても、重畳部１２４による重畳処理と同様に、原画像において推定された対象物領域におけるヒビ割れ領域の位置のみならず、対象物領域におけるどの対象物にそのヒビ割れ領域が存在しているかについても推定することができる。

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

１ 情報処理システム
２ 無人飛行体

Claims (12)

1. 構造物における一以上の区画された領域をなす対象物が映る原画像に対して当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
   推定した前記ヒビ割れ領域の周囲の色に少なくとも応じて、前記原画像における前記ヒビ割れ領域を着色するヒビ割れ着色部と、
   当該着色後の画像に対して前記対象物が存在する区画された対象物領域を推定する対象物領域推定部と、
   推定した前記対象物領域と前記ヒビ割れ領域の位置を重畳して前記対象物領域におけるヒビ割れ領域を特定する重畳部と、を備える、
   ことを特徴とする情報処理システム。
2. 構造物における一以上の区画された領域をなす対象物が映る原画像に対して当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
   推定した前記ヒビ割れ領域の周囲の色に少なくとも応じて、前記原画像における前記ヒビ割れ領域を着色するヒビ割れ着色部と、
   当該着色後の画像に対して前記対象物が存在する区画された対象物領域を推定し、推定した前記対象物領域を対応づけた前記原画像に対してヒビ割れ領域の推定を再実行し、前記対象物領域におけるヒビ割れ領域を特定する対象物領域推定部と、を備える、
   ことを特徴とする情報処理システム。
3. 特定された前記対象物領域における前記ヒビ割れ領域に対して、ヒビ割れ形状の解析を実行するヒビ割れ形状解析部をさらに備える、
   ことを特徴とする請求項１または２に記載の情報処理システム。
4. 前記ヒビ割れ推定部は、前記原画像を二以上の分割画像に分割し、各分割画像に対してヒビ割れ領域を推定する、
   ことを特徴とする請求項１または２に記載の情報処理システム。
5. 前記ヒビ割れ着色部は、推定された前記ヒビ割れ領域を拡大させた拡大領域を生成し、当該拡大領域内の色情報に基づき統計的に決定された色で前記ヒビ割れ領域を着色する、
   ことを特徴とする請求項１または２に記載の情報処理システム。
6. 前記ヒビ割れ着色部は、前記対象物の色情報を取得し、当該色情報に一致または略一致した色で前記ヒビ割れ領域を着色する、
   ことを特徴とする請求項１または２に記載の情報処理システム。
7. 処理部を有するコンピュータに情報処理を実行させるプログラムであって、
   前記プログラムは、前記処理部に、
   構造物における一以上の区画された領域をなす対象物が映る原画像に対して当該対象物におけるヒビ割れ領域を推定することと、
   推定した前記ヒビ割れ領域の周囲の色に少なくとも応じて、前記原画像における前記ヒビ割れ領域を着色することと、
   当該着色後の画像に対して前記対象物が存在する区画された対象物領域を推定することと、
   推定した前記対象物領域と前記ヒビ割れ領域の位置を重畳して前記対象物領域におけるヒビ割れ領域を特定することと、
   を実行させる、プログラム。
8. 処理部を有するコンピュータに情報処理を実行させるプログラムであって、
   前記プログラムは、前記処理部に、
   構造物における一以上の区画された領域をなす対象物が映る原画像に対して当該対象物におけるヒビ割れ領域を推定することと、
   推定した前記ヒビ割れ領域の周囲の色に少なくとも応じて、前記原画像における前記ヒビ割れ領域を着色することと、
   当該着色後の画像に対して前記対象物が存在する区画された対象物領域を推定し、推定した前記対象物領域を対応づけた前記原画像に対してヒビ割れ領域の推定を再実行し、前記対象物領域におけるヒビ割れ領域を特定することと、
   を実行させる、プログラム。
9. ヒビ割れ推定部により、構造物における一以上の区画された領域をなす対象物が映る原画像に対して当該対象物におけるヒビ割れ領域を推定するステップと、
   ヒビ割れ着色部により、推定した前記ヒビ割れ領域の周囲の色に少なくとも応じて、前記原画像における前記ヒビ割れ領域を着色するステップと、
   対象物領域推定部により、当該着色後の画像に対して前記対象物が存在する区画された対象物領域を推定するステップと、
   重畳部により、推定した前記対象物領域と前記ヒビ割れ領域の位置を重畳して前記対象物領域におけるヒビ割れ領域を特定するステップと、
   をコンピュータにおいて実行する、情報処理方法。
10. ヒビ割れ推定部により、構造物における一以上の区画された領域をなす対象物が映る原画像に対して当該対象物におけるヒビ割れ領域を推定するステップと、
    ヒビ割れ着色部により、推定した前記ヒビ割れ領域の周囲の色に少なくとも応じて、前記原画像における前記ヒビ割れ領域を着色するステップと、
    対象物領域推定部により、当該着色後の画像に対して前記対象物が存在する区画された対象物領域を推定し、推定した前記対象物領域を対応づけた前記原画像に対してヒビ割れ領域の推定を再実行し、前記対象物領域におけるヒビ割れ領域を特定するステップと、
    をコンピュータにおいて実行する、情報処理方法。
11. 構造物における一以上の区画された領域をなす対象物が映る原画像に対して当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
    推定した前記ヒビ割れ領域の周囲の色に少なくとも応じて、前記原画像における前記ヒビ割れ領域を着色するヒビ割れ着色部と、
    当該着色後の画像に対して前記対象物が存在する区画された対象物領域を推定する対象物領域推定部と、
    推定した前記対象物領域と前記ヒビ割れ領域の位置を重畳して前記対象物領域におけるヒビ割れ領域を特定する重畳部と、を備える、
    ことを特徴とするサーバ。
12. 構造物における一以上の区画された領域をなす対象物が映る原画像に対して当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
    推定した前記ヒビ割れ領域の周囲の色に少なくとも応じて、前記原画像における前記ヒビ割れ領域を着色するヒビ割れ着色部と、
    当該着色後の画像に対して前記対象物が存在する区画された対象物領域を推定し、推定した前記対象物領域を対応づけた前記原画像に対してヒビ割れ領域の推定を再実行し、前記対象物領域におけるヒビ割れ領域を特定する対象物領域推定部と、を備える、
    ことを特徴とするサーバ。

Images