JP7842615B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、検査対象を撮影した画像から変状を検出する技術に関する。

特許文献１には、コンクリート構造物の壁面などの検査対象を撮影した画像について画像認識処理または画像解析処理を行い、ひび割れなどの変状を検出する方法が記載されている。

特許第６０２９８７０号公報

検査対象を撮影した画像（処理対象の画像）の画像認識処理または画像解析処理は、変状の種類が多いほど多くの処理コストが発生するため、全ての処理対象の画像について変状検出処理を実行するのは非常に高コストとなってしまう。よって、処理対象の画像ごとに優先して検出する変状を選択できれば、処理コストを低減する手段として有用になると考えられる。

本発明は、上記課題に鑑みてなされ、その目的は、処理対象の画像ごとに優先して検出する変状を選択できる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の情報処理装置は、処理対象の画像に対応する属性情報を取得する取得手段と、検査対象の点検日時、構造物、変状種別および変状数量に関する点検履歴情報を記憶する記憶手段と、前記検査対象の構造物に基づいて前記処理対象の画像に対して少なくとも１つの変状を検出対象として設定する設定手段と、前記設定手段により設定された検出対象を表示する表示手段と、前記処理対象の画像に対応する属性情報と前記記憶手段に記憶されている点検履歴情報とに基づいて前記検出対象の中から優先して検出する優先検出対象を選択する選択手段と、前記表示手段に表示されている検出対象に対して前記優先検出対象に選択されていることを示す所定の情報を表示する表示制御手段と、前記処理対象の画像に対して前記優先検出対象として選択されている検出対象の変状検出処理を実行する検出処理手段と、を有し、前記表示制御手段は、前記優先検出対象に選択されている検出対象を変更可能に表示すると共に、前記検出対象に関する複数の点検履歴情報を表示し、前記優先検出対象は、前記表示手段に表示されている検出対象または前記検出対象に関する点検履歴情報を選択することにより変更可能である。

本発明によれば、処理対象の画像ごとに優先して検出する変状を選択できるようになる。

本発明に係る実施形態の概要説明図。 実施形態１の情報処理装置のハードウェア構成を示すブロック図（ａ）および機能ブロック図（ｂ）。 実施形態１の概要説明図。 実施形態１の制御処理を説明するフローチャート。 処理対象のデータ取得方法を説明する図。 検出対象の設定方法を説明する図。 優先検出対象の選択方法を説明する図。 優先検出対象の選択方法を説明する図。 優先検出対象の選択画面を例示する図。 優先検出対象の選択画面を例示する図。 実施形態２の情報処理装置の機能ブロック図。 実施形態２の制御処理を説明するフローチャート。 検出対象の選択情報とコストを表示する画面を例示する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
以下では、本発明の情報処理装置を、コンクリート構造物などのインフラ構造物の点検に用いられるコンピュータ装置に適用した実施形態について説明する。

実施形態１では、コンピュータ装置が情報処理装置として動作し、検査対象を撮影した画像から変状を検出する際に、変状検出処理にかかるコストを考慮して処理対象の画像ごとに優先して検出する変状を選択できるように構成した例について説明する。

なお、本実施形態において、「検査対象」とは、自動車専用道路、橋梁、トンネル、ダムなどの点検を行う対象のコンクリート構造物である。情報処理装置は、ユーザが検査対象を撮像した画像を用いてひび割れなどの変状の有無や状態を検出する変状検出処理を行う。また、「変状」とは、例えば、コンクリート構造物の場合、コンクリートのひび割れや浮き、剥落である。その他、エフロレッセンス（白華現象）、鉄筋露出、錆、漏水、水垂れ、腐食、損傷（欠損）、コールドジョイント、析出物、ジャンカなどを含む。

＜概要説明＞まず、図１を参照して、本実施形態の変状検出処理の概要について説明する。

コンクリート構造物の壁面には、経年劣化や地震の衝撃などによりひび割れをはじめとする様々な種類の変状が発生する。

図１（ａ）は、検査対象の例として橋梁の壁面を撮影した画像１０１を例示している。検査対象を撮影した画像（処理対象の画像）１０１には、ひび割れ１０２、腐食１０３およびエフロレッセンス１０４が映っている。変状検出処理では、処理対象の画像１０１から、変状の位置や形状などをデータ化した変状データが作成され、処理対象の画像１０１と関連付けて記録される。変状データを作成する方法は、例えば、ＡＩ（人口知能）の機械学習や深層学習により作成された学習済みモデルを用いて画像から各変状を検出することによって変状データを取得する方法が挙げられる。

学習済みモデルを用いて画像から変状を検出する処理は、変状の種類が多いほど多くのコストが発生する。特に、インフラ構造物については、数１０ｍ規模の構造物に発生する微細なひび割れなどを検出するため、高精細に撮影した大きなサイズの画像が用いられる。そのため、多数の種類の変状データを作成するためのコストが非常に高くなる。

そこで、本実施形態の情報処理装置は、処理対象の画像に応じて検出対象の変状を選択して変状検出処理を実行する。本実施形態の情報処理装置は、検出対象として設定された変状の中から優先して検出する優先検出対象の変状の初期値を選択する。優先検出対象を選択する方法として、例えば、点検履歴情報を用いる方法が挙げられる。図１（ｂ）は、過去（例えば５年前）に画像１０１と同一の橋梁かつ同一の範囲を撮影した画像１１１である。そして、図１（ｃ）は、画像１１１から検出した変状データ１２１を例示している。変状データ１２１には、３種類の変状データとして、ひび割れデータ１２２、腐食データ１２３、エフロレッセンスデータ１２４が含まれる。このように過去の点検で記録した変状種別（ひび割れ、腐食、エフロレッセンス）が優先検出対象として選択される。図１（ｄ）は、優先検出対象の選択画面１３１を例示している。選択画面１３１には、検出対象１３２の中から３つの変状が優先検出対象１３３として選択されている。このように、本実施形態の情報処理装置は、処理対象の画像の点検履歴情報に応じて検出対象１３２の中から優先して検出する優先検出対象１３３の初期値を選択することができる。なお、優先検出対象の初期値は、ユーザが任意に変更可能である。そして、ユーザにより選択画面１３１の検出実行ボタン１３４が操作されると変状検出処理が実行される。図１（ｅ）は、変状検出処理結果１４１を例示している。変状検出処理結果１４１には、ひび割れデータ１４２、腐食データ１４３、エフロレッセンスデータ１４４が含まれる。このように、処理対象の画像に応じて検出対象とする変状を選択可能に表示することで、コストを考慮した変状検出処理を実行することができるようになる。

＜ハードウェア構成＞次に、図２（ａ）を参照して、実施形態１の情報処理装置のハードウェア構成について説明する。

図２（ａ）は、実施形態１の情報処理装置２００のハードウェア構成を示すブロック図である。

実施形態１では、コンピュータ装置が情報処理装置２００として動作する。なお、本実施形態の情報処理装置の処理は単一のコンピュータ装置で実現してもよいし、必要に応じて複数のコンピュータ装置に各機能を分散して実現してもよい。複数のコンピュータ装置は、互いに通信可能に接続されている。

情報処理装置２００は、制御部２０１、不揮発性メモリ２０２、ワークメモリ２０３、記憶デバイス２０４、入力デバイス２０５、出力デバイス２０６、ネットワークインターフェース２０７、システムバス２０８を備える。

制御部２０１は、情報処理装置２００の全体を統括して制御するＣＰＵ、ＭＰＵなどの演算処理プロセッサを含む。不揮発性メモリ２０２は、制御部２０１のプロセッサが実行するプログラムやパラメータを格納するＲＯＭである。ここで、プログラムとは、後述する実施形態１、２の処理を実行するためのプログラムのことである。ワークメモリ２０３は、外部装置などから供給されるプログラムやデータを一時記憶するＲＡＭである。ワークメモリ２０３は、後述する図４の制御処理を実行したことにより得られたデータを保持する。

記憶デバイス２０４は、情報処理装置２００に内蔵されたハードディスクやメモリカードなどの内部機器または情報処理装置２００に着脱可能に接続されたハードディスクやメモリカードなどの外部機器である。記憶デバイス２０４は、半導体メモリや磁気ディスクなどから構成されるメモリカードやハードディスクなどを含む。また、記憶デバイス２０４は、ＤＶＤ、Ｂｌｕｅ－ｒａｙ Ｄｉｓｃなどの光ディスクに対してデータの読み出し／書き込みを行うディスクドライブから構成される記憶媒体を含む。

入力デバイス２０５は、ユーザ操作を受け付けるマウス、キーボード、タッチパネルなどの操作部材であり、操作指示を制御部２０１に出力する。出力デバイス２０６は、ＬＣＤや有機ＥＬから構成されるディスプレイやモニタなどの表示装置であり、情報処理装置２００が保有するデータや外部機器から供給されたデータを表示する。ネットワークインターフェース２０７は、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークに通信可能に接続する。システムバス２０８は、情報処理装置２００の各構成要素２０１～２０７をデータの授受が可能に接続するアドレスバス、データバス及び制御バスを含む。

不揮発性メモリ２０２には、制御部２０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）や、このＯＳと協働して応用的な機能を実現するアプリケーションが記録されている。また、本実施形態では、不揮発性メモリ２０２には、情報処理装置２００が、後述する制御処理を実現するアプリケーションが格納されている。

本実施形態の情報処理装置２００の制御処理は、アプリケーションにより提供されるソフトウェアを読み込むことにより実現される。なお、アプリケーションは情報処理装置２００にインストールされたＯＳの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、情報処理装置２００のＯＳが本実施形態における制御処理を実現するためのソフトウェアを有していてもよい。

＜機能構成＞次に、図２（ｂ）を参照して、実施形態１の情報処理装置２００の機能ブロックについて説明する。

図２（ｂ）は、実施形態１の情報処理装置２００の機能ブロック図である。

情報処理装置２００は、記憶部２２１、管理部２２２、データ取得部２２３、検出対象設定部２２４、優先検出対象選択部２２５、表示制御部２２６および検出処理部２２７を有する。情報処理装置２００の各機能は、ハードウェアおよび／またはソフトウェアにより構成される。なお、各機能部が、１つまたは複数のコンピュータ装置やサーバ装置で構成され、ネットワークにより接続されたシステムとして構成されてもよい。また、図２（ｂ）に示す各機能部をソフトウェアにより実現する代わりに、ハードウェアにより構成する場合には、図２（ｂ）の各機能部に対応する回路構成を備えていればよい。

管理部２２２は、記憶部２２１に記憶されている、処理対象の画像データや点検履歴情報などの登録、削除および更新などの管理を行う。

データ取得部２２３は、処理対象の画像データを取得する。

検出対象設定部２２４は、記憶部２２１に記憶されている点検履歴情報に基づいて少なくとも１つの変状を検出対象として設定する。

優先検出対象選択部２２５は、検出対象の変状の中から優先して検出する優先検出対象の変状を選択する。

表示制御部２２６は、処理対象の画像、検出対象、検出対象の選択情報および点検結果などの表示データを作成して出力デバイス２０６に出力し、出力デバイス２０６は表示データに基づく画像を表示部に表示する。

検出処理部２２７は、処理対象の画像データに対して優先検出対象として選択されている検出対象の変状検出処理を実行する。

データ取得部２２３、検出対象設定部２２４、優先検出対象選択部２２５、表示制御部２２６および検出処理部２２７の処理および機能の詳細は図４で後述する。

＜点検履歴情報の説明＞次に、図３を参照して、本実施形態の情報処理装置２００の制御処理に用いられる点検履歴情報について説明する。

本実施形態の点検履歴情報は、検査対象である構造物に関する属性情報、検査対象である構造物の部材ごとの点検結果、処理対象の画像データ、変状に関する属性情報を含み、それらが関連付けて管理される。

図３は、本実施形態の点検履歴情報の一例として、インフラ構造物の点検履歴情報を示している。

図３（ａ）の構造物テーブル３０１は、点検対象の構造物に関する属性情報を保持するテーブルである。構造物テーブル３０１において、構造物ＩＤは構造物情報を識別する一意な識別情報であり、構造物ＩＤごとに、構造物名、構造種別、設置場所、竣工日の各項目を有する。また、構造物テーブル３０１は、他の属性情報として、例えば、構造物の規模を示す全長や高さ、設置場所に関する海岸からの距離や標高といった項目を保持してもよい。また、構造物種別ごとに追加の属性情報を保持してもよい。

図３（ｂ）の部材点検結果テーブル３１１は、構造物の部材単位での点検結果を保持するテーブルである。部材点検結果テーブル３１１において、部材点検ＩＤは点検結果を識別する識別情報であり、部材点検ＩＤごとに、点検日、部材名、部材種別、構造物ＩＤ、部材損傷度、部材健全度の各項目を有する。部材点検結果テーブル３１１は、構造物ＩＤにより構造物テーブル３０１と関連付けられている。なお、部材点検結果テーブル３１１は、点検結果に関する他の情報を項目として保持してもよい。

図３（ｃ）の画像テーブル３２１は、構造物の壁面を撮影した画像データを管理するテーブルである。画像テーブル３２１は、部材点検ＩＤにより部材点検結果テーブル３１１と関連付けられている。構造物の壁面を撮影した画像データは、図面（例：構造物展開図）と対応付けて管理されていることが望ましい。そこで、画像テーブル３２１は、各画像データの図面での位置関係を示す座標値を保持する。例えば画像ＩＤがＩＭＧ００１の画像データは、図面の左上頂点座標と右下頂点座標としてそれぞれ（Ｘｕｌ００１，Ｙｕｌ００１）と（Ｘｂｒ００１，Ｙｂｒ００１）を有する。このように、処理対象の画像ごとに図面の頂点座標を保持することにより、後述する変状データと画像データとの対応関係を求めることができる。なお、画像テーブル３２１は、画像データに関する他の属性情報を保持してもよい。

図３（ｄ）の変状テーブル３３１は、構造物の壁面を撮影した画像データを用いて検出された構造物の壁面に発生した変状の図面での位置や形状などに関する変状データを管理するテーブルである。変状テーブル３３１における座標列と数値列は、変状データを構成する複数の座標値と、その座標における変状の幅を表す属性値である。例えば、ひび割れＣ００１は、（Ｘｃ００１＿１，Ｙｃ００１＿１）から（Ｘｃ００１＿ｎ，Ｙｃ００１＿ｎ）のｎ点からなる連続画素で表されている。本実施形態では、変状データは画素で表現されているものとするが、複数点から構成されるポリラインや曲線などのベクターデータで表現されてもよい。変状データをベクターデータで表現する場合、データ容量が減少し、より簡略的な表現となる。

本実施形態の情報処理装置２００は、上記点検履歴情報を用いて、処理対象の画像から検出された変状の種別や数量、時系列の変状発生推移を取得することができる。

＜制御処理＞次に、図４を参照して、本実施形態における情報処理装置２００の制御処理を示すフローチャートである。

図４の処理は、図２（ａ）に示す情報処理装置２００の制御部２０１が不揮発性メモリ２０２に格納されているプログラムをワークメモリ２０３に展開して実行することにより、図２（ａ）に示す各構成要素を制御して図２（ｂ）に示す各機能部として動作することにより実現される。また、図４の処理は、情報処理装置２００が入力デバイス２０５により変状検出処理を開始する指示を受け付けると開始される。

＜Ｓ４０１：処理対象データの取得処理＞
データ取得部２２３が処理対象の画像データを取得する処理を行う。本実施形態では、コンクリート構造物の壁面を撮影した画像データを処理対象データとして取得するものとする。処理対象データの取得方法は、例えば、ユーザ操作を受け付ける画面を表示し、ユーザの操作指示に応じて処理対象データを取得する方法が挙げられる。ユーザの操作指示に応じた処理対象データの取得処理について、図５を用いて説明する。

図５（ａ）は、処理対象データの入力を受け付ける画面５０１を例示している。画面５０１において画像の入力を受け付けた後、入力完了ボタン５０２の操作に応じて、データ取得部２２３が処理対象データを取得する。図５（ｂ）は、画面５０１において入力される画像５１１を例示している。画像５１１はコンクリート構造物の壁面を撮影した画像であり、ひび割れ５１２，腐食５１３，エフロレッセンス５１４が含まれている。なお、図中のエフロは、エフロレッセンスの略称である。

処理対象データの取得処理において、撮影した構造物に関する属性情報などを追加で取得してもよい。図５（ｃ）は、処理対象データに関する属性情報と画像の入力を受け付ける画面５２１を例示している。画面５２１において入力を受け付けた後、入力完了ボタン５２５の操作に応じて、データ取得部２２３は、画像の取得日５２２、撮影対象の構造物名５２３、撮影対象の部材種別５２４を処理対象データに関する属性情報と画像を取得する。構造物名５２３や部材種別５２４の選択肢は、予め記憶部２２１に記憶しておき、管理部２２２が記憶部２２１から取得することで画面５２１に表示することができる。記憶部２２１に記憶されていない属性情報を取得する場合には、図５（ｄ）に例示する画面５３１のように、各種属性情報の入力を受け付ける画面を表示する方法を用いることができる。データ取得処理において、処理対象データの画像認識結果または画像解析結果を属性情報として取得してもよい。例えば、画像認識処理または画像解析処理により平均画素値や分散値などを算出し、処理対象データに関する属性情報として取得することができる。

＜Ｓ４０２：検出対象の設定処理＞
検出対象設定部２２４が検出対象の変状種別を設定する処理を行う。検出対象を設定する方法として、例えば、予め記憶部２２１に記憶している変状種別情報を管理部２２２が取得して検出対象に設定する方法が挙げられる。図６（ａ）は、検出対象６０１を例示している。

検出対象の設定処理において、処理対象の画像に応じて検出対象を切り替えるようにしてもよい。例えば、構造物の種別ごとに異なる変状種別一覧を記憶部２２１に記憶しておき、検出対象設定部２２４が、処理対象の画像に関する属性情報の構造物種別に応じて変状種別一覧を取得し検出対象に設定する。図６（ｂ）は、構造物種別ごとの検出対象を例示している。検出対象６１１、６１２はそれぞれ橋梁向けとトンネル向けの検出対象を例示している。このように、処理対象の画像の属性情報に基づいて検出対象を切り替えることが望ましい。なお、処理対象の画像の属性情報に応じて検出対象を切り替える場合、Ｓ４０１において処理対象の画像の属性情報を取得しておく必要がある。

＜Ｓ４０３：優先検出対象の選択処理＞
優先検出対象選択部２２５が、優先して検出する変状種別を優先検出対象として選択する処理を行う。優先検出対象の選択方法として、例えば、点検対象の構造物の点検履歴情報を用いる方法が挙げられる。優先検出対象の選択処理を図７および図８を用いて説明する。

図７（ａ）は、処理対象の画像に関する属性情報７０１を例示している。属性情報７０１は、Ｓ４０１で処理対象画像と共に取得することができる。図７（ｂ）は、構造物の部材ごとの点検結果を示す点検履歴情報７１１を例示している。点検履歴情報７１１は、部材に発生している変状種別および変状種別ごとの数量を項目として保持している。優先検出対象の変状種別を選択する場合、まず、点検履歴情報７１１の中で構造物名および部材種別が属性情報７０１と一致する行を検索する。次に、検索結果のうち点検日が属性情報７０１の取得日に最も近い行を絞り込む。図７（ｃ）は、絞り込みにより得られた点検履歴情報７２１を例示しており、点検履歴情報７２１の変状種別が優先検出対象として選択される。図７（ｄ）は、優先検出対象として選択された変状種別７３１を例示している。このように、前回の点検で発生した変状種別を点検履歴情報から取得して優先検出対象として選択することができる。

優先検出対象の選択処理において、処理対象の画像に応じて使用する点検履歴情報を変更してもよい。例えば、処理対象の画像に関する構造物全体の全ての変状種別を優先検出対象として選択してもよい。また、処理対象の画像の属性情報と同一構造物名かつ同一部材内で発生した変状のうち、撮影範囲内で発生した過去の変状のみを優先検出対象として選択してもよい。過去の点検で検出された変状データの図面での位置は、図３（ｄ）に示す座標情報として記憶部２２１に記憶されている。また、処理対象の画像の図面での位置は、データ取得部２２３が処理対象の画像と共に画像に関する属性情報として追加取得することができる。このように、過去の点検で発生した変状の図面での位置と、処理対象の画像の図面での位置が得られるため、処理対象の画像の撮影範囲内で発生した変状のみを優先検出対象として選択できる。

点検履歴情報を用いた優先検出対象の選択処理において、点検対象の構造物とは異なる構造物の点検履歴情報を用いてもよい。例えば、処理対象の画像に関する属性情報および点検履歴情報がそれぞれ図８（ａ）、図８（ｂ）であるものとする。図８（ｂ）の点検履歴情報８１１は、図８（ａ）の属性情報８０１の構造物名と同一の点検履歴情報を含まない。このような場合、点検対象の構造物と類似した構造物の点検履歴情報を用いることができる。詳しくは、点検履歴情報８１１のうち、構造物種別および部材種別が属性情報８０１と一致する行を検索する。検索結果のうち、点検時利用年数が属性情報８０１の利用年数に最も近い行を絞り込む。図８（ｃ）は、絞り込みにより得られた点検履歴情報８２１を例示している。そして、点検履歴情報８２１の変状種別が優先検出対象の初期値として選択される。図８（ｄ）は、優先検出対象８３１を例示している。このように、点検対象の構造物と類似した構造物の点検履歴情報に基づいて優先検出対象を選択することができる。なお、点検対象の構造物と類似度の高い構造物を判定する方法として、構造物種別と部材種別がどちらも一致することを条件とした例を説明したが、これに限らず、他の属性情報を用いてもよい。例えば、構造物の全長や設置場所といった情報を用いてもよい。また、複数の項目を用いて、最も項目の一致数の多い構造物を最も類似する構造物とみなしてもよい。また、類似する構造物を判定する際に、構造物壁面の変状の発生状況に基づいて類似度を判定してもよい。詳しくは、時系列の変状種別および変状種別ごとの数量を点検履歴情報から算出し、変状発生推移に基づいて類似度を算出して最も類似する構造物を判定してもよい。

優先検出対象の選択処理は、上述した方法に限らず、他の方法を用いてもよい。例えば、優先検出対象となる変状種別を予め記憶部に２２１に記憶しておき、優先検出対象選択部２２５が記憶部２２１から取得し選択する方法でもよい。特殊なインフラ構造物の点検では、特定の変状の有無を毎回確認したい場合がある。このような場合には、固定の変状種別を優先検出対象として登録しておくことが望ましい。優先検出対象を事前に登録しておく方法には、特定の変状種別（例：ひび割れ、エフロレッセンス）を登録してもよいし、ユーザによる入力を受け付ける方法を用いてもよい。図８（ｅ）は、本実施形態の処理を実装したアプリケーションにより提供される優先検出対象の入力を受け付ける画面であり、ユーザごとに優先検出対象の初期値を登録する画面８４１を例示している。画面８４１において、ユーザが検出対象８４２のいずれかを選択状態としてＯＫボタン８４３を操作すると、優先検出対象選択部２２５は、選択状態とされた検出対象８４２をユーザ８４４の優先検出対象の初期値として登録する。このように、ユーザによる入力を受け付ける方法を用いる場合、本実施形態の処理を実装するアプリケーションに関するプロパティに関連付けて登録することが望ましい。なお、優先検出対象の初期値を登録するプロパティとして、他のプロパティを用いてもよい。例えば、複数のユーザを管理するユーザグループに対して優先検出対象の初期値を登録してもよいし、アプリケーションで画像を管理する画像グループに対して優先検出対象の初期値を登録してもよい。

＜Ｓ４０４：検出対象の選択情報の表示処理＞
表示制御部２２６が、検出対象が優先検出対象に選択されていることを示す選択情報を表示するための表示データを作成し表示する処理を行う。本実施形態において、検出対象の選択情報は、Ｓ４０３で選択された優先検出対象に基づいて作成される。詳しくは、表示制御部２２６は、Ｓ４０２で設定された検出対象の中から変状種別を１つ選択し、Ｓ４０３で選択された優先検出対象に含まれるか否かを判定する。表示制御部２２６は、選択した検出対象の変状種別が優先検出対象に含まれると判定した場合、その変状種別が優先検出対象として選択済みであると判定する。この判定処理を検出対象の全ての変状種別に対して繰り返し行うことで、検出対象の選択情報の初期値を設定する。図９（ａ）は、検出対象９０２の選択情報を表示する画面９０１を例示している。検出対象９０２において、選択済みの変状種別９０３は、優先検出対象として選択された検出対象の変状種別に対応する。なお、画面９０１では、検出対象９０２の選択情報と共に処理対象の画像９０４が表示されている。このように処理対象の画像を表示することで、ユーザが優先検出対象の選択が適切であるか（処理対象の画像に応じた検出対象が選択されているか）否かを判定しやすくなる。

Ｓ４０４で表示される画面は、検出対象の選択情報の変更を受け付ける機能を有していることが望ましい。例えば、画面９０１において、「浮き」を検出対象として追加したい場合、ユーザはチェックボックス９０５をチェックして選択情報を更新できる。また、表示制御部２２６が作成する表示データは、検出対象の選択情報を初期値に戻すリセット機能を有していることが望ましい。例えば、画面９０１において、検出対象の選択情報を変更した後に、チェックボックス９０６をチェックすることで、検出対象９０２の選択情報がＳ４０３で選択された優先検出対象の初期値に戻される。

また、Ｓ４０４で表示される画面は、点検履歴情報が表示されることが望ましい。図９（ｂ）は、検出対象９１２および処理対象の画像９１３と、処理対象の画像９１３と同一の撮影範囲における過去の点検結果９１４が表示された画面９１１を例示している。過去の点検結果９１４は、例えば、前回（例：５年前）の点検で撮影した画像と変状データとを重畳することにより作成することができる。このように、点検履歴情報を表示することにより、ユーザは優先検出対象の選択が適切か否かを判定しやすくなる。なお、表示する点検履歴情報として、点検履歴情報に基づいて算出した時系列データを表示してもよい。図９（ｃ）は、検出対象９２２の選択情報と、各変状の発生量を点検時期ごとに集計して時系列データとしたグラフ９２３が表示された画面９２１を例示している。このように、点検履歴情報に関する時系列データを表示することにより、ユーザは経年変化に伴う変状の増加傾向を確認しやすくなる。

なお、Ｓ４０４において優先検出対象の選択が適切でなかった場合、ユーザは検出対象の変状種別を再度選択することができる。このような場合、検出対象の選択情報を一括で切り替える機能を設けることが望ましい。検出対象の選択情報を切り替える方法は、例えば、複数の点検履歴情報を表示し、その中からユーザが選択する方法が挙げられる。図１０（ａ）は、検出対象１００２の選択情報、点検構造物の変状発生推移１００３、点検対象とは異なる類似構造物の変状発生推移１００４，１００５が表示された画面１００１を例示している。ここで、検出対象１００２から選択された優先検出対象の初期値は、類似構造物の変状発生推移１００４に応じた優先検出対象として選択されたものとする。画面１００１において、点検構造物の変状発生推移１００３と類似構造物の変状発生推移１００４は、属性情報の一致度が高いにもかかわらず大きく異なる。このような場合、複数の構造物の変状発生推移を同時に表示してユーザが選択することで、検出対象を切り替えることが望ましい。例えば、画面１００１において、ユーザが点検構造物の変状発生推移１００３に近い変状発生推移１００５を選択すると、表示制御部２２６は、ユーザの選択操作を受け付け、優先検出対象選択部２２５は、ユーザの選択指示に基づいて優先検出対象の選択処理を行う。そして、表示制御部２２６が再選択された優先検出対象に応じて検出対象の選択情報を変更した表示データを作成し表示する（図１０（ｂ）の画面１０１１）。このように、検出対象の選択情報を一括で切り替えることが望ましい。

＜Ｓ４０５：変状検出処理＞
検出処理部２２７が処理対象の画像データに対して優先検出対象の変状検出処理を実行する。変状検出処理の実行を開始する方法として、例えば、ユーザの指示に基づく方法が挙げられる。例えば、検出対象９０５の選択情報９０３を表示する図９（ａ）の画面９０１において、ユーザが検出実行ボタン９０７を操作すると、検出処理部２２７は、処理対象の画像データに対して、画面９０１で選択済みの変状種別９０３について検出処理を実行する。検出処理の実行には、例えば、機械学習により学習した学習済みモデルを用いることができる。学習済みモデルを用いて検出処理を実行する場合、学習済みモデルの選択や多数のパラメータの指定が必要となる。学習済みモデルやパラメータの指定方法は、変状種別ごとに予め定めた既定の学習済みモデルおよびパラメータを用いてもよいし、処理対象の画像特性に応じて学習済みモデルやパラメータを切り替えて指定してもよい。また、検出処理を実行するにあたり、ユーザが学習済みモデルやパラメータを指定するようにしてもよい。

そして、Ｓ４０５で検出処理を実行した後、表示制御部２２６は、検出処理結果を示す表示データを表示して図４の処理を終了する。

［実施形態１の変形例］
上述した実施形態１では、処理対象の画像データに応じて検出対象の変状の中から優先して検出する優先検出対象の変状を選択して表示した後、ユーザ指示に応じて変状検出処理を実行する例を説明した。多数の画像に対して変状検出処理を実行する場合、処理対象の画像ごとに検出対象の選択情報を確認することは非常に手間がかかる。このような場合、ユーザ指示なしで検出処理を実行してもよい。詳しくは、Ｓ４０１において処理対象の画像データを取得し、検出対象の設定処理および優先検出対象の選択処理を行う。その後、検出対象の選択情報を表示すると共に、自動で検出処理を開始する。変状検出処理の開始後は、変状検出処理の進捗状況と共に処理対象の画像ごとの優先検出対象の変状をユーザが確認する。このように、ユーザ指示を待たずに変状検出処理を実行することにより、ユーザによる変状検出処理に関する操作を効率化することができる。

また、上述した実施形態１では、処理対象の画像に応じて優先して検出する変状を選択し検出処理を実行する例を説明した。多種類の変状を検出する場合、処理時間が増加してしまい、ユーザは検出結果を閲覧するまで待たされることになる。そのような場合、検出処理を行う変状に優先順位を設けることが望ましい。例えば、検出対象とする変状のうち、優先検出対象と同一の変状を優先して検出処理を行い、優先検出対象と同一の変状の検出結果を表示し、ユーザが確認できるようにする。そして、ユーザが確認している間に、残りの変状に対する検出処理を行う。このように、検出処理を行う変状の優先順位を設けることにより、ユーザが優先して確認したい変状の有無を確認することができる。

以上説明した実施形態１によれば、処理対象の画像に応じて検出対象の変状の中から優先して検出する優先検出対象の変状が選択され表示されることにより、ユーザは変状検出処理に要するコストなどを考慮しながら、優先検出対象として選択された変状が適切か否かを確認した上で変状検出処理を実行することができる。

［実施形態２］
実施形態１では、処理対象の画像に応じて検出対象の変状を選択、表示し、検出処理を実行する例を説明したが、検出対象の選択情報を確認する際にユーザが変状検出処理に要するコストを同時に確認できることが望ましい。実施形態２におけるコストの例として、変状検出処理に要する費用（金額）が挙げられる。そして、実施形態２では、検出対象の選択情報と変状検出処理に要するコストを表示することにより、ユーザはコストを考慮しながら検出対象の変状を確認し変更しやすくなる。

以下では、実施形態１と異なる部分を中心に説明する。なお、実施形態２では、検出処理量に応じた従量課金型の有償アプリケーションを使用した例を説明するが、実施形態２の処理を実装するアプリケーションおよびサービスは他の形態を用いてもよい。例えば、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）のようなクラウド型のサービスの形態で実装することもできる。

実施形態２の情報処理装置２００のハードウェア構成は、図２（ａ）と同様である。

図１１は、実施形態２の情報処理装置２００の機能ブロック図である。図１１の機能構成は、実施形態１の図２（ｂ）に示した機能構成に対して、算出部１１０１が追加されている点が異なる。算出部１１０１は、制御部２０１の機能部であって、検出処理に関するコストを算出する処理を行う。なお、実施形態２における表示制御部２２６は、検出対象の選択情報と、算出部１１０１が算出するコストを表示するための表示データを作成する。

図１２は、実施形態２の情報処理装置２００の処理を示すフローチャートである。

図１２において、実施形態１の図４の処理と同じ処理には同一のステップ番号を付している。

Ｓ４０３において優先検出対象を選択した後、Ｓ１２０１の処理へ進む。

＜Ｓ１２０１：検出処理に関するコストの算出＞
Ｓ１２０１では、算出部１１０１が変状検出処理に関するコストを算出する処理を行う。実施形態２では、変状検出処理に要するコストとして検出処理を実行するための金額を見積金額として算出する。見積金額Ｃｐを算出する式１を以下に示す。
（式１）
式１において、パラメータＩはＳ４０１で取得する対象データ数、すなわち処理対象の画像枚数を示している。パラメータＰｎは、検出対象とするＮ個の変状種別のうち、ｎ番目の変状種別における１画像あたりの単価を示している。パラメータＰｎを設定する基本的な方法として、全ての変状種別で一律の単価（例：１，０００円）を予め記憶部２２１に記憶しておき、管理部２２２が記憶部２２１から取得する方法が挙げられる。単価は変状種別ごとに異なる金額を設定してもよい。変状検出処理に要する計算リソースは変状種別ごとに異なるため、変状種別ごとに単価を変えることが望ましい。パラメータＮは、検出対象とする変状種別の総数であり、検出対象の選択情報から求めることができる。このように、式１を用いて変状検出処理に要する見積金額を求めることができる。

Ｓ１２０１で算出するコストとして見積金額以外を算出してもよい。例えば、検出処理の実行に要する時間を予測した予測時間を用いてもよい。予測時間Ｃｔを算出する式２を以下に示す。
（式２）
式２において、パラメータＩは式１と同様、Ｓ４０１で取得した対象データ数を示している。パラメータＴｎは、検出対象とするＮ個の変状のうち、ｎ番目の変状種別における１画像あたりの変状検出処理に要する処理時間を示している。パラメータＴｎを設定する方法として、全ての変状種別で一律の処理時間（例：１０分）を予め記憶部２２１に記憶しておき、管理部２２２が記憶部２２１から取得する方法が挙げられる。処理時間は変状種別ごとに異なる時間を設定してもよい。変状検出処理に要する時間は変状種別ごとに異なるため、変状種別ごとに処理時間を設定することが望ましい。また、パラメータＮは、式１と同様に検出対象とする変状種別の総数であり、検出対象の選択情報から求めることができる。このように、式２を用いて予測時間を求めることができる。

式１および式２は、処理対象の画像の枚数に比例するコストを算出する式であるが、画像サイズを考慮してコストを算出する式としてもよい。例えば、見積金額Ｃｐを算出する式１において、パラメータＩを処理対象の画像の合計面積、パラメータＰｎをｎ番目の変状種別における単位面積当たりの単価にそれぞれ読み替える。パラメータＰｎの設定方法は、式１の場合と同様に設定することができる。このように、画像サイズを考慮したときの見積金額を算出することができる。予測時間Ｃｔを算出する式２の場合も同様に、パラメータＩを処理対象の画像の合計面積、パラメータＴｎをｎ番目の変状種別における単位面積当たりの処理時間にそれぞれ読み替えればよい。パラメータＴｎの設定方法は、式２の場合と同様に設定することができる。

算出部１１０１におけるコスト算出処理として、複数のコストを算出してもよい。すなわち、式１、式２を用いて見積金額Ｃｔと予測時間Ｃｔの両方を算出する。算出部１１０１により算出されるコストは、後述するＳ１２０２の処理で使用される。

＜Ｓ１２０２：検出対象の選択情報とコストの表示処理＞
Ｓ１２０２では、表示制御部２２６が検出対象の選択情報と変状検出処理に要するコストを表示する表示データを作成し表示する処理を行う。

図１３（ａ）は、Ｓ１２０２において表示される画面１３０１を例示している。画面１３０１には、検出対象１３０２、処理対象の画像枚数１３０３、見積金額１３０４が表示されている。画面１３０１のように、検出対象１３０２の選択情報と見積金額１３０４を表示することにより、ユーザはコストを考慮しながら検出対象の変状を確認し変更しやすくなる。なお、検出対象１３０２から選択された優先検出対象の初期値は、図４のＳ４０４の処理と同様に優先検出対象に応じて選択される。見積金額１３０４は、前述したＳ１２０１の処理で算出することができる。詳しくは、式１において、パラメータＩに画像枚数１３０３の値（１００）、パラメータＮに選択済みの変状種別数（２）、変状種別ごとの単価Ｐｎには、単価１３０５に示すように全ての変状種別で１，０００を代入することで算出できる。

Ｓ１２０２で表示される画面には、変状ごとの発生状況を示す統計データが表示されることが望ましい。図１３（ｂ）は、検出対象１３１２、複数のコスト１３１３（見積金額、予測時間）と、変状種別ごとの統計データ１３１４を表示した画面１３１１を例示している。統計データ１３１４は、点検対象と同一部材における、過去の変状発生数や全長（面積）、変状発生数の推移を含む。このように、コスト１３１３と統計データ１３１４を表示することにより、ユーザは検出対象１３１２の選択情報がコストに見合っているか否かを判定しやすくなる。なお、統計データ１３１４は、図３に示した点検履歴情報に基づいて算出することができる。また、統計データ１３１４は、他のデータとして例えば、変状種別ごとの単位面積当たりの発生数（密度）や、前々回の点検における変状発生量を算出して表示してもよい。このように、点検履歴情報に基づく検出対象ごとの統計データを表示することが望ましい。

Ｓ１２０３では、表示制御部２２６は、検出対象の選択情報が更新されたか否かを判定する。表示制御部２２６は、更新がないと判定した場合は処理をＳ４０５へ進め、更新があると判定した場合は処理をＳ１２０１へ戻す。

以上説明した実施形態２によれば、検出対象として選択された優先検出対象の変状と、変状検出処理に要するコストとを表示することにより、ユーザはコストを考慮しながら検出対象の変状の中から優先検出対象を選択でき、適切な検出対象を選択した上で変状検出処理を実行することができる。

［他の実施形態］
本発明は、各実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の開示は、以下の情報処理装置、情報処理方法およびプログラムを含む。
［構成１］
処理対象の画像を取得する取得手段と、
前記処理対象の画像に対して少なくとも１つの変状を検出対象として設定する設定手段と、
前記検出対象の中から優先して検出する優先検出対象を選択する選択手段と、
前記検出対象が前記優先検出対象に選択されていることを示す情報を表示する表示制御手段と、
前記処理対象の画像に対して前記優先検出対象として選択されている検出対象の変状検出処理を実行する検出処理手段と、を有することを特徴とする情報処理装置。
［構成２］
前記取得手段は、前記処理対象の画像の属性情報を取得することを特徴とする構成１に記載の情報処理装置。
［構成３］
前記属性情報は、検査対象に関する情報および前記処理対象の画像から検出された変状に関する情報を含むことを特徴とする構成２に記載の情報処理装置。
［構成４］
前記選択手段は、検査対象の点検履歴情報に基づいて前記検出対象の中から前記優先検出対象を選択することを特徴とする構成１から３のいずれか１項に記載の情報処理装置。
［構成５］
前記点検履歴情報は、前記処理対象の画像に関する検査対象と同一の検査対象の点検履歴情報を含むことを特徴とする構成４に記載の情報処理装置。
［構成６］
前記点検履歴情報は、前記処理対象の画像に関する検査対象とは異なる検査対象の点検履歴情報を含むことを特徴とする構成４に記載の情報処理装置。
［構成７］
前記表示制御手段は、前記処理対象の画像および前記点検履歴情報を表示することを特徴とする構成４から６のいずれか１項に記載の情報処理装置。
［構成８］
前記表示制御手段は、前記情報を変更可能に表示することを特徴とする構成１から７のいずれか１項に記載の情報処理装置。
［構成９］
前記検出処理手段は、ユーザ指示または前記情報の表示に応じて前記変状検出処理を実行することを特徴とする構成１から８のいずれか１項に記載の情報処理装置。
［構成１０］
前記検出処理手段は、予め決められた優先順位に応じて前記優先検出対象として選択されている検出対象の変状検出処理を実行することを特徴とする構成１から９のいずれか１項に記載の情報処理装置。
［構成１１］
前記検出対象の変状検出処理に関するコストを算出する算出手段を有することを特徴とする構成１から１０のいずれか１項に記載の情報処理装置。
［構成１２］
前記コストは、前記検出対象の変状検出処理を実行するための金額または処理時間の少なくともいずれかを算出することを特徴とする構成１１に記載の情報処理装置。
［構成１３］
前記表示制御手段は、前記検出対象と前記コストを表示することを特徴とする構成１１または１２に記載の情報処理装置。
［構成１４］
前記処理対象の画像は、検査対象を撮影した画像であり、
前記変状は、ひび割れを含むことを特徴とする構成１に記載の情報処理装置。
［構成１５］
取得手段が、処理対象の画像を取得するステップと、
設定手段が、前記処理対象の画像に対して少なくとも１つの変状を検出対象として設定するステップと、
選択手段が、前記検出対象の中から優先して検出する優先検出対象を選択するステップと、
表示制御手段が、前記検出対象が前記優先検出対象に選択されていることを示す情報を表示するステップと、
検出処理手段が、前記処理対象の画像に対して前記優先検出対象として選択されている検出対象の変状検出処理を実行するステップと、を有することを特徴とする情報処理方法。
［構成１６］
コンピュータを、構成１から１４のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２００…情報処理装置、２０１…制御部、２２１…記憶部、２２２…管理部、２２３…データ取得部、２２４…検出対象設定部、２２５…優先検出対象選択部、２２６…表示制御部、２２７…検出処理部

Claims (12)

1. 処理対象の画像に対応する属性情報を取得する取得手段と、
   検査対象の点検日時、構造物、変状種別および変状数量に関する点検履歴情報を記憶する記憶手段と、
   前記検査対象の構造物に基づいて前記処理対象の画像に対して少なくとも１つの変状を検出対象として設定する設定手段と、
   前記設定手段により設定された検出対象を表示する表示手段と、
   前記処理対象の画像に対応する属性情報と前記記憶手段に記憶されている点検履歴情報とに基づいて前記検出対象の中から優先して検出する優先検出対象を選択する選択手段と、
   前記表示手段に表示されている検出対象に対して前記優先検出対象に選択されていることを示す所定の情報を表示する表示制御手段と、
   前記処理対象の画像に対して前記優先検出対象として選択されている検出対象の変状検出処理を実行する検出処理手段と、を有し、
   前記表示制御手段は、前記優先検出対象に選択されている検出対象を変更可能に表示すると共に、前記検出対象に関する複数の点検履歴情報を表示し、
   前記優先検出対象は、前記表示手段に表示されている検出対象または前記検出対象に関する点検履歴情報を選択することにより変更可能であることを特徴とする情報処理装置。
2. 前記属性情報は、前記検査対象の点検日時、構造物、部材に関する情報を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記検出対象に関する点検履歴情報は、前記処理対象の画像に関する検査対象と同一の検査対象の点検履歴情報を含むことを特徴とする請求項１に記載の情報処理装置。
4. 前記検出対象に関する点検履歴情報は、前記処理対象の画像に関する検査対象とは異なる検査対象の点検履歴情報を含むことを特徴とする請求項１に記載の情報処理装置。
5. 前記検出処理手段は、ユーザ指示または前記優先検出対象に選択されている検出対象を示す情報の表示に応じて前記変状検出処理を実行することを特徴とする請求項１に記載の情報処理装置。
6. 前記検出処理手段は、予め決められた優先順位に応じて前記優先検出対象として選択されている検出対象の変状検出処理を実行することを特徴とする請求項１に記載の情報処理装置。
7. 前記検出対象の変状検出処理に関するコストを算出する算出手段を有することを特徴とする請求項１に記載の情報処理装置。
8. 前記コストは、前記検出対象の変状検出処理を実行するための金額または処理時間の少なくともいずれかを算出することを特徴とする請求項７に記載の情報処理装置。
9. 前記表示制御手段は、前記検出対象と前記コストを表示することを特徴とする請求項７に記載の情報処理装置。
10. 前記処理対象の画像は、検査対象を撮影した画像であり、
    前記変状は、ひび割れを含むことを特徴とする請求項１に記載の情報処理装置。
11. 情報処理装置が実行する情報処理方法であって、
    前記情報処理装置は、
    検査対象の点検日時、構造物、変状種別および変状数量に関する点検履歴情報を記憶する記憶手段を有し、
    前記情報処理方法は、
    処理対象の画像に対応する属性情報を取得するステップと、
    前記検査対象の構造物に基づいて前記処理対象の画像に対して少なくとも１つの変状を検出対象として設定するステップと、
    前記設定された検出対象を表示部に表示するステップと、
    前記処理対象の画像に対応する属性情報と前記記憶手段に記憶されている点検履歴情報とに基づいて前記検出対象の中から優先して検出する優先検出対象を選択するステップと、
    前記表示部に表示されている検出対象に対して前記優先検出対象に選択されていることを示す所定の情報を表示するステップと、
    前記処理対象の画像に対して前記優先検出対象として選択されている検出対象の変状検出処理を実行するステップと、を有し、
    前記所定の情報を表示するステップでは、前記優先検出対象に選択されている検出対象を変更可能に表示すると共に、前記検出対象に関する複数の点検履歴情報を表示し、
    前記優先検出対象は、前記表示部に表示されている検出対象または前記検出対象に関する点検履歴情報を選択することにより変更可能であることを特徴とする情報処理方法。
12. コンピュータを、請求項１から１０のいずれか１項に記載された情報処理装置の前記記憶手段および前記表示手段を除く各手段として機能させるためのプログラム。