JP6793896B1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

画像処理装置（１）は、取得部（３０）と、非検出対象検出部（３３）と、マスキング部（３４）と、を備える。取得部（３０）は、構造物の画像の情報を取得する。非検出対象検出部（３３）は、機械学習によって生成され且つ画像から検出対象の変状とは異なる対象である非検出対象の領域を検出する１以上の検出モデルを用いて、取得部（３０）で取得された構造物の画像から非検出対象の領域を検出する。マスキング部（３４）は、構造物の画像のうち非検出対象検出部（３３）によって検出された非検出対象の領域をマスキングする。

Description

本開示は、構造物の画像のうち検出対象の変状を検出しない領域をマスキングする画像処理装置、画像処理方法、および画像処理プログラムに関する。

従来、トンネルまたは橋梁などの構造物の画像から構造物に生じている変状を検出する技術が知られているが、かかる技術において、変状が生じている領域以外の領域を変状として誤って検出してしまう場合がある。例えば、変状としてひび割れを検出する対象がトンネルである場合、トンネルの画像には、ひび割れ以外に、例えば、照明、ケーブル、遊離石灰跡、汚れ、または型枠痕などの領域が含まれており、これらの領域が誤ってひび割れとして検出される場合がある。

そこで、特許文献１には、構造物の画像のうちひび割れを検出しない領域であるひび割れ非検出領域をマスキングした画像を生成する技術が提案されている。特許文献１に記載の技術は、照明領域、ケーブル領域、遊離石灰領域、汚れ領域、または型枠痕領域などの特徴量と、設定されたしきい値または数値範囲とを用いて、トンネルの画像の中からひび割れ非検出領域を判定する。そして、特許文献１に記載の技術は、トンネルの画像のうち判定したひび割れ非検出領域をマスキングし、マスキング後のトンネルの画像からひび割れを検出する。

特開２０１６−１２１９５３号公報

しかしながら、上記特許文献１に記載の技術では、トンネルの画像の輝度などによって特徴量が変化するため、複数のトンネルに共通のしきい値または数値範囲を設定することが難しく、トンネル毎にしきい値または数値範囲の調整が必要になる。このことは、トンネルに限らず、橋梁またはビルなどの他の構造物の画像でも同様である。

本開示は、上記に鑑みてなされたものであって、しきい値または数値範囲の調整を行うことなく、検出対象の変状を検出しない領域である非検出領域をマスキングすることができる画像処理装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本開示の画像処理装置は、取得部と、非検出対象検出部と、マスキング部と、情報受付部と、を備える。取得部は、構造物の画像の情報を取得する。非検出対象検出部は、機械学習によって生成され且つ画像から検出対象の変状とは異なる対象である非検出対象の領域を検出する１以上の検出モデルを用いて、取得部で取得された構造物の画像から非検出対象の領域を検出する。マスキング部は、構造物の画像のうち非検出対象検出部によって検出された非検出対象の領域をマスキングする。情報受付部は、構造物に関する情報である構造物情報を受け付ける。非検出対象検出部は、機械学習によって生成され且つ画像から非検出対象の領域を検出する複数の検出モデルのうち情報受付部によって受け付けられた構造物情報に対応する１以上の検出モデルを用いて、構造物の画像から非検出対象の領域を検出する。

本開示によれば、しきい値または数値範囲の調整を行うことなく、検出対象の変状を検出しない領域である非検出領域をマスキングすることができる、という効果を奏する。

実施の形態１にかかる画像処理装置によって実行される画像処理方法の一例を示す図 実施の形態１にかかる画像処理装置の構成の一例を示す図 実施の形態１にかかる構造物画像の一例を示す図 実施の形態１にかかる画像処理装置によって検出される各非検出対象の領域の一例を示す図 実施の形態１にかかる画像処理装置の処理部による処理の一例を示すフローチャート 実施の形態１にかかる画像処理装置の処理部による学習処理の一例を示すフローチャート 実施の形態１にかかる画像処理装置の処理部によるひび割れ検出処理の一例を示すフローチャート 実施の形態１にかかる画像処理装置のハードウェア構成の一例を示す図 実施の形態２にかかる画像処理装置の構成の一例を示す図 実施の形態２にかかる画像処理装置の表示部に表示される構造物図面の一例を示す図 実施の形態２にかかる画像処理装置の処理部による処理の一例を示すフローチャート 実施の形態２にかかる画像処理装置の処理部による図面修正処理の一例を示すフローチャート 実施の形態２にかかる画像処理装置の処理部による再学習処理の一例を示すフローチャート

以下に、実施の形態にかかる画像処理装置、画像処理方法、および画像処理プログラムを図面に基づいて詳細に説明する。

実施の形態１．
図１は、実施の形態１にかかる画像処理装置によって実行される画像処理方法の一例を示す図である。図１に示す画像処理装置１は、構造物の画像から構造物に生じている特定種類の変状を検出対象として検出する。かかる画像処理装置１は、機械学習によって生成された検出モデルを用いて、構造物の画像のうち検出対象の変状を検出しない領域である非検出領域を検出し、検出した非検出領域をマスキングする。そして、画像処理装置１は、非検出領域をマスキングした構造物の画像から特定種類の変状を検出対象として検出する。

画像処理装置１によって処理される構造物の画像は、例えば、トンネルの内壁面の展開画像、橋梁の表面の画像、道路の表面の画像、または建物の表面の画像である。なお、画像処理装置１によって画像が処理される構造物は、トンネル、橋梁、道路、および建物以外の構造物であってもよい。以下においては、画像処理装置１によって処理される構造物の画像は、トンネルの内壁面の画像であるものとして説明する。

また、画像処理装置１によって検出対象として検出される特定種類の変状は、ひび割れであるが、ひび割れに加え、漏れ水などを含んでいてもよい。また、マスキングされる非検出領域は、例えば、照明の領域、ボルトの領域、ケーブルの領域、遊離石灰の領域、汚れがある領域、型枠痕の領域、または補修痕の領域である。以下、照明、ボルト、ケーブル、遊離石灰、汚れ、型枠痕、および補修痕の各々を非検出対象と記載する場合がある。

図１を参照して、画像処理装置１によって実行される画像処理方法を説明する。図１に示すように、画像処理装置１には、構造物の画像の情報が入力される。かかる構造物の画像は、トンネルの内壁の表面を２次元平面に展開したと仮定した場合におけるトンネルの内壁面の展開画像である。かかるトンネルの内壁面の展開画像は、例えば、複数のカメラを搭載する計測車両がトンネル内を走行している状態で複数のカメラの各々によって複数回撮像された画像を貼り合わせることで得られる画像である。図１に示すトンネルの展開画像には、補修痕、照明、およびひび割れの画像が含まれる。トンネルの展開画像は、輝度で表されるモノクロ画像であるが、カラー画像であってもよい。

画像処理装置１は、構造物の画像に対して検出処理を行う。かかる検出処理は、マスキングされる非検出対象の領域を検出するための処理であり、機械学習によって生成される検出モデルを用いて実行される処理である。検出モデルは、機械学習によって生成され且つ画像から非検出対象の領域を検出する計算モデルであり、構造物の画像が入力されると、非検出対象の領域の情報を出力する。なお、構造物の画像に非検出対象の領域が含まれない場合、検出モデルの出力には、非検出対象の領域がないことを示す情報が含まれる。かかる検出モデルは、例えば、ディープラーニングによって生成される。

画像処理装置１は、非検出対象の種類毎に生成された検出モデルを用いて、非検出対象の領域を検出する。例えば、画像処理装置１は、照明を検出するための検出モデルを用いて照明の領域を検出し、ボルトを検出するための検出モデルを用いてボルトの領域を検出し、ケーブルを検出するための検出モデルを用いてケーブルの領域を検出する。また、画像処理装置１は、遊離石灰を検出するための検出モデルを用いて遊離石灰の領域を検出し、汚れを検出するための検出モデルを用いて汚れの領域を検出し、型枠痕を検出するための検出モデルを用いて型枠痕の領域を検出する。

また、画像処理装置１は、補修痕を検出するための検出モデルを用いて補修痕の領域を検出する。なお、画像処理装置１は、全ての非検出対象に共通の検出モデルを用いて各非検出対象を検出する構成であってもよく、２以上の非検出対象に共通の検出モデルを用いて非検出対象を検出する構成であってもよい。

画像処理装置１は、検出処理によって非検出対象の領域を検出した後、構造物の画像のうち非検出対象の領域を非検出領域としてマスキングする。画像処理装置１によるマスキングは、例えば、構造物の画像のうち非検出対象の領域を予め設定された画像に置き換えることによって行う。予め設定された画像は、例えば、黒画像または白画像などの単色の画像である。なお、予め設定された画像は、検出対象の変状が検出されない画像であればよく、単色の画像に限定されない。また、画像処理装置１によるマスキングは、構造物の画像のうち非検出対象の領域を示す情報を構造物の画像の情報に関連付けることによって行うこともできる。

画像処理装置１は、マスキングを施した構造物の画像から特定種類の変状を検出する変状検出処理を行う。画像処理装置１は、非検出対象の領域を示す情報を構造物の画像の情報に関連付けている場合、非検出対象の領域を示す情報に基づいて、非検出対象の領域以外の領域に対して特定種類の変状を検出する処理を行う。

このように、画像処理装置１は、機械学習によって生成される検出モデルを用いて構造物の画像のうち非検出対象の領域を検出する。そのため、画像処理装置１は、しきい値または数値範囲の調整を行うことなく、非検出対象の領域をマスキングすることができ、特定種類の変状を精度よく検出することができる。以下、画像処理装置１についてさらに詳細に説明する。

図２は、実施の形態１にかかる画像処理装置の構成の一例を示す図である。図２に示すように、実施の形態１にかかる画像処理装置１は、通信部１０と、入力部１１と、記憶部１２と、処理部１３とを備える。

通信部１０は、例えば、ＬＡＮ（Local Area Network）またはＷＡＮ（Wide Area Network）などのネットワークに接続され、外部装置とネットワークを介して情報の送受信を行う。入力部１１は、例えば、マウス、キーボード、またはタッチパネルであり、画像処理装置１のユーザによって操作される。

記憶部１２は、画像情報記憶領域２０と、非検出対象情報記憶領域２１と、変状情報記憶領域２２と、学習用情報記憶領域２３とを含む。画像情報記憶領域２０には、通信部１０を介して外部装置から処理部１３によって取得された構造物の画像である構造物画像の情報が記憶される。

図３は、実施の形態１にかかる構造物画像の一例を示す図である。図３に示す構造物画像２には、ひび割れ３_１，３_２，３_３，３_４，３_５の画像と、照明４_１，４_２，４_３，４_４，４_５，４_６，４_７，４_８の画像と、ボルト５_１，５_２の画像と、ケーブル６の画像と、遊離石灰７の画像と、汚れ８の画像と、補修痕９_１，９_２，９_３，９_４，９_５の画像とが含まれる。なお、図３には示していないが、構造物画像２には、型枠痕も含まれる。

以下、ひび割れ３_１，３_２，３_３，３_４，３_５の各々を個別に区別せずに示す場合、ひび割れ３と記載する場合がある。また、照明４_１，４_２，４_３，４_４，４_５，４_６，４_７，４_８の各々を個別に区別せずに示す場合、照明４と記載する場合がある。また、ボルト５_１，５_２の各々を個別に区別せずに示す場合、ボルト５と記載する場合がある。また、補修痕９_１，９_２，９_３，９_４，９_５の各々を個別に区別せずに示す場合、補修痕９と記載する場合がある。

図２に戻って、記憶部１２の説明を続ける。非検出対象情報記憶領域２１には、処理部１３によって構造物画像２から検出された非検出対象の情報である非検出対象情報が記憶される。変状情報記憶領域２２には、処理部１３によって構造物画像２から検出された特定種類の変状の情報である変状情報が記憶される。学習用情報記憶領域２３には、構造物画像２のうち非検出対象の領域を検出する検出モデルを生成するための学習用情報が記憶される。

学習用情報は、非検出対象の複数の画像と非検出対象以外の複数の画像とを非検出対象毎に含む。例えば、学習用情報は、照明４を検出するための検出モデルを生成するための情報として、照明４の複数の画像と照明４以外の複数の画像とを含む。また、学習用情報は、補修痕９を検出するための検出モデルを生成するための情報として、補修痕９の複数の画像と補修痕９以外の複数の画像とを含む。

非検出対象の画像は、例えば非検出対象を囲みつつ非検出対象に外接する矩形である外接矩形で囲まれる領域の画像である。なお、非検出対象の画像は、外接矩形で囲まれる領域の画像でなくてもよく、例えば、矩形以外の枠で囲まれる領域の画像であってもよい。

また、各非検出対象の学習用情報には、トンネルの内壁面の色、トンネルの工法の種類、およびトンネルの内壁に設けられるパネルの有無の各々について、非検出対象の複数の画像の情報と非検出対象以外の複数の画像の情報とが含まれる。

処理部１３は、取得部３０と、学習部３１と、情報受付部３２と、非検出対象検出部３３と、マスキング部３４と、変状検出部３５とを備える。取得部３０は、不図示の外部装置から送信され通信部１０で受信された情報を通信部１０から取得し、取得した情報を記憶部１２に記憶させる。

例えば、取得部３０は、不図示の外部装置から送信され通信部１０で受信された構造物画像２の情報を通信部１０から取得し、取得した構造物画像２の情報を画像情報記憶領域２０に記憶させる。また、取得部３０は、不図示の外部装置から送信され通信部１０で受信された学習用情報を通信部１０から取得し、取得した学習用情報を学習用情報記憶領域２３に記憶させる。

学習部３１は、記憶部１２の学習用情報記憶領域２３から学習用情報を読み出し、読み出した学習用情報に基づいて、各非検出対象を検出する検出モデルを、構造物の表面色、構造物の工法、および構造物におけるパネルの有無の各々について生成する。以下、構造物がトンネルであるものとして説明する。

非検出対象は、照明４、ボルト５、ケーブル６、遊離石灰７、汚れ８、型枠痕、または補修痕９であるが、これら以外の対象を非検出対象としてもよく、これらの一部を非検出対象としてもよい。トンネルは、金網または充填剤で補修される。トンネルが金網で補修される場合、補修痕９は金網であり、トンネルが充填剤で補修される場合、補修痕９は充填剤である。

学習部３１は、照明４、ボルト５、ケーブル６、遊離石灰７、汚れ８、型枠痕、または補修痕９の各々の検出モデルを、トンネルの内壁面の色、トンネルの工法の種類、およびトンネルの内壁に設けられるパネルの有無の各々について生成する。これにより、照明４の検出モデル、ボルト５の検出モデル、ケーブル６の検出モデル、遊離石灰７の検出モデル、汚れ８の検出モデル、型枠痕の検出モデル、および補修痕９の検出モデルの各々が、トンネルの内壁面の色、トンネルの工法の種類、およびトンネルの内壁に設けられるパネルの有無の各々について生成される。

トンネルの内壁面の色は、構造物の表面色の一例であり、トンネルの工法は、構造物の工法の一例であり、トンネルの内壁に設けられるパネルは、構造物におけるパネルの一例である。なお、各非検出対象を検出する検出モデルは、構造物の表面色の情報、構造物の工法の情報、および構造物におけるパネルの有無の情報のうちいずれか１つまたは２つについて生成されてもよい。また、各非検出対象を検出する検出モデルは、構造物の表面色の情報、構造物の工法の情報、および構造物におけるパネルの有無の情報によって分けずに、１つであってもよい。また、学習部３１は、全ての非検出対象に共通の検出モデルを生成することもできる。

トンネルの内壁面の色の種類は、例えば、ライトグレー、グレー、またはダークグレーなどである。なお、トンネルの内壁面の色の種類は、２つであってもよく、４つ以上であってもよい。トンネルの内壁面の色毎に検出モデルが生成されるため、非検出対象検出部３３は、非検出対象を精度よく検出することができる。

構造物の工法の種類は、例えば、シールド工法、ＴＢＭ（Tunnel Boring Machine）工法、または山岳工法である。工法の種類によって構造物に発生する変状が異なる場合がある。学習部３１において構造物の工法毎に検出モデルが生成されるため、非検出対象検出部３３は、非検出対象を精度よく検出することができる。なお、構造物の工法の種類は、これらの工法以外の工法を含んでいてもよい。

構造物におけるパネルは、例えば、トンネルの内壁面に設けられる内装パネルである。また、かかる内装パネルの表面には、例えば、光を反射する反射板または反射テープなどの反射部材が設けられている。学習部３１においてトンネルの内壁に設けられるパネルがある場合の検出モデルとトンネルの内壁に設けられるパネルがない場合の検出モデルと生成されるため、非検出対象検出部３３は、非検出対象を精度よく検出することができる。

なお、上述した補修痕９の検出モデルには、例えば、金網の検出モデルと、充填剤の検出モデルとが含まれる。金網の検出モデルは、金網で補修された領域を検出する検出モデルである。充填剤の検出モデルは、充填剤で補修された領域を検出する検出モデルである。

学習部３１によって生成される検出モデルは、機械学習によって生成され且つ画像から検出対象のひび割れ３とは異なる対象である非検出対象の領域を検出する計算モデルであり、例えば、ディープラーニングによって生成される。なお、検出モデルは、畳み込みニューラルネットワークなどのニューラルネットワークであるが、線形回帰、またはロジスティック回帰などの学習アルゴリズムで生成される計算モデルであってもよく、サポートベクターマシンなどの計算モデルであってもよい。

なお、学習部３１によって生成される非検出対象の検出モデルは、検出した非検出対象の領域の情報を出力するが、検出した非検出対象の領域の情報に加えて、検出した非検出対象のラベルを出力する構成であってもよい。非検出対象のラベルは、非検出対象の種別を示す情報であり、例えば、照明４の検出モデルの場合、非検出対象が照明４であることを示す情報である。

情報受付部３２は、構造物に関する情報である構造物情報を受け付ける。例えば、情報受付部３２は、ユーザによる入力部１１への操作によって、構造物情報を受け付ける。また、情報受付部３２は、不図示の外部装置から送信され通信部１０で受信される構造物情報を受け付ける。構造物情報は、例えば、構造物の表面色の情報、構造物の工法の情報、および構造物におけるパネルの有無の情報のうち少なくとも１つの情報を含む。また、構造物情報は、構造物の補修方法の情報を含む場合がある。補修方法の種類には、金網による補修と、充填剤による補修とが含まれる。

非検出対象検出部３３は、機械学習によって生成され且つ画像から非検出対象の領域を検出する複数の検出モデルのうち情報受付部３２によって受け付けられた構造物情報に対応する複数の検出モデルを用いて、構造物画像２から非検出対象の領域を検出する。

例えば、情報受付部３２によって受け付けられた構造物情報に、トンネルの内壁面の色がライトグレーであることを示す情報、トンネルの工法がシールド工法であることを示す情報、トンネルを構成する構成物としてパネルがあることを示す情報が含まれているとする。この場合、非検出対象検出部３３は、ライトグレー、シールド工法、およびパネルありの組み合わせに対応付けられた複数の検出モデルを用いて、構造物画像２から非検出対象の領域を検出する。

また、非検出対象検出部３３は、構造物情報にトンネルの補修方法の情報が含まれている場合、構造物情報に含まれる特定されるトンネルの補修方法に対応する検出モデルを用いて、構造物画像２のうち補修痕９の領域を検出する。

例えば、非検出対象検出部３３は、構造物情報に含まれる補修方法が金網による補修である場合、金網の検出モデルを用いて、金網によって補修された領域である補修痕９の領域を検出する。また、非検出対象検出部３３は、構造物情報に含まれる補修方法が充填剤による補修である場合、充填剤の検出モデルを用いて、充填剤によって補修された領域である補修痕９の領域を検出する。

なお、非検出対象検出部３３は、構造物情報にトンネルの補修方法の情報が含まれていない場合、金網によって補修された領域と充填剤によって補修された領域とをいずれも検出可能な検出モデルを用いて、補修痕９の領域を検出することができる。かかる検出モデルも学習部３１によってトンネルの工法の種類、およびトンネルの内壁に設けられるパネルの有無の各々について生成される。

構造物情報に対応する複数の検出モデルは、照明４の検出モデル、ボルト５の検出モデル、ケーブル６の検出モデル、遊離石灰７の検出モデル、汚れ８の検出モデル、型枠痕の検出モデル、および補修痕９の検出モデルを含む。

非検出対象検出部３３は、照明４、ボルト５、ケーブル６、遊離石灰７、汚れ８、型枠痕、および補修痕９の各々の領域を複数の検出モデルのうち対応する検出モデルを用いて検出する。非検出対象検出部３３は、検出した非検出対象の情報である非検出対象情報をマスキング部３４へ出力し、さらに、非検出対象情報を非検出対象情報記憶領域２１に記憶させる。

非検出対象情報は、検出した非検出対象のＩＤ（Identifier）の情報と、検出した非検出対象の種類を示す情報と、構造物画像２のうち検出した非検出対象の領域が存在する座標の情報とを含む。非検出対象のＩＤは、変状検出部３５によって付されるＩＤであり、非検出対象毎に異なるＩＤである。座標は、例えば、構造物画像２の４つの隅のうちの１つを原点とする直交座標系の座標である。非検出対象の領域は、例えば、矩形の領域であり、非検出対象の領域が存在する座標の情報は、例えば、矩形の４つの角のうち対向する２つの対角の座標の情報、または矩形の４つの角の座標の情報である。

例えば、非検出対象検出部３３は、照明４を検出した場合、非検出対象のＩＤと、非検出対象が照明４であることを示す情報と、構造物画像２のうち照明４の領域が存在する座標の情報とを含む非検出対象情報をマスキング部３４へ出力し且つ非検出対象情報記憶領域２１に記憶させる。また、非検出対象検出部３３は、補修痕９を検出した場合、非検出対象のＩＤと、非検出対象が補修痕９であることを示す情報と、構造物画像２のうち補修痕９の領域が存在する座標の情報とを含む非検出対象情報をマスキング部３４へ出力し且つ非検出対象情報記憶領域２１に記憶させる。

図４は、実施の形態１にかかる画像処理装置によって検出される各非検出対象の領域の一例を示す図である。図４に示すように、非検出対象検出部３３は、照明４の領域４１と、ボルト５の領域４２と、ケーブル６の領域４３と、遊離石灰７の領域４４と、汚れ８の領域４５と、補修痕９の領域４６とを検出する。非検出対象検出部３３が検出する領域４１，４２，４３，４４，４５，４６の各々は矩形の領域である。非検出対象検出部３３は、例えば、非検出対象を囲みつつ非検出対象に外接する矩形で囲まれる領域を非検出対象の領域として検出する。なお、図４に示す例では、型枠痕の領域が図示されていないが、非検出対象検出部３３は、型枠痕の領域も同様に検出する。

なお、上述した例では、非検出対象検出部３３は、構造物情報からトンネルの内壁面の色の情報を取得するが、構造物画像２からトンネルの内壁面の色を検出し、検出したトンネルの内壁面の色に対応する複数の検出モデルを用いて、非検出対象を検出することもできる。

また、上述した例では、構造物情報には、トンネルの工法の種類を示す情報が含まれるが、構造物情報は、トンネルの形状を示す情報であってもよい。この場合、非検出対象検出部３３は、トンネルの形状を示す情報からトンネルの工法の種類を判定し、判定したトンネルの工法の種類に対応する複数の検出モデルを用いて、非検出対象を検出する。

マスキング部３４は、記憶部１２の画像情報記憶領域２０から構造物画像２の情報である構造物画像情報を読み出し、読み出した構造物画像情報と非検出対象検出部３３で検出された非検出対象の情報とに基づいて、構造物画像２のうち非検出対象の領域をマスキングする。

マスキング部３４によるマスキングは、例えば、構造物画像２のうち非検出対象の領域を予め設定された画像に置き換えることによって行う。予め設定された画像は、例えば、黒画像または白画像などの単色の画像である。なお、予め設定された画像は、検出対象の変状が検出されない画像であればよく、単色の画像に限定されない。また、マスキング部３４によるマスキングは、構造物画像２のうち非検出対象の領域を示す情報である非検出対象情報を構造物画像２の情報に関連付けることによって行うこともできる。例えば、マスキング部３４は、構造物画像２のＩＤと各非検出対象のＩＤとを関連付けることによってマスキングを行う。

変状検出部３５は、マスキングを施した構造物画像２から特定種類の変状としてひび割れ３を検出する。変状検出部３５は、検出したひび割れ３の座標、長さ、および幅を検出する。変状検出部３５は、検出したひび割れ３の座標、長さ、および幅の情報と、検出したひび割れ３のＩＤの情報とを含む変状情報を変状情報記憶領域２２に記憶させる。ひび割れ３のＩＤは、変状検出部３５によって付されるＩＤであり、ひび割れ３毎に異なるＩＤである。なお、変状検出部３５によって検出される変状は、ひび割れに加え、漏れ水などを含んでいてもよい。

なお、上述した例では、画像処理装置１によって検出モデルを生成するが、画像処理装置１の非検出対象検出部３３で用いられる検出モデルは、画像処理装置１とは異なる学習装置で行われてもよい。この場合、画像処理装置１の取得部３０は、画像処理装置１とは異なる学習装置が生成した複数の検出モデルを、かかる学習装置から通信部１０を介して取得することができる。取得部３０は、取得した複数の検出モデルを非検出対象検出部３３へ出力する。非検出対象検出部３３は、取得部３０から出力された複数の検出モデルに基づいて、構造物画像２から非検出対象の領域を検出する。

つづいて、フローチャートを用いて画像処理装置１の処理部１３による処理を説明する。図５は、実施の形態１にかかる画像処理装置の処理部による処理の一例を示すフローチャートである。画像処理装置１の処理部１３は、図５に示す処理を繰り返し実行する。

図５に示すように、処理部１３は、学習処理を行う（ステップＳ１）。ステップＳ１の学習処理は、図６に示すステップＳ１０〜Ｓ１５の処理であり、後で詳述する。また、処理部１３は、ひび割れ検出処理を行う（ステップＳ２）。ステップＳ２のひび割れ検出処理は、図７に示すステップＳ２０〜Ｓ２９の処理であり、後で詳述する。処理部１３は、ステップＳ１，Ｓ２の処理が終了した場合、図５に示す処理を終了する。

図６は、実施の形態１にかかる画像処理装置の処理部による学習処理の一例を示すフローチャートである。図６に示すように、処理部１３の取得部３０は、不図示の外部装置から学習用情報を取得したか否かを判定する（ステップＳ１０）。取得部３０は、学習用情報を取得したと判定した場合（ステップＳ１０：Ｙｅｓ）、取得した学習用情報を記憶部１２に記憶させる（ステップＳ１１）。

処理部１３の学習部３１は、ステップＳ１１の処理が終了した場合、または取得部３０が学習用情報を取得していないと判定した場合（ステップＳ１０：Ｎｏ）、学習タイミングになったか否かを判定する（ステップＳ１２）。ステップＳ１２の処理において、処理部１３の学習部３１は、例えば、記憶部１２に学習用情報が記憶された場合、入力部１１への操作などによって学習要求があった場合に、学習タイミングになったと判定する。

学習部３１は、学習タイミングになったと判定した場合（ステップＳ１２：Ｙｅｓ）、記憶部１２から学習用情報を取得する（ステップＳ１３）。学習部３１は、ステップＳ１３で取得した学習用情報に基づいて、非検出対象毎の検出モデルを生成する（ステップＳ１４）。学習部３１は、生成した非検出対象毎の検出モデルの情報を非検出対象検出部３３へ出力する（ステップＳ１５）。ステップＳ１５の処理において、学習部３１は、例えば、トンネルの内壁面の色、トンネルの工法の種類、およびトンネルの内壁に設けられるパネルの有無の各々について複数の検出モデルを生成する。

処理部１３は、ステップＳ１５の処理が終了した場合、または学習タイミングになっていないと判定した場合（ステップＳ１２：Ｎｏ）、図６に示す処理を終了する。

図７は、実施の形態１にかかる画像処理装置の処理部によるひび割れ検出処理の一例を示すフローチャートである。図７に示すように、処理部１３の取得部３０は、不図示の外部装置から構造物画像２の情報を取得したか否かを判定する（ステップＳ２０）。取得部３０は、構造物画像２の情報を取得したと判定した場合（ステップＳ２０：Ｙｅｓ）、取得した構造物画像２の情報を記憶部１２に記憶させる（ステップＳ２１）。

処理部１３の情報受付部３２は、ステップＳ２１の処理が終了した場合、または構造物画像２の情報を取得していないと判定した場合（ステップＳ２０：Ｎｏ）、構造物情報を受け付けたか否かを判定する（ステップＳ２２）。ステップＳ２２の処理において、情報受付部３２は、ユーザによる入力部１１への操作が構造物情報の入力操作である場合、構造物情報を受け付けたと判定する。

処理部１３の非検出対象検出部３３は、情報受付部３２によって構造物情報が受け付けられたと判定した場合（ステップＳ２２：Ｙｅｓ）、情報受付部３２によって受け付けられた構造物情報に応じた複数の検出モデルを選択する（ステップＳ２３）。非検出対象検出部３３は、選択した複数の検出モデルを用いて、構造物画像２のうち非検出対象の領域を検出する（ステップＳ２４）。

処理部１３の非検出対象検出部３３は、検出した各非検出対象の情報を記憶部１２に記憶させる（ステップＳ２５）。処理部１３のマスキング部３４は、検出された各非検出対象の情報に基づいて、構造物画像２のうち非検出対象の領域をマスキングする（ステップＳ２６）。処理部１３の変状検出部３５は、マスキングを施した構造物画像２からひび割れ３の領域を検出する（ステップＳ２７）。

変状検出部３５は、検出したひび割れ３の座標、長さ、および幅を検出し（ステップＳ２８）、検出したひび割れ３の情報を記憶部１２に記憶させる（ステップＳ２９）。処理部１３は、ステップＳ２９の処理を終了した場合、または情報受付部３２によって構造物情報が受け付けられていないと判定した場合（ステップＳ２２：Ｎｏ）、図７に示す処理を終了する。

図８は、実施の形態１にかかる画像処理装置のハードウェア構成の一例を示す図である。図８に示すように、画像処理装置１は、プロセッサ１０１と、メモリ１０２と、入力装置１０３と、通信装置１０４とを備えるコンピュータを含む。

プロセッサ１０１、メモリ１０２、入力装置１０３、および通信装置１０４は、例えば、バス１０５によって互いに情報の送受信が可能である。通信部１０は、通信装置１０４で実現される。入力部１１は、入力装置１０３によって実現される。記憶部１２は、メモリ１０２によって実現される。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、取得部３０、学習部３１、情報受付部３２、非検出対象検出部３３、マスキング部３４、および変状検出部３５などの機能を実行する。プロセッサ１０１は、例えば、処理回路の一例であり、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、およびシステムＬＳＩ（Large Scale Integration）のうち一つ以上を含む。

メモリ１０２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、およびＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）のうち一つ以上を含む。また、メモリ１０２は、コンピュータが読み取り可能なプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびＤＶＤ（Digital Versatile Disc）のうち一つ以上を含む。なお、画像処理装置１は、ＡＳＩＣ（Application Specific Integrated Circuit）およびＦＰＧＡ（Field Programmable Gate Array）などの集積回路を含んでいてもよい。

以上のように、実施の形態１にかかる画像処理装置１は、取得部３０と、非検出対象検出部３３と、マスキング部３４とを備える。取得部３０は、構造物画像２の情報を取得する。非検出対象検出部３３は、機械学習によって生成され且つ画像から検出対象の変状とは異なる対象である非検出対象の領域を検出する１以上の検出モデルを用いて、取得部３０で取得された構造物画像２から非検出対象の領域を検出する。マスキング部３４は、構造物画像２のうち非検出対象検出部３３によって検出された非検出対象の領域をマスキングする。これにより、画像処理装置１は、しきい値または数値範囲の調整を行うことなく、非検出領域をマスキングすることができる。

また、画像処理装置１は、構造物に関する情報である構造物情報を受け付ける情報受付部３２を備える。非検出対象検出部３３は、機械学習によって生成され且つ画像から非検出対象の領域を検出する複数の検出モデルのうち情報受付部３２によって受け付けられた構造物情報に対応する１以上の検出モデルを用いて、構造物画像２から非検出対象の領域を検出する。これにより、画像処理装置１は、構造物情報によってより適切な検出モデルを絞り込むことができ、非検出対象の領域を精度よく検出することができる。

また、構造物情報は、構造物の表面色の情報、構造物の工法の情報、および構造物におけるパネルの有無の情報のうち少なくとも１つの情報を含む。これにより、画像処理装置１は、構造物の表面色の情報、構造物の工法の情報、およびパネルの有無の情報のうち少なくとも１つで適切な検出モデルを絞り込むことができ、非検出対象の領域を精度よく検出することができる。

また、構造物情報は、構造物の補修方法の情報を含む。非検出対象検出部３３は、複数の検出モデルのうち構造物情報で特定される構造物の補修方法で補修された領域を非検出対象として検出する１以上の検出モデルを用いて、非検出対象の領域を検出する。これにより、画像処理装置１は、補修方法に応じた適切な検出モデルを用いることができ、補修痕９の領域を精度よく検出することができる。

また、画像処理装置１は、学習用情報に基づいて、１以上の検出モデルを機械学習によって生成する学習部３１を備える。これにより、画像処理装置１は、検出モデルを生成することができる。

実施の形態２．
実施の形態２にかかる画像処理装置は、検出された非検出対象の領域の位置を示す情報を含む構造物の図面の情報を出力し、非検出対象の領域の位置が変更された場合に、検出モデルの再学習を行う点で、実施の形態１にかかる画像処理装置１と異なる。以下においては、実施の形態１と同様の機能を有する構成要素については同一符号を付して説明を省略し、実施の形態１の画像処理装置１と異なる点を中心に説明する。

図９は、実施の形態２にかかる画像処理装置の構成の一例を示す図である。図９に示すように、実施の形態２にかかる画像処理装置１Ａは、表示部１４を備えるとともに、記憶部１２および処理部１３に代えて、記憶部１２Ａおよび処理部１３Ａを備える点で、画像処理装置１と異なる。

表示部１４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）、またはＩＥＬＤ（Inorganic Electro-Luminescence Display）である。

記憶部１２Ａは、図面情報記憶領域２５をさらに有する点で、記憶部１２と異なる。図面情報記憶領域２５には、構造物の図面の情報が記憶される。構造物の図面の情報は、例えば、トンネルの展開図の情報である。

処理部１３Ａは、学習部３１に代えて学習部３１Ａを備え、さらに、図面情報生成部３６と、図面情報出力部３７と、図面情報変更部３８とを備える点で、処理部１３と異なる。図面情報生成部３６は、入力部１１への入力操作によって画像処理装置１Ａのユーザから図面表示要求があった場合、構造物図面の情報である構造物図面情報を生成する。

構造物図面情報は、非検出対象検出部３３によって検出された各非検出対象の領域の位置を示す情報と非検出対象の種別を示す情報を含む構造物の図面の情報である。非検出対象の種別を示す情報は、例えば、照明４の名称を示す情報、ボルト５の名称を示す情報、ケーブル６の名称を示す情報、遊離石灰７の名称を示す情報、汚れ８の名称を示す情報、型枠痕の名称を示す情報、または補修痕９の名称を示す情報である。

図面情報生成部３６は、非検出対象検出部３３によって検出された各非検出対象の領域の位置および種別の各々を示す情報を非検出対象情報記憶領域２１から取得し、構造物の図面の情報を図面情報記憶領域２５から取得する。図面情報生成部３６は、例えば、各非検出対象の領域の位置および種別の各々を示す情報を構造物の図面に重畳することによって、構造物図面情報を生成する。

図面情報出力部３７は、図面情報生成部３６によって生成された構造物図面情報を表示部１４へ出力し、表示部１４に構造物図面を表示させる。図１０は、実施の形態２にかかる画像処理装置の表示部に表示される構造物図面の一例を示す図である。図１０に示す構造物図面５０には、非検出対象検出部３３によって検出された各非検出対象の領域を示す矩形枠の画像と、各枠に対応付けられた各非検出対象の名称を示す情報とが含まれる。

図１０に示す構造物図面５０には、照明４、ボルト５、ケーブル６、遊離石灰７、汚れ８、および補修痕９の各々の位置を示す矩形枠の画像と名称とが含まれている。なお、図面情報生成部３６によって生成される構造物図面情報は、構造物の図面に構造物画像２と図１０に示す画像とを重畳した画像の情報であってもよい。

画像処理装置１Ａのユーザは、入力部１１への入力操作によって、表示部１４に表示されている構造物図面５０に含まれる非検出対象の領域の位置を変更することができる。図面情報変更部３８は、構造物図面５０に含まれる非検出対象の領域の位置を変更する要求があった場合に、非検出対象検出部３３によって検出された非検出対象の領域の位置を変更する。図面情報変更部３８は、入力部１１への入力操作によって画像処理装置１Ａのユーザから図面修正要求があった場合に、構造物図面５０に含まれる非検出対象の領域の位置を変更する要求があったと判定する。

非検出対象の領域の位置の変更は、非検出対象情報記憶領域２１に記憶された非検出対象情報を変更することによって行われる。例えば、図面情報変更部３８は、構造物図面５０においてケーブル６の位置を変更する要求がある場合、非検出対象情報記憶領域２１に記憶された非検出対象情報のうちケーブル６の位置を示す情報を含む非検出対象情報を変更する。

また、図面情報変更部３８は、非検出対象検出部３３によって検出された非検出対象の領域の位置を変更した場合、構造物画像２から変更後の非検出対象の領域の位置の画像を抽出し、抽出した画像を正解画像として変更した非検出対象に対応する学習用情報に追加する。例えば、図面情報変更部３８は、ケーブル６の位置を変更した場合、構造物画像２から変更後のケーブル６の位置の画像を抽出し、抽出したケーブル６の画像を正解画像としてケーブル６の検出モデルを生成するための学習用情報に追加する。

学習部３１Ａは、図面情報変更部３８によって更新された学習用情報を用いて検出モデルの再学習を行うことができる。これにより、画像処理装置１Ａは、検出モデルの精度を向上させることができる。

なお、図面情報生成部３６は、例えば、変状検出部３５によって検出された変状の領域の位置を示す情報と各非検出対象の領域の位置を示す情報とを構造物の図面の情報に重畳することによって、構造物図面情報を生成することもできる。この場合、図面情報生成部３６は、変状情報を変状情報記憶領域２２から取得する。そして、図面情報変更部３８は、例えば、構造物図面５０に含まれる検出対象のひび割れの座標、長さ、および幅を変更する要求があった場合に、変状検出部３５によって検出されたひび割れの座標、長さ、および幅を変更する。

つづいて、フローチャートを用いて画像処理装置１Ａの処理部１３Ａによる処理を説明する。図１１は、実施の形態２にかかる画像処理装置の処理部による処理の一例を示すフローチャートである。画像処理装置１Ａの処理部１３Ａは、図１１に示す処理を繰り返し実行する。図１１に示すステップＳ３０，Ｓ３１の処理は、図５に示すステップＳ１，Ｓ２の処理と同じであるため、説明を省略する。

図１１に示すように、画像処理装置１Ａの処理部１３Ａは、図面修正処理を行う（ステップＳ３２）。ステップＳ３２の処理は、図１２に示すステップＳ４０〜Ｓ４４の処理であり、後で詳述する。また、処理部１３Ａは、再学習処理を行う（ステップＳ３３）。ステップＳ３３の処理は、図１３に示すステップＳ５０〜Ｓ５２の処理であり、後で詳述する。処理部１３Ａは、ステップＳ３３の処理が終了した場合、図１１に示す処理を終了する。

図１２は、実施の形態２にかかる画像処理装置の処理部による図面修正処理の一例を示すフローチャートである。図１２に示すように、画像処理装置１Ａの処理部１３Ａは、画像処理装置１Ａのユーザから図面表示要求があるか否かを判定する（ステップＳ４０）。処理部１３Ａは、図面表示要求があると判定した場合（ステップＳ４０：Ｙｅｓ）、構造物図面情報を生成し、生成した構造物図面情報に基づいて、構造物図面５０を表示部１４に表示させる（ステップＳ４１）。

処理部１３Ａは、ステップＳ４１の処理が終了した場合、または図面表示要求がないと判定した場合（ステップＳ４０：Ｎｏ）、画像処理装置１Ａのユーザから図面修正要求があるか否かを判定する（ステップＳ４２）。処理部１３Ａは、図面修正要求があると判定した場合（ステップＳ４２：Ｙｅｓ）、図面修正要求に基づいて、非検出対象情報を更新する（ステップＳ４３）。また、処理部１３Ａは、更新した非検出対象情報に基づいて学習用情報を更新する（ステップＳ４４）。

処理部１３Ａは、ステップＳ４４の処理が終了した場合、または、図面修正要求がないと判定した場合（ステップＳ４２：Ｎｏ）、図１２に示す処理を終了する。

図１３は、実施の形態２にかかる画像処理装置の処理部による再学習処理の一例を示すフローチャートである。図１３に示すように、画像処理装置１Ａの処理部１３Ａは、再学習タイミングになったか否かを判定する（ステップＳ５０）。ステップＳ５０の処理において、処理部１３Ａは、ステップＳ４４の処理で学習用情報が更新されている場合に、再学習タイミングになったと判定する。なお、処理部１３Ａは、学習用情報の更新でのタイミングに代えて、入力部１１へのユーザの操作によって、再学習要求があったと判定した場合に、再学習タイミングになったと判定することもできる。

処理部１３Ａは、再学習タイミングになったと判定した場合（ステップＳ５０：Ｙｅｓ）、更新された学習用情報を記憶部１２Ａから取得し（ステップＳ５１）、取得した学習用情報に基づいて、非検出対象の検出モデルを生成する（ステップＳ５２）。処理部１３Ａは、ステップＳ５２の処理が終了した場合、または再学習タイミングになっていないと判定した場合（ステップＳ５０：Ｎｏ）、図１３に示す処理を終了する。

実施の形態２にかかる画像処理装置１Ａのハードウェア構成例は、図８に示す画像処理装置１のハードウェア構成と同じである。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、取得部３０、学習部３１Ａ、情報受付部３２、非検出対象検出部３３、マスキング部３４、変状検出部３５、図面情報生成部３６、図面情報出力部３７、および図面情報変更部３８の機能を実行することができる。

以上のように、実施の形態２にかかる画像処理装置１Ａは、図面情報生成部３６と、図面情報出力部３７と、図面情報変更部３８とを備える。図面情報生成部３６は、非検出対象検出部３３によって検出された非検出対象の領域の位置を示す情報を含む構造物図面５０の情報である構造物図面情報を生成する。図面情報出力部３７は、図面情報生成部３６によって生成された構造物図面情報を出力する。図面情報変更部３８は、構造物図面情報に含まれる非検出対象の領域の位置を変更する要求があった場合に、非検出対象検出部３３によって検出された非検出対象の領域の位置を変更する。学習部３１Ａは、構造物画像２のうち図面情報変更部３８によって変更された非検出対象の領域の画像の情報に基づいて、１以上の検出モデルの再学習を行う。これにより、画像処理装置１Ａは、検出モデルの精度を向上させることができる。

以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１，１Ａ 画像処理装置、２ 構造物画像、３，３_１，３_２，３_３，３_４，３_５ ひび割れ、４，４_１，４_２，４_３，４_４，４_５，４_６，４_７，４_８ 照明、５，５_１，５_２ ボルト、６ ケーブル、７ 遊離石灰、８ 汚れ、９，９_１，９_２，９_３，９_４，９_５ 補修痕、１０ 通信部、１１ 入力部、１２，１２Ａ 記憶部、１３，１３Ａ 処理部、１４ 表示部、２０ 画像情報記憶領域、２１ 非検出対象情報記憶領域、２２ 変状情報記憶領域、２３ 学習用情報記憶領域、２５ 図面情報記憶領域、３０ 取得部、３１，３１Ａ 学習部、３２ 情報受付部、３３ 非検出対象検出部、３４ マスキング部、３５ 変状検出部、３６ 図面情報生成部、３７ 図面情報出力部、３８ 図面情報変更部、４１，４２，４３，４４，４５，４６ 領域、５０ 構造物図面。

Claims (7)

1. 構造物の画像の情報を取得する取得部と、
   機械学習によって生成され且つ画像から検出対象の変状とは異なる対象である非検出対象の領域を検出する１以上の検出モデルを用いて、前記取得部で取得された前記構造物の画像から前記非検出対象の領域を検出する非検出対象検出部と、
   前記構造物の画像のうち前記非検出対象検出部によって検出された前記非検出対象の領域をマスキングするマスキング部と、
   前記構造物に関する情報である構造物情報を受け付ける情報受付部と、を備え、
   前記非検出対象検出部は、
   機械学習によって生成され且つ画像から前記非検出対象の領域を検出する複数の検出モデルのうち前記情報受付部によって受け付けられた前記構造物情報に対応する１以上の検出モデルを用いて、前記構造物の画像から前記非検出対象の領域を検出する
   ことを特徴とする画像処理装置。
2. 前記構造物情報は、
   前記構造物の表面色の情報、前記構造物の工法の情報、および前記構造物におけるパネルの有無の情報のうち少なくとも１つの情報を含む
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記構造物情報は、
   前記構造物の補修方法の情報を含み、
   前記非検出対象検出部は、
   前記複数の検出モデルのうち前記構造物情報で特定される前記構造物の補修方法で補修された領域を前記非検出対象として検出する１以上の検出モデルを用いて、前記非検出対象の領域を検出する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 学習用情報に基づいて、前記１以上の検出モデルを機械学習によって生成する学習部を備える
   ことを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
5. 前記非検出対象検出部によって検出された前記非検出対象の領域の位置を示す情報を含む前記構造物の図面の情報である構造物図面情報を生成する図面情報生成部と、
   前記図面情報生成部によって生成された前記構造物図面情報を出力する図面情報出力部と、
   前記構造物図面情報に含まれる前記非検出対象の領域の位置を変更する要求があった場合に、前記非検出対象検出部によって検出された前記非検出対象の領域の位置を変更する図面情報変更部と、を備え、
   前記学習部は、
   前記構造物の画像のうち前記図面情報変更部によって変更された前記非検出対象の領域の画像の情報に基づいて、前記１以上の検出モデルの再学習を行う
   ことを特徴とする請求項４に記載の画像処理装置。
6. コンピュータが実行する画像処理方法であって、
   構造物の画像の情報を取得する第１のステップと、
   機械学習によって生成され且つ画像から検出対象の変状とは異なる対象である非検出対象の領域を検出する１以上の検出モデルを用いて、前記第１のステップで取得された前記構造物の画像から前記非検出対象の領域を検出する第２のステップと、
   前記構造物の画像のうち前記第２のステップによって検出された前記非検出対象の領域をマスキングする第３のステップと、
   前記構造物に関する情報である構造物情報を受け付ける第４のステップと、を含み、
   前記第２のステップは、
   機械学習によって生成され且つ画像から前記非検出対象の領域を検出する複数の検出モデルのうち前記第４のステップによって受け付けられた前記構造物情報に対応する１以上の検出モデルを用いて、前記構造物の画像から前記非検出対象の領域を検出する
   ことを特徴とする画像処理方法。
7. 構造物の画像の情報を取得する第１のステップと、
   機械学習によって生成され且つ画像から検出対象の変状とは異なる対象である非検出対象の領域を検出する１以上の検出モデルを用いて、前記第１のステップで取得された前記構造物の画像から前記非検出対象の領域を検出する第２のステップと、
   前記構造物の画像のうち前記第２のステップによって検出された前記非検出対象の領域をマスキングする第３のステップと、
   前記構造物に関する情報である構造物情報を受け付ける第４のステップと、をコンピュータに実行させ、
   前記第２のステップは、
   機械学習によって生成され且つ画像から前記非検出対象の領域を検出する複数の検出モデルのうち前記第４のステップによって受け付けられた前記構造物情報に対応する１以上の検出モデルを用いて、前記構造物の画像から前記非検出対象の領域を検出する
   ことを特徴とする画像処理プログラム。

Images