JP7846512B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、検査対象を撮影した画像から変状を検出する画像処理技術に関する。

コンクリート構造物の壁面等の検査対象を撮影した画像に対して、コンピュータ装置が機械学習を行うことでひび割れ等の変状を検出したり、ひび割れの幅等の変状の属性を判定する方法がある。また、機械学習により変状の属性を判定する場合、学習データを入力として学習済みモデルを作成するが、学習データの内容が異なると、特性が異なるモデルが作成される。判定精度を高めるには、特性の異なるモデルを複数作成しておき、判定対象に応じて適切なモデルを選択することが望ましい。

特許文献１には、画像解析に用いる学習済みモデルを選択する方法として、画像の撮像位置および撮像角度からなる撮像条件と類似した撮像条件の画像で学習したモデルを選択する方法が記載されている。

特許第６４７４９４６号

上述したように学習データの内容が異なる複数のモデルが存在する場合には、可能な限り判定対象のデータに類似した学習データで学習したモデルを選択することが望ましい。特に、変状幅等を判定する場合には、判定結果が実寸（例えば、ｍｍ）であることから、画像の画素あたりの実寸が類似する学習データで学習したモデルを選択することが望ましい。

しかしながら、特許文献１のモデルの選択条件は、画像の撮影位置と撮影角度の類似性のみであり、画像の実寸については考慮されていない。また、学習データとの類似性が低い場合は精度良く判定することが難しく、様々な画像を判定するには学習データの内容が異なる様々なモデルを用意する必要がある。

本発明は、上記課題に鑑みてなされ、その目的は、判定精度を保持しつつ、画像の実寸情報を用いて変状の属性を判定できる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、変状を含む画像の第１の実寸情報を取得する取得手段と、予め学習を行い生成されたモデルと前記モデルの学習に用いた第２の実寸情報とを関連付けて記憶するデータベースから、前記第１の実寸情報と前記第２の実寸情報との差に基づいて、前記画像に含まれる変状の属性を判定するための複数のモデルを選択する選択手段と、前記第１の実寸情報と、前記複数のモデルとに基づいて、当該複数のモデルそれぞれにおいて前記画像に含まれる変状の属性を判定する判定手段と、前記複数のモデルを用いて判定された変状の属性を統合する統合手段と、を有する。

本発明によれば、判定精度を保持しつつ、画像の実寸情報を用いて変状の属性を判定できるようになる。

実施形態１の画像処理装置のハードウェア構成図。 実施形態１の画像処理装置の機能ブロック図。 実施形態１の画像処理装置の変状の属性の判定処理を示すフローチャート。 実施形態１の画像処理装置のＵＩ画面を例示する図。 実施形態１の画像処理装置が生成するデータベースを例示する図。 実施形態１の画像処理装置が生成するデータベースを例示する図。 実施形態２の画像処理装置の機能ブロック図。 実施形態２の画像処理装置の処理を示すフローチャート。 実施形態２の画像処理装置が生成するデータベースを例示する図。 実施形態２の画像処理装置が生成するデータベースを例示する図。 実施形態２の画像処理装置のＵＩ画面を例示する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
実施形態１では、コンピュータ装置が画像処理装置として動作し、検査対象の変状を含む画像（判定画像）及び実寸情報と、単一の判定モデルとに基づいて機械学習を行い変状の属性を判定する処理を行う例について説明する。

なお、変状とは、自動車専用道路、橋梁、トンネル、ダム等のコンクリート構造物の損傷、劣化、その他の要因によりコンクリート面に生じるひび割れ等であり、ひび割れとは、経年劣化や地震の衝撃等により構造物の壁面等に生じる始点、終点、長さ及び幅を持つ線状の損傷である。

＜ハードウェア構成＞
まず、図１を参照して、実施形態１の画像処理装置のハードウェア構成について説明する。

図１は、実施形態１の画像処理装置１００のハードウェア構成を示すブロック図である。

以下に説明する実施形態１、２では、コンピュータ装置が画像処理装置１００として動作する。なお、本実施形態の画像処理装置の処理は単一のコンピュータ装置で実現してもよいし、必要に応じて複数のコンピュータ装置に各機能を分散して実現してもよい。複数のコンピュータ装置は、互いに通信可能に接続されている。

画像処理装置１００は、制御部１０１、不揮発性メモリ１０２、ワークメモリ１０３、記憶デバイス１０４、入力デバイス１０５、出力デバイス１０６、ネットワークインターフェース１０７、システムバス１０８を備える。

制御部１０１は、画像処理装置１００の全体を統括して制御するＣＰＵ、ＭＰＵ等の演算処理プロセッサを含む。不揮発性メモリ１０２は、制御部１０１のプロセッサが実行するプログラムやパラメータを格納するＲＯＭである。ここで、プログラムとは、後述する実施形態１、２の処理を実行するためのプログラムのことである。ワークメモリ１０３は、外部装置等から供給されるプログラムやデータを一時記憶するＲＡＭである。記憶デバイス１０４は、画像処理装置１００に内蔵されたハードディスクやメモリカード等の内部機器又は画像処理装置１００に着脱可能に接続されたハードディスクやメモリカード等の外部機器である。記憶デバイス１０４は、半導体メモリや磁気ディスク等から構成されるメモリカードやハードディスク等を含む。また、記憶デバイス１０４は、ＤＶＤ、Ｂｌｕｅ－ｒａｙ Ｄｉｓｃ等の光ディスクに対してデータの読み出し／書き込みを行うディスクドライブから構成される記憶媒体を含む。

入力デバイス１０５は、ユーザ操作を受け付けるマウス、キーボード、タッチパネル等の操作部材であり、操作指示を制御部１０１に出力する。出力デバイス１０６は、ＬＣＤや有機ＥＬから構成されるディスプレイやモニタ等の表示装置であり、画像処理装置１００が保有するデータや外部機器から供給されたデータを表示する。ネットワークインターフェース１０７は、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークに通信可能に接続する。システムバス１０８は、画像処理装置１００の各構成要素１０１～１０７をデータの授受が可能に接続するアドレスバス、データバス及び制御バスを含む。

不揮発性メモリ１０２には、制御部１０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）や、このＯＳと協働して応用的な機能を実現するアプリケーションが記録されている。また、本実施形態では、不揮発性メモリ１０２には、画像処理装置１００が、後述する判定画像から変状の属性を判定する処理を実現するアプリケーションが格納されている。

本実施形態の画像処理装置１００の処理は、アプリケーションにより提供されるソフトウェアを読み込むことにより実現される。なお、アプリケーションは画像処理装置１００にインストールされたＯＳの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、画像処理装置１００のＯＳが本実施形態における処理を実現するためのソフトウェアを有していてもよい。

＜機能構成＞
次に、図２を参照して、実施形態１の画像処理装置の機能ブロックについて説明する。

図２は、実施形態１の画像処理装置２００の機能ブロック図である。

画像処理装置２００は、取得部２０１、選択部２０２、判定部２０３及び補正部２０４を備える。画像処理装置２００の各機能は、ハードウェア及びソフトウェアにより構成される。なお、各機能部が、１つまたは複数のコンピュータ装置やサーバ装置で構成され、ネットワークにより接続されたシステムとして構成されてもよい。

取得部２０１は、変状の属性を判定するための判定画像と、判定画像の画素あたりの実寸情報と、を取得する。判定画像及び実寸情報は、記憶デバイス１０４から読み出されるか、入力デバイス１０５により入力されるが、ネットワークインターフェース１０７を介して外部機器から受信する。

選択部２０２は、取得部２０１により取得した判定画像及び実寸情報に基づいて変状の属性を判定するために用いる学習済みモデルやパラメータを選択する。

判定部２０３は、取得部２０１により取得した判定画像及び実寸情報と、選択部２０２により選択した判定モデルとに基づいて機械学習を行い変状の属性を判定する。

補正部２０４は、取得部２０１により取得し判定画像の１画素あたりの実寸情報と、判定部２０３により判定した変状の属性とに基づいて変状の属性を補正する。

なお、画素あたりの実寸情報は、判定画像の１画素あたりの実寸値（例えば、ｍｍ）を表す換算値であり、画素と実寸値との比率を表す画像実寸比（ｍｍ／ｐｉｘｅｌ）である。実寸情報は、画像実寸比以外に、画像の実寸換算、解像度、画素実寸値、画像実寸値等とも呼ばれる。

また、本実施形態では、変状の属性として変状幅を判定する例を説明するが、これに限らず、変状の長さ、深さ、厚さ、面積、体積等を判定してもよい。

＜変状の属性を判定する処理＞
次に、図３から図６を参照して、実施形態１の画像処理装置１００が判定画像から変状の属性を判定する処理について説明する。

図３は、実施形態１の画像処理装置１００が判定画像から変状の属性を判定する処理を示すフローチャートである。

なお、図３の処理は、図１に示す画像処理装置１００の制御部１０１が不揮発性メモリ１０２に格納されているプログラムをワークメモリ１０３に展開して実行して各構成要素を制御し、図２に示す機能を実行することにより実現される。後述する図８も同様である。

Ｓ３０１では、取得部２０１が、変状の属性を判定するための判定画像を取得する。

Ｓ３０２では、取得部２０１が、Ｓ３０１において取得した判定画像の実寸情報（以下、画像実寸情報）を取得する。画像実寸情報は複数取得してもよいし、縦方向と横方向のそれぞれの画像実寸情報を取得してもよい。

図４は、判定画像の画像実寸情報を取得する方法を説明する図であり、画像処理装置１００の表示画面を例示している。

画像実寸情報は、例えば、図４（ａ）に示す表示画面の入力欄４０１に、ユーザが入力デバイス１０５を操作して実寸値を入力することで取得できる。また、画像実寸情報は、例えば、図４（ｂ）に示す表示画面の入力欄４０４に、ユーザが入力デバイス１０５を操作して判定画像４０２に表示されている線分４０３の長さに対応する数値を入力することで取得できる。また、画像実寸情報は、図４（ｃ）に示す表示画面のように、判定画像４０２と実寸値が関連付けられている図面４０５を表示し、ユーザが入力デバイス１０５を操作して判定画像４０２と図面４０５の関係４０６を対応させることで取得できる。さらには、画像実寸情報は、図４（ｄ）に示す表示画面のように、実寸値４０７が既知の判定画像を選択することで取得できる。なお、画像実寸情報は複数取得してもよい。例えば、図４（ｃ）に示す表示画面において、判定画像４０２と縦方向と横方向の実寸情報が関連付けられている図面４０５を表示し、判定画像４０２と図面４０５の関係４０６を対応させることで、縦方向と横方向の実寸情報を取得してもよい。

Ｓ３０３では、選択部２０２が、判定画像から変状の属性の判定に用いる判定モデルを選択する。

判定モデルは、実寸情報と実寸情報に近い変状を含む画像（変状画像）を学習することにより予め作成される。判定モデルは、学習に用いた変状画像の実寸情報を関連付けて記憶しておく。図５は、Ｓ３０３で選択される判定モデルのデータベースの一部を例示する図である。図５に示す判定モデルのデータベース５０１は、記憶デバイス１０４又はネットワークインターフェース１０７を介してアクセス可能な外部記憶装置に格納されている。図５において、判定モデルのデータベース５０１は、判定モデルごとにモデルＩＤ５０２、モデルファイル名５０３及びモデル実寸情報５０４が記憶されている。モデルＩＤ５０２は、判定モデルの識別情報である。モデルファイル名５０３は、判定モデルのデータファイルの名称である。モデル実寸情報５０４は、学習に用いた変状画像の実寸情報であり、本実施形態では画像実寸比である。

選択部２０２は、図５に示すデータベースから、Ｓ３０２において取得した画像実寸情報に最も近い判定モデルを選択する。

判定モデルの選択方法は以下の通りである。

まず、以下の式１を用いて距離ｆ（ｎ）を算出する。ＲｔはＳ３０２において取得した画像実寸情報、Ｒｎは判定モデルｎのモデル実寸情報である。
（式１）
ｆ（ｎ）＝｜Ｒｔ－Ｒｎ｜
次に、式１を用いて算出した距離ｆ（ｎ）が最も小さい判定モデルを選択する。なお、距離が最も小さい判定モデルが複数存在する場合は、モデル実寸情報が最も小さい判定モデルを選択してもよい。また、Ｓ３０２において画像実寸情報を複数取得した場合、それらの平均値を画像実寸情報として判定モデルを選択してもよい。

Ｓ３０４では、判定部２０３が、Ｓ３０１とＳ３０２において取得した判定画像及び画像実寸情報と、Ｓ３０３において選択した判定モデルとに基づいて機械学習を行い変状の属性を判定する。なお、判定部２０３は、画像実寸情報に加えて変状の位置情報を用いて変状の属性を判定してもよい。ここで、変状の位置は、ユーザが判定画像から検出し入力デバイス１０５により入力してもよいし、外部機器により検出しネットワークインターフェース１０７を介して入力してもよい。

図６（ａ）は、Ｓ３０４において判定の結果として出力される変状の属性のデータベースの一部を例示する図である。図６（ａ）に示す変状の属性のデータベース６０１は、記憶デバイス１０４又はネットワークインターフェース１０７を介してアクセス可能な外部記憶装置に格納されている。図６（ａ）において、変状の属性のデータベース６０１は、判定された変状ごとに変状ＩＤ６０２、始点座標６０３、終点座標６０４及び変状の属性６０５が記憶されている。変状ＩＤ６０２は、判定された変状の識別情報である。始点座標６０３は、判定された変状位置の始点座標である。終点座標６０４は、判定された変状位置の終点座標である。変状の属性６０５は、判定された変状の属性であり、本実施形態では変状幅である。

Ｓ３０５では、補正部２０４が、Ｓ３０４において判定した変状の属性を補正する。

変状の属性の補正方法は以下の通りである。

まず、以下の式２を用いて補正係数αを算出する。ＲｔはＳ３０２において取得した画像実寸情報、Ｒｎは判定モデルｎのモデル実寸情報である。
（式２）
α＝Ｒｔ／Ｒｎ
次に、式２を用いて算出した補正係数αを用いてＳ３０４において判定された変状の属性Ｃｎを補正する。

そして、以下の式３で補正後の変状の属性Ｃ‘ｎを算出する。
（式３）
Ｃ’ｎ＝α・Ｃｎ
以上の補正を、Ｓ３０４で判定され、図６（ａ）に示すデータベース６０１に登録された変状の属性ごとに行う。補正後の変状の属性は、図６（ｂ）に示す補正後の変状の属性のデータベース６０６に登録される。図６（ｂ）は、Ｓ３０５において補正された変状の属性のデータベースの一部を例示する図である。図６（ｂ）に示す補正後の変状の属性のデータベース６０６は、記憶デバイス１０４又はネットワークインターフェース１０７を介してアクセス可能な外部記憶装置に格納されている。図６（ｂ）において、補正後の変状の属性のデータベース６０６は、補正された変状ごとに変状ＩＤ６０２、始点座標６０３、終点座標６０４、変状の属性６０５及び補正後の変状の属性６０７が記憶されている。変状ＩＤ６０２は、補正された変状の識別情報である。始点座標６０３は、補正された変状位置の始点座標である。終点座標６０４は、補正された変状位置の終点座標である。変状の属性６０５は、補正された変状の属性である。補正後の変状の属性６０７は、補正された変状の属性であり、本実施形態では変状幅である。

なお、Ｓ３０２において画像実寸情報を複数取得した場合、それらの平均値を画像実寸情報として変状の属性を補正してもよい。

以上のように、実施形態１によれば、判定精度を保持しつつ、判定画像の実寸情報を用いて変状の属性を判定できる。これにより、変状の属性を判定する処理の信頼性が向上し、点検作業を効率化することが可能となる。

なお、Ｓ３０３またはＳ３０５は省略してもよい。例えば、Ｓ３０３における判定モデルの選択を省略し、予め決められた代表的な判定モデルを用いてもよい。また、Ｓ３０５における変状の属性の補正を省略してもよい。

また、Ｓ３０４における変状の属性の判定において、判定画像の画像実寸情報と判定モデルのモデル実寸情報とが一致するように判定画像を変倍してから変状の属性を判定してもよい。

また、画像実寸情報を複数取得した場合や画像実寸情報が縦方向と横方向の画像実寸情報を含む場合は、それぞれの画像実寸情報について、Ｓ３０３からＳ３０５の処理を行えばよい。

［実施形態２］
次に、図７から図１１を参照して、実施形態２について説明する。

実施形態１は、判定画像及び画像実寸情報と、単一の判定モデルとに基づいて機械学習を行い変状の属性を判定する処理であった。これに対して、実施形態２では、複数の判定モデルを用いて変状の属性を判定し、複数の判定モデルを用いて得られる複数の変状の属性を統合する処理を行う例について説明する。

＜装置構成＞
図７は、実施形態２の画像処理装置の機能ブロック図である。実施形態２の画像処理装置７００は、実施形態１で説明した図２の画像処理装置２００に統合部７０１が追加されている。

統合部７０１は、補正部２０４が、複数の判定モデルを用いて判定された複数の変状の属性を統合する。

実施形態２の画像処理装置７００のハードウェア構成は、実施形態１の図１と同様である。

＜変状の属性を判定する処理＞
次に、図８から図１１を参照して、実施形態２の画像処理装置が判定画像から変状の属性を判定する処理について説明する。

図８は、実施形態２の画像処理装置７００が判定画像から変状の属性を判定する処理を示すフローチャートである。

図８におけるＳ８０１及びＳ８０２の処理は、実施形態１で説明した図３のＳ３０１及びＳ３０２の処理と同様である。なお、実施形態１で説明したように、画像実寸情報は複数取得してもよいし、縦方向と横方向のそれぞれの画像実寸情報を取得してもよい。

Ｓ８０３では、選択部２０２が、判定画像から変状の属性の判定に用いる複数の判定モデルを選択する。

選択部２０２は、実施形態１で説明した式１を用いて距離ｆ（ｎ）を算出し、図５に示すデータベースから、算出した距離ｆ（ｎ）に近いものから順にＮ個（例えば、Ｎ＝２）の判定モデルを選択する。なお、Ｓ８０２において複数の画像実寸情報を取得した場合は、それぞれの画像実寸情報に対して距離ｆ（ｎ）を算出し、それぞれの距離ｆ（ｎ）のうち最も距離ｆ（ｎ）が小さい判定モデルを選択する。

選択された判定モデル（以下、選択モデル）は、Ｓ８０２において取得した判定画像の画像実寸情報を関連付けて記憶しておく。図９は、Ｓ８０３において選択された選択モデルのデータベースの一部を例示する図である。図９に示す選択モデルのデータベース９０１は、記憶デバイス１０４又はネットワークインターフェース１０７を介してアクセス可能な外部記憶装置に格納されている。図９において、選択モデルのデータベース９０１は、選択モデルごとにモデルＩＤ９０２、モデル実寸情報９０３及び画像実寸情報９０４が記憶されている。モデルＩＤ９０２は、選択モデルの識別情報である。モデル実寸情報９０３は、学習に用いた変状画像の実寸情報であり、画像実寸情報９０４は、Ｓ８０２において取得した判定画像の画像実寸情報であり、本実施形態では画像実寸比である。

Ｓ８０４では、判定部２０３が、Ｓ８０３において選択したそれぞれの選択モデルを用いて変状の属性を判定する。変状の属性の判定方法は、図３のＳ３０４と同様である。図１０（ａ）は、Ｓ８０４において判定の結果として出力される変状の属性のデータベースの一部を例示する図である。図１０（ａ）に示す変状の属性のデータベース１００１は、記憶デバイス１０４又はネットワークインターフェース１０７を介してアクセス可能な外部記憶装置に格納されている。図１０（ａ）において、変状の属性のデータベース１００１は、判定された変状ごとに変状ＩＤ１００２、モデルＩＤ１００３、始点座標１００４、終点座標１００５及び変状の属性１００６が記憶されている。変状ＩＤ１００２は、判定された変状の識別情報である。モデルＩＤ１００３は、変状の属性の判定に用いた選択モデルの識別情報である。始点座標１００４は、判定された変状位置の始点座標である。終点座標１００５は、判定された変状位置の終点座標である。変状の属性１００６は、判定された変状の属性であり、本実施形態では変状幅である。図１０（ａ）において、変状１００７と変状１００８は同じ位置の変状に対して異なる判定モデルを用いて変状の属性が判定されているので、同じ変状ＩＤ１００２と異なるモデルＩＤ１００３が登録されている。

Ｓ８０５では、補正部２０４が、Ｓ８０４において判定した変状の属性を補正する。補正部２０４は、図１０（ａ）に示すデータベース１００１の変状ＩＤごとのモデルＩＤ１００３について、図９に示す選択モデルのデータベース９０１を参照して、変状の属性の判定に用いた選択モデルのモデル実寸情報と画像実寸情報を取得する。また、補正部２０４は、実施形態１で説明した式２を用いて補正係数αを算出し、実施形態１で説明した式３を用いて変状の属性Ｃｎを補正する。

以上の補正を、Ｓ８０４で判定され、図１０（ａ）に示すデータベース１００１に登録された変状の属性ごとに行う。補正後の変状の属性は、図１０（ｂ）に示す補正された変状の属性のデータベース１００９に登録される。図１０（ｂ）は、Ｓ８０５において補正された変状の属性のデータベースの一部を例示する図である。図１０（ｂ）に示す補正後の変状の属性のデータベース１００９は、記憶デバイス１０４又はネットワークインターフェース１０７を介してアクセス可能な外部記憶装置に格納されている。図１０（ｂ）において、補正後の変状の属性のデータベース１００９は、補正された変状ごとに変状ＩＤ１００２、モデルＩＤ１００３、始点座標１００４、終点座標１００５、変状の属性１００６及び補正後の変状の属性１０１０が記憶されている。変状ＩＤ１００２は、補正された変状の識別情報である。モデルＩＤ１００３は、変状の属性の判定に用いた選択モデルの識別情報である。始点座標１００４は、補正された変状位置の始点座標である。終点座標１００５は、補正された変状位置の終点座標である。変状の属性１００６は、補正された変状の属性である。補正後の変状の属性１０１０は、補正された変状の属性であり、本実施形態では変状幅である。

Ｓ８０６では、統合部７０１が、Ｓ８０５において補正した、複数の選択モデルを用いて判定した補正後の複数の変状の属性を統合する。統合部７０１は、例えば、異なる選択モデルを用いて判定された補正後の複数の変状の属性を、ユーザが指定した補正後の変状の属性に統合する。図１１は、複数の選択モデルを用いて判定した補正後の複数の変状の属性を統合する方法を説明する図である。図１１（ａ）に示す統合画面１１０１には、Ｓ８０１において取得した判定画像に、図１０（ｂ）のデータベース１００９に登録されている各変状と、各変状について異なる選択モデルで判定された補正後の変状の属性が表示される。図１１（ａ）は、統合画面１１０１に、例えば、図９のデータベース９０１に登録されているモデル実寸情報０．８ｍｍ／ｐｉｘｅｌの選択モデルを用いて判定された補正後の複数の変状の属性を含む判定画像１１０２と、モデル実寸情報１．０ｍｍ／ｐｉｘｅｌの選択モデルを用いて判定された補正後の複数の変状の属性を含む判定画像１１０３と、を表示する。そして、例えば、図１１（ａ）の統合画面１１０１の判定画像１１０２において、ユーザが入力デバイス１０５を操作することにより変状１１０４を選択し、確定ボタン１１０５を操作すると、判定画像１１０２の複数の変状の属性が変状１１０４の属性に統合される。以上の処理を繰り返すことにより、図１０（ｂ）の変状ＩＤごとに変状の属性が統合されたデータベースが生成される。なお、統合後のデータベースに統合前の属性を付記してもよい。

また、Ｓ８０２において取得した画像実寸情報が縦方向と横方向の画像実寸情報を含む場合、図１１（ｂ）に示す統合画面１１０６のように、図９のデータベース９０１において、縦方向の画像実寸情報から選択されたモデル実寸情報０．８ｍｍ／ｐｉｘｅｌの選択モデルを用いて判定された補正後の複数の変状の属性を含む判定画像１１０７と、横方向の画像実寸情報から選択されたモデル実寸情報１．０ｍｍ／ｐｉｘｅｌの選択モデルを用いて判定された補正後の複数の変状の属性を含む判定画像１１０８と、を表示する。そして、そして、例えば、図１１（ｂ）の統合画面１１０６のように判定画像１１０７及び／又は１１０８において、ユーザが入力デバイス１０５を操作することにより縦方向又は横方向の変状を選択し、確定ボタン１１０５を操作すると、判定画像１１０７及び／又は１１０８の複数の変状の属性が統合される。この場合、図１０（ｂ）のデータベース１００９に登録されている始点座標１００４と終点座標１００５から変状の方向を判定し、画像実寸情報の方向が一致する変状を予め選択状態１１０９で表示してもよい。このようにすることで、ユーザが変状を選択する操作を行わずに、選択状態１１０９の変状を統合することができる。

以上のように、実施形態２によれば、変状の属性の判定精度と、判定画像の画像実寸情報の範囲をより向上することができる。これにより、変状の属性を判定する処理の信頼性が向上し、点検作業を効率化することが可能となる。

なお、Ｓ８０３またはＳ８０５は省略してもよい。例えば、Ｓ８０３における選択モデルの選択を省略し、全ての判定モデルを用いてもよい。また、Ｓ８０５における変状の属性の補正を省略してもよい。

また、画像実寸情報を複数取得した場合や画像実寸情報が縦方向と横方向の画像実寸情報を含む場合は、それぞれの画像実寸情報について、Ｓ８０３からＳ８０６の処理を行えばよい。

［他の実施形態］
本発明は、各実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００、２００、７００…画像処理装置、１０１…制御部、１０２…不揮発性メモリ、１０４…記憶デバイス、２０１…取得部、２０２…選択部、２０３…判定部、２０４…補正部、７０１…統合部

Claims (17)

1. 変状を含む画像の第１の実寸情報を取得する取得手段と、
   予め学習を行い生成されたモデルと前記モデルの学習に用いた第２の実寸情報とを関連付けて記憶するデータベースから、前記第１の実寸情報と前記第２の実寸情報との差に基づいて、前記画像に含まれる変状の属性を判定するための複数のモデルを選択する選択手段と、
   前記第１の実寸情報と、前記複数のモデルとに基づいて、当該複数のモデルそれぞれにおいて前記画像に含まれる変状の属性を判定する判定手段と、
   前記複数のモデルを用いて判定された変状の属性を統合する統合手段と、を有することを特徴とする画像処理装置。
2. 前記第１の実寸情報と前記第２の実寸情報とに基づいて、前記変状の属性を補正する補正手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記第１の実寸情報と前記第２の実寸情報との比に基づいて前記変状の属性を補正することを特徴とする請求項２に記載の画像処理装置。
4. 前記変状と、前記変状の位置と、前記変状の属性と、前記補正後の変状の属性とを関連付けたデータベースを記憶する記憶手段をさらに有することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記第１の実寸情報と前記第２の実寸情報とに基づいて、前記複数のモデルを用いて判定された変状の属性を補正する補正手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
6. 前記変状と、前記変状の位置と、前記変状の属性と、前記補正後の変状の属性と、前記変状の属性の判定に用いたモデルと、を関連付けたデータベースを記憶する記憶手段をさらに有することを特徴とする請求項５に記載の画像処理装置。
7. 前記第１の実寸情報は前記画像の縦方向及び横方向の実寸情報を含むことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記選択手段は、前記画像の縦方向と横方向の実寸情報に基づいて前記モデルを選択することを特徴とする請求項７に記載の画像処理装置。
9. 前記選択手段は、前記画像の縦方向及び横方向の実寸情報の平均に基づいて前記モデルを選択することを特徴とする請求項７に記載の画像処理装置。
10. 前記第１の実寸情報は前記画像の縦方向及び横方向の実寸情報を含み、
    前記補正手段は、前記画像の縦方向及び横方向の実寸情報と前記第２の実寸情報との比に基づいて前記変状の属性を補正することを特徴とする請求項２又は３に記載の画像処理装置。
11. 前記第１の実寸情報は前記画像の縦方向及び横方向の実寸情報を含み、
    前記補正手段は、前記画像の縦方向及び横方向の実寸情報の平均と前記第２の実寸情報との比に基づいて前記変状の属性を補正することを特徴とする請求項２又は３に記載の画像処理装置。
12. 前記第１の実寸情報は前記画像の縦方向及び横方向の実寸情報を含み、
    前記統合手段は、前記画像の縦方向及び横方向の実寸情報と前記変状の方向とに基づいて前記変状の属性を統合することを特徴とする請求項５に記載の画像処理装置。
13. 前記判定手段は、前記第１の実寸情報を用いて前記画像を変倍して前記変状の属性を判定することを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記変状はひび割れであることを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記変状の属性は前記ひび割れの幅であることを特徴とする請求項１４に記載の画像処理装置。
16. 画像処理方法であって、
    取得手段が、変状を含む画像の第１の実寸情報を取得するステップと、
    選択手段が、予め学習を行い生成されたモデルと前記モデルの学習に用いた第２の実寸情報とを関連付けて記憶するデータベースから、前記第１の実寸情報と前記第２の実寸情報との差に基づいて、前記画像に含まれる変状の属性を判定するための複数のモデルを選択するステップと、
    判定手段が、前記第１の実寸情報と、前記複数のモデルとに基づいて、当該複数のモデルそれぞれにおいて前記画像に含まれる変状の属性を判定するステップと、
    統合手段が、前記複数のモデルを用いて判定された変状の属性を統合するステップと、を有することを特徴とする画像処理方法。
17. コンピュータを、請求項１から１５のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。