JP7346816B2 - 表面の不具合検査方法 - Google Patents

Description

本発明は、表面の不具合検査方法に関する。

検査対象とする検査対象表面を撮像した検査対象画像と、検査対象の不具合部を機械学習させた不具合部学習情報と、を用いて、検査対象表面の不具合を検査する表面の不具合検査方法は、既によく知られている（例えば、特許文献１参照）。

特開２０１６－１４２６０１号公報

従来の表面の不具合検査においては、検査対象の不具合部の画像と、該不具合部を複数の技術員が評価した評価値と、の組み合わせを複数用いて機械学習させた不具合部学習情報により、表面の不具合検査が行われていた。そのため、従来の不具合部学習情報には、技術員間の評価値のばらつきが存在していた。

本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、表面の不具合検査を高精度化することにある。

上記目的を達成するための主たる発明は、製造物又は施工物の表面の不具合検査方法であって、サンプルとするサンプル表面を撮像したサンプル画像と、前記サンプル表面のサンプル不具合部を所定条件に基づいて前記サンプル表面のサンプル健全部と前記サンプル画像上で第一色の着色により識別化した不具合部識別化画像と、を関連付けて機械学習させた不具合部学習情報と、検査対象とする検査対象表面を撮像した検査対象画像と、を用いて、前記検査対象表面の検査対象不具合部を検査し、前記不具合部学習情報、及び、サンプルとするサンプル表面を撮像したサンプル画像と、該サンプル画像に含まれ検査対象から除外されるサンプル除外部を除外部所定条件に基づいて前記サンプル画像のサンプル非除外部と前記サンプル画像上で前記第一色と異なる第二色の着色により識別化した除外部識別化画像と、を関連付けて機械学習させた除外部学習情報に基づいて、検査対象除外部を含む前記検査対象画像から前記検査対象不具合部及び前記検査対象除外部を検出することを特徴とする表面の不具合検査方法である。

本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。

本発明によれば、表面の不具合検査を高精度化することが可能となる。

ベースプレート３のコンクリート打設時の側面断面図である。 学習装置４０を示した図である。 サンプル画像３０Ｓ及び不具合部識別化画像３２Ｓである。 サンプル作製のフローチャートである。 最長長さを説明するための図である。 除外部識別化画像３４Ｓ及び除外部識別化画像３６Ｓである。 サンプル画像３０Ｓ、及び除外部識別化画像３４Ｓ又は除外部識別化画像３６Ｓの作製フローチャートである。 コンクリート表面１０の検査フローチャートである。 検査対象画像３０の重複部分を説明するための図である。 分割画像３８の生成を説明するための模式図である。 検出結果画像の生成を説明するための模式図である。

本明細書及び添付図面により、少なくとも、以下の事項が明らかとなる。

製造物又は施工物の表面の不具合検査方法であって、サンプルとするサンプル表面を撮像したサンプル画像と、前記サンプル表面のサンプル不具合部を所定条件に基づいて前記サンプル表面のサンプル健全部と前記サンプル画像上で識別化した不具合部識別化画像と、を関連付けて機械学習させた不具合部学習情報と、検査対象とする検査対象表面を撮像した検査対象画像と、を用いて、前記検査対象表面の検査対象不具合部を検査することを特徴とする表面の不具合検査方法。

このような表面の不具合検査方法によれば、表面の不具合検査を高精度化することが可能となる。

かかる表面の不具合検査方法であって、前記不具合部学習情報は、畳み込みニューラルネットワークを利用して機械学習させた情報であることが望ましい。

このような表面の不具合検査方法によれば、不具合部学習情報を高精度化することが可能となる。

かかる表面の不具合検査方法であって、前記不具合部学習情報、及び、サンプルとするサンプル表面を撮像したサンプル画像と、該サンプル画像に含まれ検査対象から除外されるサンプル除外部を除外部所定条件に基づいて前記サンプル画像のサンプル非除外部と前記サンプル画像上で識別化した除外部識別化画像と、を関連付けて機械学習させた除外部学習情報に基づいて、検査対象除外部を含む前記検査対象画像から前記検査対象不具合部及び前記検査対象除外部を検出することが望ましい。

このような表面の不具合検査方法によれば、表面の不具合検査をより一層高精度化することが可能となる。

かかる表面の不具合検査方法であって、前記検査対象表面を、互いに隣り合う前記検査対象画像に重複部分が形成されるように複数に分割して撮像することにより、複数の前記検査対象画像を取得し、取得された前記検査対象画像から、前記不具合部学習情報に基づいて前記検査対象不具合部を検出することが望ましい。

このような表面の不具合検査方法によれば、学習装置の検出ミスを抑制することが可能となる。

かかる表面の不具合検査方法であって、前記所定条件は、前記サンプル不具合部の長さ条件を含み、当該長さ条件において、最小サンプル不具合部の長さを所定長さと設定した際には、前記検査対象画像の前記重複部分の重複幅を、前記所定長さより大きく前記検査対象画像の幅よりも小さい値に設定することが望ましい。

このような表面の不具合検査方法によれば、不具合部の検出に有効な範囲で重複部分を重複させることが可能となる。

かかる表面の不具合検査方法であって、前記検査対象画像を複数に分割して互いに隣り合う分割画像に重複部分が形成されるように複数の分割画像を生成し、生成された前記分割画像から、前記不具合部学習情報に基づいて前記検査対象不具合部を検出することが望ましい。

このような表面の不具合検査方法によれば、学習装置の検出ミスを抑制することが可能となる。

かかる表面の不具合検査方法であって、前記所定条件は、前記サンプル不具合部の長さ条件を含み、当該長さ条件において、最小サンプル不具合部の長さを所定長さと設定した際には、前記分割画像の前記重複部分の重複幅を、前記所定長さより大きく前記分割画像の幅よりも小さい値に設定することが望ましい。

このような表面の不具合検査方法によれば、不具合部の検出に有効な範囲で重複部分を重複させることが可能となる。

かかる表面の不具合検査方法であって、前記所定条件は、前記サンプル表面の実物において前記サンプル不具合部と認められる輪郭又は凹凸を含む形状、色、輝度、模様、大きさ、太さ、長さのいずれか１つ以上の条件であることが望ましい。

このような表面の不具合検査方法によれば、サンプル空隙か否かの判断ミスを抑制することが可能となる。

かかる表面の不具合検査方法であって、前記検査対象表面の検査対象不具合部の検査として、前記検査対象不具合部の検査対象不具合部毎の最長径若しくは面積、又は前記検査対象表面における前記検査対象不具合部の面積率を算出することが望ましい。

このような表面の不具合検査方法によれば、不具合部の検査項目を数値化して検査することが可能となる。

＝＝＝本実施の形態に係る表面の不具合検査方法について＝＝＝
本実施の形態に係る表面の不具合検査方法は、プレキャストコンクリート等の製造物又は現場打ちコンクリート等の施工物の表面の不具合を検査する方法であって、機械学習済みの学習情報を記録したコンピュータ（以下、学習装置４０ともいう。図２参照）を用いて、検査対象表面の不具合を検査する方法である。

以下では、表面の不具合検査方法の一例として、建築物等の免震装置を設置するためのベースプレート３のコンクリート打設時における不具合の検査であって、ベースプレート３が接するコンクリート表面１０（検査対象表面に相当）の空隙２０（検査対象不具合部に相当）の検査について説明する。

＜＜＜ベースプレート３におけるコンクリート表面１０の表面検査について＞＞＞
ベースプレート３のコンクリート打設は、図１に示すように、ベースプレート３に設けられたホッパー５の上部からホッパー５内部へ生コンクリート１を流し込んで行われる。図１は、ベースプレート３のコンクリート打設時の側面断面図である。

ホッパー５内部は、ベースプレート３の下側まで貫通しており、生コンクリート１は、ホッパー５内部を経由して、ベースプレート３の下側の空間へ至る。

該空間は、周囲が型枠で区切られており、生コンクリート１は、型枠の内側においてベースプレート３の下面に至るまで流し込まれる。つまり、該コンクリート打設は、ベースプレート３の下部空間を生コンクリート１で満たすようにして行われる。

ベースプレート３は、建築物等に用いられる免震装置を正確な高さで設置するために設けられる鉄板である。そのため、ベースプレート３の下部に打設される生コンクリート１は、ベースプレート３と免震装置を介して建築物等の荷重を支持することとなる。すなわち、ベースプレート３の下部に打設される生コンクリート１は、硬化後に建築物等の構造体の一部となるので、建築物等を支持するための強度が求められる。

したがって、該コンクリート打設時には、ベースプレート３の下面にしっかりと生コンクリート１が密着するように打設されるが、生コンクリート１から発生する気体等が生コンクリート１とベースプレート３の下面との間に残存することが知られている。

そして、この残存した気体は、生コンクリート１が固まった後にコンクリート表面１０の空隙２０へと変化して残存し（図９の（ｃ）参照）、強度が必要とされる構造体としてのコンクリート表面１０においては、この空隙２０がコンクリート表面１０とベースプレート３の密着度（接している面積）を低下させ、建築物等の品質に悪影響を及ぼすことが知られている。

そのため、本実施の形態においては、この密着度を検査（合否判定）するために、コンクリート表面１０に形成された個々の空隙２０の面積を検査対象画像３０から計測し、コンクリート表面１０の空隙面積率を以下の式から算出する。

コンクリート表面１０の空隙面積率＝空隙２０の面積の総和／コンクリート表面１０の面積
コンクリート表面１０の空隙面積率の数値が小さければ、コンクリート表面１０の単位面積辺りの空隙２０の面積が少ないので、密着度が良好となる。

本実施の形態においては、コンクリート表面１０の空隙面積率の数値に閾値を設定して、コンクリート表面１０の空隙面積率の数値が閾値より大きいか小さいかで密着度（空隙２０の総面積ともいえる）を検査する。

なお、検査対象画像３０とは、本番（実際の施工）ではベースプレート３を本番のコンクリート表面１０から取り外せないので、本番前に本番と略同一条件で生コンクリート１を打設してベースプレート３を取り外し、当該コンクリート表面１０を本番のコンクリート表面１０とみなして撮像することにより取得する画像のことである。

また、ベースプレート３のコンクリート打設時における密着度の検査は、生コンクリート１の材料、打設環境等が毎回同じではないので、原則として、個々の建築物等に対して毎回行われる。

＜＜＜学習装置４０について＞＞＞
図２は、本実施の形態に係る学習装置４０を示した図である。学習装置４０には、検査対象画像３０から空隙２０を検出するために機械学習された空隙学習情報４２（不具合部学習情報に相当）と、検査対象画像３０から検査対象ではない除外部を検出するために機械学習された除外部学習情報４４と、が記憶されており、検査対象画像３０を入力する入力部（例えば、ＵＳＢ接続端子）と、検査結果を出力する出力部（例えば、ディスプレイ）と、が備えられている。

つまり、学習装置４０は、入力部から入力された検査対象画像３０を空隙学習情報４２、除外部学習情報４４等を用いて処理し、コンクリート表面１０の空隙面積率を算出して上記した密着度を検査し、出力部に該検査結果を出力する装置である。

＜空隙学習情報４２について＞
本実施の形態に係る空隙学習情報４２は、深層学習（ディープラーニング）の１種である畳み込みニューラルネットワークを利用して機械学習させた情報であって、検査対象画像３０における空隙２０の画素を空隙と識別（セマンティック・セグメンテーション）することにより、コンクリート表面１０の空隙２０を検出するための情報である。

図３は、サンプル画像３０Ｓと不具合部識別化画像３２Ｓを示しており、左図がサンプル画像３０Ｓであり、右図が不具合部識別化画像３２Ｓである。

不具合部識別化画像３２Ｓとは、サンプル表面１０Ｓのサンプル空隙２０Ｓ（サンプル不具合部に相当）を所定条件に基づいてサンプル表面１０Ｓのサンプル健全部とサンプル画像３０Ｓ上で識別化した画像である。

そして、当該深層学習においては、図３に示す複数（本実施の形態においては４５０組程度）のサンプル画像３０Ｓ及び不具合部識別化画像３２Ｓを見本として用いて機械学習を行う。

つまり、例題として、サンプル画像３０Ｓを問題（入力）とし、当該サンプル画像３０Ｓの不具合部識別化画像３２Ｓを答え（出力）とした教師ありの深層学習であって、複数の例題を解くことにより例題の正解率を上げていく深層学習が行われる。

換言すれば、サンプル表面１０Ｓを撮像したサンプル画像３０Ｓと、サンプル画像３０Ｓ上におけるサンプル空隙２０Ｓを赤く着色（図では濃いグレーで表示）した不具合部識別化画像３２Ｓ（つまり、本実施の形態における識別化行為は着色である）と、を関連付けて深層学習が行われる（より具体的には、画像ソフトが不具合部識別化画像３２Ｓの色情報を画像処理にて読み取り、該色情報に基づいた分類インデックス（例えば、サンプル健全部を０、サンプル空隙２０Ｓを１とした数値）と、サンプル画像３０Ｓと、を関連付けて深層学習が行われる）。

そして、かかる深層学習によって、検査対象画像３０から空隙２０を検出するための情報である機械学習済みの空隙学習情報４２（所謂分類器）が生成される。

なお、上記した不具合部識別化画像３２Ｓを生成するための所定条件は、サンプル表面１０Ｓにおいてサンプル空隙２０Ｓと認められるサンプル表面１０Ｓの外観情報に基づいている。

すなわち、所定条件は、サンプル表面１０Ｓの実物においてサンプル空隙２０Ｓと認められる輪郭又は凹凸を含む形状、色、輝度、模様、大きさ、太さ、長さのいずれか１つ以上の条件である。

本実施の形態に係るサンプル空隙２０Ｓの所定条件は、空隙の輪郭と該空隙の長さ条件であり、空隙の輪郭の内側において最長となる直線の長さ（最長径に相当。以下、最長長さともいう。詳しくは後述する）が、５ｍｍ以上の空隙をサンプル空隙２０Ｓとし、５ｍｍ未満の空隙は、サンプル空隙２０Ｓに該当しないサンプル健全部（サンプル表面１０Ｓのサンプル空隙２０Ｓ以外の部分）とする。

＜サンプル画像３０Ｓ及び不具合部識別化画像３２Ｓの作製について＞
以下では、図３に示す、サンプル画像３０Ｓ及び不具合部識別化画像３２Ｓの作製（以下、サンプル作製ともいう）について、図１、図４、及び図５を用いて説明する。

図４は、サンプル作製のフローチャートであり、図５は、最長長さを説明するための図である。

本実施の形態においては、実際の施工に類似したサンプルを用いてサンプル作製を行う。つまり、サンプルベースプレート３Ｓ及びサンプルホッパー５Ｓを用意して、図１のように組み立て、サンプルコンクリート１Ｓを用いて、サンプル画像３０Ｓの取得のためのサンプルコンクリート１Ｓの打設を行う（図４のＳ１）。

次に、サンプルコンクリート１Ｓが硬化したら、サンプルホッパー５Ｓ及びサンプルベースプレート３Ｓを取り外して、サンプル表面１０Ｓが確認できる状態とする。そして、作業員が、墨出し器でサンプル墨出し線をサンプル表面１０Ｓに格子状に引いて、サンプル表面１０Ｓをサンプル墨出し線で区画分け（分割）する。

本実施の形態においては、格子状の１区画が縦×横＝２５０ｍｍ×２５０ｍｍとなるように区画分けしており、これは、後述するコンクリート表面１０における区画分けと同じサイズである（図４のＳ３）。

そうしたら、作業員は、サンプル表面１０Ｓのサンプル空隙２０Ｓを確認する。すなわち、作業員は、サンプル表面１０Ｓの空隙から最長長さが５ｍｍ以上の空隙を確認する。（図４のＳ５）。

ここで、最長長さとは、図５に示す符号ｂ及び符号ｃの矢印の直線の長さのことであり、左図は楕円空隙の場合、右図は実際の空隙を模した形状の場合、についてそれぞれ示している。

楕円空隙の最長長さは、楕円空隙の長軸となる符号ｂで示した矢印の直線の長さとなる。すなわち、符号ａで示した矢印の直線の長さは、符号ｂで示した長軸よりも短いので、最長長さには該当しない。そうすると、実際の空隙を模した空隙の最長長さは、符号ｃで示した矢印となる。

つまり、作業員は、図５に示すように空隙のどの部分が最長長さになるか判断して、サンプル表面１０Ｓ上の全ての空隙に対して最長長さを確認し、サンプル空隙２０Ｓに該当するか否かを確認する。

より具体的には、空隙の最長長さが、サンプル表面１０Ｓ上で明らかに５ｍｍに達しない空隙、及び、明らかに５ｍｍを超えている空隙の最長長さの測定は省略し、５ｍｍ付近の最長長さを有する空隙の最長長さを測定して、サンプル空隙２０Ｓに該当するか否かを確認する（確認したサンプル空隙２０Ｓには目印等をつけてもよい）。

サンプル表面１０Ｓの空隙の確認が完了したら、作業員は、上記区画分けした区画毎に、サンプル表面１０Ｓの上方からサンプル表面１０Ｓの写真をデジタルカメラ等で撮像し、複数のサンプル画像３０Ｓを取得する（図４のＳ７）。

すべての区画を撮像（サンプル表面１０Ｓの全体を撮像）したら、作業員は、画像の加工ができる画像ソフトをインストールしたコンピュータに、全てのサンプル画像３０Ｓのデータをコピーする。

そうしたら、作業員は、該画像ソフトを用いて全てのサンプル画像３０Ｓの各々について、正対化処理として、台形補正（サンプル墨出し線が正方形になるように補正して、サンプル画像３０Ｓをサンプル表面１０Ｓの真上から撮像したものとする画像処理）→トリミング（サンプル墨出し線より外側の画像を削除して、サンプル画像３０Ｓの外枠をサンプル墨出し線と一致させる画像処理）を行う。

そして、このような正対化処理を行うことにより、各々のサンプル画像３０Ｓの外枠の１辺が、サンプル表面１０Ｓにおける２５０ｍｍに対応するので、作業員は、全てのサンプル画像３０Ｓの１辺に同一の画素数を割り当てる。

すなわち、作業員は、サンプル画像３０Ｓの外枠の１辺が２０００画素になるように調整して、サンプル表面１０Ｓ上の２５０ｍｍがサンプル画像３０Ｓ上において２０００画素になるように設定する（図４のＳ９）。

そうしたら、上記の画素数設定により、５ｍｍ＝４０画素となるので、作業者は、５ｍｍ以上＝サンプル画像３０Ｓ上で４０画素以上、の最長長さを有する空隙＝サンプル空隙２０Ｓを、サンプル画像３０Ｓ上で再度確認する。

そして、作業員は、サンプル画像３０Ｓ上においてサンプル空隙２０Ｓに該当すると確認した空隙の全てを、画像ソフトを用いて赤く着色して識別化し、不具合部識別化画像３２Ｓを生成する（図４のＳ１１）。

本実施の形態においては、このようにしてサンプル作製を行い、複数のサンプル画像３０Ｓ及びこれに対応する不具合部識別化画像３２Ｓを用いて上記した深層学習を行い、空隙学習情報４２を生成する。

＜除外部学習情報４４について＞
前述したように、図２に示す除外部学習情報４４は、検査対象画像３０から検査対象ではない除外部を検出するために機械学習された情報である。ここで、「除外部」とは、コンクリート表面１０（サンプル表面１０Ｓ）と、該表面の空隙２０（サンプル空隙２０Ｓ）以外の部分のことであり、例えば、図３のサンプル画像３０Ｓにおいては、サンプルボルト１２Ｓとサンプル枠７Ｓが除外部に該当する。

以下では、図３のサンプル画像３０Ｓを用いて機械学習された除外部学習情報４４について説明する。すなわち、除外部学習情報４４として、サンプルボルト１２Ｓについて機械学習されたボルト学習情報４４ａと、サンプル枠７Ｓについて機械学習された枠学習情報４４ｂを図６、図７を用いて説明する。

図６は、図３の右図である不具合部識別化画像３２Ｓに対応する図であって、左図は、サンプルボルト１２Ｓを青く着色（図においては右下がり斜線で表示）して識別化した除外部識別化画像３４Ｓであり、右図は、サンプル枠７Ｓを緑で着色（図においては右上がり斜線で表示）して識別化した除外部識別化画像３６Ｓである。図７は後述する。

ボルト学習情報４４ａ（枠学習情報４４ｂ）は、上記した空隙学習情報４２と同様に、深層学習の１種である畳み込みニューラルネットワークで機械学習させた情報として生成される。

つまり、例題として、サンプル画像３０Ｓを問題とし、除外部識別化画像３４Ｓ（除外部識別化画像３６Ｓ）を答えとした教師ありの深層学習が行われ、かかる深層学習によって、検査対象画像３０からボルト１２（枠７）を検出するための機械学習済みのボルト学習情報４４ａ（枠学習情報４４ｂ）が生成される。

換言すれば、サンプル表面１０Ｓを撮像したサンプル画像３０Ｓと、該サンプル画像３０Ｓに含まれ検査対象から除外されるサンプルボルト１２Ｓ（サンプル枠７Ｓ）を、除外部所定条件に基づいてサンプル画像３０Ｓのサンプル非除外部（コンクリート表面１０と該表面の空隙２０）とサンプル画像３０Ｓ上で識別化した除外部識別化画像３４Ｓ（除外部識別化画像３６Ｓ）と、を関連付けて深層学習が行われる。

なお、上記した除外部所定条件としては、サンプル画像３０Ｓ上のサンプルボルト１２Ｓ（サンプル枠７Ｓ）の輪郭が該当する。

図７は、図４に対応する図であって、サンプル画像３０Ｓ、及び除外部識別化画像３４Ｓ又は除外部識別化画像３６Ｓの作製フローチャートである。

図７と図４の相違点、すなわち、不具合部識別化画像３２Ｓの生成手順と、除外部識別化画像３４Ｓ又は除外部識別化画像３６Ｓの生成手順との相違点は、図４ではＳ９からＳ１１へ工程が進むのに対し、図７ではＳ９からＳ１３又はＳ１５へ工程が進む点である。すなわち、上記で説明した図４のＳ１からＳ９までの処理は、図７においても同じ処理である。

したがって、作業員は、上記で不具合部識別化画像３２Ｓの生成のために図４のＳ１からＳ９までの処理を終えたサンプル画像３０Ｓのサンプルボルト１２Ｓ（サンプル枠７Ｓ）部分を、画像ソフトで青く（緑で）着色して識別化した除外部識別化画像３４Ｓ（除外部識別化画像３６Ｓ）を生成する（図７のＳ１３、Ｓ１５）。

そして、複数のサンプル画像３０Ｓ及びこれに対応する除外部識別化画像３４Ｓ（除外部識別化画像３６Ｓ）を用いた深層学習が行われ、ボルト学習情報４４ａ（枠学習情報４４ｂ）が生成される。

＜＜＜コンクリート表面１０の空隙面積率の検査について＞＞＞
次に、コンクリート表面１０の空隙面積率（空隙２０）の検査について、図８乃至図１１を用いて説明する。図８は、コンクリート表面１０の検査フローチャートである。図９乃至図１１は後述する。

本実施の形態においては、コンクリート表面１０を撮像した検査対象画像３０を用いて、コンクリート表面１０の空隙２０を検査するため、前述したように、本番と略同一条件で生コンクリート１の打設を行い、生コンクリート１が固まった後にベースプレート３を取り外して、コンクリート表面１０を撮像できる状態とする（図８のＳ１）。

コンクリート表面１０が撮像できる状態となったら、作業員は、墨出し器で墨出し線１４をコンクリート表面１０に格子状に引いて（図９参照）、コンクリート表面１０を、格子状の１区画が縦×横＝２５０ｍｍ×２５０ｍｍとなるように区画分け（分割）する（図８のＳ３）。

墨出し線１４による区画分けが完了したら、作業員は、コンクリート表面１０の上方からコンクリート表面１０を上記区画毎に撮像して複数の検査対象画像３０を取得する。つまり、本実施の形態においては、取得された複数の検査対象画像３０について空隙２０の検出を行う。また、作業員は、区画毎に複数の検査対象画像３０を撮像する際に、互いに隣り合う検査対象画像３０に重複部分が形成されるように撮像して検査対象画像３０を取得する。

図９は、検査対象画像３０の重複部分を説明するための図である。図９の（ａ）は、検査対象画像３０の撮像範囲Ｔ（一例として、小さな破線の正方形の範囲を、図中に縦横５×５＝２５箇所示す）が重複している様子を示した図であり、図９の（ｂ）は、互いに隣り合う撮像範囲Ｔの重複部分を拡大した図であり、図９の（ｃ）は、一例としての検査対象画像３０である。

図９の（ａ）に示すように、作業員は、区画分けした墨出し線１４より外側の範囲まで撮像範囲Ｔを大きくしてコンクリート表面１０を撮像する。そのため、隣り合う検査対象画像３０には、互いに重複部分が形成される。

本実施の形態においては、学習装置４０が空隙学習情報４２を用いて最長長さ＝５ｍｍ以上の空隙を空隙２０として検出するので、この重複部分を５ｍｍより大きく重複させる。

すなわち、作業員は、図９の（ｂ）の重複幅Ｔ１が５ｍｍより大きくなるような撮像範囲Ｔであり、かつ、隣り合う検査対象画像３０が完全に重複しないような撮像範囲Ｔでコンクリート表面１０を撮像する。

換言すれば、最小となるサンプル空隙２０Ｓの最長長さを所定長さ（本実施の形態においては、５ｍｍ）に設定した際には、検査対象画像３０の重複部分の重複幅Ｔ１を、当該所定長さ（本実施の形態においては、５ｍｍ）よりも大きく検査対象画像３０の幅Ｔ２よりも小さい値に設定し、該設定に基づいて、作業員は、コンクリート表面１０を撮像して検査対象画像３０を取得する（図８のＳ５）。

このようにして、全ての区画を撮像（コンクリート表面１０の全体を撮像）したら、作業員は、学習装置４０の入力部から全ての検査対象画像３０を学習装置４０に読み込ませる。この読み込ませ方としては、例えば、学習装置４０の入力部とデジタルカメラ等をケーブルで接続して読み込ませる方法でもよいし、タブレットで撮像した検査対象画像３０を、タブレットの無線通信機能によってインターネット上の学習装置４０の入力部に読み込ませる方法（所謂クラウドサービス）でもよい。

そうしたら、作業員は、学習装置４０に空隙２０の検査を開始させる。すなわち、学習装置４０は、読み込んだ検査対象画像３０から空隙２０を検出して検査する処理を実行する。なお、以下では、説明を解りやすくするために、検査対象画像３０の一例として、図９の（ｃ）に示す検査対象画像３０の模式図を用いて説明していく。

検査が開始された学習装置４０は、検査対象画像３０に正対化処理を行って画素数を設定する。つまり、上記で説明したサンプル画像３０Ｓに対して作業員が行った正対化処理及び画素数設定と同様の処理、すなわち、学習装置４０は、台形補正→トリミング（又は墨出し線１４を認識して区画の認識）を行い、検査対象画像３０の外枠（又は墨出し線１４の区画）の１辺が２０００画素になるように調整して、コンクリート表面１０上の２５０ｍｍが検査対象画像３０上における２０００画素になるように設定する（図８のＳ７）。

次に、本実施の形態においては、検査対象画像３０の画素数が２０００×２０００＝４００万画素となり、学習装置４０の最大処理画素数を超えるので、学習装置４０は、１枚の検査対象画像３０を複数の分割画像３８に分割して、学習装置４０が処理する画像の画素数を学習装置４０の最大処理画素数より小さくする。

つまり、学習装置４０は、検査対象画像３０を分割して学習装置４０が処理できる画素数の分割画像３８を生成し、複数の分割画像３８を処理することにより、１枚の検査対象画像３０を処理する。

そして、このように画像を分割して処理することにより、検査対象画像３０の画素数を学習装置４０の最大処理画素数より小さくしなくても、当該検査対象画像３０を学習装置４０が処理することができる。すなわち、画素数が多い検査対象画像３０（解像度が高く詳細な情報を有した検査対象画像３０）を用いて検査することができる。

また、学習装置４０は、上記した検査対象画像３０を複数に分割する際に、互いに隣り合う分割画像３８に重複部分が形成されるように複数の分割画像３８を生成する。

つまり、学習装置４０は、図１０に示すように、隣り合う分割画像３８が重複部分を形成するような分割範囲Ｕで検査対象画像３０を分割して、複数の分割画像３８を生成する。

図１０は、分割画像３８の生成を説明するための模式図である。図１０の（ａ）は、正対化処理後の検査対象画像３０に分割画像３８の分割範囲Ｕ（一例として、小さな破線の正方形の範囲を、図中に縦横５×５＝２５箇所示す）が重複している様子を示した模式図であり、図１０の（ｂ）は、互いに隣り合う分割範囲Ｕの重複部分を拡大した図であり、図１０の（ｃ）は、分割後の検査対象画像３０の模式図である。

分割画像３８の重複部分は、上記した撮像範囲Ｔの重複部分と同様に、５ｍｍより大きく重複させて形成される。すなわち、図１０の（ｂ）の重複幅Ｕ１が５ｍｍより大きくなるように分割範囲Ｕが設定される。

換言すれば、最小となるサンプル空隙２０Ｓの最長長さを所定長さ（本実施の形態においては、５ｍｍ）に設定した際には、分割画像３８の重複部分の重複幅Ｕ１を、当該所定長さ（本実施の形態においては、５ｍｍ）よりも大きく分割画像３８の幅Ｕ２よりも小さい値に設定し、該設定に基づいて、学習装置４０は、検査対象画像３０を分割して分割画像３８を生成する（図８のＳ９）。

次に、学習装置４０は、検出結果画像を生成する。図１１は、検出結果画像の生成を説明するための模式図である。図１１の（ａ）は、学習装置４０が空隙学習情報４２を用いて分割画像３８の空隙２０を検出した結果（図では空隙２０を白色で表示）を示す模式図であり、図１１の（ｂ）は、図１１の（ａ）の分割画像３８を結合して（分割した検査対象画像３０を分割前の検査対象画像３０の状態に戻して）空隙２０を赤く着色（図では横線で表示）した模式図であり、図１１の（ｃ）は、学習装置４０がボルト学習情報４４ａを用いてボルト１２を検出して青く着色（図では右下がり斜線で表示）した模式図であり、図１１の（ｄ）は、検出結果画像の模式図である。

分割画像３８が生成されたら、学習装置４０は、図１１の（ａ）に示すように、空隙学習情報４２を用いて生成された複数の分割画像３８の空隙２０を検出する。そして、図１１の（ｂ）に示すように、学習装置４０は、分割画像３８を結合し、全ての空隙２０を赤く着色して空隙検出画像を生成する（図８のＳ１１）。

次に、学習装置４０は、除外部学習情報４４を用いて分割画像３８の除外部を検出し、除外部検出画像を生成する。すなわち、学習装置４０は、ボルト学習情報４４ａを用いてボルト１２を検出し、枠学習情報４４ｂを用いて枠７を検出し、それぞれの検出画像を生成する。そのため、当該検査対象画像３０（図９の（ｃ））からは、図１１の（ｃ）に示す、ボルト１２を青く着色したボルト検出画像が生成される（図８のＳ１３）。

つまり、学習装置４０は、図９の（ｃ）から（ボルト１２を含む検査対象画像３０から）、空隙学習情報４２と除外部学習情報４４とを用いて空隙２０及びボルト１２を検出し、空隙検出画像及びボルト検出画像を生成する。

そうしたら、学習装置４０は、空隙検出画像からボルト検出画像のボルト１２の部分を除外して（図１１の（ｂ）の画像から図１１の（ｃ）のボルト１２の部分の画像をコンクリート表面１０ではない部分として取り除いて）、図１１の（ｄ）に示す検出結果画像を生成する。

そして、学習装置４０は、検査対象画像３０から生成された検出結果画像のコンクリート表面１０の面積と、該表面の空隙２０の面積を算出して（具体的にはそれぞれの画素数をカウントして）、当該検査対象画像３０におけるコンクリート表面１０の空隙面積率を上記した式から算出する（図８のＳ１５）。

以上で、当該検査対象画像３０に対するコンクリート表面１０の空隙面積率の算出が完了する。つまり、本実施の形態においては、複数の検査対象画像３０を取得しているので、コンクリート表面１０の空隙面積率を算出するためには、全ての検査対象画像３０に対して、図８のＳ７からＳ１５までの処理が必要となる。

すなわち、学習装置４０は、全ての検査対象画像３０に対して図８のＳ７からＳ１５までの処理を行い、これらの面積を総和することにより、コンクリート表面１０の空隙面積率を算出してコンクリート表面１０の空隙２０（密着度）を検査し、該検査結果を出力部に出力する（図８のＳ１７）。

＜＜＜本実施の形態に係る表面の不具合検査方法の有効性について＞＞＞
本実施の形態においては、ベースプレート３の下部に打設されたコンクリート表面１０の空隙検査方法であって、サンプル画像３０Ｓと、サンプル空隙２０Ｓを所定条件に基づいて識別化した不具合部識別化画像３２Ｓと、を関連付けて機械学習させた空隙学習情報４２と、コンクリート表面１０を撮像した検査対象画像３０と、を用いて、コンクリート表面１０の空隙２０を検査することとした。そのため、コンクリート表面１０の空隙検査（表面の不具合検査）を高精度化することが可能となる。

従来のコンクリート表面の空隙検査においては、検査対象の空隙の画像と、該空隙を複数の技術員が評価した評価値と、の組み合わせを複数用いて機械学習させた不具合部学習情報により、コンクリート表面の空隙検査が行われていた。そのため、従来の空隙学習情報には、技術員間の評価値のばらつきが存在していた。

すなわち、従来の空隙学習情報は、１つの空隙の画像（問題）に対して、複数の評価値（答え）があり、いずれの答えが正解かあいまいな例題を用いて機械学習された情報であった。

これに対し、本実施の形態においては、サンプル画像３０Ｓと、サンプル画像３０Ｓに対応した不具合部識別化画像３２Ｓ（サンプル画像３０Ｓと不具合部識別化画像３２Ｓは所定条件に基づいた１対１の関係）を複数用意し、サンプル画像３０Ｓと不具合部識別化画像３２Ｓとを関連付けて機械学習させた空隙学習情報４２を用いて、学習装置４０がコンクリート表面１０の空隙２０を検査することとした。

つまり、答えにばらつきが無い例題で機械学習させた学習情報、すなわち、本実施の形態に係る空隙学習情報４２を用いて、学習装置４０がコンクリート表面１０の空隙２０を検査するので、コンクリート表面１０の空隙検査（表面の不具合検査）を高精度化することが可能となる。

また、本実施の形態においては、空隙学習情報４２は、畳み込みニューラルネットワークを利用して機械学習させた情報であることとした。

畳み込みニューラルネットワークを利用した機械学習は、画像の中にある特定の領域を検出（分割識別）する場合において、良好な結果が得られることが知られている。したがって、畳み込みニューラルネットワークを利用することにより、空隙学習情報４２（不具合部学習情報）を高精度化することが可能となる。

また、本実施の形態においては、空隙学習情報４２と除外部学習情報４４に基づいて、検査対象除外部を含む検査対象画像３０から空隙２０及び除外部を検出することとした。

すなわち、学習装置４０は、除外部学習情報４４を用いてコンクリート表面１０には含まれない除外部を検出し、コンクリート表面１０の面積から検出した除外部の面積を除去して上記したコンクリート表面１０の空隙面積率を算出するので、コンクリート表面１０の空隙検査（表面の不具合検査）をより一層高精度化することが可能となる。

また、本実施の形態においては、コンクリート表面１０を、互いに隣り合う検査対象画像３０に重複部分が形成されるように複数に分割して撮像することにより、複数の検査対象画像３０を取得し、取得された検査対象画像３０の空隙２０を検出することとした。

仮に、このような重複部分が形成されないで検査対象画像３０が取得されると、例えば、隣り合う検査対象画像３０の縁が、最長長さ５ｍｍの空隙２０を２ｍｍと３ｍｍに分断してしまい、学習装置４０が空隙学習情報４２を用いて当該空隙２０を検出できなくなる（最長長さが５ｍｍ未満の２つの空隙に分断されたため検出できなくなる）ケースが考えられる。すなわち、かかる重複部分を形成することにより、学習装置４０の検出ミスを抑制することが可能となる。

また、本実施の形態においては、最小となる空隙２０の最長長さを所定長さ（本実施の形態においては、５ｍｍ）に設定し、検査対象画像３０の重複部分の重複幅Ｔ１を、当該所定長さ（本実施の形態においては、５ｍｍ）より大きく検査対象画像３０の幅Ｔ２よりも小さい値に設定することとした。

つまり、重複幅Ｔ１を５ｍｍより大きくすることにより、最小となる空隙２０が互いに隣り合う検査対象画像３０の少なくともどちらか一方の検査対象画像３０に撮像されることととなり、幅Ｔ２未満とすることにより、同一のコンクリート表面１０（検査対象画像３０）が撮像（取得）されない。

すなわち、空隙２０（不具合部）の検出に有効な範囲で検査対象画像３０の重複部分を重複させることが可能となる。

また、本実施の形態においては、検査対象画像３０を複数に分割して互いに隣り合う分割画像３８に重複部分が形成されるように複数の分割画像３８を生成し、生成された分割画像３８の空隙２０を検出することとした。

分割画像３８に重複部分を形成する目的は、上記した検査対象画像３０を重複させる目的と同じであり、学習装置４０の検出ミスを抑制するためである。

また、本実施の形態においては、最小となる空隙２０の最長長さを所定長さ（本実施の形態においては、５ｍｍ）に設定し、分割画像３８の重複部分の重複幅Ｕ１を、当該所定長さ（本実施の形態においては、５ｍｍ）より大きく分割画像３８の幅Ｕ２よりも小さい値に設定することとした。

すなわち、重複幅Ｕ１を５ｍｍより大きく、幅Ｕ２未満とすることにより、空隙２０（不具合部）の検出に有効な範囲で検査対象画像３０の重複部分を重複させることが可能となる。

また、本実施の形態においては、所定条件は、サンプル表面１０Ｓの実物においてサンプル空隙２０Ｓと認められる輪郭又は凹凸を含む形状、色、輝度、模様、大きさ、太さ、長さのいずれか１つ以上の条件とした。

すなわち、サンプル表面１０Ｓの実物の外観情報に基づいてサンプル空隙２０Ｓを確認するので、サンプル空隙２０Ｓか否かの判断ミスを抑制することが可能となる。

＝＝＝その他の実施形態について＝＝＝
上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更・改良され得ると共に、本発明には、その等価物が含まれることは言うまでもない。

また、上記実施の形態においては、コンクリート表面１０の空隙面積率を算出して密着度を検査したが、これに限るものではない。例えば、各々の空隙２０の最長長さ又は面積に閾値を設け、学習装置４０が、空隙２０の最長長さ又は空隙２０の面積を検査してもよい。

つまり、学習装置４０は、空隙２０毎の最長長さ若しくは面積、又はコンクリート表面１０における空隙２０の空隙面積率を算出して、いずれを検査してもよい。すなわち、例えば、空隙２０毎の最長長さを検査したい場合は、学習装置４０を最長長さ検査モード（空隙２０毎の最長長さを算出して検査するモード）に設定し、コンクリート表面１０の空隙面積率を検査したい場合は、学習装置４０を空隙面積率検査モード（例えば、上記実施の形態）に設定する。

つまり、目的とする空隙２０の検査項目を選択して学習装置４０に設定することにより、上記した空隙２０のいずれの検査においても、学習装置４０は、空隙２０（不具合部）の検査項目を数値化して検査することが可能となる。

また、上記実施の形態においては、サンプル画像３０Ｓ上において最長長さが５ｍｍ以上の空隙をサンプル空隙２０Ｓとし、該サンプル空隙２０Ｓを画像ソフトで赤く着色して識別化した不具合部識別化画像３２Ｓを生成したが、これに限るものではない。

例えば、サンプル画像３０Ｓ上の全ての（サイズによらない）空隙を画像ソフトで赤く着色して識別化した識別化画像を生成し、サンプル画像３０Ｓと、当該識別化画像と、を関連付けて機械学習させた学習情報、すなわち、全ての空隙を検出する空隙学習情報を生成する。そして、学習装置が、当該空隙学習情報を用いて検査対象画像３０の全ての空隙を検出してから、検出後の全ての空隙の最長長さを算出し、最長長さが５ｍｍ以上か否か（空隙２０に該当するか否か）を選別して、コンクリート表面１０の空隙面積率を算出してもよい。

また、上記実施の形態のおいては、除外部をボルト１２と枠７としたが、これに限るものではない。例えば、生コンクリート１の圧入口（ホッパー５の下側開口部）を除外部としてもよい。

１ 生コンクリート
１Ｓ サンプルコンクリート
３ ベースプレート
３Ｓ サンプルベースプレート
５ ホッパー
５Ｓ サンプルホッパー
７ 枠
７Ｓ サンプル枠
１０ コンクリート表面（検査対象表面）
１０Ｓ サンプル表面
１２ ボルト
１２Ｓ サンプルボルト
１４ 墨出し線
２０ 空隙（検査対象不具合部）
２０Ｓ サンプル空隙（サンプル不具合部）
３０ 検査対象画像
３０Ｓ サンプル画像
３２Ｓ 不具合部識別化画像
３４Ｓ 除外部識別化画像
３６Ｓ 除外部識別化画像
３８ 分割画像
４０ 学習装置
４２ 空隙学習情報（不具合部学習情報）
４４ 除外部学習情報
４４ａ ボルト学習情報
４４ｂ 枠学習情報
Ｔ 撮像範囲
Ｕ 分割範囲
Ｔ１ 重複幅
Ｔ２ 幅
Ｕ１ 重複幅
Ｕ２ 幅

Claims (8)

1. 製造物又は施工物の表面の不具合検査方法であって、
   サンプルとするサンプル表面を撮像したサンプル画像と、前記サンプル表面のサンプル不具合部を所定条件に基づいて前記サンプル表面のサンプル健全部と前記サンプル画像上で第一色の着色により識別化した不具合部識別化画像と、を関連付けて機械学習させた不具合部学習情報と、
   検査対象とする検査対象表面を撮像した検査対象画像と、を用いて、
   前記検査対象表面の検査対象不具合部を検査し、
   前記不具合部学習情報、及び、
   サンプルとするサンプル表面を撮像したサンプル画像と、該サンプル画像に含まれ検査対象から除外されるサンプル除外部を除外部所定条件に基づいて前記サンプル画像のサンプル非除外部と前記サンプル画像上で前記第一色と異なる第二色の着色により識別化した除外部識別化画像と、を関連付けて機械学習させた除外部学習情報に基づいて、
   検査対象除外部を含む前記検査対象画像から前記検査対象不具合部及び前記検査対象除外部を検出することを特徴とする表面の不具合検査方法。
2. 製造物又は施工物の表面の不具合検査方法であって、
   サンプルとするサンプル表面を撮像したサンプル画像と、前記サンプル表面のサンプル不具合部を所定条件に基づいて前記サンプル表面のサンプル健全部と前記サンプル画像上で第一色の着色により識別化した不具合部識別化画像と、を関連付けて機械学習させた不具合部学習情報と、
   検査対象とする検査対象表面を撮像した検査対象画像と、を用いて、
   前記検査対象表面の検査対象不具合部を検査し、
   前記所定条件は、技術員が評価した評価値を除き、前記サンプル表面の実物において前記サンプル不具合部と認められる輪郭又は凹凸を含む形状、色、輝度、模様、大きさ、太さ、長さのいずれか１つ以上の条件であることを特徴とする表面の不具合検査方法。
3. 請求項１又は請求項２に記載の表面の不具合検査方法であって、
   前記不具合部学習情報は、畳み込みニューラルネットワークを利用して機械学習させた情報であることを特徴とする表面の不具合検査方法。
4. 請求項１乃至請求項３のいずれかに記載の表面の不具合検査方法であって、
   前記検査対象表面を、互いに隣り合う前記検査対象画像に重複部分が形成されるように複数に分割して撮像することにより、複数の前記検査対象画像を取得し、
   取得された前記検査対象画像から、前記不具合部学習情報に基づいて前記検査対象不具合部を検出することを特徴とする表面の不具合検査方法。
5. 請求項４に記載の表面の不具合検査方法であって、
   前記所定条件は、前記サンプル不具合部の長さ条件を含み、
   当該長さ条件において、最小サンプル不具合部の長さを所定長さと設定した際には、前記検査対象画像の前記重複部分の重複幅を、前記所定長さより大きく前記検査対象画像の幅よりも小さい値に設定することを特徴とする表面の不具合検査方法。
6. 請求項１乃至請求項５のいずれかに記載の表面の不具合検査方法であって、
   前記検査対象画像を複数に分割して互いに隣り合う分割画像に重複部分が形成されるように複数の前記分割画像を生成し、
   生成された前記分割画像から、前記不具合部学習情報に基づいて前記検査対象不具合部を検出することを特徴とする表面の不具合検査方法。
7. 請求項６に記載の表面の不具合検査方法であって、
   前記所定条件は、前記サンプル不具合部の長さ条件を含み、
   当該長さ条件において、最小サンプル不具合部の長さを所定長さと設定した際には、前記分割画像の前記重複部分の重複幅を、前記所定長さより大きく前記分割画像の幅よりも小さい値に設定することを特徴とする表面の不具合検査方法。
8. 請求項１乃至請求項７のいずれかに記載の表面の不具合検査方法であって、
   前記検査対象表面の検査対象不具合部の検査として、
   前記検査対象不具合部の検査対象不具合部毎の最長径若しくは面積、又は前記検査対象表面における前記検査対象不具合部の面積率を算出することを特徴とする表面の不具合検査方法。

Images