JP7297634B2

JP7297634B2 - 設備工事の検査方法、および設備工事の検査システム

Info

Publication number: JP7297634B2
Application number: JP2019185660A
Authority: JP
Inventors: 澤呉; 佳晃 ▲徳▼永; 陽子齋藤; 丈岸本; 豪一井筒
Original assignee: NTT Comware Corp
Current assignee: NTT Comware Corp
Priority date: 2019-10-09
Filing date: 2019-10-09
Publication date: 2023-06-26
Anticipated expiration: 2039-10-09
Also published as: JP2021060888A

Description

特許法第３０条第２項適用〔１〕〔フォーラム〕開催日平成３０年１０月２５日～１０月２６日集会名「つくばフォーラム２０１８」＜刊行物＞「工事品質検査のＡＩ化」説明資料〔２〕〔フォーラム〕開催日平成３０年１０月２５日集会名「ＭＭフォーラム２１」＜刊行物＞ＭＭフォーラム２１講演情報〔３〕〔フォーラム〕開催日平成３０年１１月２１日～２２日集会名「ＮＴＴＣＯＭＷＡＲＥ’ＳＤＡＹ２０１８」＜刊行物＞「ＡＩで写真検査業務を自動化」説明資料〔４〕〔フォーラム〕開催日平成３０年１１月２７日～２８日集会名「ＫＡＩＺＥＮ推進大会２０１８ｉｎ福岡・マイスターズカップ２０１８ｉｎ福岡」＜刊行物＞「ＥＧ業務におけるＡＩ化施策（写真検査業務）」説明資料〔５〕〔フォーラム〕開催日平成３１年４月３日～４月５日集会名「第３回ＡＩ・人工知能ＥＸＰＯ」＜刊行物＞「インフラ設備のメンテナンスソリューション」説明資料〔６〕〔産官協議会〕開催日平成３１年３月５日集会名「未来投資会議産官協議会『次世代インフラ』会合（第３回）」＜刊行物＞議事次第・「ＮＴＴグループにおけるスマートメンテナンスの取組み」説明資料〔７〕〔報告会・意見交換会〕開催日平成３０年１１月１９日集会名「非構造化データ処理ＰｏＣ最終報告会」＜刊行物＞「非構造化データ処理ＰＦ最終報告」説明資料

特許法第３０条第２項適用〔８〕〔報告会・意見交換会〕開催日平成３１年６月５日集会名「非構造化データ処理ＰｏＣに関する意見交換会（ＡＳ研）」＜刊行物＞「ＡＩ写真検査の取組み」説明資料〔９〕〔報告会・意見交換会〕開催日平成３１年８月７日集会名「非構造化データ処理ＰｏＣに関する意見交換会（ＮＴＴ東日本設備企画部）」＜刊行物＞「アクセスＳ部のスマートメンテナンスの取り組み」説明資料〔１０〕〔報告会・意見交換会〕開催日平成３１年９月１３日集会名「非構造化データ処理ＰｏＣに関する意見交換会（ドコモＣＳ）」＜刊行物＞「スマートメンテナンスの取り組み」」説明資料〔１１〕～〔１４〕〔報告会・意見交換会〕開催日平成３０年１２月２０日・平成３１年１月２１日平成３１年５月１６日・平成３１年７月１８日集会名「第一回写真検査へのＡＩ活用検討会」、「写真検査へのＡＩ活用デモンストレーション」＜刊行物＞「写真検査ＡＩに関するディスカッション」

本発明は、設備工事の検査方法、および設備工事の検査システムに関する。

従来より、電柱の状態を検出する技術が知られている。この種の技術は、例えば、下記の特許文献１－３に記載されている。特許文献１に記載された電柱位置検査装置は、カメラにより撮影された画像中から電柱を検出する電柱検出部を備え、カメラにより撮像された画像に基づいて電柱が建築限界の外にあるか否かを検査する。特許文献２に記載された点検システムは、情報端末が、巡視中に３６０度カメラの画像とＧＰＳ機能とを利用して通過しようとする電柱の電柱番号を特定し、その電柱に設置されている点検対象設備を画像から自動判別し、異常感知センサにより異常の有無を判定する。特許文献３に記載された支持物傾度異常判断装置は、電柱などの支持物の所定位置の三次元位置情報を作成し、三次元位置情報を経時的に比較し、その変動量を判定値として設定し、判定値が所定の値以上である場合に支持物の傾度異常を判定する。

さらに、従来より、工事現場等において撮像された画像に基づいて検査等を行う技術が知られている。この種の技術は、例えば、下記の特許文献４－６に記載されている。特許文献４に記載された工事現場撮影システムは、各工程の作業が終了したときに、当該作業の出来栄えを示す工事現場写真を携帯端末により撮影し、携帯端末により、工事現場画像データと、工程毎の作業の結果を示す作業データとを関連付けてサーバへ送信している。特許文献５に記載された施工状況検査システムは、工事における施工状況の検査用画像を示す画像データを送信する場合にどの工事の検査用画像であるのかを特定している。特許文献６に記載された配管施工管理システムは、検査項目に対応した検査情報を入力する検査情報入力部と、検査情報に基づいて継手部の接合が適正に行なわれたか否かを評価する評価部とを備え、適正と評価されたときにのみ施工管理情報を外部に送信する。配管施工管理システムは、更に、撮像部で撮影された継手部の画像データに基づいて継手部の接合が適正に行なわれたか否かを評価する画像処理部を備えている。

特開２０１５－１１６９１６号公報特開２０１９－０３２６８４号公報特開２０１８－０８７７９８号公報特開２０１７－０９１４９５号公報特開２０１４－１９７３８７号公報特開２０１２－１２３５８９号公報

しかしながら、上述した特許文献１－３に記載された電柱の状態を検出する技術は、既に新設工事が完了した電柱の状態を検出しているため、電柱の施行状態の検査を行うことができないという問題がある。また、上述した特許文献４－５に記載された技術は、画像データを送信しているものの、施工の検査に人手が必要であるという問題がある。さらに、上述した特許文献６に記載された技術では、多数の部材を含む工程の検査に適用した場合に、高い精度で評価をすることができない可能性がある。

本発明は、上記の課題に鑑みてなされたものであって、複数の部材を用いた施工状態を高い精度で検査することができる設備工事の検査方法、および設備工事の検査システムを提供することを目的としている。

（１）本発明の一態様は、端末装置が、設備工事に含まれる複数の検査項目に対応した複数のアイコンを提示するステップと、前記複数のアイコンのうちユーザの操作に基づいてアイコンが選択されたことに応じて前記端末装置のカメラ装置を起動するステップと、前記選択されたアイコンに対応する検査項目における検査対象物のガイド枠、および前記検査対象物として認識されない領域を示すマスクを前記端末装置に表示するステップと、前記カメラ装置により撮像された検査画像、および前記選択されたアイコンに対応する検査項目情報を、前記端末装置から情報処理装置に送信するステップと、前記情報処理装置の認識部により、前記端末装置から送信された検査画像に含まれる前記検査対象物の確からしさを示す確信度を算出し、前記確信度に基づいて前記検査対象物が含まれるか否かを判定するステップと、前記認識部により前記検査対象物が含まれると判定された場合、前記情報処理装置の検査部により、前記検査対象物の位置関係に基づいて検査項目に対応した検査を行うステップと、を有する設備工事の検査方法である。

（２）本発明の一態様は、上記の設備工事の検査方法であって、前記認識部は、前記複数の検査項目に対応した複数の認識モデルのうち、前記情報処理装置により受信した前記検査項目情報に基づく認識モデルを用い、それぞれの前記認識モデルは、正常な検査対象物を含む学習画像を用いて学習された認識モデルであって、正常な検査対象物を含む検査画像が入力された場合に当該検査対象物が存在すると認識するように処理パラメータが学習されてよい。

（３）本発明の一態様は、上記の設備工事の検査方法であって、前記認識部は、前記認識モデルを用いて、前記カメラ装置により撮像された検査画像、および当該検査画像に対して所定の画像処理を施した検査画像のそれぞれについて確信度を算出し、前記検査部は、前記カメラ装置により撮像された検査画像について算出された前記確信度と前記カメラ装置により撮像された検査画像に対して所定の画像処理を施した検査画像について算出された前記確信度とのうち前記確信度が高い一つの検査画像を用いて検査を行ってよい。

（４）本発明の一態様は、上記の設備工事の検査方法であって、前記ガイド枠およびマスクは、前記学習画像に基づいて設定されてよい。

（５）本発明の一態様は、上記の設備工事の検査方法であって、前記カメラ装置により撮像された画像におけるユーザの操作位置に基づく検査画像内の座標情報を前記検査対象物が含まれる画像領域であることを示す座標情報として前記端末装置から前記情報処理装置に送信するステップを含み、前記認識部は、前記検査画像に前記検査対象物が含まれると判定した場合に、前記検査画像において前記検査対象物を含む領域に前記検査対象物を示す情報と前記検査画像内の座標情報とを含むタグ情報を付与してよい。

（６）本発明の一態様は、上記の通信装置であって、設備工事に含まれる複数の検査項目に対応した複数のアイコンを提示し、前記複数のアイコンのうちユーザの操作に基づいてアイコンが選択されたことに応じてカメラ装置を起動し、前記選択されたアイコンに対応する検査項目における検査対象物のガイド枠、および前記検査対象物として認識されない領域を示すマスクを前記端末装置に表示し、前記カメラ装置により撮像された検査画像、および前記選択されたアイコンに対応する検査項目情報を、情報処理装置に送信する端末装置と、認識部により、前記端末装置から送信された検査画像に含まれる前記検査対象物の確からしさを示す確信度を算出し、前記確信度に基づいて前記検査対象物が含まれるか否かを判定し、前記認識部により前記検査対象物が含まれると判定された場合、前記情報処理装置の検査部により、前記検査対象物の位置関係に基づいて検査項目に対応した検査を行う情報処理装置と、を備える設備工事の検査システムである。

本発明の一態様によれば、複数の部材を用いた施工状態を高い精度で検査することができる。

実施形態の設備工事検査システムの一構成例を示すブロック図である。検査対象認識部の一例を示すブロック図である。電柱の工事における工事箇所の一例を示す図である。ユーザ端末装置における施工検査用操作画面の一例を示す図である。ガイド画像の一例を示す図である。ガイド画像の他の例を示す図である。施工検査サーバ装置における設備工事の検査処理の一例を示すフローチャートである。検査画像と、検査画像に含まれる施工部材ａ～ｅと、確信度との関係を示す図である。分線用金物を含む検査画像の一例を示す図である。分線用金物の取付工事における施工部材、タグ名および認識条件を示す図である。分線用金物における部分領域の一例を示す図である。根かせを含む検査画像の一例を示す図である。根かせの取付工事における施工部材、タグ名および認識条件を示す図である。根かせの取付工事の検査において横棒または横メジャーの高さを検出する処理を示す図である。電柱断面と根かせと張力方向を示す図板との位置関係を示す図である。支線下部を含む検査画像の一例を示す図である。支線下部の取付工事における施工部材、タグ名および認識条件を示す図である。支線下部の検査において支線の埋設深度を算出する処理を示す図である。支線下部の埋設深度を算出する一例を説明するための図である。電柱下部を含む検査画像の一例を示す図である。電柱下部の工事における施工部材、タグ名および認識条件を示す図である。足場の高さを検査する処理を説明するための図である。電柱の標識板の高さを検査する処理を説明するための図である。絶縁体を含む検査画像の一例を示す図である。絶縁体の取付工事における施工部材、タグ名および認識条件を示す図である。絶縁体の高さを検査する処理を説明するための図である。支線、および支線角度を計測するための分度器を含む撮影画像の一例を示す図である。分度器の部材名、タグ名および認識条件を示す図である。支線角度を検査する処理を説明するための図である。巻付グリップを含む撮影画像の一例を示す図である。巻付グリップの取付工事における部材名、タグ名および認識条件を示す図である。下駄を含む検査画像の一例を示す図である。下駄の取付工事における部材名、タグ名および認識条件を示す図である。支線防護および絶縁体を含む検査画像の一例を示す図である。支線防護および絶縁体の取付工事における部材名、タグ名および認識条件を示す図である。絶縁体を含む検査画像の一例を示す図である。絶縁体の取付工事における部材名、タグ名および認識条件を示す図である。留め具を含む検査画像の一例を示す図である。留め具の取付工事における部材名、タグ名および認識条件を示す図である。

以下、本発明を適用した設備工事の検査装置、設備工事の検査方法、およびプログラムを、図面を参照して説明する。

実施形態の設備工事検査システムは、電柱の施設工事の現場作業員により撮像された画像を用いて、当該設備工事の検査を行う。実施形態の設備工事検査システムは、現場作業員により撮像された画像が検査に適しているか否か、画像内に検査対象としての施工部材が存在しているか否か、施工部材が適切か否かを判定することによって、複数の施工部材を用いた施工状態を高い精度で検査するものである。また、実施形態の設備工事検査システムは、判定結果（画像の判定結果、施工部材の判定結果、および検査結果）を現場作業員に提示することによって、現場作業員による画像撮影の手間や、設備工事の検査者による検査の手間や、設備工事に不備がある場合の再施工などの手間を軽減することができる。

図１は、実施形態の設備工事検査システムの一構成例を示すブロック図である。設備工事検査システムは、例えば、一又は複数のユーザ端末装置１００と、施工検査サーバ装置２００と、管理端末３００とを備える。ユーザ端末装置１００、施工検査サーバ装置２００、および管理端末３００は、例えば、通信ネットワークＮＷに接続される。通信ネットワークＮＷに接続される各装置は、ＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）や無線通信モジュールなどの通信インターフェースを備えている（図１では不図示）。通信ネットワークＮＷは、例えば、インターネット、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、セルラー網などを含む。

ユーザ端末装置１００は、例えばスマートフォンやタブレット端末などのカメラ装置を備えた携帯型端末装置である。ユーザ端末装置１００は、ブラウザやアプリケーションプログラムなどのＵＡ（ＵｓｅｒＡｇｅｎｔ）が起動する。ＵＡは、例えば、施工検査サーバ装置２００と通信等をするためのアプリケーションである。ユーザ端末装置１００は、ＵＡとしての施工検査用アプリケーションを利用し、施工検査サーバ装置２００から受信したコンテンツを用いて表示処理や操作の受け付け処理などを行う。また、ユーザ端末装置１００は、施工検査用アプリケーションを利用して、ユーザの操作に基づく操作情報や撮影画像等を施工検査サーバ装置２００に提供する。

施工検査サーバ装置２００は、設備工事の検査依頼を受け付け、設備工事の検査結果を提供する情報処理装置である。施工検査サーバ装置２００は、例えば、連携ＡＰＩ（Application Programming Interface）部２１０と、検査対象認識部２２０とを備える。連携ＡＰＩ部２１０および検査対象認識部２２０といった機能部は、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ-ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

連携ＡＰＩ部２１０は、例えば、ＡＰＩ部２１２と、画像処理部２１４と、検査部２１６と、制御部２１８とを備える。ＡＰＩ部２１２は、ユーザ端末装置１００から各種の情報を受け付ける処理や、ユーザ端末装置１００にコンテンツを提供する処理などを行う。画像処理部２１４は、ユーザ端末装置１００から取得した画像データに対して所定の画像処理を施す。以下、検査に用いる画像を検査画像と記載する。検査部２１６は、ＡＰＩ部２１２により取得した検査画像および／または画像処理部２１４により処理された検査画像を用いて設備工事の検査処理を行う。制御部２１８は、検査対象認識部２２０における画像認識エンジンの起動等の制御を行う。

検査対象認識部２２０は、例えば複数の画像認識エンジン２２２Ａ、２２２Ｂ、・・・２２２Ｎ（Ｎは自然数）を備える。なお、複数の画像認識エンジンを総称する場合には単に画像認識エンジン２２２と記載する。各画像認識エンジン２２２は、複数の検査項目のうちの各検査項目に対応する。画像認識エンジン２２２は、検査項目における検査対象としての施工部材を認識する認識処理を行う。

図２は、検査対象認識部の一例を示すブロック図である。検査対象認識部２２０は、例えば、学習画像データベース２３０と、学習処理部２３２と、認識処理部２３４と、結果出力部２３６とを備える。

学習画像データベース２３０は、例えば管理端末３００から取得した画像を学習画像として記憶するデータベースである。学習画像データベース２３０は、学習画像として、例えば正例画像を記憶する。正例画像とは、正常な状態の対象物体を撮像した画像である。正例画像は、例えば、電柱の工事において使用される工事部材（電柱、根かせ、分線用金物、メジャー等）を撮像した画像である。正例画像は、工事部材名を含むタグ情報と対応付けられる。なお、正例画像には例えば工程名、検査項目名を示す情報が対応付けられてよい。なお、学習画像データベース２３０には、正例画像に限らず、学習画像として、工事部材とは異なる物体（異常状態の物体や不良品）を撮像した画像が記憶されてよい。

学習処理部２３２には、学習画像データベース２３０から学習画像が供給される。学習処理部２３２は、学習画像を用いて認識処理を行い、判定結果を得る。学習処理部２３２は、施工部材を検出したという判定結果となるように認識処理部２３４（認識モデル２３４Ａ）の処理パラメータを学習し、学習結果データを生成する。認識処理部２３４（認識モデル２３４Ａ）の処理パラメータとは、例えば、ニューラルネットワークに含まれるフィルタ（重み、バイアスともいう）である。学習結果データは、学習結果データ記憶部２３４１に記憶される。

認識処理部２３４は、例えば、学習結果データ記憶部２３４１と、判定部２３４２とを有する。学習結果データ記憶部２３４１には、学習結果としての認識処理部２３４の処理パラメータが蓄積され、認識処理部２３４の処理パラメータは、学習処理部２３２によって更新される。認識処理部２３４は、検査画像を取得した場合、認識処理部２３４の処理パラメータに基づく認識モデル２３４Ａを用いて特徴量を抽出する。判定部２３４２は、抽出した特徴量に基づいて、施工部材を検出する。認識処理部２３４は、判定部２３４２による判定結果を、認識結果として出力する。

以下、上述した設備工事検査システムにおいて電柱の工事における検査処理について説明する。
図３は、電柱の工事における工事箇所の一例を示す図である。電柱の工事において検査対象となる設備工事は、例えば、分線用金物を用いた分線工事（Ａ１）と、電柱の埋設工事（Ａ２）と、支線の取付工事（Ａ３）と、支線への絶縁体取付工事（Ａ４）と、支線への防護カバー取付工事（Ａ５）と、支線の埋設工事（Ａ６）と、電柱の標識板の取付工事（Ａ７）とを含む。なお、図３中のＡ１～Ａ７は各工事の検査のために撮像されるエリアを示している。

ユーザ端末装置１００は、設備工事の検査を依頼する場合、施工検査用アプリケーションを起動し、設備検査用操作画面を表示する。図４は、ユーザ端末装置における施工検査用操作画面の一例を示す図である。施工検査用操作画面には、図４（Ａ）に示すように、設備工事における検査項目に対応したアイコン画像が含まれる。ユーザ端末装置１００は、ユーザ操作に基づいてアイコン画像が選択された場合に、カメラ装置を起動する。ユーザ端末装置１００は、「根かせ」のアイコン画像が選択された場合、図４（Ｂ）に示すように、カメラ装置による撮像画像と、撮影すべき施工部材を指定する案内メッセージとを含む画面を表示する。

図５は、ガイド画像の一例を示す図である。ユーザ端末装置１００は、施工検査用アプリケーションにより、カメラ装置により撮影している画像１１０に、ガイド画像を重畳させる。ガイド画像は、ユーザ端末装置１００により施工部材を画像内の所定の範囲に含むように撮影させることを支援する画像である。ガイド画像は、例えば、ガイド枠画像１２０と、マスク画像１２２とを含む。ガイド枠画像１２０は、検査対象の施工部材が含まれることが望ましい領域を示す。マスク画像１２２は、施工検査サーバ装置２００が施工部材を含む領域として認識しない領域を示す。

ガイド枠画像１２０により示される領域およびマスク画像１２２により示される領域は、学習画像に基づいて決定されることが望ましい。例えば、電柱の標識板を撮像した正例画像（学習画像）のうち多くの画像が、画像内中央に電柱の標識板を含む場合、ガイド枠画像１２０は、画像内左右方向における略中央の領域であって画像内上下方向の端部間に亘る領域を示し、マスク画像１２２は、ガイド枠画像１２０が示す領域以外を示していることが望ましい。これにより、施工検査サーバ装置２００は、高い精度で検査することができる。なお、ガイド枠画像１２０は、設定ファイルにより変更可能であってもよい。これにより、ユーザ端末装置１００によりカメラ装置や表示装置の設定に基づいてガイド枠画像１２０が示す領域を柔軟に変更し、施工部材が適切に含まれる画像を撮影することができる。

図６は、ガイド画像の他の例を示す図である。ユーザ端末装置１００は、撮影画像のうちユーザの操作位置を中心とした円領域（操作領域）を含む画像を取得し、施工検査サーバ装置２００に送信してよい。また、ユーザ端末装置１００は、細長い支線防護カバーに沿って指をスライドさせた操作領域を含む画像を取得してもよい。ユーザ端末装置１００は、ユーザの操作領域を施工部材が含まれる画像領域であることを示す座標情報を生成してもよい。ユーザ端末装置１００は、撮影画像および座標情報を施工検査サーバ装置２００に送信することができる。例えば、撮影画像に絶縁体および支線防護カバーが含まれる場合において、ユーザ端末装置１００は、ユーザの操作位置に基づいて、絶縁体を含む画像領域の座標情報、支線防護カバーを含む画像領域の座標情報を生成する。

このように、ユーザ端末装置１００は、ユーザの操作に基づいて検査項目名に対応した撮影画像を生成する。図３に示したように、分線用金物を用いた分線工事において、ユーザ端末装置１００は、分線用金物を含む領域Ａ１を撮像した画像を施工検査サーバ装置２００に送信する。電柱の埋設工事において、ユーザ端末装置１００は、電柱および支持部材を含む領域Ａ２を撮像した画像を施工検査サーバ装置２００に送信する。支線の取付工事において、ユーザ端末装置１００は、分度器を含む領域Ａ３を撮像した画像を施工検査サーバ装置２００に送信する。支線への絶縁体取付工事において、ユーザ端末装置１００は、支線および絶縁体を含む領域Ａ４を撮像した画像を施工検査サーバ装置２００に送信する。支線への防護カバー取付工事において、ユーザ端末装置１００は、防護カバーを含む領域Ａ５を撮像した画像を施工検査サーバ装置２００に送信する。支線の埋設工事において、ユーザ端末装置１００は、埋設箇所を含む領域Ａ６を撮像した画像を施工検査サーバ装置２００に送信する。電柱の標識板の取付工事において、ユーザ端末装置１００は、電柱の標識板を含む領域Ａ７を撮像した画像を施工検査サーバ装置２００に送信する。

図７は、施工検査サーバ装置における設備工事の検査処理の一例を示すフローチャートである。まず、連携ＡＰＩ部２１０は、ユーザ端末装置１００から受信した情報に基づいて設備工事における検査項目名を取得する（ステップＳ１００）。連携ＡＰＩ部２１０は、検査項目名を取得した時点において検査対象認識部２２０の起動リストを取得する。連携ＡＰＩ部２１０は、ステップＳ１００において取得した検査項目名と起動リストとを比較し（ステップＳ１０４）、取得した検査項目名に対応する画像認識エンジン２２２が起動しているか否かを判定する（ステップＳ１０６）。連携ＡＰＩ部２１０は、検査項目名に対応した画像認識エンジン２２２が起動していない場合（ステップＳ１０６：ＮＯ）、検査項目名に対応した画像認識エンジン２２２を起動するよう制御する（ステップＳ１０８）。

連携ＡＰＩ部２１０は、検査項目名に対応した画像認識エンジン２２２が起動している場合（ステップＳ１０６：ＹＥＳ）、またはステップＳ１０８において検査項目名に対応する画像認識エンジン２２２を起動した後、画像ファイルおよび検査情報ファイルを取得する（ステップＳ１１０）。次に連携ＡＰＩ部２１０は、取得した画像ファイルに含まれる検査画像に所定の画像処理を施す（ステップＳ１１２）。所定の画像処理は、例えば、エッジ化（先鋭化）処理や、明るさ補正処理などがある。ユーザ端末装置１００は、所定の画像処理を施した検査画像を、検査項目名に対応した画像認識エンジン２２２に受け渡す。

画像認識エンジン２２２は、連携ＡＰＩ部２１０から取得した画像に基づいて検査項目名に対応した施工部材（検査対象）が存在するか否かを判定する認識処理を行う（ステップＳ１１４）。このとき、画像認識エンジン２２２は、施工部材ごとに確信度を算出する。また、画像認識エンジン２２２は、画像処理ごとに、施工部材の確信度を算出する。画像認識エンジン２２２は、施工部材の確信度が所定値以上である場合、当該施工部材が存在すると判定する。画像認識エンジン２２２は、施工部材が存在するという認識結果である場合（ステップＳ１１６：ＹＥＳ）、ステップＳ１２０に処理を進める。画像認識エンジン２２２は、施工部材が存在しないという認識結果である場合（ステップＳ１１６：ＮＯ）、検査画像を再取得する（ステップＳ１１８）。施工検査サーバ装置２００は、検査画像を再取得する場合、ユーザ端末装置１００に画像を再撮影する要求を送信する。

連携ＡＰＩ部２１０は、画像認識エンジン２２２により算出された施工部材の確信度を比較する（ステップＳ１２０）。図８は、検査画像と、検査画像に含まれる施工部材ａ～ｅと、確信度との関係を示す図である。連携ＡＰＩ部２１０は、検査画像に部材ａ～ｅが含まれる場合、検査画像に含まれる部材ａ～ｅそれぞれについて確信度Ｃａ１～Ｃｅ１を算出し、確信度Ｃａ１～Ｃｅ１の合計値Ｃ１を算出する。連携ＡＰＩ部２１０は、検査画像にエッジ処理を施した画像についても、部材ａ～ｅそれぞれについて確信度Ｃａ２～Ｃｅ２を算出し、確信度Ｃａ２～Ｃｅ２の合計値Ｃ２を算出する。連携ＡＰＩ部２１０は、検査画像に明るさ補正処理を施した画像についても、部材ａ～ｅそれぞれについて確信度Ｃａ３～Ｃｅ３を算出し、確信度Ｃａ３～Ｃｅ３の合計値Ｃ３を算出する。

連携ＡＰＩ部２１０は、複数の合計値のうち最も高い合計値に対応した画像を用いて、検査項目の判定処理を行う（ステップＳ１２２）。なお、検査項目の判定処理については後述する。連携ＡＰＩ部２１０は、検査項目の判定処理の結果として、検査結果をユーザ端末装置１００に送信する（ステップＳ１２４）。

以下、検査処理について説明する。
（分線用金物の取付工事）
図９は、分線用金物を含む検査画像の一例であり、図１０は、分線用金物の取付工事における施工部材、タグ名および認識条件を示す図である。
連携ＡＰＩ部２１０は、施工部材として分線用金物（項番１）、外れ止め具（項番２）、および２個の留め具（項番３）を含む検査画像を取得する。検査項目名としての分線用金物に対応した画像認識エンジン２２２は、施工部材として、検査画像内に分線用金物、外れ止め具、および留め具が存在するか否かを判定する。画像認識エンジン２２２は、検査画像のうち分線用金物と認識された施工部材が含まれる場合、当該検査画像に分線用金物が存在すると判定し、当該検査画像において分線用金物を含む領域に、分線用金物に対応したタグ情報を付与する。画像認識エンジン２２２は、検査画像のうち外れ止め具と認識された物体の確信度が所定値以上である場合、当該検査画像に外れ止め具が存在すると判定し、当該検査画像において外れ止め具を含む領域に、外れ止め具に対応したタグ情報を付与する。画像認識エンジン２２２は、検査画像のうち留め具と認識された物体の確信度が所定値以上である場合、分線用金物当該検査画像に留め具が存在すると判定し、当該検査画像において留め具を含む領域に、留め具に対応したタグ情報を付与する。

タグ情報は、画像認識エンジン２２２の認識結果としてのタグ名を含む。タグ名は、施工部材を示す情報である。タグ情報は、タグ名に加えて、検査画像内の座標情報を含んでいてもよい。タグ情報を付与する処理は、例えば、検査画像における領域にタグを対応付ける処理が含まれる。すなわち、画像認識エンジン２２２は、検査画像における領域を表す座標とタグ情報との対応関係を表す情報を生成してもよく、検査画像における領域を表す座標とタグ情報との対応関係を表すテーブルを更新してもよい。

タグ情報は、少なくともタグ名を含む。タグ情報は、認識された施工部材の画像内位置を示す座標情報を含んでよい。すなわち、タグ情報は、認識処理により認識された施工部材の画像内位置情報を含んでよい。画像内位置情報は、施工部材が画像内において占める領域（座標値、最高点、最低点、形状等）を示す情報であってよい。

図１１は、分線用金物における部分領域の一例を示す図である。連携ＡＰＩ部２１０は、分線用金物の検査において、分線用金物の直線部分が画像内の水平方向に近づくように、検査画像を回転させる。連携ＡＰＩ部２１０は、図１１に示すような分線用金物を含む領域を抽出する。連携ＡＰＩ部２１０は、分線用金物の存在を認識した後に検査画像を回転させてよい。連携ＡＰＩ部２１０は、分線用金物を含む領域を８個の部分領域（１）～（８）に分割する。連携ＡＰＩ部２１０は、分線用金物が部分領域（１）～（８）に亘って存在し、外れ止め具が部分領域（３）に存在し、２個のうち１個の留め具が部分領域（４）、（５）に亘り存在し、２個のうち１個の留め具が部分領域（７）に存在することを認識する。

以上のように、施工検査サーバ装置２００は、分線用金物の取付工事において、条件１：分線用金物、外れ止め具および複数の留め具が存在すること、条件２：外れ止め具の確信度が所定値以上であること、条件３：複数の留め具が存在する範囲が分線用金物の指定の部分に所定個数存在すること、の３つの条件を満たす場合に、検査結果が合格であると判定する。

なお、ユーザ端末装置１００は、留め具の取付総数を入力させる画面を表示し、ユーザの操作に基づいて留め具の設置総数を示す情報を施工検査サーバ装置２００に送信してもよい。施工検査サーバ装置２００は、ユーザ端末装置１００から受信した情報に基づく留め具の総数と、画像認識エンジン２２２により認識した留め具の総数とが一致することを条件として、検査結果が合格であると判定する。これにより、検査結果の精度を更に向上させることができる。なお、設備工事検査システムは、留め具の数に限らず、他の施工部材の取付数についても、ユーザの操作に基づく取付数と、画像認識エンジン２２２により認識された取付数との比較を行ってもよい。

（根かせの取付工事）
図１２は、根かせを含む検査画像の一例であり、図１３は、根かせの取付工事における施工部材、タグ名および認識条件を示す図である。
連携ＡＰＩ部２１０は、検査画像を取得する。検査項目名としての根かせに対応した画像認識エンジン２２２は、検査画像に、施工部材としてメジャー、縦メジャーの外郭、横メジャーの外郭、横棒の外郭、根かせ、電柱断面、電柱、および張力方向を示す図板が含まれるか否かを判定する。画像認識エンジン２２２は、１つのメジャーが、各センチメートルを示すメジャーを含む特定個数の施工部材として存在するか否かを判定する。画像認識エンジン２２２は、各施工部材について確信度を算出する。画像認識エンジン２２２は、施工部材の確信度が所定値を超える場合、当該検査画像に当該施工部材が存在すると判定し、当該検査画像において施工部材を含む領域に、施工部材に対応したタグ情報を付与する。なお、図１２には横メジャーではなく、横棒が存在する一例を示しているが、画像認識エンジン２２２は、深さの基準部材としての横メジャーまたは横棒の少なくとも一方の存在を認識するものとする。

図１４は、根かせの取付工事の検査において横棒または横メジャーの高さを検出する処理を示す図である。連携ＡＰＩ部２１０は、電柱の埋設深さの計測のため、横棒または横メジャーの高さを検出する。横棒または横メジャーの高さを検出する前提条件として、画像認識エンジン２２２により、（条件１）メジャーに対応したタグ情報として表示されている数値全てが検出され、（条件２）横メジャーの外郭と横棒の外郭の何れか一方のタグ情報が検出されているものとする。

図１４に示すように、縦メジャーは、画像内水平方向（Ｘ方向）に対して傾いて撮像される場合がある。連携ＡＰＩ部２１０は、横棒とメジャーとの交点座標位置から縦メジャー領域の上端までの距離ａと、横棒とメジャーとの交点座標位置から縦メジャー領域の下端までの距離ｂとの比例計算によって、横棒の高さを算出している。

図１５は、電柱断面と根かせと張力方向を示す図板との位置関係を示す図である。連携ＡＰＩ部２１０は、根かせ（支持部材）、電柱、および張力方向を示す図板の位置関係に基づいて、根かせを用いた設備工事の検査を実施する（検査部）。具体的には、連携ＡＰＩ部２１０は、電柱断面の重心と、根かせの重心が、張力方向を示す図板が示す方向の順に配置されているか否かを判定する。連携ＡＰＩ部２１０は、電柱に掛かる張力に抵抗するよう根かせが正しく施工されている場合、検査結果が合格と判定し、そうでない場合、根かせの取付工事の検査結果が不合格であると判定する。

さらに、連携ＡＰＩ部２１０は、矢印の向きを判定する。連携ＡＰＩ部２１０は、根かせおよび張力方向を示す図板が検出されている場合において、根かせの長手方向が画像内水平方向と並行となるように検査画像を回転させる。連携ＡＰＩ部２１０は、根かせの長手方向と張力方向を示す図板が示す矢印方向とのなす角度を算出する。連携ＡＰＩ部２１０は、算出した角度が所定の範囲（例えば８０度から１００度）である場合には、根かせの取付工事の検査結果が合格であると判定し、そうでない場合、根かせの取付工事の検査結果が不合格であると判定する。

（支線下部の取付工事）
図１６は、支線下部を含む検査画像の一例であり、図１７は、支線下部の取付工事における施工部材、タグ名および認識条件を示す図である。
連携ＡＰＩ部２１０は、検査画像を取得する。検査項目名としての支線下部に対応した画像認識エンジン２２２は、検査画像に、施工部材として縦メジャー、横メジャー、各高さを示すセンチメートルのメジャー、アンカー色（例えば黒色、赤色、茶色およびオレンジ色）が含まれるか否かを判定する。図１６においては、施工部材に対応する項番３～６のうち、何れかの項番に対応するアンカー色が認識された場合を示している。画像認識エンジン２２２は、各施工部材について確信度を算出する。画像認識エンジン２２２は、施工部材の確信度が所定値を超える場合、当該検査画像に当該施工部材が存在すると判定し、当該検査画像において施工部材を含む領域に、施工部材に対応したタグ情報を付与する。

図１８は、支線下部の検査において支線の埋設深度を算出する処理を示す図である。連携ＡＰＩ部２１０は、縦メジャーのタグが付加された領域と、横メジャーのタグが付加された領域との交点を算出する。連携ＡＰＩ部２１０は、算出した交点のＹ方向における位置を支線下部の埋設深度として算出する。連携ＡＰＩ部２１０は、当該交点が含まれる領域のタグ情報に基づいて、交点の画像内Ｙ方向における位置を算出する。連携ＡＰＩ部２１０は、支線下部の埋設深度が適切である場合には支線下部の検査結果が合格であり、そうでない場合には支線下部の検査結果が不合格であると判定する。

図１９は、支線下部の埋設深度を算出する一例を説明するための図である。連携ＡＰＩ部２１０は、支線下部の埋設深度を算出する場合、まず、図１９（Ａ）に示すように、縦メジャーの領域と、横メジャーの領域とが交差する領域を求める。次に連携ＡＰＩ部２１０は、縦メジャーの領域のうち目盛りが０の位置を、埋設深度の画像内Ｙ方向における最小値として取得する。次に連携ＡＰＩ部２１０は、交差領域のうち画像内Ｙ方向の最小値を、埋設深度のＹ方向における最大値として取得する。次に連携ＡＰＩ部２１０は、埋設深度における最小値と最大値との画像内距離を計算する。次に連携ＡＰＩ部２１０は、図１９（Ｂ）に示すように、縦メジャーの領域における１０センチメートルを示す位置から２０センチメートルを示す位置までの画像内距離（ａピクセル）と埋設深度における最小値と最大値との画像内距離（ｂピクセル）との比率から、埋設深度における最小値と最大値との画像内距離が示す実際の長さを算出する。すなわち、連携ＡＰＩ部２１０は、１０（ｃｍ）：ｘ（ｃｍ）＝ａ（ピクセル）：ｂ（ピクセル）におけるｘの値を求めることで、支線の埋設深度を計算する。

なお、連携ＡＰＩ部２１０は、検査項目名として上部支線または土質区分が選択されている場合に、アンカー色のタグが複数検出された場合、黒、赤、茶、オレンジのうち最も確信度の高い色を検出する。連携ＡＰＩ部２１０は、検出した色と、下部支線は施設場所の地況、経済性等によりアンカー色とを突合し、アンカー色が適切であるか否かを判定してもよい。

（電柱下部の工事）
図２０は、電柱下部を含む検査画像の一例であり、図２１は、電柱下部の工事における施工部材、タグ名および認識条件を示す図である。
連携ＡＰＩ部２１０は、検査画像を取得する。検査項目名としての電柱下部に対応した画像認識エンジン２２２は、検査画像に、施工部材として足場、電柱の標識板、およびメジャーが含まれるか否かを判定する画像認識エンジン２２２は、複数の施工部材のうち電柱の標識板の確信度およびメジャーの確信度を算出する。画像認識エンジン２２２は、各確信度が所定値を超える場合、当該検査画像に当該施工部材が存在すると判定し、当該検査画像において施工部材を含む領域に、施工部材に対応したタグ情報を付与する。画像認識エンジン２２２は、足場と認識される施工部材のうち設置位置が最も低い足場を採用する。

図２２は、足場の高さを検査する処理を説明するための図である。連携ＡＰＩ部２１０は、画像認識エンジン２２２によって認識されたメジャーの最低地点からメジャーの最高地点までの距離としてメジャーを認識し、最も低い位置に存在する足場を示すタグ情報を検出する。連携ＡＰＩ部２１０は、検出した足場のタグ情報に基づいて、最も低い位置に存在する足場がメジャーから一定の高さより高い場合、足場の高さの検査結果が合格であると判定し、そうでない場合、検査結果が不合格であると判定する。

図２３は、電柱の標識板の高さを検査する処理を説明するための図である。連携ＡＰＩ部２１０は、画像認識エンジン２２２によって認識されたメジャーの最低地点からメジャーの最高地点までの距離としてメジャーを有する高さを認識し、電柱の標識板を示すタグ情報を検出する。連携ＡＰＩ部２１０は、電柱の標識板のタグ情報に基づいて、電柱の標識板の上端の高さが一定の高さより低い場合、電柱の標識板の高さの検査結果が合格であると判定し、そうでない場合、検査結果が不合格であると判定する。連携ＡＰＩ部２１０は、例えば、電柱の標識板の上端と下端の高さが一定の高さを満たした場合に電柱の標識板の高さの検査結果が合格であると判定してよい。

（絶縁体の取付工事）
図２４は、絶縁体を含む検査画像の一例であり、図２５は、絶縁体の取付工事における施工部材、タグ名および認識条件を示す図である。
連携ＡＰＩ部２１０は、検査画像を取得する。検査項目名としての絶縁体に対応した画像認識エンジン２２２は、検査画像に、施工部材として絶縁体、および、メジャーが含まれるか否かを判定する。画像認識エンジン２２２は、絶縁体およびメジャーの確信度を算出する。画像認識エンジン２２２は、各確信度が所定値を超える場合、当該検査画像に絶縁体およびメジャーが存在すると判定し、当該検査画像において施工部材を含む領域に、施工部材に対応したタグ情報を付与する。画像認識エンジン２２２は、ユーザの指定した位置を含む所定領域に含まれる絶縁体を採用する。画像認識エンジン２２２は、ユーザ端末装置１００における表示部におけるユーザ操作の検出位置を含む所定領域に、絶縁体と認識される施工部材がある場合、当該絶縁体を採用する。

図２６は、絶縁体の高さを検査する処理を説明するための図である。連携ＡＰＩ部２１０は、画像認識エンジン２２２によって認識されたメジャーの最低地点からメジャーの最高地点までの距離としてメジャーを有する高さを認識し、絶縁体を示すタグ情報を検出する。連携ＡＰＩ部２１０は、検出した絶縁体のタグ情報に基づいて、絶縁体が一定の高さより高い場合、絶縁体の高さの検査結果が合格であると判定し、そうでない場合、検査結果が不合格であると判定する。

（支線の取付工事）
図２７は、支線、および支線角度を計測するための分度器を含む撮影画像の一例であり、図２８は、分度器の部材名、タグ名および認識条件を示す図である。
連携ＡＰＩ部２１０は、検査画像を取得する。検査項目名としての支線角度に対応した画像認識エンジン２２２は、検査画像に、分度器の部材として針、および角度表示（０度、１０度、２０度、３０度、４０度、５０度、６０度、７０度、８０度、および９０度）が含まれるか否かを判定する。画像認識エンジン２２２は、角度表示の角度値ごとに、確度値を示す画像が検査画像に含まれているか否かを判定する。画像認識エンジン２２２は、針の確信度および角度表示（角度値ごと）の確信度を算出する。画像認識エンジン２２２は、各確信度が所定値を超える場合、当該検査画像に針および角度表示（角度値ごと）が存在すると判定し、当該検査画像において針および角度表示を含む領域に、分度器の針および角度表示（角度値ごと）に対応したタグ情報を付与する。

図２９は、支線角度を検査する処理を説明するための図である。連携ＡＰＩ部２１０は、画像認識エンジン２２２によって認識された針のうち半分位置から先端位置までの領域のうち、半分位置と先端位置との中間位置を針の基準座標にする。連携ＡＰＩ部２１０は、針の基準座標から近い上位２箇所の角度表示（５０度と３０度）のタグ情報を取得する。連携ＡＰＩ部２１０は、取得した２つの角度表示の画像間距離（ピクセル数）を算出し、算出したピクセル数を２つの角度表示の角度差（２０度）で除算することで１度辺りのピクセル数を算出する。なお、連携ＡＰＩ部２１０は、角度値ごとのタグ情報には角度値を含む領域情報が含まれるが、角度値を含む領域の重心同士の距離（画像内水平方向）を算出する。連携ＡＰＩ部２１０は、画像内水平方向における針と角度表示（３０度）との間のピクセル数、および角度表示が示す角度（３０度）に基づいて、針が示す角度（支線角度）を算出する。連携ＡＰＩ部２１０は、支線角度が所定の範囲内である場合、支線角度の検査結果が合格であると判定し、そうでない場合、検査結果が不合格であると判定する。

（巻付グリップの取付工事）
図３０は、巻付グリップを含む撮影画像の一例であり、図３１は、巻付グリップの取付工事における部材名、タグ名および認識条件を示す図である。
連携ＡＰＩ部２１０は、検査画像を取得する。検査項目名としての巻付グリップに対応した画像認識エンジン２２２は、撮影画像に、施工部材として赤テープ、紫テープ、茶テープ、オレンジテープ、およびシンブルが含まれるか否かを判定する。画像認識エンジン２２２は、施工部材ごとに、当該施工部材の確信度を算出する。画像認識エンジン２２２は、各確信度が所定値を超える場合、当該検査画像に施工部材が存在すると判定し、検査画像における施工部材を含む領域に、施工部材に対応したタグ情報を付与する。

連携ＡＰＩ部２１０は、テープの色のうち、最も確信度が高い色を採用する。連携ＡＰＩ部２１０は、採用したテープの色と施設場所の地況、経済性等によりに対応したテープ色とを突合する。連携ＡＰＩ部２１０は、互いの色が一致している場合にはテープ色の検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。なお、連携ＡＰＩ部２１０は、ユーザの操作を受け付け、検査画像における支線上部を選択している場合に、テープ色の検査を実施してよい。

連携ＡＰＩ部２１０は、検査画像にシンブルに対応したタグ情報が付与されているか否かを判定し、シンブルに対応したタグ情報が付与されている場合にはシンブルについての検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。連携ＡＰＩ部２１０は、施工部材についての検査の全てについて、検査結果が合格した場合、巻付グリップの工事の検査結果が合格であると判定する。

（下駄の取付工事）
図３２は、下駄を含む検査画像の一例であり、図３３は、下駄の取付工事における部材名、タグ名および認識条件を示す図である。
連携ＡＰＩ部２１０は、検査画像を取得する。検査項目名としての下駄に対応した画像認識エンジン２２２は、検査画像に、施工部材として下駄が含まれるか否かを判定する。画像認識エンジン２２２は、下駄が含まれる場合、検査画像における下駄を含む領域に、下駄に対応したタグ情報を付与する。連携ＡＰＩ部２１０は、ユーザが選択した検査画像における領域に下駄のタグが含まれる場合には検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。

（支線防護および絶縁体の取付工事）
図３４は、支線防護および絶縁体を含む検査画像の一例であり、図３５は、支線防護および絶縁体の取付工事における部材名、タグ名および認識条件を示す図である。
連携ＡＰＩ部２１０は、検査画像を取得する。検査項目名としての支線防護および絶縁体に対応した画像認識エンジン２２２は、検査画像に、施工部材として支線防護および絶縁体が含まれるか否かを判定する。画像認識エンジン２２２は、施工部材が含まれる場合、検査画像における施工部材を含む領域に、施工部材に対応したタグ情報を付与する。連携ＡＰＩ部２１０は、ユーザが選択した検査画像における領域に支線防護のタグが含まれる場合には検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。連携ＡＰＩ部２１０は、ユーザが選択した検査画像における領域に絶縁体のタグが含まれる場合には検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。

（絶縁体の取付工事）
図３６は、絶縁体を含む検査画像の一例であり、図３７は、絶縁体の取付工事における部材名、タグ名および認識条件を示す図である。絶縁体は、電柱に接続された線路（電力線、通信線等）に取り付けられた絶縁体である。
連携ＡＰＩ部２１０は、検査画像を取得する。検査項目名としての絶縁体に対応した画像認識エンジン２２２は、検査画像に、施工部材として絶縁体が含まれるか否かを判定する。画像認識エンジン２２２は、絶縁体が含まれる場合、検査画像における絶縁体を含む領域に、絶縁体に対応したタグ情報を付与する。連携ＡＰＩ部２１０は、ユーザが選択した検査画像における領域に絶縁体のタグが含まれる場合には検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。

（留め具の取付工事）
図３８は、留め具を含む検査画像の一例であり、図３９は、留め具の取付工事における部材名、タグ名および認識条件を示す図である。留め具は、電柱に接続された線路（電力線、通信線等）を家屋内に引き入れるための施工部材である。
連携ＡＰＩ部２１０は、検査画像を取得する。検査項目名としての留め具に対応した画像認識エンジン２２２は、検査画像に、施工部材として留め具が含まれるか否かを判定する。画像認識エンジン２２２は、留め具が含まれる場合、検査画像における留め具を含む領域に、留め具に対応したタグ情報を付与する。連携ＡＰＩ部２１０は、ユーザが選択した検査画像における領域に留め具のタグが含まれる場合には検査結果が合格であると判定し、そうでない場合には検査結果が不合格であると判定する。

以上説明した実施形態の設備工事検査システムによれば、ユーザ端末装置１００から、分線用金物を撮像した検査画像、および検査項目が分線用金物であることを示す検査項目情報を取得し、検査画像に基づいて検査対象物の確からしさを示す確信度を算出し、確信度に基づいて検査画像に検査対象物が含まれるか否かを認識し、検査画像に検査対象物が含まれる場合に、検査対象物の位置関係に基づいて分線用金物を用いた設備工事の検査を実施し、検査部により実施された検査の結果を端末装置に通知する。この設備工事検査システムによれば、分線用金物の検査において、検査対象物の位置関係に基づいて検査を実施するので、複数の部材を用いた施工状態を高い精度で検査することができる。

また、実施形態の設備工事検査システムによれば、端末装置から、電柱の支持部材を撮像した検査画像、および検査項目が電柱の支持部材であることを示す検査項目情報を取得し、検査画像から支持部材、および支持部材周辺の検査対象物の確からしさを示す確信度を算出し、確信度に基づいて検査画像に支持部材および検査対象物が含まれるか否かを判定し、検査画像に支持部材および検査対象物が含まれる場合に、支持部材および検査対象物の位置関係に基づいて支持部材を用いた設備工事の検査を実施し、検査部により実施された検査の結果を端末装置に通知する。この設備工事検査システムによれば、電柱の支持部材の検査において、検査対象物の位置関係に基づいて検査を実施するので、複数の部材を用いた施工状態を高い精度で検査することができる。

さらに、実施形態の設備工事検査システムによれば、端末装置が、設備工事に含まれる複数の検査項目に対応した複数のアイコンを提示し、複数のアイコンのうちユーザの操作に基づいてアイコンが選択されたことに応じて前記端末装置のカメラ装置を起動し、選択されたアイコンに対応する検索項目における検査対象物のガイド枠、および検査対象物として認識されない領域を示すマスクを端末装置に表示し、カメラ装置により撮像された検査画像、および前記選択されたアイコンに対応する検査項目情報を、端末装置から情報処理装置に送信し、認識部により、端末装置から送信された検査画像に含まれる検査対象物の確からしさを示す確信度を算出し、確信度に基づいて前記検査対象物が含まれるか否かを判定し、認識部により検査対象物が含まれると判定された場合、情報処理装置の検査部により、検査対象物の位置関係に基づいて検査項目に対応した検査を行う。この設備工事検査システムによれば、検査対象物を撮像する際にガイド枠およびマスクを表示することにより適切な検査画像を取得することができ、複数の部材を用いた施工状態を高い精度で検査することができる。

なお、各実施形態および変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の１または複数の実施形態や他の１または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。

なお、本実施形態におけるユーザ端末装置１００や施工検査サーバ装置２００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、ユーザ端末装置１００や施工検査サーバ装置２００に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ
ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。

ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。例えば、本発明の実施形態として、ユーザ端末装置１００だけで構成される場合もある。

１００ユーザ端末装置
１２０ガイド枠画像
１２２マスク画像
２００施工検査サーバ装置
２１０連携ＡＰＩ部
２１２ＡＰＩ部
２１４画像処理部
２１６検査部
２１８制御部
２２０検査対象認識部
２２２画像認識エンジン

Claims

端末装置が、設備工事に含まれる複数の検査項目に対応した複数のアイコンを提示するステップと、
前記複数のアイコンのうちユーザの操作に基づいてアイコンが選択されたことに応じて前記端末装置のカメラ装置を起動するステップと、
前記選択されたアイコンに対応する検査項目における検査対象物のガイド枠、および前記検査対象物として認識されない領域を示すマスクを前記端末装置に表示するステップと、
前記カメラ装置により撮像された検査画像、および前記選択されたアイコンに対応する検査項目情報を、前記端末装置から情報処理装置に送信するステップと、
前記情報処理装置の認識部により、前記端末装置から送信された検査画像に含まれる前記検査対象物の確からしさを示す確信度を算出し、前記確信度に基づいて前記検査対象物が含まれるか否かを判定するステップと、
前記認識部により前記検査対象物が含まれると判定された場合、前記情報処理装置の検査部により、前記検査対象物の位置関係に基づいて検査項目に対応した検査を行うステップと、
を有する設備工事の検査方法。
前記認識部は、前記複数の検査項目に対応した複数の認識モデルのうち、前記情報処理装置により受信した前記検査項目情報に基づく認識モデルを用い、
それぞれの前記認識モデルは、正常な検査対象物を含む学習画像を用いて学習された認識モデルであって、正常な検査対象物を含む検査画像が入力された場合に当該検査対象物が存在すると認識するように処理パラメータが学習される、
請求項１に記載の設備工事の検査方法。
前記認識部は、前記認識モデルを用いて、前記カメラ装置により撮像された検査画像、および当該検査画像に対して所定の画像処理を施した検査画像のそれぞれについて確信度を算出し、
前記検査部は、前記カメラ装置により撮像された検査画像について算出された前記確信度と前記カメラ装置により撮像された検査画像に対して所定の画像処理を施した検査画像について算出された前記確信度とのうち前記確信度が高い一つの検査画像を用いて検査を行う、
請求項２に記載の設備工事の検査方法。
前記ガイド枠およびマスクは、前記学習画像に基づいて設定される、
請求項２に記載の設備工事の検査方法。
前記カメラ装置により撮像された画像におけるユーザの操作位置に基づく検査画像内の座標情報を前記検査対象物が含まれる画像領域であることを示す座標情報として前記端末装置から前記情報処理装置に送信するステップを含み、
前記認識部は、前記検査画像に前記検査対象物が含まれると判定した場合に、前記検査画像において前記検査対象物を含む領域に前記検査対象物を示す情報と前記検査画像内の座標情報とを含むタグ情報を付与する、
請求項１に記載の設備工事の検査方法。
設備工事に含まれる複数の検査項目に対応した複数のアイコンを提示し、前記複数のアイコンのうちユーザの操作に基づいてアイコンが選択されたことに応じてカメラ装置を起動し、前記選択されたアイコンに対応する検査項目における検査対象物のガイド枠、および前記検査対象物として認識されない領域を示すマスクを表示し、前記カメラ装置により撮像された検査画像、および前記選択されたアイコンに対応する検査項目情報を、情報処理装置に送信する端末装置と、
認識部により、前記端末装置から送信された検査画像に含まれる前記検査対象物の確からしさを示す確信度を算出し、前記確信度に基づいて前記検査対象物が含まれるか否かを判定し、前記認識部により前記検査対象物が含まれると判定された場合、前記情報処理装置の検査部により、前記検査対象物の位置関係に基づいて検査項目に対応した検査を行う情報処理装置と、
を備える設備工事の検査システム。