WO2023243530A1

WO2023243530A1 - 推論装置、配線接続照合装置、学習装置、および、配線接続照合システム

Info

Publication number: WO2023243530A1
Application number: PCT/JP2023/021349
Authority: WO
Inventors: 孔明岩下
Original assignee: 三菱電機株式会社
Priority date: 2022-06-14
Filing date: 2023-06-08
Publication date: 2023-12-21

Abstract

本願明細書に開示される技術は、処理時間が長くなることを抑制しつつ、効果的に電線の接続状態を照合するための技術である。本願明細書に開示される技術に関する推論装置は、撮像された画像データを取得する画像データ取得部と、画像データ取得部において取得された画像データから端子台の設置位置、回転角度、縦横寸法および型式情報を推論するための第１の学習済モデルを用いて、画像データから端子台の設置位置、回転角度、縦横寸法および型式情報を推論して出力する推論部とを備える。

Description

推論装置、配線接続照合装置、学習装置、および、配線接続照合システム

　本願明細書に開示される技術は、電線の接続状態を照合技術に関するものである。

　配電盤の製造現場における組立工程または検査工程では、作業者が複数の電線を端子台に対して接続する配線作業を行うことがある。この配線作業では、作業者の人為的ミスによる誤接続が製造不良につながることが問題である。

　しかしながら、配電盤の複数の電線が正しく接続されているか否かを確認することは容易ではなく、多大な時間を要する。そのため、複数の電線が正しく接続されているか否かを確認するために要する時間を短縮することは、配電盤を効率よく製造するために有効である。

　このような問題に対して、たとえば、特許文献１では、携帯端末に内蔵されたカメラで配電盤内を撮影した画像データをデータ処理用のサーバーに送信し、画像処理によって当該画像データから電線識別情報を読み取り、あらかじめ回路設計情報から準備されサーバー内に格納されていた電線接続データと当該電線識別情報とを照合して、電線が正しく接続されているか否かを判定する構成が開示されている。

特開２０２１－１２９４７４号公報

　しかしながら、特許文献１に記載された構成では、大規模な配電盤が対象となる場合に撮像される範囲が広くなり、また、接続された電線の本数が多くなると画像処理すべき画像データ量が膨大となり、通常使用される事務用パーソナルコンピュータ、市販の画像処理ユニットおよび画像処理ソフトウェアを組み合わせて画像処理を行うことが難しい、または、通常使用される事務用パーソナルコンピュータ、市販の画像処理ユニットおよびソフトウェアを組み合わせて画像処理しようとすると処理時間が非常に長くなり、合理的な処理時間内に所望の処理が終了しないという課題がある。

　本願明細書に開示される技術は、以上に記載されたような問題を鑑みてなされたものであり、処理時間が長くなることを抑制しつつ、効果的に電線の接続状態を照合するための技術である。

　本願明細書に開示される技術の第１の態様である推論装置は、配電盤内の少なくとも１つの端子台の設置箇所および前記端子台に対する電線の接続箇所を示す配線接続図に基づく設計データと、前記配電盤内を撮像した画像データとを照合し、前記電線の接続状態を照合する配線接続照合装置において、前記配電盤内の前記端子台に接続された前記電線に付与された電線識別情報を前記画像データから読み取る際に、前記電線が接続された前記端子台の設置位置、回転角度、縦横寸法および型式情報に基づいて、前記電線識別情報が含まれる部分画像領域を抽出するために、前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論する推論装置であり、撮像された前記画像データを取得する画像データ取得部と、前記画像データ取得部において取得された前記画像データから前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論するための第１の学習済モデルを用いて、前記画像データから前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論して出力する推論部とを備える。

　本願明細書に開示される技術の少なくとも第１の態様によれば、処理時間が長くなることを抑制しつつ、効果的に電線の接続状態を照合することができる。

　また、本願明細書に開示される技術に関連する目的と、特徴と、局面と、利点とは、以下に示される詳細な説明と添付図面とによって、さらに明白となる。

実施の形態に関する配電盤内の端子台の例を示す平面図である。実施の形態に関するバンドマークの例を示す図である。実施の形態に関するバンドマークの例を示す図である。実施の形態に関する配線接続照合装置の構成の例を概念的に示す図である。設計データの例を示す図である。推論装置の処理の例を示すフローチャートである。画像データ加工部での処理の例を示すフローチャートである。部分画像領域の決定方法の例を示す図である。部分画像領域の決定方法の例を示す図である。照合結果の例を示す図である。照合結果の例を示す図である。不一致箇所の例を示す図である。配線接続照合装置における学習済モデル記憶部に学習済モデルを提供するための学習装置の構成の例を示す図である。３層のニューラルネットワークの例を示す図である。学習装置の学習処理に関するフローチャートである。実施の形態に関する配線接続照合システムの構成の例を概念的に示す図である。

　以下、添付される図面を参照しながら実施の形態について説明する。以下の実施の形態では、技術の説明のために詳細な特徴なども示されるが、それらは例示であり、実施の形態が実施可能となるためにそれらすべてが必ずしも必須の特徴ではない。

　なお、図面は概略的に示されるものであり、説明の便宜のため、適宜、構成の省略、または、構成の簡略化などが図面においてなされるものである。また、異なる図面にそれぞれ示される構成などの大きさおよび位置の相互関係は、必ずしも正確に記載されるものではなく、適宜変更され得るものである。また、断面図ではない平面図などの図面においても、実施の形態の内容を理解することを容易にするために、ハッチングが付される場合がある。

　また、以下に示される説明では、同様の構成要素には同じ符号を付して図示し、それらの名称と機能とについても同様のものとする。したがって、それらについての詳細な説明を、重複を避けるために省略する場合がある。

　また、本願明細書に記載される説明において、ある構成要素を「備える」、「含む」または「有する」などと記載される場合、特に断らない限りは、他の構成要素の存在を除外する排他的な表現ではない。

　また、本願明細書に記載される説明において、「第１の」または「第２の」などの序数が使われる場合があっても、これらの用語は、実施の形態の内容を理解することを容易にするために便宜上使われるものであり、実施の形態の内容はこれらの序数によって生じ得る順序などに限定されるものではない。

　＜第１の実施の形態＞
　以下、本実施の形態に関する推論装置、配線接続照合装置について説明する。

　図１は、本実施の形態に関する配電盤内の端子台の例を示す平面図である。図１に例が示されるように、配電盤内には、端子台１が収容されており、作業者が配線作業を行うことで、１つの端子台１に複数の電線２が接続される。

　なお、端子台１が設置される位置、角度、型式、１つの端子台１に接続される電線２の本数は、どのような態様であってもよい。

　図２および図３は、本実施の形態に関するバンドマークの例を示す図である。図２に例が示されるように、端子台１に接続される電線２ａの端部には、端子台１に接着されるための圧着端子４が取り付けられているとともに、圧着端子４に近い位置にバンドマーク３ａが取り付けられている。バンドマーク３ａには文字情報からなる電線識別情報が記載されている。また、図３に例が示されるように、端子台１に接続される電線２ｂの端部には、端子台１に接着されるための圧着端子４が取り付けられているとともに、圧着端子４に近い位置にバンドマーク３ｂが取り付けられている。バンドマーク３ｂには文字情報およびＱＲコード（登録商標）からなる電線識別情報が記載されている。

　図２および図３に例が示された電線識別情報は、電線２ａ（電線２ｂ）を一意に識別する情報であり、電線固有の番号である線番号が記録された文字列、ＱＲコード（登録商標）またはバーコードなどのうちの少なくとも１つである。

　電線識別情報が記載されたバンドマーク３ａ（またはバンドマーク３ｂ）は、図２および図３では円筒形状であるが、視認可能であるならばバンドマークの形状は任意に変更可能である。

　バンドマーク３ａ（またはバンドマーク３ｂ）が取り付けられている電線を端子台１に接続する場合には、作業者は、電線識別情報が配線接続照合装置５の撮像部５１（ともに後述）から視認可能となるように電線を端子台１に対して接続する。

　この際、後述する配線接続照合装置５の認識データ作成部５３ｄが適切な補正処理を施すことができる範囲で、電線識別情報の一部が撮像部５１から見て隠れていてもよい。電線識別情報の補正処理に際しては、たとえば、人工知能（ａｒｔｉｆｉｃｉａｌ　ｉｎｔｅｌｌｉｇｅｎｃｅ、すなわち、ＡＩ）技術を活用して補正結果を学習させて、文字列の一部が隠れている電線識別情報を含めて、その識別精度を向上させることができる。

　なお、ＱＲコード、バーコードまたは文字列の組み合わせ、さらにはそれらに用いられる数は任意である。すなわち、電線識別情報としてＱＲコードのみ、バーコードのみ、または、文字列のみが印字されていてもよいし、電線識別情報として、ＱＲコード、バーコードおよび文字列のすべてが印字されていてもよい。また、複数のＱＲコード、複数のバーコードおよび複数の文字列が電線識別情報として混在して印字されていてもよい。

　＜配線接続照合装置の構成について＞
　図４は、本実施の形態に関する配線接続照合装置の構成の例を概念的に示す図である。図４に例が示されるように、配線接続照合装置５は、撮像部５１と、ディスプレイ５２と、制御部５３と、設計データ記憶部５４と、端子台型式情報記憶部５５と、認識データ記憶部５６と、照合結果記憶部５７と、学習済モデル記憶部５８とを備える。

　撮像部５１は、たとえば、カメラであり、配電盤筐体画像を撮像する。

　ディスプレイ５２は、画面上でタッチ操作を受け付ける機能または各種情報を表示する機能を有する。

　設計データ記憶部５４に記憶される設計データは、配電盤内に設置されているそれぞれの端子台１に対応して作成される。設計データは、配電盤内の少なくとも１つの端子台１の設置箇所および端子台１に対する電線２の接続箇所を示す配線接続図に基づいて作成される。

　図５は、設計データの例を示す図である。図５に例が示されるように、端子台１の設計データには、製造番号、図面番号、盤番号、端子台デバイス番号、端子台１の番号（端子台番号）、線番号（内線端子番号および外線端子番号）、端子台検査要否が含まれる。

　製造番号は、配電盤を搭載する製品の製造番号を示す番号である。図面番号は、製品の製造図面を示す番号である。盤番号は、配電盤を示す番号である。端子台デバイス番号は、配電盤内に配列されたそれぞれの端子台１に一意に付与された端子台１の位置情報を含む番号である。端子台番号は、端子台１を示す番号である。端子台検査要否とは、配線接続照合装置５において自動検査を行う場合に、検査する端子台１と検査を省略する端子台１とを区別するための情報である。

　設計データ取得部５３ａは、設計データを取得すると、当該設計データを設計データ記憶部５４にデータベース化して記憶する。

　制御部５３は、中央演算処理装置（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ、すなわち、ＣＰＵ）、リードオンリーメモリー（ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ、すなわち、ＲＯＭ）、ランダムアクセスメモリー（ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｍｅｍｏｒｙ、すなわち、ＲＡＭ）、入力部および出力部などを有するマイクロコンピュータを主体に構成される計算機であり、ソフトウェアの機能に応じて、設計データ取得部５３ａと、画像データ取得部５３ｂ１および推論部５３ｂ２を備える推論装置５３ｂと、画像データ加工部５３ｃと、認識データ作成部５３ｄと、データ照合部５３ｅと、照合結果出力部５３ｆとを備える。

　制御部５３には、作業者がディスプレイ５２を操作して製造番号、盤番号が入力される。制御部５３は、入力された製造番号、盤番号を記憶する。この場合、作業者が配線接続照合装置５を操作した日時が、操作記録として上記の情報に紐づけられて記憶されてもよい。

　制御部５３は、撮像部５１が配電盤筐体画像を撮像すると、その撮像された画像データを製造番号と盤番号とに対応付ける。

　学習済モデル記憶部５８は、端子台１の設置位置、回転角度、縦横寸法および型式情報を出力するよう学習された推論モデルを記憶する。設置位置は、推論された端子台１の画像原点からの座標情報である。回転角度は、推論された端子台１の基準軸からの回転角度である。縦横寸法は、検出された端子台１の縦方向および横方向の長さである。型式情報は、端子台１の型式を示す情報である。

　推論装置５３ｂは、画像データ取得部５３ｂ１と、推論部５３ｂ２とを備える。画像データ取得部５３ｂ１は、撮像部５１が撮像した配電盤筐体画像を取得する。推論部５３ｂ２は、画像データ取得部５３ｂ１が取得した画像データに対して、学習済モデル記憶部５８に記憶された学習済モデルを利用して得られる端子台１の設置位置、回転角度、縦横寸法および型式情報を推論する。そして、推論部５３ｂ２は、推論結果を、画像データ加工部５３ｃへ出力する。すなわち、この学習済モデルに画像データ取得部５３ｂ１で取得した配電盤筐体画像を入力とすることで、配電盤筐体画像から推論される端子台１の設置位置、回転角度、縦横寸法および型式情報を出力することができる。

　次に、図６を参照しつつ、推論装置５３ｂを使って端子台１の設置位置、回転角度、縦横寸法および型式情報を得るための処理について説明する。ここで、図６は、推論装置の処理の例を示すフローチャートである。

　まず、ステップＳＴ１において、画像データ取得部５３ｂ１が、撮像部５１が撮像した配電盤筐体画像を取得する。

　次に、ステップＳＴ２において、推論部５３ｂ２が、学習済モデル記憶部５８に記憶された配電盤筐体画像を学習済モデルへの入力とし、端子台１の設置位置、回転角度、縦横寸法および型式情報を得る。

　次に、ステップＳＴ３において、推論部５３ｂ２が、学習済モデルにより得られた端子台１の設置位置、回転角度、縦横寸法および型式情報を、配線接続照合装置５の画像データ加工部５３ｃに出力する。

　次に、推論装置５３ｂから出力された情報に基づいて、画像データ加工部５３ｃが、電線識別情報が含まれる部分画像領域を切り出す。図７は、画像データ加工部５３ｃでの処理の例を示すフローチャートである。

　まず、ステップＳＴ４において、画像データ加工部５３ｃは、推論装置５３ｂが出力した端子台１の型式情報から、端子台１の基準点に基づいてどの位置に識別情報が含まれる領域があるかを示す位置関係情報を端子台型式情報記憶部５５から取得する。

　次に、ステップＳＴ５において、画像データ加工部５３ｃが、端子台型式情報記憶部５５から取得した位置関係情報と推論装置５３ｂが出力した端子台１の設置位置、回転角度および縦横寸法とから、部分画像領域を特定する。すなわち、画像データ加工部５３ｃが、端子台１の設置位置、回転角度、縦横寸法および型式情報に基づいて、画像処理の範囲（部分画像領域に対応）を決定する。

　図８および図９は、部分画像領域の決定方法の例を示す図である。

　図８における寸法ｈおよび寸法ｗは、それぞれ端子台１の縦横寸法である。寸法ｈおよび寸法ｗは、推論装置５３ｂによって推論された端子台１に対応する領域１００の寸法であり、端子台１に接続されている複数の電線２を含まない領域である。また、図８における角度θは、基準軸（ｘ軸またはｙ軸）からの端子台１の回転角度である。図８では、ｙ軸を基準軸としている。また、図８における座標Ｏ１は、端子台１の基準点に対応する座標であり、ここでは、（０，０）とする。

　図９における倍率αｈおよび倍率αｗは、それぞれ図８における寸法ｈおよび寸法ｗの拡大倍率である。図９における座標Ｏ２は、部分画像領域１０２の基準点に対応する座標であり、ここでは（ｄｘ，ｄｙ）とする。ｄｘは、座標Ｏ１から座標Ｏ２へのｘ軸方向の移動量に相当する。同様に、ｄｙは、座標Ｏ１から座標Ｏ２へのｙ軸方向の移動量に相当する。倍率αｈ、倍率αｗ、ｄｘおよびｄｙは、端子台１の型式ごとに端子台型式情報記憶部５５に保存されており、位置関係情報に該当する。

　まず、図７のステップＳＴ４に示されたように、画像データ加工部５３ｃが、推論装置５３ｂから出力される型式情報に基づいて、端子台型式情報記憶部５５から型式に対応する倍率αｈ、倍率αｗ、ｄｘおよびｄｙを取得する。

　次に、画像データ加工部５３ｃが、推論装置５３ｂから出力される角度θを用いて適切な補正を実施し、座標Ｏ１からｘ軸方向にｄｘ、ｙ軸方向にｄｙだけそれぞれ移動させることで、部分画像領域１０２の基準点である座標Ｏ２を決定する。

　その後、画像データ加工部５３ｃが、推論装置５３ｂから出力された寸法ｈに倍率αｈを、寸法ｗに倍率αｗをそれぞれ掛け合わせることで、部分画像領域１０２の大きさを決定する。

　次に、ステップＳＴ６において、画像データ加工部５３ｃは、ステップＳＴ５で特定された部分画像領域１０２を部分画像データ（画像データ）として抽出する。

　そして、認識データ作成部５３ｄが、推論部５３ｂ２から出力された情報と、画像データ加工部５３ｃで抽出された部分画像データ（画像データ）を画像解析した情報とに基づいて、設計データと照合可能な形式である認識データを作成する。すなわち、認識データ作成部５３ｄは、その撮像された画像データに端子台デバイス番号および端子台番号を導き出すための端子台１の位置情報（端子台位置情報）、または、線番号を導き出すための電線識別情報が含まれていれば、画像データを画像解析することで、端子台デバイス番号、端子台番号、線番号を含む認識データを作成する。

　認識データ作成部５３ｄは、認識データを作成すると、当該認識データを認識データ記憶部５６にデータベース化して記憶する。この際、電線識別情報が文字列であるならば、たとえば、文字認識推論装置を用いて文字列を認識してもよい。

　データ照合部５３ｅは、作業者がディスプレイ５２を操作することにより照合指示信号が制御部５３に送信されると、画像データと対応づけられている製造番号および盤番号に対応する設計データを設計データ記憶部５４から読み出し、また、認識データを認識データ記憶部５６から読み出す。そして、データ照合部５３ｅは、設計データと認識データとを照合する。すなわち、データ照合部５３ｅは、端子台デバイス番号、端子台番号および線番号を含む設計データと認識データとを照合する。なお、データ照合部５３ｅにおける照合では、端子台１の位置情報、端子台１の番号および線番号のうち少なくともいずれか１つを照合対象として、設計データと認識データとを照合するものとする。

　この場合、電線２が端子台１に対して正しく接続されていれば、設計データと認識データが一致することになる。一方、電線２が端子台１に対して正しく接続されていなければ、設計データと認識データとが一致しないことになる。すなわち、データ照合部５３ｅは、設計データと認識データとを照合し、電線２の接続状態が正常であるか否かを判定する。

　照合結果出力部５３ｆは、データ照合部５３ｅの照合結果を照合結果記憶部５７にデータベース化して記憶するとともに、照合結果を、たとえば、ディスプレイ５２に表示する。

　図１０は、照合結果の例を示す図である。制御部５３は、設計データと認識データとが一致し、照合結果が正であれば、図１０に例が示されるように、作業者がディスプレイ５２を操作して入力した製造番号および盤番号とともに、照合結果が正であることを示すたとえば「合格」の文字を、ディスプレイ５２に表示させる。

　一方で、設計データと認識データとが一致せず、照合結果が否であれば、制御部５３は、図１１に例が示されるように、作業者がディスプレイ５２を操作して入力した製造番号および盤番号とともに、照合結果が否であることを示すたとえば「不合格」の文字および不一致箇所を、ディスプレイ５２に表示させる。なお、図１１は、照合結果の例を示す図である。

　図１２は、不一致箇所の例を示す図である。たとえば、端子台１において線番号「１５Ａ」に接続すべき電線２と線番号「１６Ａ」に接続すべき電線２とが誤って入れ違えて接続されていれば、該当する設計データと認識データとが一致しない。そのような場合に、制御部５３は、図１２に例が示されるように、線番号「１５Ａ」に接続すべき電線２と線番号「１６Ａ」に接続すべき電線２とが誤っていることを示す情報（それらの電線２の、端子台デバイス番号と、端子台番号と、線番号の設計データおよび認識データとを含む）を、ディスプレイ５２に表示させる。このとき、画像データから不一致箇所に該当する領域を表示させるなどして、作業者が誤りを把握し易くしてもよい。

　なお、照合するタイミングは、認識データとそれに対応する設計データとがそろった時点でもよいし、認識データとそれに対応する設計データとがそろった後に作業者が指示したタイミングでもよい。

　本実施の形態に関する推論装置５３ｂを備える配線接続照合装置５によれば、配電盤筐体画像内の端子台１の設置位置、回転角度、縦横寸法および型式情報を推論することができる。そして、画像データ加工部５３ｃが、推論結果に基づいて最適な電線識別情報が含まれる部分画像領域１０２を決定する。

　部分画像領域１０２に対応する画像データのみを画像処理するため、画像データの処理負荷を軽減させることができる。したがって、配電盤の端子台１に電線２を配線接続する作業者が配線接続照合装置５を使用しながら配線作業を進めるなかで、従来の方法では処理できなかったような大規模な配電盤の配線接続を照合する場合でも、本実施の形態によれば、通常使用される事務用パーソナルコンピュータ、市販の画像処理ユニットおよびソフトウェアを組み合わせて利用することで、配線接続を照合するためのシステムを構築することができる。

　さらに、作業者がディスプレイ５２を操作して入力すると同時に操作日時が記録されている場合には、照合結果をデータベース化して記憶しているので、製造番号をキーにして検査結果または検査日時などの製造履歴情報を後で検索および閲覧することができる。

　なお、本実施の形態に関する推論装置５３ｂは、学習済モデルを推論装置５３ｂの外部に設けられた学習済モデル記憶部５８に記憶するものとされたが、学習済モデル記憶部５８を推論装置５３ｂの内部に備えていてもよい。

　また、本実施の形態に関する配線接続照合装置５において、推論装置５３ｂが端子台１の設置位置、回転角度、縦横寸法および型式情報を推論した後、推論された端子台１をディスプレイ５２に表示して、作業者が、検査しない端子台１を選択するようにしてもよい。これによって、再検査の際に、合格済みの端子台１を除外して以後の処理を続けることができるため、照合時間を短縮することができる。

　さらに、照合時に設計データの端子台検査要否をデータ照合部５３ｅが読み込むことで、照合が不要である箇所を事前に照合の対象から除外してもよい。これによって、たとえば、撮影画角から電線２が死角になっていて検査困難な電線２について、あらかじめ照合不要に設定することができるため、照合時間を短縮することができる。

　また、本実施の形態に関する推論装置５３ｂにおいて、撮像する配電盤内の電線２の接続箇所が１００を超える規模である場合に、推論装置５３ｂの推論部５３ｂ２を稼働させるために、処理性能が９０ギガフロップス程度の演算処理速度を実現可能な中央演算処理装置を用いることができる。その場合、本実施の形態に関する推論装置５３ｂを構成するハードウェアとしては、高い演算処理速度を実現可能な専用の中央演算処理装置を必要とせず、広く普及している市販のパーソナルコンピュータを用いて、本実施の形態による推論装置５３ｂを構成することができる。

　さらに、本実施の形態に関する推論装置５３ｂの推論部５３ｂ２において、端子台１の設置位置、回転角度、縦横寸法および型式情報を出力する代わりとして、端子台１の設置位置、回転角度、縦横寸法および型式情報から派生する電線識別情報を含む部分画像領域１０２を出力してもよい。すなわち、配電盤画像から、端子台１の設置位置、回転角度、縦横寸法および型式情報を経由せずに、直接部分画像領域１０２を出力してもよい。

　そうすれば、学習済モデル記憶部５８から得られる学習済モデルは、撮像部５１が撮像する配電盤筐体画像から電線識別情報が含まれる部分画像領域１０２を推論して出力する推論装置として機能する。そして、当該学習済モデルによれば、端子台１の設置位置、回転角度、縦横寸法および型式情報を参照して解析的な計算式に基づいて算出された部分画像領域１０２ではなく、教師あり学習を経てニューラルネットワークによって重みづけられ最適化された部分画像領域１０２を出力することが可能になる。

　＜第２の実施の形態＞
　本実施の形態に関する学習装置について説明する。なお、以下の説明においては、以上に記載された実施の形態で説明された構成要素と同様の構成要素については同じ符号を付して図示し、その詳細な説明については適宜省略するものとする。

　＜学習装置の構成について＞
　図１３は、配線接続照合装置５における学習済モデル記憶部５８に学習済モデルを提供するための学習装置６の構成の例を示す図である。図１３に例が示されるように、学習装置６は、データ取得部６１と、学習済モデル記憶部５８と接続されるモデル生成部６２とを備える。

　データ取得部６１は、配電盤筐体画像および端子台ラベル（正解）を、学習用データとして取得する。ここで、端子台ラベル（正解）は、端子台１の正しい設置位置、正しい回転角度、正しい縦横寸法および正しい型式情報を示す情報である。

　モデル生成部６２は、データ取得部６１から出力される配電盤筐体画像および端子台ラベル（正解）の組み合わせに基づいて作成される学習用データに基づいて、検出すべき端子台１の設置位置、回転角度、縦横寸法および型式情報を学習する。すなわち、配線接続照合装置５の配電盤筐体画像、端子台ラベル（正解）から最適な検出すべき端子台１の設置位置、回転角度、縦横寸法および型式情報を推論する学習済モデルを生成する。ここで、学習用データは、配電盤筐体画像および端子台ラベル（正解）が互いに関連付けられたデータである。

　なお、学習装置６および推論装置５３ｂは、配線接続照合装置５の検出すべき端子台１の設置位置、回転角度、縦横寸法および型式情報を学習するために使用されるが、たとえば、ネットワークを介して配線接続照合装置５に接続され、この配線接続照合装置５とは別個の装置であってもよい。また、学習装置６および推論装置５３ｂは、配線接続照合装置５に内蔵されていてもよい。さらに、学習装置６および推論装置５３ｂは、クラウドサーバー上に存在していてもよい。

　モデル生成部６２が用いる学習アルゴリズムは、たとえば、教師あり学習の公知のアルゴリズムを用いることができる。一例として、ニューラルネットワークを適用する場合について説明する。

　モデル生成部６２は、たとえば、ニューラルネットワークモデルにしたがって、いわゆる教師あり学習によって、検出すべき端子台１の設置位置、回転角度、縦横寸法および型式情報を学習する。ここで、教師あり学習とは、入力と結果（ラベル）とのデータの組を学習装置６に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。

　ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層（隠れ層）、および、複数のニューロンからなる出力層で構成される。中間層は、１層でもよいし、２層以上でもよい。

　図１４は、３層のニューラルネットワークの例を示す図である。たとえば、図１４に例が示されるような３層のニューラルネットワークであれば、複数の入力が入力層（Ｘ１、Ｘ２およびＸ３）に入力されると、その値に重みＷ１（Ｗ１１、Ｗ１２、Ｗ１３、Ｗ１４、Ｗ１５およびＷ１６）を掛けて中間層（Ｙ１およびＹ２）に入力され、その結果に、さらに重みＷ２（Ｗ２１、Ｗ２２、Ｗ２３、Ｗ２４、Ｗ２５およびＷ２６）を掛けて出力層（Ｚ１、Ｚ２およびＺ３）から出力される。この出力結果は、重みＷ１とＷ２の値によって変わる。

　本実施の形態において、ニューラルネットワークは、データ取得部６１によって取得される配電盤筐体画像および端子台ラベル（正解）の組み合わせに基づいて作成される学習用データにしたがって、いわゆる教師あり学習によって、検出すべき端子台１の設置位置、回転角度、縦横寸法および型式情報を学習する。

　すなわち、ニューラルネットワークは、入力層に配電盤筐体画像を入力して出力層から出力された結果が、端子台ラベル（正解）に近づくように重みＷ１とＷ２を調整することで学習する。

　モデル生成部６２は、以上のような学習を実行することで学習済モデルを生成し、出力する。

　学習済モデル記憶部５８は、モデル生成部６２から出力された学習済モデルを記憶する。

　次に、図１５を参照しつつ、学習装置６が学習する処理について説明する。ここで、図１５は、学習装置６の学習処理に関するフローチャートである。

　まず、ステップＳＴ７において、データ取得部６１は、配電盤筐体画像および端子台ラベル（正解）を取得する。なお、図１５では、配電盤筐体画像および端子台ラベル（正解）が同時に取得されているが、配電盤筐体画像および端子台ラベル（正解）を関連づけて入力することができればよく、配電盤筐体画像および端子台ラベル（正解）のデータがそれぞれ別のタイミングで取得されてもよい。

　次に、ステップＳＴ８において、モデル生成部６２は、データ取得部６１によって取得される配電盤筐体画像および端子台ラベル（正解）の組み合わせに基づいて作成される学習用データにしたがって、いわゆる教師あり学習によって、検出すべき端子台１の設置位置、回転角度、縦横寸法および型式情報を学習し、学習済モデルを生成する。

　次に、ステップＳＴ９において、学習済モデル記憶部５８は、モデル生成部６２が生成した学習済モデルを記憶する。

　本実施の形態に関する機械学習を行う装置である学習装置６によれば、配電盤筐体画像と、配電盤を構成する端子台１の設置位置、回転角度、縦横寸法および型式情報とを自律的に学習する。そして当該学習結果に基づいて、画像データ加工部５３ｃが最適な電線識別情報が含まれる部分画像領域１０２を決定し、部分画像領域１０２のみを画像処理することができるため、画像データの処理負荷を軽減することができる。

　したがって、従来の方法では処理できなかったような大規模な配電盤の配線接続を照合する場合でも、本実施の形態によれば、通常使用される事務用パーソナルコンピュータ、市販の画像処理ユニットおよびソフトウェアを組み合わせて、配線接続を照合することができる。

　また、電線識別情報が英数字および記号から成る文字列であり、当該文字列から電線識別情報を読み取る際に、画像処理を用いてもよい。その場合、本実施の形態に関する学習装置６を構成するハードウェアの構成要素である、パーソナルコンピュータまたは画像処理ユニットおよび市販のソフトウェアの機能を、電線識別情報を読み取る機能として流用することができ、追加のハードウェアを構築するためのコストを節約することができる。

　また、電線識別情報が英数字および記号から成る文字列である配線識別照合装置において、画像処理に用いられる画像処理ユニットに実装される記憶装置の容量はたとえば８ギガバイト程度でよい。その理由は、電線識別情報を認識する際に配電盤筐体画像の全画像データを処理するのではなく、電線識別情報を含む最適な部分画像領域１０２のみを処理するからである。そのために、大容量の記憶装置を備える専用の画像処理ユニットを必要とせず、広く普及している市販の画像処理ユニットなどを用いて、本実施の形態による学習装置６を構成することができる。

　さらに、本実施の形態に関する学習装置６において、端子台ラベル（正解）の代わりとして、端子台１の設置位置、回転角度、縦横寸法および型式情報から派生する電線識別情報を含む部分画像領域ラベル（正解）を用いてもよい。すなわち、配電盤画像から、端子台１の設置位置、回転角度、縦横寸法および型式情報を経由せずに、直接部分画像領域１０２を出力してもよい。

　そうすれば、モデル生成部６２から出力された学習済モデルは、配電盤筐体画像から電線識別情報が含まれる部分画像領域１０２を推論して出力する推論装置５３ｂを構成するものとなる。そして、当該学習済モデルによれば、端子台１の設置位置、回転角度、縦横寸法および型式情報を参照して解析的な計算式に基づいて算出された部分画像領域１０２ではなく、教師あり学習を経てニューラルネットワークによって重みづけられ最適化された部分画像領域１０２を出力することが可能になる。

　＜第３の実施の形態＞
　本実施の形態に関する配線接続照合システムについて説明する。なお、以下の説明においては、以上に記載された実施の形態で説明された構成要素と同様の構成要素については同じ符号を付して図示し、その詳細な説明については適宜省略するものとする。

　＜配線接続照合システムの構成について＞
　図１６は、本実施の形態に関する配線接続照合システムの構成の例を概念的に示す図である。図１６に例が示されるように、配線接続照合システムでは、作業者が携帯する携帯端末７と、サーバー８とが、データ通信可能に構成されている。また、配線接続照合システムでは、配電盤の端子台１に対する電線２の接続方法を示す配線接続図に基づく設計データを構築する際に利用する設計支援システム９（ＣＡＤ）と、サーバー８とが、データ通信可能に構成されている。

　さらに、遠隔からデータ入力または結果の監視をするためのＰＣ端末があり、ＰＣ端末と、サーバー８とがデータ通信可能に構成されていてもよい。その場合、携帯端末７、設計支援システム９、ＰＣ端末およびサーバー８は、たとえば、無線ＬＡＮまたはＢｌｕｅｔｏｏｔｈ（登録商標）の無線接続によってデータ通信を行う。なお、携帯端末７、設計支援システム９、ＰＣ端末およびサーバー８は、インターネットまたはバーチャルプライベートネットワーク（ＶＰＮ）などを含む公衆通信回線を介する無線接続によってデータ通信を行ってもよいし、無線接続に限らず、接続ケーブルを介する有線接続によってデータ通信を行ってもよい。

　携帯端末７は、作業者が操作する端末であり、たとえば、スマートホンまたはタブレットなどによって構成される。携帯端末７は、携帯端末７の動作全般を制御する制御部７１と、サーバー８とのデータ通信を制御するデータ通信部７２と、画面上でタッチ操作などを受け付ける機能または各種情報を表示する機能を有するタッチパネル式のディスプレイ７３と、たとえば、ＣＭＯＳセンサーまたはＣＣＤセンサーなどの撮像素子を含むデジタルカメラ７４と、電話する際の送話音声を入力するマイクロホン７５と、電話する際の受話音声を出力するスピーカ７６とを備える。デジタルカメラ７４は撮像部に相当する。

　制御部７１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどを有するマイクロコンピュータを主体に構成されており、記憶しているプログラムを実行して携帯端末７の動作を制御する。制御部７１は、作業者がディスプレイ７３を操作して製造番号および盤番号を入力すると、入力された製造番号および盤番号を記憶する。その際、作業者が携帯端末７を操作した日時が操作記録として紐づけられた情報が記憶されてもよい。制御部７１は、電線２が端子台１に対して接続された状態で当該電線２に取り付けられているバンドマーク３をデジタルカメラ７４によって撮像すると、撮像された画像データを製造番号および盤番号と対応付けて作成し、作成した画像データを含む画像データ信号をデータ通信部７２からサーバー８に送信させる。また、制御部７１は、作業者がディスプレイ７３を操作してデータ照合を指示すると、照合指示信号をデータ通信部７２からサーバー８に送信させる。

　サーバー８は、サーバー８の動作全般を制御する制御部８１と、携帯端末７、設計支援システム９およびＰＣ端末とのデータ通信を制御するデータ通信部８２と、設計データ記憶部８３と、端子台型式情報記憶部８４と、認識データ記憶部８５と、照合結果記憶部８６と、学習済モデル記憶部８７とを備える。

　制御部８１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどを有するマイクロコンピュータを主体に構成されており、ソフトウェアの機能に応じて、設計データ取得部８１ａと、画像データ取得部８１ｂ１および推論部８１ｂ２から成る推論装置８１ｂと、画像データ加工部８１ｃと、認識データ作成部８１ｄと、データ照合部８１ｅと、照合結果出力部８１ｆとを備える。

　また、当該配線接続照合システムに自立した学習済モデルを作成するためのＡＩ学習機能を持たせる場合には、データ取得部８１ｇ１およびモデル生成部８１ｇ２から成る学習装置８１ｇを備えていてもよい。

　モデル生成部８１ｇ２は、学習装置８１ｇ内にあるデータ取得部８１ｇ１から出力される配電盤筐体画像および端子台ラベル（正解）の組み合わせによって作成される学習用データに基づいて、検出すべき端子台１の設置位置、回転角度、縦横寸法および型式情報を学習する。すなわち、配線接続照合システムにおいて、配電盤筐体画像および端子台ラベル（正解）から最適な検出すべき端子台１の設置位置、回転角度、縦横寸法および型式情報を推論する学習済モデルを生成する。ここで、学習用データは、配電盤筐体画像および端子台ラベル（正解）が互いに関連付けられたデータである。

　なお、学習装置８１ｇおよび推論装置８１ｂは、配線接続照合システムにおいて、検出すべき端子台１の設置位置、回転角度、縦横寸法および型式情報を学習するために使用されるが、たとえば、ネットワークを介して配線接続照合システムに接続され、この配線接続照合システムとは別個の装置であってもよい。また、学習装置８１ｇおよび推論装置８１ｂは、配線接続照合システムに内蔵されていてもよい。さらに、学習装置８１ｇおよび推論装置８１ｂは、クラウドサーバー上に存在していてもよい。

　設計データ取得部８１ａは、配電盤の端子台１に対する電線２の接続を示す配線接続図に基づく設計データを取得する。すなわち、たとえば、設計支援システム９（ＣＡＤ）によって配線接続の設計が行われると、上記の配線接続図から設計データが作成され、その作成された設計データを含む設計データ信号が設計支援システム９に備えられているデータ通信部９１から送信されるので、設計データ取得部８１ａは、設計支援システム９から送信された設計データ信号を受信することで設計データを取得する。配線接続図には、製造番号、図面番号、盤番号、端子台デバイス番号、端子台検査要否、端子台番号、および、線番号の情報が含まれているので、配線接続図から作成される設計データにも当該情報が含まれている。

　設計データは、配電盤内に設置されているそれぞれの端子台１について作成され、製造番号、図面番号、盤番号、端子台デバイス番号、端子台番号、線番号、および、端子台検査要否が含まれる。製造番号は、配電盤を搭載する製品の製造番号を示す番号である。図面番号は、製品の製造図面を示す番号である。盤番号は、配電盤を示す番号である。端子台デバイス番号は、配電盤内に配列されたそれぞれの端子台１に一意に付与された端子台１の位置情報を含む番号である。端子台番号は、端子台１を示す番号である。線番号は、電線２を識別するためにバンドマーク３などで付与された電線２に固有の番号である。端子台検査要否とは、当該システムにおいて自動検査する場合に、検査すべき端子台１と検査を省略する端子台１を区別するための情報である。設計データ取得部８１ａは、設計データを取得すると、その取得した設計データを設計データ記憶部８３にデータベース化して記憶する。

　画像データ取得部８１ｂ１は、携帯端末７から送信された画像データ信号がデータ通信部８２によって受信されると、その受信された画像データ信号から画像データを抽出して取得し、その取得した画像データを推論装置８１ｂ内にある推論部８１ｂ２に入力する。

　推論部８１ｂ２は、学習済モデルを利用して得られる配電盤筐体内に配列されている端子台１の設置位置、回転角度、縦横寸法および型式情報を推論する。すなわち、この学習済モデルにデータ取得部８１ｇ１で取得した配電盤筐体内を撮像した画像データを入力することで、配電盤筐体内を撮像した画像データから推論される端子台１の設置位置、回転角度、縦横寸法および型式情報を出力することができる。

　なお、本実施の形態では、配線接続照合システムのモデル生成部８１ｇ２で学習した学習済モデルを用いて端子台１の設置位置、回転角度、縦横寸法および型式情報を出力するものとして説明されたが、他の配線接続照合システムなどの外部から学習済モデルを取得し、この学習済モデルに基づいて端子台１の設置位置、回転角度、縦横寸法および型式情報を出力するようにしてもよい。

　推論部８１ｂ２から出力された、端子台１の設置位置、回転角度、縦横寸法および型式情報に基づいて、画像データ加工部８１ｃでは、最適な電線識別情報が含まれる部分画像領域１０２を決定する。この部分画像領域１０２は、端子台１の型式情報が定まれば、端子台１の位置から相対的に一定の位置関係にあることが定まっているため、推論部８１ｂ２から出力された、端子台１の設置位置、回転角度、縦横寸法および型式情報と、端子台型式情報記憶部８４に格納されている端子台１の型式による位置関係情報とに基づいて解析的に画像データを加工することによって、電線識別情報の読み取りに資するために部分画像領域１０２内にある部分画像データ（画像データ）を抽出することができる。

　認識データ作成部８１ｄは、推論部８１ｂ２から出力された情報と、画像データ加工部８１ｃで抽出された部分画像データ（画像データ）を画像解析した情報とに基づいて、設計データと照合可能な形式で認識データを作成する。すなわち、認識データ作成部８１ｄは、その撮像された画像データに、端子台デバイス番号、端子台番号を導き出すための端子台位置情報、または、線番号を導き出すための電線識別情報が含まれていれば、画像データを画像解析することで、端子台デバイス番号、端子台番号、線番号を含む認識データを作成する。認識データ作成部８１ｄは、認識データを作成すると、その作成した認識データを認識データ記憶部８５にデータベース化して記憶する。

　データ照合部８１ｅは、携帯端末７から送信された照合指示信号がデータ通信部８２によって受信されると、画像データと対応づけられている製造番号、盤番号に対応する設計データを設計データ記憶部８３から読み出し、認識データを認識データ記憶部８５から読み出し、それら読み出した設計データと認識データとを照合する。すなわち、データ照合部８１ｅは、端子台デバイス番号、端子台番号、線番号を含む設計データと認識データとを照合する。

　この場合、電線２が端子台１に対して正しく接続されていれば、設計データと認識データが一致することになる。一方、電線２が端子台１に対して正しく接続されていなければ、設計データと認識データとが一致しないことになる。照合結果出力部８１ｆは、データ照合部８１ｅの照合結果を照合結果記憶部８６にデータベース化して記憶するとともに、その照合結果を含む照合結果信号をデータ通信部８２から携帯端末７に送信させる。携帯端末７において、制御部８１は、サーバー８から送信された照合結果信号がデータ通信部７２によって受信されると、その受信された照合結果信号から照合結果を抽出して取得し、その取得した照合結果をディスプレイ７３に表示させる。

　本実施の形態に関する学習装置８１ｇおよび推論装置８１ｂを備えた配線接続照合システムによれば、配電盤筐体画像と、配電盤を構成する端子台１の設置位置、回転角度、縦横寸法および型式情報とを自律的に学習する。そして、学習結果に基づいて、画像データ加工部８１ｃが最適な電線識別情報が含まれる部分画像領域１０２を決定し、部分画像データ（画像データ）のみを画像処理するため、画像データの処理負荷を軽減することができる。したがって、配線接続図を設計する際に設計支援システム９を利用するような環境を有し、配電盤の端子台１に電線２を配線接続する作業者が携帯端末７を使用しながら配線作業を進めるなかで、従来の方法では処理できなかったような大規模な配電盤の配線接続を照合する場合でも、本実施の形態によれば、通常使用される事務用パーソナルコンピュータ、市販の画像処理ユニットおよびソフトウェアを組み合わせてサーバー８として利用することで、配線接続を照合するためのシステムを構築することが可能になる。さらに、作業者がディスプレイ７３を操作して入力する際に同時に操作日時が記録されている場合には、照合結果をデータベース化して記憶しているので、製造番号をキーにして検査結果または検査日時などの製造履歴情報を後から検索および閲覧することができる。

　上記では、照合結果が携帯端末７に表示される構成が説明されたが、照合結果が、たとえば、管理室などに設置されているネットワークで接続されたＰＣ端末などの別の端末に表示される構成であってもよい。また、照合結果が携帯端末７または別の複数の端末に同時に表示される構成であってもよい。また、照合結果が否であるときに、不一致箇所が携帯端末７のディスプレイ７３に表示されるとともに、アラーム音が出力される構成であってもよい。また、不一致の程度に応じて、表示様態またはアラーム音の出力様態が変わってもよい。

　また、上記では、携帯端末７に内蔵されているデジタルカメラ７４を用いる構成が説明されたが、デジタルカメラ７４を用い、デジタルカメラ７４によって撮像された画像データがサーバー８内にある推論装置８１ｂの画像データ取得部８１ｂ１によって抽出され、推論装置８１ｂ内にある推論部８１ｂ２に入力される構成でもよい。その場合、作業者が、たとえば、ネットワークで接続されたＰＣ端末を操作して製造番号、盤番号を入力する必要があり、デジタルカメラ７４によって撮像された画像データと、たとえば作業者が、ネットワークで接続されたＰＣ端末から入力した製造番号および盤番号とを対応付ければよい。

　なお、本実施の形態に関する配線接続照合システムにおいて、推論装置８１ｂが端子台１の設置位置、回転角度、縦横寸法および型式情報を推論した後、推論された端子台１を携帯端末７のディスプレイ７３に表示して、作業者が検査しない端子台１を選択する機能を備えていてもよい。これによって、再検査の際に合格済みの端子台１を除外して以後の処理を続けることができるため、照合時間を短縮することができる。

　さらに、照合時に設計データの端子台検査要否をデータ照合部８１ｅが読み込むことで、事前に照合不要箇所を照合から除外してもよい。これによって、たとえば、撮影画角から電線２が死角になっていて検査困難な電線２について照合不要に設定することで、照合時間を短縮することができる。

　上記の実施の形態は一例として提示されたものである。また、上記の実施の形態は、その他の様々な形態で実施されることが可能であり、本技術の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記の実施の形態またはその変形は、本技術の範囲または要旨に含まれるとともに、その均等の範囲に含まれる。

　＜以上に記載された複数の実施の形態によって生じる効果について＞
　次に、以上に記載された複数の実施の形態によって生じる効果の例を示す。なお、以下の説明においては、以上に記載された複数の実施の形態に例が示された具体的な構成に基づいて当該効果が記載されるが、同様の効果が生じる範囲で、本願明細書に例が示される他の具体的な構成と置き換えられてもよい。すなわち、以下では便宜上、対応づけられる具体的な構成のうちのいずれか１つのみが代表して記載される場合があるが、代表して記載された具体的な構成が対応づけられる他の具体的な構成に置き換えられてもよい。

　また、当該置き換えは、複数の実施の形態に跨ってなされてもよい。すなわち、異なる実施の形態において例が示されたそれぞれの構成が組み合わされて、同様の効果が生じる場合であってもよい。

　以上に記載された実施の形態によれば、推論装置は、配電盤内の端子台１に接続された電線２に付与された電線識別情報を画像データから読み取る際に、電線２が接続された端子台１の設置位置、回転角度、縦横寸法および型式情報に基づいて、電線識別情報が含まれる部分画像領域１０２を抽出するために、端子台１の設置位置、回転角度、縦横寸法および型式情報を推論する。推論装置は、配線接続照合装置に備えられる。配線接続照合装置は、配電盤内の少なくとも１つの端子台１の設置箇所および端子台１に対する電線２の接続箇所を示す配線接続図に基づく設計データと、配電盤内を撮像した画像データとを照合し、電線２の接続状態を照合する。推論装置は、撮像された画像データを取得する画像データ取得部５３ｂ１（または、画像データ取得部８１ｂ１）と、推論部５３ｂ２（または、推論部８１ｂ２）とを備える。推論部５３ｂ２は、画像データ取得部５３ｂ１において取得された画像データから端子台１の設置位置、回転角度、縦横寸法および型式情報を推論するための第１の学習済モデルを用いて、画像データから端子台１の設置位置、回転角度、縦横寸法および型式情報を推論して出力する。

　このような構成によれば、学習済モデルを用いて推論された端子台の設置位置、回転角度、縦横寸法および型式情報に基づいて、電線識別情報を含む部分画像領域１０２を抽出することができるので、画像データから電線識別情報を効率的に読み取ることができる。よって、電線識別情報を読み取るための画像データの処理負荷を軽減させ、処理時間が長くなることを抑制しつつ、効果的に電線の接続状態を照合することができる。

　なお、上記の構成に本願明細書に例が示された他の構成を適宜追加した場合、すなわち、上記の構成としては言及されなかった本願明細書中の他の構成が適宜追加された場合であっても、同様の効果を生じさせることができる。

　また、以上に記載された実施の形態によれば、電線識別情報が英数字および記号から成る文字列である。また、文字列を画像データから読み取る際に画像処理が用いられる。そして、推論部５３ｂ２（または、推論部８１ｂ２）が、画像処理の範囲を決定する際に用いられる、端子台１の設置位置、回転角度、縦横寸法および型式情報を推論して出力する。このような構成によれば、電線識別情報が文字列であることで、電線の識別に関する情報を作業者が目視確認することができる。

　また、以上に記載された実施の形態によれば、配電盤内の電線２の接続箇所の数が１００を超える場合に、推論部５３ｂ２（または、推論部８１ｂ２）が、処理性能が９０ギガフロップス以下の演算処理速度を有する中央演算処理装置を付帯する電子計算機で構成される。このような構成によれば、高い演算処理速度を実現可能な専用の中央演算処理装置を必要とせず、広く普及している市販のパーソナルコンピュータを用いて、配電盤の配線接続確認を合理的な作業時間で終わらせることができる。

　また、以上に記載された実施の形態によれば、推論部５３ｂ２（または、推論部８１ｂ２）が、画像データから電線識別情報が含まれる部分画像領域１０２を推論するための第２の学習済モデルを用いて、画像データから電線識別情報が含まれる部分画像領域１０２を推論して出力する。このような構成によれば、第２の学習済モデルで、端子台１の設置位置、回転角度、縦横寸法および型式情報を参照して解析的な計算式に基づいて算出された部分画像領域１０２ではなく、教師あり学習を経てニューラルネットワークによって重みづけられ最適化された部分画像領域１０２を推論して出力することができる。

　また、以上に記載された実施の形態によれば、配線接続照合装置は、上記の推論装置と、画像データ加工部５３ｃ（または、画像データ加工部８１ｃ）と、認識データ作成部５３ｄ（または、認識データ作成部８１ｄ）と、設計データ取得部５３ａ（または、設計データ取得部８１ａ）と、データ照合部５３ｅ（または、データ照合部８１ｅ）と、照合結果出力部５３ｆ（または、照合結果出力部８１ｆ）とを備える。画像データ加工部５３ｃは、推論部５３ｂ２の出力結果に基づいて画像データ取得部５３ｂ１において取得された画像データから電線識別情報が含まれる部分画像領域１０２を抽出する。認識データ作成部５３ｄは、部分画像領域１０２内の画像データから設計データと照合可能な形式である認識データを作成する。設計データ取得部５３ａは、設計データを取得する。データ照合部５３ｅは、設計データと認識データとを照合し、電線２の接続状態が正常であるか否かを判定する。照合結果出力部５３ｆは、データ照合部５３ｅの照合結果を出力する。

　このような構成によれば、推論された端子台の設置位置、回転角度、縦横寸法および型式情報に基づいて、電線識別情報を含む部分画像領域１０２を抽出することができるので、画像データから電線識別情報を効率的に読み取ることができる。また、部分画像領域１０２における画像データから認識データを作成して設計データと照合することによって、電線の接続状態を自動的に判定することができる。

　また、以上に記載された実施の形態によれば、配電盤内に、端子台１が複数設けられる。そして、データ照合部５３ｅ（または、データ照合部８１ｅ）が、それぞれの端子台１について、部分画像領域１０２を抽出するか否かを選択する。このような構成によれば、照合不要である端子台１を照合対象から除外することによって、照合時間を短縮することができる。

　また、以上に記載された実施の形態によれば、設計データには、少なくとも端子台１の位置情報、端子台１の番号および線番号が含まれる。そして、データ照合部５３ｅ（または、データ照合部８１ｅ）は、端子台１の位置情報、端子台１の番号および線番号のうち少なくともいずれか１つを照合対象として、設計データと認識データとを照合する。このような構成によれば、部分画像領域１０２における画像データから認識データを作成して、認識データと設計データとを、端子台の位置情報、端子台の番号および線番号のうち少なくともいずれか１つを照合対象として照合することによって、電線の接続状態を自動的に判定することができる。

　また、以上に記載された実施の形態によれば、学習装置は、配電盤内の端子台１の設置箇所および端子台１に対する電線２の接続箇所を示す配線接続図に基づく設計データと、配電盤内を撮像した画像データとを照合するための、電線２が接続された端子台１の設置位置、回転角度、縦横寸法および型式情報を学習する。学習装置は、データ取得部８１ｇ１と、モデル生成部８１ｇ２とを備える。データ取得部８１ｇ１は、画像データと、端子台１の設置位置、回転角度、縦横寸法および型式情報とを含む第１の学習用データを取得する。モデル生成部８１ｇ２は、第１の学習用データを用いて、画像データから端子台１の設置位置、回転角度、縦横寸法および型式情報を推論するための第１の学習済モデルを生成する。

　このような構成によれば、上記の学習済モデルを用いて端子台の設置位置、回転角度、縦横寸法および型式情報を推論し、端子台の設置位置、回転角度、縦横寸法および型式情報に基づいて電線識別情報を含む部分画像領域１０２を抽出することができる。よって、画像データの処理負荷を軽減しつつ、画像データから電線識別情報を効率的に読み取ることができる。

　また、以上に記載された実施の形態によれば、配電盤内の端子台１に接続された電線２に付与された電線識別情報が英数字および記号から成る文字列である。また、文字列を画像データから読み取る際に画像処理が用いられる。そして、モデル生成部８１ｇ２が、画像処理の範囲を決定する際に用いられる、端子台１の設置位置、回転角度、縦横寸法および型式情報を推論するための第１の学習済モデルを生成する。このような構成によれば、電線識別情報が文字列であることで、電線の識別に関する情報を作業者が目視確認することができる。また、学習装置の学習のための画像認識機能を、電線識別情報の読み取り機能として流用することができるため、追加のハードウェアを構築するためのコストを節約することができる。

　また、以上に記載された実施の形態によれば、モデル生成部８１ｇ２が、８ギガバイト以下の記憶容量を有する記憶装置を付帯する電気計算機で構成される。このような構成によれば、安価で入手しやすい画像処理ユニットと市販の光学式文字認識用ソフトウェアとで、配線識別照合装置を構成することができる。

　また、以上に記載された実施の形態によれば、データ取得部８１ｇ１が、画像データと、配電盤内の端子台１に接続された電線２に付与された電線識別情報が含まれる部分画像領域１０２とを含む第２の学習用データを取得する。そして、モデル生成部８１ｇ２が、第２の学習用データを用いて、画像データから電線識別情報が含まれる部分画像領域１０２を推論するための第２の学習済モデルを生成する。このような構成によれば、第２の学習済モデルで、端子台１の設置位置、回転角度、縦横寸法および型式情報を参照して解析的な計算式に基づいて算出された部分画像領域１０２ではなく、教師あり学習を経てニューラルネットワークによって重みづけられ最適化された部分画像領域１０２を推論して出力することができる。

　また、以上に記載された実施の形態によれば、配線接続照合シスエムは、上記の推論装置と、画像データ加工部５３ｃ（または、画像データ加工部８１ｃ）と、認識データ作成部５３ｄ（または、認識データ作成部８１ｄ）と、設計データ取得部５３ａ（または、設計データ取得部８１ａ）と、データ照合部５３ｅ（または、データ照合部８１ｅ）と、照合結果出力部５３ｆ（または、照合結果出力部８１ｆ）とを備える。画像データ加工部５３ｃは、推論部５３ｂ２の出力結果に基づいて画像データ取得部５３ｂ１において取得された画像データから電線識別情報が含まれる部分画像領域１０２を抽出する。認識データ作成部５３ｄは、部分画像領域１０２内の画像データから設計データと照合可能な形式である認識データを作成する。設計データ取得部５３ａは、設計データを取得する。データ照合部５３ｅは、設計データと認識データとを照合し、電線２の接続状態が正常であるか否かを判定する。照合結果出力部５３ｆは、データ照合部５３ｅの照合結果を出力する。

　また、以上に記載された実施の形態によれば、配線接続照合シスエムは、データ取得部８１ｇ１と、モデル生成部８１ｇ２とを備える。データ取得部８１ｇ１は、画像データと、端子台１の設置位置、回転角度、縦横寸法および型式情報とを含む第１の学習用データを取得する。モデル生成部８１ｇ２は、第１の学習用データを用いて、画像データから端子台１の設置位置、回転角度、縦横寸法および型式情報を推論するための第１の学習済モデルを生成する。このような構成によれば、システム内に学習装置８１ｇが設けられることによって、必要に応じてユーザー側（活用場所）でも、学習済モデルの変更または充実化に対応することができる。

　＜以上に記載された複数の実施の形態の変形例について＞
　以上に記載された複数の実施の形態では、それぞれの構成要素の寸法、形状、相対的配置関係または実施の条件などについても記載する場合があるが、これらはすべての局面においてひとつの例であって、限定的なものではないものとする。

　したがって、例が示されていない無数の変形例と均等物とが、本願明細書に開示される技術の範囲内において想定される。たとえば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの実施の形態における少なくとも１つの構成要素を抽出し、他の実施の形態における構成要素と組み合わせる場合が含まれるものとする。

　また、矛盾が生じない限り、以上に記載された実施の形態において「１つ」の構成要素が備えられる、と記載された場合に、当該構成要素が「１つ以上」備えられていてもよいものとする。

　さらに、以上に記載された実施の形態におけるそれぞれの構成要素は概念的な単位であって、本願明細書に開示される技術の範囲内には、１つの構成要素が複数の構造物から成る場合と、１つの構成要素がある構造物の一部に対応する場合と、さらには、複数の構成要素が１つの構造物に備えられる場合とを含むものとする。

　また、以上に記載された実施の形態におけるそれぞれの構成要素には、同一の機能を発揮する限り、他の構造または形状を有する構造物が含まれるものとする。

　また、本願明細書における説明は、本技術に関連するすべての目的のために参照され、いずれも、従来技術であると認めるものではない。

　以下、本開示の諸態様を付記としてまとめて記載する。

　（付記１）
　配電盤内の少なくとも１つの端子台の設置箇所および前記端子台に対する電線の接続箇所を示す配線接続図に基づく設計データと、前記配電盤内を撮像した画像データとを照合し、前記電線の接続状態を照合する配線接続照合装置において、
　前記配電盤内の前記端子台に接続された前記電線に付与された電線識別情報を前記画像データから読み取る際に、前記電線が接続された前記端子台の設置位置、回転角度、縦横寸法および型式情報に基づいて、前記電線識別情報が含まれる部分画像領域を抽出するために、前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論する推論装置であり、
　撮像された前記画像データを取得する画像データ取得部と、
　前記画像データ取得部において取得された前記画像データから前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論するための第１の学習済モデルを用いて、前記画像データから前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論して出力する推論部とを備える、
　推論装置。

　（付記２）
　付記１に記載の推論装置であり、
　前記電線識別情報が英数字および記号から成る文字列であり、
　前記文字列を前記画像データから読み取る際に画像処理が用いられ、
　前記推論部が、前記画像処理の範囲を決定する際に用いられる、前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論して出力する、
　推論装置。

　（付記３）
　付記１または２に記載の推論装置であり、
　前記配電盤内の前記電線の接続箇所の数が１００を超える場合に、
　前記推論部が、処理性能が９０ギガフロップス以下の演算処理速度を有する中央演算処理装置を付帯する電子計算機で構成される、
　推論装置。

　（付記４）
　付記１から３のうちのいずれか１つに記載の推論装置であり、
　前記推論部が、前記画像データから前記電線識別情報が含まれる前記部分画像領域を推論するための第２の学習済モデルを用いて、前記画像データから前記電線識別情報が含まれる前記部分画像領域を推論して出力する、
　推論装置。

　（付記５）
　付記１から４のうちのいずれか１つに記載の推論装置と、
　前記推論部の出力結果に基づいて前記画像データ取得部において取得された前記画像データから前記電線識別情報が含まれる前記部分画像領域を抽出する画像データ加工部と、
　前記部分画像領域内の画像データから前記設計データと照合可能な形式である認識データを作成する認識データ作成部と、
　前記設計データを取得する設計データ取得部と、
　前記設計データと前記認識データとを照合し、前記電線の接続状態が正常であるか否かを判定するデータ照合部と、
　前記データ照合部の照合結果を出力する照合結果出力部とを備える、
　配線接続照合装置。

　（付記６）
　付記５に記載の配線接続照合装置であり、
　前記配電盤内に、前記端子台が複数設けられ、
　前記データ照合部が、それぞれの前記端子台について、前記部分画像領域を抽出するか否かを選択する、
　配線接続照合装置。

　（付記７）
　付記５または６に記載の配線接続照合装置であり、
　前記設計データには、少なくとも前記端子台の位置情報、前記端子台の番号および線番号が含まれ、
　前記データ照合部は、前記端子台の位置情報、前記端子台の番号および線番号のうち少なくともいずれか１つを照合対象として、前記設計データと前記認識データとを照合する、
　配線接続照合装置。

　（付記８）
　配電盤内の端子台の設置箇所および前記端子台に対する電線の接続箇所を示す配線接続図に基づく設計データと、前記配電盤内を撮像した画像データとを照合するための、前記電線が接続された前記端子台の設置位置、回転角度、縦横寸法および型式情報を学習する学習装置であり、
　前記画像データと、前記端子台の設置位置、回転角度、縦横寸法および型式情報とを含む第１の学習用データを取得するデータ取得部と、
　前記第１の学習用データを用いて、前記画像データから前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論するための第１の学習済モデルを生成するモデル生成部とを備える、
　学習装置。

　（付記９）
　付記８に記載の学習装置であり、
　前記配電盤内の前記端子台に接続された前記電線に付与された電線識別情報が英数字および記号から成る文字列であり、
　前記文字列を前記画像データから読み取る際に画像処理が用いられ、
　前記モデル生成部が、前記画像処理の範囲を決定する際に用いられる、前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論するための前記第１の学習済モデルを生成する、
　学習装置。

　（付記１０）
　付記８または９に記載の学習装置であり、
　前記モデル生成部が、８ギガバイト以下の記憶容量を有する記憶装置を付帯する電気計算機で構成される、
　学習装置。

　（付記１１）
　付記８から１０のうちのいずれか１つに記載の学習装置であり、
　前記データ取得部が、前記画像データと、前記配電盤内の前記端子台に接続された前記電線に付与された電線識別情報が含まれる部分画像領域とを含む第２の学習用データを取得し、
　前記モデル生成部が、前記第２の学習用データを用いて、前記画像データから前記電線識別情報が含まれる前記部分画像領域を推論するための第２の学習済モデルを生成する、
　学習装置。

　（付記１２）
　付記１から４のうちのいずれか１つに記載の推論装置と、
　前記推論部の出力結果に基づいて前記画像データ取得部において取得された前記画像データから前記電線識別情報が含まれる前記部分画像領域を抽出する画像データ加工部と、
　前記部分画像領域内の画像データから前記設計データと照合可能な形式である認識データを作成する認識データ作成部と、
　前記設計データを取得する設計データ取得部と、
　前記設計データと前記認識データとを照合し、前記電線の接続状態が正常であるか否かを判定するデータ照合部と、
　前記データ照合部の照合結果を出力する照合結果出力部とを備える、
　配線接続照合システム。

　（付記１３）
　付記１２に記載の配線接続照合システムであり、
　前記画像データと、前記端子台の設置位置、回転角度、縦横寸法および型式情報とを含む第１の学習用データを取得するデータ取得部と、
　前記第１の学習用データを用いて、前記画像データから前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論するための第１の学習済モデルを生成するモデル生成部とをさらに備える、
　配線接続照合システム。

　１　端子台、２　電線、２ａ　電線、２ｂ　電線、５　配線接続照合装置、６　学習装置、５３ａ　設計データ取得部、５３ｂ　推論装置、５３ｂ１　画像データ取得部、５３ｂ２　推論部、５３ｃ　画像データ加工部、５３ｄ　認識データ作成部、５３ｅ　データ照合部、５３ｆ　照合結果出力部、６１　データ取得部、６２　モデル生成部、８１ａ　設計データ取得部、８１ｂ　推論装置、８１ｂ１　画像データ取得部、８１ｂ２　推論部、８１ｃ　画像データ加工部、８１ｄ　認識データ作成部、８１ｅ　データ照合部、８１ｆ　照合結果出力部、８１ｇ　学習装置、８１ｇ１　データ取得部、８１ｇ２　モデル生成部、１００　領域、１０２　部分画像領域、１１０３　記憶装置。

Claims

　配電盤内の少なくとも１つの端子台の設置箇所および前記端子台に対する電線の接続箇所を示す配線接続図に基づく設計データと、前記配電盤内を撮像した画像データとを照合し、前記電線の接続状態を照合する配線接続照合装置において、
　前記配電盤内の前記端子台に接続された前記電線に付与された電線識別情報を前記画像データから読み取る際に、前記電線が接続された前記端子台の設置位置、回転角度、縦横寸法および型式情報に基づいて、前記電線識別情報が含まれる部分画像領域を抽出するために、前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論する推論装置であり、
　撮像された前記画像データを取得する画像データ取得部と、
　前記画像データ取得部において取得された前記画像データから前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論するための第１の学習済モデルを用いて、前記画像データから前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論して出力する推論部とを備える、
　推論装置。
　請求項１に記載の推論装置であり、
　前記電線識別情報が英数字および記号から成る文字列であり、
　前記文字列を前記画像データから読み取る際に画像処理が用いられ、
　前記推論部が、前記画像処理の範囲を決定する際に用いられる、前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論して出力する、
　推論装置。
　請求項１または２に記載の推論装置であり、
　前記配電盤内の前記電線の接続箇所の数が１００を超える場合に、
　前記推論部が、処理性能が９０ギガフロップス以下の演算処理速度を有する中央演算処理装置を付帯する電子計算機で構成される、
　推論装置。
　請求項１から３のうちのいずれか１つに記載の推論装置であり、
　前記推論部が、前記画像データから前記電線識別情報が含まれる前記部分画像領域を推論するための第２の学習済モデルを用いて、前記画像データから前記電線識別情報が含まれる前記部分画像領域を推論して出力する、
　推論装置。
　請求項１から４のうちのいずれか１つに記載の推論装置と、
　前記推論部の出力結果に基づいて前記画像データ取得部において取得された前記画像データから前記電線識別情報が含まれる前記部分画像領域を抽出する画像データ加工部と、
　前記部分画像領域内の画像データから前記設計データと照合可能な形式である認識データを作成する認識データ作成部と、
　前記設計データを取得する設計データ取得部と、
　前記設計データと前記認識データとを照合し、前記電線の接続状態が正常であるか否かを判定するデータ照合部と、
　前記データ照合部の照合結果を出力する照合結果出力部とを備える、
　配線接続照合装置。
　請求項５に記載の配線接続照合装置であり、
　前記配電盤内に、前記端子台が複数設けられ、
　前記データ照合部が、それぞれの前記端子台について、前記部分画像領域を抽出するか否かを選択する、
　配線接続照合装置。
　請求項５または６に記載の配線接続照合装置であり、
　前記設計データには、少なくとも前記端子台の位置情報、前記端子台の番号および線番号が含まれ、
　前記データ照合部は、前記端子台の位置情報、前記端子台の番号および線番号のうち少なくともいずれか１つを照合対象として、前記設計データと前記認識データとを照合する、
　配線接続照合装置。
　配電盤内の端子台の設置箇所および前記端子台に対する電線の接続箇所を示す配線接続図に基づく設計データと、前記配電盤内を撮像した画像データとを照合するための、前記電線が接続された前記端子台の設置位置、回転角度、縦横寸法および型式情報を学習する学習装置であり、
　前記画像データと、前記端子台の設置位置、回転角度、縦横寸法および型式情報とを含む第１の学習用データを取得するデータ取得部と、
　前記第１の学習用データを用いて、前記画像データから前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論するための第１の学習済モデルを生成するモデル生成部とを備える、
　学習装置。
　請求項８に記載の学習装置であり、
　前記配電盤内の前記端子台に接続された前記電線に付与された電線識別情報が英数字および記号から成る文字列であり、
　前記文字列を前記画像データから読み取る際に画像処理が用いられ、
　前記モデル生成部が、前記画像処理の範囲を決定する際に用いられる、前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論するための前記第１の学習済モデルを生成する、
　学習装置。
　請求項８または９に記載の学習装置であり、
　前記モデル生成部が、８ギガバイト以下の記憶容量を有する記憶装置を付帯する電気計算機で構成される、
　学習装置。
　請求項８から１０のうちのいずれか１つに記載の学習装置であり、
　前記データ取得部が、前記画像データと、前記配電盤内の前記端子台に接続された前記電線に付与された電線識別情報が含まれる部分画像領域とを含む第２の学習用データを取得し、
　前記モデル生成部が、前記第２の学習用データを用いて、前記画像データから前記電線識別情報が含まれる前記部分画像領域を推論するための第２の学習済モデルを生成する、
　学習装置。
　請求項１から４のうちのいずれか１つに記載の推論装置と、
　前記推論部の出力結果に基づいて前記画像データ取得部において取得された前記画像データから前記電線識別情報が含まれる前記部分画像領域を抽出する画像データ加工部と、
　前記部分画像領域内の画像データから前記設計データと照合可能な形式である認識データを作成する認識データ作成部と、
　前記設計データを取得する設計データ取得部と、
　前記設計データと前記認識データとを照合し、前記電線の接続状態が正常であるか否かを判定するデータ照合部と、
　前記データ照合部の照合結果を出力する照合結果出力部とを備える、
　配線接続照合システム。
　請求項１２に記載の配線接続照合システムであり、
　前記画像データと、前記端子台の設置位置、回転角度、縦横寸法および型式情報とを含む第１の学習用データを取得するデータ取得部と、
　前記第１の学習用データを用いて、前記画像データから前記端子台の設置位置、回転角度、縦横寸法および型式情報を推論するための第１の学習済モデルを生成するモデル生成部とをさらに備える、
　配線接続照合システム。