1.実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。なお、以下の説明では、一例として、発明の構成要素に対応する図面上の参照符号を、括弧を付して記載している。
〔1〕本発明の代表的な実施の形態に係る画像判定装置(1,1A,1B,1C)は、対象物(200)の少なくとも一部を撮影した撮影画像データ(61)に基づいて、前記対象物の良否を判定する複数の画像判定部(4,5,5A,5B,5C,5D,5E)と、前記複数の画像判定部の判定結果に基づいて、前記対象物の良否に関する情報を生成して出力する情報出力部(7,7A)と、前記撮影画像データ(61)および前記情報出力部(7,7A)の出力を記憶する記憶部(6,6A,6B)とを有し、前記複数の画像判定部の少なくとも一つは、機械学習型の画像判定部(5,5A,5B,5C,5D,5E)であり、前記記憶部は、さらに機械学習による学習モデル(63,63B,63C)を記憶し、前記機械学習型の画像判定部は、前記学習モデルと前記撮影画像データとに基づいて前記対象物の良否を判定することを特徴とする。
〔2〕上記画像判定装置において、前記情報出力部は、前記複数の画像判定部のそれぞれが前記対象物を良品と判定した場合に、前記対象物が良品であることを示す情報を出力し、前記複数の画像判定部の少なくとも一つが前記対象物を不良品と判定した場合に、前記複数の画像判定部によるそれぞれの判定結果の情報を出力してもよい。
〔3〕上記画像判定装置(1,1A,1C)において、前記複数の画像判定部は、所定の技法に基づく機械学習による学習モデル(63)と前記撮影画像データとに基づいて前記対象物の良否を判定する機械学習型の画像判定部(5,5A,5D,5E)と、予め登録された基準データと前記撮影画像データとの一致の度合いに基づいて前記対象物の良否を判定する非機械学習型の画像判定部(4)とを含んでもよい。
〔4〕上記画像判定装置(1B)において、前記複数の画像判定部は、第1の技法に基づく機械学習による学習モデル(63B)と前記撮影画像データとに基づいて前記対象物の良否を判定する第1の画像判定部(5B)と、前記第1の技法と異なる第2の技法の機械学習による学習モデル(63C)と前記撮影画像データとに基づいて前記対象物の良否を判定する第2の画像判定部(5C)とを含んでもよい。
〔5〕上記画像判定装置において、前記記憶部に記憶された前記学習モデルは、過去の画像判定結果に基づいて更新可能であってもよい。
〔6〕本発明の代表的な実施の形態に係る画像検査装置(10,10A,10B,10C)は、上記画像判定装置と、前記対象物を撮影して前記撮影画像データを生成する撮像装置(8)とを備えることを特徴とする。
〔7〕本発明の代表的な実施の形態に係る端子付き電線製造システム(100,100A,100B,100C)は、電線(201)に端子(210)を圧着させて端子付き電線(200)を形成する端子圧着装置(11)と、前記端子圧着装置によって形成された前記端子付き電線の端子圧着部の少なくとも一部を撮影した撮影画像データ(61)を生成する撮像装置(8)と、前記撮像装置によって生成された前記撮影画像データに基づいて前記端子圧着部の良否を判定する複数の画像判定部(4,5,5A,5B,5C,5E,5E)と、前記複数の画像判定部の判定結果に基づいて、前記端子圧着部の良否に関する情報を生成して出力する情報出力部(7,7A)と、前記撮影画像データおよび前記情報出力部の出力を記憶する記憶部(6,6A,6B)とを有し、前記複数の画像判定部の少なくとも一つは、機械学習型の画像判定部(5,5A,5B,5C,5D,5E)であり、前記記憶部は、さらに前記機械学習型の画像判定部による学習モデル(63,63B,63C)を記憶し、前記機械学習型の画像判定部は、前記学習モデルと前記撮影画像データとに基づいて前記端子圧着部の良否を判定することを特徴とする。
〔8〕上記端子付き電線製造システムにおいて、前記情報出力部は、前記複数の画像判定部のそれぞれが前記端子圧着部を良品と判定した場合に、前記端子圧着部が良品であることを示す情報を出力し、前記複数の画像判定部の少なくとも一つが前記端子圧着部を不良品と判定した場合に、前記複数の画像判定部によるそれぞれの判定結果の情報を出力してもよい。
〔9〕本発明の代表的な別の実施の形態に係る端子付き電線製造システム(100)において、前記複数の画像判定部は、所定の技法に基づく機械学習による学習モデルと前記撮影画像データとに基づいて前記端子圧着部の良否を判定する機械学習型の画像判定部(5)と、前記撮影画像データと予め登録された基準画像との一致の度合いに基づいて前記対象物の良否を判定する非機械学習型の画像判定部(4)とを含んでもよい。
〔10〕上記端子付き電線製造システムにおいて、前記複数の画像判定部は、第1の技法に基づく機械学習による学習モデル(63B)と前記撮影画像データとに基づいて前記端子圧着部の良否を判定する第1の画像判定部(5B)と、前記第1の技法と異なる第2の技法の機械学習による学習モデル(63C)と前記撮影画像データとに基づいて前記端子圧着部の良否を判定する第2の画像判定部(5C)とを含んでもよい。
〔11〕上記端子付き電線製造システムにおいて、前記画像判定部(5A)は、機械学習による、前記端子圧着部の状態に関する学習モデル(65,651~653)と、前記撮影画像データの前記端子圧着部を含む領域(501~503)の画像情報とに基づいて、前記端子圧着部の状態の適否を判定してもよい。
〔12〕上記端子付き電線製造システムにおいて、前記端子圧着部の状態に関する学習モデル(65)は、前記圧着端子のワイヤーバレルの端部から突出する前記電線の芯線の長さに関する学習モデル(651)であって、前記画像判定部は、前記芯線の長さに関する学習モデルと、前記画像情報とに基づいて、前記芯線の長さの適否を判定してもよい。
〔13〕上記端子付き電線製造システムにおいて、前記端子圧着部の状態に関する学習モデル(65)は、前記電線の被覆の端部の位置に関する学習モデル(652)であって、前記画像判定部は、前記被覆の端部の位置に関する学習モデルと、前記画像情報とに基づいて、前記被覆の端部の位置の適否を判定してもよい。
〔14〕上記端子付き電線製造システムにおいて、前記端子圧着部の状態に関する学習モデル(65)は、前記圧着端子のワイヤーバレルの両端部に形成されるベルマウスの形状に関する学習モデル(652)であって、前記画像判定部は、前記ベルマウスの形状に関する学習モデルと、前記画像情報とに基づいて、前記ベルマウスの形状の適否を判定してもよい。
〔15〕上記端子付き電線製造システムにおいて、前記画像判定部の判定結果に基づいて、前記端子圧着装置を制御する制御装置(20,21,22)を更に有し、前記制御装置は、前記端子圧着部が不適切であるとする判定結果がn(nは2以上の整数)回連続した場合に、前記端子圧着装置を制御して前記端子の位置を調整してもよい。なお、n(nは2以上の整数)は、目的に応じて適宜設定することができる。
〔16〕上記端子付き電線製造システムにおいて、前記情報出力部は、前記端子圧着部の圧着状態が不適切であるとする判定結果がn(nは2以上の整数)回連続した場合に、警告情報を出力してもよい。
〔17〕上記端子付き電線製造システムにおいて、前記記憶部に記憶された前記学習モデルは、過去の画像判定結果に基づいて更新可能であってもよい。
〔18〕上記端子付き電線製造システム(100G,100H)において、前記学習モデルを生成する学習モデル生成部(32)を更に有し、前記学習モデル生成部は、前記画像判定部の判定結果に基づいて前記学習モデルを更新してもよい。
〔19〕上記端子付き電線製造システム(100G,100H)において、前記学習モデル生成部(32)は、前記撮影画像データに当該撮影画像データに関する前記非機械学習型の画像判定部の判定結果を正解情報としてラベリングした学習データを再学習することにより、前記学習モデルを更新してもよい。
〔20〕上記端子付き電線製造システム(100H)において、機械学習型の画像判定部による判定精度が所定の基準値を超えているか否かを判定する信頼性判定部(33)を更に有し、前記情報出力部(7H)は、前記信頼性判定部によって前記機械学習型の画像判定部による判定精度が所定の基準値を超えていないと判定された場合に、前記非機械学習型の画像判定部の判定結果と前記機械学習型の画像判定部の判定結果とに基づいて、前記端子圧着部の良否に関する情報を生成して出力し、前記信頼性判定部によって前記機械学習型の画像判定部による判定精度が所定の基準値を超えていると判定された場合に、前記機械学習型の画像判定部の判定結果に基づいて、前記端子圧着部の良否に関する情報を生成して出力してもよい。
〔21〕上記端子付き電線製造システム(100,100G,100H)において、外部との通信を可能とする通信装置(24)を更に備えてもよい。
〔22〕上記端子付き電線製造システム(100,100G,100H)において、前記通信装置(24)は、前記学習モデルを含む情報の通信を行ってもよい。
〔23〕本発明の代表的な別の実施の形態に係る画像判定方法は、複数の画像判定部(4,5,5A~5E)と情報出力部(7,7A)とを備えるコンピュータ(1,1A,1B)によって、対象物の少なくとも一部を撮影した撮影画像データに基づいて前記対象物の良否を判定する画像判定方法であって、前記複数の画像判定部によって、前記撮影画像データに基づいて前記対象物の良否を判定する第1ステップ(S22,S23)と、前記情報出力部が、前記画像判定ステップにおける前記複数の画像判定部のそれぞれの判定結果に基づいて、前記対象物の良否に関する情報を生成して出力する第2ステップ(S24~S27)とを含み、前記第1ステップにおいて、前記複数の画像判定部の少なくとも一つは、機械学習による学習モデルと前記撮影画像データとに基づいて前記対象物の良否を判定することを特徴とする。
2.実施の形態の具体例
以下、本発明の実施の形態の具体例について図を参照して説明する。なお、以下の説明において、各実施の形態において共通する構成要素には同一の参照符号を付し、繰り返しの説明を省略する。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
≪実施の形態1≫
図1は、実施の形態1に係る端子付き電線製造システムの構成を示す図である。
端子付き電線製造システム100は、例えば、電線に端子を圧着して端子付き電線を形成するシステムである。端子付き電線製造システム100は、形成した端子付き電線の端子圧着部の良否判定を複数の画像判定処理によって行うことを一つの特徴としている。
図1に示すように、端子付き電線製造システム100は、端子圧着装置11、画像検査装置10、および制御装置20を備えている。
端子圧着装置11は、電線に端子を圧着加工するための装置である。
例えば、端子圧着装置11は、先ず、複数種類の電線が格納された電線格納部(図示せず)から一つの電線を取り出し、取り出した電線を計尺して切断し、所望の長さの電線を切り出す。次に、端子圧着装置11は、切り出した電線の一端または両端の被覆を指定された長さだけ剥ぎ取る。そして、端子圧着装置11は、被覆を剥ぎ取った電線の端部に端子を圧着する。例えば、端子圧着装置11は、製造する端子付き電線の種類に応じて設けられた複数の圧着機(例えば、自動圧着機)を有しており、先端部の被覆が剥ぎ取られた電線は、指定された自動圧着機に搬送されて端子の圧着が行われる。これにより、電線に圧着端子が接続され、端子付き電線が形成される。端子付き電線は、一般に圧着端子部分がコネクタハウジングに挿入されて、コネクタ付き電線となる。
端子圧着装置11は、制御装置20からの制御に基づいて、上述した端子付き電線を製造するための各種の工程を、電線毎に順次実行する。
制御装置20は、端子圧着装置11を制御するための装置である。制御装置20は、設備制御部21および設備操作用コンピュータ22を備えている。
設備制御部21は、例えば、PLC(Programmable Logic Controller)である。設備操作用コンピュータ22は、ユーザが設備制御部21を操作するためのHMI(Human Machine Interface)としての端末(例えばパーソナルコンピュータ)である。
設備操作用コンピュータ22は、出力装置として表示装置(例えば、液晶ディスプレイ等のモニタ)23を備えており、ユーザに必要な情報を表示装置23に出力する。ユーザは、表示装置23の画面を見ながら設備操作用コンピュータ22を操作することにより、設備制御部21に対して、各種の指令を出すことができる。
設備制御部21は、設備操作用コンピュータ22を介して受け取った指令に応じて、端子圧着装置11を制御することにより、上述した端子付き電線を製造するための各種の工程を実行させる。設備制御部21は、更に、画像検査装置10を制御することにより、端子圧着装置11によって作成された端子付き電線の端子圧着部の良否判定を実行させる。
画像検査装置10は、対象物としての端子付き電線の端子圧着部の良否判定を行う装置である。画像検査装置10は、撮像装置8と、画像判定装置1とを含む。
撮像装置8は、端子圧着部を撮影するための装置(カメラ)である。撮像装置8は、例えば、設備制御部21からの指令に応じて、端子圧着装置11によって作成された端子付き電線の端子圧着部を所定の方向から撮影し、その画像のデータを内部メモリ(図示せず)に記憶する。
例えば、端子圧着装置11の各自動圧着機によって端子が圧着された端子付き電線が次の工程へ搬送される途中で、設備制御部21が、その端子付き電線の端子圧着部を撮影する指令を画像判定装置1に対して発行する。画像判定装置1は、その指令に応じて撮像装置8を制御して、端子圧着部の撮影を実行させ、撮影した端子圧着部の画像を取得する。
なお、撮像装置8に対する撮影の制御は、上述の例のように画像検査装置10を介して行うのではなく、設備制御部21から撮像装置8に直接指令を与えることにより、撮像装置8が撮影を実行してもよい。
なお、画像検査装置10は、図1に示すように、撮影時に端子圧着部を照らすための照明装置12(例えば、ドーム型のLED照明装置)を備えていてもよい。
画像判定装置1は、撮像装置8によって撮影された撮影画像データに基づいて、対象物としての端子付き電線の端子圧着部の良否判定を行う装置である。画像判定装置1は、対象物としての端子付き電線の端子圧着部の少なくとも一部を撮影した撮影画像データに基づいて、端子圧着部の良否を判定する複数の画像判定部を備え、それらの画像判定部の少なくとも一つは、機械学習による学習モデル(学習済みモデル)と撮影画像データとに基づいて端子圧着部の良否を判定する。本実施の形態では、画像判定装置1が2つの画像判定部を備える場合を一例として説明する。
具体的に、画像判定装置1は、機能ブロックとして、撮影制御部2、画像取得部3、画像判定部4、5、記憶部6、および情報出力部7を有している。
画像判定装置1は、例えば、PCやサーバ等の情報処理装置(コンピュータ)によって実現される。すなわち、画像判定装置1の上述した各機能ブロックは、画像判定装置1としての情報処理装置(コンピュータ)を構成するハードウェア資源が、上記情報処理装置にインストールされたソフトウエアと協働することによって実現される。
図2は、実施の形態1に係る画像判定装置1のハードウェア構成を示す図である。
図2に示すように、画像判定装置1は、ハードウェア資源として、演算装置101、記憶装置102、入力装置103、I/F(Interface)装置104、出力装置105、およびバス106を備えている。
演算装置101は、CPU(Central Processing Unit)やDSP(Digital Signal Processor)等のプロセッサによって構成されている。記憶装置102は、演算装置101に各種のデータ処理を実行させるためのプログラム1021と、演算装置101によるデータ処理で利用されるパラメータや演算結果等のデータ1022とを記憶する記憶領域を有し、例えばROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、およびフラッシュメモリ等から構成されている。
ここで、プログラム1021は、本実施の形態に係る画像判定方法の各処理(ステップ)をコンピュータ(CPU)に実行させるためのプログラムを含み、例えば、記憶装置102に予めインストールされている。
なお、プログラム1021は、ネットワークを介して流通可能であってもよいし、CD-ROM(Non-transitory computer readable medium)等のコンピュータが読み取り可能な記憶媒体に書き込まれて流通可能であってもよい。
入力装置103は、外部から情報の入力を検出する機能部であり、例えばキーボード、マウス、ポインティングデバイス、ボタン、またはタッチパネル等から構成されている。I/F装置104は、外部との情報の送受を行う機能部であり、有線または無線によって通信を行うための通信制御回路や入出力ポート、アンテナ等から構成されている。
出力装置105は、演算装置101によるデータ処理によって得られた情報等を出力する機能部である。出力装置105としては、例えば、SSD(Solid State Drive)やHDD等の外部記憶装置や、LCD(Liquid Crystal Display)および有機EL(Electro Luminescence)等の表示装置等である。バス106は、演算装置101、記憶装置102、入力装置103、I/F装置104、および出力装置105を相互に接続し、これらの装置間でデータの授受を可能にする機能部である。
画像判定装置1は、演算装置101が記憶装置102に記憶したプログラム1021に従って演算を実行して、記憶装置102、入力装置103、I/F(Interface)装置104、出力装置105、およびバス106を制御することにより、図1に示した画像判定装置1の各機能部、すなわち、撮影制御部2、画像取得部3、画像判定部4、5、記憶部6、および情報出力部7が実現される。
以下、画像判定装置1を構成する各機能部について説明する。
撮影制御部2は、設備制御部21から発行された端子圧着部の撮影の実行を指示する指令に応じて、撮像装置8を制御して撮影を実行させる機能部である。
画像取得部3は、端子付き電線の端子圧着部に関する画像を取得する機能部である。例えば、画像取得部3は、撮像装置8によって撮影された検査対象である端子付き電線の端子圧着部の画像を撮像装置8から取得し、取得した画像を、電線毎に付与された電線を識別するための情報(識別コード)とともに撮影画像データ61として記憶部6に記憶する。
記憶部6は、画像判定処理に必要なプログラムやパラメータ等のデータを記憶するための機能部である。例えば、記憶部6には、上述した撮影画像データ61に加えて、後述する画像判定部4による画像判定処理に必要な基準データ62や、後述する画像判定部5による画像判定処理に必要な学習モデル63およびAI検査マスタ情報64等が記憶されている。
画像判定部4は、予め登録された基準データと撮像装置8によって撮影された撮影画像データとの一致の度合いに基づいて端子付き電線200の端子圧着部の良否を判定する非機械学習型(以下、単に、「非学習型」と称する場合がある。)の画像判定処理を実行する機能部である。なお、非機械学習型の画像判定処理の詳細については後述する。
画像判定部5は、所定の技法に基づく機械学習による学習結果(学習モデル63)と撮像装置8によって撮影された画像とに基づいて、端子圧着部の良否を判定する機械学習型(以下、単に、「学習型」と称する場合がある。)の画像判定処理を実行する機能部である。なお、機械学習型の画像判定処理の詳細については後述する。
情報出力部7は、複数の画像判定部(画像判定部4,5)の判定結果に基づいて、対象物(検査対象の端子付き電線の端子圧着部)の良否に関する情報を生成して出力する。
具体的に、情報出力部7は、画像判定部4,5の両方が検査対象の端子付き電線を良品と判定した場合に、対象物の良否に関する情報として、検査対象の端子付き電線が良品であることを示す情報を出力する。一方、情報出力部7は、画像判定部4,5の少なくとも一方が検査対象の端子付き電線を不良品と判定した場合に、対象物の良否に関する情報として、複数の画像判定部4,5によるそれぞれの判定結果の情報を出力する。
なお、画像判定装置1が3つ以上の画像判定部を有している場合には、情報出力部7は判定に用いる画像判定部のそれぞれが対象物(検査対象の端子付き電線)を良品と判定した場合に、その対象物が良品であることを示す情報を出力する。例えば、3つの画像判定部のうち2つの画像判定部を用いて判定を行う場合には、情報出力部7は、その2つの画像判定部のそれぞれが対象物を良品と判定した場合に、その対象物が良品であることを示す情報を出力する。
情報出力部7から出力された情報は、例えば、設備制御部21を介して設備操作用コンピュータ22に送信され、表示装置23の画面に表示される。
ここで、(1)画像判定部4による非機械学習型の画像判定処理と、(2)画像判定部5による機械学習型の画像判定処理、についてそれぞれ説明する。
(1)画像判定部4による非機械学習型の画像判定処理
非機械学習型の画像判定処理は、予め登録された基準データ62と撮影画像データ61とに基づいて、端子付き電線の端子圧着部の良否を判定する処理である。
基準データ62は、良品の端子付き電線の端子圧着部を所定の方向から撮影した画像に基づくデータである。
図3Aは、端子圧着部の基準画像の一例を示す図である。
図3Aには、良品である端子付き電線の端子圧着部が模式的に図示されている。図3Aに示すように、電線201の一端または両端の被覆203が剥ぎ取られた芯線202の端部に金属から成る端子210を圧着することにより、端子付き電線200が形成される。
電線201に圧着加工された端子210は、嵌合部211、ワイヤーバレル(導通バレル)212、インシュレーションバレル(絶縁バレル)213を形成している。ワイヤーバレル212の両端部には、ワイヤーバレルを圧着加工することによって、ベルマウス214,215がそれぞれ形成される。
図3Bは、端子圧着部の基準データとして登録される部分(領域)の一例を示す図である。同図には、図3Aと同様の端子圧着部の画像において、基準データとして登録される領域がそれぞれ示されている。
非機械学習型の画像判定処理では、図3A,図3Bに示すような良品の端子付き電線200の端子圧着部を正面(上方)から撮影した画像を用いて、検査対象の領域毎の基準データを予め登録しておく。例えば、図3Bに示すように、良品の端子付き電線200の端子圧着部のワイヤーバレル212または嵌合部211等の形が安定している部分の領域301、304の画像を位置決め用基準画像として登録するとともに、良品の端子付き電線200の端子圧着部のワイヤーバレル212やインシュレーションバレル213等の形状の検査が必要な部分を含む領域304、307の画像を形状検査用基準画像として登録する。また、図3Bに示すように、芯線の出代や被覆の端部の位置等の色彩の検査が必要な部分を含む領域302、303、305、306は、例えば素線(銅)等の各部分の色情報を基準色として登録する。
更に、非機械学習型の画像判定処理では、端子圧着部の良否判定の基準となる判定閾値を登録する。判定閾値は、上述した基準画像(基準色も含む)との一致度合いの閾値や、特定の部位に対応した明暗の閾値などである。判定閾値は、例えば、良品と判定される形状の一致度合いや一致した色の画素数に基づいて決定すればよい。
画像判定装置1では、上述した位置決め用基準画像および形状検査用基準画像等の基準画像データと、基準色と、判定閾値とを基準データ62として記憶部6に予め記憶しておく。
画像判定部4は、検査対象の端子付き電線の端子圧着部の少なくとも一部を撮影した画像を含む撮影画像データ61と、予め登録された基準データ62とに基づいて、検査対象の端子付き電線200の良否を判定する。
具体的に、画像判定部4は、パターンマッチングやカラーマッチング等の公知の画像解析処理によって、撮影した撮影画像データと基準データとの一致度を算出し、算出した一致度と判定閾値とを比較して検査対象の端子付き電線200の端子圧着部の良否判定を行う。
例えば、先ず、画像判定部4は、画像解析処理を行う前の準備として、撮影画像データ61の画像の位置座標を補正する。具体的には、画像判定部4は、撮影画像データ61に含まれる画像の中から、基準データ62内の位置決め用基準画像と最も類似する部分(例えば嵌合部211)を検索し、基準となる位置および水平回転角を補正して、撮影画像データ61内の画像の基準位置座標を調整する。
次に、画像判定部4は、調整した基準位置座標に基づいて、撮影画像データ61内の画像における検査対象の領域302~307を特定する。次に、画像判定部4は、パターンマッチングやカラーマッチング等の公知の画像解析処理によって、特定した各領域302~307の画像情報と基準画像および基準色との一致度合いを算出する。
そして、画像判定部4は、算出した一致度合いと判定閾値とを比較する。画像判定部4は、算出した一致度合いが判定閾値より大きい場合に、検査対象の端子付き電線200を良品と判定し、算出した一致度合いが判定閾値より小さい場合に、検査対象の端子付き電線200を不良品と判定する。
以上のように、画像判定部4は非機械学習型の画像判定処理を行う。
(2)画像判定部5による機械学習型の画像判定処理
機械学習型の画像判定処理は、所定の技法(アルゴリズム)に基づく機械学習による学習モデル63と、撮影画像データ61に含まれる画像とに基づいて、端子付き電線200の端子圧着部の良否を判定する処理である。
ここで、所定の技法(アルゴリズム)としては、例えば、CNN(Convolutional Neural Network)等のニューラルネットワークを例示することができる。
画像判定装置1による機械学習型の画像判定処理では、学習モデル63とともに、AI検査マスタ情報64を予め作成しておく。
ここで、AI検査マスタ情報64とは、撮影画像データ61に含まれる端子付き電線200の端子圧着部の画像の検査範囲を指定する情報を含むデータである。例えば、AI検査マスタ情報64には、検査対象の電線の識別コードと、その端子付き電線200の端子圧着部における検査範囲を指定する検査範囲情報とが含まれている。画像判定装置1では、予め作成したAI検査マスタ情報64を記憶部6に記憶しておく。
なお、AI検査マスタ情報64は、画像判定装置1が画像判定処理を行う前に記憶部6に記憶されていればよく、機械学習型の画像判定処理を実行する前に画像判定装置1が自ら作成してもよいし、画像判定装置1とは別の情報処理装置によって作成し、画像判定装置1の記憶部6に予め記憶してもよい。
学習モデル63は、例えば、ニューラルネットワークの入力層に入力された端子付き電線200の端子圧着部の画像(撮影画像データ61)中のAI検査マスタ情報64によって指定された検査範囲の画像情報(例えば各画素の情報)に対して、所定の重み付け係数に基づく演算を行い、端子圧着部の良否判定結果を定量化した値を上記ニューラルネットワークの出力層から出力するように、情報処理装置(コンピュータ)を機能させるためのプログラムである。
画像判定装置1では、例えば、図3A,3Bに示すような良品の端子付き電線200の端子圧着部の画像を複数(例えば、数十枚~数百枚)準備し、それらを画像判定部5に入力して学習させることにより、学習モデル63を生成する。生成した学習モデル63は、上述したAI検査マスタ情報64とともに記憶部6に予め記憶される。
画像判定部5は、検査対象の端子付き電線200の端子圧着部の少なくとも一部を撮影した画像を含む撮影画像データ61と、予め登録された学習モデル63とに基づいて、検査対象の端子圧着部の良否を判定する。
具体的に、画像判定部5は、先ず、判定対象の撮影画像データ61が入力されたとき、その撮影画像データ61の識別コードに一致する識別コードを含むAI検査マスタ情報64を記憶部6から読み出す。次に、画像判定部5は、入力した撮影画像データ61の画像中の読み出したAI検査マスタ情報64によって指定された検査範囲の画像情報に対して、学習モデル63に基づいて端子圧着部の良否判定を行い、検査対象の端子付き電線200の端子圧着部が良品であるとする判定結果、または検査対象の端子付き電線200の端子圧着部が不良品であるとする判定結果を出力する。
以上のように、画像判定部5は機械学習型の画像判定処理を実行する。
次に、端子付き電線製造システム100により端子付き電線を製造するための処理の流れについて説明する。
図4は、実施の形態1に係る端子付き電線製造システム100による端子付き電線200の製造方法の流れを示す図である。
同図に示されるように、端子付き電線製造システム100では、先ず、端子圧着装置11が上述した手法により、電線の端部に端子を圧着して端子付き電線200を形成する(端子圧着工程:ステップS1)。次に、画像判定装置1が、ステップS1で形成した端子付き電線200を撮像装置8によって撮影し、その撮影した画像データに基づいて、ステップS1で形成した端子付き電線200の端子圧着部の良否を判定する(検査工程:ステップS2)。検査工程で良品と判定された端子付き電線200は、その後の種々の工程を経て、端子付き電線またはワイヤハーネスなどとして出荷可能となる。
なお、必要に応じて、ステップS2(検査工程)の後に、画像判定装置1による判定結果に基づいて各画像判定処理に係る種々のパラメータを調整してもよい。
ここで、端子付き電線製造システム100による検査工程(ステップS2)について詳細に説明する。
図5は、実施の形態1に係る端子付き電線製造システム100による検査工程(ステップS2)の流れを示すフロー図である。
端子付き電線製造システム100において、先ず、撮像装置8が、端子圧着装置11によって作成された端子付き電線200の端子圧着部を撮影する(ステップS20)。例えば、上述したように、設備制御部21が端子付き電線200の端子圧着部の撮影を指示する指令を画像判定装置1に送信し、その指令を受信した画像判定装置1の撮影制御部2が撮像装置8を制御することにより、搬送された端子付き電線200の端子圧着部を撮影する。
次に、画像判定装置1がステップS20で撮影された画像を取得する(ステップS21)。例えば、画像判定装置1の画像取得部3が、撮像装置8の内部メモリにアクセスすることによりステップS20で撮影された画像を取得し、取得した画像と、その画像に写る端子圧着部を有する端子付き電線200の識別コードとを撮影画像データ61として、画像判定装置1の記憶部6に記憶する。
次に、画像判定装置1がステップS21で取得した撮影画像データ61に基づいて、画像判定処理を実行する(ステップS22、ステップS23)。
具体的には、画像判定装置1における画像判定部4が、ステップS21で取得した撮影画像データ61に基づいて、上述した手法により、非機械学習型の画像判定処理を実行する(ステップS22)。また、画像判定装置1における画像判定部5が、ステップS21で取得した撮影画像データ61に基づいて、上述した手法により、機械学習型の画像判定処理を実行する(ステップS23)。
ステップS22における非機械学習型の画像判定処理とステップS23における機械学習型の画像判定処理とは、図5に示すように並列的に行われてもよいし、一方の画像判定処理を実行した後に他方の画像判定処理を実行してもよく、処理の順番は特に限定されない。
ステップS22,S23の画像判定処理の終了後、画像判定装置1は、ステップS22,S23の画像判定処理によるそれぞれの判定結果を比較する(ステップS24)。具体的には、情報出力部7が、画像判定部4と画像判定部5が共に検査対象の端子付き電線200を良品と判定したか否かを判定する(ステップS25)。
画像判定部4と画像判定部5が共に検査対象の端子付き電線200を良品と判定した場合、情報出力部7は、検査対象の端子付き電線200が良品であると判定する(ステップS26)。この場合、情報出力部7は、検査対象の端子付き電線200が良品であることを示す情報を出力する。例えば、情報出力部7は、検査対象の端子付き電線200が良品であることを示す情報を設備制御部21に送信する。設備制御部21は、受け取った情報に基づいて端子圧着装置11を制御することにより、次の工程のために、良品と判定された電線を所定の位置に搬送する。
このとき、設備制御部21が設備操作用コンピュータ22に情報出力部7からの情報を出力することにより、設備操作用コンピュータ22の表示装置23が、検査対象の電線の端子付き電線200が良品であることを示す情報を表示してもよい。これによれば、端子付き電線製造システム100を管理する作業者等に、製造された端子付き電線200が良品であることを提示することができる。
一方、ステップS25において、画像判定部4と画像判定部5の少なくとも一方が検査対象の端子付き電線200の端子圧着部を不良品と判定した場合、情報出力部7は、画像判定部4,5のそれぞれの判定結果を出力する(ステップS27)。情報出力部7は、各画像判定部4,5の判定結果を設備制御部21に送信する。この場合、設備制御部21は、例えば、その判定結果に係る電線が良品の電線と同じ工程に進まないように、別の場所に搬送してもよい。
また、設備制御部21が設備操作用コンピュータ22に情報出力部7からの情報を出力することにより、例えば設備操作用コンピュータ22の表示装置23に、画像判定部4,5のそれぞれの判定結果を示す情報を表示させる。これにより、端子付き電線製造システム100を管理する作業者に、形成された端子付き電線200が不良品である可能性があることを提示することができる。
以上、実施の形態1に係る画像判定装置1は、対象物としての端子付き電線200の端子圧着部の少なくとも一部を撮影した画像に基づいて端子圧着部の良否を判定する複数の画像判定部4,5と、画像判定部4,5の判定結果に基づいて端子付き電線200の端子圧着部の良否に関する情報を生成して出力する情報出力部7とを有し、画像判定部4,5の少なくとも一つは、機械学習による学習モデル63と上記画像とに基づいて端子付き電線200の端子圧着部の良否を判定する。
これによれば、一つの画像判定処理ではなく、複数の画像判定処理による判定結果に基づいて端子付き電線200の端子圧着部の良否を判定するので、複数の画像判定処理のうち少なくとも一つが機械学習による画像判定処理である場合でも、判定精度の低下を防ぐことが可能となる。
特に、実施の形態1に係る画像判定装置1のように、機械学習型の画像判定処理を行う画像判定部5に加えて、非機械学習型の画像判定処理を行う画像判定部4を設けることにより、導入当初に機械学習型の画像判定部5の判定精度が低い場合であっても、非機械学習型の画像判定部4による判定結果を用いることで、画像判定装置1の判定精度を担保することが可能となる。
例えば、端子付き電線200の製造中に予想外の不良品が発生した場合に、機械学習型の画像判定処理では、その不良品の画像を学習していなければ、良品として誤判定する虞がある。これに対し、実施の形態1に係る画像判定装置1は、機械学習型の画像判定処理だけでなく非機械学習型の画像判定処理も行うので、不良品の見逃しを防止することが可能となる。
また、非機械学習型の画像判定処理による正しい判定結果とそれに対応する撮影された画像データとを用いることにより、学習モデル63を更新して機械学習型の画像判定部5による判定精度を向上させることができる。特に、端子付き電線製造システム100においては、一般に1分間あたり数枚~数十枚の画像データとそれに対応した判定結果を得ることができるため、機械学習型の画像判定部5による判定精度を、あらかじめ画像データを準備する場合と比較して、短時間で飛躍的に向上させることができる。
ここで、学習モデル63を更新して機械学習型の画像判定部5による判定精度を向上させる場合には、例えば、図6に示すように、学習モデル63を生成する学習モデル生成部41を更に設け、その学習モデル生成部41が、画像判定装置1と通信を行うことにより、情報出力部7から出力される画像判定部4,5のそれぞれの判定結果と撮影画像データ61とを用いて、学習モデル63を更新してもよい。
例えば、図6に示すように、端子付き電線製造システム100は、通信装置24と情報処理装置40とを更に備える。通信装置24は、例えば設備操作用コンピュータ22内に設けられ、有線または無線によるネットワークを介して、外部(端子付き電線製造システム100の外部の装置)および情報処理装置40との通信を行う装置である。通信装置24は、画像判定装置1の記憶部6に記憶可能な学習モデル63を含む各種情報の通信を行うことが可能となっている。
情報処理装置40は、学習モデル生成部41と通信装置42とを有する。情報処理装置40は、プログラム処理を行うPCやサーバ等のコンピュータである。学習モデル生成部41は、上記コンピュータによるプログラム処理によって実現されている。通信装置42は、有線または無線によるネットワークを介して、端子付き電線製造システム100の外部の装置や制御装置20内の通信装置24と通信を行う装置である。例えば、情報処理装置40における学習モデル生成部41は、通信装置42を介して制御装置20の通信装置24と通信を行うことにより、画像判定装置1との間で、各種データの送受信が可能となっている。
例えば、情報処理装置40は、制御装置20と通信を行うことにより、情報出力部7から出力される画像判定部4,5のそれぞれの判定結果のデータと、撮影画像データ61と、学習モデル63とを画像判定装置1から受信する。そして、情報処理装置40の学習モデル生成部41が、受信したそれらのデータを用いて学習することにより学習モデル63を更新し、更新した学習モデル63を制御装置20を介して画像判定装置1に送信して記憶部6内の学習モデル63を書き換える。
このように、学習モデル生成部41によって学習モデル63を随時更新することにより、機械学習型の画像判定処理による判定精度を効果的に高めることが可能となる。
なお、学習モデル生成部41は、情報処理装置40によるプログラム処理によって実現される場合に限られない。例えば、学習モデル生成部41は、画像判定装置1内に設けられていてもよいし、制御装置20内に設けられていてもよい。すなわち、学習モデル生成部41は、画像判定装置1または制御装置20を構成するプログラム処理装置によるプログラム処理によって実現されてもよい。
また、端子付き電線製造システム100と情報処理装置40との間の通信は、制御装置20の通信装置24を介して行う場合に限られない。例えば、画像判定装置1に外部と通信を行うための通信装置を新たに設け、その通信装置と情報処理装置40の通信装置42との間で(例えば、有線または無線のネットワークを介して)、学習モデル63を含む各種データの送受信を行ってもよい。
更に、このような方法で更新された学習モデル63は、記憶部6から外部に取り出し可能になっていてもよい。例えば、図7Aに示すように、端子付き電線製造システム100は、有線または無線によるネットワーク500を介して、他の端子付き電線製造システム100と通信可能に構成されていてもよい。例えば、一つの端子付き電線製造システム100において更新された学習モデル63を、他の端子付き電線製造システム100にそれぞれ送信することにより、他の端子付き電線製造システム100における学習モデル63を書き換えてもよい。
図7Aに示す端子付き電線製造システム100間の通信は、図6に示したように、制御装置20に設けられた通信装置24を介して行ってもよいし、画像判定装置1に通信装置を設け、その通信装置を介して行ってもよい。
これによれば、一つの端子付き電線製造システム100が稼働することによって判定精度が高められた最新の学習モデル63を、他の端子付き電線製造システム100の画像判定装置等に適用することが容易となる。なお、他の端子付き電線製造システム100は、前述の一つの端子付き電線製造システム100と同じ工場内にあってもよく、異なる工場内にあってもよい。
また、例えば、図7Bに示すように、端子付き電線製造システム100と外部の情報処理装置300(例えばサーバ)とがネットワーク500を介して通信可能にされ、学習モデル63が外部の情報処理装置300内の記憶装置301に保存されるようにしてもよい。また、外部の情報処理装置300内の記憶装置301に保存された学習モデル63は、端子付き電線製造システム100または他の制御装置等により、適切に更新されるようにしてもよい。
このように、画像判定装置1によって学習が進んだ学習モデル63を読み出し可能にすることにより、他の画像判定装置への展開が容易となる。これにより、学習モデルを作成するためだけに別途設備を用意する必要がなく、また、学習モデルの精度を高めるための学習時間を短縮することができるので、学習モデルを作成するための作業コストおよび設備コストを削減することが可能となる。
また、機械学習型の画像判定処理によれば、自己学習によって基準画像との違いを分類することが可能であるため、検査のための特別のアルゴリズムを開発する必要が無く、単に画像と検査領域を設定するだけで検査が可能となる。また、検査精度に個体差が少ないという利点もある。
また、実施の形態1に係る画像判定装置1において、情報出力部7は、複数の画像判定部4,5の全てが検査対象の端子付き電線200を良品と判定した場合に、検査対象の端子付き電線200が良品であることを示す情報を出力し、複数の画像判定部4,5の少なくとも一つが検査対象の端子付き電線200を不良品と判定した場合に、複数の画像判定部4,5によるそれぞれの判定結果の情報を出力する。
これによれば、何れか一方の画像判定部4,5によって検査対象の端子付き電線200が不良品と判定された場合に、端子付き電線製造システム100を管理している作業者等に検査対象の端子付き電線200が不良品である可能性があることを通知することができる。これにより、機械学習型の画像判定部5または非機械学習型の画像判定部4が誤判定した理由を、作業者等が目視により、即時に客観的に理解することが可能となる。その後、誤判定を行った方の画像判定部のパラメータを調整することにより、画像判定装置の判定精度を向上させることが可能となる。
また、作業者等は、画像判定部4、5の双方の判定結果を確認することにより、画像判定部4、5のどちらが誤判定を行ったのかを目視等により確認することができるので、誤判定を行った画像判定部の判定処理に係るパラメータを調整して、画像判定装置1の判定精度の向上を図ることが可能となる。例えば、学習済みの機械学習型の画像判定部5の出力を用いて、非機械学習型の画像判定部4の判定基準となる基準データ62を書き換え可能にしてもよい。
また、機械学習型の画像判定部5の事前学習が不十分な場合(十分な学習をさせる時間がない場合や、学習用の画像を多く準備できない場合)などには、初期段階では非機械学習型の画像判定部4の出力のみを判定結果として採用し、機械学習型の画像判定部5にはその間学習させることもできる。この場合、機械学習型の画像判定部5は、初期状態では未学習であってもよい。
また、この場合に、機械学習型の画像判定部5の学習が進んで、非機械学習型の画像判定部4の判定結果と同様の判定結果が出るようになった時点(例えば直近の判定で判定の相違が1%程度)で、非機械学習型の画像判定部4の出力と機械学習型の画像判定部5の出力の両方を画像判定装置1による判定に用いるようにしてもよい。
このように、実施の形態1に係る画像判定装置1によれば、不良品の市場への流出を防ぎつつ、機械学習型の画像検査装置の判定精度を効果的に高めることが可能となる。また、画像判定装置1によれば、端子付き電線の製造を行いつつ、機械学習を効率よく進めることが可能となるので、学習時間を短縮することができる。特に、初期段階において、機械学習型の画像判定部が不十分な場合でも、判定精度を担保できる効果が発揮され、装置立ち上げ時、工程立ち上げ時等の負荷を大幅に削減することができる。
≪実施の形態2≫
図8は、実施の形態2に係る端子付き電線製造システムの構成を示す図である。
実施の形態2に係る端子付き電線製造システム100Aの画像判定装置1Aは、端子付き電線200の端子圧着部の良否判定のみならず、端子付き電線200の端子圧着部の圧着状態の適否(理想状態のみならず、許容範囲を含む適否)を画像判定処理によって判定する機能を有する点において、実施の形態1に係る画像判定装置1と相違する。
実施の形態2に係る画像判定装置1Aにおいて、画像判定部5Aは、実施の形態1と同様の端子付き電線200の端子圧着部の位置の適否を判定するための機械学習型の画像判定処理に加えて、端子付き電線200の端子圧着部の状態の適否を判定するための機械学習型の画像判定処理を行う。
端子付き電線200の端子圧着部の状態の適否を判定するための機械学習型の画像判定処理は、例えば、良品と判定された端子付き電線200の端子圧着部に対して実行される。
具体的に、画像判定部5Aは、機械学習(例えば、CNN)による端子付き電線200の端子圧着部の状態に関する学習モデル65(以下、「端子圧着部検査用学習モデル65」とも称する。)と、撮像装置8によって撮影された画像の端子圧着部を含む領域の画像情報とに基づいて、端子圧着部の状態の適否を判定する。
本実施の形態では、端子付き電線200の端子圧着部の状態の適否の判定処理として、(1)芯線202の出代の適否を判定する画像判定処理、(2)被覆203の端部203aの位置の適否を判定する画像判定処理、(3)ベルマウス214、215の形状の適否を判定する画像判定処理について、それぞれ説明する。
(1)芯線の出代の適否を判定する画像判定処理
一般に、端子付き電線200の端子圧着部の芯線の出代、すなわち、端子付き電線200の端子圧着部における圧着端子のワイヤーバレル212の端部から(嵌合部211の方向に)突出する芯線202の長さは、適切に設定する必要がある。
図9A~図9Cは、端子付き電線200の端子圧着部における芯線の出代の状態を模式的に示す図である。
図9Aには、芯線202の出代が適切な状態である端子付き電線200の端子圧着部の側面図が示され、図9Bには、芯線202の出代が短い状態である端子付き電線200の端子圧着部の側面図が示され、図9Cには、芯線202の出代が長い状態である端子付き電線200の端子圧着部の側面図が示されている。
例えば、図9Bに示すように、芯線202の出代が短い、または出代が無い場合、圧着した部分の抵抗の増加に起因する発熱により、焼損等の不良を招く虞がある。また、図9Cに示すように、芯線202の出代が長すぎる場合、芯線202と端子との嵌合不良や端子抜け等の不良を招く虞がある。そのため、端子付き電線200の端子圧着部では、図9Aに示すように、芯線202がワイヤーバレル212から適切な長さだけ突出していることが望ましい。
芯線202の出代は、圧着加工時に圧着加工用の金型に電線をセットしたときの、金型に対する電線の位置に依存する。金型に対する電線の位置は、端子圧着装置11の自動圧着機に設定されるモータ移動のパルス数等のパラメータに基づいて決定される。
しかしながら、上述したパラメータに一定の値が設定されている場合であっても、自動圧着機の稼働により、電線と金型との位置関係の経時的な変化が生じて、芯線202の出代が変化する虞がある。
そこで、実施の形態2に係る端子付き電線製造システム100Aでは、機械学習型の画像判定部5Aによって、芯線202の出代の適否を判定する。
先ず、端子付き電線製造システム100Aでは、端子圧着部検査用学習モデル65として、芯線202の出代に関する学習モデル651を生成する。例えば、芯線202の出代が適切である端子付き電線200の端子圧着部の画像として図9Aに示すような端子圧着部の画像を複数(例えば、数十枚~数百枚)準備するとともに、芯線202の出代が不適切である端子付き電線200の端子圧着部の画像として図9Bおよび図9Cに示すような端子圧着部の画像を複数(例えば、数十枚~数百枚)準備し、それらの画像を画像判定部5Aに入力して学習させることにより、学習モデル651を生成する。
ここで、学習モデル651は、例えば、ニューラルネットワークの入力層に入力された端子圧着部の画像(例えば、図9A~図9Cに示す画像における領域501の画像情報)に対して所定の重み付け係数に基づく演算を行い、芯線202の出代の適否に関する判定結果を定量化した値を上記ニューラルネットワークの出力層から出力するように、情報処理装置(コンピュータ)を機能させるためのプログラムである。
上述のように生成した学習モデル651は、上述した学習モデル63と同様に記憶部6Aに予め記憶される。
画像判定部5Aは、撮影画像データ61と、予め登録された学習モデル651とに基づいて、検査対象の端子付き電線200の端子圧着部における芯線202の出代の適否を判定する。
画像判定部5Aによって、芯線202の出代が適切と判定された場合(例えば、検査対象の画像における芯線202の出代が図7Aに示す状態に類似している場合)、情報出力部7は、その判定結果を出力する。設備制御部21は、情報出力部7から出力された判定結果に応じて、これまで通り、端子付き電線200の製造を継続する。
一方、画像判定部5Aによって、芯線202の出代が不適切であるとする判定結果がn(nは2以上の整数)回連続した場合、端子付き電線製造システム100Aは、以下のように動作する。
例えば、検査対象の画像における芯線202の出代が図7Bに示す状態(芯線202の出代が短い状態)に類似しているという判定結果がn回連続して画像判定部5Aから出力された場合、画像判定装置1Aの情報出力部7Aがそのことを示す情報を出力する。設備制御部21は、情報出力部7Aから出力された情報に応じて、端子圧着装置11を制御して端子の位置を調整する。例えば、設備制御部21は、芯線202の出代が長くなるように端子圧着装置11の自動圧着機におけるモータ移動のパルス数等のパラメータの設定値を変更する。
また、例えば、検査対象の画像における芯線202の出代が図9Cに示す状態(芯線202の出代が長い状態)に類似しているという判定結果がn回連続して画像判定部5Aから出力された場合、画像判定装置1Aの情報出力部7Aがそのことを示す情報を出力する。設備制御部21は、情報出力部7Aから出力された情報に応じて、端子圧着装置11を制御して端子の位置を調整する。例えば、設備制御部21は、芯線202の出代が短くなるように端子圧着装置11の自動圧着機におけるモータ移動のパルス数等のパラメータの設定値を変更する。
なお、画像判定装置1Aは、芯線202の出代が不適切であるとする判定結果がn回連続した場合、警告情報を出力してもよい。
例えば、入力された画像が図9Bまたは図9Cに示す状態の画像に類似するという判定結果がn回連続して画像判定部5Aから出力された場合に、情報出力部7Aが警告情報を出力する。設備制御部21は、情報出力部7Aから出力された警告情報に応じて、芯線202の出代を適切にするために端子圧着装置11の調整(メンテナンス)が必要であることを示す情報を、設備操作用コンピュータ22の表示装置23に表示させてもよい。
(2)被覆203の端部203aの位置の適否を判定する画像判定処理
図10A~図10Cは、端子付き電線200の端子圧着部における被覆の端部の位置を模式的に示す図である。
図10Aには、被覆の端部が適切な位置にある端子圧着部の側面図が示され、図10Bには、被覆の端部がワイヤーバレル近傍にある端子圧着部の側面図が示され、図10Cには、被覆の端部がインシュレーションバレル近傍にある端子圧着部の側面図が示されている。
一般に、端子付き電線200の端子圧着部では、電線の被覆の端部がインシュレーションバレルに適切に収まっている必要がある。
例えば、図10Bに示すように、被覆の端部がワイヤーバレル側に近づきすぎて、ワイヤーバレルに被覆の端部が挟まれた場合、断線し易くなる虞がある。また、図10Cに示すように、被覆の端部がインシュレーションバレル側に近づきすぎて、被覆の端部がインシュレーションバレル内に位置する場合、電線の被覆の端部の保持が不十分になり、ワイヤーバレルなどで断線するなどの不良が発生する虞がある。そのため、圧着端子では、図10Aに示すように、ワイヤーバレルとインシュレーションバレルとの間の空間において被覆のある部分と被覆のない部分との比が1:1になっていることが望ましい。
端子付き電線200の被覆の端部の位置は、端子圧着装置11における自動圧着機に設定される被覆除去部分の長さに関するパラメータに基づいて決定される。しかしながら、上述したパラメータに一定の値が設定されている場合であっても、自動圧着機の稼働により、電線と金型との位置関係の経時変化が生じて、被覆の端部の位置が変化する虞がある。
そこで、実施の形態2に係る端子付き電線製造システム100Aでは、機械学習型の画像判定部5Aによって、被覆203の端部203aの位置の適否を判定する。
先ず、端子付き電線製造システム100Aでは、端子圧着部検査用学習モデル65として、被覆203の端部203aの位置に関する学習モデル652を生成する。
例えば、被覆203の端部203aが適切な位置にある端子圧着部の画像として図8Aに示すような端子圧着部の画像を複数(例えば、数十枚~数百枚)準備するとともに、被覆203の端部203aが不適切な位置にある端子圧着部の画像として図10Bおよび図10Cに示すような端子圧着部の画像を複数(例えば、数十枚~数百枚)準備し、それらを画像判定部5Aに入力して学習させることにより、学習モデル652を生成する。
ここで、学習モデル652は、例えば、ニューラルネットワークの入力層に入力された端子付き電線200の端子圧着部の画像(例えば、図10A~図10Cに示す画像における領域502の画像情報)に対して所定の重み付け係数に基づく演算を行い、被覆203の端部203aの適否に関する判定結果を定量化した値を上記ニューラルネットワークの出力層から出力するように、情報処理装置(コンピュータ)を機能させるためのプログラムである。
上述のように生成した学習モデル652は、上述した学習モデル63と同様に記憶部6Aに予め記憶される。
画像判定部5Aは、撮影画像データ61と、予め登録された学習モデル652とに基づいて、検査対象の端子付き電線200の端子圧着部における被覆203の端部203aの位置の適否を判定する。
画像判定部5Aによって、被覆203の端部203aの位置が適切と判定された場合(例えば、検査対象の画像における被覆203の端部203aの位置が図10Aに示す状態に類似している場合)、情報出力部7は、その判定結果を出力する。設備制御部21は、情報出力部7から出力された判定結果に応じて、これまで通り、端子付き電線200の製造を継続する。
一方、画像判定部5Aによって、被覆203の端部203aの位置が不適切であるとする判定結果がn回連続した場合、端子付き電線製造システム100Aは、以下のように動作する。
例えば、検査対象の画像における被覆203の端部203aの位置が図10Bに示す状態(被覆203の剥離長さが長い状態)に類似しているという判定結果がn回連続して画像判定部5Aから出力された場合、画像判定装置1Aの情報出力部7Aがそのことを示す情報を出力する。設備制御部21は、情報出力部7Aから出力された情報に応じて、端子圧着装置11を制御して端子の位置を調整する。例えば、設備制御部21は、被覆203の剥離長さが短くなるように、端子圧着装置11の自動圧着機における被覆の剥離長さに関するパラメータの設定値を変更する。
また、例えば、設備制御部21は、検査対象の画像における被覆203の端部203aの位置が図10Cに示す状態(被覆203の剥離長さが短い状態)に類似しているという判定結果がn回連続した場合、画像判定装置1Aの情報出力部7Aがそのことを示す情報を出力する。設備制御部21は、情報出力部7Aから出力された情報に応じて、端子圧着装置11を制御して端子の位置を調整する。例えば、設備制御部21は、被覆203の剥離長さが長くなるように、端子圧着装置11の自動圧着機における被覆の剥離長さに関するパラメータの設定値を変更する。
なお、画像判定装置1Aは、被覆203の端部203aの位置が不適切であるとする判定結果がn回連続した場合、警告情報を出力してもよい。
例えば、入力された画像が図10Bまたは図10Cに示す状態の画像に類似するという判定結果がn回連続して画像判定部5Aから出力された場合に、情報出力部7Aが警告情報を出力する。設備制御部21は、情報出力部7Aから出力された警告情報に応じて、被覆203の端部203aの位置を適切にするために端子圧着装置11の調整(メンテナンス)が必要であることを示す情報を、設備操作用コンピュータ22の表示装置23に表示させてもよい。
(3)ベルマウス214、215の形状の適否を判定する画像判定処理
図11A~図11Cは、端子付き電線200の端子圧着部におけるベルマウスを模式的に示す図である。
図11Aには、適切なベルマウス214,215が形成された端子付き電線200の端子圧着部の側面図が示され、図9Bには、前方(嵌合部211側)のベルマウス214が後方(インシュレーションバレル213側)のベルマウス215よりも大きく形成された端子付き電線200の端子圧着部の側面図が示され、図9Cには、後方のベルマウス215が前方のベルマウス214よりも大きく形成された端子付き電線200の端子圧着部の側面図が示されている。
一般に、端子付き電線200の端子圧着部では、圧着端子と金型の位置関係が正しい場合、ワイヤーバレル212の前後両方にベルマウス214,215が形成される。例えば、図11Aに示すように、端子付き電線200の端子圧着部では、ベルマウス214,215の形状が均等であることが望ましい。
しかしながら、経時変化等で端子と金型との位置関係が正常な初期状態から変化し、図11Bまたは図11Cに示すように、前方のベルマウス214と後方のベルマウス215の形状が不均等になる場合がある。このように、ベルマウス214、215の形状が不均等になった場合、ワイヤーバレル212のエッジ(ベルマウス214、215)に芯線202が接触し、断線等の不良が発生する虞がある。
このため、端子と金型の位置関係の経時変化が小さいうちに検出して、メンテナンスを促す機能が期待される。そこで、実施の形態2に係る端子付き電線製造システム100Aでは、機械学習型の画像判定部5Aによって、ベルマウス214,215の形状の適否を判定する。
先ず、端子付き電線製造システム100Aでは、端子圧着部検査用学習モデル65として、ベルマウスの形状に関する学習モデル653を生成する。
例えば、ベルマウス214,215が適切に形成された端子圧着部の画像として図11Aに示すような端子圧着部の画像を複数(例えば、数十枚~数百枚)準備するとともに、ベルマウス214,215が不適切な形状である端子圧着部の画像として図11Bおよび図11Cに示すような端子圧着部の画像を複数(例えば、数十枚~数百枚)準備し、それらの画像を画像判定部5Aに入力して学習させることにより、学習モデル653を生成する。
ここで、学習モデル653は、例えば、ニューラルネットワークの入力層に入力された端子付き電線200の端子圧着部の画像(例えば、図11A~図11Cに示す画像における領域503の画像情報)に対して所定の重み付け係数に基づく演算を行い、ベルマウス214,215の形状の適否に関する判定結果を定量化した値を上記ニューラルネットワークの出力層から出力するように、情報処理装置(コンピュータ)を機能させるためのプログラムである。
上述のように生成した学習モデル653は、上述した学習モデル63と同様に記憶部6Aに予め記憶される。
画像判定部5Aは、撮影画像データ61と、予め登録された学習モデル653とに基づいて、検査対象の端子付き電線200の端子圧着部におけるベルマウス214,215の形状の適否を判定する。
画像判定部5Aによって、ベルマウス214,215の形状が適切と判定された場合(例えば、検査対象の画像におけるベルマウス214,215の形状が図11Aに示す状態に類似している場合)、情報出力部7は、その判定結果を出力する。設備制御部21は、情報出力部7から出力された判定結果に応じて、これまで通り、端子付き電線200の製造を継続する。
一方、ベルマウス214,215の形状が不適切であるとする判定結果がn回連続して画像判定部5Aから出力された場合、画像判定装置1Aは、警告情報を出力する。
例えば、入力された画像が図11Bまたは図11Cに示す状態の画像に類似するという判定結果がn回連続して画像判定部5Aから出力された場合に、情報出力部7Aが警告情報を出力する。設備制御部21は、情報出力部7Aから出力された警告情報に応じて、端子と金型との位置関係を適切にするために端子圧着装置11の調整(メンテナンス)が必要であることを示す情報を、設備操作用コンピュータ22の表示装置23に表示させる。
次に、実施の形態2に係る端子付き電線製造システム100Aによる検査工程(ステップS2)について説明する。
図12は、実施の形態2に係る端子付き電線製造システム100Aによる検査工程(ステップS2)の流れを示すフロー図である。
図12に示すように、実施の形態2に係る端子付き電線製造システム100Aによる検査工程は、端子付き電線200の端子圧着部の位置の良否判定のための機械学習による画像判定処理(ステップS23)の後に、端子付き電線200の端子圧着部の状態の画像判定処理を実行する点において、実施の形態1に係る端子付き電線製造システム100による検査工程と相違し、その他の点においては、実施の形態1に係る端子付き電線製造システム100による検査工程と同様である。
図12に示すように、ステップS23における端子付き電線200の端子圧着部の良否判定のための機械学習による画像判定処理が終了した後、画像判定部5Aが、ステップS1で製造された端子付き電線200の端子圧着部の状態の適否を判定するための機械学習型の画像判定処理を実行する(ステップS28)。
図13は、ステップS28における端子付き電線200の端子圧着部の状態の適否を判定するための機械学習型の画像判定処理の流れを示すフロー図である。
ステップS28において、先ず、画像判定部5Aが、ステップS21で取得した撮影画像データ61に含まれる端子付き電線200の端子圧着部の画像から検査範囲を特定する(ステップS31)。
例えば、芯線202の出代の適否を検査する場合、図9A~図9Cにおける領域501を検査範囲として特定する。また、例えば、被覆203の端部203aの位置の適否を検査する場合、図10A~図10Cにおける領域502を検査範囲として特定する。また、例えば、ベルマウス214,215の形状の適否を検査する場合、図11A~図11Cにおける領域503を検査範囲として特定する。
次に、画像判定部5Aが、ステップS21で取得した画像のステップS31で特定された検査範囲の画像情報と、記憶部6Aに記憶されている学習モデル65とに基づいて、端子圧着部の状態の適否を判定する(ステップS32)。
例えば、芯線202の出代の適否を検査する場合、画像判定部5Aは、ステップS31で特定した図9A~図9Cにおける領域501の画像情報と学習モデル651とに基づいて、上述した手法により、芯線202の出代の適否を判定する。また、例えば、被覆203の端部203aの位置の適否を検査する場合、画像判定部5Aは、ステップS31で特定した図10A~図10Cにおける領域502の画像情報と学習モデル652とに基づいて、上述した手法により、被覆203の端部203aの位置の適否を判定する。また、例えば、ベルマウス214,215の形状の適否を検査する場合、画像判定部5Aは、ステップS31で特定した図11A~図11Cにおける領域503の画像情報と学習モデル653とに基づいて、上述した手法により、ベルマウス214,215の形状の適否を判定する。
ステップS32の判定処理によって、端子付き電線200の端子圧着部が適切と判定された場合(ステップS33:Yes)、ステップS28の処理が終了し、設備制御部21は、端子圧着装置11および画像判定装置1Aを制御して、端子付き電線200の製造および検査を継続させる。
一方、ステップS32の判定処理により、端子付き電線200の端子圧着部が不適切と判定された場合(ステップS33:No)、情報出力部7は、端子圧着部が不適切であるとする判定結果がn回連続したか否かを判定する(ステップS34)。具体的には、上述したように、入力された画像が図11B,図11C等に示す状態の画像に類似するという判定結果がn回連続して画像判定部5Aから出力されたか否かを、情報出力部7が判定する。
ステップS34において、端子圧着部が不適切であるとする判定結果がn回連続していない場合、ステップS28の処理が終了し、設備制御部21は、端子圧着装置11および画像判定装置1Aを制御して、端子付き電線200の製造および検査を継続させる。
一方、ステップS34において、端子圧着部が不適切であるとする判定結果がn回連続した場合、上述したように、制御装置20(設備制御部21)が端子圧着装置11(例えば自動圧着機)のパラメータの設定値を変更し、または、画像判定装置1A(情報出力部7A)が警告情報を出力する(ステップS35)。
以上の処理手順により、端子付き電線200の端子圧着部の状態の適否を判定するための機械学習型の画像判定処理が行われる。
以上、実施の形態2に係る画像判定装置1Aにおいて、画像判定部5Aは、端子付き電線200の端子圧着部に関する学習モデル65(学習モデル651,652,653)と、撮影した画像における端子付き電線200の端子圧着部を含む領域の画像情報とに基づいて、端子付き電線200の端子圧着部の適否を判定する。
例えば、上述したように、画像判定部5Aが、ワイヤーバレルの212に対する芯線202の出代、被覆203の端部203aの位置、およびワイヤーバレル212に形成されたベルマウス214,215の形状についての適否を、機械学習型の画像判定処理によって判定する。これによれば、良品の端子付き電線200が製造されている状況であっても、端子圧着装置11で発生する経時変化(経時に伴う電線および端子と金型との位置関係のずれや金型の摩耗等)に起因する不良品の発生を未然に防ぐことが可能となる。
また、実施の形態2に係る端子付き電線製造システム100Aにおいて、端子付き電線200の端子圧着部が不適切であるとする判定結果がn回連続した場合に、端子圧着装置を制御して端子の位置を調整してもよい。これによれば、管理者等の作業コストを低減することが可能となる。
例えば、ワイヤーバレルの212に対する芯線202の出代が不適切であるとする判定結果がn回連続した場合に、芯線202の出代を調整するように、端子圧着装置11の自動圧着機におけるモータ移動のパルス数等のパラメータの設定値を変更する。これによれば、管理者等が芯線202の出代を再調整する作業コストを低減することができる。
また、例えば、被覆203の端部203aの位置が不適切であるとする判定結果がn回連続した場合に、被覆203の剥離長さを調整するように、端子圧着装置11の自動圧着機における被覆の剥離長さに関するパラメータの設定値を変更する。これによれば、管理者等が被覆203の剥離長さを再調整する作業コストを低減することができる。
更に、実施の形態2に係る端子付き電線製造システム100Aにおいて、端子付き電線200の端子圧着部が不適切であるとする判定結果がn回連続した場合に、画像判定装置1A(情報出力部7A)が警告情報を出力してもよい。
例えば、上述したように、ベルマウス214,215の形状が不適切であるとする判定結果がn回連続した場合に、画像判定装置1Aが警告情報を出力することにより、設備操作用コンピュータ22が、端子および電線と金型との位置関係を適切にするために端子圧着装置11の調整(メンテナンス)が必要であることを示す情報を表示装置23に表示してもよい。
これによれば、ベルマウス214,215の形状の不均等が小さい初期段階において、端子および金型の位置関係のメンテナンスが可能となり、正常なベルマウスを維持することが可能となる。
このように、実施の形態2に係る画像判定装置1Aによれば、不良品の発生を未然に防ぐことが可能となるので、不良品の市場への流出を防ぐことが可能となる。
また、実施の形態2に係る画像判定装置1Aによれば、従来、熟練者の目視と経験によって不良品の発生の前兆を発見して対処した項目も、機械学習型の画像判定処理によって自動的に検出することができるので、作業効率の向上が期待できる。
なお、実施の形態2に係る画像判定装置1Aにおいて、機械学習型の画像判定部5Aの事前学習が不十分な場合に関しては、前述の実施の形態1に係る画像判定装置1と同様、初期段階では非機械学習型の画像判定部4の出力を優先して採用し、機械学習型の画像判定部5Aには学習させる対応が可能である。また、機械学習型の画像判定部5Aの学習が進んだ場合にも、前述の実施の形態1に係る画像判定装置1と同様の対応が可能である。
≪実施の形態3≫
図14は、実施の形態3に係る端子付き電線製造システムの構成を示す図である。
実施の形態3に係る端子付き電線製造システム100Gの画像判定装置1Gは、端子付き電線200の端子圧着部の判定結果に基づいて、学習モデルの更新を行う機能を有する点において、実施の形態1に係る画像判定装置1と相違する。
図14に示すように、実施の形態3に係る画像判定装置1Bは、学習モデル取得部31と学習モデル生成部32とを更に有する。学習モデル取得部31および学習モデル生成部32は、例えば、画像判定装置1Bを構成するコンピュータのプログラム処理によって実現される。
学習モデル取得部31は、画像判定装置1Gの外部から学習型の画像判定部5による判定処理に用いる学習モデル63を取得し、記憶部6に記憶するための機能部である。
例えば、学習モデル取得部31は、ネットワーク500に接続されている他の端子付き電線製造システム100または情報処理装置300に記憶されている学習モデル63を、制御装置20の通信装置24を用いて取得し、記憶部6に記憶する。なお、通信装置24は、画像判定装置1Gが有していてもよい。
学習モデル生成部32は、学習モデル63を生成する機能部である。学習モデル生成部32は、画像判定部の判定結果に基づいて学習モデルを更新する。例えば、学習モデル生成部32は、非機械学習型の画像判定部4によって判定された撮影画像データ61と、当該撮影画像データ61に関する画像判定部4の判定結果とを用いて再学習することにより、記憶部6に記憶されている学習モデル63を更新する。
例えば、学習モデル生成部32は、検査対象の撮影画像データ61に、当該撮影画像データ61に関する非機械学習型の画像判定部4の判定結果を正解情報としてラベリングした学習用画像(学習データ)を生成し、その学習データを再学習することにより、学習モデル63を更新する。
図15は、実施の形態3に係る端子付き電線製造システム100Gによる端子付き電線の製造方法の流れを示す図である。
同図に示されるように、端子付き電線製造システム100Gでは、先ず、端子圧着装置11が、上述した手法により、電線の端部に端子を圧着して端子付き電線200を形成する(端子圧着工程:ステップS1)。
次に、画像判定装置1Bが、学習モデル63を取得する(ステップS3)。例えば、学習モデル取得部31が、通信装置24を介して、ネットワーク500に接続された他の端子付き電線製造システム100または情報処理装置300に記憶されている学習モデル63を取得し、記憶部6に記憶する。
次に、ステップS1で形成した端子付き電線200を撮像装置8によって撮影し、その撮影した画像データに基づいて、ステップS1で形成した端子付き電線200の端子圧着部の良否を判定する(検査工程:ステップS2)。ここでは、ステップS2で取得した学習モデルを用いて、上述した検査処理が行われる。なお、検査処理の流れは図5のとおりである。検査工程で良品と判定された端子付き電線200は、その後の種々の工程を経て、端子付き電線またはワイヤハーネスなどとして出荷可能となる。
次に、画像判定装置1Bは、ステップS2の検査工程による検査結果に基づいて、ステップS3で取得した学習モデル63を更新する(ステップS4)。例えば、上述したように、学習モデル生成部32が、ステップS2の検査工程において良否の判定が行われた撮影画像データ61に、当該撮影画像データ61に関する非機械学習型の画像判定部4の判定結果をラベリングした学習データを再学習することにより、記憶部6に記憶されている学習モデル63を更新する。
次に、端子付き電線製造システム100Gは、端子付き電線の製造を終了するか否かを判定する(ステップS5)。例えば、設備操作用コンピュータ22から端子付き電線の製造を中止する指令が出力されていない場合には、端子圧着装置11が新たな端子付き電線の製造を開始し、画像判定装置1Gが新たな製造された端子付き電線の良否判定を行う(ステップS1~S5)。
一方、ステップS5において、設備操作用コンピュータ22から端子付き電線の製造を中止する指令が出力されている場合には、端子圧着装置11が新たな端子付き電線の製造を停止するとともに、画像判定装置1Gが、ステップS4で更新した学習モデル63を、外部に送信する(ステップS6)。
例えば、学習モデル生成部32が、ステップS4において再学習によって更新した学習モデル63を、通信装置24を介してネットワーク500に接続された情報処理装置300または他の端子付き電線製造システム100に送信する。学習モデル63を受信した情報処理装置300または他の端子付き電線製造システム100は、受信した学習モデル63に基づいて、自らが記憶していた学習モデル63を更新する。
このように実施の形態3に係る画像判定装置1Gによれば、端子付き電線を製造しながら学習モデル63を最適化することができるので、端子付き電線を製造する工程と、学習モデル65を更新するための工程をそれぞれ別々に行う必要がない。これにより、効率よく機械学習型の画像判定処理の精度を向上させることが可能となる。
また、画像判定装置1Gによれば、更新した学習モデル63を、ネットワーク500を介して接続された他の端子付き電線製造システム100や情報処理装置(サーバ)300に送信することができるので、他の端子付き電線製造システム100との間で、機械学習型の画像判定処理の精度を均一にすることができる。
≪実施の形態4≫
図16は、実施の形態4に係る端子付き電線製造システムの構成を示す図である。
実施の形態4に係る端子付き電線製造システム100Hの画像判定装置1Hは、機械学習型の画像判定部4の判定精度に基づいて、画像データの判定方法を切り替える機能を有する点において、実施の形態3に係る画像判定装置1Gと相違する。
図16に示すように、実施の形態4に係る画像判定装置1Hは、信頼性判定部33を更に有する。信頼性判定部33は、例えば、画像判定装置1Hを構成するコンピュータのプログラム処理によって実現される。
信頼性判定部33は、機械学習型の画像判定部5による画像判定処理の信頼性を判定するための機能部である。信頼性判定部33は、機械学習型の画像判定部5の判定精度を表す指標(パラメータ)を算出し、その指標と所定の基準値とを比較して、機械学習型の画像判定部5による画像判定処理の信頼性を判定する。
ここで、所定の基準値は、機械学習型の画像判定部5による画像判定処理の信頼性を測るための指標となる値であり、例えば、非機械学習型の画像判定部4の画像判定精度を表す値、またはそれに準じた値である。
信頼性判定部33は、例えば、画像判定装置1Hにおいて過去に行われた非機械学習型の画像判定部4の判定結果と機械学習型の画像判定部5の判定結果の一致度合に基づいて、機械学習型の画像判定部5の判定精度を算出する。信頼性判定部33は、算出した判定精度が所定の基準値よりも高い場合に、機械学習型の画像判定部5による画像判定処理の信頼性が高いと判定し、算出した判定精度が所定の基準値よりも低い場合に、機械学習型の画像判定部5による画像判定処理の信頼性が低いと判定する。
情報出力部7Hは、機械学習型の画像判定部5の判定精度が所定の基準値を超えていない場合、すなわち信頼性判定部33によって機械学習型の画像判定部5による画像判定処理の信頼性が低いと判定された場合には、実施の形態1に係る情報出力部7と同様に、非機械学習型の画像判定部4の判定結果と機械学習型の画像判定部5の判定結果とに基づいて、端子圧着部の良否に関する情報を生成して出力する。
一方、機械学習型の画像判定部5の判定精度が所定の基準値を超えている場合、すなわち信頼性判定部33によって機械学習型の画像判定部5による画像判定処理の信頼性が高いと判定された場合には、情報出力部7Hは、非機械学習型の画像判定部4による判定結果を用いることなく、機械学習型の画像判定部5の判定結果に基づいて、端子圧着部の良否に関する情報を生成して出力する。なお、この場合には、非機械学習型の画像判定部4による判定処理を停止させてもよい。
図17は、実施の形態4に係る端子付き電線製造システム100Hによる端子付き電線の製造方法の流れを示す図である。
同図に示されるように、端子付き電線製造システム100Hでは、先ず、端子圧着装置11が上述した手法により、電線の端部に端子を圧着して端子付き電線200を形成する(端子圧着工程:ステップS1)。
次に、画像判定装置1Hが、学習モデル63を取得する(ステップS3)。例えば、学習モデル取得部31が、通信装置24を介して、ネットワーク500に接続されている他の端子付き電線製造システム100または情報処理装置300に記憶されている学習モデル63を取得し、記憶部6に記憶する。
次に、画像判定装置1Hが、学習型の画像判定処理の判定精度が基準値を超えているか否かを判定する(ステップS7)。例えば、上述したように、信頼性判定部33が、ステップS3で取得した学習モデル63を用いた画像判定部5の判定精度を算出し、その判定精度と所定の基準値とを比較して、画像判定部5による画像判定処理の信頼性を判定する。
ステップS7において、信頼性判定部33が、画像判定部5による画像判定処理の信頼性が低いと判定した場合には、実施の形態1と同様に、非機械学習型の画像判定処理と学習型の画像判定処理を行う検査工程を実施する(ステップS2)。
一方、信頼性判定部33が、画像判定部5による画像判定処理の信頼性が低いと判定した場合には、上述したように、画像判定部4による非機械学習型の画像判定処理を行わず、画像判定部5による学習型の画像判定処理の判定結果に基づいて、端子付き電線の圧着部の良否を判定する検査工程を実施する(ステップS8)。
ステップS2の後、画像判定装置1Hは、ステップS2の検査工程による検査結果に基づいて、ステップS3で取得した学習モデル63を更新する(ステップS4)。例えば、上述したように、学習モデル生成部32が、ステップS2の検査工程において良否の判定が行われた撮影画像データ61に、当該撮影画像データ61に関する非機械学習型の画像判定部4の判定結果をラベリングした学習データを再学習することにより、記憶部6に記憶されている学習モデル63を更新する。
次に、端子付き電線製造システム100Hは、端子付き電線の製造を終了するか否かを判定する(ステップS9)。例えば、設備操作用コンピュータ22から端子付き電線の製造を中止する指令が出力されていない場合には、端子圧着装置11が新たな端子付き電線の製造を開始し、上述したステップS1~S8までの処理が行われる。
一方、ステップS9において、設備操作用コンピュータ22から端子付き電線の製造を中止する指令が出力されている場合には、端子圧着装置11が新たな端子付き電線の製造を停止するとともに、画像判定装置1Hが、ステップS4で更新した学習モデル63を、外部に送信する(ステップS10)。例えば、実施の形態3に係る画像判定装置1Gと同様に、学習モデル生成部32が、ステップS4において再学習によって更新した学習モデル63を、通信装置24を介して、ネットワーク500に接続されている情報処理装置300または他の端子付き電線製造システム100に送信する。
なお、学習モデル63の更新(ステップS4)が行われていない場合には、画像判定装置1Bは、学習モデル63の送信(ステップS10)を行わずに、上記の一連の処理を終了してもよい。
このように実施の形態4に係る画像判定装置1Hによれば、学習モデル63が更新され、学習型の画像判定処理の判定精度が十分に高くなった場合には、非機械学習型の画像判定処理を行わず、学習型の画像判定処理のみを行うように画像判定装置1Hが自ら判断して判定方法を切り替えるので、ユーザが学習型の画像判定処理の判定精度を解析して、画像判定装置1Hのプログラムを書き換える等の作業を行う必要がない。
また、製造される端子付き電線の数が増えて判定精度が十分に高くなった学習モデル63は、ネットワーク500を介して外部のサーバや他の端子付き電線製造システム100Hに送信されるので、他の端子付き電線製造システム100Hによる学習型の画像判定処理の判定精度も向上させることが可能となる。
≪実施の形態の拡張≫
以上、本発明者らによってなされた発明を実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
例えば、上記実施の形態に係る画像判定装置1,1Aでは、端子付き電線200の端子圧着部の良否判定に係る複数の画像判定処理の一つが非機械学習型の画像判定処理である場合を例示したが、これに限られない。
具体的には、画像判定装置は、異なる技法に基づく機械学習型の画像判定処理を実行し、夫々の画像判定処理の判定結果に基づいて、対象物(端子付き電線200の端子圧着部)の良否に関する情報を生成して出力してもよい。
例えば、図18に示すように、画像判定装置1Bは、第1の技法に基づく機械学習による学習モデル63Bと対象物(端子付き電線200の端子圧着部)を撮影した画像とに基づいて対象物の良否を判定する第1の画像判定部5Bと、第1の技法と異なる第2の技法の機械学習による学習モデル63Cと対象物(端子付き電線200の端子圧着部)を撮影した画像とに基づいて対象物の良否を判定する第2の画像判定部5Cとを有していてもよい。
ここで、第1の画像判定部5Bは、例えば、自動符号化器を利用して自己学習するオートエンコーダ型の機械学習に基づく画像判定処理を実行し、第2の画像判定部5Cは、例えば、画素を分類するセグメンテーション型の機械学習に基づく画像判定処理を実行してもよい。
これによれば、一つの機械学習に基づく画像判定処理のみによって対象物の良否を判定する場合に比べて、画像判定装置による判定精度を向上させることが可能となる。
なお、第1の画像判定部5Bと第2の画像判定部5Cとは、同一の技法に基づく機械学習型の画像判定処理を実行してもよい。例えば、第1の画像判定部5BがCNN等の学習済みの学習モデル63Bを用いて画像判定を行い、第2の画像判定部5Cが、第1の画像判定部5Bと同一の技法の、学習モデル63Bよりも学習が進んでいない学習モデル63Cを用いて画像判定を行ってもよい。
また、上記実施の形態では、画像判定装置1,1Aがそれぞれ2つの画像判定部を備える場合を例示したが、画像判定装置1,1Aは、3つ以上の画像判定部を備えていてもよい。
例えば、図19に示す端子付き電線製造システム100Cにおける画像検査装置10C内の画像判定装置1Cは、機械学習型の画像判定部5D、5Eに加えて、非機械学習型の画像判定部4を有していてもよい。ここで、画像判定部5D、5Eは、例えば、上述した画像判定部5,5A,5B,5Cの何れかと同様の技法による機械学習型の画像判定処理を行う。
図19に示す端子付き電線製造システム100Cにおいて、例えば、情報出力部7は、画像判定処理を行う全ての画像判定部4、5D、5Eが検査対象の端子付き電線200を良品と判定した場合に、検査対象の端子付き電線200が良品であることを示す情報を出力し、画像判定部4、5D、5Eのうち少なくとも一つの画像判定部が検査対象の端子付き電線200を不良品と判定した場合に、端子付き電線200の端子圧着部に関する各画像判定部の判定結果の情報を出力すればよい。なお、各画像判定部4、5D、5Eは、例えば、互いに異なるアルゴリズムの画像判定処理を行うことが好ましい。
これによれば、画像判定装置による判定精度を更に向上させることが可能となる。
また、上記実施の形態において、複数の画像判定部から異なる判定結果が出力された場合には、その判定結果に基づいて、画像判定処理に係る各種パラメータを更新してもよい。
例えば、実施の形態1において、機械学習型の画像判定部5が誤判定を行った場合、誤判定となった画像と、正しい判定結果の情報とを画像判定部5に入力して再学習させ、学習モデル63を更新してもよい。機械学習型の画像判定部5の再学習は、端子付き電線200の製造中(以下、「オンライン」とも称する。)に実施されてもよいし、端子付き電線200の製造中以外(以下、「オフライン」とも称する。)に実施されてもよい。
また、例えば、実施の形態1において、非機械学習型の画像判定部4が誤判定を行った場合、オフラインにおいて判定閾値を調整してもよい。
また、上記実施の形態では、情報出力部7,7Aによる複数の画像判定部4,5(5A,5B)の判定結果の比較を、オンラインで行う場合を例示したが、オフラインで実施してもよい。例えば、画像入力の形態やデータの出力方式が画像判定部4と画像判定部5との間で異なり、オンラインでの同時検査が向かない場合は、画像判定部4および画像判定部5の何れか一方の画像判定処理をオフラインとしてもよい。
また、実施の形態2において、非機械学習型の画像判定部4によって端子付き電線200の端子圧着部の良否判定を行い、機械学習型の画像判定部5Aによって端子付き電線200の端子圧着部の状態の適否判定を行ってもよい。
また、上記実施の形態において、各画像判定部4,5,5A~5Cが一つの情報処理装置(コンピュータ)によって実現される場合を例示したが、これに限られず、各画像判定部4,5,5A~5Cが複数の情報処理装置によって実現されてもよい。例えば、実施の形態1において、画像判定部4と画像判定部5とがそれぞれ異なる情報処理装置(コンピュータ)によって実現されてもよい。
また、上記実施の形態において、画像判定装置1,1Aによる検査の対象物が端子付き電線200の端子圧着部である場合を例示したが、これに限られず、これまで作業者等の目視によって良品/不良品の検査を行っていた他の製品についても、本実施の形態に係る画像判定技術を適用することが可能である。例えば、画像データと判定結果との組み合わせが時間の経過とともに増加する(好ましくは連続的に得られる)システムへの適用が好適である。
また、上記実施の形態に係る画像検査装置において、非機械学習型の画像判定部と機械学習型の画像判定部において、撮像装置や出力手段が共用できない場合等のように、一方の画像判定部のみを備えた画像検査装置が最終形態として望まれる場合には、一定期間併用した後に、誤判定率の少ない画像判定部を選択してもよい。この場合の最終的な画像判定部の優劣の決定方法としては、一定期間に収集した画像を用いて再検査をする方法が考えられる。例えば、不良品を良品と判定する誤判定結果(または良品を不良品と判定する誤判定結果)が両方の画像判定部で同数出現するように判定閾値を設定する。この状態において、夫々の画像判定部が取得済の画像を用いて再検査する。そして、夫々の画像判定部による良品を不良品と判定した誤判定結果(または不良品を良品と判定した誤判定結果)の回数を比較し、誤判定の数が少ない方の画像判定部を優れた画像判定部として選択すればよい。
また、上述のフローチャートは、動作を説明するための一例を示すものであって、これに限定されない。すなわち、フローチャートの各図に示したステップは一例であって、このフローに限定されるものではない。例えば、一部の処理の順番が変更されてもよいし、各処理間に他の処理が挿入されてもよいし、一部の処理が並列に行われてもよい。
なお、実施の形態3,4では、実施の形態1に係る端子付き電線製造システム100をベースとして、学習モデル取得部31、学習モデル生成部32、および信頼性判定部33を更に追加する構成を例示したが、これに限られず、実施の形態2に係る端子付き電線製造システム100Aに学習モデル取得部31、学習モデル生成部32、および信頼性判定部33を追加してもよい。