JP7406094B2

JP7406094B2 - クラス分類装置、学習済みモデル生成部、クラス推論部及びクラス分類方法

Info

Publication number: JP7406094B2
Application number: JP2020045301A
Authority: JP
Inventors: 弘二平野; 厚裕日比; 純梅村; 雄介今野
Original assignee: Nippon Steel Corp
Current assignee: Nippon Steel Corp
Priority date: 2020-03-16
Filing date: 2020-03-16
Publication date: 2023-12-27
Anticipated expiration: 2040-03-16
Also published as: JP2021149157A

Description

本発明は、クラス分類装置、学習済みモデル生成部、クラス推論部及びクラス分類方法に関する。

近年、多くの産業分野において、機械学習手法によって学習された識別器を用いることで、膨大なデータから経験や知識を抽出して自動化に繋げる動きが活発となっている。特に画像認識分野では、画像分類やセマンティック・セグメンテーションといった諸問題に対して、深層学習（ディープ・ラーニング）をはじめとするニューラルネットワークを基とした識別器により、飛躍的な精度向上が確認されている。

例えば、鉄鋼材料の製造工程においては、製品又は半製品の表面を撮像した画像を用いた欠陥の判別において、深層学習が活用されつつある（例えば、以下の特許文献１を参照。）。

特開２０１９－９５９３２号公報

一方、鉄鋼製品の表面画像の分類に深層学習を用いる従来の技術では、ニューラルネットワークへの入力情報としては、着目する製造工程のその場所で撮像した画像のみであり、時に分類精度が十分でない場合があるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数の製造工程を経て製造される対象物の表面に関する画像を、より優れた精度で分類することが可能な、クラス分類装置、学習済みモデル生成部、クラス推論部及びクラス分類方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数の製造工程を経て製造される対象物の表面を撮像して得られた撮像画像に基づいて、前記撮像画像又は前記撮像画像の各画素を、いずれかのクラスに分類するクラス分類装置において、所定の製造工程で、前記対象物の表面の所定の位置を撮像して得られた撮像画像と、前記所定の位置に関する関連情報と、前記撮像画像のクラスに関する情報とを、教師データとして深層学習を行うことで、学習済みモデルを生成する、学習済みモデル生成部と、前記所定の製造工程で、検査対象となる対象物の表面の所定の位置を撮像して得られた撮像画像と、当該所定の位置に関する関連情報とを、前記学習済みモデルに入力することで、当該撮像画像又は当該撮像画像の各画素を、いずれかのクラスに分類する、クラス推論部と、を有し、前記関連情報は、前記所定の製造工程とは異なる他の製造工程において、前記所定の位置を撮像して得られた前記撮像画像、前記対象物が検査される製造工程とは異なる他の製造工程における製造条件、前記所定の位置の位置情報、前記対象物の種別に関する種別情報、前記対象物を構成する成分に関する成分情報、前記対象物の製造ロットとは異なる製造ロットにおける情報、又は、前記対象物の表面の高さに関する高さ情報の少なくとも何れか一つを含む、クラス分類装置が提供される。
また、上記課題を解決するために、本発明のある観点によれば、複数の製造工程を経て製造される対象物の表面を撮像して得られた撮像画像に基づいて、前記撮像画像又は前記撮像画像の各画素を、いずれかのクラスに分類するクラス分類装置において、所定の製造工程で、前記対象物の表面の所定の位置を撮像して得られた撮像画像と、前記所定の位置に関する関連情報と、前記撮像画像のクラスに関する情報とを、教師データとして深層学習を行うことで、学習済みモデルを生成する、学習済みモデル生成部と、前記所定の製造工程で、検査対象となる対象物の表面の所定の位置を撮像して得られた撮像画像と、当該所定の位置に関する関連情報とを、前記学習済みモデルに入力することで、当該撮像画像又は当該撮像画像の各画素を、いずれかのクラスに分類する、クラス推論部と、を有し、前記関連情報は、前記撮像画像と対応する画素数の画像データへと変換された上で用いられる、クラス分類装置が提供される。

また、上記課題を解決するために、本発明のある観点によれば、所定の製造工程で、複数の製造工程を経て製造される対象物の表面の所定の位置を撮像して得られた撮像画像と、前記所定の位置に関する関連情報と、前記撮像画像のクラスに関する情報とを、教師データとして深層学習を行うことで、学習済みモデルを生成し、前記関連情報は、前記所定の製造工程とは異なる他の製造工程において、前記所定の位置を撮像して得られた前記撮像画像、前記対象物が検査される製造工程とは異なる他の製造工程における製造条件、前記所定の位置の位置情報、前記対象物の種別に関する種別情報、前記対象物を構成する成分に関する成分情報、前記対象物の製造ロットとは異なる製造ロットにおける情報、又は、前記対象物の表面の高さに関する高さ情報の少なくとも何れか一つを含む、学習済みモデル生成部が提供される。

また、上記課題を解決するために、本発明のある観点によれば、所定の製造工程で、複数の製造工程を経て製造される対象物の表面の所定の位置を撮像して得られた撮像画像と、前記所定の位置に関する関連情報と、前記撮像画像のクラスに関する情報とを、教師データとして深層学習を行うことで、生成された学習済みモデルを用いて、前記所定の製造工程で、検査対象となる対象物の表面の所定の位置を撮像して得られた撮像画像と、当該所定の位置に関する関連情報とを、前記学習済みモデルに入力することで、当該撮像画像又は当該撮像画像の各画素を、いずれかのクラスに分類し、前記関連情報は、前記所定の製造工程とは異なる他の製造工程において、前記所定の位置を撮像して得られた前記撮像画像、前記対象物が検査される製造工程とは異なる他の製造工程における製造条件、前記所定の位置の位置情報、前記対象物の種別に関する種別情報、前記対象物を構成する成分に関する成分情報、前記対象物の製造ロットとは異なる製造ロットにおける情報、又は、前記対象物の表面の高さに関する高さ情報の少なくとも何れか一つを含む、クラス推論部が提供される。
また、上記課題を解決するために、本発明のある観点によれば、所定の製造工程で、複数の製造工程を経て製造される対象物の表面の所定の位置を撮像して得られた撮像画像と、前記所定の位置に関する関連情報と、前記撮像画像のクラスに関する情報とを、教師データとして深層学習を行うことで、生成された学習済みモデルを用いて、前記所定の製造工程で、検査対象となる対象物の表面の所定の位置を撮像して得られた撮像画像と、当該所定の位置に関する関連情報とを、前記学習済みモデルに入力することで、当該撮像画像又は当該撮像画像の各画素を、いずれかのクラスに分類し、前記関連情報は、前記撮像画像と対応する画素数の画像データへと変換された上で用いられる、クラス推論部が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、複数の製造工程を経て製造される対象物の表面を撮像して得られた撮像画像に基づいて、前記撮像画像又は前記撮像画像の各画素を、いずれかのクラスに分類するクラス分類方法において、所定の製造工程で、前記対象物の表面の所定の位置を撮像して得られた撮像画像と、前記所定の位置に関する関連情報と、前記撮像画像のクラスに関する情報とを、教師データとして深層学習を行うことで、学習済みモデルを生成する、学習済みモデル生成ステップと、前記所定の製造工程で、検査対象となる対象物の表面の所定の位置を撮像して得られた撮像画像と、当該所定の位置に関する関連情報とを、前記学習済みモデルに入力することで、当該撮像画像又は当該撮像画像の各画素を、いずれかのクラスに分類する、クラス推論ステップと、を有し、前記関連情報は、前記所定の製造工程とは異なる他の製造工程において、前記所定の位置を撮像して得られた前記撮像画像、前記対象物が検査される製造工程とは異なる他の製造工程における製造条件、前記所定の位置の位置情報、前記対象物の種別に関する種別情報、前記対象物を構成する成分に関する成分情報、前記対象物の製造ロットとは異なる製造ロットにおける情報、又は、前記対象物の表面の高さに関する高さ情報の少なくとも何れか一つを含む、クラス分類方法が提供される。

以上説明したように本発明によれば、複数の製造工程を経て製造される対象物の表面に関する画像を、より優れた精度で分類することが可能となる。

本発明の実施形態に係るクラス分類装置の全体構成の一例を示したブロック図である。同実施形態に係るクラス分類装置の演算処理部の構成の一例を示したブロック図である。同実施形態に係る学習済みモデル生成部における学習済みモデル生成処理について説明するための説明図である。同実施形態に係る学習済みモデル生成処理における教師データについて説明するための説明図である。同実施形態に係る学習済みモデル生成処理における教師データについて説明するための説明図である。同実施形態に係る学習済みモデル生成処理における教師データについて説明するための説明図である。同実施形態に係る学習済みモデル生成処理における教師データについて説明するための説明図である。同実施形態に係る学習済みモデル生成処理における教師データについて説明するための説明図である。同実施形態に係るクラス推論部におけるクラス推論処理について説明するための説明図である。同実施形態に係るクラス分類方法の流れの一例を示した流れ図である。同実施形態に係るクラス分類装置のハードウェア構成の一例を示したブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（深層学習技術において頻繁に用いられる主な用語の定義）
以下で詳述する本発明の実施形態は、いわゆる「深層学習（ディープ・ラーニング）」技術に関するものである。以下では、まず、本発明の実施形態で着目する「深層学習」技術において頻繁に用いられる主な用語について、改めて定義を行う。

「教師データ」とは、深層学習で推論しようと考えるデータと同種のデータのうち、明らかな欠測値や外れ値があるといった例外的なデータを除去する等の各種の前処理を行った後、残ったデータと、そのデータに対応する正解情報データ（例えば人が目視することによって見出される、そのデータの推論の結果とすべき正解を示す情報）を組み合わせて生成されたデータであり、後述する「学習済みモデル」の学習に用いられるデータを意味する。

「学習用プログラム」とは、多数の教師データの中から一定の規則を見出して、見出した規則を表現するモデルを生成するためのアルゴリズムを実行するプログラムを意味する。より詳細には、入力されたデータを推論し、正解を導くことができるようにするために、入力された多数の教師データに含まれるデータを、ニューラルネットワーク等を構成する多層階のノードにおいて演算処理を行い、得られた結果を当該教師データに対応する正解データと比較し、比較の結果得られる差分を小さくするように（即ち、損失関数を最小化するように）、多層階の演算処理で用いられる種々のパラメータを調整するアルゴリズムを有したプログラムを意味する。

「学習済みモデル」とは、多数の教師データを用いて学習用プログラムを学習（即ち、学習用プログラムを用いてパラメータを最適化）させることで得られた「学習済みパラメータ」が組み込まれた、「推論プログラム」を意味する。そのため、学習済みモデルに対応する形式のデータを入力すると、理想的には、入力されたデータに対応する正解が推論結果として演算されることになる。

「学習済みパラメータ」とは、着目した深層学習の手法において、多数の教師データを用いて学習用プログラムを学習させた結果として、入力されたデータからそのデータに対応する正解を導くための最適化が進んだ場合に、後述する推論プログラムで用いることができるように、読み出し可能に保持されたパラメータ（係数）を意味する。このようなパラメータの一例として、深層学習における各ノード間のリンクの重み付けに用いられる重み付け係数を挙げることができる。

「推論プログラム」とは、組み込まれた学習済みパラメータを適用することで、入力されたデータを推論し、当該データに対応する正解を演算するプログラムをいう。推論プログラムの例としては、学習済みパラメータに基づき入力及び各層のノード出力に重み付け演算を施し、所定の非線形要素を作用させて次層のノード入力とするような、深層学習における演算処理を挙げることができる。

（クラス分類装置１０の全体構成について）
以下では、図１を参照しながら、本発明の実施形態に係るクラス分類装置１０の全体構成について説明する。図１は、本実施形態に係るクラス分類装置１０の構成の一例を示したブロック図である。

本実施形態に係るクラス分類装置１０は、複数の製造工程を経て製造される対象物の表面を撮像して得られた撮像画像に基づいて、撮像画像又は撮像画像の各画素を、いずれかのクラスに分類する装置である。このクラス分類装置１０は、上記で定義したような学習済みモデルを用いて、上記撮像画像のクラスを推論することで、撮像画像内の対象物を、撮像画像全体ごとに又は撮像画像を構成する画素ごとに、所定のクラスに分類する。また所定のクラスへの分類に加え、対象物が存在する領域を、当該領域に外接する外接長方形等によって、明示するような処理を行ってもよい。

ここで、本実施形態の対象物は、上記のように、複数の製造工程を経て製造される。ここで、複数の製造工程とは、例えば鉄鋼製品の各種の素材を用いて製銑・製鋼処理を行い、熱間圧延や冷間圧延等の圧延処理を行い、各種の熱処理工程を行い、・・・といった、原料から製品（又は半製品）が製造されるまでの一連の工程の少なくとも一部と捉えることも可能であるし、例えば、ある製品（又は半製品）から各種規格（例えば、ＪＩＳ等の各種団体により規定される規格）に基づく試験片を製造し、この試験片に対して各種の評価試験を実施して、試験結果が反映された試験結果物を得るまでを、試験結果物を得るための複数の製造工程として捉えることも可能である。

本実施形態に係るクラス分類装置１０は、図１に示したように、データ取得部１０１と、演算処理部１０３と、出力制御部１０５と、表示制御部１０７と、記憶部１０９と、を主に有する。

データ取得部１０１は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、入力装置、通信装置等により実現される。データ取得部１０１は、学習済みモデルの生成に用いられる教師データを取得したり、対象物の表面を撮像した撮像画像を取得したりする。また、データ取得部１０１は、対象物の表面を撮像した撮像画像に関連した各種の情報を、関連情報として取得する。この関連情報については、以下で詳述する。データ取得部１０１は、取得したこれらのデータを、後述する演算処理部１０３に出力する。

演算処理部１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。演算処理部１０３は、データ取得部１０１が取得した教師データを取得し、かかる教師データを利用して、学習済みモデルの生成処理を実施することが可能である。また、演算処理部１０３は、データ取得部１０１が取得した、対象物の撮像画像及び関連情報を取得し、かかる撮像画像及び関連情報に対して以下で説明する演算処理を行って、撮像画像中の対象物を、撮像画像全体ごとに又は撮像画像を構成する画素ごとに、所定のクラスに分類する。演算処理部１０３は、対象物のクラスに関する演算処理を終了すると、得られた演算結果に関する情報を、結果出力部１０５や記憶部１０９に伝送したり、クラス分類装置１０の外部に設けられた各種機器等に伝送したりする。また、演算処理部１０３は、所定のクラスへの分類に加え、対象物が存在する領域を、当該領域に外接する外接長方形等によって、明示するような処理を行ってもよい。

なお、この演算処理部１０３については、以下で改めて詳細に説明する。

結果出力部１０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置、通信装置等により実現される。結果出力部１０５は、演算処理部１０３から出力された、対象物のクラス分類に関する情報を、クラス分類装置１０のユーザに出力する。具体的には、結果出力部１０５は、演算処理部１０３から出力された対象物のクラス分類結果に関するデータを、当該データが生成された日時等に関する時刻データと対応づけて、各種サーバや制御装置に出力したり、プリンタ等の出力装置を利用して紙媒体として出力したりする。また、結果出力部１０５は、対象物のクラス分類結果に関するデータを、外部に設けられたコンピュータ等の各種の情報処理装置や各種の記録媒体に出力してもよい。

また、結果出力部１０５は、演算処理部１０３による対象物のクラス分類結果に関するデータを、後述する表示制御部１０７に伝送することができる。

表示制御部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置、通信装置等により実現される。表示制御部１０７は、結果出力部１０５から伝送された、対象物のクラス分類結果を、クラス分類装置１０が備えるディスプレイ等の出力装置やクラス分類装置１０の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、クラス分類装置１０のユーザは、対象物のクラス分類結果を、その場で把握することが可能となる。

記憶部１０９は、クラス分類装置１０が備える記憶装置の一例であり、例えば、ＲＯＭ、ＲＡＭ、ストレージ装置等により実現される。この記憶部１０９には、クラス分類装置１０で実行可能な各種の学習用プログラムや、学習用プログラムが適切に実施されることで生成される学習済みモデル等といった、各種のプログラムやデータ等が格納される。また、記憶部１０９には、本実施形態に係るクラス分類装置１０が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過（例えば、事前に格納されている各種のデータやデータベース、及び、プログラム等）が、適宜記録される。この記憶部１０９は、データ取得部１０１、演算処理部１０３、結果出力部１０５、表示制御部１０７等が、自由にデータのリード／ライト処理を行うことが可能である。

（演算処理部１０３の構成について）
続いて、図２～図５を参照しながら、本実施形態に係るクラス分類装置１０が備える演算処理部１０３の構成の一例について、詳細に説明する。
図２は、本実施形態に係るクラス分類装置１０の演算処理部１０３の構成の一例を示したブロック図である。図３は、本実施形態に係る学習済みモデル生成部における学習済みモデル生成処理１１１について説明するための説明図である。図４Ａ～図４Ｅは、本実施形態に係る学習済みモデル生成処理における教師データについて説明するための説明図である。図５は、本実施形態に係るクラス推論部におけるクラス推論処理について説明するための説明図である。

本実施形態に係る演算処理部１０３は、図２に模式的に示したように、学習済みモデル生成部１１１と、クラス推論部１１３と、を有する。

学習済みモデル生成部１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。学習済みモデル生成部１１１は、図３に模式的に示したように、取得した教師データを用いて、所定の学習用プログラムを実施することで、所定の深層学習の手法に基づく学習済みモデルを生成する。

より詳細には、学習済みモデル生成部１１１には、教師データとして、対象物の表面の所定の位置を撮像して得られた撮像画像と、当該撮影画像を得た際の撮像対象となった位置である所定の位置の、当該所定の位置に関する関連情報と、正解情報である撮像画像のクラスに関する情報とが入力され、深層学習における重み付け演算を行い、学習中のモデルから得られた推論結果と、学習させた正解情報とのずれを、所定の損失関数で評価する。その上で、学習済みモデル生成部１１１は、損失関数を最小化するように、所定の深層学習の手法における重み付け演算の重み付け係数を学習する。これにより、重み付け係数が最適化され、入力された教師データに基づく学習済みパラメータを得ることができ、学習済みパラメータと推論プログラムとを組み合わせた、学習済みモデルを得ることが可能となる。

学習済みモデル生成部１１１で用いられる深層学習の手法については、特に限定されるものではなく、各種の深層学習の手法を適用することが可能である。このような深層学習の手法として、例えば、畳み込みニューラルネットワーク等に代表される各種のニューラルネットワークを挙げることができる。

また、本実施形態に係る学習済みモデル生成部１１１は、撮像画像と関連情報とについて深層学習を行う際に、撮像画像と関連情報とを互いに独立した（好ましくは、縦及び横で同一の画素数を持った）画像として学習させてもよいし、撮像画像と関連情報とをまとめて１つの画像としてから学習させてもよい。

本実施形態に係る学習済みモデル生成部１１１で用いられる教師データは、図３に模式的に示したように、分類対象物の表面の所定の位置を撮像して得られた撮像画像と、当該所定の位置に関する関連情報と、撮像画像のクラスに関する正解を記述したクラスに関する情報とから構成されている。

複数の製造工程を経て製造される対象物では、着目している製造工程での対象物の表面の状態が、それよりも前の製造工程で行われた意図的な又は意図しない行為によってや、それよりも前の製造工程で生じた何らかの事象によって影響を受けている。そこで、撮像画像に加えて、その何らか原因となったもの（行為や事象）の因果関係を関連情報として学習させることで、ニューラルネットワークを用いた分類処理のより一層の精度向上を図ることが可能となる。

このような所定の位置に関する関連情報として、例えば、（ａ）所定の製造工程とは異なる他の製造工程において、所定の位置を撮像して得られた撮像画像、（ｂ）対象物が検査される製造工程とは異なる他の製造工程における製造条件、（ｃ）所定の位置の位置情報、（ｄ）対象物の種別に関する種別情報、（ｅ）対象物を構成する成分に関する成分情報、（ｆ）対象物の製造ロットとは異なる製造ロットにおける情報、又は、（ｇ）対象物の表面の高さに関する高さ情報等を挙げることができる。これらの関連情報は、単独で用いてもよいし、いくつかを組み合わせて用いてもよいし、全てを組み合わせて用いてもよい。

上記（ａ）に関して、例えば溶融亜鉛めっき鋼板の製造ラインにおいて、着目する製造工程よりも上流に位置する製造工程において、着目する製造工程で発生する表面性状の端緒となる何らかの事象が発現している可能性がある。より詳細には、溶融亜鉛めっきを実施した後のめっき鋼板の表面を撮像した撮像画像で発見しうる表面性状の一つの端緒が、溶融亜鉛めっき工程よりも上流に位置する、めっき対象鋼板の酸洗工程での鋼板表面で発現している可能性がある。そのため、酸洗工程における鋼板表面の撮像画像と、溶融亜鉛めっき工程におけるめっき後の鋼板表面の撮像画像との因果関係を、関連情報として学習させることで、分類精度のより一層の向上を図ることが可能となる。

例えば図４Ａに模式的に示したように、溶融亜鉛めっきラインにおけるめっき後の鋼板表面の画像を撮像画像として用いる際に、２次元データ形式の関連情報として、めっきラインより上流の製造工程であるコイル酸洗工程における、めっき後に撮像画像を撮像した位置に対応する鋼板表面の位置の情報を用いてもよい。ここで、図４ＡにおけるＣ軸方向は、対象物の幅方向であり、Ｘ軸方向は、対象物の搬送方向（長手方向）となっている。上記（ａ）の場合に、教師データとして与えられる正解情報は、めっきラインにおける鋼板表面の撮像画像に生じている表面性状のクラスを示すデータとなる。

また、上記（ｂ）に関して、例えばある鋼板の表面に発生しうる表面性状の一つの端緒が、対応する鋼板を製造する際に使用される半製品（例えばスラブ等）を製造する連続鋳造工程における鋳型引き抜き速度や、熱間圧延工程における鋼板表面の温度分布等に起因している場合がある。そのため、連続鋳造工程における鋳型引き抜き速度、又は、熱間圧延工程における温度分布という製造条件と、鋼板表面に生じうる表面性状との因果関係を、関連情報として学習させることで、分類精度のより一層の向上を図ることが可能となる。

例えば図４Ｂの最上段に模式的に示したように、溶融亜鉛めっきラインにおけるめっき後の鋼板表面の画像を撮像画像として用いる際に、１次元データ形式の関連情報として、引き抜き速度の推移を用いてもよい。上記（ｂ）の場合に、教師データとして与えられる正解情報は、めっきラインにおける鋼板表面の撮像画像に生じている表面性状のクラスを示すデータとなる。

また、学習済みモデルの生成に用いられる教師データのうち主たるものは、着目する分類対象物の表面を撮像した撮像画像であるため、この撮像画像とともに学習される関連情報も、画像データであることがより好ましい。そのため、関連情報は、撮像画像と対応する画素数の画像データへと変換された上で用いられることが好ましい。換言すれば、対応する撮像画像にあわせて、関連情報の表現方法を変換してもよい。

例えば、図４Ｂの最上段に例示したような１次元データを、鋼板表面画像と同じサイズとなるように幅方向（Ｃ軸方向）に拡張して、撮像画像と対応する画素数の画像データとする。その上で、各画素の画素値として、鋳型引き抜き速度を画像の濃淡に置換したものを割り当てることが好ましい（図４Ｂ中段を参照。）。この場合、鋳型引き抜き速度は、鋼板の各幅方向位置で同じと考えられるため、画像化された関連情報画像のあるＸ座標において幅方向の値の分布に着目した場合、その値は互いに同じ値となる。また、関連情報を、図４Ｂの中段に示したような濃淡画像ではなく、例えば等高線図のような２次元データとして取り扱うことも可能である。

また、例えば図４Ｂの最下段に示したように、溶融亜鉛めっきラインにおけるめっき後の鋼板表面の画像を撮像画像として用いる際に、２次元データ形式の関連情報として、撮像画像の撮像部位に対応するコイル位置を熱間圧延した際の温度分布を画像化して用いてもよい。

また、上記（ｃ）に関して、例えば、搬送ライン上を搬送される鋼板において、鋼板の搬送方向の先端部又は末端部である種の表面性状が発生しやすい、鋼板の幅方向の端部である種の表面性状が発生しやすい、又は、鋼板の幅方向中央部である種の表面性状が発生しやすい、といったことが生じうる。そのため、撮像画像について、着目している対象物をマクロ的に見たときに、対象物のどの位置を撮像したものか、という位置情報との因果関係を関連情報として学習させることで、分類精度のより一層の向上を図ることが可能となる。

そこで、例えば図４Ｃに模式的に示したように、ある位置における鋼板表面の画像を撮像画像として用いる際に、２次元データ形式の関連情報として、鋼板をマクロ的に見た場合の板幅方向（Ｃ軸方向）の座標及び長手方向（Ｘ軸方向）の座標を、関連情報として用いることが可能である。この際、板幅方向（Ｃ軸方向）について、鋼板の左端及び右端で±１．００の値となるように座標を規格化したり、長手方向（Ｘ軸方向）について、一方の端部の座標が０．００となり他方の端部の座標が１．００となるように座標を規格化したりしてもよい。また、関連情報データを、図４Ｃに示したような二次元マトリックス情報とするのではなく、座標値を画像の濃淡に置き換えたような濃淡画像としてもよい。上記（ｃ）の場合に、教師データとして与えられる正解情報は、鋼板表面の撮像画像に生じている表面性状のクラスを示すデータとなる。

また、上記（ｄ）、（ｅ）に関して、例えば、ある鋼種において生じやすい表面性状がある、化学成分の含有量に応じて生じやすい表面性状がある、等のように、対象物の種別や対象物を構成する成分と、ある位置にて鋼板表面に発生する表面性状との間に、因果関係が存在することも多い。そのため、図４Ｄ上段に示したように、スカラーデータの関連情報として、鋼種に付与した名称や識別番号等の文字列データを用いてもよいし、図４Ｄ下段に示したように、鋼板の成分含有量（例えば、質量％）等を、スカラーデータ（単一元素の場合）やベクトルデータ（多元素の場合）として用いてもよい。上記（ｄ）、（ｅ）の場合に、教師データとして与えられる正解情報は、鋼板表面の撮像画像に生じている表面性状のクラスを示すデータとなる。

また、上記（ｆ）に関して、例えば、鋼板の圧延工程で用いられるロール表面の劣化に応じて、押し疵等の表面性状が発生しやすくなる、というような、製造設備の状態（正常か、問題が発生しているか等）と、ある位置での撮像画像と、の間での因果関係が生じる可能性もある。そのため、図４Ｅの上段に示したように、ある製造ロットでの鋼板表面画像の関連情報として、それよりも以前の製造ロットでの鋼板表面画像を用いることも可能である。上記（ｆ）の場合に、教師データとして与えられる正解情報は、鋼板表面の撮像画像に生じている表面性状のクラスを示すデータとなる。

一方、シャルピー衝撃試験等の破断試験は、鉄鋼製品に代表されるような金属の靭性を評価するために行われる試験であり、靭性を評価する指標として、破断面面積に対する延性面の割合である延性面率や、破断面面積に対する脆性面の割合である脆性面率等が頻繁に用いられる。これら割合の計測においては、破断面のどの部分が延性面や脆性面であるかを特定する必要があるが、このような判断には熟練を要し、判断者によるバラツキがあることが知られている。そこで、ある計測対象物から破断試験用の試験片を製造する工程と、得られた試験片に対して破断試験を実施して、破断後の試験片を得る工程とを、一連の製造工程として捉えることも可能である。

この場合に、ヒトが破断後の試験片を見て意識的又は無意識的に判断に用いる情報と、破断面画像から抽出しうる各種の情報（例えば、破断面を平面視したときの形状に関する情報や、色合いに関する情報・・・等）と、の補間のために、上記（ｇ）に示したような、対象物の表面の高さに関する高さ情報を用いることも可能である（図４Ｅ下段を参照。）。これにより、破断面の表面にどのような凹凸が生じているか、という情報と、どの部分が延性面／破断面であるか、という分類との間の因果関係を学習させることが可能となり、分類精度のより一層の向上を図ることが可能となる。

この場合に、関連情報である高さ情報は、図４Ｅ下段に示したように、高さを画像の濃淡に置換した濃淡画像で表現することも可能であるし、等高線図のような画像とすることも可能である。また、教師データとして与えられる正解情報は、例えば、各画素について、脆性面（又は延性面）である確率を示すデータとなる。

このように、本実施形態に係る学習済みモデル生成部１１１では、教師データに、上記のような関連情報を追加することで、複数の製造工程を経て製造される対象物の表面に関する画像をより優れた精度で分類するための学習済みモデルを生成することができる。

学習済みモデル生成部１１１は、以上のような教師データを用いて学習済みモデルを生成すると、生成した学習済みモデルを記憶部１０９に格納するとともに、後述するクラス推論部１１３へと出力する。

クラス推論部１１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。クラス推論部１１３は、図５に模式的に示したように、所定の製造工程で、検査対象となる対象物の表面の所定の位置を撮像して得られた撮像画像と、この所定の位置に関する関連情報とを、学習済みモデルに入力することで、撮像画像又は撮像画像の各画素を、いずれかのクラスに分類する。すなわち、本実施形態に係るクラス推論部１１３は、入力された撮像画像について、学習済みモデルを用いて、画像分類処理（撮像画像自体を、いずれかのクラスに分類する処理）、セマンティック・セグメンテーション処理（撮像画像の各画素を、いずれかのクラスに分類する処理）、又は、ディテクション処理（所定のクラスへの分類に加え、対象物が存在する領域を、当該領域に外接する外接長方形等によって、明示するような処理）を実施する。

クラス推論部１１３は、以上のようにして、学習済みモデルによる入力された撮像画像についてのクラス推論結果を得ると、得られた推論結果を、撮像画像のクラス分類結果として、結果出力部１０５に出力する。

以上、図２～図５を参照しながら、本実施形態に係るクラス分類装置１０が備える演算処理部１０３の構成の一例について、詳細に説明した。

以上、図１～図５を参照しながら、本実施形態に係るクラス分類装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。

なお、上述のような本実施形態に係るクラス分類装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

（クラス分類方法について）
続いて、図６を参照しながら、本実施形態に係るクラス分類方法の流れの一例を、簡単に説明する。図６は、本実施形態に係るクラス分類方法の流れの一例を示した流れ図である。

本実施形態に係るクラス分類方法は、複数の製造工程を経て製造される対象物の表面を撮像して得られた撮像画像に基づいて、撮像画像又は撮像画像の各画素を、いずれかのクラスに分類する方法である。また、所定のクラスの分類に加え、対象物が存在する領域を、当該領域に外接する外接長方形等によって、明示するような分類でもよい。

かかるクラス分類方法では、図６に示したように、まず、学習済みモデル生成部１１１により、所定の製造工程で、対象物の表面の所定の位置を撮像して得られた撮像画像と、所定の位置に関する関連情報と、撮像画像のクラスに関する情報とを、教師データとして深層学習が行われ、学習済みモデルが生成される（ステップＳ１０１：学習済みモデル生成ステップ）。

その後、クラス推論部１１３は、所定の製造工程で、検査対象となる対象物の表面の所定の位置を撮像して得られた撮像画像と、かかる所定の位置に関する関連情報とを、学習済みモデルに入力することで、撮像画像又は撮像画像の各画素を、いずれかのクラスに分類する（ステップＳ１０３：クラス推論ステップ）。

クラス推論部１１３は、得られた推論結果を、撮像画像に関するクラス分類結果として、結果出力部１０５に出力する。これにより、クラス分類装置１０のユーザは、入力した撮像画像についてのクラス分類結果を把握することが可能となる。

以上、図６を参照しながら、本実施形態に係るクラス分類方法の流れの一例を簡単に説明した。

（ハードウェア構成について）
次に、図７を参照しながら、本発明の実施形態に係るクラス分類装置１０のハードウェア構成について、詳細に説明する。図７は、本発明の実施形態に係るクラス分類装置１０のハードウェア構成を説明するためのブロック図である。

クラス分類装置１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、クラス分類装置１０は、更に、バス９０７と、入力装置９０９と、出力装置９１１と、ストレージ装置９１３と、ドライブ９１５と、接続ポート９１７と、通信装置９１９とを備える。

ＣＰＵ９０１は、中心的な処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１３、又はリムーバブル記録媒体９２１に記録された各種プログラムに従って、クラス分類装置１０内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるバス９０７により相互に接続されている。

なお、ＣＰＵ９０１として、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ」を用いることも可能であり、そうしたＧＰＵを用いることで、画像を取り扱う際の演算において、処理能力を向上させることができる。

バス９０７は、ブリッジを介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バスに接続されている。

入力装置９０９は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置９０９は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、クラス分類装置１０の操作に対応したＰＤＡ等の外部接続機器９２３であってもよい。更に、入力装置９０９は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。クラス分類装置１０のユーザは、この入力装置９０９を操作することにより、クラス分類装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１１は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１１は、例えば、クラス分類装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、クラス分類装置１０が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置９１３は、クラス分類装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１３は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置９１３は、ＣＰＵ９０１が実行するプログラムや各種データ、及び外部から取得した各種のデータなどを格納する。

ドライブ９１５は、記録媒体用リーダライタであり、クラス分類装置１０に内蔵、あるいは外付けされる。ドライブ９１５は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２１に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９１５は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２１に記録を書き込むことも可能である。リムーバブル記録媒体９２１は、例えば、ＣＤメディア、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２１は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、又は、ＳＤメモリカード（ＳｅｃｕｒｅＤｉｇｉｔａｌｍｅｍｏｒｙｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２１は、例えば、非接触型ＩＣチップを搭載したＩＣカード（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔｃａｒｄ）又は電子機器等であってもよい。

接続ポート９１７は、機器をクラス分類装置１０に直接接続するためのポートである。接続ポート９１７の一例として、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（ＳｍａｌｌＣｏｍｐｕｔｅｒＳｙｓｔｅｍＩｎｔｅｒｆａｃｅ）ポート、ＲＳ－２３２Ｃポート、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９１７に外部接続機器９２３を接続することで、クラス分類装置１０は、外部接続機器９２３から直接各種のデータを取得したり、外部接続機器９２３に各種のデータを提供したりする。

通信装置９１９は、例えば、通信網９２５に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９１９は、例えば、有線もしくは無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（ＷｉｒｅｌｅｓｓＵＳＢ）用の通信カード等である。また、通信装置９１９は、光通信用のルータ、ＡＤＳＬ（ＡｓｙｍｍｅｔｒｉｃＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ）用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置９１９は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９１９に接続される通信網９２５は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、社内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本発明の実施形態に係るクラス分類装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０クラス分類装置
１０１データ取得部
１０３演算処理部
１０５結果出力部
１０７表示制御部
１０９記憶部
１１１学習済みモデル生成部
１１３クラス推論部

Claims

複数の製造工程を経て製造される対象物の表面を撮像して得られた撮像画像に基づいて、前記撮像画像又は前記撮像画像の各画素を、いずれかのクラスに分類するクラス分類装置において、
所定の製造工程で、前記対象物の表面の所定の位置を撮像して得られた撮像画像と、前記所定の位置に関する関連情報と、前記撮像画像のクラスに関する情報とを、教師データとして深層学習を行うことで、学習済みモデルを生成する、学習済みモデル生成部と、
前記所定の製造工程で、検査対象となる対象物の表面の所定の位置を撮像して得られた撮像画像と、当該所定の位置に関する関連情報とを、前記学習済みモデルに入力することで、当該撮像画像又は当該撮像画像の各画素を、いずれかのクラスに分類する、クラス推論部と、
を有し、
前記関連情報は、前記所定の製造工程とは異なる他の製造工程において、前記所定の位置を撮像して得られた前記撮像画像、前記対象物が検査される製造工程とは異なる他の製造工程における製造条件、前記所定の位置の位置情報、前記対象物の種別に関する種別情報、前記対象物を構成する成分に関する成分情報、前記対象物の製造ロットとは異なる製造ロットにおける情報、又は、前記対象物の表面の高さに関する高さ情報の少なくとも何れか一つを含む、クラス分類装置。
複数の製造工程を経て製造される対象物の表面を撮像して得られた撮像画像に基づいて、前記撮像画像又は前記撮像画像の各画素を、いずれかのクラスに分類するクラス分類装置において、
所定の製造工程で、前記対象物の表面の所定の位置を撮像して得られた撮像画像と、前記所定の位置に関する関連情報と、前記撮像画像のクラスに関する情報とを、教師データとして深層学習を行うことで、学習済みモデルを生成する、学習済みモデル生成部と、
前記所定の製造工程で、検査対象となる対象物の表面の所定の位置を撮像して得られた撮像画像と、当該所定の位置に関する関連情報とを、前記学習済みモデルに入力することで、当該撮像画像又は当該撮像画像の各画素を、いずれかのクラスに分類する、クラス推論部と、
を有し、
前記関連情報は、前記撮像画像と対応する画素数の画像データへと変換された上で用いられる、クラス分類装置。
所定の製造工程で、複数の製造工程を経て製造される対象物の表面の所定の位置を撮像して得られた撮像画像と、前記所定の位置に関する関連情報と、前記撮像画像のクラスに関する情報とを、教師データとして深層学習を行うことで、学習済みモデルを生成し、
前記関連情報は、前記所定の製造工程とは異なる他の製造工程において、前記所定の位置を撮像して得られた前記撮像画像、前記対象物が検査される製造工程とは異なる他の製造工程における製造条件、前記所定の位置の位置情報、前記対象物の種別に関する種別情報、前記対象物を構成する成分に関する成分情報、前記対象物の製造ロットとは異なる製造ロットにおける情報、又は、前記対象物の表面の高さに関する高さ情報の少なくとも何れか一つを含む、学習済みモデル生成部。
所定の製造工程で、複数の製造工程を経て製造される対象物の表面の所定の位置を撮像して得られた撮像画像と、前記所定の位置に関する関連情報と、前記撮像画像のクラスに関する情報とを、教師データとして深層学習を行うことで、生成された学習済みモデルを用いて、
前記所定の製造工程で、検査対象となる対象物の表面の所定の位置を撮像して得られた撮像画像と、当該所定の位置に関する関連情報とを、前記学習済みモデルに入力することで、当該撮像画像又は当該撮像画像の各画素を、いずれかのクラスに分類し、
前記関連情報は、前記所定の製造工程とは異なる他の製造工程において、前記所定の位置を撮像して得られた前記撮像画像、前記対象物が検査される製造工程とは異なる他の製造工程における製造条件、前記所定の位置の位置情報、前記対象物の種別に関する種別情報、前記対象物を構成する成分に関する成分情報、前記対象物の製造ロットとは異なる製造ロットにおける情報、又は、前記対象物の表面の高さに関する高さ情報の少なくとも何れか一つを含む、クラス推論部。
所定の製造工程で、複数の製造工程を経て製造される対象物の表面の所定の位置を撮像して得られた撮像画像と、前記所定の位置に関する関連情報と、前記撮像画像のクラスに関する情報とを、教師データとして深層学習を行うことで、生成された学習済みモデルを用いて、
前記所定の製造工程で、検査対象となる対象物の表面の所定の位置を撮像して得られた撮像画像と、当該所定の位置に関する関連情報とを、前記学習済みモデルに入力することで、当該撮像画像又は当該撮像画像の各画素を、いずれかのクラスに分類し、
前記関連情報は、前記撮像画像と対応する画素数の画像データへと変換された上で用いられる、クラス推論部。
複数の製造工程を経て製造される対象物の表面を撮像して得られた撮像画像に基づいて、前記撮像画像又は前記撮像画像の各画素を、いずれかのクラスに分類するクラス分類方法において、
所定の製造工程で、前記対象物の表面の所定の位置を撮像して得られた撮像画像と、前記所定の位置に関する関連情報と、前記撮像画像のクラスに関する情報とを、教師データとして深層学習を行うことで、学習済みモデルを生成する、学習済みモデル生成ステップと、
前記所定の製造工程で、検査対象となる対象物の表面の所定の位置を撮像して得られた撮像画像と、当該所定の位置に関する関連情報とを、前記学習済みモデルに入力することで、当該撮像画像又は当該撮像画像の各画素を、いずれかのクラスに分類する、クラス推論ステップと、
を有し、
前記関連情報は、
前記所定の製造工程とは異なる他の製造工程において、前記所定の位置を撮像して得られた前記撮像画像、前記対象物が検査される製造工程とは異なる他の製造工程における製造条件、前記所定の位置の位置情報、前記対象物の種別に関する種別情報、前記対象物を構成する成分に関する成分情報、前記対象物の製造ロットとは異なる製造ロットにおける情報、又は、前記対象物の表面の高さに関する高さ情報の少なくとも何れか一つを含む、クラス分類方法。