JP7343646B1

JP7343646B1 - 教師データの収集方法

Info

Publication number: JP7343646B1
Application number: JP2022057617A
Authority: JP
Inventors: 俊和軽部
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2022-03-30
Filing date: 2022-03-30
Publication date: 2023-09-12
Anticipated expiration: 2042-03-30
Also published as: CN116894199A; US20230316725A1; JP2023149186A

Abstract

【課題】教師データとして収集された不良品データの質及び量を定量的に適切に評価でき、十分な質及び量の教師データを用いて、分類モデルを高い精度で学習するとともに、不良品データの収集工数を最小化することができる教師データの収集方法を提供する。【解決手段】本発明は、検査対象物Ｇを正常品／異常品に分類する分類モデルを学習するための教師データとして、不良品データを収集する教師データの収集方法であり、多数の不良品データを収集し（図３のステップ１）、多数の不良品データの各々から複数の特徴量を抽出し（ステップ２）、多数の不良品データについて、抽出された複数の特徴量ごとの状態和Ｚｋを算出し（ステップ３）、複数の状態和Ｚｋの対数和を、指標値ＨＥＧとして算出し（ステップ４）、指標値ＨＥＧが所定の目標値ＨＥＧＴＧＴ以上になったときに、不良品データの収集を終了する（ステップ５）。【選択図】図３

Description

本発明は、ニューラルネットワークを用いた機械学習機能を有する検査装置などの学習に用いられる教師データを収集するための教師データの収集方法に関する。

近年、ニューラルネットワークを用いた機械学習機能を有する検査装置により、各種の工業製品や部品などの検査対象物について、正常品（良品）であるか、異常品（不良品）であるかを判定する検品作業の自動化技術の開発が進んでいる。このような検査装置では、良品と不良品に分類された検査対象物の外観の画像データを多数、教師データとして読み込ませることによって、機械学習が行われ、分類モデルが学習される。そして、学習された分類モデルを用い、検査装置によって、カメラで撮影した新規の検査対象物を、良品と不良品に分類することが可能になる。

上述したように、分類モデルの機械学習には、良品及び不良品の画像データが教師データとして用いられるため、検査精度（分類精度）を高めるには、良品及び不良品のいずれについても、多数の画像データが必要である。しかし、工業製品などの製造現場では一般に、できるだけ不良品を出さないように製造が行われるため、良品の数は多いものの、不良品の数は非常に少ない。そのため、良品の画像データ（以下「良品データ」という）の収集は比較的容易であるのに対し、不良品の画像データ（以下「不良品データ」という）の収集はなかなか進まない傾向にある。

また、このような検査装置では、検査対象物の画像データとして、分類モデルが学習していないデータパターンを有するものが入力されると、分類を適正に行うことは困難になる。このため、分類モデルの学習に用いられる教師データは、可能な限り多くのデータパターンを網羅した良質なものであることが求められる。換言すれば、教師データの収集が不足し、データパターンが網羅されていない悪質な教師データが与えられた場合、精度の高い分類モデルを構築することができない。以上のように、機械学習による分類モデルの精度を確保するためには、特に不良品教師データに対し、量的に十分であることに加えて、多くのデータパターンを網羅した良質なものであることが要求される。

従来、以上のような機械学習に用いる教師データの収集システムとして、例えば特許文献１に開示されたものが知られている。この収集システムでは、分類モデルを用い、検査対象物の加工状態を正常／異常に分類する検査作業を行うユーザー環境が設定されるとともに、分類モデルを学習し、ユーザー環境に提供する学習装置を備えている。この学習装置には、ユーザー環境側から、検査作業の際に得られたラベル付きのデータが送信される。学習装置は、このデータのラベルの正否を、既存の分類モデルを用いて判定する。そして、適正と判定した場合には、ラベル付きのデータを追加の教師データとして採用し、分類モデルを再構築する一方、適正でないと判定した場合には、ラベル付きのデータを教師データから除外する。

特開２０２０－１９４３５５号公報

上述した従来の教師データの収集システムでは、適正でないラベルが付加されたデータが教師データとして混入することが防止される。しかし、この収集システムでは、収集された教師データ自体の質や量は評価されない。このため、収集された不良品データの質や量が不十分な状態で分類モデルの学習が行われる結果、高い分類精度を確保できないおそれがある。また、同じ理由から、不良品データの収集を終了するタイミングを的確に判定できず、十分な質及び量の教師データが得られたにもかかわらず、教師データの収集が不必要に継続されるおそれがある。

本発明は、以上のような課題を解決するためになされたものであり、教師データとして収集された不良品データの質及び量を定量的に適切に評価でき、それにより、十分な質及び量の教師データを用いて、分類モデルを高い精度で学習できるとともに、不良品データの収集を最適なタイミングで終了し、その収集工数を最小化することができる教師データの収集方法を提供することを目的とする。

この目的を達成するために、請求項１に係る発明は、検査者によって異常品と判定された検査対象物Ｇの外観を撮影した画像データである不良品データを、検査対象物Ｇを正常品／異常品に分類する分類モデルを学習するための教師データとして収集する教師データの収集方法であって、多数の不良品データを収集する不良品データ収集工程（図３のステップ１）と、収集された多数の不良品データの各々から複数の特徴量を抽出する特徴量抽出工程（ステップ２）と、次式（１）により、多数の不良品データについて、抽出された複数の特徴量ごとの状態和Ｚｋを算出する状態和算出工程（ステップ３）と、次式（２）により、算出された複数の状態和Ｚｋの対数和を、指標値ＨＥＧとして算出する指標値算出工程（ステップ４）と、算出された指標値ＨＥＧが所定の目標値ＨＥＧＴＧＴ以上になったときに、不良品データの収集を終了する不良品データ収集終了工程（ステップ５）と、を備えることを特徴とする。

本発明の教師データの収集方法では、検査者によって異常品と判定された検査対象物の外観を撮影した画像データである不良品データを、検査対象物を正常品／異常品に分類する分類モデルを学習するための教師データとして収集する。本発明によれば、収集された多数の不良品データの各々から複数の特徴量を抽出するとともに、式（１）により、多数の不良品データについて、複数の特徴量ごとの状態和Ｚｋを算出する。

この状態和Ｚｋの技術的意義は、次のとおりである。すなわち、検査対象物の検査作業を非エキスパート（新人や経験年数の少ない作業者）が行う場合、選定される不良品データは概ね、比較的発生しやすいデータパターンに限られる。このため、そのような非エキスパートによる多数の不良品データから特徴量を抽出した場合、その特徴量は、不良品データ全体の平均値付近に偏った分布状態になり、標準偏差は小さくなる。また、式（１）から、状態和Ｚｋは、標準偏差σＮが大きいほど、より大きくなり、標準偏差σＮが小さいほど、値１に近づくという特性を有する。このように、状態和Ｚｋは、特徴量ごとの教師データとしての質を良好に反映し、その値が大きいほど、特徴量が平均値から分散した良質な状態にあることを表す。なお、規格化定数ａは、状態和Ｚｋの対数を値０になるように調整するための係数である。

次に、式（２）により、特徴量ごとの複数の状態和Ｚｋの対数和を、指標値ＨＥＧとして算出する。上述した状態和Ｚｋの特性から、指標値ＨＥＧは、教師データとして収集された不良品データ全体の質及び量を良好に反映し、その値が大きいほど、教師データとしての質及び量がより高いことを表す。このため、本発明によれば、算出した指標値ＨＥＧが所定の目標値以上になったときに、十分な質及び量を有する教師データが得られたとして、不良品データの収集を終了する。

以上のように、教師データとして収集された不良品データの質及び量を指標値ＨＥＧによって定量的に適切に評価でき、それにより、十分な質及び量の教師データを用いて、分類モデルを高い精度で学習できるとともに、不良品データの収集を最適なタイミングで終了し、その収集工数を最小化することができる。また、規格化定数ａを適切に設定することにより、影響の少ない特徴量に関する状態和Ｚｋの対数は０に近い値になるので、そのような特徴量に関する項を自動的に消去しながら、指標値ＨＥＧの算出を適切かつ容易に行うことができる。

収集された教師データに基づいて学習された分類モデルを用いて検査対象物を検査する検査システムを概略的に示す図である。不良品データの収集装置及び分類モデルの学習装置を示す図である。教師データの収集処理を示すフローチャートである。図３の変換処理によって得られた特徴量の一例を示す図である。図４の特徴量と状態和Ｚの関係を示す図である。図５の状態和Ｚと指標値ＨＥＧの関係を示す図である。指標値ＨＥＧと分類モデルの精度との関係を示す図である。

以下、図面を参照しながら、本発明の好ましい実施形態を詳細に説明する。図１は、後述する収集方法で収集された多数の不良品画像のデータ（以下「不良品データ」という）、及び多数の良品画像のデータ（以下「良品データ」という）を用いて学習された分類モデルを備えた検査システムを示している。この検査システム１は、例えば車両部品の製造工場などに設置され、製造された車両部品（例えばシリンダブロック）が正常品（良品）又は異常品（不良品）のいずれであるかを、分類モデルを用い、車両部品の外観を検査することによって自動的に判定するものである。以下、検査の対象となる車両部品を「検査対象物」という。

図１に示すように、検査システム１は、検査対象物Ｇを一方向に所定速度で搬送する搬送機２と、検査対象物Ｇが所定の検査位置に到達したときに、検査対象物Ｇの良否を判定する検査装置３を備えている。検査装置３によって不良品と判定された検査対象物Ｇは、例えば搬送機２から取り除かれ、不良品専用の格納場所に搬送される。

検査装置３は、コンピュータなどから成る情報処理装置で構成されており、制御部４、画像取得部５、記憶部６、学習部７、入力部８、出力部９及びカメラ１０を備えている。

制御部４は、ＣＰＵを備えており、検査装置３の他の各部５～９及びカメラ１０などを制御する。画像取得部５は、カメラ１０で撮影された検査対象物Ｇの外観の画像データを、デジタルデータとして取得する。記憶部６は、ＲＯＭ及びＲＡＭを有しており、検査装置３の制御に使用される各種のプログラムをＲＯＭに記憶するとともに、制御のために取得された各種のデータなどをＲＡＭに記憶する。学習部７は、検査対象物Ｇの良否を判定するための分類モデルを有する。入力部８は、作業者によって操作されるキーボードなどを有するとともに、外部からデータや信号が入力可能になっている。出力部９は、検査対象物Ｇの良否の判定結果を表示するディスプレイなどを有する。

図２に示すように、上記の分類モデルを学習する学習システム１１は、教師データの収集装置１２と、分類モデルの学習装置１３を備えている。収集装置１２は、検査装置３によって実際に不良品と判定された不良品データを、後述する収集処理により、所要の質と量を有する教師データとして収集するものである。収集装置１２は、検査装置３と同様、コンピュータなどから成る情報処理装置で構成されており、ＣＰＵを有する制御部や、ＲＯＭ及びＲＡＭを有する記憶部、入力部、出力部（いずれも図示せず）を備えている。

学習装置１３は、検査装置３によって実際に良品と判定された多数の良品データからすでに収集された多数の良品教師データと、収集装置１２で収集された多数の不良品教師データを用い、ニューラルネットワークを使用して、分類モデルを学習する。

図３は、収集装置１２において実行される教師データの収集処理を示す。本処理では、まずステップ１（「Ｓ１」と図示。以下同じ）において、検査装置３で得られた多数の不良品データ（データ数＝Ｎ）を取得する。

次に、ステップ２において、取得したＮ個の不良品データの各々を所定の複数の特徴量に変換し（特徴量次元数＝Ｆ）、記憶部に記憶する。この不良品データから特徴量への変換は、例えばＳＩＦＴ (Scale-Invariant Feature Transform)やＣＮＮ (Convolution Neural Network) を用いて行われる。これにより、図４に示すように、Ｎ個の不良品データのそれぞれについて、次元数Ｆの特徴量が得られる。図４は、不良品データ数Ｎ＝９５６、次元数Ｆ＝５０の場合の例である。

次に、ステップ３において、次式（１）により状態和Ｚを算出する。

これにより、図５に示すように、全不良品データにわたる特徴量ごとの状態和Ｚｋ（Ｚ１～Ｚ５０）が計５０個、算出される。前述したように、状態和Ｚｋは、特徴量ごとの教師データとしての質を良好に反映し、その値が大きいほど、特徴量が平均値から分散した良質な状態にあることを表す。また、状態和Ｚｋは、標準偏差σＮが大きいほど、より大きくなり、標準偏差σＮが小さいほど、値１に近づくという特性を有する。なお、規格化定数ａは、状態和Ｚｋの対数を値０になるように調整するための係数であり、図４に示されるような特徴量の結果を見ながら、状態和Ｚｋの対数が値０になるよう、手動によって設定される。

次に、ステップ４において、次式（２）により、算出された複数の状態和Ｚｋの対数和を、指標値ＨＥＧとして算出する。これにより、図６に示すように、全不良品データ及び全特徴量にわたる指標値ＨＥＧが１個、算出される。前述したように、指標値ＨＥＧは、教師データとして収集された不良品データ全体の質及び量を良好に反映し、その値が大きいほど、教師データとしての質及び量がより高いことを表す。

次に、ステップ５において、算出された指標値ＨＥＧが所定の目標値ＨＥＧＴＧＴ以上であるか否かを判別する。その判別結果がＮＯで、指標値ＨＥＧが目標値ＨＥＧＴＧＴに達していないときには、教師データとして収集された不良品データの質及び／又は量が不十分であるとして、前記ステップ１に戻り、不良品データをさらに取得する。一方、前記ステップ５の判別結果がＹＥＳで、指標値ＨＥＧが目標値ＨＥＧＴＧＴに達したときには、教師データとしての不良品データの質及び量が十分に確保されたとして、不良品データの収集を終了するものとし、本処理を終了する。

以上のように、本実施形態によれば、教師データとして収集された不良品データの質及び量を指標値ＨＥＧによって定量的に適切に評価でき、それにより、十分な質及び量の教師データを用いて、分類モデルを高い精度で学習できるとともに、不良品データの収集を最適なタイミングで終了し、その収集工数を最小化することができる。

また、規格化定数ａを適切に設定することにより、影響の少ない特徴量に関する状態和Ｚｋの対数は０に近い値になるので、そのような特徴量に関する項を自動的に消去しながら、指標値ＨＥＧの算出を適切かつ容易に行うことができる。

図７は、上述したようにして算出された指標値ＨＥＧと、その指標値ＨＥＧが達成されるまでに収集された不良品データを用いて学習された分類モデルによるテストデータ（良品データ及び不良品データ）の分類精度との関係を示す。同図に示すように、指標値ＨＥＧが大きいほど、分類モデルによる分類精度はより高くなっており、指標値ＨＥＧが教師データの質及び量を表すパラメータとして有効であることが確認された。また、この指標値ＨＥＧと分類精度との関係に基づき、教師データの収集終了を判定する際の基準となる指標値の目標値ＨＥＧＴＧＴは、分類モデルによる分類精度の目標値ＡＣＣＴＧＴに相当する値に設定されている。

なお、本発明は、説明した実施形態に限定されることなく、種々の態様で実施することができる。例えば、実施形態では、状態和Ｚに規格化定数ａを適用することによって、影響の少ない特徴量に関する項を指標値ＨＥＧから自動的に消去するようにしているが、規格化定数ａを省略することも可能である。

また、実施形態で示した特徴量の次元数Ｆや不良品データ数Ｎなどは、例示であり、他の適当な値を採用してもよいことはもちろんである。さらに、実施形態では、収集された教師データを用いて学習された分類モデルにより、車両部品が良品／不良品のいずれであるかを検査する例を示したが、本発明は、これに限らず、良品／不良品を検査するための分類モデルである限り、そのための教師データの収集に広く適用することができる。その他、本発明の趣旨の範囲内で、細部の構成を適宜、変更することが可能である。

１検査システム
３検査装置
１２不良品データの収集装置
１３分類モデルの学習装置
Ｇ検査対象物
Ｚｋ状態和
ＨＥＧ指標値
ＨＥＧＴＧＴ指標値の目標値

Claims

検査者によって異常品と判定された検査対象物の外観を撮影した画像データである不良品データを、前記検査対象物を正常品／異常品に分類する分類モデルを学習するための教師データとして収集する教師データの収集方法であって、
多数の前記不良品データを収集する不良品データ収集工程と、
当該収集された多数の不良品データの各々から複数の特徴量を抽出する特徴量抽出工程と、
次式（１）により、前記多数の不良品データについて、前記抽出された複数の特徴量ごとの状態和Ｚｋを算出する状態和算出工程と、
次式（２）により、前記算出された複数の状態和Ｚｋの対数和を、指標値ＨＥＧとして算出する指標値算出工程と、
当該算出された指標値ＨＥＧが所定の目標値以上になったときに、前記不良品データの収集を終了する不良品データ収集終了工程と、
を備えることを特徴とする教師データの収集方法。