JP7745821B1 - データ処理装置、学習装置、データ処理プログラム、および、データ処理方法 - Google Patents

データ処理装置、学習装置、データ処理プログラム、および、データ処理方法

Info

Publication number
JP7745821B1
JP7745821B1 JP2025542315A JP2025542315A JP7745821B1 JP 7745821 B1 JP7745821 B1 JP 7745821B1 JP 2025542315 A JP2025542315 A JP 2025542315A JP 2025542315 A JP2025542315 A JP 2025542315A JP 7745821 B1 JP7745821 B1 JP 7745821B1
Authority
JP
Japan
Prior art keywords
patch
unit
data
patches
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2025542315A
Other languages
English (en)
Inventor
卓也 松田
征弥 岩本
彰 峯澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP7745821B1 publication Critical patent/JP7745821B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

学習用画像を取得する学習用画像取得部(101)と、学習用画像取得部(101)が取得した学習用画像を複数の分割パッチに分割し、当該分割パッチごとに特徴量ベクトルを抽出する特徴量抽出部(102)と、特徴量抽出部(102)が抽出した特徴量ベクトルと、複数の分割パッチのうち抽出された特徴量ベクトルを学習用データの生成に用いる特徴量ベクトルから除外する除外対象パッチを選定するための選定基準条件とに基づき、除外対象パッチを選定し、特徴量抽出部(102)が抽出した特徴量ベクトルのうち除外対象パッチに選定されなかった分割パッチから抽出された特徴量ベクトルを、学習用データとして生成するデータ選定部(103)とを備えた。

Description

本開示は、データ処理装置、学習装置、データ処理プログラム、および、データ処理方法に関する。
従来、パッチに分割された正常な画像からニューラルネットワークを用いて特徴量ベクトルを抽出し、抽出された特徴量ベクトルの分布を正常分布として学習したモデルを生成して、検査対象となる画像(以下「検査画像」という。)の各パッチから抽出された特徴量ベクトルが学習済みの正常分布からどれだけ逸脱しているかによって、検査画像の異常を検知する手法が知られている。当該手法は、PaDiM(Patch Distribution Modeling)に代表され、例えば、外観検査に用いられる。
ところで、特許文献1には、対象物の写る画像が入力され、対象物の良否を判定するための出力情報を出力する学習モデルについて、追加学習を行う際に、ユーザが、良品のワークが写り、かつ、学習効果が高いと評価される観測画像を学習用画像として選択する技術が開示されている。
特開2021-86381号公報
上述したような従来の異常検知手法におけるモデルの学習に用いられる学習用画像において、一部に異常箇所、または、不要な成分があると、当該異常箇所または不要な成分がモデルの精度低下、引いては検査画像の異常検知精度低下に影響を与える可能性がある。当該異常箇所または不要な成分から抽出される特徴量ベクトルが、モデルの精度低下に与える可能性があるためである。そのため、一部に異常箇所、または、不要な成分がある学習用画像は、モデルの学習に用いられる学習用画像群(以下「学習画像データセット」という。)から取り除かれていることが望ましい。なお、ここでは、「不要な成分」とは、例えば、ゴミまたは塵を想定している。当該不要な成分は、傷または欠陥等とは異なり、その存在が外観検査の対象となる製品または構造等自体の良否には関係しないものである。
一方、一般的に、モデルの学習のためのデータ(以下「学習用データ」という。)が豊富であるほどモデルの精度は高まるため、モデルの精度向上の観点からは、学習用データが豊富であることが望ましい。仮に、上記学習用画像において、一部に異常箇所、または、不要な成分がある場合に、当該異常箇所または不要な成分をなくすため、当該学習用画像ごと学習画像データセットから取り除かれると、正常箇所まで学習画像データセットから取り除かれてしまい、モデルの学習のための学習用画像、より詳細には当該学習用画像から抽出される学習用データとしての特徴量ベクトルが無用に削減されて、モデルの精度を高めることができない可能性がある。
これらのことを踏まえ、パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデルの学習のための学習用データとして、モデルの精度低下に影響を与えないデータについては確保されつつ、モデルの精度低下に影響を与えるデータが取り除かれた学習用データを生成する技術があると有用である。しかしながら、従来、そのような技術が提供されていないという課題があった。
なお、特許文献1に開示されているような従来の技術は、追加学習を行う際に用いる学習用画像の選択に関する技術であって、モデルを生成するための学習画像データセットから不要なデータを取り除く技術ではない。したがって、このような従来の技術では、上述の課題は解決できない。
本開示は、上記のような課題を解決するためになされたものであり、パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データを生成するデータ処理装置であって、モデルの精度低下に影響を与えないデータについては確保されつつ、モデルの精度低下に影響を与えるデータが取り除かれた学習用データを生成することが可能なデータ処理装置を提供することを目的とする。
本開示のデータ処理装置は、パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データを生成するデータ処理装置であって、学習用画像を取得する学習用画像取得部と、学習用画像取得部が取得した学習用画像を複数の分割パッチに分割し、当該分割パッチごとに特徴量ベクトルを抽出する特徴量抽出部と、特徴量抽出部が抽出した特徴量ベクトルと、複数の分割パッチのうち抽出された特徴量ベクトルを学習用データの生成に用いる特徴量ベクトルから除外する除外対象パッチを選定するための、学習用画像上における位置が特徴量ベクトルの抽出元の分割パッチに対応する対応分割パッチに関する選定基準条件とに基づき、除外対象パッチを選定し、特徴量抽出部が抽出した特徴量ベクトルのうち除外対象パッチに選定されなかった分割パッチから抽出された特徴量ベクトルを、学習用データとして生成するデータ選定部とを備える。
本開示によれば、データ処理装置は、上記のように構成したので、パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データについて、モデルの精度低下に影響を与えないデータについては確保されつつ、モデルの精度低下に影響を与えるデータが取り除かれた学習用データを生成することができる。
実施の形態1に係るデータ処理装置を備えた学習装置の構成例を示す図である。 実施の形態1において、データ選定部が行う、データ選定処理の一例の概要を示す図である。 実施の形態1に係るデータ処理装置を備えた学習装置の動作について説明するためのフローチャートである。 図3のステップST30における、データ処理装置のデータ選定部によるデータ選定処理の詳細について説明するためのフローチャートである。 図3のステップST60における、評価結果確認部による評価結果確認処理の詳細について説明するためのフローチャートである。 実施の形態1において、データ選定部がデータ選定前モデル学習を行う機能を有するようにした場合の、学習装置の動作を説明するためのフローチャートである。 図7Aおよび図7Bは、実施の形態1に係るデータ処理装置のハードウェア構成の一例を示す図である。 実施の形態2に係るデータ処理装置を備えた学習装置の構成例を示す図である。 実施の形態2に係るデータ処理装置を備えた学習装置の動作について説明するためのフローチャートである。 図9のステップST25における、データ処理装置の対象領域決定部による対象領域決定処理の詳細について説明するためのフローチャートである。 図9のステップST30aにおける、データ処理装置のデータ選定部によるデータ選定処理の詳細について説明するためのフローチャートである。 実施の形態2において、データ選定部がデータ選定前モデル学習を行う機能を有するようにした場合の、学習装置の動作を説明するためのフローチャートである。 実施の形態2において、データ選定部がデータ選定前モデル学習を行う機能を有するようにした場合の、学習装置のその他の動作を説明するためのフローチャートである。
以下、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
実施の形態1に係るデータ処理装置は、パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のためのデータ(以下「学習用データ」という。)を生成する。
データ処理装置が生成した学習用データに基づき正常分布を学習済みのモデルが生成される。当該モデルは、例えば、外観検査に用いられる。外観検査は、検査対象となる画像(以下「検査画像」という。)の各パッチから抽出された特徴量ベクトルが、モデルが学習した正常分布からどれだけ逸脱しているかによって検査画像の異常を検知することで、行われる。より詳細には、例えば、検査画像の各パッチから抽出された特徴量ベクトルと正常分布との間のマハラノビス距離が離れるほど、検査画像は異常と検知される。なお、検査画像は、外観検査の対象となる製品または構造等が撮像された画像である。
実施の形態1において、「パッチ」とは、画像の局所的な領域をあらわす。なお、パッチをどれぐらいの大きさの領域とするかは、ユーザ等によって予め決められているものとする。
図1は、実施の形態1に係るデータ処理装置10を備えた学習装置1の構成例を示す図である。
図1に示すように、学習装置1は、データ処理装置10と、モデル学習部11と、モデル評価部12と、出力部13を備える。
データ処理装置10は、例えば、学習装置1に備えられる。
学習装置1は、データ処理装置10が生成した学習用データに基づき、モデルに正常分布を学習させ、学習済みのモデル(以下「学習済みモデル」という。)を生成する。
学習装置1は、例えば、サーバに搭載されている。
データ処理装置10および学習装置1は、記憶装置2と接続される。
記憶装置2は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、または、メモリ等で構成され、種々のデータを記憶する。
データ処理装置10は、学習用画像取得部101と、特徴量抽出部102と、データ選定部103を備える。
学習用画像取得部101は、学習用画像を取得する。
より詳細には、学習用画像取得部101は、1枚以上の学習用画像からなる学習画像データセットを取得する。以下の実施の形態1では、一例として、学習画像データセットは、複数の学習用画像を含むものとする。
例えば、ユーザは、予め、学習画像データセットを生成し、図示しない入力装置を操作して、学習画像データセットを入力する。学習用画像取得部101は、ユーザが入力した学習画像データセットを取得する。また、例えば、ユーザが、予め、学習画像データセットを生成し、記憶装置2に記憶させておいてもよい。この場合、学習用画像取得部101は、記憶装置2から学習画像データセットを取得する。なお、図1において、学習用画像取得部101と記憶装置2とを結ぶ矢印の図示は省略している。
学習用画像取得部101は、取得した学習用画像、より詳細には、学習画像データセットを、特徴量抽出部102に出力する。
特徴量抽出部102は、学習用画像取得部101が取得した学習用画像を複数のパッチ(以下「分割パッチ」という。)に分割し、分割パッチごとに特徴量ベクトルを抽出する。より詳細には、特徴量抽出部102は、学習用画像取得部101が取得した学習画像データセットに含まれている各学習用画像を複数の分割パッチに分割し、当該分割パッチごとに、特徴量ベクトルを抽出する。
例えば、特徴量抽出部102は、分割パッチをニューラルネットワークに入力して特徴量ベクトルを抽出する。画像をニューラルネットワークに通して特徴量ベクトルを得る技術は、公知の技術であるため、詳細な説明を省略する。
上述のとおり、パッチをどれぐらいの大きさの領域とするかは、ユーザ等によって予め決められているものとする。特徴量抽出部102は、学習用画像を、予め決められている一定の大きさのパッチに分割する。
特徴量抽出部102は、抽出した特徴量ベクトルに関するデータ(以下「特徴量データ」という。)を、データ選定部103に出力する。
特徴量データは、例えば、学習用画像上で、分割パッチと、当該分割パッチの位置と、当該分割パッチから抽出された特徴量ベクトルとが対応付けられたデータである。例えば、学習用画像には、ID等が付与されている。また、分割パッチの位置は、例えば、学習用画像上の座標であらわされる。例えば、分割パッチが矩形領域であるとすると、分割パッチの位置は、分割パッチの左上端の点で示される。すなわち、特徴量データは、例えば、ID等が付与された学習用画像上で、分割パッチと、分割パッチの学習用画像上の位置を示す座標と、当該分割パッチから抽出された特徴量ベクトルとが対応付けられたデータである。
データ選定部103は、特徴量抽出部102が抽出した特徴量ベクトルと、選定基準条件とに基づき、複数の分割パッチのうち、抽出された特徴量ベクトルを学習用データの生成に用いる特徴量ベクトルから除外する分割パッチ(以下「除外対象パッチ」という。)を選定する。そして、データ選定部103は、特徴量抽出部102が抽出した特徴量ベクトルのうち除外対象パッチに選定されなかった分割パッチから抽出された特徴量ベクトルを、学習用データとして生成する。
実施の形態1において、データ選定部103が行う、特徴量抽出部102が抽出した特徴量ベクトルと選定基準条件とに基づき除外対象パッチを選定し、学習用データを生成する処理を「データ選定処理」という。
選定基準条件は、複数の分割パッチのうち上記除外対象パッチを選定するための条件である。選定基準条件には、どのような分割パッチを除外対象パッチとして選定するかの基準が定義されている。選定基準条件は、ユーザ等によって予め設定される。ユーザ等は、選定基準条件を設定すると、設定した選定基準条件を示すデータ(以下「選定基準条件データ」という。)を、データ選定部103の内部のバッファに記憶させておく。ユーザ等は、選定基準条件データを、記憶装置2に記憶させておくようにしてもよい。この場合、データ選定部103は、記憶装置2から選定基準条件データを取得すればよい。
選定基準条件には、例えば、以下の<選定基準条件(1)>または<選定基準条件(2)>のような条件が設定されている。

<選定基準条件(1)>
学習用画像の各分割パッチから抽出された複数の特徴量ベクトルの平均(以下「基準特徴量ベクトル」という。)との距離が第1閾値以上である特徴量ベクトルの抽出元の分割パッチであること。上記距離は、例えば、ユークリッド距離を想定する。

<選定基準条件(2)>
学習用画像の各パッチから抽出された複数の特徴量ベクトルの特徴量分布平均(以下「基準特徴量分布」という。)との距離が第2閾値以上である特徴量ベクトルの抽出元の分割パッチであること。上記距離は、例えば、マハラノビス距離を想定する。
選定基準条件に上述の<選定基準条件(1)>または<選定基準条件(2)>のような条件が設定されている場合、データ選定部103は、全学習用画像の各分割パッチから抽出された複数の特徴量ベクトルの平均、すなわち基準特徴量ベクトル、または、全学習用画像の各分割パッチから抽出された複数の特徴量ベクトルの特徴量分布平均、すなわち基準特徴量分布、を算出した上で、データ選定処理を行う。例えば、データ選定部103は、全学習用画像の各分割パッチをニューラルネットワークに入力して複数の特徴量ベクトルを抽出し、抽出された複数の特徴量ベクトルから基準特徴量ベクトルまたは基準特徴量分布を算出する。なお、基準特徴量ベクトルは、分割パッチごとに算出される。また、基準特徴量分布は、分割パッチごとに算出される。データ選定部103は、選定基準条件に基づき、分割パッチごとに、当該分割パッチから抽出された特徴量ベクトルと、全学習用画像における対応する分割パッチから抽出された基準特徴量ベクトルまたは基準特徴量分布との比較を行う。「対応する分割パッチ」とは、学習用画像上における位置が互いに同じである分割パッチをいう。
なお、上述の<選定基準条件(1)>または<選定基準条件(2)>は一例に過ぎず、選定基準条件には、複数の分割パッチのうち、どのような分割パッチを除外対象パッチとして選定するかの基準が定義されていればよい。
データ選定部103は、全学習用画像について、分割パッチごとに、特徴量抽出部102によって当該分割パッチから抽出された特徴量ベクトルと選定基準条件とに基づき、当該分割パッチを除外対象パッチとするか否かの判定を行うことで、除外対象パッチを選定する。
データ選定部103による、データ選定処理における、除外対象パッチの選定方法の一例について説明する。データ選定部103は、例えば、以下のような方法で、除外対象パッチの選定を行う。
なお、以下の説明では、データ選定部103は、基準特徴量ベクトルまたは基準特徴量分布の算出は終えているものとする。
まず、データ選定部103は、学習画像データセットに含まれる複数の学習用画像のうち、除外対象パッチを選定する対象とする学習用画像(以下「対象学習用画像」という。)を決める。データ選定部103は、複数の学習用画像のうちの任意の学習用画像を対象学習用画像とすればよい。
次に、データ選定部103は、データ選定座標の初期設定を行う。
実施の形態1において、データ選定座標は、対象学習用画像上の複数の分割パッチのうち、除外対象パッチとするか否かの判定を行う対象とする分割パッチ(以下「データ選定パッチ」という。)を特定するための座標であり、当該データ選定パッチの対象学習用画像上の位置を示す座標である。
例えば、データ選定部103は、初期設定において、データ選定座標に、対象学習用画像における一番左上の分割パッチの位置を示す座標を設定する。つまり、初期設定において、一番左上の分割パッチが、データ選定パッチとされることになる。データ選定部103は、特徴量抽出部102から抽出された特徴量データに基づけば、対象学習用画像上の各分割パッチの位置を特定できる。
なお、初期設定においてどの分割パッチの位置を示す座標をデータ選定座標に設定するか、言い換えれば、どの分割パッチを、最初にデータ選定パッチとするか、は、データ選定用条件にて定義されている。
データ選定用条件は、データ選定部103が除外対象パッチを選定するにあたり、対象学習用画像のどの分割パッチから、どの順番で、当該分割パッチを除外対象パッチとするか否かの判定を行うか、が定義された条件である。データ選定用条件は、予め、ユーザ等によって設定され、データ選定用条件を示すデータ(以下「データ選定用条件データ」という。)が、データ選定部103の内部のバッファ、または、記憶装置2等に記憶されている。データ選定用条件は、ユーザ等によって適宜更新可能としてもよい。
また、例えば、データ選定用条件にて、どの学習用画像をどの順番で対象学習用画像とするかが、あわせて定義されていてもよい。
データ選定部103は、データ選定座標を設定すると、当該データ選定座標であらわされるデータ選定パッチから抽出された特徴量ベクトル(以下「データ選定特徴量ベクトル」という。)を特定する。データ選定部103は、特徴量抽出部102から抽出された特徴量データに基づけば、データ選定特徴量ベクトルを特定できる。
データ選定部103は、データ選定特徴量ベクトルと、選定基準条件とに基づき、データ選定パッチを除外対象パッチとするか否かの判定を行う。
例えば、選定基準条件には、上記<選定基準条件(1)>のような条件が設定されているとすると、データ選定部103は、データ選定特徴量ベクトルと基準特徴量ベクトルとの距離が第1閾値以上である場合、当該データ選定特徴量ベクトルの抽出元であるデータ選定パッチを除外対象パッチに選定する。ここで、データ選定部103がデータ選定特徴量ベクトルとの比較を行う基準特徴量ベクトルは、上述のとおり、全学習用画像におけるデータ選定パッチに対応する分割パッチ、からそれぞれ抽出された複数の特徴量ベクトルに基づき算出された当該複数の特徴量ベクトルの平均である。例えば、データ選定座標が(x,y)であるとすると、基準特徴量ベクトルは、全学習用画像における(x,y)の位置にある分割パッチからそれぞれ抽出された複数の特徴量ベクトルの平均である。
データ選定部103は、データ選定特徴量ベクトルと基準特徴量ベクトルとの距離が第1閾値未満である場合は、当該データ選定特徴量ベクトルの抽出元であるデータ選定パッチを除外対象パッチには選定しない。
例えば、選定基準条件には、上記<選定基準条件(2)>のような条件が設定されているとすると、データ選定部103は、データ選定特徴量ベクトルと基準特徴量分布との距離が第2閾値以上である場合、データ選定特徴量ベクトルの抽出元であるデータ選定パッチを除外対象パッチに選定する。ここで、データ選定部103がデータ選定特徴量ベクトルとの比較を行う基準特徴量分布は、上述のとおり、全学習用画像におけるデータ選定パッチに対応する分割パッチ、からそれぞれ抽出された複数の特徴量ベクトルに基づき算出された当該複数の特徴量ベクトルの特徴量分布平均である。例えば、データ選定座標が(x,y)であるとすると、基準特徴量ベクトルは、全学習用画像における(x,y)の位置にある分割パッチからそれぞれ抽出された複数の特徴量ベクトルの特徴量分布平均である。
データ選定部103は、データ選定特徴量ベクトルと基準特徴量分布との距離が第2閾値未満である場合は、データ選定特徴量ベクトルの抽出元であるデータ選定パッチを除外対象パッチには選定しない。
データ選定部103は、データ選定パッチを除外対象パッチに選定するか否かの判定を行うと、データ選定パッチに対して、使用データフラグを設定する。使用データフラグは、分割パッチが、その分割パッチから抽出された特徴量データを学習用データに含めることとする分割パッチであるか否かを判定するためのフラグである。実施の形態1では、例えば、使用データフラグ「1」が付与されている場合、その分割パッチが、その分割パッチから抽出された特徴量データを学習用データに含めることとする分割パッチであることを意味し、使用データフラグ「0」が付与されている場合、その分割パッチが、その分割パッチから抽出された特徴量データを学習用データに含めないこととする分割パッチであることを意味するものとする。実施の形態1において、使用データフラグは、例えば、特徴量抽出部102が学習用画像を各分割パッチに分割した際に特徴量抽出部102によって付与される。使用データフラグの初期値は、「1」とする。
データ選定部103は、データ選定パッチを除外対象パッチに選定した場合、使用データフラグを「0」に更新する。一方、データ選定部103は、データ選定パッチを除外対象パッチに選定しなかった場合、使用データフラグには「1」が設定されたままとする。
データ選定部103は、上述したような、データ選定パッチに対する、除外対象パッチとするか否かの判定を行うと、次のデータ選定パッチを設定する。具体的には、データ選定部103は、次のデータ選定パッチの位置を示す座標を、データ選定座標に設定するよう、データ選定座標を更新する。そして、データ選定部103は、更新されたデータ選定座標であらわされるデータ選定パッチから抽出されたデータ選定特徴量ベクトルを特定し、再び、データ選定パッチに対する、除外対象パッチとするか否かの判定を行う。
データ選定部103は、対象学習用画像における全ての分割パッチをデータ選定パッチとした除外対象パッチとするか否かの判定を終了するまで、当該対象学習用画像におけるデータ選定パッチに対する除外対象パッチとするか否かの判定を繰り返す。
データ選定部103は、以上のような除外対象パッチとするか否かの判定を、全ての学習用画像の全ての分割パッチに対して行う。
以上のようなデータ選定処理において、データ選定部103は、分割パッチのうち代表パッチを設定し、当該代表パッチから抽出された特徴量ベクトルと選定基準条件とに基づき、当該代表パッチを除外対象パッチとして選定するか否かを判定し、代表パッチを除外対象パッチとして選定すると判定した場合、グループ設定用条件に基づき、代表パッチとグループ化する、代表パッチの周辺の分割パッチをグループパッチに設定し、設定したグループパッチを代表パッチとともに除外対象パッチとして選定するようにしてもよい。グループ設定用条件には、代表パッチの周辺のどの分割パッチをグループパッチとするかの条件が定義されている。グループ設定用条件は、予め、ユーザ等によって設定され、グループ設定用条件を示すデータ(以下「グループ設定用条件データ」という。)が、データ選定部103の内部のバッファ、または、記憶装置2等に記憶されている。グループ設定用条件は、ユーザ等によって適宜更新可能としてもよい。
例えば、グループ設定用条件には、「代表パッチを中心として当該代表パッチに接する全ての分割パッチをグループパッチとする」との条件が設定されていてもよいし、「代表パッチの周囲の、分割パッチn個分の範囲内の分割パッチのうち任意の分割パッチをグループパッチとする」との条件が設定されていてもよい。
より詳細に説明すると、データ選定部103は、データ選定座標の初期設定において、データ選定パッチの位置を示す座標をデータ選定座標に設定する際、当該データ選定パッチを代表パッチに設定しておく。
そして、データ選定部103は、除外対象パッチとするか否かの判定を行った結果、データ選定パッチ、より詳細には、代表パッチに設定したデータ選定パッチ、を除外対象パッチに選定した場合、当該データ選定パッチのグループパッチを、データ選定パッチとともに除外対象パッチに選定する。
データ選定部103は、次のデータ選定パッチを設定する際、より詳細には、次のデータ選定パッチの位置を示す座標でデータ選定座標を更新する際、次のデータ選定パッチの候補となる分割パッチが、既に除外対象パッチに選定済みの分割パッチである場合、当該分割パッチに対する、除外対象パッチとするか否かの判定は実施済みとする。なお、データ選定部103は、次のデータ選定パッチの候補となる分割パッチが、既に除外対象パッチに選定済みの分割パッチであるか否かを、例えば、使用データフラグから判定できる。既に除外対象パッチに選定済みの分割パッチには使用データフラグ「0」が付与されている。
ここで、図2は、実施の形態1において、データ選定部103が行う、データ選定処理の一例の概要を示す図である。
図2では、データ選定部103が、代表パッチを除外対象パッチとして選定すると判定した場合にグループパッチを代表パッチとともに除外対象パッチとして選定するようにした場合の、データ選定処理の一例の概要があわせて示されている。
なお、図2は、選定基準条件には上記<選定基準条件(2)>が設定されているものとし、グループ設定用条件には「代表パッチを中心として当該代表パッチに接する全ての分割パッチをグループパッチとする」との条件が設定されている場合の、データ選定処理の一例の概要を示す図としている。
データ選定部103は、全ての学習用画像の全ての分割パッチに対して除外対象パッチとするか否かの判定を行うと、データ選定処理を終了し、特徴量抽出部102が抽出した特徴量ベクトルのうち除外対象パッチに選定されなかった分割パッチから抽出された特徴量ベクトルを、学習用データとして生成する。より詳細には、データ選定部103は、使用データフラグに「1」が設定されている分割パッチから抽出された特徴量ベクトルを、学習用データとして生成する。
そして、データ選定部103は、生成した学習用データを、モデル学習部11に出力する。
モデル学習部11は、データ選定部103が生成した学習用データに基づき、正常分布を学習済みのモデル(以下「学習済みモデル」という。)を生成する。
モデル学習部11は、モデルにデータ選定部103が生成した学習用データに基づく学習をさせて、学習済みモデルを生成する。
モデル学習部11は、生成した学習済みモデルをモデル評価部12に出力する。
モデル評価部12は、評価部121と評価結果確認部122を備える。
モデル評価部12の評価部121は、モデル学習部11が生成した学習済みモデルを評価する。
評価部121は、AUROC(Area Under the Receiver Operating Characteristic curve)または過検出率等、公知のモデル評価手法を用いて学習済みモデルを評価すればよいため詳細な説明は省略する。
評価部121は、学習済みモデルの評価結果(AUROCの値または過検出率等)を、モデル評価部12の評価結果確認部122に出力する。
評価結果確認部122は、評価部121が行った学習済みモデルの評価結果を確認し、データ処理装置10のデータ選定部103に対して、データ選定処理のやり直しを指示するか否かを判定する「評価結果確認処理」を行う。
当該評価結果確認処理にて、評価結果確認部122は、学習済みモデルの評価結果に基づき、学習済みモデルの精度は十分に良いといえるか否かを確認し、学習済みモデルの精度が十分に良いといえないと確認した場合、データ選定処理のやり直しを指示すると判定する。評価結果確認部122は、学習済みモデルの精度が十分に良いといえると確認した場合は、データ選定処理のやり直しは指示しないと判定する。
評価結果確認部122は、例えば、評価結果(AUROCの値または過検出率等)が、予め設定された性能基準値を超えている場合、学習済みモデルの性能は所定の基準を満たしている、言い換えれば、学習済みのモデルの精度は十分に良いといえる、と確認する。一方、モデル評価部12は、評価結果(AUROCの値または過検出率等)が、予め設定された性能基準値以下である場合、学習済みモデルの性能は所定の基準を満たしていない、言い換えれば、学習済みモデルの精度は十分に良いとはいえない、と確認する。
性能基準値は、予め、ユーザ等によって設定され、モデル評価部12の内部のバッファ、または、記憶装置2等に記憶されている。性能基準値は、ユーザ等によって適宜更新可能としてもよい。
例えば、学習済みモデルの評価結果の確認、および、データ選定処理のやり直しを指示するか否かの判定はユーザ等が行うものとし、評価結果確認部122は、ユーザ等が行った、データ選定処理のやり直しの要否の指示をユーザ等から受け付けることで、評価結果確認処理を行うこととしてもよい。
この場合、例えば、評価結果確認部122は、図示しない表示装置に学習済みモデルの評価結果を表示させる。表示装置は、学習装置1と接続されている。表示装置は、例えば、ユーザ等が使用または保持しているPC(Parsonal Computar)、または、スマートフォンもしくはタブレット端末等の携帯情報端末に設けられている表示装置を想定している。
ユーザ等は、表示装置に表示された学習済みモデルの評価結果を確認し、データ選定処理のやり直しが必要か否かを決定する。そして、ユーザ等は、図示しない入力装置を操作して、データ選定処理のやり直しが必要である旨の指示、または、データ選定処理のやり直しは不要である旨の指示を入力する。入力装置は、例えば、マウス、キーボード、または、タッチパネル式ディスプレイを想定している。
評価結果確認部122は、データ選定処理のやり直しが必要である旨の指示を受け付けた場合、データ選定処理のやり直しを指示すると判定する。評価結果確認部122は、データ選定処理のやり直しは不要である旨の指示を受け付けた場合、データ選定処理のやり直しは指示しないと判定する。
評価結果確認部122は、データ選定処理のやり直しを指示すると判定した場合、データ再選定フラグに「1」を設定する。評価結果確認部122は、データ選定処理のやり直しを指示しないと判定した場合、データ再選定フラグに「0」を設定する。
データ再選定フラグは、データ処理装置10のデータ選定部103が、データ選定処理のやり直しを行う必要があるか否かを判定するためのフラグであり、データ処理装置10が参照可能な場所に設けられている。ここでは、例えば、データ再選定フラグは、データ選定部103の内部のバッファに設けられているものとする。当該データ再選定フラグの初期値は「0」とし、当該データ再選定フラグは、例えば、データ処理装置10の電源がオフされた場合等に初期値化される。
評価結果確認部122によって、データ再選定フラグに「1」が設定された場合、データ処理装置10のデータ選定部103は、再度、データ選定処理を行うことで、データ選定処理のやり直しを行う。
データ選定部103は、データ選定処理のやり直しを行う場合は、例えば、使用データフラグに「1」が設定されている分割パッチのみをデータ選定パッチとして、データ選定処理を行うようにする。
また、例えば、データ選定部103は、データ選定処理のやり直しを行う場合は、再度、全学習用画像の各分割パッチをデータ選定パッチとしてデータ選定処理を行うようにしてもよい。ただし、この場合、データ選定部103は、選定基準条件を変更する。具体例を挙げると、データ選定部103は、例えば、上述の<選定基準条件(1)>の第1閾値、または、上述の<選定基準条件(2)>の第2閾値の値を変更する。データ選定部103がデータ選定処理をやり直す場合に、選定基準条件をどのように変更するか(例えば、第1閾値または第2閾値の値をどれぐらい変更するか)は、予め決められているものとする。
例えば、評価結果確認部122は、性能基準値との比較によって学習済みモデルの評価結果を確認し、データ選定処理のやり直しを指示するか否かを判定する評価結果確認処理を行う機能(以下「第1評価結果確認機能」という。)と、ユーザ等が行ったデータ選定処理のやり直しの要否の指示を受け付けることで評価結果確認処理を行う機能(以下「第2評価結果確認機能」という。)の両方を有していてもよい。
この場合、例えば、予め、ユーザ等は、第1評価結果確認機能と第2評価結果確認機能のいずれによって評価結果確認処理を行うかを指定しておく。例えば、ユーザ等は、図示しない入力装置を操作して、第1評価結果確認機能と第2評価結果確認機能のいずれによって評価結果確認処理を行うかが指定されたデータ(以下「評価結果確認機能指定データ」という。)を入力する。学習装置1の図示しない制御部は、評価結果確認機能指定データを受け付け、評価結果確認機能指定データで指定された評価結果確認機能に応じて、評価結果確認機能を第1評価結果確認機能とするか第2評価結果確認機能とするかを判定するための評価結果確認フラグに「1」または「0」を設定する。ここでは、例えば、制御部は、第1評価結果確認機能で学習済みモデルの評価結果確認を行う場合、評価結果確認フラグに「1」を設定し、第2評価結果確認機能で学習済みモデルの評価結果確認を行う場合、評価結果確認フラグに「0」を設定するものとする。
なお、評価結果確認フラグは、例えば、モデル評価部12の内部のバッファまたは記憶装置2に設けられているものとし、評価結果確認フラグの初期値は「1」とする。当該評価結果確認フラグは、例えば、学習装置1の電源がオフされた場合等に初期値化される。
評価結果確認部122は、評価結果確認処理を行う際、評価結果確認フラグを確認し、評価結果確認フラグに「1」が設定されていれば上記第1評価結果確認機能によって評価結果確認処理を行い、評価結果確認結果フラグに「0」が設定されていれば上記第2評価結果確認機能によって評価結果確認処理を行う。
また、評価結果確認部122は、上述したような評価結果確認処理を行った結果、データ選定処理のやり直しは指示しないと判定した場合には、データ再選定フラグに「0」を設定するともに、学習済みモデルを出力部13に出力する。
出力部13は、モデル評価部12、より詳細にはモデル評価部12の評価結果確認部122、から出力された学習済みモデルを、記憶装置2に記憶させる。なお、これは一例に過ぎず、例えば、出力部13は、学習済みモデルを、学習装置1と接続されている図示しない外部装置に出力してもよい。図示しない外部装置は、例えば、検査画像の異常を検知する検査装置である。
出力部13の機能は、モデル評価部12が備えていてもよい。この場合、学習装置1は、出力部13を備えない構成とできる。
実施の形態1に係るデータ処理装置10を備えた学習装置1の動作について説明する。
図3は、実施の形態1に係るデータ処理装置10を備えた学習装置1の動作について説明するためのフローチャートである。
学習装置1は、例えば、学習装置1の電源がオンにされると、または、ユーザ等から動作開始指示を受け付けると、図3のフローチャートで示されているような動作を開始する。例えば、ユーザ等は、図示しない入力装置を操作して、動作開始指示を入力する。学習装置1の図示しない制御部は、動作開始指示を受け付けると、データ処理装置10の図示しない制御部に動作開始指示を出力するとともに、モデル学習部11、モデル評価部12、および、出力部13の動作を開始させる。データ処理装置10の図示しない制御部は、動作開始指示を受け付けると、学習用画像取得部101、特徴量抽出部102、および、データ選定部103の動作を開始させる。
なお、図3のフローチャートで示す動作について、ステップST10~ステップST30の処理は、データ処理装置10が行う処理である。
学習用画像取得部101は、学習用画像を取得する(ステップST10)。
より詳細には、学習用画像取得部101は、複数の学習用画像からなる学習画像データセットを取得する。
学習用画像取得部101は、取得した学習用画像、より詳細には、学習画像データセットを、特徴量抽出部102に出力する。
特徴量抽出部102は、ステップST10にて学習用画像取得部101が取得した学習用画像を複数の分割パッチに分割し、分割パッチごとに特徴量ベクトルを抽出する(ステップST20)。より詳細には、特徴量抽出部102は、学習用画像取得部101が取得した学習画像データセットに含まれている各学習用画像を複数の分割パッチに分割し、当該分割パッチごとに、特徴量ベクトルを抽出する。
特徴量抽出部102は、特徴量データを、データ選定部103に出力する。
データ選定部103は、ステップST20にて特徴量抽出部102が抽出した特徴量ベクトルと選定基準条件とに基づき除外対象パッチを選定するデータ選定処理を行う(ステップST30)。より詳細には、データ選定部103は、使用データフラグに「1」が設定されている分割パッチから抽出された特徴量ベクトルを、学習用データとして生成する。
データ選定部103は、特徴量抽出部102が抽出した特徴量ベクトルのうち除外対象パッチに選定されなかった分割パッチから抽出された特徴量ベクトルを、学習用データとして生成する。
そして、データ選定部103は、生成した学習用データを、モデル学習部11に出力する。
モデル学習部11は、ステップST30にてデータ選定部103が生成した学習用データに基づき、学習済みモデルを生成する(ステップST40)。
モデル学習部11は、生成した学習済みモデルをモデル評価部12に出力する。
モデル評価部12の評価部121は、ステップST40にてモデル学習部11が生成した学習済みモデルを評価する(ステップST50)。
評価部121は、学習済みモデルの評価結果を、モデル評価部12の評価結果確認部122に出力する。
評価結果確認部122は、ステップST50にて評価部121が行った学習済みモデルの評価結果を確認し、データ処理装置10のデータ選定部103に対してデータ選定処理のやり直しを指示するか否かを判定する「評価結果確認処理」を行う(ステップST60)。
評価結果確認部122は、データ選定処理のやり直しを指示すると判定した場合、データ再選定フラグに「1」を設定する。評価結果確認部122は、データ選定処理のやり直しを指示しないと判定した場合、データ再選定フラグに「0」を設定する。
ステップST60にて、評価結果確認部122によって、データ選定処理を指示すると判定された場合、すなわち、データ再選定フラグに「1」が設定された場合(ステップST70の“YES”の場合)、データ処理装置10のデータ選定部103は、データ選定処理をやり直す必要があると判定する。そして、学習装置1の動作は、ステップST30の処理に戻り、データ処理装置10のデータ選定部103が、再度、データ選定処理を行うことで、データ選定処理のやり直しを行う。
一方、ステップST60にて、評価結果確認部122によって、データ選定処理を指示しないと判定された場合、すなわち、データ再選定フラグに「0」が設定された場合(ステップST70の“NO”の場合)、評価結果確認部122は、学習済みモデルを出力部13に出力する。
出力部13は、ステップST70にてモデル評価部12、より詳細には、モデル評価部12の評価結果確認部122から出力された学習済みモデルを、記憶装置2に記憶させる、または、外部装置に出力する(ステップST80)。
図4は、図3のステップST30における、データ処理装置10のデータ選定部103によるデータ選定処理の詳細について説明するためのフローチャートである。
図4のフローチャートを用いて、データ選定処理におけるデータ選定部103の動作例を詳細に説明する。
データ選定部103は、複数の学習用画像のうち対象学習用画像を決め、データ選定座標の初期設定を行う(ステップST100)。
すなわち、データ選定部103は、最初にデータ選定パッチとする分割パッチの位置を示す座標を、データ選定座標に設定する。
データ選定部103は、ステップST100にて設定したデータ選定座標であらわされるデータ選定パッチから抽出されたデータ選定特徴量ベクトルと選定基準条件とに基づき、データ選定パッチを除外対象パッチとして選定するか否かの判定を行う(ステップST101)。ここで、データ選定部103は、データ選定パッチを除外対象パッチに選定した場合、使用データフラグを「0」に更新する。一方、データ選定部103は、データ選定パッチを除外対象パッチに選定しなかった場合、使用データフラグには「1」が設定されたままとする。
データ選定部103は、対象学習用画像における分割パッチの終端まで、当該分割パッチをデータ選定パッチとして、データ選定パッチを除外対象パッチに選定するか否かの判定を行ったかを判定する(ステップST102)。つまり、データ選定部103は、対象学習用画像における全ての分割パッチに対して除外対象パッチに選定するか否かの判定を行ったかを判定する。
対象学習用画像における全ての分割パッチに対して除外対象パッチに選定するか否かの判定を行っていない場合(ステップST102の“NO”の場合)、データ選定部103は、次のデータ選定パッチを設定する。具体的には、データ選定部103は、次のデータ選定パッチの位置を示す座標を、データ選定座標に設定するよう、データ選定座標を更新する(ステップST103)。
そして、データ選定部103の処理は、ステップST101の処理に戻り、データ選定部103は、更新されたデータ選定座標であらわされるデータ選定パッチから抽出されたデータ選定特徴量ベクトルを特定し、再び、データ選定パッチを除外対象パッチとして選定するか否かの判定を行う(ステップST101)。
なお、グループパッチを代表パッチとともに除外対象パッチとして選定する場合、データ選定部103は、ステップST100またはステップST103においてデータ選定パッチを代表パッチに設定しておく。データ選定部103は、ステップST101にて、当該代表パッチから抽出された特徴量ベクトルと選定基準条件とに基づき、当該代表パッチを除外対象パッチとして選定するか否かを判定し、代表パッチを除外対象パッチとして選定すると判定した場合、グループ設定用条件に基づき、代表パッチとグループ化する、代表パッチの周辺の分割パッチをグループパッチに設定して、設定したグループパッチを代表パッチとともに除外対象パッチとして選定する。
この場合、データ選定部103は、ステップST103にて次のデータ選定パッチを設定する際、より詳細には、次のデータ選定パッチの位置を示す座標でデータ選定座標を更新する際、次のデータ選定パッチの候補となる分割パッチが、既に除外対象パッチに選定済みの分割パッチである場合、当該分割パッチに対する、除外対象パッチとするか否かの判定は実施済みとする。
対象学習用画像における全ての分割パッチに対して除外対象パッチに選定するか否かの判定を行った場合(ステップST102の“YES”の場合)、データ選定部103は、全ての学習用画像に対してデータ選定処理が行われたか否かを判定する(ステップST104)。
全ての学習用画像に対してデータ選定処理が行われていない場合(ステップST104の“NO”の場合)、データ選定部103は、次の学習用画像を対象学習用画像とする。そして、データ選定部103の動作は、ステップST100の処理に戻る。
全ての学習用画像に対してデータ選定処理が行われた場合(ステップST104の“YES”の場合)、データ選定部103は、学習用データを生成し、生成した学習用データを、モデル学習部11に出力する。
そして、データ選定部103は、図4のフローチャートで示すような動作を終了する。このとき、データ選定部103は、データ選定座標、使用データフラグ、または、グループパッチを初期値化するようにしてもよい。
図5は、図3のステップST60における、評価結果確認部122による評価結果確認処理の詳細について説明するためのフローチャートである。
図5のフローチャートを用いて、評価結果確認処理における評価結果確認部122の動作例を詳細に説明する。
なお、図5のフローチャートは、評価結果確認部122が第1評価結果確認機能と第2評価結果確認機能の両方を有している場合の、評価結果確認部122の動作を示すフローチャートとしている。
評価結果確認部122は、評価結果確認フラグを確認し、第1評価結果確認機能を実行するか、第2評価結果確認機能を実行するか、すなわち、評価結果の確認を自動で(自身が)行うか、ユーザに行わせるかを判定する(ステップST200)。
評価結果確認フラグに「1」が設定されている場合、すなわち、第1評価結果確認機能を実行する場合(ステップST200の“YES”の場合)、評価結果確認部122は、学習済みモデルの評価結果に基づき、学習済みモデルの精度は十分に良いといえるか否かを確認し、学習済みモデルの精度が十分に良いといえないと確認した場合、データ選定処理のやり直しを指示すると判定する。評価結果確認部122は、学習済みモデルの精度が十分に良いといえると確認した場合は、データ選定処理のやり直しは指示しないと判定する。評価結果確認部122は、データ選定処理のやり直しを指示すると判定した場合、データ再選定フラグに「1」を設定する。評価結果確認部122は、データ選定処理のやり直しを指示しないと判定した場合、データ再選定フラグに「0」を設定する(ステップST201)。
そして、評価結果確認部122は、図5のフローチャートで示すような動作を終了する。
評価結果確認フラグに「0」が設定されている場合、すなわち、第2評価結果確認機能を実行する場合(ステップST200の“NO”の場合)、評価結果確認部122は、図示しない表示装置に、学習済みモデルの評価結果を表示させる(ステップST202)。
そして、評価結果確認部122は、データ選定処理のやり直しが必要である旨の指示、または、データ選定処理のやり直しは不要である旨の指示を受け付ける。
評価結果確認部122は、データ選定処理のやり直しが必要である旨の指示を受け付けた場合、データ選定処理のやり直しを指示すると判定し、データ再選定フラグに「1」を設定する。評価結果確認部122は、データ選定処理のやり直しは不要である旨の指示を受け付けた場合、データ選定処理のやり直しは指示しないと判定し、データ再選定フラグに「0」を設定する(ステップST203)。
そして、評価結果確認部122は、図5のフローチャートで示すような動作を終了する。
なお、評価結果確認部122が第1評価結果確認機能のみ有している場合、図5のステップST200、ステップST202、および、ステップST203の処理は行われない。また、評価結果確認部122が第2評価結果確認機能のみ有している場合、図5のステップST200、および、ステップST201の処理は行われない。
このように、実施の形態1に係るデータ処理装置10は、取得した学習用画像を複数の分割パッチに分割し、当該分割パッチごとに特徴量ベクトルを抽出する。データ処理装置10は、抽出した特徴量ベクトルと選定基準条件とに基づき除外対象パッチを選定し、抽出した特徴量ベクトルのうち除外対象パッチに選定されなかった分割パッチから抽出された特徴量ベクトルを、学習用データとして生成する。
データ処理装置10は、全学習用画像における局所的な領域ごと、すなわち、パッチごとの特徴量分布等に基づき、学習用画像における局所的な領域、すなわち、パッチ、のみを取り除くようにすることで、モデルの精度低下に影響を与えないデータについては確保されつつ、モデルの精度低下に影響を与えるデータが取り除いた学習用データを生成することができる。
また、学習装置1は、データ処理装置10が生成した学習用データに基づいて学習済みモデルを生成するので、従来技術と比べ、精度の良い学習済みモデルを生成することができる。
以上の実施の形態1では、選定基準条件において、全学習用画像の各分割パッチから抽出された複数の特徴量ベクトルの平均を基準特徴量ベクトルとし、または、全学習用画像の各分割パッチから抽出された複数の特徴量ベクトルの特徴量分布平均を基準特徴量分布としていた。つまり、データ選定部103は、データ選定処理において、特徴量抽出部102が抽出した各パッチの特徴量ベクトルと、全学習用画像の各分割パッチから抽出された複数の特徴量ベクトルの平均、または、全学習用画像の各分割パッチから抽出された複数の特徴量ベクトルの特徴量分布平均との比較によって、除外対象パッチを選定するようにしていた。しかし、これは一例に過ぎない。例えば、データ選定部103は、特徴量ベクトルを次元削減して、次元削減した後の特徴量ベクトルを用いて、除外対象パッチを選定するようにしてもよい。
より詳細には、データ選定部103は、データ選定処理の前処理として、特徴量抽出部102が抽出した特徴量ベクトルを次元削減する処理を行う。データ選定部103は、例えば、各特徴量ベクトルに対して次元削減モデルを適用して、次元削減後の特徴量ベクトル(以下「次元削減後特徴量ベクトル」という。)を得る。実施の形態1において、データ選定部103による、特徴量抽出部102が抽出した特徴量ベクトルを次元削減する処理を、「データ選定前モデル学習」という。
データ選定部103は、次元削減後特徴量ベクトルを得ると、次元削減後特徴量ベクトルの平均、または、次元削減後特徴量ベクトルの特徴量分布平均を、それぞれ、基準特徴量ベクトル、または、基準特徴量分布として算出する。
そして、データ選定部103は、データ選定処理を行う。データ選定処理の詳細については説明済みであるため、重複した説明を省略する。ただし、この場合、データ選定部103は、データ選定処理において、各パッチの次元削減後特徴量ベクトルと、基準特徴量ベクトルまたは基準特徴量分布との比較によって、除外対象パッチを選定する。
図6は、以上の実施の形態1において、データ選定部103がデータ選定前モデル学習を行う機能を有するようにした場合の、学習装置1の動作を説明するためのフローチャートである。
図6のフローチャートにおいて、ステップST10~ステップST20、ステップST30~ステップST80の処理の具体的な動作は、それぞれ、説明済みの、図3のステップST10~ステップST20、ステップST30~ステップST80の具体的な動作と同様であるため、同じステップ番号を付して重複した説明を省略する。
データ選定部103は、データ選定前モデル学習を行う(ステップST21)。
データ選定部103は、データ選定前モデル学習にて得た次元削減後特徴量ベクトルに基づき、次元削減後特徴量ベクトルの平均、または、次元削減後特徴量ベクトルの特徴量分布平均を、それぞれ、基準特徴量ベクトル、または、基準特徴量分布として算出する。その上で、データ選定部103は、各パッチの次元削減後特徴量ベクトルと、算出した基準特徴量ベクトル、または、基準特徴量分布に基づきデータ選定処理を行う(ステップST30)。
データ選定部103は、例えば、「データ選定前モデル学習」を行う機能を有し、次元削減後特徴量ベクトルに基づいてデータ選定処理を行うようにすることで、データ選定処理にかかる処理負荷を低減することができる。また、データ選定部103は、次元削減後特徴量ベクトルに基づいてデータ選定処理を行うようにすることで、外観検査に重要な特徴を残し、重要でない特徴を取り除くことができる。
なお、以上の実施の形態1では、学習装置1において、モデル評価部12は、評価結果確認部122を備えているものとしたが、これは一例に過ぎない。モデル評価部12は、評価結果確認部122を備えない構成としてもよい。
この場合、図3のフローチャートを用いて説明した学習装置1の動作において、ステップST60の処理を省略できる。例えば、評価部121は、評価結果が性能基準値を超えているかを判定し、評価結果が性能基準値を超えている場合は学習済みモデルを出力部13に出力し(図3のステップST70の“NO”参照)、評価結果が性能基準値以下の場合は、データ選定処理のやり直しを指示すると判定すればよい(図3のステップST70の“YES”参照)。また、例えば、評価部121は、評価結果は記憶装置2に記憶させておくものとし、評価結果によらず、学習済みモデルを出力部13に出力してもよい。この場合、図3のフローチャートを用いて説明した学習装置1の動作において、ステップST70の処理も省略できる。
また、以上の実施の形態1では、学習装置1は、モデル評価部12を備えるものとしたが、これは一例に過ぎない。学習装置1は、モデル評価部12を備えない構成としてもよい。
この場合、図3のフローチャートを用いて説明した学習装置1の動作において、ステップST50~ST70の処理を省略できる。例えば、モデル学習部11は、生成した学習済みモデルを出力部13に出力する。
また、以上の実施の形態1では、データ処理装置10は、学習装置1に搭載されているものとしたが、これは一例に過ぎない。データ処理装置10は、学習装置1の外部に備えられ、すなわち、データ処理装置10と学習装置1とは別個の装置とし、データ処理装置10と学習装置1とが接続されてシステムを構成してもよい。
図7Aおよび図7Bは、実施の形態1に係るデータ処理装置10のハードウェア構成の一例を示す図である。
実施の形態1において、学習用画像取得部101と特徴量抽出部102とデータ選定部103と図示しない制御部の機能は、処理回路1001により実現される。すなわち、データ処理装置10は、パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データを生成する制御を行うための処理回路1001を備える。
処理回路1001は、図7Aに示すように専用のハードウェアであっても、図7Bに示すようにメモリ1005に格納されるプログラムを実行するプロセッサ1004であってもよい。
処理回路1001が専用のハードウェアである場合、処理回路1001は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
処理回路がプロセッサ1004の場合、学習用画像取得部101と特徴量抽出部102とデータ選定部103と図示しない制御部の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ1005に記憶される。プロセッサ1004は、メモリ1005に記憶されたプログラムを読み出して実行することにより、学習用画像取得部101と特徴量抽出部102とデータ選定部103と図示しない制御部の機能を実行する。すなわち、データ処理装置10は、プロセッサ1004により実行されるときに、上述の図3のステップST10~ステップST30、または、上述の図6のステップST10~ステップST30が結果的に実行されることになるプログラムを格納するためのメモリ1005を備える。また、メモリ1005に記憶されたプログラムは、学習用画像取得部101と特徴量抽出部102とデータ選定部103と図示しない制御部の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ1005とは、例えば、RAM、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
なお、学習用画像取得部101と特徴量抽出部102とデータ選定部103と図示しない制御部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、学習用画像取得部101については専用のハードウェアとしての処理回路1001でその機能を実現し、特徴量抽出部102とデータ選定部103と図示しない制御部についてはプロセッサ1004がメモリ1005に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、データ処理装置10は、学習装置1または記憶装置2等の装置と、有線通信また無線通信を行う入力インタフェース装置1002および出力インタフェース装置1003を備える。
学習装置1のハードウェア構成例も、図7Aおよび図7Bを用いて示したような構成例である。
学習装置1において、モデル学習部11とモデル評価部12と出力部13と図示しない制御部の機能は、処理回路1001により実現される。すなわち、学習装置1は、データ処理装置10が生成した学習用データに基づき学習済みモデルを生成する制御を行うための処理回路1001を備える。
処理回路1001は、図7Aに示すように専用のハードウェアであっても、図7Bに示すようにメモリに格納されるプログラムを実行するプロセッサ1004であってもよい。
処理回路1001は、メモリ1005に記憶されたプログラムを読み出して実行することにより、モデル学習部11とモデル評価部12と出力部13と図示しない制御部の機能を実行する。すなわち、学習装置1は、処理回路1001により実行されるときに、上述の図3のステップST40~ステップST80、または、図6のステップST21~ステップST21、ステップST40~ステップST80が結果的に実行されることになるプログラムを格納するためのメモリ1005を備える。また、メモリ1005に記憶されたプログラムは、モデル学習部11とモデル評価部12と出力部13と図示しない制御部の処理の手順または方法をコンピュータに実行させるものであるともいえる。
また、学習装置1は、データ処理装置10または記憶装置2等の装置と、有線通信または無線通信を行う入力インタフェース装置1002および出力インタフェース装置1003を備える。
以上のように、実施の形態1によれば、データ処理装置10は、パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データを生成するデータ処理装置10であって、学習用画像を取得する学習用画像取得部101と、学習用画像取得部101が取得した学習用画像を複数の分割パッチに分割し、当該分割パッチごとに特徴量ベクトルを抽出する特徴量抽出部102と、特徴量抽出部102が抽出した特徴量ベクトルと、複数の分割パッチのうち抽出された特徴量ベクトルを学習用データの生成に用いる特徴量ベクトルから除外する除外対象パッチを選定するための選定基準条件とに基づき、除外対象パッチを選定し、特徴量抽出部102が抽出した特徴量ベクトルのうち除外対象パッチに選定されなかった分割パッチから抽出された特徴量ベクトルを、学習用データとして生成するデータ選定部103とを備えるように構成した。
そのため、データ処理装置10は、パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データについて、モデルの精度低下に影響を与えないデータについては確保されつつ、モデルの精度低下に影響を与えるデータが取り除いた学習用データを生成することができる。
実施の形態2.
実施の形態1では、学習用画像が分割された全ての分割パッチに対してデータ選定処理が行われるものとしていた。
実施の形態2では、学習用画像が分割された分割パッチのうち、データ選定処理を行う対象とする分割パッチを決定可能な実施の形態について説明する。
図8は、実施の形態2に係るデータ処理装置10aを備えた学習装置1aの構成例を示す図である。
図8に示すように、学習装置1aは、データ処理装置10aと、モデル学習部11と、モデル評価部12と、出力部13を備える。
データ処理装置10aは、例えば、学習装置1aに備えられる。
学習装置1aは、データ処理装置10aが生成した学習用データに基づき学習済みモデルを生成する。
学習装置1aは、例えば、サーバに搭載されている。
図8に示す学習装置1aの構成例について、実施の形態1において図1を用いて説明した実施の形態1に係る学習装置1と同様の構成例については、同じ符号を付して重複した説明を省略する。
また、図8に示すデータ処理装置10aの構成例について、実施の形態1において図1を用いて説明した実施の形態1に係るデータ処理装置10と同様の構成例については、同じ符号を付して重複した説明を省略する。
実施の形態2に係るデータ処理装置10aは、図1を用いて説明した実施の形態1に係るデータ処理装置10とは、対象領域決定部104を備える点が異なる。
また、実施の形態2において、データ処理装置10aのデータ選定部103の具体的な動作が、実施の形態1に係るデータ処理装置10のデータ選定部103の具体的な動作とは異なる。
対象領域決定部104は、学習用画像上の複数の分割パッチのうち、データ選定部103によるデータ選定処理の対象とする分割パッチ、より詳細には、データ選定部103による除外対象パッチに選定するか否かの判定の対象とするパッチ、を決定する。実施の形態2において、データ選定部103による除外対象パッチに選定するか否かの判定の対象とするパッチを「選定対象パッチ」という。また、対象領域決定部104による、選定対象パッチを決定する処理を、「対象領域決定処理」という。
なお、実施の形態2において、特徴量抽出部102は、特徴量データを対象領域決定部104に出力する。
例えば、対象領域決定部104は、まず、特徴量データに基づき、各学習用画像における対応する分割パッチごとに、特徴量ベクトルをグループ化する。より詳細には、対象領域決定部104は、各学習用画像において同じ位置(例えば、一番左上)にある特徴量ベクトルが同じグループになるよう、特徴量ベクトルをグループ化する。なお、対象領域決定部104は、特徴量データに基づけば、各学習用画像において同じ位置にある特徴量ベクトルを特定できる。
次に、対象領域決定部104は、特徴量ベクトルのグループごとに、当該グループに属する特徴量ベクトルの平均または分散を算出する。すなわち、特徴量ベクトルの平均または分散は、特徴量ベクトルのグループの数だけ、言い換えれば、1枚の学習用画像にて設定される分割パッチの数だけ、算出される。
そして、対象領域決定部104は、算出した全ての特徴量ベクトルのグループの中で、平均または分散が大きい特徴量ベクトルのグループを見つける。対象領域決定部104は、ある特徴量ベクトルのグループについて、平均または分散が大きいか否かを、対象領域決定用閾値との比較によって判定すればよい。対象領域決定用閾値は、予め、ユーザ等によって設定され、対象領域決定部104の内部のバッファ等に記憶されている。対象領域決定部104は、ある特徴量ベクトルのグループについて、当該あるグループに属する特徴量ベクトルの平均または分散が対象領域決定用閾値以上であれば、算出した当該あるグループの特徴量ベクトルの平均または分散について、大きいと判定する。
対象領域決定部104は、平均または分散が大きい特徴量ベクトルのグループを見つけると、すなわち、平均または分散が大きい特徴量ベクトルのグループであると判定すると、当該グループの特徴量ベクトルの抽出元となった分割パッチを、選定対象パッチに決定する。対象領域決定部104は、平均または分散が大きい特徴量ベクトルのグループではないと判定すれば、当該グループの特徴量ベクトルの抽出元となった分割パッチは、選定対象パッチには決定しない。
対象領域決定部104は、上述したように、全ての特徴量ベクトルのグループの中で、平均または分散が大きい特徴量ベクトルのグループを見つける。ある特徴量ベクトルのグループについて、当該あるグループが、全ての特徴量ベクトルのグループの中で、特徴量ベクトルの平均または分散が大きいと判定されたグループである場合、当該あるグループの特徴量ベクトルの抽出元の分割パッチには、異常箇所等がある可能性が高いと推測される。そこで、対象領域決定部104は、当該分割パッチを、選定対象パッチに決定する。
対象領域決定部104が選定対象パッチの絞り込みを行うことで、データ処理装置10aは、明らかに不要と推測されるデータ選定処理を実行しないようにし、データ選定処理全体に係る処理の負荷を軽くすることができる。
例えば、どの分割パッチを選定対象パッチに決定するかの指定はユーザ等が行うものとし、対象領域決定部104は、選定対象パッチとする分割パッチの指定をユーザ等から受け付けることで、対象領域決定処理を行うこととしてもよい。
この場合、ユーザ等は、例えば、学習用画像上の各分割パッチについて、どの分割パッチを選定対象パッチとするかを指定した画像を用意する。例えば、ユーザは、画像上の分割パッチについて、選定対象パッチとする分割パッチは白い領域、選定対象パッチとしない分割パッチは黒い領域としたマスク画像を用意する。なお、マスク画像は、学習用画像と同じ大きさの画像であり、マスク画像の分割パッチは、学習用画像の各分割パッチと同じ要領でマスク画像が分割された、マスク画像の局所的な領域である。
実施の形態2では、ユーザ等は、どの分割パッチを選定対象パッチとするかを指定した画像として、上述したようなマスク画像を1枚用意しておくものとする。ユーザは、用意したマスク画像を、記憶装置2に記憶させておく。
対象領域決定部104は、記憶装置2に記憶されているマスク画像を取得し、マスク画像と学習用画像とをつきあわせ、マスク画像上で選定対象パッチに指定されている分割パッチ、すなわち、マスク画像上の白い分割パッチ、に対応する学習用画像上の分割パッチを、選定対象パッチに決定する。対象領域決定部104は、マスク画像上で選定対象パッチに指定されていない分割パッチ、すなわち、マスク画像上の黒い分割パッチ、に対応する学習用画像上の分割パッチは、選定対象パッチに決定しない。
なお、図8において、対象領域決定部104と記憶装置2とを結ぶ矢印の図示は省略している。
対象領域決定部104は、選定対象パッチを決定すると、各分割パッチに、選定対象領域フラグを付与する。対象領域決定部104は、例えば、選定対象パッチに決定した分割パッチには選定対象領域フラグ「1」を付与し、選定対象パッチに決定しなかった分割パッチには選定対象領域フラグ「0」を付与する。
選定対象領域フラグは、データ処理装置10aのデータ選定部103が、データ選定処理を行う対象とするか否か、すなわち、選定対象パッチであるか否か、を判定するためのフラグである。
そして、対象領域決定部104は、特徴量抽出部102から出力された特徴量データについて、各分割パッチに選定対象領域フラグが付与された後の特徴量データを、データ選定部103に出力する。
対象領域決定部104からデータ選定部103に出力される特徴量データは、例えば、学習用画像上で、分割パッチと、当該分割パッチの位置と、当該分割パッチから抽出された特徴量ベクトルとが対応付けられたデータであり、分割パッチには選定対象領域フラグが付与されている。
例えば、対象領域決定部104は、特徴量ベクトルのグループごとに当該グループに属する特徴量ベクトルの平均または分散を算出して、算出した全ての特徴量ベクトルのグループの中で、平均または分散が大きい特徴量ベクトルのグループを見つけることで選定対象パッチを決定する対象領域決定処理を行う機能(以下「第1対象領域決定機能」という。)と、ユーザ等による選定対象パッチの指定に基づき対象領域決定処理を行う機能(以下「第2対象領域決定機能」という。)の両方を有していてもよい。
この場合、対象領域決定部104は、例えば、記憶装置2を参照して、マスク画像が記憶されているか否かを確認することで、上記第1対象領域決定機能にて対象領域決定処理を行うか、上記第2対象領域決定機能にて対象領域決定処理を行うかを判定する。
対象領域決定部104は、記憶装置2にマスク画像が記憶されていれば上記第2対象領域決定機能によって対象領域決定処理を行い、記憶装置2にマスク画像が記憶されていなければ上記第1対象領域決定機能によって対象領域決定処理を行う。
実施の形態2において、データ選定部103は、データ選定処理において、データ選定パッチに付与されている選定対象領域フラグから、当該データ選定パッチが選定対象パッチであるか否かを判定し、当該データ選定パッチが選定対象パッチである場合に、当該データ選定パッチを除外対象パッチに選定するか否かの判定を行う。
つまり、データ選定部103は、データ選定パッチに選定対象領域フラグ「1」が付与されていれば、当該データ選定パッチを除外対象パッチに選定するか否かの判定を行う。
データ選定部103によるデータ選定処理の詳細については、実施の形態1にて説明済みであるため、重複した説明を省略する。
データ選定部103は、データ選定パッチに選定対象領域フラグ「0」が付与されていれば、当該データ選定パッチを除外対象パッチに選定するか否かの判定は行わない。
なお、実施の形態2においても、データ選定部103は、特徴量抽出部102が抽出した特徴量ベクトルのうち除外対象パッチに選定されなかった選定対象パッチから抽出された特徴量ベクトルを、学習用データとして生成する。
上述のとおり、実施の形態2において、データ選定部103は、選定対象領域フラグ「0」が付与されていたデータ選定パッチ、すなわち、対象領域決定部104によって選定対象パッチに決定されなかったデータ選定パッチに対しては、当該データ選定パッチを除外対象パッチに選定するか否かの判定は行わない。しかし、各分割パッチに付与されている使用データフラグの初期値は「1」である。よって、除外対象パッチに選定するか否かの判定が行われなかったデータ選定パッチに付与されている使用データフラグは「1」のままであり、当該データ選定パッチから抽出された特徴量ベクトルは、学習用データの生成の対象とされ、当該データ選定パッチから抽出された特徴量ベクトルは、学習用データに含まれるようになる。
実施の形態2に係るデータ処理装置10aを備えた学習装置1aの動作について説明する。
図9は、実施の形態2に係るデータ処理装置10aを備えた学習装置1aの動作について説明するためのフローチャートである。
学習装置1aは、例えば、学習装置1aの電源がオンにされると、または、ユーザ等から動作開始指示を受け付けると、図9のフローチャートで示されているような動作を開始する。例えば、ユーザ等は、図示しない入力装置を操作して、動作開始指示を入力する。学習装置1aの図示しない制御部は、動作開始指示を受け付けると、データ処理装置10aの図示しない制御部に動作開始指示を出力するとともに、モデル学習部11、モデル評価部12、および、出力部13の動作を開始させる。データ処理装置10aの図示しない制御部は、動作開始指示を受け付けると、学習用画像取得部101、特徴量抽出部102、対象領域決定部104、および、データ選定部103の動作を開始させる。
なお、図9のフローチャートで示す動作について、ステップST10~ステップST30aの処理は、データ処理装置10が行う処理である。
図9において、ステップST10~ステップST20、ステップST40~ステップST80の処理の具体的な内容は、それぞれ、実施の形態1にて説明済みの、図3のステップST10~ステップST20、ステップST40~ステップST80の処理の具体的な内容と同様であるため、重複した説明を省略する。
対象領域決定部104は、ステップST20にて特徴量抽出部102が抽出した各パッチの特徴量ベクトルに基づき、学習用画像上の複数の分割パッチのうち、データ選定部103によるデータ選定処理の対象とする分割パッチ、より詳細には、データ選定部103による除外対象パッチに選定するか否かの判定の対象とする選定対象パッチ、を決定する「対象領域決定処理」を行う(ステップST25)。
なお、ステップST20において、特徴量抽出部102は、特徴量データを対象領域決定部104に出力する。
対象領域決定部104は、特徴量抽出部102から出力された特徴量データについて、各分割パッチに選定対象領域フラグが付与された後の特徴量データを、データ選定部103に出力する。
データ選定部103は、特徴量抽出部102が抽出した特徴量ベクトルと選定基準条件とに基づき除外対象パッチを選定するデータ選定処理を行う(ステップST30a)。当該データ選定処理において、データ選定部103は、ステップST25にて対象領域決定部104から出力された特徴量データに基づいて、対象領域決定部104によって選定対象パッチに決定された分割パッチに対してのみ、除外対象パッチに選定するか否かの判定を行う。
データ選定部103は、特徴量抽出部102が抽出した特徴量ベクトルのうち除外対象パッチに選定されなかった選定対象パッチから抽出された特徴量ベクトルを、学習用データとして生成する。より詳細には、データ選定部103は、使用データフラグに「1」が設定されている分割パッチから抽出された特徴量ベクトルを、学習用データとして生成する。
そして、データ選定部103は、生成した学習用データを、モデル学習部11に出力する。
図10は、図9のステップST25における、データ処理装置10aの対象領域決定部104による対象領域決定処理の詳細について説明するためのフローチャートである。
図9のフローチャートを用いて、対象領域決定処理における対象領域決定部104の動作例を詳細に説明する。
なお、図9のフローチャートは、対象領域決定部104が第1対象領域決定機能と第2対象領域決定機能の両方を有している場合の、対象領域決定部104の動作を示すフローチャートとしている。
対象領域決定部104は、記憶装置2を参照して、マスク画像が記憶されているか否かを確認する。すなわち、対象領域決定部104は、記憶装置2からマスク画像を読み込んだ結果(ステップST300)、マスク画像を読み込めたか否かを判定する(ステップST301)。
マスク画像を読み込めなかった場合(ステップST301の“NO”の場合)、言い換えれば、記憶装置2にマスク画像が記憶されていない場合、対象領域決定部104は、第1対象領域決定機能によって対象領域決定処理を行う。
より詳細には、対象領域決定部104は、特徴量データに基づき、各学習用画像における対応する分割パッチごとに、特徴量ベクトルをグループ化し、特徴量ベクトルのグループごとに、当該グループに属する特徴量ベクトルの平均または分散を算出する。そして、対象領域決定部104は、算出した全ての特徴量ベクトルのグループの中で、平均または分散が大きい特徴量ベクトルのグループを見つける。対象領域決定部104は、平均または分散が大きい特徴量ベクトルのグループを見つけると、すなわち、ある特徴量ベクトルのグループについて平均または分散が大きい特徴量ベクトルのグループであると判定すると、当該グループの特徴量ベクトルの抽出元となった分割パッチを、選定対象パッチに決定する。対象領域決定部104は、平均または分散が大きい特徴量ベクトルのグループではないと判定すれば、当該グループの特徴量ベクトルの抽出元となった分割パッチは、選定対象パッチには決定しない(ステップST302)。
対象領域決定部104は、選定対象パッチに決定した分割パッチには選定対象領域フラグ「1」を付与し、選定対象パッチに決定しなかった分割パッチには選定対象領域フラグ「0」を付与して、特徴量データをデータ選定部103に出力する。
そして、対象領域決定部104は、図10のフローチャートで示すような動作を終了する。
マスク画像を読み込めた場合(ステップST301の“YES”の場合)、言い換えれば、記憶装置2にマスク画像が記憶されている場合、対象領域決定部104は、第2対象領域決定機能によって対象領域決定処理を行う。
より詳細には、対象領域決定部104は、記憶装置2に記憶されているマスク画像を取得し、マスク画像と学習用画像とをつきあわせ、マスク画像上で選定対象パッチに指定されている分割パッチ、すなわち、マスク画像上の白い分割パッチ、に対応する学習用画像上の分割パッチを、選定対象パッチに決定する。対象領域決定部104は、マスク画像上で選定対象パッチに指定されていない分割パッチ、すなわち、マスク画像上の黒い分割パッチ、に対応する学習用画像上の分割パッチは、選定対象パッチに決定しない(ステップST303)。
対象領域決定部104は、選定対象パッチに決定した分割パッチには選定対象領域フラグ「1」を付与し、選定対象パッチに決定しなかった分割パッチには選定対象領域フラグ「0」を付与して、特徴量データをデータ選定部103に出力する。
そして、対象領域決定部104は、図10のフローチャートで示すような動作を終了する。
なお、対象領域決定部104が第1対象領域決定機能のみ有している場合、図10のステップST300、ステップST301、および、ステップST303の処理は行われない。また、対象領域決定部104が第2対象領域決定機能のみ有している場合、図10のステップST300、ステップST301、および、ステップST302の処理は行われない。
図11は、図9のステップST30aにおける、データ処理装置10のデータ選定部103によるデータ選定処理の詳細について説明するためのフローチャートである。
図11のフローチャートを用いて、データ選定処理におけるデータ選定部103の動作例を詳細に説明する。
なお、データ選定部103による、図11のステップST400、ステップST403~ステップST405の処理における具体的な動作は、それぞれ、実施の形態1にて説明済みの、図4のステップST100、ステップST102~ステップST104の処理における具体的な動作と同様であるため、重複した説明を省略する。
データ選定部103は、ステップST400にて設定したデータ選定座標であらわされるデータ選定パッチに付与されている選定対象領域フラグから、当該データ選定パッチが選定対象パッチであるか否か、すなわち、除外対象パッチの選定に使用する領域であるか否か、を判定する(ステップST401)。
ステップST401にて、データ選定パッチが選定対象パッチであると判定した場合(ステップST401の“YES”の場合)、すなわち、データ選定パッチに選定対象領域フラグ「1」が付与されている場合、データ選定部103の処理は、ステップST402の処理に進む。
データ選定部103は、データ選定パッチを除外対象パッチに選定するか否かの判定を行う。より詳細には、データ選定部103は、データ選定パッチから抽出されたデータ選定特徴量ベクトルと選定基準条件とに基づき、データ選定パッチを除外対象パッチとして選定するか否かの判定を行う(ステップST402)。ここで、データ選定部103は、データ選定パッチを除外対象パッチに選定した場合、使用データフラグを「0」に更新する。一方、データ選定部103は、データ選定パッチを除外対象パッチに選定しなかった場合、使用データフラグには「1」が設定されたままとする。
一方、ステップST401にて、データ選定パッチが選定対象パッチではないと判定した場合(ステップST401の“NO”の場合)、すなわち、データ選定パッチに選定対象領域フラグ「0」が付与されている場合、データ選定部103の処理は、ステップST402の処理をスキップして、ステップST403の処理に進む。
このように、実施の形態2に係るデータ処理装置10aは、学習用画像上の複数の分割パッチのうち、データ選定部103による除外対象パッチの選定の対象とする選定対象パッチを決定する対象領域決定部104を備え、データ選定部103は、対象領域決定部104が決定した選定対象パッチのうちから除外対象パッチを選定し、特徴量抽出部102が抽出した特徴量ベクトルのうち、除外対象パッチに選定されなかった選定対象パッチから抽出された特徴量ベクトルを、学習用データとして生成する。
そのため、データ処理装置10aは、明らかに不要と推測されるデータ選定処理を実行しないようにし、データ選定処理全体に係る処理の負荷を軽くすることができる。
なお、以上の実施の形態2において、例えば、データ選定部103は、特徴量ベクトルを次元削減して、次元削減した後の特徴量ベクトルを用いて、除外対象パッチを選定するようにしてもよい。
この場合、データ選定部103は、データ選定処理の前処理として、特徴量抽出部102が抽出した特徴量ベクトルを次元削減して次元削減後特徴量ベクトルを得るデータ選定前モデル学習を行う。
データ選定部103が行うデータ選定前モデル学習の詳細については、実施の形態1にて説明済みであるため、重複した説明を省略する。
図12は、以上の実施の形態2において、データ選定部103がデータ選定前モデル学習を行う機能を有するようにした場合の、学習装置1aの動作を説明するためのフローチャートである。
図12のフローチャートで示す学習装置1aの動作は、実施の形態1にて説明済みの、図6のフローチャートで示す学習装置1の動作に、ステップST25の処理が追加になったものである。
ステップST25の処理の内容は、説明済みの、図9のフローチャートで示す学習装置1aの動作のステップST25の処理の内容と同様である。
なお、図12のフローチャートで示す学習装置1aの動作では、ステップST70にて、評価結果確認部122によって、データ選定処理のやり直しを指示すると判定された場合(ステップST70の“YES”の場合)、ステップST21の処理に戻るものとしているが、これは一例に過ぎず、例えば、図13のフローチャートで示すように、ステップST70にて、評価結果確認部122によって、データ選定処理のやり直しを指示すると判定された場合(ステップST70の“YES”の場合)、データ選定部103が、データ選定前モデル学習を行い(ステップST81)、その後、学習装置1aの動作は、ステップST30の処理に戻り、データ選定部103は、ステップST81のデータ選定前モデル学習にて得られた次元削減後特徴量ベクトルに基づき、次元削減後特徴量ベクトルの平均、または、次元削減後特徴量ベクトルの特徴量分布平均を、それぞれ、基準特徴量ベクトル、または、基準特徴量分布として算出した上で、データ選定処理を行うようにしてもよい。
なお、ステップST81の処理の具体的な動作は、ステップST21の処理の具体的な動作と同様である。
また、以上の実施の形態2では、ユーザが選定対象パッチの指定を行う場合、ユーザは、マスク画像を1枚用意するものとしたが、これは一例に過ぎず、ユーザは、マスク画像を、対応する学習用画像の分だけ用意するようにしてもよい。
また、以上の実施の形態2では、学習装置1aにおいて、モデル評価部12は、評価結果確認部122を備えているものとしたが、これは一例に過ぎない。モデル評価部12は、評価結果確認部122を備えない構成としてもよい。
また、以上の実施の形態2では、学習装置1aは、モデル評価部12を備えるものとしたが、これは一例に過ぎない。学習装置1aは、モデル評価部12を備えない構成としてもよい。
また、以上の実施の形態2では、データ処理装置10aは、学習装置1aに搭載されているものとしたが、これは一例に過ぎない。データ処理装置10aは、学習装置1aの外部に備えられ、すなわち、データ処理装置10aと学習装置1aとは別個の装置とし、データ処理装置10aと学習装置1aとが接続されてシステムを構成してもよい。
図8に示したデータ処理装置10aのハードウェア構成の一例は、図7Aおよび図7Bに示すような構成である。
学習用画像取得部101と特徴量抽出部102と対象領域決定部104とデータ選定部103と図示しなし制御部の機能は、処理回路1001により実現される。
処理回路がプロセッサ1004の場合、学習用画像取得部101と特徴量抽出部102と対象領域決定部104とデータ選定部103と図示しない制御部の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ1005に記憶される。プロセッサ1004は、メモリ1005に記憶されたプログラムを読み出して実行することにより、学習用画像取得部101と特徴量抽出部102と対象領域決定部104とデータ選定部103と図示しない制御部の機能を実行する。すなわち、データ処理装置10aは、プロセッサ1004により実行されるときに、上述の図9のステップST10~ステップST80、図12のステップST10~ステップST80、または、図13のステップST10~ステップST81が結果的に実行されることになるプログラムを格納するためのメモリ1005を備える。また、メモリ1005に記憶されたプログラムは、学習用画像取得部101と特徴量抽出部102と対象領域決定部104とデータ選定部103と図示しない制御部の処理の手順または方法をコンピュータに実行させるものであるともいえる。
また、データ処理装置10aは、学習装置1aまたは記憶装置2等の装置と、有線通信また無線通信を行う入力インタフェース装置1002および出力インタフェース装置1003を備える。
以上のように、実施の形態2によれば、データ処理装置10aは、学習用画像上の複数の分割パッチのうち、データ選定部103による除外対象パッチの選定の対象とする選定対象パッチを決定する対象領域決定部104を備え、データ選定部103は、対象領域決定部104が決定した選定対象パッチのうちから除外対象パッチを選定し、特徴量抽出部102が抽出した特徴量ベクトルのうち、除外対象パッチに選定されなかった選定対象パッチから抽出された特徴量ベクトルを、学習用データとして生成するように構成した。
そのため、データ処理装置10aは、パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データについて、モデルの精度低下に影響を与えないデータについては確保されつつ、モデルの精度低下に影響を与えるデータが取り除いた学習用データを生成することができるとともに、明らかに不要と推測されるデータ選定処理を実行しないようにし、データ選定処理全体に係る処理の負荷を軽くすることができる。
なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
なお、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
以下、本開示の諸態様を付記としてまとめて記載する。
(付記1)
パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データを生成するデータ処理装置であって、
前記学習用画像を取得する学習用画像取得部と、
前記学習用画像取得部が取得した前記学習用画像を複数の分割パッチに分割し、当該分割パッチごとに特徴量ベクトルを抽出する特徴量抽出部と、
前記特徴量抽出部が抽出した前記特徴量ベクトルと、複数の前記分割パッチのうち抽出された前記特徴量ベクトルを前記学習用データの生成に用いる前記特徴量ベクトルから除外する除外対象パッチを選定するための選定基準条件とに基づき、前記除外対象パッチを選定し、前記特徴量抽出部が抽出した前記特徴量ベクトルのうち前記除外対象パッチに選定されなかった前記分割パッチから抽出された前記特徴量ベクトルを、前記学習用データとして生成するデータ選定部
とを備えたデータ処理装置。
(付記2)
前記選定基準条件には、前記学習用画像の各分割パッチから抽出された複数の前記特徴量ベクトルの平均である基準特徴量ベクトル、との距離が第1閾値以上である前記特徴量ベクトルの抽出元の前記分割パッチであること、との条件が設定されており、
前記データ選定部は、
前記特徴量抽出部が抽出した前記特徴量ベクトルと前記基準特徴量ベクトルとの距離が前記第1閾値以上である場合、当該特徴量ベクトルの抽出元である前記分割パッチを前記除外対象パッチに選定する
ことを特徴とする付記1記載のデータ処理装置。
(付記3)
前記選定基準条件には、前記学習用画像の各パッチから抽出された複数の前記特徴量ベクトルの特徴量分布平均である基準特徴量分布との距離が第2閾値以上である前記特徴量ベクトルの抽出元の前記分割パッチであること、との条件が設定されており、
前記データ選定部は、
前記特徴量抽出部が抽出した前記特徴量ベクトルと前記基準特徴量分布との距離が前記第2閾値以上である場合、当該特徴量ベクトルの抽出元である前記分割パッチを前記除外対象パッチに選定する
ことを特徴とする付記1記載のデータ処理装置。
(付記4)
前記データ選定部は、
前記分割パッチのうち代表パッチを設定し、当該代表パッチから抽出された前記特徴量ベクトルと前記選定基準条件とに基づき、当該代表パッチを前記除外対象パッチとして選定するか否かを判定し、
前記代表パッチを前記除外対象パッチとして選定すると判定した場合、グループ設定用条件に基づき、前記代表パッチとグループ化する、前記代表パッチの周辺の前記分割パッチをグループパッチに設定し、設定した前記グループパッチを前記代表パッチとともに前記除外対象パッチとして選定する
ことを特徴とする付記1から付記3のうちのいずれか1つ記載のデータ処理装置。
(付記5)
前記学習用画像上の複数の前記分割パッチのうち、前記データ選定部による前記除外対象パッチに選定するか否かの判定の対象とする選定対象パッチを決定する対象領域決定部を備え、
前記データ選定部は、
前記対象領域決定部が決定した前記選定対象パッチのうちから前記除外対象パッチを選定し、前記特徴量抽出部が抽出した前記特徴量ベクトルのうち、前記除外対象パッチに選定されなかった前記選定対象パッチから抽出された前記特徴量ベクトルを、前記学習用データとして生成する
ことを特徴とする付記1から付記4のうちのいずれか1つ記載のデータ処理装置。
(付記6)
請求項1から請求項5のうちのいずれか1項記載のデータ処理装置と、
前記データ選定部が生成した前記学習用データに基づき学習済みモデルを生成するモデル学習部
とを備えた学習装置。
(付記7)
前記モデル学習部が生成した前記学習済みモデルを評価するモデル評価部
を備えた付記6記載の学習装置。
(付記8)
前記モデル評価部は、
前記学習済みモデルが評価された結果に基づき、前記データ処理装置に対して、前記除外対象パッチの選定および前記学習用データのやり直しをさせるか否かを判定する
ことを特徴とする付記7記載の学習装置。
(付記9)
パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データを生成するデータ処理プログラムであって、
コンピュータを、
前記学習用画像を取得する学習用画像取得部と、
前記学習用画像取得部が取得した前記学習用画像を複数の分割パッチに分割し、当該分割パッチごとに特徴量ベクトルを抽出する特徴量抽出部と、
前記特徴量抽出部が抽出した前記特徴量ベクトルと、複数の前記分割パッチのうち抽出された前記特徴量ベクトルを前記学習用データの生成に用いる前記特徴量ベクトルから除外する除外対象パッチを選定するための選定基準条件とに基づき、前記除外対象パッチを選定し、前記特徴量抽出部が抽出した前記特徴量ベクトルのうち前記除外対象パッチに選定されなかった前記分割パッチから抽出された前記特徴量ベクトルを、前記学習用データとして生成するデータ選定部
として機能させるためのデータ処理プログラム。
(付記10)
パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データを生成するデータ処理方法であって、
学習用画像取得部が、前記学習用画像を取得するステップと、
特徴量抽出部が、前記学習用画像取得部が取得した前記学習用画像を複数の分割パッチに分割し、当該分割パッチごとに特徴量ベクトルを抽出するステップと、
データ選定部が、前記特徴量抽出部が抽出した前記特徴量ベクトルと、複数の前記分割パッチのうち抽出された前記特徴量ベクトルを前記学習用データの生成に用いる前記特徴量ベクトルから除外する除外対象パッチを選定するための選定基準条件とに基づき、前記除外対象パッチを選定し、前記特徴量抽出部が抽出した前記特徴量ベクトルのうち前記除外対象パッチに選定されなかった前記分割パッチから抽出された前記特徴量ベクトルを、前記学習用データとして生成するステップ
とを備えたデータ処理方法。
本開示に係るデータ処理装置は、パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データについて、モデルの精度低下に影響を与えないデータについては確保されつつ、モデルの精度低下に影響を与えるデータが取り除かれた学習用データを生成することができる。
1,1a 学習装置、10,10a データ処理装置、101 学習用画像取得部、102 特徴量抽出部、103 データ選定部、104 対象領域決定部、11 モデル学習部、12 モデル評価部、121 評価部、122 評価結果確認部、13 出力部、2 記憶装置、1001 処理回路、1002 入力インタフェース装置、1003 出力インタフェース装置、1004 プロセッサ、1005 メモリ。

Claims (11)

  1. パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データを生成するデータ処理装置であって、
    前記学習用画像を取得する学習用画像取得部と、
    前記学習用画像取得部が取得した前記学習用画像を複数の分割パッチに分割し、当該分割パッチごとに特徴量ベクトルを抽出する特徴量抽出部と、
    前記特徴量抽出部が抽出した前記特徴量ベクトルと、複数の前記分割パッチのうち抽出された前記特徴量ベクトルを前記学習用データの生成に用いる前記特徴量ベクトルから除外する除外対象パッチを選定するための、前記学習用画像上における位置が前記特徴量ベクトルの抽出元の前記分割パッチに対応する対応分割パッチに関する選定基準条件とに基づき、前記除外対象パッチを選定し、前記特徴量抽出部が抽出した前記特徴量ベクトルのうち前記除外対象パッチに選定されなかった前記分割パッチから抽出された前記特徴量ベクトルを、前記学習用データとして生成するデータ選定部
    とを備えたデータ処理装置。
  2. 前記選定基準条件には、前記学習用画像の前記対応分割パッチから抽出された複数の前記特徴量ベクトルの平均である基準特徴量ベクトル、との距離が第1閾値以上である前記特徴量ベクトルの抽出元の前記分割パッチであること、との条件が設定されており、
    前記データ選定部は、
    前記特徴量抽出部が抽出した前記特徴量ベクトルと前記基準特徴量ベクトルとの距離が前記第1閾値以上である場合、当該特徴量ベクトルの抽出元である前記分割パッチを前記除外対象パッチに選定する
    ことを特徴とする請求項1記載のデータ処理装置。
  3. 前記選定基準条件には、前記学習用画像の前記対応分割パッチから抽出された複数の前記特徴量ベクトルの特徴量分布平均である基準特徴量分布との距離が第2閾値以上である前記特徴量ベクトルの抽出元の前記分割パッチであること、との条件が設定されており、
    前記データ選定部は、
    前記特徴量抽出部が抽出した前記特徴量ベクトルと前記基準特徴量分布との距離が前記第2閾値以上である場合、当該特徴量ベクトルの抽出元である前記分割パッチを前記除外対象パッチに選定する
    ことを特徴とする請求項1記載のデータ処理装置。
  4. 前記基準特徴量分布との距離はマハラノビス距離である
    ことを特徴とする請求項3記載のデータ処理装置。
  5. 前記データ選定部は、
    前記分割パッチのうち代表パッチを設定し、当該代表パッチから抽出された前記特徴量ベクトルと前記選定基準条件とに基づき、当該代表パッチを前記除外対象パッチとして選定するか否かを判定し、
    前記代表パッチを前記除外対象パッチとして選定すると判定した場合、グループ設定用条件に基づき、前記代表パッチとグループ化する、前記代表パッチの周辺の前記分割パッチをグループパッチに設定し、設定した前記グループパッチを前記代表パッチとともに前記除外対象パッチとして選定する
    ことを特徴とする請求項1から請求項のうちのいずれか1項記載のデータ処理装置。
  6. 前記学習用画像上の複数の前記分割パッチのうち、前記データ選定部による前記除外対象パッチに選定するか否かの判定の対象とする選定対象パッチを決定する対象領域決定部を備え、
    前記データ選定部は、
    前記対象領域決定部が決定した前記選定対象パッチのうちから前記除外対象パッチを選定し、前記特徴量抽出部が抽出した前記特徴量ベクトルのうち、前記除外対象パッチに選定されなかった前記選定対象パッチから抽出された前記特徴量ベクトルを、前記学習用データとして生成する
    ことを特徴とする請求項1から請求項のうちのいずれか1項記載のデータ処理装置。
  7. 請求項1から請求項のうちのいずれか1項記載のデータ処理装置と、
    前記データ選定部が生成した前記学習用データに基づき学習済みモデルを生成するモデル学習部
    とを備えた学習装置。
  8. 前記モデル学習部が生成した前記学習済みモデルを評価するモデル評価部
    を備えた請求項記載の学習装置。
  9. 前記モデル評価部は、
    前記学習済みモデルが評価された結果に基づき、前記データ処理装置に対して、前記除外対象パッチの選定および前記学習用データのやり直しをさせるか否かを判定する
    ことを特徴とする請求項記載の学習装置。
  10. パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データを生成するデータ処理プログラムであって、
    コンピュータを、
    前記学習用画像を取得する学習用画像取得部と、
    前記学習用画像取得部が取得した前記学習用画像を複数の分割パッチに分割し、当該分割パッチごとに特徴量ベクトルを抽出する特徴量抽出部と、
    前記特徴量抽出部が抽出した前記特徴量ベクトルと、複数の前記分割パッチのうち抽出された前記特徴量ベクトルを前記学習用データの生成に用いる前記特徴量ベクトルから除外する除外対象パッチを選定するための、前記学習用画像上における位置が前記特徴量ベクトルの抽出元の前記分割パッチに対応する対応分割パッチに関する選定基準条件とに基づき、前記除外対象パッチを選定し、前記特徴量抽出部が抽出した前記特徴量ベクトルのうち前記除外対象パッチに選定されなかった前記分割パッチから抽出された前記特徴量ベクトルを、前記学習用データとして生成するデータ選定部
    として機能させるためのデータ処理プログラム。
  11. パッチに分割された学習用画像から抽出された特徴量ベクトルに基づき正常分布を学習するモデル、の学習のための学習用データを生成するデータ処理方法であって、
    学習用画像取得部が、前記学習用画像を取得するステップと、
    特徴量抽出部が、前記学習用画像取得部が取得した前記学習用画像を複数の分割パッチに分割し、当該分割パッチごとに特徴量ベクトルを抽出するステップと、
    データ選定部が、前記特徴量抽出部が抽出した前記特徴量ベクトルと、複数の前記分割パッチのうち抽出された前記特徴量ベクトルを前記学習用データの生成に用いる前記特徴量ベクトルから除外する除外対象パッチを選定するための、前記学習用画像上における位置が前記特徴量ベクトルの抽出元の前記分割パッチに対応する対応分割パッチに関する選定基準条件とに基づき、前記除外対象パッチを選定し、前記特徴量抽出部が抽出した前記特徴量ベクトルのうち前記除外対象パッチに選定されなかった前記分割パッチから抽出された前記特徴量ベクトルを、前記学習用データとして生成するステップ
    とを備えたデータ処理方法。
JP2025542315A 2024-09-10 2024-12-09 データ処理装置、学習装置、データ処理プログラム、および、データ処理方法 Active JP7745821B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2024155398 2024-09-10
JP2024155398 2024-09-10
JP2024043329 2024-12-09

Publications (1)

Publication Number Publication Date
JP7745821B1 true JP7745821B1 (ja) 2025-09-29

Family

ID=97214667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2025542315A Active JP7745821B1 (ja) 2024-09-10 2024-12-09 データ処理装置、学習装置、データ処理プログラム、および、データ処理方法

Country Status (1)

Country Link
JP (1) JP7745821B1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020160543A (ja) * 2019-03-25 2020-10-01 株式会社日立製作所 情報処理システムおよび情報処理方法
JP2023501126A (ja) * 2019-11-22 2023-01-18 エフ.ホフマン-ラ ロシュ アーゲー 組織画像分類用のマルチインスタンス学習器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020160543A (ja) * 2019-03-25 2020-10-01 株式会社日立製作所 情報処理システムおよび情報処理方法
JP2023501126A (ja) * 2019-11-22 2023-01-18 エフ.ホフマン-ラ ロシュ アーゲー 組織画像分類用のマルチインスタンス学習器

Similar Documents

Publication Publication Date Title
US11875510B2 (en) Generating refined segmentations masks via meticulous object segmentation
US10769473B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN110032998B (zh) 自然场景图片的文字检测方法、系统、装置和存储介质
US20160026900A1 (en) Image processing device, information storage device, and image processing method
US10235761B2 (en) Method and apparatus for segmenting object in image
US10062007B2 (en) Apparatus and method for creating an image recognizing program having high positional recognition accuracy
JP6015670B2 (ja) 画像処理装置及び画像処理方法
JP2013235581A (ja) 画像処理方法及び装置
KR20120066462A (ko) 얼굴 인식 방법 및 시스템, 얼굴 인식을 위한 학습용 특징 벡터 추출 장치 및 테스트용 특징 벡터 추출 장치
JP7176590B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2019215698A (ja) 画像検査支援装置および方法
JP2017004123A (ja) 判定装置、判定方法および判定プログラム
US12430777B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium to perform a tracking process, using a tracking model
WO2021135607A1 (zh) 一种基于神经网络的目标分类模型的优化方法、装置
CN112836735A (zh) 一种优化的随机森林处理不平衡数据集的方法
CN113705650A (zh) 一种人脸图片集的处理方法、装置、介质和计算设备
CN111656397A (zh) 读取系统、读取方法以及存储介质
JP2007086954A (ja) 文字認識処理装置、および文字認識処理方法、並びにコンピュータ・プログラム
US20160019440A1 (en) Feature Interpolation
JP7745821B1 (ja) データ処理装置、学習装置、データ処理プログラム、および、データ処理方法
JP6880494B2 (ja) 分類装置の製造方法、画像の分類方法、画像の分類装置、半導体の検査装置および分類基準モジュール
CN114003162B (zh) 一种rpa系统截图定位方法、装置、设备及介质
JP4983539B2 (ja) 情報処理装置および方法、並びにプログラム
WO2025139952A1 (zh) 一种图像检测方法、电子设备及存储介质
JP6922690B2 (ja) 文字領域抽出プログラム、文字領域抽出装置及び文字領域抽出方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250723

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250723

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20250723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250916

R150 Certificate of patent or registration of utility model

Ref document number: 7745821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150