JP2024000211A - 画像推定方法、評価値推定方法、及び画像推定装置 - Google Patents
画像推定方法、評価値推定方法、及び画像推定装置 Download PDFInfo
- Publication number
- JP2024000211A JP2024000211A JP2022098864A JP2022098864A JP2024000211A JP 2024000211 A JP2024000211 A JP 2024000211A JP 2022098864 A JP2022098864 A JP 2022098864A JP 2022098864 A JP2022098864 A JP 2022098864A JP 2024000211 A JP2024000211 A JP 2024000211A
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- conversion
- estimated
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000011156 evaluation Methods 0.000 title claims description 136
- 238000006243 chemical reaction Methods 0.000 claims abstract description 149
- 230000009466 transformation Effects 0.000 claims abstract description 122
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000010801 machine learning Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims description 40
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 10
- 238000011179 visual inspection Methods 0.000 description 87
- 238000010586 diagram Methods 0.000 description 29
- 230000005856 abnormality Effects 0.000 description 18
- 230000007547 defect Effects 0.000 description 12
- 238000007689 inspection Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】少ない学習画像であっても推定エンジンの推定性能を高める。【解決手段】画像推定方法は、学習用の対象物を撮像した複数の学習画像fを取得し、前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成し、前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定し、実際の対象物を撮像した入力画像hを取得し、前記入力画像hに前記変換処理を施して変換画像h'を生成し、前記変換画像h'を学習済みの前記推定エンジンに入力して推定画像H'を推定し、前記変換処理の一部または全ての処理の逆変換処理を前記推定画像H'に施して逆変換推定画像Hを生成し、前記逆変換推定画像Hを出力画像として出力する、各ステップを含む。前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化する。【選択図】図1
Description
本発明は、画像推定方法、評価値推定方法、及び画像推定装置に関する。
近年、Convolutional Neural Network(CNN)に代表される深層ネットワークモデルの提案により、機械学習の性能は飛躍的に向上した。機械学習に基づく推定エンジンを活用した画像処理方法は多く提案されており、例えば外観検査への活用例として、特許文献1では、溶接個所の形状不良を機械学習を用いて自動で検査する方法が開示されている。また、機械学習に基づく画像処理はセマンティックセグメンテーションや認識、画像分類、画像変換、及び画質改善等、多岐にわたる。
例えば入力画像からその高画質画像を推定する画質改善を目的とする場合、推定エンジンの学習は、学習用の評価対象物の画像(学習画像)を入力として推定エンジンから出力される推定画像と、予め教示された正解の推定画像である高画質画像(正解画像)との差分が小さくなるように推定エンジンの内部パラメータ(ネットワークの重み又はバイアス等)を更新する。
入力画像から評価対象物の評価値を推定する画像評価を目的とする場合も、推定エンジンの学習は、画質改善の場合と同様に、学習画像を入力として推定エンジンから出力される推定画像と、予め教示された正解の評価値(正解評価値)との差分が小さくなるように推定エンジンの内部パラメータを更新する。評価値としては、評価対象物の品質レベルや欠陥有無、及び異常度等の評価結果が挙げられる。
前述の機械学習に基づく推定エンジンにおいて、多様なパターンバリエーションを有する入力画像に対して高い推定性能を得るためには、前記パターンバリエーションに見合う大量の画像を学習させる必要がある。
しかしながら、画像撮像は一般に労力を要する作業であり、現実問題として製造ライン等において事前に大量の学習画像を収取することは困難な場合がある。また、推定エンジンに多くのパターンバリエーションを教示した場合、学習負荷が増加し、機械学習において過学習が発生する恐れがある。過学習とは、学習画像に対しては高い性能が得られるが、未学習データに対しては性能が得られず汎化性能が低下する状態である。
本発明は、このような状況に鑑みてなされたものであり、少ない学習画像であっても推定エンジンの推定性能を高めることを目的とする。
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。
上記課題を解決するため、本発明の一態様に係る画像推定方法は、コンピュータが実行する画像推定方法であって、学習用の対象物を撮像した複数の学習画像fを取得する第一の学習画像取得ステップと、前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成する第一の変換画像生成ステップと、前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定する学習ステップと、実際の対象物を撮像した入力画像hを取得する第二の画像取得ステップと、前記入力画像hに前記変換処理を施して変換画像h'を生成する第二の変換画像生成ステップと、前記変換画像h'を学習済みの前記推定エンジンに入力して推定画像H'を推定する推定画像生成ステップと、前記変換処理の一部または全ての処理の逆変換処理を前記推定画像H'に施して逆変換推定画像Hを生成する逆変換推定画像生成ステップと、前記逆変換推定画像Hを出力画像として出力する出力ステップとを含み、前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化する。
本発明によれば、少ない学習画像であっても推定エンジンの推定性能を高めることができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、本発明に係る一実施形態を図面に基づいて説明する。なお、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は適宜省略する。また、以下の実施形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Aからなる」、「Aよりなる」、「Aを有する」、「Aを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合及び原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。
<第1実施形態>
<1.外観検査システムにおける全体の処理シーケンス>
図1は、本実施形態に係る外観検査システムが行う全体の処理シーケンスの一例を示す模式図である。本実施形態に係る外観検査システムは、画像推定装置の一例であり、画像推定方法を実行する。その画像推定方法は、コンピュータが実行する方法であって、学習用の対象物を撮像した複数の学習画像fを取得する第一の学習画像取得ステップと、前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成する第一の変換画像生成ステップと、前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定する学習ステップと、実際の対象物を撮像した入力画像hを取得する第二の画像取得ステップと、前記入力画像hに前記変換処理を施して変換画像h'を生成する第二の変換画像生成ステップと、前記変換画像h'を学習済みの前記推定エンジンに入力して推定画像H'を推定する推定画像生成ステップと、前記変換処理の一部または全ての処理の逆変換処理を前記推定画像H'に施して逆変換推定画像Hを生成する逆変換推定画像生成ステップと、前記逆変換推定画像Hを出力画像として出力する出力ステップとを含み、前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化することを特徴とする。また、前記推定エンジンは、画像を入力として、画像復元画像、超解像画像、及び注目領域のいずれかを強調した強調画像を推定することを特徴とする。
<1.外観検査システムにおける全体の処理シーケンス>
図1は、本実施形態に係る外観検査システムが行う全体の処理シーケンスの一例を示す模式図である。本実施形態に係る外観検査システムは、画像推定装置の一例であり、画像推定方法を実行する。その画像推定方法は、コンピュータが実行する方法であって、学習用の対象物を撮像した複数の学習画像fを取得する第一の学習画像取得ステップと、前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成する第一の変換画像生成ステップと、前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定する学習ステップと、実際の対象物を撮像した入力画像hを取得する第二の画像取得ステップと、前記入力画像hに前記変換処理を施して変換画像h'を生成する第二の変換画像生成ステップと、前記変換画像h'を学習済みの前記推定エンジンに入力して推定画像H'を推定する推定画像生成ステップと、前記変換処理の一部または全ての処理の逆変換処理を前記推定画像H'に施して逆変換推定画像Hを生成する逆変換推定画像生成ステップと、前記逆変換推定画像Hを出力画像として出力する出力ステップとを含み、前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化することを特徴とする。また、前記推定エンジンは、画像を入力として、画像復元画像、超解像画像、及び注目領域のいずれかを強調した強調画像を推定することを特徴とする。
前記特徴について詳細を説明する。本実施形態の目的の一つは入力画像からその高画質画像を推定する画質改善である。高画質画像としては、画像のぼやけ又はノイズ等を除去した画像復元画像、画像分解能を向上した超解像画像、パターンエッジや欠陥等の注目領域(Region of interest:ROI)を選択的に強調したROI強調画像、等が挙げられる。超解像処理においては、入力画像と出力画像の画素数が異なってもよい。推定エンジンの学習では、学習用の評価対象物の画像(学習画像)を入力として推定エンジンから出力される推定画像と予め教示された正解の推定画像である高画質画像(正解画像)との差分が小さくなるように推定エンジンの内部パラメータ(ネットワークの重みやバイアス等)を更新する。
図2は、本実施形態に係る外観検査システムの入出力画像の一例を示す模式図である。機械、金属、化学、食品、及び繊維等を含む多くの工業製品において評価対象物の構造と見た目は多様であり、また、そこに発生する欠陥種も多様である。図2(a1)~(f1)は評価対象物として大小二つの歯車を撮影した際の入力画像の例であり、欠陥として順に、小さな異物200、大きな異物201、欠け202、亀裂203、歯車表面の荒れ、歯車輪郭の形状変形が発生している。このような検査画像を基に、異物の付着、内部の欠損や致命度、表面の傷や斑、汚れ、形状不良、組立不良等、様々な出来栄えを評価する外観検査が広く行われている。これらの外観検査の多くは検査員の目視判断により行われており、欠陥視認性の高い高画質画像の取得が求められる。
図2(a2)~(f2)は、それぞれ図2(a1)~(f1)に対応する高画質画像であり、異物204、205、欠け206、及び亀裂207等の欠陥が強調されたり、歯車表面のテクスチャや歯車輪郭(エッジ)が鮮明となっている。本実施形態における外観検査システムでは入力画像として図2(a1)~(f1)のいずれかの画像を入力し、出力画像としてそれぞれ2(a2)~(f2)の画像を出力するように、内部の推定エンジンを学習する。
図1を参照して、本実施形態における全体の処理シーケンスについて説明する。処理シーケンスは大きく学習フェーズ100と運用フェーズ101に分かれる。
学習フェーズ100では、外観検査システムが、学習用に評価対象物102を撮像して学習画像f(104)を取得する(S103)。画像は、CCD(Charge Coupled Device)カメラ、光学顕微鏡、荷電粒子顕微鏡、超音波検査装置、及びX線検査装置等の撮像装置で評価対象物の表面あるいは内部をデジタル映像として撮像することで取得する。なお、「取得」の他の例としては、ほかのシステムで撮像した画像を単に受信して、外観検査システムが有する記憶資源に格納するだけでもよい。また、外観検査システムは1枚ずつ撮像した静止画を処理してもよいし、例えば30fps(frames per second)で連続的に撮像した動画像に対して連続的にリアルタイム処理してもよい。
一般的には、外観検査システムは、学習画像fを学習に用いて推定エンジンの内部パラメータを決定することになる。推定性能の高い推定エンジンを得るには、パターンバリエーションに応じた多くの学習画像fを用意し、学習に用いる必要がある。一方、大量の学習画像を収取することは困難な場合がある。これに対し、撮像画像に処理を施して疑似画像を生成し、学習画像を水増しするデータ拡張(Data Augmentation)が知られている。しかしながら、水増し可能な画像バリエーションには限界がある。また、推定エンジンに多くのパターンバリエーションを教示した場合、学習負荷が増加し、機械学習において過学習が発生する恐れがある。
本実施形態では、パターンバリエーションに対して学習画像を網羅的に用意するのではなく、学習時において存在する画像バリエーション自体を減らして、学習画像数や学習負荷を抜本的に減らすことを特徴とする。本実施形態では画像に含まれる情報の中で、機械学習型の推定エンジンに入力すべき情報とそれ以外の情報を分けて考える。例えば、評価対象物の画像上での位置情報が推定エンジンにおける推定と関係がない場合は、学習画像中に位置情報が含まれている必要はないことになる。
そのように推定エンジンで扱う必要のない情報は、外観検査システムが事前に変換処理(変換Tと呼ぶ)を施し(S106)、全ての学習画像間で均一化する(基準値108に均一化する)。変換Tを加えた画像を変換画像と呼ぶ。学習フェーズ100における学習画像fの変換画像はf'(109)、後述する運用フェーズ101における入力画像hの変換画像はh'(119)である。
変換Tには複数の変換項目が存在し得るため、変換Tにどの変換項目を含めるかをユーザが事前に選択する(S105)。変換項目の種類に関する詳細は後述するが、例えば評価対象物の位置を変換項目に含める場合、変換Tは、各学習画像において様々な位置に存在する評価対象物を全ての学習画像において同じ位置(基準値)に存在するようにシフトする。
推定エンジンは、評価対象物が全て基準値に位置する変換画像f’(109)を入力として、同じく評価対象物が基準値に位置する高画質画像を推定画像F’(111)として推定する。変換Tを行わなければ、評価対象物の位置の違いを網羅した学習画像群を用意して学習する必要があるが、変換Tを行うことにより学習画像に評価対象物の位置に関するパターンバリエーションを含める必要がなくなる。外観検査システムは、推定エンジンに変換画像f’を学習させてその推定エンジンの内部パラメータ117を決定する(S110)。
運用フェーズ101では、外観検査システムが、実際の評価対象物102を撮像し(S103)、入力画像h(118)を取得する。更に、外観検査システムは、入力画像hに学習フェーズ100のステップS105で選択した変換項目を含む変換Tを施し(S106)、変換画像h’(119)を得る。そして、外観検査システムは、変換画像h’を学習フェーズ100で決定した内部パラメータ117を用いた推定エンジンに入力し、変換画像h’の高画質画像である推定画像H’(121)の推定を行う(S120)。
ただし、変換Tにより均一化した情報の一部または全てが最終的に外観検査システムが出力する出力画像において必要な場合がある。そこで、変換Tの変換項目の中で最終的な出力において必要な変換項目をユーザが選択し(S112)、選択した各変換項目に関する変換Tの逆変換Uを外観検査システムが推定画像H’に施して均一化前の情報を復元する(S113)。
逆変換後の画像を逆変換推定画像H(122)と呼び、これが外観検査システムの出力画像となる。例えば、推定エンジンにおいて評価対象物102の位置を扱う必要がなければ変換Tによる均一化を行うが、評価対象物102の位置がユーザにとって出力画像に必要な情報であれば、推定画像H’において均一化されている評価対象物の位置を変換Uによって入力画像hにおける状態に戻す。
逆変換Uを行うため、変換Tを行う際に、各変換項目に関してどのように変換を行ったか、あるいは変換前の状態がどうであったかの情報を外観検査システムが変換パラメータ123として入力画像h毎に保存する。外観検査システムが変換パラメータ123を基に逆変換Uを行うことで、画像毎に変換Tによって除外された情報を逆変換Uにより復元することができる。
一般に画像には多くのバリエーションが存在するが、本実施形態では推定エンジンによる処理の前後にそれぞれ変換Tと逆変換Uとを行うことによって、出力画像のバリエーションを犠牲にすることなく、機械学習の負荷のみを部分的に低減することが可能となる。機械学習で扱う画像バリエーション自体を減らすことになるため、学習画像収集のコストや学習負荷に関する問題を抜本的に解決することができる。これにより、少ない学習画像であっても推定エンジンの推定性能を高めることができる。
<2.変換T、逆変換Uにおける変換項目の例>
前述の通り、本実施形態では画像に含まれる情報の中で、機械学習型の推定エンジンに入力すべき情報とそれ以外の情報を分けて考え、後者の情報は変換Tによって除外する。また、変換Tによって除外された情報の中で最終的な出力画像において必要な情報は逆変換Uによって復元する。
前述の通り、本実施形態では画像に含まれる情報の中で、機械学習型の推定エンジンに入力すべき情報とそれ以外の情報を分けて考え、後者の情報は変換Tによって除外する。また、変換Tによって除外された情報の中で最終的な出力画像において必要な情報は逆変換Uによって復元する。
変換T及び逆変換Uには複数の変換項目107、114が存在し、また変換T及び逆変換Uにおける変換項目107、114を何にすべきは、推定エンジンに依存して変化するため、任意の組み合わせが可能である。なお、変換T及び逆変換Uがそれぞれ複数の変換項目を含んでもよい。以降、変換項目107、114の具体例について説明する。変換項目107、114の具体例として、位置、回転、反転、拡大率、歪み、画像の明度、画像のコントラスト、ノイズ、シェーディング、及び陰、等が挙げられる。
図3は、変換項目を位置、回転、及び拡大率とした場合の例を模式的に示す図である。
まず、学習フェーズ100について説明する。図3(a1)及び(b1)は、それぞれ学習用の評価対象物を撮像して取得した2枚の学習画像fの一例を示す模式図である。この二枚の画像中の評価対象物は大小二つの歯車であり、各々の構造と大きさは同様であり、かつ付着した異物も同様であるが、評価対象物の画像上での位置ずれ、回転、及び倍率の違いがある。二つの歯車を囲む長方形の点線枠300、301は画像間における評価対象物の位置ずれ、回転、及び倍率の違いを示すための補助線であり、実際の撮像画像には描画されない。
位置ずれ、回転、及び倍率の違いに関する情報が推定エンジンにおける高画質画像の推定に必要な判断材料である場合は、これらの情報を事前に除去するわけにはいかない。一方、これらの情報の違いを推定エンジンで扱う必要がない場合は、変換Tの変換項目として位置ずれ、回転、及び倍率をユーザが選択し、その後に外観検査システムが変換Tを施すことによって、画像上の評価対象物を同じ位置、同じ方向、同じ倍率に均一化する。なお、外観検査システムが自動で変換Tの変換項目を選択してもよい。
図3(a2)及び(b2)は、それぞれ図3(a1)及び(b1)に示す学習画像fを上記の変換項目に関して均一化した変換画像f’の一例を示す模式図である。
例えば回転に関しては、変換画像f’においては二つの歯車の中心が真横に並ぶ角度を基準値108として評価対象物を回転している。勿論、各変換項目に関する基準値108は図示した例に限らず、任意に設定可能である。基準値は、外観検査システムが学習画像を基に自動で算出してもよい。この場合は、例えば、複数の学習画像fにおける前述の角度の平均値又は中央値を基準値とし得る。更に、外観検査システムは、複数の学習画像fから1枚を選択し、選択した学習画像fにおける前述の角度を基準値としてもよい。この場合は、選択された学習画像fの状態に他の学習画像の状態が合わせられることになる。あるいは、外観検査システムは、ユーザが入力した基準値を採用してもよい。
また、外観検査システムが、1つの変換項目に関して複数の基準値を設定してもよい。この場合、例えば各学習画像の状態を複数の基準値の中で一番近い状態に合わせる等の処理が考えられる。基準値の数が少ない程、学習画像のバリエーションが削減されることになる。各変換項目に関して均一化された変換画像f’を用いて推定エンジンに学習させることで、学習画像を収集するコストや学習負荷を低減することが可能である。
次に運用フェーズ101について説明する。運用フェーズ101で使用する2枚の入力画像hは、図3(a1)及び(b1)のそれぞれの画像と同じであるとする。学習フェーズ100と同様に、外観検査システムは、変換Tにより画像上の評価対象物を同じ位置、同じ方向、同じ倍率に均一化した変換画像h’を生成する。その変換画像h’は、それぞれ図3(a2)及び(b2)に示す画像となる。次いで、外観検査システムは、学習フェーズにおいて学習済みの推定エンジンに変換画像h’を入力する。推定エンジンは変換画像h’の高画質画像である推定画像H’(図3(a3)、(b3))の推定を行う。図3(a3)及び(b3)は、推定画像H’の一例を示す模式図である。
しかし、推定画像H’には、入力画像hにおいて存在していた評価対象物の位置ずれ、回転、及び倍率の違いに関する情報が失われている。そこで、外観検査システムは、推定画像H’に対して逆変換Uを施すことによって、変換Tにより除外した情報が復元した逆変換推定画像H(図3(a4)、(b4))を生成し、これを出力画像とする。図3(a4)、(b4)は、逆変換推定画像Hの一例を示す模式図である。逆変換推定画像Hでは二つの歯車を囲む長方形の点線枠309、310が入力画像において対応する点線枠300、301と同じになっており、画像毎に異なる位置や方向や倍率の情報が復元されている。
変換項目として倍率を採用すると、実際の評価対象物の大きさが異なっていたとしても、変換Tにより画像上での評価対象物の見た目の大きさを均一化することが可能である。また、図示はしていないが、変換項目として画像の回転だけでなく反転を採用しても、見た目を均一化することが可能である。
図4は、変換項目を回転及び歪みとした場合の例を模式的に示す図である。
運用フェーズ101において、外観検査システムは、入力画像h(図4(a))に変換Tを施し、画像上の評価対象物の方向や歪みを基準値に変換した変換画像h’(図4(b))を生成し、それを推定エンジンに入力する。推定エンジンは変換画像h’の高画質画像である推定画像H’(図4(c))の推定を行う。この段階では推定エンジンは画像の高画質化のみを行うので、補助線として描画した二つの歯車を囲む長方形の点線枠401、402は、変換画像h’と推定画像H’の各々で同じである。
図3の例と同様、外観検査システムは、推定画像H’に変換Tの逆変換Uを施すことによって逆変換推定画像H(図4(d))を生成し、これを出力画像とすることができる。図4(d)に示す逆変換推定画像Hにおいては入力画像hにおいて存在していた評価対象物の回転や歪みに関する情報が復元されており、補助線として描画した二つの歯車を囲む長方形の点線枠400、403は両画像間で同じである。
また、処理方法のバリエーションとして、逆変換Uは変換Tの完全な逆変換である必要はない。すなわち、変換Tの変換項目と逆変換Uの変換項目が一致する必要はない。図4(b)の例において変換Tの変換項目は回転と歪みであるが、最終的な出力画像において回転の情報は含みたいが、歪みの情報は含めたくないという場合、逆変換Uの変換項目は回転のみとすることで、回転だけが復元され、歪みは除去された出力画像を得ることができる(図4(e))。歪みは除去されるため、補助線である点線枠404は、回転させることで推定画像H’(図4(c))における点線枠402と同じになる。
図5Aは、変換項目を明度とコントラスト、及びノイズとした場合の例を模式的に示す図であり、図5Bは、変換項目をシェーディング、及び陰とした場合の例を模式的に示す図である。
なお、変換項目以外の処理の概要と図の意味は図3及び図4と同様である。
図5A(a1)~(a4)は、変換Tと逆変換Uの各々の変換項目を明度とコントラストとしたときの例である。この場合、撮像条件等によって変化する評価対象物の学習画像又は入力画像(図5A(a1))上での見た目の明度とコントラストとを、外観検査システムが変換Tにより基準値に均一化して変換画像h’を得る(図5A(a2))。例えば各画像の明度ヒストグラムを、基準とする明度ヒストグラムに一致させる等の処理が考えらえる。また、カラー画像をグレースケール画像に変換する処理も考えらえる。外観検査システムは、変換画像h’を入力として推定エンジンで推定した推定画像H’(5A(a3))に逆変換Uを施し、出力画像として逆変換推定画像H(5A(a4))を生成する。
図5A(b1)~(b5)は、変換Tと逆変換Uの各々の変換項目をノイズとした例である。この場合、外観検査システムは、学習画像又は入力画像(図5A(b1))に対して変換Tを施すことにより、これらの画像のノイズを均一化して変換画像h’を得る(5A(b2))。図5A(b2)に図示するようにノイズを除去してもよいし、基準となるノイズ量に各画像のノイズレベルを合わせてもよい。出力画像においてノイズが不要な場合は、図5A(b3)に示すノイズが除去された推定画像H’をそのまま出力画像にしてもよい。一般にノイズは高画質画像において不要とされる場合が多いが、画像にノイズが全く重畳していないと不自然に見える場合や、画像毎に重畳したノイズ量の違いを見たいという場合もある。そのような場合は、外観検査システムは、逆変換Uによりノイズを復元した図5A(b4)に示す逆変換推定画像Hを出力画像とすることができる。
また、処理方法のバリエーションとして、逆変換Uは変換Tの完全な逆変換である必要はない。すなわち、変換Tに対して逆変換Uを施す度合い(強度)を変えることが可能である。例えば、図5A(b3)のように出力画像からノイズが完全に消えると不自然だが、図5A(b4)のように出力画像に入力画像と同等のノイズが重畳していると観察しにくいという場合は、外観検査システムは、変換Uにウェイトをかけて、図5A(b5)のように少しだけノイズを復元することも可能である。これはノイズに限らず、全ての変換項目において強度の調整が可能である。
図5B(c1)~(c5)は、変換Tと逆変換Uの各々の変換項目をシェーディングとした例である。この場合、外観検査システムは、学習画像又は入力画像(図5B(c1))に対して変換Tを施すことにより、これらの画像のシェーディングを均一化して変換画像h’を得る(図5B(c2))。図5A(b1)~(b5)のノイズのケースと同様に、シェーディングについてもシェーディングを完全に除去した画像(図5B(c3))、シェーディングを完全に復元した画像(図5B(c4))、及びシェーディングを例えば半分の強度で復元した画像(図5B(c5))のいずれかを外観検査システムが出力画像として生成することが可能である。出力画像においてシェーディングが強く現れると観察し難いが、かといってシェーディングを完全に除去してしまうと不自然な場合もある。例えば動画像に対する高画質画像のリアルタイム表示において、評価対象物と照明との位置関係をずらしたとき等、シェーディングが全く変化しないのは不自然である。そのため、ユーザの希望にあわせて変換Uによる復元の強度は調整可能である。
図5B(d1)~(d4)は、変換Tと逆変換Uの各々の変換項目を影とした例である。この場合、外観検査システムは、学習画像又は入力画像(図5B(d1))に対して変換Tを施すことにより、これらの画像の影を除去あるいは均一化して変換画像h’を得る(図5B(d2))。出力画像において影が不要な場合は、外観検査システムは、図5B(d3)に示す影が除去された推定画像H’をそのまま出力画像にしてもよい。これに代えて、外観検査システムは、逆変換Uによりノイズを復元した図5B(d4)に示す逆変換推定画像Hを出力画像としてもよい。
以上、変換項目の具体例を示したが、変換項目はこれらに限らず、画像に含まれる任意のパターンバリエーションに対して設定可能である。例えば、複数の変換項目107、114のなかから複数の変換項目を選択してもよい。変換Tと逆変換Uにおける変換項目は、推定エンジンにおいてどのようなパターンバリエーションを扱うか、また、主力画像においてユーザがどのような画像を望むかに依存して変化するため、任意の組み合わせを設定することができる(S105、S112)。逆変換Uに含まれる変換項目は、変換Tに含まれる選択項目の一部または全てとなる。
<3.推定エンジンの学習>
図6及び図7は、推定エンジンの学習方法の一例について示す模式図である。学習方法は大きく下記(1)及び(2)の二通りが挙げられ、図6(a1)~(a5)と図7(a1)~(a5)は(1)に対応し、図6(b1)~(b5)と図7(b1)~(b5)は(2)に対応する。
図6及び図7は、推定エンジンの学習方法の一例について示す模式図である。学習方法は大きく下記(1)及び(2)の二通りが挙げられ、図6(a1)~(a5)と図7(a1)~(a5)は(1)に対応し、図6(b1)~(b5)と図7(b1)~(b5)は(2)に対応する。
(1)学習フェーズ100において、前記変換画像f'を入力として推定エンジンで推定した推定画像F'と、正解画像Gに変換Tを施した変換正解画像G'とを基にして、画像推定エンジンの内部パラメータを決定する。
(2)学習フェーズ100において、前記変換画像f'を入力として推定エンジンで推定した推定画像F'に逆変換Uを施した逆変換推定画像Fと、学習画像fに対する正解画像Gとを基にして、推定エンジンの内部パラメータを決定する。
推定エンジンの学習は、基本的には学習画像を入力として推定エンジンから出力される推定画像と予め教示された正解画像との差分が小さくなるように、ネットワークの重みやバイアス等の推定エンジンの内部パラメータを更新することによって行う。なお、推定画像と正解画像との差分としては、例えば各画像の画素ごとの画素データの差分を採用し得る。
ただし、本実施形態において推定エンジンから出力されるのは推定画像ではなく、変換推定画像であるため、正解画像と直接比較することができない。そこで(1)では、正解画像に変換処理を施した変換正解画像と変換推定画像とを比較し、(2)では推定画像に逆変換Uを施した逆変換推定画像と正解画像とを比較する。
(1)の具体例として、図6(a1)~(a5)の学習方法においては、外観検査システムが、学習画像f(図6(a1))に変換Tを施し、変換画像f'(図6(a2))を得る。次いで、外観検査システムが、この変換画像f'を入力として推定エンジンにより推定画像F'(図6(a3))を推定する。また、外観検査システムは、正解画像G(図6(a4))に変換Tを施して変換正解画像G'(図6(a5))を得る。外観検査システムは、推定画像F'(図6(a3))と変換正解画像G'(図6(a5))との差分を基に損失値を計算し、前記損失値が小さくなるように推定エンジンの内部パラメータを決定する。
(2)の具体例として、図6(b1)~(b5)の学習方法においては、外観検査システムが、学習画像f(図6(b1))に変換Tを施し、変換画像f'(図6(b2))を得る。外観検査システムは、この変換画像f'を入力として推定エンジンにより推定画像F'(図6(b3)または図1の符号111)を推定する。外観検査システムは、推定画像F'に逆変換U(図1のステップS113)を施して逆変換推定画像F(図6(b4)または図1の符号115)を得る。外観検査システムは、逆変換推定画像F(図6(b4))と正解画像G(図6(b5))との差分を基に損失値を計算し、前記損失値が小さくなるように推定エンジンの内部パラメータを決定する。
上述の本実施形態において学習は画像間の差分に基づく損失値の最小化により行ったが、学習は敵対的生成ネットワーク(Generative Adversarial Network:GAN)によって行ってもよい。GANは生成ネットワーク(Generator)、識別ネットワーク(Discriminator)と呼ばれる2つの競合するネットワークから成る。GANを用いることにより、推定画像と正解画像の位置合わせができていないケースであっても学習が可能である。また、図7に示すように推定画像と正解画像の評価対象物が異なっていても、推定画像は正解画像の画質になるように学習することができる。
すなわち、GANを用いた(1)の具体例として、図7(a1)~(a5)の学習方法においては、外観検査システムが、学習画像f(図7(a1))に変換Tを施し、変換画像f'(図7(a2))を得る。外観検査システムは、この変換画像f'を入力として推定エンジン(Generator)により推定画像F'(図7(a3)または図1の符号111)を推定する。また、外観検査システムは、正解画像G(図7(a4))に変換Tを施して変換正解画像G'(図7(a5))を得る。外観検査システムは、推定画像F'(図7(a3))が変換正解画像G'(図7(a5))と同種のものであるかの判別をDiscriminatorを用いて行い、同種ではないと判別された場合、損失値を大きくする。Generatorは推定画像F'が変換正解画像G'と同種の画像になるように学習され、Discriminatorは推定画像F'が変換正解画像G'と同種ではないと見破るように学習される。この敵対的な学習を繰り返すことによって推定エンジンの推定精度が向上する。
GANを用いた(2)の具体例として、図7(b1)~(b5)の学習方法においては、外観検査システムが、学習画像f(図7(b1))に変換Tを施し、変換画像f'(図7(b2))を得る。外観検査システムは、この変換画像f'を入力として推定エンジン(Generator)により推定画像F'(図7(b3)または図1の符号111)を推定する。外観検査システムは、推定画像F'に逆変換U(図1中のステップS113)を施して逆変換推定画像F(図7(b4)または図1の符号115)を得る。外観検査システムは、逆変換推定画像F(図7(b4))が正解画像G(図7(b5))と同種のものであるかの判別をDiscriminatorを用いて行い、同種ではないと判別された場合、損失値を大きくする。Generatorは逆変換推定画像Fが正解画像Gと同種の画像になるように学習され、Discriminatorは逆変換推定画像Fを正解画像Gと同種ではないと見破るように学習される。この敵対的な学習を繰り返すことによって推定エンジンの推定精度が向上する。
<4.GUI (Graphical User Interface)>
本実施形態に係る外観検査システムは、ユーザからの前記変換処理の変換項目および前記逆変換処理の変換項目を含む推定エンジンの学習方法の指定を受け付けるGUIを有することを特徴とする。
本実施形態に係る外観検査システムは、ユーザからの前記変換処理の変換項目および前記逆変換処理の変換項目を含む推定エンジンの学習方法の指定を受け付けるGUIを有することを特徴とする。
図8A及び図8Bは、GUIの例を示す模式図である。推定エンジンの学習時に図6(a1)~(a5)又は図7(a1)~(a5)のように「推定画像F'と変換正解画像G'とを比較」するか、あるいは図6(b1)~(b5)又は図7(b1)~(b5)のように「逆変換推定画像Fと正解画像Gとを比較」するかをユーザがラジオボタン800で指定することができる。画像の比較方法は「比較画像間の差分」(図6)か、あるいは「GAN」(図7)を用いるかをラジオボタン801でユーザが指定することができる。ユーザがプルダウンメニュー802で学習データのIDを指定することで、そのIDに対応付けられた学習画像f、変換画像f’、推定画像F’、逆変換推定画像F、正解画像G、変換正解画像G'の一部または全てを画像表示領域803に表示することができる。このように学習画像fだけでなく、変換画像f’、推定画像F’、逆変換推定画像F、正解画像G、変換正解画像G'を表示することで、どのような処理がなされたかをユーザが知ることができる。
図示したのは学習フェーズ100の画像群であるが、運用フェーズ101における入力画像h、変換画像h’、推定画像H’、逆変換推定画像(出力画像)Hの一部または全ても同様に表示することができる。変換Tおよび逆変換Uにおける変換項目と変換方法とを変換指定領域804で指定することができる。変換Tの変換項目をチェックボックス805で指定することができ、指定した変換項目について基準値の設定方法をラジオボタン806で指定することができる。
ラジオボタン806で指定できる項目には、「基準値を自動算出」、「ID〇〇の画像に合わせる」、及び「基準値を指定」の各項目がある。基準値が位置である場合に「基準値を自動算出」にチェックが入ると、外観検査システムは、例えば複数の入力画像fの中心位置の平均位置を基準値として算出する。また、「ID〇〇の画像に合わせる」にチェックが入ると、外観検査システムは、指定されたID「〇〇」に対応付けられた入力画像fの中心位置を基準値として算出する。「基準値を指定」にチェックが入ると、外観検査システムは、基準値の入力を促す画面を表示し、その画面にユーザが入力した値を基準値として採用する。
更にユーザは逆変換Uの変換項目をチェックボックス807で指定することができ、指定した変換項目毎の強度を強度指定領域808で指定することができる。外観検査システムは、指定された強度を受け付け、その強度で逆変換Uを実行する。
<第2実施形態>
<5.外観検査システムによる評価値推定>
第1実施形態において、外観検査システムの目的は入力画像からその高画質画像を推定する画質改善であったが、本発明はこれに限定されるものではない。第2実施形態において、外観検査システムの目的は、入力画像からその評価値を推定する画像評価である。評価値の例として、外観検査であれば評価値は評価対象物の品質レベル、欠陥有無、異常度、及び致命度等のいずれかの検査結果であり、セグメンテーションであれば評価値は領域のラベルであり、欠陥検出であれば評価値は欠陥領域である。
<5.外観検査システムによる評価値推定>
第1実施形態において、外観検査システムの目的は入力画像からその高画質画像を推定する画質改善であったが、本発明はこれに限定されるものではない。第2実施形態において、外観検査システムの目的は、入力画像からその評価値を推定する画像評価である。評価値の例として、外観検査であれば評価値は評価対象物の品質レベル、欠陥有無、異常度、及び致命度等のいずれかの検査結果であり、セグメンテーションであれば評価値は領域のラベルであり、欠陥検出であれば評価値は欠陥領域である。
本実施形態に係る外観検査システムは、評価値推定装置の一例であり、評価値推定方法を実行する。その評価値推定方法は、コンピュータが実行する方法であって、学習用の対象物を撮像した複数の学習画像fを取得する第一の学習画像取得ステップと、前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成する第一の変換画像生成ステップと、前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定する学習ステップと、実際の対象物を撮像した入力画像hを取得する第二の画像取得ステップと、入力画像hに前記変換処理を施して変換画像h'を生成する第二の変換画像生成ステップと、前記変換画像h'を学習済みの前記推定エンジンに入力して推定評価値R'を推定する推定評価値算出ステップと、前記変換処理の一部又は全ての処理に関する前記入力画像hの値と前記推定評価値R'を基に第二の推定評価値Rを推定する第二の推定評価値算出ステップと、前記第二の推定評価値Rを出力値として出力する出力ステップを含み、前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化することを特徴とする。
前記特徴について詳細を説明する。図9は、本実施形態に係る外観検査システムが行う全体の処理シーケンスの一例を示す模式図である。処理シーケンスは大きく学習フェーズ900と運用フェーズ901に分かれる。学習フェーズ900では、外観検査システムが、学習用に評価対象物902を撮像して学習画像f(904)を取得する(S903)。図1に示す第1実施形態と同様、本実施形態では画像に含まれる情報の中で、機械学習型の推定エンジンに入力すべき情報とそれ以外の情報を分けて考える。推定エンジンで扱う必要のない情報は、外観検査システムが事前に変換処理(変換Tと呼ぶ)を施し(S906)、全ての学習画像間で均一化する(基準値908に均一化する)。変換Tを加えた画像を変換画像と呼ぶ。学習フェーズにおける学習画像fの変換画像はf'(909)、後述する運用フェーズにおける入力画像hの変換画像はh'(919)である。
変換Tには複数の変換項目907が存在しうるため、変換Tにどの変換項目907を含めるかをユーザが事前に選択する(S905)。例えば評価対象物の位置を変換項目907に含める場合、各学習画像において様々な位置に存在する評価対象物を全ての学習画像において同じ位置(基準値)に存在するようにシフトする。推定エンジンは、評価対象物が全て基準値に位置する変換画像f’(909)を入力として、推定評価値P’(911)を推定する。変換Tを行わなければ、評価対象物の位置の違いを網羅した学習画像群を用意して学習する必要があるが、変換Tを行うことにより学習画像に評価対象物の位置に関するパターンバリエーションを含める必要がなくなる。外観検査システムは、機械学習型の推定エンジンに変換画像f'を学習させてその推定エンジンの内部パラメータ917を決定する(S910)。
運用フェーズ901では、外観検査システムが、実際の評価対象物902を撮像し(S903)、入力画像h(918)を取得する。更に、外観検査システムは、入力画像hに学習フェーズ900のステップS905で選択した変換項目を含む変換Tを施し(S906)、変換画像h’(919)を得る。そして、外観検査システムは、変換画像h'を学習フェーズ900で決定した内部パラメータ917を用いた機械学習型の推定エンジンに入力し、変換画像h'の推定評価値R’(921)の推定を行う(S920)。
ただし、変換Tにより均一化した情報の一部または全てが最終的に外観検査システムが出力する出力値の推定において必要な場合がある。そこで、外観検査システムは、各変換項目907に関してどのように変換を行ったか、あるいは変換前の状態がどうであったかの情報を変換パラメータ923として入力画像h毎に保存しておく。変換Tの変換項目の中で最終的な出力において必要な変換項目914をユーザが選択し(S912)、選択した各変換項目に関する変換パラメータ923と推定評価値R’(921)から第二の推定評価値R(922)を第二の推定エンジンにより推定する(S913)。この第二の推定評価値Rが画像処理システムの出力値となる。
例えば変換Tの変換項目907が評価対象物の位置である場合を考える。機械学習型の推定エンジンで評価値を推定するステップS920において評価対象物の位置を扱う必要がなければ、外観検査システムは、変換Tによる均一化を行う。推定評価値が評価対象物の異常度であり、推定エンジンにおいて扱う異常度の判定基準が評価対象物の入力画像中のコントラストの変化であるならば、推定エンジンに入力する画像に位置のバリエーションが含まれる必要はない。
一方、最終的な異常判定においては変換Tで除外した位置情報も加味する場合がありうる。すなわち、コントラストの変化に加えて、評価対象物が大きく位置ずれしている場合も異常とみなされる場合は、推定エンジンで評価値を推定するステップS920で扱ったコントラストに関する推定評価値R'(911)と、変換パラメータ923に含まれる位置情報とを基に、外観検査システムが第二の推定エンジンで第二の推定評価値R(922)を推定し(S913)、最終的な出力値とする。第二の推定評価値Rには、コントラスト変化、位置ずれ、いずれの異常も反映することができる。
一方、変換Tによって一時的にいくつかの変換項目907に関する情報を除外することで、学習画像数や機械学習における学習負荷を削減することが可能である。これにより、少ない学習画像であっても推定エンジンの推定性能を高めることができる。
<6.推定エンジンの学習>
図10は、推定エンジンの学習方法の例について示す模式図である。学習方法は大きく下記(1)及び(2)の二通りが挙げられ、図10(a1)~(a5)は(1)に対応し、図10(b1)~(b5)は(2)に対応する。
図10は、推定エンジンの学習方法の例について示す模式図である。学習方法は大きく下記(1)及び(2)の二通りが挙げられ、図10(a1)~(a5)は(1)に対応し、図10(b1)~(b5)は(2)に対応する。
(1)学習フェーズ900において、前記変換画像f'を入力として推定エンジンで推定評価値P'を推定する。第二の正解評価値Sと変換パラメータから推定評価値の正解値S'を推定する。推定評価値P'と推定評価値の正解値S'とを基に画像推定エンジンの内部パラメータを決定する。
(2)学習フェーズ900において、前記変換画像f'を入力として推定エンジンが評価値P'を推定する。評価値P'と変換パラメータ923とを入力として第二の推定エンジンが第二の推定評価値P(915)を推定する。第二の推定評価値P(915)と第二の推定評価値の正解値Sとを基に推定エンジンの内部パラメータを決定する。
推定エンジンの学習は、基本的には学習画像を入力として推定エンジンから出力される推定評価値と予め教示された正解評価値(第二の推定評価値の正解値)との差分が小さくなるように、ネットワークの重みやバイアス等の推定エンジンの内部パラメータを更新することによって行う。
ただし、本実施形態において推定エンジンから出力されるのはユーザが教示する学習画像fに対する評価値ではなく、変換画像f'に対する評価値であるため、ユーザの与える第二の推定評価値の正解値と直接比較することができない。そこで(1)では、第二の推定評価値の正解値Sから推定した推定評価値の正解値S'と推定評価値P'とを比較し、(2)では推定評価値P'から推定した第二の推定評価値Pと第二の推定評価値の正解値Sとを比較する。
(1)の具体例として、図10(a1)~(a5)の学習方法においては、外観検査システムが、学習画像f(図10(a1))に変換Tを施し、変換画像f'(図10(a2))を得る。ここで一例として、変換Tの変換項目を歯車表面のテクスチャとし、学習画像間で均一化する。図10(a2)ではテクスチャを除去し無地のパターンに変換している。外観検査システムは、この変換画像f'を入力として推定エンジンにより推定評価値P'(図10(a3)または図9の符号911)を推定する。評価値として、例えば評価対象物(歯車)の異常度とする。テクスチャ情報は均一化されているため、ステップS910では推定エンジンがテクスチャ以外の判定基準で異常度を推定する。例えば変換画像f'(図10(a2))には異物1000が付着しているため、異常度は45%と推定されている。
一方、ユーザは変換前の学習画像f(図10(a1))に対して正解値(第二の推定評価値の正解値S)を外観検査システムに付与している。ユーザの異常度の判定基準として、異物の有無に加え、テクスチャ(歯車表面の荒れ)も加味している場合、学習画像fにおいては異物の付着に加え、歯車表面も荒れているため、異常度は80%(図10(a4))と高くなる。この第二の推定評価値の正解値S(異常度80%)に対し、変換パラメータ(この場合、テクスチャ情報)を加味して、前記異常度からテクスチャ単独による異常度を除外した場合の異常度(推定評価値の正解値S')を推定する。歯車表面の荒れによる異常度の増加を差し引き、異物単独による異常度を推定すると例えば50%(図10(a5))となる。外観検査装置は、推定評価値P'(図10(a3))と推定評価値の正解値S'(図10(a5))との差分を基に損失値を計算し、前記損失値が小さくなるように推定エンジンの内部パラメータを決定する。
(2)の具体例として、図10(b1)~(b5)の学習方法においては、外観検査システムが、学習画像f(図10(b1))に変換Tを施し、変換画像f'(図10(b2))を得る。外観検査システムは、この変換画像f'を入力として推定エンジンにより推定評価値P'(図10(b3)または図9の符号911)を推定する。上記(1)の場合と同様、変換Tの変換項目を歯車表面のテクスチャとし、評価値を評価対象物(歯車)の異常度とした場合、前記推定評価値P'にはテクスチャに基づく異常度が加味されていないことになる。
そこで、外観検査システムは、ステップS913において、推定評価値P'と変換パラメータ923(この場合、テクスチャ情報)とを基に第二の推定エンジンによる第二の推定評価値P(図10(b4))の推定を行う。これにより、ユーザは、変換前の学習画像f(図10(b1))に対して付与した図10(b5)の正解値(第二の推定評価値の正解値S)との比較が可能になる。すなわち、外観検査システムは、第二の推定評価値P(図10(b4))と第二の推定評価値の正解値S(図10(b5))との差分を基に損失値を計算し、前記損失値が小さくなるように推定エンジンの内部パラメータを決定する。
第2実施形態では、推定するものが画像から評価値になったという点で第1実施形態と違いはあるものの、変換項目、学習方法、GUI等は第1実施形態と同様である。
また、第1実施形態と第2実施形態のそれぞれにおける推定エンジンには様々な機械学習型のエンジンを用いることができるが、例えばConvolutional Neural Network(CNN)に代表される深層ニューラルネットワークや、Support Vector Machine(SVM)、Support Vector Regression(SVR)、及びk-nearest neighbor(k-NN)等が挙げられる。これらの推定エンジンは、画像推定、領域セグメンテーション、分類問題、及び回帰問題を扱うことができる。
<7.画像処理システムのハードウェア構成>
図11は、第1実施形態と第2実施形態のそれぞれの外観検査システムのハードウェア構成図である。
図11は、第1実施形態と第2実施形態のそれぞれの外観検査システムのハードウェア構成図である。
外観検査システム1は、前述の撮像装置1106と計算機1100とを備える。撮像装置1106の例はすでに説明した通りである。
計算機1100は、第1実施形態の画像推定方法と第2実施形態の評価値推定方法を実行するハードウェアであり、以下を有する。
*プロセッサ1101:プロセッサ1101の例としてはCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、及びFPGA(Field Programable Gate Array)があるが、画像処理方法を処理できるのであれば、ほかのハードウェアであってもよい。
*記憶資源1102:記憶資源1102の例としてはRAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、及びフラッシュメモリ等の不揮発メモリがある。当該記憶資源は、以上の各実施形態にて説明した画像推定方法と評価値推定方法とをプロセッサ1101に実行させるプログラムを格納してもよい。
*GUI装置1103:GUI装置1103の例としては、ディスプレイ及びプロジェクタ等があるが、GUIを表示ができるのであれば、ほかのハードウェアでもよい。
*入力装置1104:入力装置1104の例としては、キーボード、マウス、及びタッチパネルがあるが、ユーザからの操作を受け付けることができれば他の装置でもよい。また、入力装置1104とGUI装置1103とは一体のハードウェアであってもよい。
*通信インターフェース装置1105:通信インターフェース装置1105の例としては、USB(Universal Serial Bus)、Ethernet、及びWi-Fiといった例がある。撮像装置1106から画像を直接受信できたり、又はユーザが当該画像を計算機1100に送信できるインターフェースであれば、ほかのインターフェース装置であってもよい。また、当該通信インターフェース装置1105に、当該画像を格納した不図示の可搬不揮発記憶媒体を接続し、計算機1100に当該画像を格納してもよい。そのような可搬不揮発記憶媒体としては、例えばフラッシュメモリ、DVD(Digital Versatile Disc)、CD-ROM(Compact Disc)、及びブルーレイディスク等がある。
以上が計算機1100のハードウェア構成である。なお、外観検査システムを構成する計算機1100は複数であってもよく、撮像装置1106が複数であってもよい。
なお、前述のプログラムは、以下の経路で計算機1100に格納されてもよい:
*プログラムを可搬不揮発記憶媒体に格納し、当該媒体を通信インターフェース装置1105に接続することで、当該プログラムを計算機1100に配布する。
*プログラムを可搬不揮発記憶媒体に格納し、当該媒体を通信インターフェース装置1105に接続することで、当該プログラムを計算機1100に配布する。
*プログラム配信サーバによりプログラムを計算機1100に配信する。なお、プログラム配信サーバは、プログラムを格納した記憶資源と、プログラムを配信する配信処理を行うプロセッサと、計算機1100の通信インターフェース装置1105と通信可能である通信インターフェース装置とを有する。
以上で実施形態の説明を終える。前述の通り、これまで説明した実施形態は特許請求の範囲に係る発明を限定するものではなく、また、実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
なお、各実施形態では入力情報として一枚の入力画像を扱ったが、入力画像が複数枚、出力画像あるいは推定評価値も複数種類の場合も各実施形態を適用することが可能である。この場合は、推定エンジンが他入力又は他出力となる。
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、判定テーブル、ファイル等の情報は、メモリや、HDD、SSD等の記憶装置、または、IC(Integrated Circuit)カード、SD(Secure Digital)カード、DVD等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
100、900…学習フェーズ、101、901…運用フェーズ、102、902…評価対象物、104、904…学習画像、107、114、907、914…変換項目、108、908…基準値、117、917…内部パラメータ、109、909…変換画像、111…推定画像、115…逆変換推定画像、118、918…入力画像、119、919…変換画像、121…推定画像、122…逆変換推定画像、123、923…変換パラメータ、200…異物、201…異物、203…亀裂、204、205、1000…異物、207…亀裂、300、301、309、310、400~404…点線枠、800、801…ラジオボタン、802…プルダウンメニュー、803…画像表示領域、804…変換指定領域、805、807…チェックボックス、806…ラジオボタン、808…強度指定領域、911、921…推定評価値、915、922…第二の推定評価値、1100…計算機、1101…プロセッサ、1102…記憶資源、1103…GUI装置、1104…入力装置、1105…通信インターフェース装置、1106…撮像装置。
Claims (15)
- コンピュータが実行する画像推定方法であって、
学習用の対象物を撮像した複数の学習画像fを取得する第一の学習画像取得ステップと、
前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成する第一の変換画像生成ステップと、
前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定する学習ステップと、
実際の対象物を撮像した入力画像hを取得する第二の画像取得ステップと、
前記入力画像hに前記変換処理を施して変換画像h'を生成する第二の変換画像生成ステップと、
前記変換画像h'を学習済みの前記推定エンジンに入力して推定画像H'を推定する推定画像生成ステップと、
前記変換処理の一部または全ての処理の逆変換処理を前記推定画像H'に施して逆変換推定画像Hを生成する逆変換推定画像生成ステップと、
前記逆変換推定画像Hを出力画像として出力する出力ステップとを含み、
前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化する、
画像推定方法。 - 請求項1に記載の画像推定方法であって、
前記推定エンジンは、画像を入力として、画像復元画像、超解像画像、及び注目領域を強調した強調画像のいずれかを推定する、
画像推定方法。 - 請求項1に記載の画像推定方法であって、
前記変換項目は、位置、回転、反転、拡大率、歪み、画像の明度、画像のコントラスト、画像のノイズ、画像のシェーディング、及び陰の少なくとも一つ以上を含む、
画像推定方法。 - 請求項1に記載の画像推定方法であって、
前記コンピュータは、前記変換項目に関する基準値を前記複数の学習画像fから求め、前記均一化は、前記各学習画像fにおける前記変換項目の値を前記基準値に変換することによって行う、
画像推定方法。 - 請求項1に記載の画像推定方法であって、
前記コンピュータは、前記変換項目毎に前記逆変換処理を施す度合いの指定を受け付け、前記度合いで前記変換項目毎の逆変換処理を行う、
画像推定方法。 - 請求項1に記載の画像推定方法であって、
前記学習ステップにおいて、前記コンピュータは、前記変換画像f'を入力として前記推定エンジンで推定した推定画像F'と正解画像Gに前記変換処理を施した変換正解画像G'とを基に前記推定エンジンの内部パラメータを決定する、
画像推定方法。 - 請求項1に記載の画像推定方法であって、
前記学習ステップにおいて、前記コンピュータは、前記変換画像f'を入力として前記推定エンジンで推定した推定画像F'に逆変換処理を施した逆変換推定画像Fと学習画像fに対する正解画像Gとを基に前記推定エンジンの内部パラメータを決定する、
画像推定方法。 - 請求項1に記載の画像推定方法であって、
前記コンピュータは、ユーザからの前記変換処理の前記変換項目および前記逆変換処理の変換項目の指定を受け付けるGUI(Graphical User Interface)を表示するステップを行う、
画像推定方法。 - コンピュータが実行する評価値推定方法であって、
学習用の対象物を撮像した複数の学習画像fを取得する第一の学習画像取得ステップと、
前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成する第一の変換画像生成ステップと、
前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定する学習ステップと、
実際の対象物を撮像した入力画像hを取得する第二の画像取得ステップと、
入力画像hに前記変換処理を施して変換画像h'を生成する第二の変換画像生成ステップと、
前記変換画像h'を学習済みの前記推定エンジンに入力して推定評価値R'を推定する推定評価値算出ステップと、
前記変換処理の一部又は全ての処理に関する前記入力画像hの値と前記推定評価値R'を基に第二の推定評価値Rを推定する第二の推定評価値算出ステップと、
前記第二の推定評価値Rを出力値として出力する出力ステップを含み、
前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化する、
評価値推定方法。 - プロセッサを備える画像推定装置であって、
前記プロセッサは、
学習用の対象物を撮像した複数の学習画像fを取得する第一の学習画像取得ステップと、
前記複数の学習画像fに変換処理を施して複数の変換画像f'を生成する第一の変換画像生成ステップと、
前記複数の変換画像f'を用いて機械学習型の推定エンジンの内部パラメータを決定する学習ステップと、
実際の対象物を撮像した入力画像hを取得する第二の画像取得ステップと、
前記入力画像hに前記変換処理を施して変換画像h'を生成する第二の変換画像生成ステップと、
前記変換画像h'を学習済みの前記推定エンジンに入力して推定画像H'を推定する推定画像生成ステップと、
前記変換処理の一部または全ての処理の逆変換処理を前記推定画像H'に施して逆変換推定画像Hを生成する逆変換推定画像生成ステップと、
前記逆変換推定画像Hを出力画像として出力する出力ステップとを含む処理を実行し、
前記変換処理は、少なくとも一つ以上の変換項目を調整する画像処理により、前記複数の学習画像fのパターンを前記変換項目に関して均一化する、
画像推定装置。 - 請求項10に記載の画像推定装置であって、
前記推定エンジンは、画像を入力として、画像復元画像、超解像画像、及び注目領域を強調した強調画像を推定する、
画像推定装置。 - 請求項10に記載の画像推定装置であって、
前記変換項目は、位置、回転、反転、拡大率、歪み、画像の明度、画像のコントラスト、画像のノイズ、画像のシェーディング、及び陰の少なくとも一つ以上の変換項目を含む、
画像推定装置。 - 請求項10に記載の画像推定装置であって、
前記プロセッサは、前記変換項目に関する基準値を前記複数の学習画像fから求め、前記均一化は、前記各学習画像fにおける前記変換項目の値を前記基準値に変換することによって行う、
画像推定装置。 - 請求項10に記載の画像推定装置であって、
前記プロセッサは、前記変換項目毎に前記逆変換処理を施す度合いの指定を受け付け、前記度合いで前記変換項目毎の逆変換処理を行う、
画像推定装置。 - 請求項10に記載の画像推定装置であって、
前記プロセッサは、ユーザからの前記変換処理の前記変換項目および前記逆変換処理の前記変換項目の指定を受け付けるGUIを表示する制御を行う、
画像推定装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022098864A JP2024000211A (ja) | 2022-06-20 | 2022-06-20 | 画像推定方法、評価値推定方法、及び画像推定装置 |
PCT/JP2023/015216 WO2023248593A1 (ja) | 2022-06-20 | 2023-04-14 | 画像推定方法、評価値推定方法、及び画像推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022098864A JP2024000211A (ja) | 2022-06-20 | 2022-06-20 | 画像推定方法、評価値推定方法、及び画像推定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024000211A true JP2024000211A (ja) | 2024-01-05 |
Family
ID=89379535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022098864A Pending JP2024000211A (ja) | 2022-06-20 | 2022-06-20 | 画像推定方法、評価値推定方法、及び画像推定装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2024000211A (ja) |
WO (1) | WO2023248593A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4238537B2 (ja) * | 2002-07-31 | 2009-03-18 | 富士ゼロックス株式会社 | 画像処理装置 |
JP6440305B2 (ja) * | 2014-12-18 | 2018-12-19 | 日本放送協会 | 超解像装置およびプログラム |
JP6450710B2 (ja) * | 2016-05-18 | 2019-01-09 | みずほ情報総研株式会社 | 情報予測システム、情報予測方法及び情報予測プログラム |
-
2022
- 2022-06-20 JP JP2022098864A patent/JP2024000211A/ja active Pending
-
2023
- 2023-04-14 WO PCT/JP2023/015216 patent/WO2023248593A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023248593A1 (ja) | 2023-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9773302B2 (en) | Three-dimensional object model tagging | |
JP6214562B2 (ja) | 適応型多次元データ分解 | |
JP6009351B2 (ja) | 検査画像内の分類のためのシステム、方法、及びコンピュータプログラム製品 | |
US8977035B2 (en) | System, method and computer program product for detection of defects within inspection images | |
JP7254324B2 (ja) | 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法 | |
US11386549B2 (en) | Abnormality inspection device and abnormality inspection method | |
JP2012026982A (ja) | 検査装置 | |
JP2012032370A (ja) | 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 | |
US9341579B2 (en) | Defect detection apparatus, defect detection method, and computer program | |
US11836961B2 (en) | Information processing apparatus, information processing method, and storage medium for determining whether a captured image of a subject is suitable for recognition processing | |
CN111062866A (zh) | 一种基于变换矩阵的全景图像拼接的方法 | |
US11145032B2 (en) | Image processing apparatus, method and storage medium for reducing color noise and false color | |
JP5242248B2 (ja) | 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び、記録媒体 | |
JP2021165888A (ja) | 情報処理装置、情報処理装置の情報処理方法およびプログラム | |
JP6045429B2 (ja) | 撮像装置、画像処理装置及び画像処理方法 | |
CN116824070B (zh) | 一种基于深度图像的实时三维重建方法及系统 | |
WO2023248593A1 (ja) | 画像推定方法、評価値推定方法、及び画像推定装置 | |
JP2007013231A (ja) | 画像のシェーディング補正装置、方法及びプログラム | |
JP5849791B2 (ja) | 画像処理装置 | |
JP7414629B2 (ja) | 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム | |
Chang et al. | Super resolution using trilateral filter regression interpolation | |
JP7070308B2 (ja) | 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム | |
US20230005120A1 (en) | Computer and Visual Inspection Method | |
WO2019176479A1 (ja) | ニューラルネットワーク型画像処理装置 | |
WO2023100474A1 (ja) | システム、画像処理方法およびプログラム |