JP7428819B2 - 外観検査のためのモデル作成装置及び外観検査装置 - Google Patents

外観検査のためのモデル作成装置及び外観検査装置 Download PDF

Info

Publication number
JP7428819B2
JP7428819B2 JP2022551976A JP2022551976A JP7428819B2 JP 7428819 B2 JP7428819 B2 JP 7428819B2 JP 2022551976 A JP2022551976 A JP 2022551976A JP 2022551976 A JP2022551976 A JP 2022551976A JP 7428819 B2 JP7428819 B2 JP 7428819B2
Authority
JP
Japan
Prior art keywords
image data
abnormal
data
learning
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022551976A
Other languages
English (en)
Other versions
JPWO2022065273A1 (ja
Inventor
有史 鴻巣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of JPWO2022065273A1 publication Critical patent/JPWO2022065273A1/ja
Application granted granted Critical
Publication of JP7428819B2 publication Critical patent/JP7428819B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、外観検査のためのモデル作成装置及び外観検査装置に関する。
工場等の製造現場では、製造ラインにおいて製造される製品の外観検査を行っている（例えば、特許文献１）。製品の外観検査を行うためには、製品を撮像した画像に基づいて正常な製品の画像であるか、または異常な製品の画像であるかを分類する機械学習のモデルを作成しておく必要がある。
このような機械学習のモデルを作成する際には、予め、多くの正常な製品の画像と、多くの異常な製品の画像とを、それぞれ収集する。そして、収集した画像を用いて機械学習を行う。異常な製品の画像については、画像の中の更にどの部分に異常があるのかまでをも特定したいケースが多い。そのような場合には、異常な製品の画像内の異常個所を示すラベル画像を予め作成する必要がある。
特開２０１４－１９０８２１号公報
製造現場で製造される製品の多くは正常な製品である。そのため、正常な製品の画像を収集することは容易である。これに対して、異常な製品が製造される頻度は比較的低い。そのため、異常な製品の画像を多数収集することは困難である。意図的に異常な製品を製造することで異常な製品の画像を多数収集することもできなくもないが、廃棄する製品を増やすことになるためコスト面で問題がある。
また、製品の異常には、例えば、削り残しや削りすぎ、工具の摩耗による表面の品質の低下、部分的な破損等、多くの種類がある。しかしながら、上記したように異常な製品が製造される頻度は低いため、これらの様々な製品の異常を検出できる機械学習のモデルを作成するために必要とされる画像を収集することはやはり困難である。更に、これらの異常が製品の異なる位置に現れる場合もあるため、異常な製品の異常個所を示すラベル画像を収集することまで考えると、多大な労力をかける必要がある。
そこで、正常な製品の画像に基づいて、容易に外観検査に用いるモデルを作成する技術が望まれている。
本発明の一態様によるモデル作成装置は、正常な製品の画像から、異常な製品の画像と、異常個所を示すラベル画像とを自動的に作成する。そして、作成した異常な製品の画像と、元の正常な製品の画像とを用いて、外観検査に用いる１つのモデルを作成する。作成するモデルは、異常な製品の画像から、元の正常な製品の画像、並びに、異常箇所を示す画像及び異常確率を示す画像の少なくともいずれかを推定するモデルである。かかるモデルの作成には、表現学習の特徴を生かした学習方法を用いる。より具体的には、通常のラベル画像に加えて、当該ラベル画像に関連する他の画像を学習モデルの出力データに加えることで、効率的且つ効果的な学習を行う。本発明の一態様によるモデル作成装置は、上記工程を実行することで１乃至複数の正常な製品の画像に基づいて外観検査に用いるモデルを自動的に作成することができる。
そして、本発明の一態様は、外観検査に用いるモデルを作成するモデル作成装置であって、正常画像データを取得するデータ取得部と、正常画像データに対する画像の加工を行うことで異常画像データを作成する異常画像作成部と、前記異常画像作成部による画像の加工内容に基づいて異常箇所を示すラベル画像データを作成するラベル画像作成部と、前記異常画像データを入力データとし、前記異常画像データを作成する元となった正常画像データ及び前記ラベル画像データを出力データとする教師データを作成し、該教師データに基づく機械学習を行うことで学習モデルを作成するように機械学習装置に指令する学習指令部と、を備えたモデル作成装置である。
本発明の他の態様は、製品の画像に基づいて該製品の外観検査を行う外観検査装置であって、前記製品の画像データを取得するデータ取得部と、異常画像データと該異常画像データを作成する元となった正常画像データ及び異常箇所を示すラベル画像データとの相関性を学習した学習モデルを用いて、前記製品の画像データから、修復画像データ及び異常箇所を示すラベル画像データの推定を行うように機械学習装置に指令し、推定された修復画像データ及び異常箇所を示すラベル画像データを出力する推定指令部と、を備えた外観検査装置である。
本発明の一態様により、異常な製品の画像の収集コストを大幅に削減できる。そのため、外観検査に用いるモデルの作成作業に掛かるコストを大幅に削減することができる。
一実施形態によるモデル作成装置の概略的なハードウェア構成図。 一実施形態によるモデル作成装置の概略的な機能ブロック図。 所定の幾何学的な画像を用いて異常画像データを作成する例。 マスキングの例を示す図。 製品の画像を変形する例を示す図。 製品の画像を変形する他の例を示す図。 ラベル画像の作成例を示す図である。 一変形例によるモデル作成装置の概略的な機能ブロック図。 他の変形例によるモデル作成装置の概略的な機能ブロック図。 一実施形態による外観検査装置の概略的な機能ブロック図。
以下、本発明の実施形態を図面と共に説明する。
図１は本発明の一実施形態によるモデル作成装置の要部を示す概略的なハードウェア構成図である。
本実施形態によるモデル作成装置１は、例えば、制御用プログラムに基づいて産業機械を制御する制御装置として実装することができ、または、制御用プログラムに基づいて産業機械を制御する制御装置に併設されたパソコンや、有線／無線のネットワークを介して制御装置と接続されたパソコン、セルコンピュータ、フォグコンピュータ６、クラウドサーバ７の上に実装することができる。本実施形態では、モデル作成装置１を、ネットワーク介して制御装置と接続されたパソコンの上に実装した例を示す。
本実施形態によるモデル作成装置１が備えるＣＰＵ１１は、モデル作成装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、バス２２を介してＲＯＭ１２に格納されたシステム・プログラムを読み出し、該システム・プログラムに従ってモデル作成装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ、及び外部から入力された各種データ等が一時的に格納される。
不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされたメモリやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等で構成され、モデル作成装置１の電源がオフされても記憶状態が保持される。不揮発性メモリ１４には、インタフェース１５を介して外部機器７２から読み込まれたデータ、入力装置７１を介して入力されたデータ、ネットワーク５を介して産業機械３から取得されたデータ等が記憶される。記憶されるデータには、例えば産業機械３に取り付けられた視覚センサ等のセンサ４により撮像された製品の画像データが含まれていてよい。不揮発性メモリ１４に記憶されたデータは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、公知の解析プログラムなどの各種システム・プログラムがあらかじめ書き込まれている。
インタフェース１５は、モデル作成装置１のＣＰＵ１１とＵＳＢ装置等の外部機器７２と接続するためのインタフェースである。外部機器７２側からは、例えば各産業機械により製造される製品に係るデータ（例えば、正常な製品の画像データや、製品の形状を示すＣＡＤデータ等）を読み込むことができる。また、モデル作成装置１内で編集したデータ等は、外部機器７２を介してＣＦカード等の外部記憶手段に記憶させることができる。
インタフェース２０は、モデル作成装置１のＣＰＵと有線乃至無線のネットワーク５とを接続するためのインタフェースである。ネットワーク５には、産業機械３やフォグコンピュータ、クラウドサーバ等が接続され、モデル作成装置１との間で相互にデータのやり取りを行っている。
表示装置７０には、メモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ、後述する機械学習装置２から出力されたデータ等がインタフェース１７を介して入力して表示される。また、キーボードやポインティングデバイス等から構成される入力装置７１は、作業者による操作に基づく指令，データ等をインタフェース１８を介してＣＰＵ１１に渡す。
インタフェース２１は、ＣＰＵ１１と機械学習装置２とを接続するためのインタフェースである。機械学習装置２は、機械学習装置２全体を統御するプロセッサ２０１と、システム・プログラム等を記憶したＲＯＭ２０２、機械学習に係る各処理における一時的な記憶を行うためのＲＡＭ２０３、及び学習モデル等の記憶に用いられる不揮発性メモリ２０４を備える。機械学習装置２は、インタフェース２１を介してモデル作成装置１で取得可能なデータ（例えば、正常な製品の画像データ、異常な製品の画像データ、ラベルデータ等）を観測することができる。また、モデル作成装置１は、インタフェース２１を介して機械学習装置２から出力される処理結果を取得し、取得した結果を記憶したり、表示したり、他の装置にネットワーク５等を介して送信する。
図２は、本発明の一実施形態によるモデル作成装置１が備える機能を概略的なブロック図として示したものである。
本実施形態によるモデル作成装置１が備える各機能は、図１に示したモデル作成装置１が備えるＣＰＵ１１がシステム・プログラムを実行し、モデル作成装置１の各部の動作を制御することにより実現される。
本実施形態のモデル作成装置１は、データ取得部１００、異常画像作成部１１０、前処理部１２０、ラベル画像作成部１３０、及び学習指令部１４０を備える。また、モデル作成装置１に接続された機械学習装置２は、学習部２０６を備える。更に、モデル作成装置１のＲＡＭ１３乃至不揮発性メモリ１４には、データ取得部１００が産業機械３等から取得したデータを記憶するための領域として取得データ記憶部３００が予め用意されている。また、機械学習装置２のＲＡＭ２０３乃至不揮発性メモリ２０４上には、学習部２０６が作成した学習モデル２１２を記憶するための領域として学習モデル記憶部２１０が予め用意されている。
データ取得部１００は、図１に示したモデル作成装置１が備えるＣＰＵ１１がＲＯＭ１２から読み出したシステム・プログラムを実行し、主としてＣＰＵ１１によるＲＡＭ１３、不揮発性メモリ１４を用いた演算処理と、インタフェース１５、１８又は２０による入力制御処理とが行われることで実現される。データ取得部１００は、産業機械３に取り付けられたセンサ４により撮像された製品の画像データを取得するようにしてもよいし、または、ネットワーク５を介して産業機械３から直接データを取得しても良いし、さらには、外部機器７２や、フォグコンピュータ６、クラウドサーバ７等が取得して記憶しているデータを取得しても良い。データ取得部１００が取得するデータは、少なくとも正常な製品の画像データ（以下、正常画像データとする）を含む。データ取得部１００が取得するデータは、異常な製品の画像データ（以下、異常画像データとする）を含んでいても良いが、その場合、データ取得部１００が取得する画像データには、正常画像データであることを示すラベルと、異常画像データであることを示すラベルが付与されていることが望ましい。データ取得部１００は、例えばオペレータが目視で確認した正常画像データを、オペレータの操作に基づいて取得するようにしても良い。また、オペレータの操作を受け付けて、取得した画像データに対して、正常画像データであることを示すラベルと、異常画像データであることを示すラベルを付与できるようにしても良い。データ取得部１００が取得した製品の画像データは、取得データ記憶部３００に記憶される。
異常画像作成部１１０は、図１に示したモデル作成装置１が備えるＣＰＵ１１がＲＯＭ１２から読み出したシステム・プログラムを実行し、主としてＣＰＵ１１によるＲＡＭ１３、不揮発性メモリ１４を用いた演算処理が行われることで実現される。異常画像作成部１１０は、取得データ記憶部３００に記憶された正常画像データに基づいて、異常画像データを作成する。異常画像作成部１１０は、例えば、正常画像データ内の製品の画像の一部に所定の図形を重畳することで異常画像データを作成しても良いし、または、正常画像データに対して、画像の一部の色相・彩度・明度を変更したり、モザイクをかけたりする等の画像の加工を行うことで異常画像データを作成しても良いし、更には、正常画像データ内の製品の画像に所定の図形を追加乃至削減（変形）することで異常画像データを作成しても良い。
図３は、正常画像データ内の製品の画像の一部に所定の図形（幾何学的な図形）を重畳して異常画像データを作成する例である。
重畳する所定の図形は、予めモデル作成装置１のＲＡＭ１３乃至不揮発性メモリ１４に記憶しておいても良いし、異常画像データを作成する段階で所定の図形として幾何学的形状の図形を作成するようにしても良い。所定の図形の色は、製品の色とは異なるものであれば、製品の色に類似した色であっても良い。製品の画像のどの位置に所定の図形を重畳するかについては、例えば乱数値を算出して決定しても良い。このようにして追加された所定の図形は、製品の加工品質が低下している部分や、製品内の欠損している部分等を表現する。
異常画像作成部１１０は、所定の図形を製品の画像に重畳する際には、所定の透過度で半透明合成するようにしても良いし、または、所定の図形を重畳する代わりに、製品の画像に重畳する所定の図形の範囲の色相や彩度、明度を変更したり、モザイクをかけたりしても良い。いずれの手法であっても、通常の製品の加工とは異なる加工がされた部分（品質が低下している部分）を表現することができる。
異常画像作成部１１０は、正常画像データ内の製品の画像の一部に所定の図形を重畳する際に、製品の形状を考えて所定の図形に対してマスク処理を施しても良い。例えば、図４に例示されるように、所定の図形の一部が製品の画像からはみ出る場合に、所定の図形に対してマスク処理を施して、製品の画像と重畳する部分のみが表示されるようにしても良い。正常画像データの内の製品の画像の範囲については、エッジ処理等を組み合わせた既知の手法で正常画像データから抽出するようにしても良い。また、正常画像データの内の製品の画像の範囲については、ＣＡＤデータ等に基づくマッチング処理により正常画像データから抽出するようにしても良い。
図５は、正常画像データ内の製品の画像に所定の図形を追加することで異常画像データを作成する例である。
追加する所定の図形は、正常画像データ内の製品の画像に隣接して配置されることが望ましい。追加する所定の図形の形状は、予めモデル作成装置１のＲＡＭ１３乃至不揮発性メモリ１４に記憶しておいても良いし、異常画像データを作成する段階で所定の図形として幾何学的形状の図形を作成するようにしても良い。追加する所定の図形は、正常画像データ内の製品の画像に隣接して配置されることが望ましい。追加される所定の図形の色は、製品の色に類似した色であって良い。また、製品の画像のどの位置に所定の図形を追加するかについては、例えば乱数値を算出して決定しても良い。このようにして追加された所定の図形は、製品の削り残しや大きなバリ等を表現する。
図６は、正常画像データ内の製品の画像から所定の図形を削減することで異常画像データを作成する例である。
削減する所定の図形の形状は、予めモデル作成装置１のＲＡＭ１３乃至不揮発性メモリ１４に記憶しておいても良いし、異常画像データを作成する段階で所定の図形として幾何学的形状の図形を作成するようにしても良い。削減する所定の図形は、正常画像データの内の製品の画像の端部を削減するものであることが望ましい。削減する所定の図形の色は、正常画像データ内の背景色に類似した色であって良い。また、製品の画像のどの位置を削減するかについては、例えば乱数値を算出して決定しても良い。このようにして削減された所定の図形は、製品の欠損や削り過ぎ等を表現する。
異常画像作成部１１０は、取得データ記憶部３００に記憶される複数の正常画像データに基づいて異常画像データを作成しても良いしまたは、１つの正常画像データに基づいて、所定の図形の形状や重畳する位置、追加や削減する図形の形状や位置等を変化させた複数の異常画像データを作成して良い。異常画像作成部１１０は、機械学習装置２が異常画像データ内の製品の異常個所を学習するために十分な数の異常画像を作成する。この学習に十分な数は、予めオペレータにより設定しておくと良い。
前処理部１２０は、図１に示したモデル作成装置１が備えるＣＰＵ１１がＲＯＭ１２から読み出したシステム・プログラムを実行し、主としてＣＰＵ１１によるＲＡＭ１３、不揮発性メモリ１４を用いた演算処理が行われることで実現される。前処理部１２０は、取得データ記憶部３００に記憶される正常画像データや、異常画像作成部１１０が作成した異常画像データに対して、所定の画像処理を施す。前処理部１２０が異常画像データに対して施す所定の画像処理は、少なくとも正常画像データ／異常画像データの特徴を抽出しやすい画像処理方法を含む。例えば、前処理部１２０は、正常画像データ／異常画像データに写っている物体や異常箇所の輪郭を識別しやすくなるように、正常画像データ／異常画像データに対してエッジ強調処理を施しても良い。また、前処理部１２０は、正常画像データ／異常画像データに写っている物体の姿勢や向きが略同一になるように、２次元乃至３次元の回転処理を施しても良い。前処理部１２０は、正常画像データ／異常画像データに写っている物体の各部位の範囲が明確になるように、正常画像データ／異常画像データの輝度や彩度を調整する処理を施しても良い。このように、人の視覚系（ヒューマンビジョン）が自動的に行っている処理を正常画像データ／異常画像データに加えることで、学習や推定の精度をある程度向上させることができる。なお、前処理部１２０は必ずしも必須の構成ではないが、前処理部１２０を設けることで、画像に基づく学習に必要なデータの数を削減することができる。
ラベル画像作成部１３０は、図１に示したモデル作成装置１が備えるＣＰＵ１１がＲＯＭ１２から読み出したシステム・プログラムを実行し、主としてＣＰＵ１１によるＲＡＭ１３、不揮発性メモリ１４を用いた演算処理が行われることで実現される。ラベル画像作成部１３０は、異常画像データの作成に用いられた所定の図形に基づいて異常箇所を示すラベル画像データを作成する。ラベル画像データは、図７に例示されるように、画像データの内で所定の図形が占める箇所を第１の色彩（例えば白）、それ以外の箇所を第２の色彩（例えば黒）の画像データとして作成すればよい。このようにして作成したラベル画像データは、第１の色彩で示される箇所を製品の画像の中の異常箇所として示すものとなる。
学習指令部１４０は、図１に示したモデル作成装置１が備えるＣＰＵ１１がＲＯＭ１２から読み出したシステム・プログラムを実行し、主としてＣＰＵ１１によるＲＡＭ１３、不揮発性メモリ１４を用いた演算処理と、インタフェース２１を用いた入出力制御処理が行われることで実現される。学習指令部１４０は、前処理部１２０により前処理が施された異常画像データと、該異常画像データを作成する元となった正常画像データ、及びラベル画像作成部１３０が作成したラベル画像データに基づいた学習を行うことで学習モデルを作成するように機械学習装置２に指令する。学習指令部１４０は、例えば異常画像データを入力データとし、該異常画像データを作成する元となった正常画像データ、及びラベル画像データを出力データとした教師データを複数作成し、作成した教師データに基づいて学習を行うように機械学習装置２に指令する。
ここで、出力データとして、ラベル画像データだけではなく、該異常画像データを作成する元となった正常画像データも用いることに留意されたい。通常の学習では、異常画像データからラベル画像を推論するモデルを作成すれば良い。しかしながら、そのような学習をする場合、単純に学習を進めても異常画像データ内の異常箇所の特徴をうまく発見することができない場合が多い。そこで、出力データとして、異常箇所を示すラベル画像データに正常画像データを加えることで、異常画像データから正常画像データ及びラベル画像データを並列して推定する学習モデルを作成させる。このようにすることで、学習モデル内に正常画像データの特徴表現を抽出する構造が作成され、その構造がラベル画像データを推定する際にも用いられるようになる。そのため、精度よく異常箇所を示すラベル画像データを推定することが可能となる。また、出力データ側に正常画像データを置くことで、実際に外観検査を行う場合に、産業機械３で撮像された画像データ（正常画像データであるか異常画像データであるかがわからない画像データ）のみを学習モデルの入力として異常箇所を示すラベル画像データを推定することを可能とする学習モデルを作成できる。ラベル画像データを推定するために正常画像データを利用する場合、例えば入力データ側に正常画像データを置くやり方もあるが、そのようにして作成された学習モデルでは、産業機械３で撮像された画像データに加えて正常な製品から撮像された正常画像データを用意しないと異常箇所を示すラベル画像データを推定することができない。この点においても、本実施形態により作成される学習モデルは優れていると考えられる。
機械学習装置２が備える学習部２０６は、図１に示した機械学習装置２が備えるプロセッサ２０１がＲＯＭ２０２から読み出したシステム・プログラムを実行し、主としてプロセッサ２０１によるＲＡＭ２０３、不揮発性メモリ２０４を用いた演算処理が行われることにより実現される。学習部２０６は、学習指令部１４０から受けた指令に応じ、教師データを用いた機械学習を行うことで学習モデル２１２を作成する。学習部２０６は、作成した学習モデル２１２を学習モデル記憶部２１０に記憶する。学習部２０６が行う機械学習は公知の教師あり学習である。学習モデル２１２は、例えば多層ニューラルネットワーク等が挙げられる。学習部２０６が作成する学習モデル２１２は、異常画像データと、元の正常画像データ及び異常箇所を示すラベル画像データとの相関性を学習したモデルである。学習モデル２１２は、異常画像データから、元の正常画像データ及び異常箇所を示すラベル画像データを推定するモデルとなる。なお、機械学習の技術により画像データから他の画像データを推定する技術については、既に十分に公知となっているため本明細書による詳細な説明は省略する。
上記構成を備えた本実施形態によるモデル作成装置１は、容易に収集可能な正常画像データに基づいて異常画像データを作成し、作成した異常画像データに基づいた機械学習を行ことで、外観検査に用いるモデルを自動的に作成することができる。そのため、機械学習を行うに際して異常な製品の画像の収集コストを大幅に削減でき、効率の良い機械学習を行うことができる。モデル作成装置１は、異常画像データに基づいて、正常画像データと、異常箇所を示すラベル画像データとを推定できる１つの学習モデルを作成する。この学習モデル内には、学習の過程で正常画像データを推定する構造と、ラベル画像データを推定する構造とが自然と形成され、それぞれが推定する特徴表現を互いに活用するものとなる。そのため、効率的且つ効果的に学習を進めることができる。また、１つの学習モデルで正常画像データの推定と、異常箇所を示すラベル画像データの推定が行えるため、プロセッサやメモリ、不揮発性メモリなどのコンピュータ資源を効率的に用いることができる。
本実施形態によるモデル作成装置１の一変形例として、ラベル画像作成部１３０は、ラベル画像データとして異常画像データ内の画素毎に所定のラベルやカテゴリ（本発明においては、製品の画像の異常箇所）に属する確率を色の違いなどで表すものとして作成しても良い。この場合、学習指令部１４０は、異常画像データを入力データとし、該異常画像データを作成する元となった正常画像データ、及び異常箇所の異常確率を示すラベル画像データを出力データとした教師データを複数作成し、作成した教師データに基づいて学習を行うように機械学習装置２に指令する。この時、学習モデル２１２は、画像データ内の画素に対してラベルやカテゴリ（本発明においては、製品の画像の異常箇所）を関連付けする公知のセマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）の技術を用いて実装しても良い。また、学習モデル２１２は、画像データ内の画素毎に製品の画像の異常箇所である確率を示すように公知の画像回帰分析を行うようにしても良い。なお、上記した機械学習に係る技術については、既に十分に公知となっているため本明細書による詳細な説明は省略する。
本変形例によるモデル作成装置１は、産業機械３で撮像された画像データに基づいて、該画像データ内の異常箇所を、その異常確率に応じた所定の色で示すラベル画像データを推定する。このような場合においても、出力データ側に正常画像データを置くことで、効率的且つ効果的に学習を進めることができる。
なお、ラベル画像作成部１３０は、ラベル画像データとして、異常箇所を示すラベル画像データと、画像内の異常箇所の異常確率を示すラベル画像データとの両方を作成するようにしても良い。この場合、学習指令部１４０は、異常画像データを入力データとし、該異常画像データを作成する元となった正常画像データ、異常箇所を示すラベル画像データ、及び異常箇所の異常確率を示すラベル画像データを出力データとした教師データを複数作成し、作成した教師データに基づいて学習を行うように機械学習装置２に指令する。このような構成とすることで、学習モデル２１２内には、学習の過程で正常画像データを推定する構造、異常箇所を示すラベル画像データを推定する構造、及び異常箇所の異常確率を示すラベル画像データを推定する構造がそれぞれ自然と形成され、それぞれが推定する特徴表現を互いに活用するものとなる。そのため、より効率的且つ効果的に学習を進めることが期待される。
本実施形態によるモデル作成装置の他の変形例として、図８に例示されるように、モデル作成装置１は機械学習装置２を内蔵していても良い。
また、図９に例示されるように、ネットワーク５を介してモデル作成装置１と機械学習装置２が接続される形態をとることもできる。後者の場合、機械学習装置２は、フォグコンピュータ６やクラウドサーバ７などのコンピュータ内に実装しても良い。このようにすることで、機械学習装置２を複数のオペレータ間で共有して用いることが可能となり、機械学習装置２の導入コストを低減することができる。
図１０は、本発明のモデル作成装置１が作成した学習モデル２１２を用いて製品の外観検査を行う外観検査装置９の備える機能を概略的なブロック図として示したものである。本実施形態による外観検査装置９は、モデル作成装置１と同様に、制御装置やパソコン、セルコンピュータ、フォグコンピュータ６、クラウドサーバ７等の上に実装することができる。以下では、モデル作成装置１と同様に、外観検査装置９が図１に示されたハードウェアを備えたパソコンの上に実装されているものとして説明する。
本実施形態の外観検査装置９は、データ取得部１００、前処理部１２０、推定指令部１６０を備える。また、外観検査装置９に接続された機械学習装置２は、推定部２０７を備える。更に、機械学習装置２のＲＡＭ２０３乃至不揮発性メモリ２０４上には、モデル作成装置１で作成された学習モデル２１２を記憶した領域として学習モデル記憶部２１０が予め用意されている。
本実施形態による外観検査装置９が備える前処理部１２０は、上記したモデル作成装置１が備える前処理部１２０と同様の機能を備える。
本実施形態による外観検査装置９が備えるデータ取得部１００は、図１に示したモデル作成装置１が備えるＣＰＵ１１がＲＯＭ１２から読み出したシステム・プログラムを実行し、主としてＣＰＵ１１によるＲＡＭ１３、不揮発性メモリ１４を用いた演算処理と、インタフェース１５、１８又は２０による入力制御処理とが行われることで実現される。データ取得部１００は、産業機械３に取り付けられたセンサ４により撮像された製品の画像データを取得するようにしても良いし、または、ネットワーク５を介して産業機械３から直接データを取得しても良いし、さらには、外部機器７２や、フォグコンピュータ６、クラウドサーバ７等が取得して記憶しているデータを取得しても良い。データ取得部１００が取得するデータは、正常な製品の画像データ及び異常な製品の画像データを含み得る。
推定指令部１６０は、図１に示したモデル作成装置１が備えるＣＰＵ１１がＲＯＭ１２から読み出したシステム・プログラムを実行し、主としてＣＰＵ１１によるＲＡＭ１３、不揮発性メモリ１４を用いた演算処理と、インタフェース２１を用いた入出力制御処理が行われることで実現される。推定指令部１６０は、データ取得部１００が取得した画像データに基づいて、該画像データの異常箇所を修復した正常画像データ（以下、修復画像データと呼ぶ）及び該画像データ内の異常箇所を示すラベル画像データを推定するように機械学習装置２に指令する。推定指令部１６０は、指令に応じて機械学習装置２で推定された修復画像データ及び異常箇所を示すラベル画像データを受け取る。そして、受け取った修復画像データ及びラベル画像データを表示装置７０表示出力する。推定指令部１６０は推定された修復画像データ及び異常箇所を示すラベル画像データを、ネットワークを介して他のコンピュータに送信出力するようにしても良い。
機械学習装置２が備える推定部２０７は、図１に示した機械学習装置２が備えるプロセッサ２０１がＲＯＭ２０２から読み出したシステム・プログラムを実行し、主としてプロセッサ２０１によるＲＡＭ２０３、不揮発性メモリ２０４を用いた演算処理が行われることにより実現される。推定部２０７は、推定指令部１６０から受けた指令に応じ、画像データに基づいて学習モデル２１２を用いた推定処理を実行する。推定部２０７は、例えば推定指令部１６０から入力された画像データを学習モデル２１２の入力データとし、学習モデル２１２から出力された修復画像データ及び異常箇所を示すラベル画像データを推定されたデータとして推定指令部１６０に出力する。
上記構成を備えた本実施形態による外観検査装置９は、学習モデルを用いた１ステップの処理で製品の画像から正常な製品の画像及び異常箇所を示す画像を推定する。推定に用いるモデルは、上記したモデル作成装置１で作成されたものであり、その作成において異常画像データの収集に掛ける労力が必要なくなり、モデルの作成に掛かるコストが従来と比較して大幅に削減される。これは、新たな製品の製造を行う場合等に、比較的早期に精度良く外観検査を行えるモデルが作成されることを意味する。そのため、製品開発の初期の段階から機械学習を用いた精度良い外観検査を開始することができる。
以上、本発明の一実施形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
１ モデル作成装置
２ 機械学習装置
３ 産業機械
４ センサ
５ ネットワーク
６ フォグコンピュータ
７ クラウドサーバ
９ 外観検査装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 不揮発性メモリ
１５，１７，１８，２０，２１ インタフェース
２２ バス
７０ 表示装置
７１ 入力装置
７２ 外部機器
１００ データ取得部
１１０ 異常画像作成部
１２０ 前処理部
１３０ ラベル画像作成部
１４０ 学習指令部
１６０ 推定指令部
２０１ プロセッサ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 不揮発性メモリ
２０６ 学習部
２０７ 推定部
２１０ 学習モデル記憶部
２１２ 学習モデル
３００ 取得データ記憶部

Claims (4)

  1. 外観検査に用いるモデルを作成するモデル作成装置であって、
    正常画像データを取得するデータ取得部と、
    正常画像データに対する画像の加工を行うことで異常画像データを作成する異常画像作成部と、
    前記異常画像作成部による画像の加工内容に基づいて異常箇所を示すラベル画像データを作成するラベル画像作成部と、
    前記異常画像データを入力データとし、前記異常画像データを作成する元となった正常画像データ及び前記ラベル画像データを出力データとする教師データを作成し、該教師データに基づく機械学習を行うことで学習モデルを作成するように機械学習装置に指令する学習指令部と、
    を備えたモデル作成装置。
  2. 前記機械学習装置を備え、該機械学習装置は、
    学習指令部の指令に応じ、前記学習モデルを作成する学習部を備える、
    請求項１に記載のモデル作成装置。
  3. 前記ラベル画像データは、異常箇所の異常確率を示すラベル画像データである、
    請求項１に記載のモデル作成装置。
  4. 製品の画像に基づいて該製品の外観検査を行う外観検査装置であって、
    前記製品の画像データを取得するデータ取得部と、
    異常画像データと該異常画像データを作成する元となった正常画像データ及び異常箇所を示すラベル画像データとの相関性を学習した学習モデルを用いて、前記製品の画像データから、修復画像データ及び異常箇所を示すラベル画像データの推定を行うように機械学習装置に指令し、推定された修復画像データ及び異常箇所を示すラベル画像データを出力する推定指令部と、
    を備えた外観検査装置。
JP2022551976A 2020-09-25 2021-09-21 外観検査のためのモデル作成装置及び外観検査装置 Active JP7428819B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020160596 2020-09-25
JP2020160596 2020-09-25
PCT/JP2021/034499 WO2022065273A1 (ja) 2020-09-25 2021-09-21 外観検査のためのモデル作成装置及び外観検査装置

Publications (2)

Publication Number Publication Date
JPWO2022065273A1 JPWO2022065273A1 (ja) 2022-03-31
JP7428819B2 true JP7428819B2 (ja) 2024-02-06

Family

ID=80846493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022551976A Active JP7428819B2 (ja) 2020-09-25 2021-09-21 外観検査のためのモデル作成装置及び外観検査装置

Country Status (5)

Country Link
US (1) US20230386014A1 (ja)
JP (1) JP7428819B2 (ja)
CN (1) CN116194954A (ja)
DE (1) DE112021005018T5 (ja)
WO (1) WO2022065273A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020184069A1 (ja) 2019-03-08 2020-09-17 日本電気株式会社 画像処理方法、画像処理装置、プログラム
JP2020155086A (ja) 2019-03-15 2020-09-24 日鉄テックスエンジ株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014190821A (ja) 2013-03-27 2014-10-06 Dainippon Screen Mfg Co Ltd 欠陥検出装置および欠陥検出方法
JP6792842B2 (ja) * 2017-06-06 2020-12-02 株式会社デンソー 外観検査装置、変換データ生成装置、及びプログラム
US10789703B2 (en) * 2018-03-19 2020-09-29 Kla-Tencor Corporation Semi-supervised anomaly detection in scanning electron microscope images
JP7106391B2 (ja) * 2018-08-22 2022-07-26 株式会社Ye Digital 画像判定方法、画像判定装置および画像判定プログラム
KR102638267B1 (ko) * 2018-12-03 2024-02-21 삼성전자주식회사 반도체 웨이퍼 불량 분석 시스템 및 그것의 동작 방법
JP7176965B2 (ja) * 2019-02-01 2022-11-22 株式会社キーエンス 画像検査装置
JP7287791B2 (ja) * 2019-02-01 2023-06-06 株式会社キーエンス 画像検査装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020184069A1 (ja) 2019-03-08 2020-09-17 日本電気株式会社 画像処理方法、画像処理装置、プログラム
JP2020155086A (ja) 2019-03-15 2020-09-24 日鉄テックスエンジ株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
CN116194954A (zh) 2023-05-30
JPWO2022065273A1 (ja) 2022-03-31
WO2022065273A1 (ja) 2022-03-31
US20230386014A1 (en) 2023-11-30
DE112021005018T5 (de) 2023-07-27

Similar Documents

Publication Publication Date Title
US11276162B2 (en) Surface defect identification method and apparatus
JP6693938B2 (ja) 外観検査装置
US9471057B2 (en) Method and system for position control based on automated defect detection feedback
JP6683666B2 (ja) 識別コード読取装置及び機械学習装置
CN113077419A (zh) 用于髋关节ct影像识别的信息处理方法及装置
CN110599441B (zh) 接缝检查装置
JP7148322B2 (ja) 画像処理装置
JP7428819B2 (ja) 外観検査のためのモデル作成装置及び外観検査装置
WO2022065272A1 (ja) 外観検査のためのモデル作成装置及び外観検査装置
US20200082281A1 (en) Verification device
JP2010015448A (ja) 地物形状変化検出プログラム、及び、地物形状変化検出システム
CN116452493A (zh) 用于检测成型金属部件中的缺陷的方法
WO2022065271A1 (ja) 画像作成装置
CN107798323B (zh) 一种车牌图像定位方法及设备
CN116724224A (zh) 加工面判定装置、加工面判定程序、加工面判定方法、加工系统、推论装置及机器学习装置
JP7511882B2 (ja) 電子機器画面部のグレード判定方法及びシステム
CN114239124A (zh) 一种建筑图纸构件识别方法、系统、存储介质及设备
JP7415046B2 (ja) 画像処理装置、及びコンピュータが読み取り可能な記憶媒体
WO2023218537A1 (ja) 対象領域抽出装置、方法、及びシステム
CN111709991A (zh) 一种铁路工机具的检测方法、系统、装置和存储介质
WO2023181277A1 (ja) 外観検査装置、外観検査方法、及びコンピュータ読み取り可能な記録媒体
JP2021086219A (ja) 協調作業システム、解析収集装置および解析プログラム
JP7502448B2 (ja) 検査装置
CN114648583B (zh) 一种长周期序列图像的检测区动态定位方法和系统
JP2023039521A (ja) 特定方法、特定装置、および、特定システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240125

R150 Certificate of patent or registration of utility model

Ref document number: 7428819

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150