JP6838175B2 - 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法 - Google Patents

部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法 Download PDF

Info

Publication number
JP6838175B2
JP6838175B2 JP2019570235A JP2019570235A JP6838175B2 JP 6838175 B2 JP6838175 B2 JP 6838175B2 JP 2019570235 A JP2019570235 A JP 2019570235A JP 2019570235 A JP2019570235 A JP 2019570235A JP 6838175 B2 JP6838175 B2 JP 6838175B2
Authority
JP
Japan
Prior art keywords
component
trained model
image recognition
image
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019570235A
Other languages
English (en)
Other versions
JPWO2019155593A1 (ja
Inventor
貴紘 小野
貴紘 小野
秀一郎 鬼頭
秀一郎 鬼頭
勇太 横井
勇太 横井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2019155593A1 publication Critical patent/JPWO2019155593A1/ja
Application granted granted Critical
Publication of JP6838175B2 publication Critical patent/JP6838175B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Analysis (AREA)

Description

本明細書は、部品実装機の吸着ノズルに吸着した部品又は回路基板に実装した部品を撮像対象とし、この撮像対象をカメラで撮像して画像認識する際に使用する学習済みモデルを作成する部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法に関する技術を開示したものである。
部品実装機の吸着ノズルに吸着した部品の吸着姿勢は、正常吸着であれば部品が水平に吸着されるが、何等かの原因で部品が斜め等の異常な姿勢で吸着される異常吸着が発生することがある。このような異常吸着は部品実装不良の原因となるため、従来より、部品実装機には、吸着ノズルに吸着した部品を撮像するカメラを搭載し、そのカメラで撮像した画像を処理することで、部品の吸着姿勢が正常吸着か異常吸着かを判別して、異常吸着と判定した部品を廃棄し、正常吸着と判定した部品のみを回路基板に実装するようにしている。
従来の一般的な画像処理は、部品のサイズ等を含む画像処理用部品形状データを用いて正常吸着/異常吸着を判別するようにしているが、吸着ノズルに吸着した部品が微小な部品である場合には、従来の画像処理用部品形状データを用いた画像処理では、正常吸着/異常吸着の判別が困難な場合がある。
そこで、特許文献1(特開2008−130865号公報)に記載されているように、ニューラルネットワーク等の機械学習手法を用いて、予め正常吸着/異常吸着を判別する学習済みモデルを作成しておき、生産中に部品実装機のカメラで撮像した部品画像を処理して、学習済みモデルを用いて正常吸着/異常吸着を判別するようにしたものがある。
特開2008−130865号公報
例えば、電気的に同じ仕様の部品であっても、サイズ、色、素材、製造会社、製造ロット等のいずれかが違っている場合があり、その違いによって画像認識結果にも違いが生じる場合がある。しかし、生産開始前に電気的に同じ仕様の部品に対して、サイズ、色、素材、製造会社、製造ロット等によって部品の種類を細分化して、その全ての種類について機械学習手法により学習済みモデルを作成しようとすると、非常に多くの学習済みモデルを作成しなければならず、学習済みモデルの作成作業に多くの手間と時間がかかる。
そこで、既に学習済みモデルが作成されている部品と形状等が似ている種類の部品に対しては、取り敢えず、既存の学習済みモデルを使用して正常吸着/異常吸着を判別する場合があるが、その場合、生産中に期待する判別精度が得られない場合がある。この場合には、速やかに当該部品に特化した学習済みモデルを作成する必要があるが、従来手法で学習済みモデルを最初から作成するには、手間と時間がかかる。
上記課題を解決するために、部品実装機の吸着ノズルに吸着した部品又は回路基板に実装した部品を撮像対象とし、この撮像対象をカメラで撮像して画像認識する際に使用する学習済みモデルを作成する部品画像認識用学習済みモデル作成システムにおいて、基準となる部品の画像認識に使用する基準学習済みモデルを取得するコンピュータを備え、前記コンピュータは、前記基準となる部品に対して所定の類似関係がある部品の種類毎にサンプル部品画像を収集して当該部品の種類毎に当該サンプル部品画像を前記基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品の画像認識に用いる部品別学習済みモデルを作成するようにしたものである。
要するに、基準学習済みモデルが作成されている基準となる部品に対して所定の類似関係がある部品については、その部品の種類毎にサンプル部品画像を収集して当該部品の種類毎に当該サンプル部品画像を前記基準学習済みモデルの教師データとして追加して再学習することで、当該部品の種類毎に当該部品の画像認識に用いる部品別学習済みモデルを作成するものである。このようにすれば、基準となる部品に対して所定の類似関係がある部品の画像認識に用いる部品別学習済みモデルを基準学習済みモデルから比較的簡単に作成することができる。
図1は一実施例の部品実装ラインの構成例を示すブロック図である。 図2は正常吸着を説明する正面図である。 図3は斜め吸着を説明する正面図である。 図4は部品吸着姿勢判別プログラムの処理の流れを示すフローチャートである。 図5は部品別学習済みモデル作成プログラムの処理の流れを示すフローチャートである。
以下、一実施例を説明する。
まず、図1に基づいて部品実装ライン10の構成を説明する。
部品実装ライン10は、回路基板11の搬送方向に沿って、1台又は複数台の部品実装機12と、半田印刷機13やフラックス塗布装置(図示せず)等の実装関連機を配列して構成されている。部品実装ライン10の基板搬出側には、回路基板11に実装した各部品の実装状態の良否を検査する検査機14が設置されている。
部品実装ライン10の各部品実装機12、半田印刷機13及び検査機14は、ネットワーク16を介して生産管理用コンピュータ21と相互に通信可能に接続され、この生産管理用コンピュータ21によって部品実装ライン10の生産が管理される。各部品実装機12の制御装置17は、1台又は複数台のコンピュータ(CPU)を主体として構成され、生産管理用コンピュータ21から転送されてくる生産ジョブ(生産プログラム)に従って、実装ヘッド(図示せず)を部品吸着位置→部品撮像位置→部品実装位置の経路で移動させて、フィーダ19から供給される部品(図2、図3参照)を実装ヘッドの吸着ノズル31(図2、図3参照)で吸着して当該部品をその下方から部品撮像用カメラ18で撮像して、その撮像画像を部品実装機12の制御装置17の画像処理機能によって処理して、後述する学習済みモデルを用いて当該部品の吸着姿勢が正常吸着(図2参照)か異常吸着(図3参照)かを判別する。その結果、異常吸着と判定すれば当該部品を所定の廃棄ボックス(図示せず)に廃棄し、正常吸着と判定すれば、当該部品の吸着位置X,Yと角度θを計測し、当該部品の位置X,Yや角度θのずれを補正して当該部品を回路基板11に実装するという動作を繰り返して、当該回路基板11に所定数の部品を実装する。
また、検査機14の制御装置20は、1台又は複数台のコンピュータ(CPU)を主体として構成され、搬入された回路基板11上の各部品の実装状態をその上方から検査用カメラ22で撮像して、その撮像画像を処理して、回路基板11上の各部品の有無や実装位置ずれ等の実装状態を認識してその認識結果に基づいて各部品の実装不良(検査不合格)の有無を検査する。この際、後述する学習済みモデルを用いて回路基板11上の各部品の有無を判別するようにしても良い。
部品実装ライン10のネットワーク16には、後述する基準学習済みモデルや部品別学習済みモデルの作成に用いる教師データ(サンプル部品画像)の収集及び学習を行う学習用コンピュータ23が接続されている。
各部品実装機12の制御装置17は、生産中に後述する図4の部品吸着姿勢判別プログラムを実行することで、吸着ノズル31に吸着した部品の種類に応じた学習済みモデルを選択して、当該部品の撮像画像の処理結果から当該部品の吸着姿勢が正常吸着か異常吸着かを判別すると共に、正常吸着と判別した撮像画像を正常吸着のサンプル部品画像として学習用コンピュータ23へ転送し、異常吸着と判別した撮像画像を異常吸着のサンプル部品画像として学習用コンピュータ23へ転送する。
一方、学習用コンピュータ23は、後述する図5の部品別学習済みモデル作成プログラムを実行することで、各部品実装機12の制御装置17から転送されてくる正常吸着/異常吸着のサンプル部品画像を部品の種類毎に分類して収集すると共に、検査機14の検査結果の情報を取得して部品の種類毎に実装不良発生率を算出し、実装不良発生率が判定しきい値を超えた部品が存在する場合には、当該部品について収集した正常吸着/異常吸着のサンプル部品画像を基準学習済みモデルの教師データとして追加して再学習することで当該部品の画像認識に用いる部品別学習済みモデルを作成して、その部品別学習済みモデルを各部品実装機12の制御装置17へ転送する。再学習の手法は、ニューラルネットワーク、サポートベクターマシン等の機械学習の手法を用いれば良い。
ここで、基準学習済みモデルは、基準となる部品の画像認識に使用する学習済みモデルであり、学習用コンピュータ23が基準となる部品の正常吸着/異常吸着のサンプル部品画像を教師データとして収集して、ニューラルネットワーク、サポートベクターマシン等の機械学習で学習して基準学習済みモデルを作成しても良いし、外部のコンピュータで作成した基準学習済みモデルを学習用コンピュータ23に取り込むようにしても良い。また、基準となる部品は、特定の部品に限定されるものではなく、事前に学習済みモデルが作成されている部品を「基準となる部品」とすれば良い。
各部品実装機12の制御装置17は、学習用コンピュータ23から転送されてくる基準学習済みモデルと部品別学習済みモデルをそのモデルを用いて画像認識する部品の種類と関連付けて記憶装置(図示せず)に記憶する。その際、部品の種類毎に用意された画像処理用部品形状データに基準学習済みモデル又は部品別学習済みモデルを含ませて記憶する。以下の説明で、単に「学習済みモデル」という場合は、基準学習済みモデルと部品別学習済みモデルの両方を含む。画像処理用部品形状データは、部品のボディ部分のサイズ、バンプやリード等の端子の位置、サイズ、ピッチ、個数等の外観上の特徴を表すデータであり、画像認識した部品の種類を判別したり、部品の吸着位置・角度等を計測するのに使用される。部品の種類毎に作成した学習済みモデルを当該部品の種類毎に用意された画像処理用部品形状データに含ませる処理は、各部品実装機12の制御装置17で行っても良いし、学習用コンピュータ23で行っても良い。或は、学習用コンピュータ23から学習済みモデルを生産管理用コンピュータ21へ転送して、この生産管理用コンピュータ21で学習済みモデルを画像処理用部品形状データに含ませる処理を行って、生産管理用コンピュータ21から各部品実装機12の制御装置17へ学習済みモデルを含む画像処理用部品形状データを転送するようにしても良い。
各部品実装機12の制御装置17は、部品の種類毎に記憶した学習済みモデルの中に、吸着ノズル31に吸着した部品の画像認識に用いる学習済みモデルが存在する場合には、当該部品用の学習済みモデルを選択して当該部品の画像認識を行うが、当該部品用の学習済みモデルが存在しない場合には、学習済みモデルが存在する部品の中から、吸着ノズル31に吸着した部品と所定の類似関係がある部品を「基準となる部品」とみなして、当該基準となる部品用の学習済みモデルを「基準学習済みモデル」として用いて、吸着ノズル31に吸着した部品の画像認識を行う。この際、基準となる部品用の学習済みモデルが、他の部品用の基準学習済みモデルから作成した部品別学習済みモデルである場合もあり、この場合は、他の部品用の基準学習済みモデルから作成した部品別学習済みモデルが基準学習済みモデルとして用いられることになる。
この場合、所定の類似関係がある部品とは、例えば、部品のサイズ、色、素材、製造会社、製造ロット等のいずれかが違っていても部品の形状が同一又は類似している部品である。部品どうしに所定の類似関係があれば、一方の部品用の学習済みモデルを用いて他方の部品の画像認識を行っても、ある程度の精度(一般には生産に必要最低限の精度以上)で画像認識可能である。換言すれば、一方の部品用の学習済みモデルを用いて他方の部品の画像認識をある程度の精度で行うことができれば、これら2つの部品は所定の類似関係があると言える。
次に、図4の部品吸着姿勢判別プログラムと図5の部品別学習済みモデル作成プログラムの処理の流れを説明する。
[部品吸着姿勢判別プログラム]
図4の部品吸着姿勢判別プログラムは、生産中に各部品実装機12の吸着ノズル31に吸着した部品を部品撮像用カメラ18で撮像するタイミングになる毎に各部品実装機12の制御装置17によって実行される。
各部品実装機12の制御装置17は、本プログラムを起動すると、まず、ステップ101で、吸着ノズル31に吸着した部品を部品撮像用カメラ18で撮像して、その撮像画像を取り込む。この後、ステップ102に進み、記憶装置(図示せず)に部品の種類毎に記憶されている学習済みモデルの中に、撮像した部品用の学習済みモデルが存在するか否かを判定し、撮像した部品用の学習済みモデルが存在する場合には、ステップ103に進み、撮像した部品用の学習済みモデルを今回の画像認識に用いる学習済みモデルとして選択する。
一方、記憶装置に部品の種類毎に記憶されている学習済みモデルの中に、撮像した部品用の学習済みモデルが存在しない場合には、ステップ104に進み、記憶装置に部品の種類毎に記憶されている学習済みモデルの中から、撮像した部品と所定の類似関係がある部品用の学習済みモデルを今回の画像認識に用いる学習済みモデルとして選択する。
以上のようにして、今回の画像認識に用いる学習済みモデルを選択した後、ステップ105に進み、今回の撮像画像を制御装置17の画像処理機能によって処理して、選択した学習済みモデルを用いて、撮像した部品の吸着姿勢が正常吸着(図2参照)か異常吸着(図3参照)かを判別する。
この後、ステップ106に進み、吸着姿勢の判別結果が正常吸着か否かを判定し、正常吸着であれば、ステップ107に進み、今回の撮像画像を正常吸着のサンプル部品画像として学習用コンピュータ23へ転送して本プログラムを終了する。一方、吸着姿勢の判別結果が正常吸着ではなく、異常吸着であれば、ステップ108に進み、今回の撮像画像を異常吸着のサンプル部品画像として学習用コンピュータ23へ転送して本プログラムを終了する。これにより、学習用コンピュータ23が各部品実装機12の制御装置17から正常吸着/異常吸着のサンプル部品画像を収集する。
尚、各部品実装機12の制御装置17が正常吸着/異常吸着のサンプル部品画像を一時的に収集するようにしても良い。この場合は、各部品実装機12の制御装置17がサンプル部品画像を所定数収集する毎(又は所定期間収集する毎)にそれまでに収集したサンプル部品画像を一括して学習用コンピュータ23へ転送するようにしたり、或は、学習用コンピュータ23からサンプル部品画像転送要求が出力される毎に各部品実装機12の制御装置17がそれまでに収集したサンプル部品画像を一括して学習用コンピュータ23へ転送するようにしても良い。或は、生産管理用コンピュータ21が各部品実装機12の制御装置17からサンプル部品画像を収集して、この生産管理用コンピュータ21からサンプル部品画像を学習用コンピュータ23へ転送するようにしても良い。いずれの方法であっても、学習用コンピュータ23が最終的にサンプル部品画像を収集することができる。
[部品別学習済みモデル作成プログラム]
図5の部品別学習済みモデル作成プログラムは、学習用コンピュータ23が所定の周期で繰り返し実行する。学習用コンピュータ23が本プログラムを起動すると、まず、ステップ201で、各部品実装機12の制御装置17又は生産管理用コンピュータ21から部品の種類毎に正常吸着/異常吸着のサンプル部品画像を収集する。そして、次のステップ202で、検査機14から検査結果の情報を取得する。
この後、ステップ203に進み、収集した正常吸着のサンプル部品画像の中から、検査機14で実装不良と判定された部品を撮像したサンプル部品画像を廃棄する。これは、正常吸着と判定されても、検査機14で実装不良と判定された部品は、実際には異常吸着である可能性があるためである。尚、このステップ203の処理は、各部品実装機12の制御装置17又は生産管理用コンピュータ21で行って、検査機14で実装不良と判定されなかった部品を撮像した画像のみを正常吸着のサンプル部品画像として学習用コンピュータ23で収集するようにしても良い。
この後、ステップ204に進み、検査機14から取得した検査結果の情報に基づいて部品の種類毎に実装不良発生率を算出する。この後、ステップ205に進み、算出した実装不良発生率が所定の判定しきい値を超える部品が存在するか否かを判定し、実装不良発生率が判定しきい値を超える部品が存在しない場合には、選択した学習済みモデルを用いた画像認識の精度が確保されている(部品別学習済みモデルを作成する必要はない)と判断して、本プログラムを終了する。
これに対し、実装不良発生率が判定しきい値を超える部品が存在する場合には、当該部品については画像認識の精度が確保されていない(部品別学習済みモデルを作成する必要がある)と判断して、ステップ206に進み、当該部品について収集した正常吸着/異常吸着のサンプル部品画像を、当該部品の画像認識に使用した基準学習済みモデルの教師データとして追加して再学習することで、当該部品用の部品別学習済みモデルを作成する。この後、ステップ207に進み、作成した部品別学習済みモデルを各部品実装機12の制御装置17へ転送して本プログラムを終了する。これにより、各部品実装機12の制御装置17は、学習用コンピュータ23から転送されてきた部品別学習済みモデルを用いて画像認識できる状態となる。
以上説明した本実施例によれば、基準学習済みモデルが作成されている基準となる部品に対して所定の類似関係がある部品については、その部品の種類毎にサンプル部品画像を収集して当該部品の種類毎に当該サンプル部品画像を前記基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品の画像認識に用いる部品別学習済みモデルを作成するようにしたので、基準となる部品に対して所定の類似関係がある部品の画像認識に用いる部品別学習済みモデルを基準学習済みモデルから比較的簡単に作成することができ、学習済みモデルを作成する作業の手間と時間を減らすことができる。
しかも、本実施例では、部品の種類毎に作成した部品別学習済みモデルを当該部品の種類毎に用意された画像処理用部品形状データに含ませるようにしたので、この画像処理用部品形状データを使用可能な他の部品実装ラインの部品実装機でも、部品別学習済みモデルを用いた同様の画像認識が可能となり、生産品質の向上、安定につながる利点がある。
但し、部品別学習済みモデルを画像処理用部品形状データと関連付けずに単独で管理するようにしても良い。
更に、本実施例では、生産中に各部品実装機12の吸着ノズル31に吸着した部品を部品撮像用カメラ18で撮像して、その画像を処理して当該部品の吸着姿勢が正常吸着か異常吸着かを判別して、正常吸着と判別した撮像画像を正常吸着のサンプル部品画像として収集すると共に、異常吸着と判別した撮像画像を異常吸着のサンプル部品画像として収集するようにしたので、生産中に部品撮像用カメラ18で撮像した画像を正常吸着/異常吸着のサンプル部品画像として収集することができ、サンプル部品画像を収集する作業の手間を省くことができる。
但し、サンプル部品画像の収集方法は生産中に収集する方法のみに限定されず、例えば、生産開始前に部品実装機12の吸着ノズル31に吸着した正常吸着の部品と異常吸着の部品をそれぞれ部品撮像用カメラ18で撮像して、その撮像画像を正常吸着/異常吸着のサンプル部品画像として収集するようにしても良い。或は、サンプル部品画像を撮像する専用の撮像装置を用いて、その撮像装置で撮像した正常吸着/異常吸着のサンプル部品画像を収集するようにしても良い。専用の撮像装置を用いる場合は、生産開始前、生産中、生産終了後のいずれであっても正常吸着/異常吸着のサンプル部品画像を収集できる。
また、本実施例では、生産中に実装不良発生率が所定の判定しきい値を超える部品が発生した場合に、当該部品について収集した正常吸着/異常吸着のサンプル部品画像を、当該部品の画像認識に使用した基準学習済みモデルの教師データとして追加して再学習することで、当該部品用の部品別学習済みモデルを作成して各部品実装機12の制御装置17へ転送するようにしたので、生産中に実装不良発生率が所定の判定しきい値を超える部品が発生する毎に、当該部品の画像認識に用いる部品別学習済みモデルを作成することが可能となり、生産中に当該部品の画像認識の精度を向上させて実装不良発生率を低減させることができる。
但し、部品別学習済みモデルの作成は、生産開始前又は生産終了後に行っても良い。或は、正常吸着/異常吸着のサンプル部品画像の収集数が所定数を超えた時点で部品別学習済みモデルを作成するようにしても良い。
また、本実施例の学習済みモデルは、吸着ノズル31に吸着した部品の吸着姿勢が正常吸着か異常吸着かを判別する学習済みモデルであるが、吸着ノズル31に吸着した部品の有無を判別する学習済みモデルであっても良い。この場合、吸着ノズル31に吸着した部品有りの状態で部品撮像用カメラ18で撮像した画像を部品有りのサンプル部品画像として収集すると共に、吸着ノズル31に吸着した部品無しの状態で部品撮像用カメラ18で撮像した画像を部品無しのサンプル部品画像として収集し、当該部品の種類毎に分類した部品有り/部品無しのサンプル部品画像を、当該部品の画像認識に用いた基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品用の部品別学習済みモデルを作成するようにすれば良い。この場合も、サンプル部品画像の収集は、専用の撮像装置を用いて行っても良い。
また、検査機14が回路基板11に実装した部品の有無を判別する学習済みモデルを使用して回路基板11上の部品の有無を検査する場合がある。この場合、検査機14の制御装置20は、搬入された回路基板11上の各部品の実装状態を検査用カメラ22で撮像して、その撮像画像を処理して、学習済みモデルを使用して回路基板11上の各部品の有無を検査して、部品有りと判定した撮像画像を部品有りのサンプル部品画像として収集すると共に、部品無しと判定した撮像画像を部品無しのサンプル部品画像として収集し、当該部品の種類毎に分類した部品有り/部品無しのサンプル部品画像を、当該部品の画像認識に用いた基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品用の部品別学習済みモデルを作成するようにすれば良い。この場合も、サンプル部品画像の収集は、専用の撮像装置を用いて行っても良い。
その他、本発明は、部品実装ライン10の構成を変更したり、図4、図5の各プログラムの処理内容や処理順序を適宜変更しても良い等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。
10…部品実装ライン、11…回路基板、12…部品実装機、14…検査機、17…部品実装機の制御装置、18…部品撮像用カメラ、19…フィーダ、20…検査機の制御装置、21…生産管理用コンピュータ、22…検査用カメラ、23…学習用コンピュータ、31…吸着ノズル

Claims (9)

  1. 部品実装機の吸着ノズルに吸着した部品又は回路基板に実装した部品を撮像対象とし、この撮像対象をカメラで撮像して画像認識する際に使用する学習済みモデルを作成する部品画像認識用学習済みモデル作成システムにおいて、
    基準となる部品の画像認識に使用する基準学習済みモデルを取得するコンピュータを備え、
    前記コンピュータは、前記基準となる部品に対して所定の類似関係がある部品の種類毎にサンプル部品画像を収集して当該部品の種類毎に当該サンプル部品画像を前記基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品の画像認識に用いる部品別学習済みモデルを作成する、部品画像認識用学習済みモデル作成システム。
  2. 前記コンピュータによって前記部品の種類毎に作成した前記部品別学習済みモデルは、当該部品の種類毎に用意された画像処理用部品形状データに含まれる、請求項1に記載の部品画像認識用学習済みモデル作成システム。
  3. 前記基準となる部品に対して所定の類似関係がある部品とは、前記基準となる部品とサイズ、色、素材、製造会社、製造ロットのいずれかが違っていても部品の形状が同一又は類似している部品である、請求項1又は2に記載の部品画像認識用学習済みモデル作成システム。
  4. 前記コンピュータは、生産中に部品実装機のカメラ又は検査機のカメラで前記撮像対象を撮像した画像を前記サンプル部品画像として収集する、請求項1乃至3のいずれかに記載の部品画像認識用学習済みモデル作成システム。
  5. 前記基準学習済みモデル及び前記部品別学習済みモデルは、前記吸着ノズルに吸着した部品の吸着姿勢が正常吸着か異常吸着かを判別する学習済みモデルである、請求項1乃至4のいずれかに記載の部品画像認識用学習済みモデル作成システム。
  6. 前記基準学習済みモデル及び前記部品別学習済みモデルは、前記吸着ノズルに吸着した部品の有無を判別する学習済みモデルである、請求項1乃至4のいずれかに記載の部品画像認識用学習済みモデル作成システム。
  7. 前記基準学習済みモデル及び前記部品別学習済みモデルは、前記回路基板に実装した部品の有無を判別する学習済みモデルである、請求項1乃至4のいずれかに記載の部品画像認識用学習済みモデル作成システム。
  8. 前記コンピュータは、作成した前記部品別学習済みモデルをそれを使用する部品実装機又は検査機へ転送する、請求項1乃至7のいずれかに記載の部品画像認識用学習済みモデル作成システム。
  9. 部品実装機の吸着ノズルに吸着した部品又は回路基板に実装した部品を撮像対象とし、この撮像対象をカメラで撮像して画像認識する際に使用する学習済みモデルを作成する部品画像認識用学習済みモデル作成方法において、
    基準となる部品の画像認識に使用する基準学習済みモデルを取得する工程と、
    前記基準となる部品に対して所定の類似関係がある部品の種類毎にサンプル部品画像を収集する工程と、
    前記部品の種類毎に取得した前記サンプル部品画像を前記基準学習済みモデルの教師データとして追加して再学習することで当該部品の種類毎に当該部品の画像認識に用いる部品別学習済みモデルを作成する工程と
    を含む、部品画像認識用学習済みモデル作成方法。
JP2019570235A 2018-02-09 2018-02-09 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法 Active JP6838175B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/004555 WO2019155593A1 (ja) 2018-02-09 2018-02-09 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法

Publications (2)

Publication Number Publication Date
JPWO2019155593A1 JPWO2019155593A1 (ja) 2020-10-22
JP6838175B2 true JP6838175B2 (ja) 2021-03-03

Family

ID=67549304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019570235A Active JP6838175B2 (ja) 2018-02-09 2018-02-09 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法

Country Status (5)

Country Link
US (1) US11386546B2 (ja)
EP (1) EP3751976B1 (ja)
JP (1) JP6838175B2 (ja)
CN (1) CN111656883B (ja)
WO (1) WO2019155593A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11688067B2 (en) * 2019-07-12 2023-06-27 Bruker Nano, Inc. Methods and systems for detecting defects in devices using X-rays
JP2021135622A (ja) * 2020-02-25 2021-09-13 日本サポートシステム株式会社 情報処理装置、検査システム及びプログラム
JP7482662B2 (ja) * 2020-03-25 2024-05-14 東京エレクトロン株式会社 異常検出装置及び異常検出方法
US20230315425A1 (en) * 2020-07-03 2023-10-05 Sony Group Corporation Information processing apparatus, information processing method, information processing system, and program
JP2022141065A (ja) * 2021-03-15 2022-09-29 オムロン株式会社 検査システム、検査管理装置、検査プログラム作成方法、及びプログラム
WO2023008446A1 (ja) 2021-07-26 2023-02-02 京セラ株式会社 学習済みモデル生成方法、ユーザ環境推定方法、学習済みモデル生成装置、ユーザ環境推定装置、及び学習済みモデル生成システム
WO2023037410A1 (ja) * 2021-09-07 2023-03-16 ヤマハ発動機株式会社 部品実装システム
WO2023195173A1 (ja) * 2022-04-08 2023-10-12 株式会社Fuji 部品実装システム及び画像分類方法
WO2024079882A1 (ja) * 2022-10-14 2024-04-18 株式会社Fuji 生産支援装置
WO2024079883A1 (ja) * 2022-10-14 2024-04-18 株式会社Fuji 生産支援装置
WO2024121970A1 (ja) * 2022-12-07 2024-06-13 株式会社Fuji 良否判定装置および良否判定方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002088688A1 (en) * 2001-05-02 2002-11-07 Teradyne, Inc. Inspection system using dynamically obtained values and related techniques
US6941288B2 (en) 2002-04-08 2005-09-06 Shih-Jong J. Lee Online learning method in a decision system
JP4514230B2 (ja) 2006-11-22 2010-07-28 富士機械製造株式会社 部品吸着姿勢判別方法及び部品吸着姿勢判別システム
JP4998148B2 (ja) 2007-08-28 2012-08-15 パナソニック株式会社 部品実装装置
JP5182121B2 (ja) * 2009-01-27 2013-04-10 オムロン株式会社 基板外観検査用のライブラリデータの作成方法および検査データ作成方法
JP5948797B2 (ja) 2011-11-07 2016-07-06 オムロン株式会社 検査結果の目視確認作業の支援用のシステムおよび装置ならびに方法
JP6075910B2 (ja) * 2012-07-25 2017-02-08 Juki株式会社 情報管理システムおよび情報提供方法
JP6140438B2 (ja) * 2012-12-20 2017-05-31 富士機械製造株式会社 ノズル検査装置及びノズル検査方法
US11357149B2 (en) * 2015-05-21 2022-06-07 Fuji Corporation Component orientation determination data creation device and component orientation determination data creation method
US10380457B2 (en) * 2015-11-09 2019-08-13 Fuji Corporation Lead tip position image recognition method and lead tip position image recognition system
KR101893831B1 (ko) * 2016-10-20 2018-08-31 주식회사 고영테크놀러지 기판 검사장치 및 이를 이용한 기판 검사방법
JP6723373B2 (ja) * 2016-11-14 2020-07-15 株式会社Fuji 保存画像の再分類システム及び再分類方法
JP6983524B2 (ja) * 2017-03-24 2021-12-17 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US11144786B2 (en) * 2017-11-02 2021-10-12 Canon Kabushiki Kaisha Information processing apparatus, method for controlling information processing apparatus, and storage medium
US11019761B2 (en) * 2018-03-26 2021-05-25 Panasonic Intellectual Property Management Co., Ltd. Mounting head and component mounter
USPP32082P3 (en) * 2018-07-31 2020-08-18 Royal Super Fruits B.V. Aristotelia plant named ‘VB1’

Also Published As

Publication number Publication date
CN111656883A (zh) 2020-09-11
EP3751976B1 (en) 2024-06-26
WO2019155593A1 (ja) 2019-08-15
CN111656883B (zh) 2021-07-30
US20210035284A1 (en) 2021-02-04
EP3751976A1 (en) 2020-12-16
JPWO2019155593A1 (ja) 2020-10-22
US11386546B2 (en) 2022-07-12
EP3751976A4 (en) 2021-02-24

Similar Documents

Publication Publication Date Title
JP6838175B2 (ja) 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法
CN107734955B (zh) 表面安装线的检查装置、品质管理系统以及记录介质
JP6723373B2 (ja) 保存画像の再分類システム及び再分類方法
US6748104B1 (en) Methods and apparatus for machine vision inspection using single and multiple templates or patterns
US10366484B2 (en) Inspection method, inspection apparatus, processing apparatus, and recording medium for detecting defects of a work
US20060075631A1 (en) Pick and place machine with improved component pick up inspection
US20220284699A1 (en) System and method of object detection using ai deep learning models
KR20210038211A (ko) 이미지 마스킹을 이용한 불량 검사 방법
KR102228957B1 (ko) 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체
CN111223081A (zh) 基于深度学习的零件开孔识别与检测方法及系统
CN117409005B (zh) 基于图像的收板机用不良品检测系统及方法
JP5615076B2 (ja) 部品有無判定装置及び部品有無判定方法
CN110516375B (zh) 一种异常板卡的检测方法、装置、电子设备及存储介质
US7551765B2 (en) Electronic component detection system
JP2020197983A (ja) 対象物の計測方法、計測装置、プログラム、およびコンピュータ読取り可能な記録媒体
CN111460198A (zh) 一种图片时间戳的审核方法及装置
KR20190119801A (ko) 차량 헤드라이트 얼라인먼트 보정 및 분류 방법 및 이를 이용한 차량 헤드라이트 불량검사 방법
TWI549097B (zh) 電子元件外觀影像檢測方法及其電腦可讀媒體
CN109624502B (zh) 一种高效低耗损印刷制品生产系统及方法
JP5778685B2 (ja) ボールグリッドアレイデバイスの位置合わせ及び検査のためのシステム及び方法
Sun et al. Further development of adaptable automated visual inspection—part I: concept and scheme
CN117078620B (zh) Pcb焊点缺陷检测方法、装置、电子设备和存储介质
WO2022181304A1 (ja) 検査システムおよび検査プログラム
Zhang Real-time Automatic Visual Inspection System for PCB Missing Footprint Detection
KR20240039039A (ko) 부품 실장 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210210

R150 Certificate of patent or registration of utility model

Ref document number: 6838175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250