JP7276592B2 - 基板管理システム - Google Patents

基板管理システム Download PDF

Info

Publication number
JP7276592B2
JP7276592B2 JP2022502723A JP2022502723A JP7276592B2 JP 7276592 B2 JP7276592 B2 JP 7276592B2 JP 2022502723 A JP2022502723 A JP 2022502723A JP 2022502723 A JP2022502723 A JP 2022502723A JP 7276592 B2 JP7276592 B2 JP 7276592B2
Authority
JP
Japan
Prior art keywords
identification information
individual identification
board
substrate
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022502723A
Other languages
English (en)
Other versions
JPWO2021171493A5 (ja
JPWO2021171493A1 (ja
Inventor
徹 高橋
賢吾 牧野
塁 石山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021171493A1 publication Critical patent/JPWO2021171493A1/ja
Publication of JPWO2021171493A5 publication Critical patent/JPWO2021171493A5/ja
Application granted granted Critical
Publication of JP7276592B2 publication Critical patent/JP7276592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/084Product tracking, e.g. of substrates during the manufacturing process; Component traceability
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/083Quality monitoring using results from monitoring devices, e.g. feedback loops
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Analysis (AREA)

Description

本発明は、基板管理システム、基板管理方法、および記録媒体に関する。
プリント配線基板などの回路基板を製造・販売する場合において、製造工程管理、品質検査、出荷検査、販売管理などの目的で、製品となる回路基板に対する追跡可能性(トレーサビリティ)が求められている。そのため、品名や品番、製造年月日などの個体識別情報を回路基板に設定し、設定した個体識別情報に基づいて回路基板を追跡することが行われている。
個体識別情報の設定方法には、個体識別情報を印字したバーコードやQRコード(登録商標)などのラベルや、個体識別情報を格納したRFID(Radio Frequency Identifier)などを回路基板に貼り付ける方法がある。また、個体識別情報をレーザーマーカーやインクジェットなどによって回路基板に直接印刷する方法もある。これらの方法は、個々の回路基板を識別するために、回路基板を識別する個体識別情報をその回路基板に付与する方法である。
しかし、個体識別情報を回路基板に付与する方法によって回路基板のトレーサビリティを得るためには、基板に貼り付けるラベルや、基板に印刷する印刷設備などが必要となり、製造コストが増大する。また、個体識別情報を回路基板に付与する方法では、ラベルを基板に貼り付ける作業や、基板に個体識別情報を印刷する作業が必要にある。
そこで、回路基板に実装された部品の部品実装状態に基づいた特徴量を回路基板の個体識別情報に利用する技術が提案されている。
例えば、特許文献1では、回路基板に実装された部品群のうち肉眼で容易に確認することができる程度に外観が異なっている複数の部品の外観に基づいて、回路基板の個体識別情報を作成している。
また、特許文献2では、回路基板に実装された部品のSMT(Surface Mount Technology)工程などの部品実装工程で発生する実装部品の微小な位置ずれに基づいて、回路基板の個体識別情報を作成している。
特開2009-117610号公報 特開2016-178157号公報
しかしながら、大量生産される回路基板上の実装部品のうち他の回路基板の同じ実装部品と比較して肉眼で容易に違いを確認することができる程度に外観が異なる実装部品の数はそれほど多くはない。そのため、個体識別情報の生成に利用できる部品数が少なく、異なる基板を識別できる度合いである識別能力が低下する。一方、実装部品を実装する工程で発生する微小な位置ずれは、微小であるが故に回路基板上の多くの実装部品で発生し得る。そのため、基板上の多くの実装部品それぞれから位置ずれに依存する特徴量を抽出することにより、異なる基板を識別できる度合いである識別能力を高めることができる。しかしながら、本発明者の知見によれば、微小な位置ずれに依存する特徴量を抽出する部品の数をむやみに増やしても、個体識別情報のサイズが無駄に大きくなるだけで、異なる基板を識別できる度合いである識別能力を高めるのは困難であった。
本発明の目的は、上述した課題を解決する基板管理システムを提供することにある。
本発明の一形態に係る基板管理システムは、
基板を撮影した基板画像中の、部品実装位置のバラツキ度合いに基づいて決定された複数の部品それぞれについて、位置ずれに依存する特徴量を抽出する抽出手段と、
前記抽出された特徴量から前記基板の識別に用いられる個体識別情報を生成する生成手段と、
を備えるように構成されている。
また本発明の他の形態に係る基板管理方法は、
基板を撮影した基板画像中の複数の部品のうち、部品実装位置のバラツキ度合いに基づいて事前に決定された複数の特定部品それぞれについて、位置ずれに依存する特徴量を抽出し、
前記抽出された特徴量から前記基板の識別に用いられる個体識別情報を生成する、
ように構成されている。
また本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
基板を撮影した基板画像中の複数の部品のうち、部品実装位置のバラツキ度合いに基づいて事前に決定された複数の特定部品それぞれについて、位置ずれに依存する特徴量を抽出する処理と、
前記抽出された特徴量から前記基板の識別に用いられる個体識別情報を生成する処理と、
を行わせるためのプログラムを記録するように構成されている。
本発明は上述したような構成を有することにより、微小な位置ずれに依存する特徴量を抽出する部品の数を無駄に増加させずに、異なる基板を識別できる度合いである識別能力を高めることができる。
本発明の第1の実施形態に係る基板管理装置のブロック図である。 本発明の第1の実施形態に係る基板管理装置の前処理動作と登録動作の一例を示すフローチャートである。 本発明の第1の実施形態に係る基板管理装置の照合動作の一例を示すフローチャートである。 本発明の第1の実施形態における登録対象基板を正面から撮影した画像の例を示す模式図である。 本発明の第1の実施形態に係る基板管理装置における登録画像DBのフォーマット例を示す図である。 本発明の第1の実施形態に係る基板管理装置における部品決定部の動作例を示すフローチャートである。 本発明の第1の実施形態における部品の位置ずれを説明する模式図である。 本発明の第1の実施形態における部品の位置ずれのバラツキを算出する方法を説明する模式図である。 本発明の第1の実施形態に係る基板管理装置における部品情報のフォーマット例を示す図である。 本発明の第1の実施形態に係る基板管理装置における登録部の動作の詳細を示すフローチャートである。 本発明の第1の実施形態に係る基板管理装置における個体識別情報DBのフォーマットの例を示す図である。 本発明の第1の実施形態に係る基板管理装置における照合部の動作の詳細を示すフローチャートである。 本発明の第2の実施形態に係る基板管理装置のブロック図である。
回路基板に実装された部品のSMT工程では、抵抗やコンデンサあるいはIC(Integrated Circuit)などの部品を基板上のはんだペーストを印刷した箇所に搭載した後に熱処理を行うことによって部品を基板に接合する。その際、基板に印刷されたはんだペーストに対して若干の位置ずれが発生して搭載された部品であっても、リフロー時のはんだ溶融の表面張力で自動的に正しい搭載位置に補正される現象が発生する。これをセルフアライメント機能と呼ぶ。そのため、部品接合の位置精度は部品搭載時の精度よりは、はんだ溶融時の表面張力によるセルフアライメント機能で決定される。但し、セルフアライメント機能は、はんだ表面張力と部品自重の相対関係にあるため、比較的軽量の部品で有効となる。そのようなことから、リフロー方式によって基板にはんだ付けされた部品に生じる位置ずれのバラツキの程度は、全部品で同一でなく、部品の種類によって相違する傾向がある。即ち、複数個の部品がリフロー方式によってはんだ付けされた基板上には、位置ずれのバラツキが小さな部品群がある一方、位置ずれのバラツキが大きな部品群が存在する。位置ずれのバラツキが小さな部品から抽出した位置ずれに依存する特徴量は、異なる基板間で異なる特徴量になる確率が低い。一方、位置ずれのバラツキが大きな部品から抽出した位置ずれに依存する特徴量は、異なる基板間で異なる特徴量になる確率が高い。本発明は係る観点に着目して提案されたものであり、部品実装位置のバラツキ度合いに基づいて位置ずれに依存する特徴量を抽出する部品を決定することによって、位置ずれに依存する特徴量を抽出する部品の数を無駄に増加させずに、即ち、個体識別情報のサイズを無駄に大きくすることなく、異なる基板を識別できる度合いである識別能力を高めるようにしている。以下、本発明の実施の形態について、図面を参照して詳細に説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態に係る基板管理装置100のブロック図である。図1に示す基板管理装置100は、製造工程管理、品質検査、出荷検査、販売管理などのために、複数の部品が搭載された回路基板の個体を管理する情報処理装置である。
図1を参照すると、基板管理装置100は、カメラ110と、通信I/F部120と、操作入力部130と、画面表示部140と、記憶部150と、演算処理部160とから構成されている。
カメラ110は、複数の部品が搭載された回路基板を撮影する撮影装置である。カメラ110は、例えば、数百万画素程度の画素容量を有するCCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary MOS)イメージセンサを備えた可視光かつカラーカメラであってよい。
通信I/F部120は、データ通信回路から構成され、無線または有線によって外部装置との間でデータ通信を行うように構成されている。操作入力部130は、キーボードやマウスなどの装置から構成され、オペレータの操作を検出して演算処理部160に出力するように構成されている。画面表示部140は、LCD(Liquid Crystal Display)などの装置から構成され、演算処理部160からの指示に応じて、各種情報を画面表示するように構成されている。
記憶部150は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部160における各種処理に必要な処理情報およびプログラム151を記憶するように構成されている。プログラム151は、演算処理部160に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信I/F部120などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部150に保存される。記憶部150に記憶される主な処理情報には、登録画像DB(データベース)152、部品情報DB153、および個体識別情報DB154がある。
登録画像DB152は、部品実装後の登録対象の基板をカメラ110によって撮影した画像(登録画像)を保存するデータベースである。
部品情報DB153は、基板の識別に用いられる個体識別情報を生成するために位置ずれに依存する特徴量を抽出する部品の情報を保存するデータベースである。
個体識別情報DB154は、登録対象基板に係る個体識別情報を保存するデータベースである。
演算処理部160は、MPUなどのプロセッサとその周辺回路を有し、記憶部150からプログラム151を読み込んで実行することにより、上記ハードウェアとプログラム151とを協働させて各種処理部を実現するように構成されている。演算処理部160で実現される主な処理部は、前処理部161、登録部162、および照合部163である。
前処理部161は、基板に実装された部品群の中から基板の個体識別情報を生成するために使用する複数の部品を決定するように構成されている。前処理部161は、登録画像取得部1611と部品決定部1612とを有する。
登録画像取得部1611は、部品実装後の登録対象の基板を撮影した画像(登録画像)をカメラ110から取得し、登録画像DB152に登録するように構成されている。
部品決定部1612は、登録画像DB152に保存された複数の登録画像それぞれから、基板に実装されている複数の部品それぞれの位置ずれ量を検出するように構成されている。また、部品決定部1612は、登録画像毎かつ部品毎に検出した位置ずれ検出結果を統計的に処理して部品毎の位置ずれのバラツキを算出するように構成されている。また、部品決定部1612は、上記算出した部品の位置ずれのバラツキに基づいて、個体識別情報の生成に使用する複数の部品を決定するように構成されている。また、部品決定部1612は、決定した部品の情報を部品情報DB153に登録するように構成されている。
登録部162は、登録画像DB152に保存された複数の登録画像から、それぞれの個体識別情報を生成し、個体識別情報DB154に登録するように構成されている。登録部162は、特徴量抽出部1621と個体識別情報生成部1622とを有する。
特徴量抽出部1621は、登録画像DB152に保存された登録対象基板の画像毎に、部品情報DB153に保存された部品の情報で特定される部品それぞれについて、位置ずれに依存する特徴量を抽出するように構成されている。
個体識別情報生成部1622は、登録画像DB152に保存された登録対象基板の画像毎に、特徴量抽出部1621によって抽出された特徴量から基板の識別に用いられる個体識別情報を生成し、個体識別情報DB154に保存するように構成されている。
照合部163は、個体識別情報に基づいて基板の照合を行うように構成されている。照合部163は、照合画像取得部1631と特徴量抽出部1632と個体識別情報生成部1633と判定部1634とを有する。
照合画像取得部1631は、照合対象の基板を撮影した画像(照合画像)をカメラ110から取得するように構成されている。
特徴量抽出部1632は、照合画像取得部1631によって取得された照合対象基板の画像から、部品情報DB153に保存された部品の情報で特定される部品それぞれについて、位置ずれに依存する特徴量を抽出するように構成されている。
個体識別情報生成部1633は、特徴量抽出部1632によって抽出された照合対象基板に係る特徴量から照合対象の基板の識別に用いられる個体識別情報を生成するように構成されている。
判定部1634は、個体識別情報生成部1633によって生成された照合対象基板に係る個体識別情報と個体識別情報DB154に保存されている登録対象基板に係る個体識別情報とを比較することにより、照合対象の基板が何れの登録対象の基板と同一であるか否かを判定するように構成されている。また、判定部1634は、判定結果を画面表示部140に表示し、または/および、通信I/F部120を通じて外部の装置に出力するように構成されている。
続いて、基板管理装置100の動作を説明する。基板管理装置100の動作は、前処理動作、登録動作、照合動作の3つに大別される。図2は、基板管理装置100の前処理動作と登録動作の一例を示すフローチャートである。また、図3は、基板管理装置100の照合動作の一例を示すフローチャートである。
先ず、基板管理装置100の前処理動作を説明する。前処理動作では、図2に示されるように、登録画像取得部1611は、部品実装後の登録対象の複数の基板を撮影した複数の画像(登録画像)をカメラ110から取得し、登録画像DB152に登録する(ステップS1)。次に、部品決定部1612は、登録画像DB152から複数の登録画像を読み出し、その読み出した複数の登録画像それぞれから、基板に実装されている複数の部品それぞれの位置ずれを検出し、その検出した登録画像毎かつ部品毎の位置ずれのバラツキに基づいて、個体識別情報の生成に使用する複数の部品を決定し、部品情報DB153に登録する(ステップS2)。以上で前処理動作が終了する。
基板管理装置100は、前処理動作を終了すると、登録動作を行う。登録動作では、図2に示されるように、先ず、特徴量抽出部1621は、登録画像DB152に保存された登録対象基板の画像毎に、部品情報DB153に保存された部品の情報で特定される部品それぞれについて、位置ずれに依存する特徴量を抽出する(ステップS3)。次に、個体識別情報生成部1622は、登録画像DB152に保存された登録対象基板の画像毎に、特徴量抽出部1621によって抽出された特徴量から基板の識別に用いられる個体識別情報を生成し、個体識別情報DB154に保存する(ステップS4)。以上で登録動作が終了する。
次に、照合動作を説明する。照合動作では、図3に示されるように、先ず、照合画像取得部1631は、照合対象の基板を撮影した画像(照合画像)をカメラ110から取得する(ステップS5)。次に、特徴量抽出部1632は、照合画像取得部1631によって取得された照合対象基板の画像から、部品情報DB153に保存された部品の情報で特定される部品それぞれについて、位置ずれに依存する特徴量を抽出する(ステップS6)。次に、個体識別情報生成部1633は、特徴量抽出部1632によって抽出された照合対象基板に係る特徴量から照合対象の基板の識別に用いられる個体識別情報を生成する(ステップS7)。次に、判定部1634は、個体識別情報生成部1633によって生成された照合対象基板に係る個体識別情報と個体識別情報DB154に保存されている登録対象基板に係る個体識別情報とを比較することにより、照合対象の基板が何れの登録対象の基板と同一であるか否かを判定し、判定結果を出力する(ステップS8)。
続いて、前処理部161、登録部162、および照合部163をより詳細に説明する。
先ず、前処理部161について詳細に説明する。
登録画像取得部1611は、回路基板製造工程で製造された部品実装後の基板の外観をカメラ110によって撮影する。一般に回路基板製造の最終検査工程では、基板の外観検査のために基板の外観を撮影することが行われている。登録画像取得部1611は、そのような外観検査のために撮影された基板の画像を登録画像として取得する。これによって、個体管理と外観検査とで別々に同じ基板を複数回にわたって撮影する手間とコストを削減することができる。但し、個体管理のためだけに基板を撮影するようにしてもよいことは勿論のことである。
図4は、登録画像取得部1611が取得した登録対象基板を正面から撮影した画像の例を示す模式図である。外観検査では、このような画像に対して被検査部位の特徴を抽出するための2値化、抽出された特徴部分の良否判定などを実施し、検査結果を導出することになる。登録画像取得部1611は、撮影された基板の画像に対して、関連する情報を付加して、登録画像DB152に保存する。
図5は、登録画像DB152のフォーマット例を示す。この例の登録画像DB152は、複数のエントリから構成され、1つのエントリは、基板番号、登録画像、検査結果、およびテンプレート画像フラグの各項目を有する。基板番号の項目には、登録対象となる基板に割り振られた通し番号などの基板番号が設定される。登録画像の項目には、登録対象となる基板を撮影した画像を記録するファイル名が設定される。検査結果の項目には、登録対象となる基板の外観検査の検査結果を記録するファイル名が設定される。テンプレート画像フラグの項目には、当該登録画像が位置ずれに依存する特徴量を抽出する際のテンプレート画像に設定されていればon値、そうでなければoff値が設定される。
次に、部品決定部1612について詳細に説明する。
図6は、部品決定部1612の動作例を示すフローチャートである。図6を参照すると、部品決定部1612は、先ず、登録画像DB152に保存されている複数の登録画像のうちの1つをテンプレート画像に設定する(ステップS11)。何れの登録画像をテンプレート画像に設定するかは任意であるが、例えば、部品決定部1612は、外観検査の検査結果で正常であると判定されている登録画像の中の任意の1枚をテンプレート画像に設定してよい。図5に示す登録画像DB152では、基板番号002のエントリのテンプレート画像フラグの項目にon値が設定され、それ以外のエントリのテンプレート画像フラグの項目にoff値が設定されている。即ち、部品決定部1612は、基板番号002の登録画像をテンプレート画像に設定している。
次に部品決定部1612は、登録画像DB152から複数の登録画像を読み出し、その読み出した登録画像に対して、テンプレート画像との間の部品毎の位置ずれを算出する(ステップS12)。ここで、登録画像DB152から読み出す登録画像は、登録画像DB152に保存されている全ての登録画像であってもよいし、例えばランダムにサンプリングした所定枚数以上の登録画像であってもよい。以下、読み出した登録画像の枚数をS枚とする。登録画像とテンプレート画像との間の部品毎の位置ずれを算出する方法は任意である。例えば、部品決定部1612は、テンプレート画像と登録画像とのオプティカルフローを求めることにより、登録画像中の部品毎に、テンプレート画像中の対応する部品との位置ずれを検出してよい。なお、オプティカルフローを求める前に、例えば画像中の基板のエッジなどを基準にしてテンプレート画像と登録画像との位置合わせを行うようにしてよい。
図7は、部品の位置ずれを説明する模式図である。画像中の基板のエッジが一致するようにテンプレート画像と登録画像とを重ね合わせた場合、位置ずれの無い部品では、部品Aに示すように、実線で示す登録画像中の部品Aの輪郭と破線で示すテンプレート画像中の部品Aの輪郭とが一致する。一方、位置ずれの有る部品では、部品B、Cに示すように、実線で示す登録画像中の部品B、Cの輪郭と破線で示すテンプレート画像中の部品B、Cの輪郭とにずれが生じる。位置ずれを算出する特徴点を、例えば部品の特定のエッジ(例えば左上頂点)とする場合、テンプレート画像中の部品Bの特定エッジを始点とし、登録画像中の部品Bの特定エッジを終点とするベクトルVBが、部品Bの位置ずれを表す。同様にベクトルVA、VCは、部品A、Cの位置ずれを表す。なお、ベクトルVAはゼロベクトルである。
次に部品決定部1612は、部品毎の位置ずれのバラツキを算出する(ステップS13)。部品毎の位置ずれのバラツキを算出する方法は任意である。例えば、部品決定部1612は、以下に記載するような方法によって、部品毎の位置ずれのバラツキを算出してよい。
図8は、部品の位置ずれのバラツキを算出する方法を説明する模式図である。図8において、ベクトルVBは或る登録画像中の部品Bの位置ずれを表すベクトルである。例えば、テンプレート画像中の基板の底辺に沿う線分をX軸、X軸に垂直な線分をY軸としたXY座標を設定すると、ベクトルVBは、長さLとX軸からの角度θとに分解できる。そこで、部品決定部1612は、先ず、S枚の登録画像中の部品Bの位置ずれベクトルVBから、θの平均値mθと、Lの平均値mLとを算出し、それに基づいてθの標準偏差Stdθと、Lの標準偏差StdLとを算出する。次に、部品決定部1612は、標準偏差の二乗和の平方根(Stdθ2+StdL21/2を算出し、その算出結果を部品Bの位置ずれのバラツキとする。部品決定部1612は、部品B以外の他の部品についても同様の方法によって位置ずれのバラツキを算出する。
次に部品決定部1612は、バラツキの大きいものから順にn個の部品を特徴量抽出対象部品に決定する(ステップS14)。ここで、nは予め定められた2以上の正の整数である。
次に部品決定部1612は、n個の特徴量抽出対象部品毎に、特徴量を量子化するための閾値を決定する(ステップS15)。例えば、位置ずれベクトルの長さを2値に量子化する場合、部品決定部1612は、n個の特徴量抽出対象部品毎に、当該部品の位置ずれベクトルの全ての長さ(S個の長さ)を昇順にソートし、昇順にソートされた順列の下位から50%の位置にある値を、当該部品の位置ずれベクトルの長さを2値に量子化するための1つの閾値THに決定する。また、位置ずれベクトルの長さを3値に量子化する場合、部品決定部1612は、上記順列の下位から33%、66%の位置にある値それぞれを、当該部品の位置ずれベクトルの長さを3値に量子化するための2つの閾値THL、THHに決定する。部品決定部1612は、位置ずれベクトルの方向を量子化するための閾値を上記と同様に決定する。
次に部品決定部1612は、バラツキの小さいものから順にm個の部品を位置合わせ用部品に決定する(ステップS16)。ここで、mは予め定められた2以上の正の整数である。
次に部品決定部1612は、上記で決定した特徴量抽出対象部品、閾値、および位置合わせ用部品に係る情報を、図9に示されるように、部品情報DB153に保存する。
続いて、図10を参照して、登録部162について詳細に説明する。図10は、登録部162の動作の詳細を示すフローチャートである。
先ず、登録部162の特徴量抽出部1621は、登録画像DB152に保存されている登録画像群のうちの1つの登録画像に注目する(ステップS21)。次に特徴量抽出部121は、登録画像DB152に設定されたテンプレート画像と注目中の登録画像の位置合わせを行う(ステップS22)。このとき、特徴量抽出部121は、部品情報DB153からm個の位置合わせ用部品の位置情報を読み出し、これらによって特定されるテンプレート画像中のm個の部品と注目中の登録画像中のm個の部品とがマッチするように両画像の位置合わせを行う。
次に、特徴量抽出部1621は、部品情報DB153からn個の特徴量抽出対象部品の位置情報を読み出し、これらによって特定される注目中の登録画像におけるn個の部品の所定の特徴点の位置ずれベクトルv1,v2,…,vnを算出する(ステップS23)。
次に、特徴量抽出部1621は、部品情報DB153からn個の特徴量抽出対象部品の閾値TH1,TH2,…,THnを読み出し、これらの閾値を使用して注目中の登録画像から算出したn個の部品の位置ずれベクトルv1,v2,…,vnの長さvl1,vl2,…,vlnおよび方向vθ1,vθ2,…,vθnのそれぞれをQl1,Ql2,…,QlnおよびQθ1,Qθ2,…,Qθnに量子化する(ステップS24)。
例えば、特徴量抽出部1621は、2値の量子化では、例えば下記の式1に従って、位置ずれベクトルvi(iは1からnの何れか)の長さvliを量子化値Qliに量子化する。但し、THliはベクトルviの長さvliを2値に量子化するための閾値である。
Qli=+1 (vli<THli)
=0 (vli≧THli) …(1)
また、特徴量抽出部1621は、2値の量子化では、例えば下記の式2に従って、位置ずれベクトルviの方向vθiを量子化値Qθiに量子化する。但し、THθiはベクトルviの方向vθiを2値に量子化するための閾値である。
Qθi=+1 (0≦vθi<THθi)
=0 (THθi≦vθi<360°) …(2)
また、特徴量抽出部1621は、3値の量子化では、例えば下記の式3に従って、位置ずれベクトルviの長さvliを量子化値Qliに量子化する。但し、THlHi、THlLi(THlHi>THlLi)はベクトルviの長さvliを3値に量子化する閾値である。
Qli=+1 (vli<THlLi)
=0 (THlLi≦vli<THlHi)
=-1 (vli≧THlHi) …(3)
また、特徴量抽出部1621は、3値の量子化では、例えば下記の式4に従って、位置ずれベクトルviの方向vθiを量子化値Qθiに量子化する。但し、THθHi、THθLi(THθHi>THθLi)はベクトルviの方向vθiを3値に量子化するための閾値である。
Qθi=+1 (0≦vθi<THθLi)
=0 (THθLi≦vθi<THθHi)
=-1 (THθHi≦vθi<360°) …(4)
次に、個体識別情報生成部1622は、特徴量抽出対象部品毎の量子化特徴量を組み合わせて、注目中の登録画像の個体識別情報を生成する(ステップS25)。例えば、個体識別情報生成部1622は、部品情報DB153に保存されている特徴量抽出対象部品の情報のエントリ順に、量子化特徴量を連結することによって、個体識別情報を生成してもよい。1つの特徴量抽出対象部品の量子化特徴量のビット数をpとすると、個体識別情報のサイズは、p×nビットになる。次に、個体識別情報生成部1622は、注目中の登録画像の個体識別情報を個体識別情報DB154に保存する(ステップS26)。
登録部162は、注目中の登録画像の個体識別情報を個体識別情報DB154に保存すると、登録画像DB152に保存されている残りの1つの登録画像に注目を移し(ステップS27)、ステップS22に戻って、上述した処理と同様の処理を繰り返す。登録部162は、登録画像DB152に保存されている全ての登録画像に注目し終えると(ステップS28でYES)、図10の処理を終了する。
図11は、個体識別情報DB154のフォーマットの例を示す。この例の個体識別情報DB154は、登録画像に1対1に対応する複数のエントリから構成され、各エントリは、個体識別情報、および基板番号の各項目を有する。個体識別情報の項目には、登録画像から生成された個体識別情報が設定される。基板番号の項目には、登録画像に対して登録画像DB152に設定されていた基板番号が設定される。
続いて、図12を参照して、照合部163について詳細に説明する。図12は、照合部163の動作の詳細を示すフローチャートである。
先ず、照合部163の照合画像取得部1631は、照合対象の基板を撮影した画像(照合画像)をカメラ110から取得する(ステップS31)。次に、特徴量抽出部1632および個体識別情報生成部1633は、登録部162における特徴量抽出部1621および個体識別情報生成部1622と同様の処理を照合画像に対して実施することにより、照合画像から個体識別情報を生成する(ステップS32)。
次に判定部1634は、個体識別情報DB154に保存されている登録画像の個体識別情報毎に、照合画像の個体識別情報との間の類似度を算出する(ステップS33)。例えば、個体識別情報が上述したp×nビットで表現される場合、登録画像の個体識別情報を表すp×nビットと、照合画像の個体識別情報を表すp×nビットとの間のハミング距離を類似度として算出してよい。このとき、類似度の値が0に近いほど、登録画像の個体識別情報と照合画像の個体識別情報とが類似する程度が高いことを表す。次に判定部1634は、上記算出した複数の類似度のうち最良の類似度が閾値より大きいか否かを判定する(ステップS34)。前述したハミング距離を類似度とする場合、最良の類似度を示すハミング距離が閾値より小さいか否かを判定することになる。次に判定部1634は、最良の類似度が閾値より大きければ、照合画像に係る回路基板は最良の類似度が算出された個体識別情報を有する登録画像に係る回路基板と同一であると判定する(ステップS35)。一方、判定部1634は、最良の類似度が閾値より小さければ、照合画像に係る回路基板と同一の回路基板は登録されていないと判定する(ステップS36)。次に判定部1634は、判定結果を出力する(ステップS37)。このとき、判定部1634は、照合画像に係る回路基板と同一と判定された回路基板の基板番号、および検査結果を登録画像DB152から読み出して、判定結果と一緒に出力するようにしてもよい。
このように本実施形態によれば、微小な位置ずれに依存する特徴量を抽出する部品の数を無駄に増加させずに、異なる基板を識別できる度合いである識別能力を高めることができる。その理由は、基板に実装された部品群のうち位置ずれのバラツキの大きい上位n個の部品に限定して位置ずれに依存する特徴量を抽出するためである。
続いて、本実施形態の変形例について説明する。
上記説明では、部品決定部1612は、複数の基板を撮影した複数の登録画像それぞれから、登録画像中の複数の部品それぞれの位置ずれを検出した。しかし、部品決定部1612は、3次元形状計測装置を使って複数の基板上の個々の部品の位置ずれを計測してもよい。
上記説明では、部品決定部1612は、基板上の部品毎の位置ずれのバラツキに基づいて、特徴量抽出対象部品を決定した。しかし、部品決定部1612は、基板上の部品群のうちリフロー方式によって基板にはんだ付けされた複数の部品について、セルフアライメント効果が期待できる程度を表すスコアを算出し、そのスコアに基づいて、特徴量抽出対象部品を決定してもよい。例えば、前述したようにセルフアライメント機能は、はんだ表面張力と部品自重の相対関係にあるため、軽い部品で有効となる。そのため、基板上の部品群のうち軽い部品は位置ずれのバラツキは小さいと考えられる。一方、重い部品はセルフアライメント機能が充分に機能しないため、位置ずれのバラツキは大きいと考えられる。従って、部品決定部1612は、基板上の部品毎の重量に基づいて、重量が軽いほど高くなるスコアを算出し、スコアの下位n個の部品を特徴量抽出対象部品に決定するようにしてもよい。或いは、基板を正面から撮影した部品の表面積は、部品の重量が軽い程に小さくなる傾向があるため、部品の表面積が小さいほど高くなるスコアを算出し、スコアの下位n個の部品を特徴量抽出対象部品に決定するようにしてもよい。
上記説明では、特徴量抽出部1621は、テンプレート画像と登録画像の位置合わせを、部品情報DB153に保存された位置合わせ用の部品を用いて行った。しかし、特徴量抽出部1621は、テンプレート画像と登録画像の位置合わせを、例えば基板のエッジを基準に行ってもよい。
上記説明では、特徴量抽出部1621は、登録画像中の部品の特徴点とテンプレート画像中の部品の特徴点との位置ずれベクトルを、登録画像中の当該部品の位置ずれに依存する特徴量として算出した。しかし、特徴量抽出部1621は、特許文献2に記載される方法と同様に、登録画像中の基板画像から任意のエッジを抽出し、抽出されたエッジを基準として特徴量抽出対象部品の位置に関する特徴量を、部品の位置ずれに依存する特徴量として算出してもよい。また、特徴量抽出部1621は、特徴量抽出対象部品の位置ずれに依存する特徴量は、位置情報ではなく、部品領域の色相情報や輝度情報などであってもよい。また、特徴量抽出部1621は、部品領域の輝度情報から算出される輝度の勾配の統計量に基づく特徴や、輝度情報のフーリエ変換等によって得られる周波数特徴や、部品領域内の任意の画素ペアを取り出し、その輝度の大小関係から得られた二値特徴などを、特徴量抽出対象部品の位置ずれに依存する特徴量としてもよい。
上記説明では、特徴量抽出部1621は、登録画像中の部品の特徴点とテンプレート画像中の部品の特徴点との位置ずれベクトルviの長さvliと方向vθiとをそれぞれQliとQθiとに量子化し、個体識別情報生成部1622は、部品毎の量子化値を連結することによって個体識別情報を生成した。しかし、特徴量抽出部1621は、部品毎に抽出した上記位置ずれベクトルviを量子化せずにそのまま個体識別情報生成部1622に伝達し、個体識別情報生成部1622は、部品毎の位置ずれベクトルviを単純に並べたベクトル列(v1,v2,…,vn)を個体識別情報として生成してもよい。このような形式の個体識別情報を使用する場合、判定部1634は、登録画像の個体識別情報と照合画像の個体識別情報との間の対応する部品毎に、2つの位置ずれベクトルviのコサイン距離(コサイン類似度)あるいはユークリッド距離を算出し、それらの総和を上記2つの個体識別情報の類似度として算出してよい。このような類似度計算は、上述した輝度情報や輝度情報から得られる輝度勾配等の特徴量を用いる場合にも適用できる。
上記説明では、判定部1634は、n個の特徴量抽出対象部品を等しく扱って、登録画像の個体識別情報と照合画像の個体識別情報との類似度を算出した。しかし、n個の特徴量抽出対象部品の間にも、位置ずれのバラツキの程度に差異がある。そして、位置ずれのバラツキの程度が大きい部品は、その程度が小さい部品と比較して、異なる基板を識別できる度合いである識別能力が高いと考えられる。そのため、部品決定部1612は、バラツキの大きい順にn個の部品を特徴量抽出対象部品として決定するだけでなく、位置ずれのバラツキの程度がより大きい部品ほど大きな重みを付与し、逆に位置ずれのバラツキの程度がより小さい部品ほど小さな重みを付与するようにしてよい。そして、判定部1634は、部品の重みを考慮して、登録画像の個体識別情報と照合画像の個体識別情報との類似度を算出するようにしてもよい。例えば、判定部1634は、バラツキの大きい部品の特徴量間の類似度には大きな重みを乗じ、バラツキが小さい部品の特徴量間の類似度には小さな重みを乗じ、重み付け和で照合スコア(最終的な類似度)を算出してよい。
上記説明では、1台の基板管理装置100が、前処理部161、登録部162、および照合部163を備えていた。しかし、前処理部161を備え、登録部162および照合部163を備えない基板管理装置や、登録部162を備え、前処理部161および照合部163を備えない基板管理装置や、照合部163を備え、前処理部161および登録部162を備えない基板管理装置があってもよい。或いは、前処理部161、登録部162、および照合部163の何れか2つだけを備え、残りの1つを備えない基板管理装置があってもよい。
[第2の実施の形態]
次に、本発明の第2の実施の形態について図13を参照して説明する。図13は、本実施の形態における基板管理システムの構成を示すブロック図である。
図13に示すように、本実施の形態に係る基板管理システム200は、抽出手段201と生成手段202とを備えている。
抽出手段201は、基板を撮影した基板画像中の複数の部品のうち、部品実装位置のバラツキ度合いに基づいて事前に決定された複数の特定部品それぞれについて、位置ずれに依存する特徴量を抽出するように構成されている。抽出手段201は、例えば図1の特徴量抽出部1621または特徴量抽出部1632によって実現することができるが、それに限定されない。
生成手段202は、抽出手段201によって抽出された特徴量から基板の識別に用いられる個体識別情報を生成するように構成されている。生成手段202は、例えば図1の個体識別情報生成部1622または個体識別情報生成部1633によって実現することができるが、それに限定されない。
以上のように構成された基板管理システム200は、以下のように動作する。即ち、先ず抽出手段201は、基板を撮影した基板画像中の複数の部品のうち、部品実装位置のバラツキ度合いに基づいて事前に決定された複数の特定部品それぞれについて、位置ずれに依存する特徴量を抽出する。次に生成手段202は、抽出手段201によって抽出された特徴量から基板の識別に用いられる個体識別情報を生成する。
本実施形態に係る基板管理システム200は、以上のように構成され動作することにより、位置ずれに依存する特徴量を抽出する部品の数を無駄に増加させずに、異なる基板を識別できる度合いである識別能力を高めることができる。その理由は、基板画像中の複数の部品のうち、部品実装位置のバラツキ度合いに基づいて事前に決定された複数の特定部品それぞれについて、位置ずれに依存する特徴量を抽出するためである。
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
本発明は、複数の部品を実装した回路基板を一意に識別する個体識別情報を生成するのに利用でき、特にリフロー方式によって基板に接合された複数の部品を実装した回路基板の個体識別情報を生成するのに利用できる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
基板を撮影した基板画像中の複数の部品のうち、部品実装位置のバラツキ度合いに基づいて事前に決定された複数の特定部品それぞれについて、位置ずれに依存する特徴量を抽出する抽出手段と、
前記抽出された特徴量から前記基板の識別に用いられる個体識別情報を生成する生成手段と、
を備える基板管理システム。
[付記2]
複数の基板を撮影した複数の基板画像それぞれから、前記基板画像中の複数の部品それぞれの位置ずれを検出し、前記部品毎の位置ずれのバラツキに基づいて、前記複数の特定部品を決定する決定手段を、
さらに備える付記1に記載の基板管理システム。
[付記3]
リフロー方式によって前記基板にはんだ付けされた複数の部品について、セルフアライメント効果が期待できる程度を表すスコアを算出し、前記スコアに基づいて、前記複数の特定部品を決定する決定手段を、
さらに備える付記1に記載の基板管理システム。
[付記4]
生成された個体識別情報を前記基板の個体識別情報としてデータベースに保存する登録手段を、
さらに備える付記1乃至3の何れかに記載の基板管理システム。
[付記5]
生成された個体識別情報を事前に生成されデータベースに予め登録されている登録対象の基板の個体識別情報と照合する照合手段を、
さらに備える付記1乃至4の何れかに記載の基板管理システム。
[付記6]
基板を撮影した基板画像中の複数の部品のうち、部品実装位置のバラツキ度合いに基づいて事前に決定された複数の特定部品それぞれについて、位置ずれに依存する特徴量を抽出し、
前記抽出された特徴量から前記基板の識別に用いられる個体識別情報を生成する、
基板管理方法。
[付記7]
さらに、複数の基板を撮影した複数の基板画像それぞれから、前記基板画像中の複数の部品それぞれの位置ずれを検出し、前記部品毎の位置ずれのバラツキに基づいて、前記複数の特定部品を決定する、
付記6に記載の基板管理方法。
[付記8]
さらに、リフロー方式によって前記基板にはんだ付けされた複数の部品について、セルフアライメント効果が期待できる程度を表すスコアを算出し、前記スコアに基づいて、前記複数の特定部品を決定する、
付記6に記載の基板管理方法。
[付記9]
さらに、生成された個体識別情報を前記基板の個体識別情報としてデータベースに保存する、
付記6乃至8の何れかに記載の基板管理方法。
[付記10]
さらに、生成された個体識別情報を事前に生成されデータベースに予め登録されている登録対象の基板の個体識別情報と照合する、
付記6乃至9の何れかに記載の基板管理方法。
[付記11]
コンピュータに、
基板を撮影した基板画像中の複数の部品のうち、部品実装位置のバラツキ度合いに基づいて事前に決定された複数の特定部品それぞれについて、位置ずれに依存する特徴量を抽出する処理と、
前記抽出された特徴量から前記基板の識別に用いられる個体識別情報を生成する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
100…基板管理装置
110…カメラ
120…通信I/F部
130…操作入力部
140…画面表示部
150…記憶部
160…演算処理部

Claims (7)

  1. リフロー方式によって基板にはんだ付けされた複数の部品について、セルフアライメント効果が期待できる程度を表すスコアを算出し、前記スコアに基づいて、前記複数の部品から複数の特定部品を決定する決定手段と、
    前記基板を撮影した基板画像中の前記複数の特定部品それぞれについて、位置ずれに依存する特徴量を抽出する抽出手段と、
    前記抽出された特徴量から前記基板の識別に用いられる個体識別情報を生成する生成手段と、
    を備える基板管理システム。
  2. 生成された個体識別情報を前記基板の個体識別情報としてデータベースに保存する登録手段を、
    さらに備える請求項1に記載の基板管理システム。
  3. 生成された個体識別情報を事前に生成されデータベースに予め登録されている登録対象の基板の個体識別情報と照合する照合手段を、
    さらに備える請求項1に記載の基板管理システム。
  4. リフロー方式によって基板にはんだ付けされた複数の部品について、セルフアライメント効果が期待できる程度を表すスコアを算出し、前記スコアに基づいて、前記複数の部品から複数の特定部品を決定し、
    前記基板を撮影した基板画像中の前記複数の特定部品それぞれについて、位置ずれに依存する特徴量を抽出し、
    前記抽出された特徴量から前記基板の識別に用いられる個体識別情報を生成する、
    基板管理方法
  5. さらに、生成された個体識別情報を前記基板の個体識別情報としてデータベースに保存する、
    請求項に記載の基板管理方法。
  6. さらに、生成された個体識別情報を事前に生成されデータベースに予め登録されている登録対象の基板の個体識別情報と照合する、
    請求項4に記載の基板管理方法。
  7. コンピュータに、
    リフロー方式によって基板にはんだ付けされた複数の部品について、セルフアライメント効果が期待できる程度を表すスコアを算出し、前記スコアに基づいて、前記複数の部品から複数の特定部品を決定する処理と、
    前記基板を撮影した基板画像中の前記複数の特定部品それぞれについて、位置ずれに依存する特徴量を抽出する処理と、
    前記抽出された特徴量から前記基板の識別に用いられる個体識別情報を生成する処理と、
    を行わせるためのプログラム
JP2022502723A 2020-02-27 2020-02-27 基板管理システム Active JP7276592B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/008068 WO2021171493A1 (ja) 2020-02-27 2020-02-27 基板管理システム

Publications (3)

Publication Number Publication Date
JPWO2021171493A1 JPWO2021171493A1 (ja) 2021-09-02
JPWO2021171493A5 JPWO2021171493A5 (ja) 2022-11-08
JP7276592B2 true JP7276592B2 (ja) 2023-05-18

Family

ID=77491120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022502723A Active JP7276592B2 (ja) 2020-02-27 2020-02-27 基板管理システム

Country Status (3)

Country Link
US (1) US20230073961A1 (ja)
JP (1) JP7276592B2 (ja)
WO (1) WO2021171493A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016178157A (ja) 2015-03-19 2016-10-06 日本電気株式会社 識別装置、識別方法およびトレーサビリティシステム
JP2018113336A (ja) 2017-01-12 2018-07-19 パナソニックIpマネジメント株式会社 部品実装システムおよび部品実装方法ならびに補正値算出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016178157A (ja) 2015-03-19 2016-10-06 日本電気株式会社 識別装置、識別方法およびトレーサビリティシステム
JP2018113336A (ja) 2017-01-12 2018-07-19 パナソニックIpマネジメント株式会社 部品実装システムおよび部品実装方法ならびに補正値算出装置

Also Published As

Publication number Publication date
US20230073961A1 (en) 2023-03-09
JPWO2021171493A1 (ja) 2021-09-02
WO2021171493A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
US8792715B2 (en) System and method for forms classification by line-art alignment
JP6143111B2 (ja) 物体識別装置、物体識別方法、及びプログラム
JP6308370B2 (ja) 識別方法、識別システム、照合装置及びプログラム
WO2016035774A1 (ja) 判定方法、判定システム、判定装置、及びそのプログラム
JP6810392B2 (ja) 個体識別装置
Türkyılmaz et al. License plate recognition system using artificial neural networks
JP6217886B1 (ja) 物体管理装置
TW201415380A (zh) 物體識別裝置、物體識別方法及程式產品
JPWO2019069617A1 (ja) 個体識別装置
JP7183753B2 (ja) リスト生成装置、被写体識別装置、リスト生成方法、及びプログラム
Mukhopadhyay et al. PCB inspection in the context of smart manufacturing
CN112308046A (zh) 图像的文本区域定位方法、装置、服务器及可读存储介质
JP7276592B2 (ja) 基板管理システム
JP2002163637A (ja) 画像検査装置及び画像検査方法
Upadhyay et al. Analysis and architecture for the deployment of dynamic license plate recognition using yolo darknet
WO2021192216A1 (ja) 個体識別システム
JP7311033B2 (ja) 個体識別システム、個体識別方法、およびプログラム
CN111382703B (zh) 一种基于二次筛选与分数融合的指静脉识别方法
Li et al. Reliable and fast mapping of keypoints on large-size remote sensing images by use of multiresolution and global information
JP7176638B2 (ja) 照合位置出力システム
JP7264268B2 (ja) 表面性状推定システム
JP2017174200A (ja) 情報出力装置、情報出力方法、及び情報出力プログラム
JP6427534B2 (ja) パターン識別装置、方法、及びプログラム
JP2017174199A (ja) 情報出力装置、情報出力方法、及び情報出力プログラム
JP2017130089A (ja) 局所特徴量抽出装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R151 Written notification of patent or utility model registration

Ref document number: 7276592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151