JP7302800B2 - 部品キャリアの製造方法、取り扱いシステム、コンピュータプログラム、およびシステムアーキテクチャ - Google Patents

部品キャリアの製造方法、取り扱いシステム、コンピュータプログラム、およびシステムアーキテクチャ Download PDF

Info

Publication number
JP7302800B2
JP7302800B2 JP2022036830A JP2022036830A JP7302800B2 JP 7302800 B2 JP7302800 B2 JP 7302800B2 JP 2022036830 A JP2022036830 A JP 2022036830A JP 2022036830 A JP2022036830 A JP 2022036830A JP 7302800 B2 JP7302800 B2 JP 7302800B2
Authority
JP
Japan
Prior art keywords
image
semi
part carrier
defects
carrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022036830A
Other languages
English (en)
Other versions
JP2022140391A (ja
Inventor
ワン ヨン
ワン シュエビン
チェン ヤンシュ
チェン ヤン
リン タオ
Original Assignee
エーティーアンドエス (チョンチン) カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エーティーアンドエス (チョンチン) カンパニー リミテッド filed Critical エーティーアンドエス (チョンチン) カンパニー リミテッド
Publication of JP2022140391A publication Critical patent/JP2022140391A/ja
Application granted granted Critical
Publication of JP7302800B2 publication Critical patent/JP7302800B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/17Mechanical parametric or variational design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95684Patterns showing highly reflecting parts, e.g. metallic elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • General Factory Administration (AREA)
  • Image Analysis (AREA)
  • Stored Programmes (AREA)
  • Computer And Data Communications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Description

本発明は一般的に、部品キャリアの製造の技術分野に関する。具体的には、本発明は、部品キャリアを製造するための方法であって、部品キャリアの半完成品または完成した部品キャリアの品質分類は人工知能の処理を用いて実行される、方法に関する。さらに、本発明は、部品キャリアの製造中に、半製品の部品キャリアまたは完成した部品キャリアの欠陥を分類するためのシステムアーキテクチャに関する。
1つまたは複数の電子部品を備える部品キャリアの電子的な機能性の発達、およびそのような電子部品の小型化の着実な増加のみならず、部品キャリア、例えば、プリント回路基板(PCB)上に実装される電子部品の増加の文脈において、いくつかの電子部品を有するますます強力になったアレイ状部品またはパッケージが用いられている。そのようなアレイ状電子部品は、比較的小さいエリア内に、部品キャリア上に形成される対応する導体パッドと電気的に接触させなければならない複数の接触端子を有する。アレイ状部品は、例えば、ボールグリッドアレイ(BGA)であり得る。この接触端子は、小型化が高まるにつれて、これらの接触端子の間の間隔が一層小さくなったボールである。さらに、動作中のそのような電子部品および部品キャリア自体によって生成される熱の除去がますます問題になっている。同時に、部品キャリアは、機械的に堅牢なもので、厳しい条件下でも動作可能であるように電気的に信頼できるものでなければならない。
高品質の電子製品を製作するために、(表面実装の)電子部品の取り付け台として高品質の部品キャリアを使用することは重要である。高品質の部品キャリアは、とりわけ、(i)部品キャリアの上面に形成され、かつ(ii)多層部品キャリアの潜在的に存在している内側のパターニングされた電気層によって形成される接触痕の空間的に正確に画定されたパターンを特徴とする。
高品質の部品キャリアを製造するために、多段階製造プロセス中にパネルレベルでの半製品の部品キャリアまたは完成した部品キャリアの品質分類を行うことが必要である。従来、そのような品質分類は、多くの場合、人間であるオペレータによって実行されている。しかしながら、人間であるオペレータによる品質分類は、煩雑であり失敗する傾向がある。
半製品の部品キャリアまたは完成した部品キャリアの品質分類を改善するために、自動光学的検査(AOI)システムと組み合わせた人工知能(AI)システムを使用して、AOI出力情報の誤検出欠陥の量、例えば、割合の数を下げることは既知である。しかしながら、既知のシステムはかなりの量の誤検出欠陥を依然生じさせる。
半製品の部品キャリアのこれを製造する時のAOIベースの品質分類によって生じる誤検出欠陥の量を減少させる必要があることが考えられる。この必要性は、本願による主題によって満たされ得る。
本発明の第1の態様によると、部品キャリアを製造するおよび/またはチェックするおよび/または試験するための方法が提供される。提供される方法は、(a)半製品の部品キャリアまたは部品キャリアを自動光学的検査デバイスに供給することと、(b)自動または半自動光学的検査デバイスによって半製品の部品キャリアまたは部品キャリアの自動または半自動光学的検査を行うこととを含む。自動または半自動光学的検査を行うことは、以下の段階:(b1)第1の照射によって半製品の部品キャリアまたは部品キャリアの第1の画像をキャプチャする段階と、(b2)第2の照射によって半製品の部品キャリアまたは部品キャリアの第2の画像をキャプチャする段階であって、第1の照射は第2の照射の第2の分光組成と異なる第1の分光組成を有する、キャプチャする段階と、(b3)第1の画像および第2の画像のうちの少なくとも1つを示す実データセットを、半製品の部品キャリアまたは部品キャリアの基準画像を示す基準データセットと比較する段階と、(b4)実データセットと基準データセットとの比較の結果に基づいて半製品の部品キャリアまたは部品キャリアの潜在的欠陥を識別する段階とを含む。提供される方法は、(c)半製品の部品キャリアまたは部品キャリアの品質分類を実行することをさらに含む。品質分類を実行することは、以下の段階:(c1)第1の画像および第2の画像のうちの少なくとも1つに基づいて、半製品の部品キャリアまたは部品キャリアの仮想の第3の画像を生成する段階であって、第3の画像は、第1の分光組成および第2の分光組成の両方と異なる第3の分光組成を有する仮想の第3の照射下の半製品の部品キャリアまたは部品キャリアを示す、生成する段階と、(c2)人工知能を適用することによって第1の画像、第2の画像、および第3の画像を処理する段階と、(c3)人工知能の処理に基づいて真の欠陥および疑似欠陥において識別された潜在的欠陥を分類する段階とを含む。提供される方法は、(d)実行された品質分類に基づいて(真の欠陥のみに対する)対策を取ることをさらに含む。
説明される方法は、さらなる第3の画像によって、人工知能の処理に使用されるデータ基準が拡張される発想に基づく。拡張されたデータ基準は、より信頼できる欠陥分類に対する人工知能の処理を可能にし得る。
述べられたデータ基準が、潜在的欠陥に関して調査される対応する(半製品の)部品キャリアに専ら関連しているデータを含むことは指摘されるべきである。このデータ基準は、好ましくは、説明した方法が特定の(半製品の)部品キャリアに対して実行される前に、手動でまたは自動的に生成されているいわゆる「学習」データを含まない。これは、AIの基本原理に従って、「学習データ」が、過去の人による判定、または先のAIによって分類する判定の過去の機械自己学習データに基づいて以前に生成されたデータであり得ることを意味する。
実際には、説明される品質分類が(最終の)部品キャリアを製造するために処理される全ての半製品の部品キャリアまたは部品キャリアに対して実行されなければならないことが不可欠ではないことは指摘されるべきである。品質分類は、欠陥を含むことが疑わしい半製品の部品キャリアまたは部品キャリアに制限される可能性がある。換言すれば、欠陥の存在について後になっても知らずに、対応する半製品の部品キャリアまたは部品キャリアは通常通り処理可能である。
説明した方法は、画像処理がリアルタイムで実現可能である利点をさらに提供し得る。説明される画像処理は、AOIデバイス、または半自動、自動光学的検査デバイスによって識別された欠陥を分類するように命令される非常に熟練しかつ非常に敏速なオペレータのいずれのヒューマンインタラクションよりも間違いなくはるかに速いと言える。これは、従来のAI手順によってサポートされるAOIデバイス、または半自動、自動光学的検査デバイスにも該当し、この場合、(対応する半製品の部品キャリアまたは部品キャリアの)実際のキャプチャされた画像のみがデータ入力として使用される。
説明した分光組成は、例えば、広く使用されるRGBまたはCMYK色空間などの任意の可能な色空間において定められ得る。
説明した仮想の第3の画像の生成は、波長目盛上の第1の画像と第2の画像との間の補間または外挿によって実現され得る。仮想の第3の画像を生成するために、当然ながら、対応する半製品の部品キャリアまたは部品キャリアの典型的な物理(光学)特性は考慮に入れられるべきである。そのようにするために、データベースに「記憶」可能である先験的な知識を参照することができる。
当然ながら、検査された半製品の部品キャリアまたは検査された部品キャリアの少なくともいくつかの物理(光学)特性を知ることなく仮想の第3の画像を生成することが不可能であると思われることは述べられるべきである。しかしながら、物理(光学)特性が既知である場合、仮想の第3の画像を「欠落色」画像として再構成することが可能である。そのようにするために、対応する供給された半製品の部品キャリアまたは部品キャリアの異なる材料が異なる分光画像における異なるシグネチャを有することを考慮に入れることができる。そのような再構成アルゴリズムの一例は、機械工学士および海洋学者であるDerya Akkaynakによって開発されたいわゆる「Sea-thruアルゴリズム」である。このアルゴリズムは、水中映像で発生するアーチファクトおよび歪みを除去することができる。「Sea-thru」は、異なる照射特性下の、とりわけ、異なる分光照射特性下の画像差を考慮し、この差は、とりわけ、(対応する半製品の部品キャリアまたは対応する部品キャリアの表面における)異なる光学構造の異なる分光散乱挙動に基づく。
「欠落色」画像を合成するために(前述の)人工知能(AI)による方法を使用することも可能であることが考えられることはさらに述べられるべきである。
本明細書の文脈で、用語「部品キャリア」は特に、機械的支持および/または電気接続性および/または光学的接続性および/または熱的接続性を提供するために1つまたは複数の部品を上におよび/または中に収容することが可能である任意の支持構造を示し得る。換言すれば、部品キャリアは、部品用の機械的および/または電子的キャリアとして構成され得る。とりわけ、部品キャリアは、プリント回路基板、有機インターポーザ、およびIC(集積回路)基板のうちの1つであり得る。部品キャリアはまた、上記のタイプの部品キャリアの異なる部品キャリアを組み合わせる混載基板であり得る。
本明細書の文脈において、用語「自動光学的検査」は、特に、半製品の部品キャリアおよび部品キャリアの画像をキャプチャし、かつ対応する半製品の部品キャリアまたは対応する部品キャリアの特異性が目的の性質に従うものであるかどうかに関して検査する光監視システムを示し得る。この目的のために、人間であるオペレータから独立して機能し得る自動光学的検査ユニットは、検査される半製品の部品キャリアまたは部品キャリアの画像を示すデータセット、すなわち、この実画像を示すデータセットをキャプチャし得る。上記の実画像データはさらにまた、基準画像または目的画像を示すデータセット、すなわち、半製品の部品キャリアまたは部品キャリアが特定の仕様をどのように満たすように見えるのかを示すパラメータのデータセットと比較され得る。そのような自動または半自動光学的検査の結果は、半製品の部品キャリアまたは部品キャリアが自動検査試験で合格するまたは自動検査試験で不合格になることである場合がある。
本明細書の文脈において、用語「半自動光学的検査」は、例えば、人間であるオペレータの部分的な介入を通して機能する少なくとも1つの監視および/または検査段階と、例えば、部品キャリア、欠陥認識、処理段階の中の1つに関連する入力データとの差異を有する先に説明した「自動光学的検査」に対応し得る。以下の説明では、用語「自動光学的検査(AOI)」が完全AOIだけでなく半自動光学的検査も意味することは指摘されるべきである。
自動光学的検査(AOI)がまた、画像データが欠陥(すなわち、既知の不良画像データ)を示すデータセットと比較されるように、または人工知能(AI)ソフトウェアをセットアップするために使用される利用可能な訓練用データセットに応じて、良好として既知の画像データおよび不良として既知の画像データと比較されるように実行され得ることは述べられるべきである。この手法は、AOIが場合により検出する可能性がある特定の絶対的な限定数の誤差/欠陥があるときに有益であり得る。記述的に言えば、得られた画像データを「既知の不適当な」画像データと比較することは、得られた画像データを「良好として既知の」画像データと比較することと比較して、AI処理に必要とされる、必要とされる計算能力の量を減少させることに有用である場合がある。
本明細書の文脈において、用語「対策を取る」は、特に、いくつかの可能な動作から選択可能である特定の手順が実行され得ることを示し得る。どの対策が取られるかの決定は、品質分類の結果に基づいて行われ得る。
本明細書の文脈において、用語「人工知能」は、特に、ニューラルネットワーク、(深層)自己学習または自己適応システム、ファジー論理などのツールを示し得る。人工知能は、電子的ハードウェアおよびソフトウェアリソースに基づいて人間から独立して動作し得る。
本明細書の文脈において、用語「…実データセットを基準データセットと比較する」は、特に、画像が集めたデータによって定められ得るため、画像または写真から演繹されるさまざまなパラメータおよび/または測定が比較され得ることを示し得る。しかしながら、画像もしくは写真自体またはこれらの画素を比較することも可能であり得る。
本発明の一実施形態によると、識別された潜在的欠陥を分類する段階は、真の欠陥および疑似欠陥において識別された潜在的欠陥を分類することを含む。これは、先の自動光学的検査(AOI)で識別された潜在的欠陥が真の欠陥ではなく単なる疑似欠陥であることが認識されることを意味する。故に、疑似欠陥の量は減少させることができることで、当然ながら、対策を取ることと関連付けられる(手)作業の量が減少する。換言すれば、疑似欠陥を扱うことと関連付けられることになる無用な作業は回避可能であり、結果として、部品キャリア製造工場におけるオペレータの人的生産性が著しく増加する可能性がある。
本発明の一実施形態によると、第1の分光組成は少なくとも1つの第1の波長を含み、第2の分光組成は少なくとも1つの第2の波長を含み、第3の分光組成は、波長目盛において、第1の波長と第2の波長との間に位置する少なくとも1つの第3の波長を含む。
記述的に言えば、第3の波長または第3の分光組成は、波長目盛において、第1の波長と第2の波長との間の補間を表すように見え得る。2つの「端」の分光組成の間のそのような補間によってデータ基準の拡張が生じ得ることで、おそらく欠陥分類の信頼性が最も改善する。この「最良の改善」の理由は、実際の世界において、第1の「端」の分光組成が第1のタイプの構造および/または第1のタイプの光学的外観に非常に敏感であり得、第2の「端」の分光組成は、異なる第2のタイプの構造および/または異なる第2のタイプの光学的外観に非常に敏感であり得、これらの構造および/または光学的外観は、対応する半製品の部品キャリアまたは対応する部品キャリアにおける潜在的欠陥と関連付けられ得ることが考えられる。構造は、任意の欠陥関連の2次元(2D)または3次元(3D)構造であり得る。光学的外観はまた、対応する潜在的欠陥の表面部分の任意の光学的外観であり得る。具体的には、該当する光学的外観は、例えば、色、反射性、拡散因子、光沢度、および対応する表面部分のつや消し因子であり得る。当然ながら、該当する光学的外観は、対応する潜在的欠陥によって占有される空間領域内で変化し得る。
本発明のさらなる実施形態によると、第1の分光組成は赤色光を含み、第2の分光組成は青色光を含む。これは、対応する半製品の部品キャリアまたは対応する部品キャリアを照明するために、通常の安価なLED光源が使用可能であるという利点を提供し得る。そのようなLED光源は、典型的には、市販の展開されるAOIデバイスで使用されるため、説明した方法は、ハード面でいずれの修正も行う必要なくそのようなAOIデバイスによって実現可能である。故に、説明した方法は、既にずっと以前から操業中の先行技術のAOIデバイスによっても実現可能である。必要なものは、データプロセッサに説明した方法を制御または実行させるプログラムによる適したソフトウェア更新である。
本発明のさらなる実施形態によると、第3の分光組成は緑色光を含む。生成された仮想の第3の緑色の画像と共に、人工知能の処理に3つのカラー画像が使用され、このカラー画像は、完全で頻繁に使用される色空間、すなわち、RGB色空間を占有する。これはさらに、偽の誤りの量の低減に寄与し得る。
RGB色空間における説明したAI処理では、人の画像処理挙動がシミュレート可能であることは指摘されるべきである。RBG AI処理は疑似欠陥または疑似欠陥警告の識別に対する信頼できる結果をもたらすことが本発明者によって認識されている。
本発明のさらなる実施形態によると、半製品の部品キャリアまたは部品キャリアの品質分類を実行する段階は、仮想の第3の画像を生成後、かつ人工知能を適用することによって第1の画像、第2の画像、および第3の画像を処理する前に、第1の画像、第2の画像、および第3の画像のうちの少なくとも1つの画素値を変換することであって、第1の画像、第2の画像、および第3の画像の処理は変換された画素値で実行される、変換することをさらに含む。
適した変換によって、以下のAI画像処理は、容易かつ信頼できるやり方で実現可能である。説明した方法のソフトウェア実現を容易にする一般的に入手できるAIアルゴリズムが用いられ得る。
説明した変換する段階は画素値の正規化を含み得る。これは、AI技法によって処理される画素値が正確に画定される範囲内にあるという利点を提供し得る。故に、画像のうちの少なくとも1つの潜在的な露出過多および潜在的な露出不足は補償可能である。これによって、疑似欠陥の量の著しい減少に対するさらなる寄与がなされ得る。
本発明のさらなる実施形態によると、第1の画像、第2の画像、および第3の画像を処理する段階は、(i)第1の画像の第1の部分画像の第1のグループ、(ii)第2の画像の第2の部分画像の第2のグループ、および(iii)第3の画像の第3の部分画像の第3のグループによって(専ら)実行される。それにより、それぞれの部分画像は少なくとも1つの識別された潜在的欠陥を示す。
説明した部分画像のグループに基づく処理は、識別される潜在的欠陥がない半製品の部品キャリアまたは部品キャリアの領域が、AI画像処理に使用されない場合があるという利点を提供し得る。故に、大量の計算能力が節約され得る。部分画像のグループはまた、部分画像のバッチと称される場合がある。
本発明のさらなる実施形態によると、部分画像のそれぞれのグループは、厳密に、1つの半製品の部品キャリアまたは1つの部品キャリアに割り当てられる。これは、説明したAI画像処理が、それぞれの単一の半製品の部品キャリアまたはそれぞれの単一の部品キャリアに対して個々に実行可能であるという利点を提供し得る。このタイプのAI画像処理によっても少量の認識されない疑似欠陥に対するさらなる寄与がなされることが分かった。
発明のさらなる実施形態によると、それぞれの部分画像は、200×200画素より小さい、とりわけ、100×100画素より小さい画素サイズを有する。これによってさらに、必要とされる計算能力の量が減少し得る。
本発明者によって実行された実証研究によって、60×60画素の小さい画素サイズでも信頼できるAI画像処理をもたらすことが明らかになったことは指摘されるべきである。驚くことに、空間分解能も疑似欠陥を明確に識別するためには十分であった。
本発明のさらなる実施形態によると、半製品の部品キャリアまたは部品キャリアは、複数の個々の半製品の部品キャリアまたは複数の個々の部品キャリアを含むパネルである。これは、複数の個々の半製品の部品キャリアまたは部品キャリアが並行して製造可能であるという利点を提供し得る。既知のPCB製造手法によれば、好ましくは最終処理されたパネルが複数の個々の半製品の部品キャリアまたは複数の個々の部品キャリアに後で個別化可能である。この並列化によって、とりわけ、比較的小さい個々の部品キャリアに対して、説明した部品キャリア製造方法のスループットが増大する。
好ましくは、説明した第1の画像および説明した第2の画像は、個々の半製品の部品キャリアまたは個々の部品キャリアが位置するパネル全体またはパネルの少なくとも連続領域を覆う。複数の、例えば、それぞれが、1つのみの個々の半製品の部品キャリアまたは1つのみの部品キャリアによって占有されるパネル領域のみを示す第1の画像の処理と比較して、説明したパネル全体のAI画像処理によって、説明した方法のかなりの高速化がもたらされる。当然ながら、上に指摘されているように、潜在的欠陥の部分領域を識別した後、AI画像処理はこれらの部分領域のみで実行され得る。
本明細書の文脈において、用語「パネル」は、特に、バッチ手順での部品キャリアの製造中に得られる依然一体的に接続される部品キャリアのプリフォームを示し得る。例えば、そのようなパネルは、一体構造を依然形成し、かつ行および列で配置され得る部品キャリアの複数のプリフォームを含み得る。例えば、それぞれが6の部品キャリアを含む、パネルの部品キャリアが列で配置されることも可能である。例えば、そのようなパネルは、18×12平方インチ(45.72×30.48平方センチメートル)または18×24平方インチ(45.72×60.96平方センチメートル)の寸法を有し得る。
発明のさらなる実施形態によると、取られる対策は、処理段階に介入せずに部品キャリアの製造を続行することである。
実行されるのに必要な特定の手順はないという決定を行うことによって、品質管理に関して、部品キャリア製造プロセスにおいて伴う労力は非常に低くなる。換言すれば、品質分類において取られる必要がある特定の対策はないという結論になる場合、部品キャリア製造手順は簡潔に進む。例えば、説明した処理段階に介入しないことは、特別の対策または方策を取らず、標準的なまたは事前定義された既定のプロセスフローで進めることに関連し得る。処理段階に介入することなく、人の介在なく、真の故障がない場合の人の介在なくなど、処理の続行は生じ得る。
一実施形態では、方法は、品質分類において、半製品の部品キャリアまたは部品キャリアの実際のまたは真の欠陥がないことが示される時に介入なしで部品キャリアの製造を続行させる対策を取ることを含む。換言すれば、品質分類において半製品の部品キャリアまたは部品キャリアに真の欠陥がないという結論になる時、通常の製造プロセスの続行とは別に取られる必要がある特定の対策はない。
一実施形態において、方法は、品質分類において、対応する半製品の部品キャリアまたは対応する部品キャリアの修復不可能な欠陥が示される時に介入なしで部品キャリアの製造を続行させる対策を取ることを含む。故に、対応する半製品の部品キャリアまたは対応する部品キャリアを、例えば、修復できないまたは相応の労力でも修復できない少なくとも1つの真の欠陥が識別されたため、修復不可能と分類することは、この半製品の部品キャリアまたはこの部品キャリアを最終的に不合格であるとみなすことになり得る。この場合、製造方法は、別の半製品の部品キャリアまたは別の部品キャリアの処理に進んでよく、修復不可能な半製品の部品キャリアまたは修復不可能な部品キャリアは製造プロセスの最後には使用されないことになる。
本発明のさらなる実施形態によると、取られる対策は、品質分類において、半製品の部品キャリアまたは部品キャリアの修復可能な真の欠陥が示される時に半製品の部品キャリアまたは部品キャリアを修復することを含む。
説明した修復は、真の欠陥が自動修復プロセスによってまたは人間であるオペレータによって(容易に)修復可能であるような性質を有する場合、適した対策であり得る。この方策を取ることによって、部品キャリア製造プロセスの生産高は改善され得る。品質分類によって修復可能な欠陥が識別される時、半製品の部品キャリアまたは部品キャリアはそれに応じて分類され、これらの修復が実行され得る。修復が成功した後、半製品の部品キャリア全体または部品キャリア全体の分類は、不合格から合格に変更され得る。
一実施形態において、修復は、誤って接続されたトレースの分離、誤って分離したトレースの接続、誤ったはんだ構造体の修復、および誤ったコアの修復から成るグループのうちの少なくとも1つを含む。例えば、誤って接続された半製品の部品キャリアまたは部品キャリアの導電性トレースは、自動的にまたは人間であるオペレータの制御下で動作可能であるレーザまたは切刃によって分離され得る。また、半製品の部品キャリアまたは部品キャリアの異なるトレースの好ましくない分離は、これらを接続することによって、例えば、2つのトレースが誤って切断される部分にはんだ溜まりまたは任意の導電性ペーストを施すことによって修復され得る。例えば、はんだ構造体が誤って小さい体積を単に失うまたは有する時、追加のはんだ材料は、人間であるオペレータによってまたは自動的に、例えば、適切なロボットによって、上記の特定の欠陥部分に適用され得る。コア、すなわち、半製品の部品キャリアまたは部品キャリアの完全な硬化板形状の中心構造が識別された時でも、これは部品キャリア全体の損失を回避するために修復され得る。そのような修復手順も、自動的に、または人間であるオペレータによって手動で実行され得る。
本発明のさらなる実施形態によると、方法は、いくつかの事前定義されたタイプの欠陥の中のあるタイプの欠陥を示すことによって真の欠陥を分類することをさらに含む。
欠陥のタイプは、例えば、パターニングされた導電層の導体トレースの誤った接続、導体トレースの誤った分離、不十分な量のはんだ、過剰量のはんだなどがあり得る。識別された欠陥が選択され得る、頻繁に生じる欠陥のリストを提供することは、欠陥の取り扱い、および、とりわけ欠損修復のプロセスを合理化し得る。
本発明のさらなる実施形態によると、方法は、人間であるオペレータの対話を全く伴うことなく実行される。これは、説明した方法が、人の干渉が全く必要ではないやり方で達成され得ることを意味する。特定の数の学習サイクルの後に、AIに基づく品質分類では、人間であるオペレータよりももっと良い分類が行われ得ることが分かった。いずれのヒューマンインタラクションも回避することによって、部品キャリアの製造プロセスは合理化され、部品キャリアの製造におけるスループットおよび生産高は改善され得る。
本発明のさらなる実施形態によると、第1の画像、第2の画像、および仮想の第3の画像は、2次元画像を含む。これは、自動光学的検査デバイスが少なくとも1つの2Dカメラによって実現され得るという利点を提供し得る。多くの用途に対して、実データセットと基準データセットとの比較、また、2つの次元のみでの後続のAI画像処理を行うことで十分であることが分かった。故に、説明した方法は、比較的少量の計算能力で実行可能である。
本発明のさらなる実施形態によると、第1の画像、第2の画像、および仮想の第3の画像は、3次元画像を含む。これは、潜在的欠陥についてのさらなる詳細がキャプチャされかつさらに処理され得るという利点を提供し得る。非常に有利には、画像は、2次元画像および3次元画像の両方を含む。故に、説明した方法によって定められるさらなる処理は、品質分類において2Dおよび3Dを組み合わせた分析を伴う。
本発明のさらなる実施形態によると、自動または半自動光学的検査を行う段階および品質分類を実行する段階は、形成された導体トレースの品質を評価するために、半製品の部品キャリアまたは部品キャリアの電気伝導体トレースを形成するために金属層をパターニングした後に行われる。これは、そのようなパターニング手順の直後に後者の成功が自動光学的検査によって評価された後、フロントエンドで品質分類が行われ得るという利点を提供し得る。製造される多層部品キャリアの場合、そのような手順はそれぞれのパターニング層に対して繰り返され得る。
本発明のさらなる実施形態によると、人工知能を適用することによる処理および/または人工知能の処理は、ユーザインターフェースデバイスを介してユーザから入力されるデータによって処理を更新することを含む。
いくつかの用途において、半製品の部品キャリアまたは部品キャリアのAOIを行うためのAIモジュールまたはAOIデバイスのAIモジュールは、そのようなAIモジュールの適した訓練によって継続的に改善され得る。それにより、適した訓練は自己訓練も含み得る。
説明した半製品の部品キャリアまたは部品キャリアのAOIは、ビッグデータ手法に基づいてよく、すなわち、AIモジュールに供給されるデータが多くなるほど、AOIの作業がより効率的かつ正確になる。この文脈において、例示的な実施形態は、既に部品キャリアの製造中の半製品の部品キャリアまたは部品キャリアの欠陥を分類するための効率的な解決策を提供する。とりわけ、識別された潜在的欠陥の信頼できる分類が提供され得る。この手法について、AIモジュールは、ユーザフレンドリーなインターフェースを有し得、かつ容易に動作可能かつ実装可能であり得る。とりわけ、AIモジュールによって、真の欠陥および疑似欠陥に関して潜在的欠陥を信頼できるやり方で分類することが可能になり得る。
潜在的欠陥がAIモジュールによって真の欠陥または疑似欠陥として完全に認識できない場合、この分類が人間であるオペレータの助けにより達成可能であることは指摘されるべきである。例えば、好適な、例えば、処理装置、または接続されたモバイルデバイスなどの任意の好適なリモートインターフェース上に提供されるユーザインターフェースを通して、人間であるオペレータは、AIモジュールによって問い合わせを受ける可能性があり、かつ、人間であるオペレータのフィードバックに応じて、例えば、潜在的欠陥が真の欠陥であるかを確認すること、または潜在的欠陥を疑似欠陥として分類することに応じて、AIモジュールは、この評価論理を適切に更新することで、人間であるオペレータのフィードバックの情報に基づいて将来この種類の欠陥をより良く判定することができる。
一実施形態では、AIモジュールによる処理はニューラルネットワークによる処理を含む。そのようなニューラルネットワークは、一般的に、タスク固有の規則によってプログラムされることなく、例を検討することによってタスクを行うように学習することが可能であり得るコンピューティングシステムであり得る。ニューラルネットワークは、人工ニューロンと呼ばれる接続されたノードの集合に基づいてよい。上記のニューロンの間のそれぞれの接続は、信号を他のニューロンに送信することができる。信号を受信する人工ニューロンは、さらにまた、この信号を処理し、かつこれに接続されるニューロンを信号で伝えることができる。学習中、潜在的欠陥は正確に識別かつ分類可能である。半製品の部品キャリアまたは部品キャリアの画像を入力することによって、ニューラルネットワークは、潜在的欠陥のうちのそれぞれ1つを真の欠陥または疑似欠陥として確実に分類することができる。
本発明のさらなる実施形態によると、人工知能を適用することによる処理および/または人工知能の処理は、機械学習によって、とりわけ、深層学習によって処理を更新することを含む。
用語「深層学習」は、特に、表現学習による人工ニューラルネットワークに基づく機械学習手順を示し得る。深層学習は、教師あり、半教師あり、または教師なしのものであり得る。本発明の例示的な実施形態に従って実装され得る深層学習アーキテクチャの例には、深層ニューラルネットワーク、ディープビリーフネットワーク、再帰型ニューラルネットワーク、および畳み込みニューラルネットワークがある。半製品の部品キャリアまたは部品キャリアの潜在的欠陥を分類するための対策計画の判断における深層学習アルゴリズムの実装によって、AOIの効率および能力がさらに改善され得る。
本発明のさらなる実施形態によると、機械学習による処理を更新することは、人工知能を訓練するための機械学習による処理の間にデータを記憶することを含む。
方法を実行する間に得られるデータは、AIモジュールのニューラルネットワークを訓練するために使用され得る。例えば、データは、適切データベースに訓練用データとして記憶され得、かつ上記のAIモジュールを訓練するために使用され得る。先の部品キャリア欠陥の識別ルーチンからのそのようなデータをAIモジュールに導入することによって、(例えば、このニューラルネットワークの)AIモジュールの性能は継続的に改善され得る。換言すれば、半製品の部品キャリアまたは部品キャリアのAOIの出力は、AIモジュールの非常に有益な訓練用データとして相乗的に使用され得る。AIモジュールの出力は、再度AIモジュールを使用するさらなる繰り返しの対象になり得る。
本発明のさらなる態様によると、部品キャリアの製造中に半製品の部品キャリアを取り扱うためのシステムが提供される。提供されたシステムは、(a)半製品の部品キャリアまたは部品キャリアを自動または半自動光学的検査デバイスに供給または搬送するように構成されるデバイスと、(b)半製品の部品キャリアまたは部品キャリアの自動または半自動光学的検査を行うための自動または半自動光学的検査デバイスとを備える。自動または半自動光学的検査デバイスは、(b1)第1の照射によって半製品の部品キャリアまたは部品キャリアの第1の画像をキャプチャすることと、(b2)第2の照射によって半製品の部品キャリアまたは部品キャリアの第2の画像をキャプチャすることであって、第1の照射は第2の照射の第2の分光組成と異なる第1の分光組成を有する、キャプチャすることと、(b3)第1の画像および第2の画像のうちの少なくとも1つを示す実データセットを、半製品の部品または部品キャリアに対する基準画像を示す基準データセットと比較することと、(b4)実データセットと基準データセットとの比較の結果に基づいて半製品の部品キャリアまたは部品キャリアの潜在的欠陥を識別することとを行うように構成される。提供されるシステムは、半完成品の品質分類を実行するために自動または半自動光学的検査デバイスと通信可能に結合される(c)データ処理デバイスをさらに備える。データ処理デバイスは、(c1)第1の画像および第2の画像のうちの少なくとも1つに基づいて、半製品の部品キャリアの仮想の第3の画像を生成することであって、第3の画像は、第1の分光組成および第2の分光組成の両方と異なる第3の分光組成を有する仮想の第3の照射下で半製品の部品キャリアまたは部品キャリアを示す、生成することと、(c2)人工知能を適用することによって、第1の画像、第2の画像、および第3の画像を処理することと、(c3)人工知能の処理に基づいて真の欠陥および疑似欠陥において識別された潜在的欠陥を分類することとを行うように構成される。提供されたシステムは、(d)実行された品質分類に基づいて(真の欠陥のみに対する)(物理的)対策を取るための実行デバイスをさらに含む。
また、説明したシステムは、さらなる第3の画像によって人工知能の処理に使用されるデータ基準が拡張される発想に基づく。拡張されたデータ基準は、人工知能の処理が、先のAOI手順によって識別された潜在的欠陥が真の欠陥ではなく単なる疑似欠陥であることをより確実に認識することを可能にし得る。
説明した搬送装置は、半製品の部品キャリアまたは部品キャリアを直線または湾曲の搬送経路に沿って自動光学的検査デバイスに供給するように設計される任意の運搬システムによって実現され得る。
本発明のさらなる態様によると、部品キャリアを製造するためのコンピュータプログラムが提供される。コンピュータプログラムは、1つまたは複数のプロセッサ、データプロセッサによって実行される時、部品キャリアを製造するための上述される方法を制御するおよび/または実行するように適応される。
本明細書で使用される時、コンピュータプログラムへの言及は、上述される方法の性能を調整するようにコンピュータシステムを制御するための命令を含むプログラム要素および/またはコンピュータ可読媒体への言及と同等であることが意図される。コンピュータプログラムは、例えば、JAVA(登録商標)、C++などの任意の好適なプログラミング言語におけるコンピュータ可読命令コードとして実装され得、かつ、コンピュータ可読媒体(リムーバブルディスク、揮発性または不揮発性メモリ、埋め込みメモリ/プロセッサなど)上に記憶され得る。命令コードは、意図される機能を実行するためにコンピュータまたは任意の他のプログラム可能型デバイスをプログラムするように動作可能である。コンピュータプログラムは、ダウンロードされ得るワールドワイドウェブなどのネットワークから利用可能であり得る。
本発明は、コンピュータプログラムまたはソフトウェアによって実現され得る。しかしながら、本発明はまた、1つまたは複数の固有の電子回路またはハードウェアによって実現され得る。さらに、本発明は、混成形態で、すなわち、ソフトウェアモジュールおよびハードウェアモジュールの組み合わせでも実現され得る。本明細書に説明される本発明はまた、必要な仮想記憶空間および必要な仮想計算能力を提供する「クラウド」ネットワークに関連して実現され得る。
本発明のさらなる態様によると、部品キャリアの製造中に半製品の部品キャリアまたは部品キャリアの欠陥を分類するためのシステムアーキテクチャが提供される。提供されるシステムアーキテクチャは、とりわけ、上述されるような方法によって部品キャリアを製造する時に欠陥を分類するために使用可能である。提供されるシステムアーキテクチャは、(a)半製品の部品キャリアまたは部品キャリアの自動または半自動光学的検査を行うための自動または半自動光学的検査システムを備える。自動または半自動光学的検査システムは、(a1)半製品の部品キャリアまたは部品キャリアの少なくとも1つの画像をキャプチャするように構成される自動または半自動光学的検査デバイスと、(a2)データ処理デバイスであって、(i)少なくとも1つのキャプチャされた画像を受信することと、(ii)少なくとも1つのキャプチャされた画像を示す実データセットを、半製品の部品キャリアまたは部品キャリアに対する基準画像を示す基準データセットと比較することと、(iii)実データセットと基準データセットとの比較の結果に基づいて半製品の部品キャリアまたは部品キャリアの潜在的欠陥を識別することとを行うように構成される、データ処理デバイスとを備える。提供されるシステムアーキテクチャは、(b)標準データインターフェースと、(c)アプリケーションシステムであって、(c1)少なくとも1つのキャプチャされた画像および識別された潜在的欠陥に関連する画像情報を交換するために標準データインターフェースを介して自動または半自動光学的検査システムと通信可能に結合される少なくとも1つのアプリケーションサーバを有し、少なくとも1つのアプリケーションサーバは画像情報を処理するように構成される、アプリケーションシステムとをさらに備える。提供されるシステムアーキテクチャは、(d)アプリケーションサーバと画像情報を交換するためにアプリケーションシステムと通信可能に結合される少なくとも1つのAIサーバを含む人工知能(AI)システムであって、少なくとも1つのAIサーバは、(i)交換された画像情報を処理することと、(ii)人工知能の処理に基づいて、識別された潜在的欠陥を真の欠陥および疑似欠陥に分類することと、(iii)真の欠陥および疑似欠陥についての情報を少なくともアプリケーションサーバと交換することとを行うように構成される、人工知能(AI)システムをさらに備える。
説明したシステムアーキテクチャは、AI処理に基づく真の欠陥または疑似欠陥における欠陥分類は、説明した標準インターフェースによって自動光学的検査(AOI)システムまたは半自動光学的検査システムから論理的におよび/または物理的に分離可能である情報技術(IT)機器によって実現可能であるという発想に基づく。この標準インターフェースは、説明したシステムアーキテクチャに、用いられるAOIシステムのAOI機器に対するモジュール性を提供する。このAOI機器は異なるAOI機器供給元から得られ得るため、説明したシステムアーキテクチャは、異なるタイプのAOIシステムによってそれぞれ実現されるように使用可能である。これは、説明したシステムアーキテクチャについて、ITアーキテクチャを適応させる必要なく異なるAOIシステムに対して全く同一のITアーキテクチャが使用可能であるという利点を提供し得る。これによって、説明したシステムアーキテクチャは非常に柔軟になる。具体的には、いずれのITアーキテクチャ再構成もなく、これは、異なるAOI機器供給元から提供され得る多くの異なるタイプのAOIシステムに使用可能である。故に、それぞれの固有の半製品の部品キャリアまたはそれぞれの固有の部品キャリアの検査および欠陥識別について、最良のAOIシステムが選択可能である。標準インターフェースにより、例えば、部品キャリアを製造するための半製品の部品キャリアのタイプの変更に関連して、AOIシステムは、新しいタイプの半製品の部品キャリアにとってより適切である別のAOIシステムと迅速かつ容易にやり取り可能である。
少なくとも1つのAIサーバは、いわゆる「深層学習」手法に基づいて動作するように構成され得る。これによって、(i)真の欠陥を確認することに関しておよび/またはとりわけ(ii)疑似欠陥を認識することに関して高い信頼性を提供することが可能になる。既知のAOIシステムでは、多くの場合、疑似欠陥の割合が90%であるため、真の欠陥だけでなくこれらの疑似欠陥も取り扱い、かつこれらを疑似欠陥であると認識するためにかなりの(人手による)労力がいる。説明したシステムアーキテクチャでは、この無用で無益な量または作業負荷が回避可能である。故に、部品キャリアおよびとりわけ多層部品キャリアの製造全体ははるかにより効率的になる可能性がある。
標準インターフェースは、少なくともAOIシステムおよびアプリケーションシステムに対する「標準」を表す任意のタイプのデータインターフェースであり得る。それにより、既知のまたは専用の標準が使用され得る。標準インターフェースが、アプリケーションサーバ/システムとだけでなく少なくとも2つの異なるAOIシステムに対しても互換性を有することのみが必須である。
(i)標準インターフェースを介してAOIシステムとアプリケーションシステムとの間で交換される画像情報、および(ii)アプリケーションシステムとAIシステムとの間で交換される画像情報が同じデータフォーマットを有することが不要であることは述べられるべきである。さらに、これらが情報内容に関して(全く)同一であることも必要ではない。しかしながら、説明した2つの画像情報が少なくとも部分的に同じ情報内容を保持し、この(重複する)情報内容が対応するキャプチャされた画像の実データセット、およびこのキャプチャされた画像が少なくとも1つの欠陥を含むかどうかの特定の種類のラベルを含むことは必須である。記述的に言えば、AOIシステムはAIシステムにキャプチャされた画像における潜在的欠陥についての情報を提供し、AIシステムは、任意の疑似欠陥の存在または実在について少なくともアプリケーションサーバに通知する。
説明したシステムアーキテクチャが、AIシステムが訓練された後、疑似欠陥についての情報をリアルタイムで提供することが可能であることは指摘されるべきである。これは、疑似欠陥の検出に対して関連する遅延がないため、部品キャリアの製造の効率には大きな利点である。
本発明のさらなる実施形態によると、システムアーキテクチャは、アプリケーションシステムと通信可能に結合され、かつ(i)複数の個々の半製品の部品キャリアまたは個々の部品キャリアの識別(ID)情報を記憶することと、(ii)少なくとも半製品の部品キャリアまたは部品キャリアに関するAOIまたは半自動光学的検査測定結果を受信することであって、AOI測定結果または半自動光学的検査測定結果は識別された潜在的欠陥についての情報を含む、受信することと、(iii)少なくとも半製品の部品キャリアまたは部品キャリアに対する真の欠陥および疑似欠陥についての情報を受信することと、(iv)受信されるAOI測定結果および受信される真の欠陥および疑似欠陥についての情報を記憶されたID情報に割り当てることとを行うように構成される制御システムをさらに備える。
説明した制御システムでは、直接測定された、またはAOIシステムのデータ処理デバイスおよび/またはAIシステムのAIサーバによって計算されたかのどちらかが行われた全ての技術情報の正しい割り当ては、対応する(半製品の)部品キャリアに正しく帰属され得る。それにより、オペレータまたはユーザから(手)入力された情報はまた、考慮に入れられる場合がある。
いくつかの実施形態において、説明した制御システムはまた、原材料の任意の変態および/またはこのさまざまな処理段階における半製品の部品キャリアまたは部品キャリアを追跡しかつ文書に記録する、いわゆる生産実行システム(MES)を備える。さらに、説明した制御システムはまた、企業運営および顧客窓口を管理するためのソフトウェアを実行する企業資源計画(ERP)コンピューティングエンティティを含み得る。ソフトウェアは、データベース管理システムによって維持される共通データベースを使用して、技術的プロセスだけでなく主力事業プロセスの統合されかつ継続的に更新されたビューを提供し得る。MESおよび/またはERPコンピューティングエンティティは、ハードウェアにおいて、ソフトウェアにおいて、またはハードウェアおよびソフトウェアの任意の組み合わせにおいて実現され得る。
本発明のさらなる実施形態によると、説明したシステムアーキテクチャはさらに、アプリケーションシステムと通信可能に結合され、かつ複数の半製品の部品キャリアまたは複数の部品キャリアに関するラベル付け画像情報を記憶するように構成されるデータ記憶システムを備える。それにより、それぞれのラベル付け画像情報は、(i)少なくとも1つのキャプチャされた画像および識別された潜在的欠陥に関連する画像情報、および(ii)それぞれの識別された潜在的欠陥について、疑似欠陥(または真の欠陥)であるかどうかを示すラベル情報を含む。
説明したデータ記憶システムは、これまで行われていた複数のAI判定について、AIシステムによって(これまでに)得られた疑似欠陥についての情報を収集することを可能にし得る。本明細書ではラベル情報と称されるこの情報はとりわけ対応するキャプチャされた画像と関連付けられるため、AIシステムによる改善された(深層)学習に利用可能であるデータセットは、継続的に拡張可能である。
本発明のさらなる実施形態によると、自動光学的検査システムはさらに、複数のキャプチャされた画像のそれぞれについて、(アプリケーションシステムを介して)データ記憶システムから受信された関連のラベル情報を記憶するためのAOIデータ記憶デバイスを備える。
AOIデータ記憶デバイスは、いわゆる画像管理システム(IMS)によって実現され得る。既知のソフトウェアアプリケーションはIMSに使用可能である。
さらに、説明したAOIデータ記憶デバイスは、(実際の)真の欠陥を有する対応する(半製品の)部品キャリアの適切な処置が実行可能であるワークステーションまたは作業場と通信可能に接続され得る。既に上に述べたように、そのような処置は、例えば、そのような真の欠陥の自動または人手による修復であってよい。いくつかの実施形態において、そのようなワークステーションはまた、真の欠陥のさらなる人による検証を可能し得る。
以下において、部品キャリアを製造するための説明した方法および部品キャリアの製造中の半製品の部品キャリアを取り扱うための説明したシステムに関するさらなる実施形態および技術的な考慮事項について説明する。
一実施形態において、半製品の部品キャリアまたは部品キャリアは、少なくとも1つの電気絶縁層構造および少なくとも1つの導電層構造のスタックを含む。本願の文脈において、用語「層構造」は特に、共通平面内の連続層、パターニング層、または複数の連続していないアイランドを示し得る。層構造は、電気絶縁性および/または導電性を有し得る。例えば、(半製品の)部品キャリアは、とりわけ、機械的圧力および/または熱エネルギーを加えることによって形成される、述べられた電気絶縁層構造および導電層構造の積層であり得る。述べられたスタックは、さらなる部品のための大きい実装面を提供することが可能であり、それにもかかわらず、非常に薄くコンパクトである板状部品キャリアを提供し得る。
一実施形態において、半製品の部品キャリアまたは部品キャリアは板状に成形される。これは、コンパクトな設計に寄与するが、最終の部品キャリアは部品を実装するための大きい基部を提供する。さらに、とりわけ、例として、埋め込み電子部品用の露出したダイは、この薄い厚さにより、プリント回路基板などの薄板に簡便に埋め込み可能である。板状部品キャリアはまた、短い電気接続経路を保証するため、搬送中の信号の歪みを抑制する。一実施形態において、最終の部品キャリアは、プリント回路基板、基板(とりわけ、IC基板)、およびインターポーザから成るグループのうちの1つとして構成される。
本明細書の文脈において、用語「プリント回路基板」(PCB)は、特に、例えば、圧力を加えることによっておよび/または熱エネルギーの供給によって、いくつかの導電層構造といくつかの電気絶縁層構造とを積層することによって形成される板状部品キャリアを示し得る。PCB技術に対する好ましい材料として、導電層構造は銅から作られるのに対し、電気絶縁層構造は樹脂および/またはガラス繊維、いわゆるプリプレグまたはFR4材料を含み得る。さまざまな導電層構造は、積層を通るスルーホールを形成することによって、例えば、レーザ穿孔または機械式穿孔加工によって、および、導電材料(とりわけ、銅)を充填することによって(縦)スルーホール接続としてビアを形成することによって、所望のやり方で互いに接続され得る。PCBに埋め込まれ得る1つまたは複数の部品とは別に、PCBは通常、板状のPCBの対向面の1つまたは両方において1つまたは複数の部品を収容するように構成される。これらは、はんだによって対応する主面に接続され得る。PCBの誘電部品は、(ガラス繊維などの)強化用繊維を有する樹脂から構成され得る。
本明細書の文脈において、用語「基板」は特に、小さい部品キャリアを示し得る。基板は、PCBとの関連で、1つまたは複数の部品が実装され得、かつ1つまたは複数のチップとさらなるPCBとの間の接続媒体の機能を果たし得る比較的小さい部品キャリアであり得る。例えば、基板は、(例えば、チップサイズパッケージ(CSP)の場合に)実装される部品(とりわけ、電子部品)と実質的に同じサイズを有し得る。より具体的には、基板は、電気接続または電気回路網のためのキャリアとして、および、プリント回路基板(PCB)と同等の部品キャリアとして理解可能であるが、横方向におよび/または鉛直方向に配置された接続の密度が大幅に高くなる。横方向の接続は、例えば、導電経路であるのに対し、鉛直方向の接続は、例えば、ドリル穴であり得る。これらの横方向のおよび/または鉛直方向の接続は、基板内に配置され、かつ収められた部品または収められない部品(ベアダイなど)の、特にICチップの、プリント回路基板または中間プリント回路基板との電気的および/または機械的接続を提供するために使用可能である。よって、用語「基板」は「IC基板」も含む。基板の誘電部品は、強化粒子(強化球体、とりわけガラスの球体など)を有する樹脂から構成され得る。
基板またはインターポーザは、少なくともガラス層、シリコン(Si)層、またはエポキシ系ビルドアップ材料(エポキシ系ビルドアップフィルムなど)、またはポリイミド、ポリベンゾオキサゾール、もしくはベンゾシクロブテンのようなポリマー化合物のような光像形成可能なまたはドライエッチング可能な有機材料を含み得るまたはこれらから成り得る。
一実施形態において、上述される電気絶縁層構造のそれぞれは、樹脂(強化または非強化樹脂、例えば、エポキシ樹脂またはビスマレイミド-トリアジン樹脂など)、シアン酸エステル、ポリフェニレン誘導体、ガラス(とりわけ、ガラス繊維、多層ガラス、ガラス状材料)、プリプレグ材料(FR-4またはFR-5など)、ポリイミド、ポリアミド、液晶性ポリマー(LCP)、エポキシ系ビルドアップフィルム、ポリテトラフルオロエチレン(テフロン(登録商標))、セラミック、および金属酸化物から成るグループのうちの少なくとも1つを含む。例えば、ガラス(多層ガラス)から作られたウェブ、繊維、または球体などの強化材料も使用され得る。プリプレグ、特にFR4は、硬質のPCBにとって通常好ましいが、基板用の他の材料、とりわけエポキシ系ビルドアップフィルムも使用され得る。高周波用途では、ポリテトラフルオロエチレン、液晶性ポリマーおよび/またはシアン酸エステル樹脂などの高周波材料、低温同時焼成セラミック(LTCC)、または他の低、極低、もしくは超低DK材料が、電気絶縁層構造として部品キャリアにおいて実装され得る。
一実施形態では、上述される導電層構造のそれぞれは、銅、アルミニウム、ニッケル、銀、金、パラジウム、およびタングステンから成るグループのうちの少なくとも1つを含む。銅が通常は好ましいが、他の材料またはこれを被覆したもの、とりわけ、グラフェンなどの超伝導材料での被覆も可能である。
一実施形態において、半製品の部品キャリアまたは部品キャリアは、とりわけスタックで、部品キャリア材料に実装および/または埋め込まれる電子部品をさらに含む。例えば、電子部品は、配線構造を介して高周波信号を発するおよび/または受信するように構成され、かつ導電性配線構造と電気的に結合される高周波半導体チップであり得る。故に、電子部品は、高周波用途、とりわけ、1GHzを上回る周波数を伴う高周波用途を実行するように構成され得る。
少なくとも1つの部品は、部品キャリアに表面実装されおよび/または埋め込まれ得、かつとりわけ、非導電性インレイ、導電性インレイ(好ましくは、銅またはアルミニウムを含む金属インレイなど)、伝熱ユニット(例えば、ヒートパイプ)、導光素子(例えば、光導波路または導光体接続)、光学素子(例えば、レンズ)、電子部品、またはこれらの組み合わせから成るグループから選択できる。例えば、部品は、能動電子部品、受動電子部品、電子チップ、記憶デバイス(例えば、DRAMまたは別のデータメモリ)、フィルタ、集積回路、信号処理部品、電力管理部品、光電子インターフェース要素、発光ダイオード、フォトカプラ、電圧変換器(例えば、DC/DC変換器またはAC/DC変換器)、暗号化部品、送信機および/または受信機、電気機械トランスデューサ、センサ、アクチュエータ、微小電気機械システム(MEMS)、マイクロプロセッサ、コンデンサ、抵抗器、インダクタンス、電池、スイッチ、カメラ、アンテナ、論理チップ、ならびに環境発電ユニットであり得る。しかしながら、他の部品が部品キャリアに埋め込まれ得る。例えば、磁気素子は部品として使用可能である。そのような磁気素子は、永久磁性素子(強磁性素子、反強磁性素子、マルチフェロイック素子、もしくはフェリ磁性素子、例えばフェライトコアなど)であり得、または常磁性素子であり得る。しかしながら、部品はまた、例えば、基板内基板(board-in-board)構成の、基板、インターポーザ、またはさらなる部品キャリアであり得る。部品は、部品キャリアに表面実装され得る、および/または部品キャリアの内部に埋め込まれ得る。
一実施形態において、(半製品の)部品キャリアは積層型部品キャリアである。そのような一実施形態において、部品キャリアは、スタックされ、かつ押圧および/または熱を加えることによって共に接続される、複数層構造の合成物である。
半製品の部品キャリアまたは部品キャリアの内部層構造を処理した後、処理された層構造の1つまたは両方の対向する主面を、1つもしくは複数のさらなる電気絶縁層構造および/または導電層構造で対称的または非対称に(とりわけ、積層によって)覆うことが可能である。換言すれば、ビルドアップは所望の数の層が得られるまで続行され得る。
電気絶縁層構造および導電層構造のスタックの形成が完了した後、得られた層構造または部品キャリアの表面処理に進むことが可能である。とりわけ、電気絶縁性はんだレジストが、表面処理に関して、積層体または部品キャリアの1つまたは両方の対向する主面に適用され得る。例えば、はんだレジストなどを主面全体に形成し、続いてはんだレジストの層をパターニングして、部品キャリアを周辺電子機器に電気的に結合するために使用されるべき1つまたは複数の導電性表面部分を露出させることが可能である。はんだレジストで覆われたままの部品キャリアの表面部分、とりわけ、銅を含む表面部分は、酸化または腐食から効率的に保護され得る。
また、表面処理に関して、部品キャリアの露出した導電性表面部分に対して、表面仕上げを選択的に適用することが可能である。そのような表面仕上げは、部品キャリアの表面上の露出した導電層構造(とりわけ、銅を含むまたは銅から成る、パッド、導体トラックなど)に対する導電性被覆材料であり得る。そのような露出した導電層構造が保護されないままである場合、露出した導電性の部品キャリア材料(とりわけ、銅)が酸化して、部品キャリアの信頼性を低下させる場合がある。表面仕上げはさらにまた、例えば、表面実装された部品と部品キャリアとの間の接点として形成され得る。表面仕上げは、露出した導電層構造(とりわけ、銅回路)を保護し、かつ、例えば、はんだ付けによる1つまたは複数の部品との接合プロセスを可能にする機能を有する。表面仕上げに適切な材料の例は、有機はんだ付け性防腐剤(OSP)、無電解ニッケルめっき置換金めっき(ENIG)、金(とりわけ、硬質金)、化学錫、ニッケル金、ニッケルパラジウムなどである。
本発明の実施形態が異なる主題を参照して説明されていることに留意されたい。しかしながら、当業者であれば、他の注記がない限りは、上記および以下の説明から、主題の1つのタイプに属する特徴の任意の組み合わせに加えて、異なる主題に関連する特徴間の任意の組み合わせも本明細書により開示されているとみなされることを推測するであろう。
上に定められた態様および本発明のさらなる態様は、以降に説明される実施形態の例から明らかであり、実施形態の例を参照しながら説明される。本発明について、実施形態の例を参照しながら以降により詳細に説明するが、本発明はこれらに限定されない。
半製品の部品キャリア上の疑似欠陥を識別するためのAOIキャプチャ画像のAI処理用のアルゴリズムを示す図である。 部品キャリアの製造中に半製品の部品キャリアの欠陥をAI分類するためのシステムアーキテクチャを示す図である。 図2に示されるシステムアーキテクチャ内のデータフローを示す図である。
図面における例示は概略的である。異なる図において、同様のまたは同一の要素もしくは特徴には、同じ参照符号、または最初の一桁のみが対応する参照符号と異なる参照符号が与えられていることに留意されたい。不必要な繰り返しを回避するために、以前に説明した実施形態に関して既に説明されている要素または特徴について、その後の記載箇所では改めて説明しない。
図1は、半製品の部品キャリアの表面上で示されないAOIデバイスによって検出された疑似欠陥を識別するためのAOIキャプチャ画像のAI処理用のアルゴリズムを示す。AOI欠陥検出に頼る場合がある説明したアルゴリズムは、多層部品キャリアのそれぞれの層に対して実行可能である。そのような多層部品キャリアは、導電層構造および電気絶縁層構造を交互の順序で互いに順次積層することによって製作可能である。多層部品キャリアを製造するプロセスは当業者には周知であるため、このプロセスについての詳細は本明細書では説明しない。
説明したAI処理アルゴリズムは、半製品の部品キャリア180の表面から画像をキャプチャすることから開始し、ここで、既知のAOI欠陥識別に従って、半製品の部品キャリア180の表面全体のいくつかの部分的画像が提供される。これによって、これらの部分的画像のそれぞれの部分画像は好ましくは、AOIデバイスによって、とりわけ、パターニングされた導電層上の少なくとも1つの欠陥を含むとみなされている。そのような欠陥は、例えば、パターニングされた導電層の導体トレースの誤った接続、または導体トレースの誤った分離であり得る。
説明したアルゴリズムによれば、AOIデバイスは、それぞれの仮定または潜在的欠陥領域182について、2つのAOI画像、すなわち、第1のAOI画像171および第2のAOI画像172を提供する。第1のAOI画像171は、第1の分光組成を有する第1の照明光171aによってキャプチャされている。本明細書に説明される実施形態によると、第1の照射171aは赤色光を含む。第2のAOI画像172は、第2の分光組成を有する第2の照射172aによってキャプチャされている。本明細書に説明される実施形態によると、第2の照射172aは青色光を含む。
2つのAOI画像171および172のそれぞれの画像は好ましくは、2つのAOI画像171、172のそれぞれの画素に対してキャプチャされた(グレースケール)値を含むデータセット184によって表される。本明細書に説明される実施形態によると、2つの画像は60×60=3600画素の画素数を有する。これは比較的小さい数であり、当然ながら、2つの画像171、172の比較的小さい空間分解能に対応し、この画像のそれぞれは、半製品の部品キャリア180の表面全体の部分領域のみを示していることで、少ない計算量でリアルタイムの処理の範囲内で説明したアルゴリズムを実現することが可能になる。
この点で、当然ながら、2つの画像171および172がまた、部分領域だけでなく、半製品の部品キャリア180の表面全体も示すことができることは述べられるべきである。しかしながら、表面全体を示す画像をさらに処理する時、以下のニューラルネットワーク処理のために必要とされる計算リソースは著しく増大することになる。さらに、半製品の部品キャリアの表面全体を使用することは、比較的小さい部分領域のみが潜在的欠陥を示す場合、ニューラルネットワーク処理の訓練および認識プロセスを困難にするが、これは、単純に言うと、ニューラルネットワークがどこを見るべきか知らないからである。故に、ニューラルネットワークは、画像171および/または画像172の関係のない特徴を捉えることになる。計算量の増大とは別に、これらの関係のない特徴によって、また、ニューラルネットワーク処理の信頼性が低くなる場合がある。
説明したアルゴリズムは、第1のAOI画像171および第2のAOI画像172のうちの少なくとも1つに基づいて、半製品の部品キャリア180の(部分領域の)仮想の第3の画像を生成することを進める。仮想の第3の画像は、第1の分光組成および第2の分光組成の両方と異なる第3の分光組成を有する仮想の第3の照射下の対応する部分領域の表現を含む。本明細書に説明される実施形態によると、第3の分光組成は(仮想の)緑色照明光を含む。
仮想の第3の画像を生成する基本原理は、上述されており、本明細書を簡潔にするために、ここで改めて繰り返すことはしない。
本明細書に説明される実施形態によると、仮想の第3の画像を生成する前に、第1のAOI画像171および第2のAOI画像172の画素値のオプションの正規化が実行されている。この正規化によって、画素値は正規化された値に変換される。正規化された値によって、3つの画像のさらなる処理が容易になる。
図1から分かるように、説明したアルゴリズムは3つの画像のAI処理を進める。このAI処理は、複数のAI層を伴う(従来の)畳み込みニューラルネットワーキングで実行される第1のAI処理145を含む。第2のAI処理147では、異なる層の結果またはそれぞれの層のニューラルノードは、いわゆる完全接続ネットワークによって互いに論理的に相互接続される。これらのタイプのAI処理の基本原理は、当業者に周知であるため、本明細書を簡潔にするために、詳細に説明されない。
AI処理145および147の結果は欠陥分類149であり、これはそれぞれの潜在的欠陥の改善された識別を含み、それぞれの潜在的欠陥は、この欠陥が真の欠陥であるかまたは疑似欠陥であるかについて、既知ではあるが信頼性は低いAOI欠陥識別画像処理によるAOIデバイスによって以前に識別されている。これによって、対応する半製品の部品キャリアを再加工するために使用される欠陥リストから疑似欠陥を除去することが可能になる。そのような統合リストが、真の欠陥である欠陥のみを示し、かつ非常に少数の疑似欠陥のみを有することで、適した後処理になるように作業負荷が著しく減少することが明らかである。疑似欠陥と関連がある後処理の作業負荷を回避することによって、部品キャリアの製造全体がより効果的になる。
図2は、部品キャリアの製造中の半製品の部品キャリアの欠陥をAI分類するためのシステムアーキテクチャ200を示す。システムアーキテクチャ200は、既知のAOIデバイス212、AOIデータ処理デバイス214、およびAOIデータ記憶デバイス216を含むAOIシステム210を備える。AOIデバイス212は、市販のAOIデバイス212であり得る。本発明の実施形態によれば、AOIデバイス212は、半製品の部品キャリアの自動光学的検査を行うように構成され、ここで、2つの画像は、異なる照射条件下で対応する半製品の部品キャリアからキャプチャされる。上に既に述べられているように、第1の画像をキャプチャするために使用される第1の照明光は赤色光を含み、第2の画像をキャプチャするために使用される第2の照明光は青色光を含む。
2つの生成された画像は、AOIデータ処理デバイス214に提供される。本明細書に説明される実施形態によると、AOIデータ処理デバイス214は、異なる半製品の部品キャリアからキャプチャされた複数のまたは2つの画像を管理するように構成される画像管理システム(IMS)を表す。AOIデータ記憶デバイス216はこれらの画像を少なくとも一時的に記憶する。AOIデータ処理デバイス214は、AOIデバイス212によって検査されたそれぞれの半製品の部品キャリアに対して、潜在的欠陥を識別するように構成される。
本明細書に説明される実施形態によると、既知のAOIシステム210によれば、AOIデータ処理デバイス214は、ワークステーション218と通信可能に結合され、このワークステーション218においてまたはこれによって、半製品の部品キャリアの表面における(真の欠陥の)修復が実行可能である。既に上に述べられているように、典型的にはAOIデータ処理デバイス214によってレポートされる多数の疑似欠陥によって、潜在的に欠陥がある半製品の部品キャリアを後処理するための作業負荷が増大する。本明細書では、ワークステーション218はまた、修復確認システム(VRS)と呼ばれる。
疑似欠陥を取り扱うことと関連付けられたこの全く無用な作業負荷を低減するために、説明したシステムアーキテクチャ200は標準データインターフェース220を備え、これによって、疑似欠陥の(外部)識別が可能になる。具体的には、本明細書に説明される実施形態によると、(a)キャプチャされた画像(例えば、画像のグレースケール画素値)、および(b)AOIシステム210によって識別される(潜在的な)欠陥についての情報は、少なくとも1つのアプリケーションサーバ232を備えるアプリケーションシステム230に転送される。オプションのクライアントコンピュータ234は、オペレータが、説明したシステムアーキテクチャ200による欠陥分類および/またはAOI処理全体を遠隔位置からでも制御および/または監視することを可能するためにアプリケーションシステム230に接続される。
図2から分かるように、説明したシステムアーキテクチャ200は、企業資源計画(ERP)サーバ252および機械実行システム(MES)254を含む制御システム250をさらに備える。ERPサーバ252およびMES254は、AIを利用したAOI欠陥識別(情報)と、部品キャリア製造プロセス全体のロジスティックデータとの相関および/または位置調整を行うために使用される。これらのロジスティックデータは、例えば、ロット番号、(それぞれの半製品および/または最終の部品キャリアに対する)識別番号、担当オペレータについての情報などを含み得る。このロジスティックデータは、例えば、部品キャリア製造プロセス全体の全ての段階のトレーサビリティに使用され得る。
説明したシステムアーキテクチャ200は、AIシステム240およびデータ記憶システム260をさらに備える。AIシステム240およびデータ記憶システム260は両方共、アプリケーションシステム230と通信可能に接続される。AIシステム240は好ましくは、深層学習AI処理を行うように構成されるいくつかのAIサーバ242を備える。データ記憶システム260は、本明細書に説明される実施形態によると、SQLデータストレージ262およびファイルサーバ264を備える。
説明したシステムアーキテクチャ200の動作中、アプリケーションシステム230は、標準データインターフェース220を介してAOIシステム210から、AOIシステム210のAOIデータ処理デバイス214よって識別された(それぞれの画像における)潜在的欠陥についての情報と共にキャプチャされた画像を受信する。この情報は全て、潜在的欠陥の疑似欠陥を識別することが可能であるAIシステム240に転送される。
疑似欠陥についての情報は、アプリケーションシステム230に返送される。それにより、それぞれの画像について、(i)疑似欠陥であると分かった欠陥、および/または真の欠陥であると分かった欠陥は、適切なやり方でラベル付けされる。ラベル付けされた画像はデータ記憶システム260に記憶される。記憶されたラベル付けされた画像は、その後、いつでも、深層学習AIシステム240の訓練を改善するために使用可能である。
疑似欠陥および/または真の欠陥についての情報はさらに、(標準データインターフェース220を介して)AOIシステム210に伝達される。ここで、疑似欠陥情報は、AOIデータ処理デバイス214によって識別された疑似欠陥についてワークステーション218(のオペレータ)に通知するために使用される。故に、ワークステーション218(のオペレータ)は、疑似欠陥から「解放」され、かつ真の欠陥の後処理に集中できる。
図3は、システムアーキテクチャ200内のデータフローを示す。AOIシステム212は、キャプチャされた画像をリアルタイムでAOIデータ処理デバイス214のIMSに転送し、ここで、(事前の)AOI欠陥識別は既知のやり方で実行される。対応する情報はデータアーカイブファイル「*.VRS」に追加される。このアーカイブファイル「*.VRS」は、既知のやり方で、ワークステーション/修復確認システム(VRS)218と共有される。
図3から分かるように、AOIデータ処理デバイス214のIMSは、キャプチャされた画像を、対応する半製品の部品キャリアの潜在的欠陥についての(事前の)情報と共に、AIシステム240に転送する。AIシステム240は、上述のAI欠陥分類を行う。AIシステム240は、以前キャプチャされた(かつAI処理された)画像について、真の欠陥および疑似欠陥を示すデータによって既知のやり方で訓練可能である。本明細書に説明される実施形態によると、これらのデータは、AIシステム240に接続されるSQLデータストレージ262上に適切な判定履歴を有するアーカイブとして記憶される。
AIシステム240によって識別された疑似(警告)欠陥についての全ての情報は、(示されない標準データインターフェースを介して)ワークステーション/VRS218に転送される。この情報に基づいて、ワークステーション/VRS218(のオペレータ)は、AOIデバイス212およびAOIデータ処理デバイス214を備えるAOIシステム210によって識別される潜在的欠陥の疑似欠陥を無視することができる。
用語「備える」は他の要素または段階を除外せず、冠詞「a」または「an」の使用は複数を除外しないことは留意されるべきである。異なる実施形態と関連して説明された要素も組み合わせられてよい。請求項における参照符号が特許請求の範囲を限定すると解釈されるべきではないことも留意されるべきである。
145 畳み込みニューラルネットワークによるAI処理
147 完全接続ネットワークによるAI処理
149 欠陥分類
171 第1のAOI画像
171a 第1の照射
172 第2のAOI画像
172a 第2の照射
173 仮想の第3の画像
180 半製品の部品キャリア
182 潜在的欠陥領域
184 データセット/グレースケール値
200 システムアーキテクチャ
210 AOIシステム
212 AOIデバイス
214 AOIデータ処理デバイス/IMSクラスタ
216 AOIデータ記憶デバイス
218 ワークステーション
220 標準データインターフェース
230 アプリケーションシステム
232 アプリケーションサーバ
234 クライアントコンピュータ
240 AIシステム
242 AIサーバ
250 制御システム
252 ERPサーバ
254 機械実行システム
260 データ記憶システム
262 SQLデータストレージ
264 ファイルサーバ

Claims (26)

  1. 部品キャリアを製造するおよび/またはチェックするおよび/または試験するための方法であって、
    (a)半製品の部品キャリアまたは部品キャリアを自動または半自動光学的検査デバイスに供給する段階と、
    (b)前記自動または半自動光学的検査デバイスによって前記半製品の部品キャリアまたは前記部品キャリアの自動または半自動光学的検査を行う段階であって、前記自動または半自動光学的検査を行うことは、
    第1の照射によって前記半製品の部品キャリアまたは前記部品キャリアの第1の画像をキャプチャする段階と、
    第2の照射によって前記半製品の部品キャリアまたは前記部品キャリアの第2の画像をキャプチャする段階であって、前記第1の照射は前記第2の照射の第2の分光組成と異なる第1の分光組成を有する、キャプチャする段階と、
    前記第1の画像および前記第2の画像のうちの少なくとも1つを示す実データセットを、前記半製品の部品キャリアまたは前記部品キャリアの基準画像を示す基準データセットと比較する段階と、
    前記実データセットと前記基準データセットとの比較の結果に基づいて前記半製品の部品キャリアまたは前記部品キャリアの潜在的欠陥を識別する段階とを含む、
    行う段階と、
    (c)前記半製品の部品キャリアまたは前記部品キャリアの品質分類を実行する段階であって、前記品質分類を実行することは、
    前記第1の画像および前記第2の画像のうちの少なくとも1つに基づいて、前記半製品の部品キャリアまたは前記部品キャリアの仮想の第3の画像を生成する段階であって、前記第3の画像は、前記第1の分光組成および前記第2の分光組成の両方と異なる第3の分光組成を有する仮想の第3の照射下の前記半製品の部品キャリアまたは前記部品キャリアを示す、生成する段階と、
    人工知能を適用することによって前記第1の画像、前記第2の画像、および前記第3の画像を処理する段階と、
    前記人工知能の処理に基づいて識別された前記潜在的欠陥を分類する段階と
    を含む、実行する段階と、
    (d)実行された前記品質分類に基づいて対策を取る段階と
    を含む、方法。
  2. 前記識別された潜在的欠陥を分類する段階は、真の欠陥および疑似欠陥において前記識別された潜在的欠陥を分類する段階を含む、請求項1に記載の方法。
  3. 前記第1の分光組成は少なくとも1つの第1の波長を含み、前記第2の分光組成は少なくとも1つの第2の波長を含み、前記第3の分光組成は、波長目盛において、前記第1の波長と前記第2の波長との間に位置する少なくとも1つの第3の波長を含む、請求項1または請求項2に記載の方法。
  4. 前記第1の分光組成は赤色光を含み、前記第2の分光組成は青色光を含む、請求項3に記載の方法。
  5. 前記第3の分光組成は緑色光を含む、請求項4に記載の方法。
  6. 前記半製品の部品キャリアまたは前記部品キャリアの前記品質分類を実行する段階は、前記仮想の第3の画像を生成後、かつ人工知能を適用することによって前記第1の画像、前記第2の画像、および前記第3の画像を処理する前に、
    前記第1の画像、前記第2の画像、および前記第3の画像のうちの少なくとも1つの画素値を変換する段階であって、前記第1の画像、前記第2の画像、および前記第3の画像の前記処理は変換された前記画素値で実行される、変換する段階
    をさらに含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記第1の画像、前記第2の画像、および前記第3の画像を処理する段階は、(i)前記第1の画像の第1の部分画像の第1のグループ、(ii)前記第2の画像の第2の部分画像の第2のグループ、および(iii)前記第3の画像の第3の部分画像の第3のグループによって実行され、
    それぞれの部分画像は少なくとも1つの識別された潜在的欠陥を示す、
    請求項1から6のいずれか一項に記載の方法。
  8. 部分画像のそれぞれのグループは、厳密に、1つの半製品の部品キャリアまたは1つの部品キャリアに割り当てられる、請求項7に記載の方法。
  9. それぞれの部分画像は、200×200画素より小さい、とりわけ、100×100画素より小さい画素サイズを有する、請求項7または8に記載の方法。
  10. 前記半製品の部品キャリアまたは前記部品キャリアは、複数の個々の半製品の部品キャリアまたは複数の個々の部品キャリアを含むパネルである、請求項1から9のいずれか一項に記載の方法。
  11. 取られる前記対策は、処理段階に介入せずに前記部品キャリアの製造を続行することである、請求項1から10のいずれか一項に記載の方法。
  12. 取られる前記対策は、前記品質分類において、前記半製品の部品キャリアまたは前記部品キャリアの修復可能な真の欠陥が示される時に前記半製品の部品キャリアまたは前記部品キャリアを修復する段階を含む、請求項1から10のいずれか一項に記載の方法。
  13. いくつかの事前定義されたタイプの欠陥の中のあるタイプの欠陥を示すことによって真の欠陥を分類する段階をさらに含む、請求項1から12のいずれか一項に記載の方法。
  14. 前記方法は、人間であるオペレータの対話を全く伴うことなく実行される、請求項1から13のいずれか一項に記載の方法。
  15. 前記第1の画像、前記第2の画像、および前記仮想の第3の画像は、2次元画像を含む、請求項1から14のいずれか一項に記載の方法。
  16. 前記第1の画像、前記第2の画像、および前記仮想の第3の画像は、3次元画像を含む、請求項1から15のいずれか一項に記載の方法。
  17. 前記自動または半自動光学的検査を行う段階および前記品質分類を実行する段階は、形成された導体トレースの品質を評価するために、前記半製品の部品キャリアまたは前記部品キャリアの電気伝導体トレースを形成するために金属層をパターニングした後に行われる、請求項1から16のいずれか一項に記載の方法。
  18. 人工知能を適用することによる処理および/または人工知能の処理は、ユーザインターフェースデバイスを介してユーザから入力されるデータによって前記処理を更新することを含む、請求項1から17のいずれか一項に記載の方法。
  19. 人工知能を適用することによる処理および/または人工知能の処理は、機械学習によって、とりわけ、深層学習によって前記処理を更新することを含む、請求項1から18のいずれか一項に記載の方法。
  20. 機械学習による前記処理を更新することは、前記人工知能を訓練するために機械学習による処理の間にデータを記憶することを含む、請求項19に記載の方法。
  21. 部品キャリアの製造中に半製品の部品キャリアを取り扱うためのシステムであって、
    (a)半製品の部品キャリアまたは部品キャリアを自動または半自動光学的検査デバイスに供給するためのデバイスと、
    (b)前記半製品の部品キャリアまたは前記部品キャリアの自動または半自動光学的検査を行うための前記自動または半自動光学的検査デバイスであって、前記自動または半自動光学的検査デバイスは、
    第1の照射によって前記半製品の部品キャリアまたは前記部品キャリアの第1の画像をキャプチャすることと、
    第2の照射によって前記半製品の部品キャリアまたは前記部品キャリアの第2の画像をキャプチャすることであって、前記第1の照射は前記第2の照射の第2の分光組成と異なる第1の分光組成を有する、キャプチャすることと、
    前記第1の画像および前記第2の画像のうちの少なくとも1つを示す実データセットを、前記半製品の部品キャリアまたは前記部品キャリアの基準画像を示す基準データセットと比較することと、
    前記実データセットと前記基準データセットとの比較の結果に基づいて前記半製品の部品キャリアまたは前記部品キャリアの潜在的欠陥を識別することと
    を行うように構成される、自動または半自動光学的検査デバイスと、
    (c)前記半製品の部品キャリアの品質分類を実行するために前記自動または半自動光学的検査デバイスと通信可能に結合されるデータ処理デバイスであって、前記データ処理デバイスは、
    前記第1の画像および前記第2の画像のうちの少なくとも1つに基づいて、前記半製品の部品キャリアの仮想の第3の画像を生成することであって、前記第3の画像は、前記第1の分光組成および前記第2の分光組成の両方と異なる第3の分光組成を有する仮想の第3の照射下の前記半製品の部品キャリアまたは前記部品キャリアを示す、生成することと、
    人工知能を適用することによって前記第1の画像、前記第2の画像、および前記第3の画像を処理することと、
    前記人工知能の処理に基づいて真の欠陥および疑似欠陥において識別された前記潜在的欠陥を分類することと
    を行うように構成される、データ処理デバイスと、
    (d)実行された前記品質分類に基づいて対策を取るための実行デバイスと
    を備える、システム。
  22. 部品キャリアを製造するためのコンピュータプログラムであって、前記コンピュータプログラムは、1つまたは複数のプロセッサ、データプロセッサによって実行される時、請求項1から20のいずれか一項に記載の方法を制御するおよび/または実行するように適応される、コンピュータプログラム。
  23. 部品キャリアの製造中に、とりわけ、請求項1から20のいずれか一項に記載の方法によって部品キャリアを製造中に、半製品の部品キャリアの欠陥を分類するためのシステムアーキテクチャであって、前記システムアーキテクチャは、
    (a)前記半製品の部品キャリアの自動または半自動光学的検査を行うための自動または半自動光学的検査システムであって、
    前記半製品の部品キャリアまたは前記部品キャリアの少なくとも1つの画像をキャプチャするように構成される自動または半自動光学的検査デバイスと、
    データ処理デバイスであって、
    (i)前記少なくとも1つのキャプチャされた画像を受信することと、
    (ii)前記少なくとも1つのキャプチャされた画像を示す実データセットを、前記半製品の部品キャリアまたは前記部品キャリアに対する基準画像を示す基準データセットと比較することと、
    (iii)前記実データセットと前記基準データセットとの比較の結果に基づいて前記半製品の部品キャリアまたは前記部品キャリアの潜在的欠陥を識別することと
    を行うように構成される、データ処理デバイスと
    を有する、自動または半自動光学的検査システムと、
    (b)標準データインターフェースと、
    (c)アプリケーションシステム(230)であって、
    少なくとも1つの前記キャプチャされた画像および識別された前記潜在的欠陥に関連する画像情報を交換するために前記標準データインターフェースを介して前記自動または半自動光学的検査システムと通信可能に結合される少なくとも1つのアプリケーションサーバを有し、
    前記少なくとも1つのアプリケーションサーバは前記画像情報を処理するように構成される、
    アプリケーションシステムと、
    (d)人工知能システムであって、前記アプリケーションサーバと前記画像情報を交換するために前記アプリケーションシステムと通信可能に結合される少なくとも1つの人工知能サーバを有し、
    前記少なくとも1つの人工知能サーバは、
    (i)交換された前記画像情報を処理することと、
    (ii)人工知能の処理に基づいて、前記識別された潜在的欠陥を真の欠陥および疑似欠陥に分類することと、
    (iii)真の欠陥および疑似欠陥についての情報を少なくとも前記アプリケーションサーバと交換することと
    を行うように構成される、人工知能システムと
    を備える、システムアーキテクチャ。
  24. 前記アプリケーションシステムと通信可能に結合され、かつ
    (i)複数の個々の半製品の部品キャリアまたは個々の部品キャリアの識別情報を記憶することと、
    (ii)少なくとも前記半製品の部品キャリアまたは前記部品キャリアに関する自動光学的検査測定結果または半自動光学的検査測定結果を受信することであって、前記自動光学的検査測定結果または前記半自動光学的検査測定結果は前記識別された潜在的欠陥についての情報を含む、受信することと、
    (iii)少なくとも前記半製品の部品キャリアまたは前記部品キャリアに対する真の欠陥および疑似欠陥についての前記情報を受信することと、
    (iv)受信される前記自動光学的検査測定結果および受信される前記真の欠陥および疑似欠陥についての情報を記憶された前記識別情報に割り当てることと
    を行うように構成される、制御システム
    をさらに備える、請求項23に記載のシステムアーキテクチャ。
  25. 前記アプリケーションシステムと通信可能に結合され、かつ複数の半製品の部品キャリアに関するラベル付け画像情報を記憶するように構成されるデータ記憶システムであって、それぞれのラベル付け画像情報は、(i)前記少なくとも1つのキャプチャされた画像および前記識別された潜在的欠陥に関連する前記画像情報、および(ii)それぞれの識別された潜在的欠陥について、疑似欠陥であるかどうかを示すラベル情報を含む、データ記憶システム
    をさらに備える、請求項23または24に記載のシステムアーキテクチャ。
  26. 前記自動光学的検査システムは、複数のキャプチャされた画像のそれぞれについて、前記データ記憶システムから受信された関連の前記ラベル情報を記憶するための自動光学的検査データ記憶デバイスをさらに備える、請求項25に記載のシステムアーキテクチャ。
JP2022036830A 2021-03-12 2022-03-10 部品キャリアの製造方法、取り扱いシステム、コンピュータプログラム、およびシステムアーキテクチャ Active JP7302800B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110269628.1A CN113032919B (zh) 2021-03-12 2021-03-12 部件承载件制造方法、处理系统、计算机程序和系统架构
CN202110269628.1 2021-03-12

Publications (2)

Publication Number Publication Date
JP2022140391A JP2022140391A (ja) 2022-09-26
JP7302800B2 true JP7302800B2 (ja) 2023-07-04

Family

ID=76470083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022036830A Active JP7302800B2 (ja) 2021-03-12 2022-03-10 部品キャリアの製造方法、取り扱いシステム、コンピュータプログラム、およびシステムアーキテクチャ

Country Status (5)

Country Link
US (1) US20220292660A1 (ja)
EP (1) EP4057230A1 (ja)
JP (1) JP7302800B2 (ja)
CN (1) CN113032919B (ja)
TW (1) TWI788239B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023272421A1 (en) * 2021-06-28 2023-01-05 Shenzhen Xpectvision Technology Co., Ltd. Battery film testing with imaging systems
CN117333467B (zh) * 2023-10-16 2024-05-14 山东景耀玻璃集团有限公司 基于图像处理的玻璃瓶瓶身瑕疵识别检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019124591A (ja) 2018-01-17 2019-07-25 東京エレクトロン株式会社 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体
CN111054638A (zh) 2019-11-27 2020-04-24 奥特斯科技(重庆)有限公司 制造部件承载件的方法及在制造期间操控面板的设备
CN111788476A (zh) 2018-02-26 2020-10-16 株式会社高迎科技 部件贴装状态的检查方法、印刷电路板检查装置及计算机可读记录介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7714996B2 (en) * 2007-01-23 2010-05-11 3i Systems Corporation Automatic inspection system for flat panel substrate
KR100902170B1 (ko) * 2008-05-19 2009-06-10 (주)펨트론 표면형상 측정장치
DE102013109915B4 (de) * 2013-09-10 2015-04-02 Thyssenkrupp Steel Europe Ag Verfahren und Vorrichtung zur Überprüfung eines Inspektionssystems zur Erkennung von Oberflächendefekten
JP6667541B2 (ja) * 2015-01-31 2020-03-18 ベンタナ メディカル システムズ, インコーポレイテッド スライドサムネイル画像を使用する関心範囲検出のためのシステム及び方法
CN106770362B (zh) * 2016-12-27 2019-12-31 武汉精测电子集团股份有限公司 基于aoi的宏观缺陷检测装置及方法
JP7095966B2 (ja) * 2017-09-22 2022-07-05 株式会社Screenホールディングス 検査装置および検査方法
US10615067B2 (en) * 2018-05-18 2020-04-07 Kla-Tencor Corporation Phase filter for enhanced defect detection in multilayer structure
US10867108B2 (en) * 2018-09-18 2020-12-15 Taiwan Semiconductor Manufacturing Co., Ltd. Optical mode optimization for wafer inspection
US10949964B2 (en) * 2018-09-21 2021-03-16 Kla Corporation Super-resolution defect review image generation through generative adversarial networks
KR102264677B1 (ko) * 2018-11-27 2021-06-15 주식회사 고영테크놀러지 기판에 대한 검사 결과를 표시하는 전자 장치 및 방법
JP7257162B2 (ja) * 2019-02-08 2023-04-13 株式会社キーエンス 検査装置
CN110033035A (zh) * 2019-04-04 2019-07-19 武汉精立电子技术有限公司 一种基于强化学习的aoi缺陷分类方法及装置
CN110349114A (zh) * 2019-05-24 2019-10-18 江西理工大学 应用于aoi设备的图像增强方法、装置及道路视频监控设备
CN110579479A (zh) * 2019-08-09 2019-12-17 康代影像科技(苏州)有限公司 一种基于假点缺陷检测的pcb检修系统及检修方法
CN111079564B (zh) * 2019-11-27 2021-06-01 奥特斯科技(重庆)有限公司 处理部件承载件的方法及光学检查设备和计算机可读介质
JP6857756B2 (ja) * 2020-01-31 2021-04-14 日東電工株式会社 配線回路基板の製造方法および検査方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019124591A (ja) 2018-01-17 2019-07-25 東京エレクトロン株式会社 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体
CN111788476A (zh) 2018-02-26 2020-10-16 株式会社高迎科技 部件贴装状态的检查方法、印刷电路板检查装置及计算机可读记录介质
CN111054638A (zh) 2019-11-27 2020-04-24 奥特斯科技(重庆)有限公司 制造部件承载件的方法及在制造期间操控面板的设备

Also Published As

Publication number Publication date
EP4057230A1 (en) 2022-09-14
US20220292660A1 (en) 2022-09-15
TW202235858A (zh) 2022-09-16
JP2022140391A (ja) 2022-09-26
CN113032919A (zh) 2021-06-25
TWI788239B (zh) 2022-12-21
CN113032919B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
JP7302800B2 (ja) 部品キャリアの製造方法、取り扱いシステム、コンピュータプログラム、およびシステムアーキテクチャ
US11935221B2 (en) User interface for judgment concerning quality classification of displayed arrays of component carriers
US20210158499A1 (en) AI-based Automatic Judgment Unit for Quality Classification of Semifinished Component Carriers of a Panel Based on Automatic Optical Inspection
JP6984106B2 (ja) パッド型アラインメントマーカおよびホール型アラインメントマーカを組み合わせた評価によるコンポーネントキャリア構造の位置調整
CN110546643B (zh) 部件承载件相关主体的后续制造层结构的通过横向且竖向移位的信息承载结构的可追溯性
TWI813036B (zh) 設計用以執行品質測試的試樣之電腦實施系統、電腦實施方法、電腦可讀取媒體、程式元件和方法
TWI806185B (zh) 用於評估組件載體結構品質的測試目標缺陷識別與評估
EP3982134A1 (en) Automated quality testing of component carrier structure after removing material
US20220043435A1 (en) AI-Based Determination of Action Plan for Manufacturing Component Carriers
EP3982132A1 (en) Coupon for testing quality of related component carriers by automated quality test apparatus
KR200497750Y1 (ko) 부품 캐리어를 제조하는 동안 부품 캐리어를 점검하기 위한 부품 캐리어 점검 스테이션
Acciani et al. AOI based neurofuzzy system to evaluate solder joint quality
CN116634665A (zh) 半成品、包括半成品的装置以及制造部件承载件的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230613

R150 Certificate of patent or registration of utility model

Ref document number: 7302800

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150