JP7482624B2 - 不良検知方法および不良検知装置 - Google Patents

不良検知方法および不良検知装置 Download PDF

Info

Publication number
JP7482624B2
JP7482624B2 JP2019226698A JP2019226698A JP7482624B2 JP 7482624 B2 JP7482624 B2 JP 7482624B2 JP 2019226698 A JP2019226698 A JP 2019226698A JP 2019226698 A JP2019226698 A JP 2019226698A JP 7482624 B2 JP7482624 B2 JP 7482624B2
Authority
JP
Japan
Prior art keywords
data
series sensor
sensor data
array
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019226698A
Other languages
English (en)
Other versions
JP2020126601A (ja
Inventor
ジャンファン リ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of JP2020126601A publication Critical patent/JP2020126601A/ja
Application granted granted Critical
Publication of JP7482624B2 publication Critical patent/JP7482624B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4063—Monitoring general control system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267—Fault communication, e.g. human machine interface [HMI]
    • G05B23/0272—Presentation of monitored results, e.g. selection of status reports to be displayed; Filtering information to the user
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
    • G05B23/0281—Quantitative, e.g. mathematical distance; Clustering; Neural networks; Statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32222—Fault, defect detection of origin of fault, defect of product
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/34—Director, elements to supervisory
    • G05B2219/34477—Fault prediction, analyzing signal trends
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Description

本発明は、不良検知方法および不良検知装置に関し、特にトレースデータ（ｔｒａｃｅ ｄａｔａ）等でトレーニングした機械学習モデル、例えば畳み込みニューラルネットワークモデル（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を用いて不良を検知する装置および方法に関する。
本出願は、２０１９年２月５日に米国特許庁に出願した米国特許出願番号第６２／８０１，３９３号の優先権を主張し、ここに引用することによってこの出願の全体内容を本願に含む。
近年モバイル表示装置産業が急激に成長している。新しい類型の表示パネルと製造方法および工程が用いられ、かつ製品仕様が厳格になるにつれ品質を維持するための装備の改良と品質管理方法が必要である。品質管理の尺度は、早期不良検知（ｅａｒｌｙ ｆａｕｌｔ ｄｅｔｅｃｔｉｏｎ）、異常工程状態の予測（ａｂｎｏｒｍａｌ ｐｒｏｃｅｓｓ ｓｔａｔｕｓ ｐｒｅｄｉｃｔｉｏｎ）および品質不良の予測（ｑｕａｌｉｔｙ ｆａｕｌｔ ｐｒｅｄｉｃｔｉｏｎ）等を提供することができる。
表示装置の製造工程で発生する不良状態の特性を理解するために、トレースデータ（ｔｒａｃｅ ｄａｔａ）分析を行い得る。トレースデータは、情報システムを通じて着手した活動記録（ｒｅｃｏｒｄｓ ｏｆ ａｃｔｉｖｉｔｙ）で定義することができる。トレース（ｔｒａｃｅ）は、状態（ｃｏｎｄｉｔｉｏｎ）および／または経路（ｐａｓｓａｇｅ）のしるし（ｓｉｇｎ）として残ったマーク（ｍａｒｋ）であり、その過程で注目のイベント（ｅｖｅｎｔ ｏｆ ｉｎｔｅｒｅｓｔ）（例えば欠陥）が発生した証拠として記録される。トレースデータに対して情報システムはデータ収集および分析ツールとしての役割をする。
製造過程で収集したトレースデータを用いて欠陥パネルを検知する分類器を具備および実行する必要がある。トレースデータは不良状態を検知または予測する情報を含まなければならない。現在、トレースデータは多様な製造過程で収集したセンサ入力の単なる集合である。このようなトレースデータは、表示パネルの欠陥の原因となる、またはそれと関連する不良状態を検知または予測できる情報を有している。
本発明が解決しようとする課題は、表示装置など多様な電子機器の製造工程で取得したセンサデータを機械学習モデルに適用して不良状態または欠陥を検知または予測することである。
本発明の一実施形態による不良検知方法は、一つ以上の電子機器の製造工程で取得した複数の時系列センサデータ（ｔｉｍｅ－ｓｅｒｉｅｓ ｓｅｎｓｏｒ ｄａｔａ）を受信する段階と、前記複数の時系列センサデータを二次元データアレイ内に配列する段階と、前記二次元データアレイを畳み込みニューラルネットワークモデルに提供する段階と、前記畳み込みニューラルネットワークモデルを用いて不良状態と相関する前記二次元データアレイ内のパターンを識別する段階と、前記一つ以上の電子機器の製造工程で前記不良状態の不良指標（ｆａｕｌｔ ｉｎｄｉｃａｔｏｒ）を提供する段階と、前記不良指標に基づいて前記電子機器が不良を含んでいるのかを分類する段階と、を含み、前記二次元データアレイは、前記畳み込みニューラルネットワークモデルに対する入力データの次元（ｄｉｍｅｎｓｉｏｎ）を有する。
本発明の一実施形態による不良検知方法は、第１フォーマットの第１データセットで事前トレーニング済みの畳み込みニューラルネットワークモデルを提供する段階と、第２フォーマットの第２データセットを受信する段階と、前記第２データセットの前記第２フォーマットを前記第１フォーマットに変換して第３データセットを生成する段階と、前記畳み込みニューラルネットワークモデルを前記第３データセットで再トレーニングする段階と、更新された畳み込みニューラルネットワークモデルを求める段階と、を含む。
本発明の一実施形態による不良検知装置は、プロセッサと、プロセッサ実行可能命令を保存するメモリと、を含み、前記プロセッサは、データ分析モデルを実行し、前記データ分析モデルは、データ処理モジュールおよび分類器を含み、前記データ処理モジュールは、一つ以上の電子機器の製造工程で取得した複数の時系列センサデータ（ｔｉｍｅ－ｓｅｒｉｅｓ ｓｅｎｓｏｒ ｄａｔａ）を受信し、前記複数の時系列センサデータを二次元データアレイ内に配列し、前記分類器は、不良状態と相関する前記二次元データアレイ内のパターンを識別し、前記一つ以上の電子機器の製造工程で前記不良状態の不良指標（ｆａｕｌｔ ｉｎｄｉｃａｔｏｒ）を提供し、前記不良指標に基づいて前記電子機器が不良を含むと判断する。
このように電子機器の製造工程で取得したセンサデータを機械学習モデルに適用することによって不良状態または欠陥を検知または予測することができる。
本発明の一実施形態による未加工トレースデータの変換方法を示す。 数値データを二次元映像類似データに変換する三つの例を示す。 本発明の一実施形態によるセンサ入力の併合過程を示す。 本発明の一実施形態による入力データ順序の再配列過程を示す。 本発明の一実施形態により長いセンサ入力データを二次元映像類似データに写像する例を示す。 本発明の一実施形態により段階入力データを同じ面積のデータに写像するのを示す。 本発明の一実施形態によるセンサ入力の併合を特性マップで示す。 本発明の一実施形態による機械学習モデルの概略図である。 本発明の一実施形態によりトレースデータを機械学習モデルに適用して予測結果を求める方法の概略図である。
事件の実現と組み合わせの様々な新しい細目を含む、前のおよび他の特徴を添付した図面を参照してさらに詳細に説明し、請求範囲で指摘する。ここで説明する特定のシステムと方法は説明のためのものであり、これに限定するものではない。当業者であればここで説明した原理と特徴を本発明の範囲を逸脱せず、様々な多様な実施形態に適用できることが分かる。
本明細書の一部として含まれた図面は一般的な説明と共に実施形態を示し、発明を実施するための具体的な内容に対する説明はここで説明する原理を説明して教示する。
図面は必ずしもサイズ変更をしたものではなく、類似の構造または機能を有する要素は説明の便宜のために図面全体にわたって類似の図面番号を付する。図面はここで説明する様々な実施形態を説明するためのものである。図面はここで説明するすべての特徴をいずれも含むものではなく、発明の範囲を限定するものでもない。
ここで説明する特徴と教示（ｆｅａｔｕｒｅｓ ａｎｄ ｔｅａｃｈｉｎｇｓ）は、独自にまたは他の特徴と教示と組み合わせて用いられ、トレースデータをデータ分析モデル（ｄａｔａ ａｎａｌｙｔｉｃ ｍｏｄｅｌ）の入力に適したフォーマットに変換し、変換されたトレースデータを用いて製造工程で発生する表示パネルの不良状態（ｆａｕｌｔｙ ｃｏｎｄｉｔｉｏｎ）または欠陥を検知および／または予測するシステムおよび方法を提示する。このような多くの付加的な特徴と教示とは別に、そして組み合わせて用いる代表的な例を添付した図面を参照して詳細に説明する。この詳細な説明は当業者に単に本発明の実施形態についてさらに詳細に教示するためのものであり、特許請求の範囲を限定しようとするものではない。したがって、詳細な説明で提示した特徴の組み合わせは最も広い意味における本発明の実現に必ずしも必要なものではなく、単に本発明の特定の代表例を説明するものである。
以下の詳細な説明では、説明のみを目的として本発明の完全な理解を提供するために特定の用語を定義する。しかし、このような具体的な内容が本発明を実現するために必ずしも必要とされないことは当業者に自明である。
詳細な説明の一部は、コンピュータメモリ内のデータビットに加える動作の記号表現およびアルゴリズムで表現する。このようなアルゴリズムの説明および表現はデータ処理分野の当業者が他の当業者にその作業の本質を効果的に伝達する手段である。ここで、そして一般的に、アルゴリズムは、所望する結果につながる自己矛盾のない（ｓｅｌｆ－ｃｏｎｓｉｓｔｅｎｔ）一連の段階である。段階は、物理量（ｐｈｙｓｉｃａｌ ｑｕａｎｔｉｔｉｅｓ）の物理的処理を必要とするものである。通常、必ずしもではないが、これらの量は、保存、転送、結合、比較などの処理が行われる電気的または磁気的信号の形態を取る。このような信号は時々原則的に一般的な使用のためにビット（ｂｉｔ）、値（ｖａｌｕｅ）、要素（ｅｌｅｍｅｎｔ）、記号（ｓｙｍｂｏｌ）、文字（ｃｈａｒａｃｔｅｒｓ）、項（ｔｅｒｍ）、数字（ｎｕｍｂｅｒｓ）等と呼ぶ場合もある。
しかし、このような用語、および類似の用語は適切な物理量に関連しており、これら量に付けられた便利なラベルに過ぎないことに留意しければならない。以下の説明から明らかなように特に言及しない限り、「処理（ｐｒｏｃｅｓｓｉｎｇ）」、「計算（ｃｏｍｐｕｔｉｎｇ，ｃａｌｃｕｌａｔｉｎｇ）」、「決定（ｄｅｔｅｒｍｉｎｉｎｇ）」、「表示（ｄｉｓｐｌａｙｉｎｇ）」等の用語を使うことはコンピュータシステムのレジスタまたはメモリ内の物理（電気）量で表されるデータをコンピュータシステムのメモリまたはレジスタ、または情報保存、転送または表示装置内の物理量を類似に示す他のデータに操作および変換するコンピュータシステムまたは類似の電子計算装置の動作（ａｃｔｉｏｎ）および過程（ｐｒｏｃｅｓｓ）を意味する。
また、代表例の様々な特徴と従属項は、本発明の付加的な有用な実施形態を提供するために明確に列挙されていない方式で結合されてもよい。元の開示（ｏｒｉｇｉｎａｌ ｄｉｓｃｌｏｓｕｒｅ）および請求要旨限定を目的としてエンティティグループ（ｇｒｏｕｐｓ ｏｆ ｅｎｔｉｔｉｅｓ）のすべての値範囲（ｖａｌｕｅ ｒａｎｇｅ）または等級（ｉｎｄｉｃａｔｉｏｎ）はすべての可能な中間値または中間エンティティを公開することを明示的に留意する。また、図面に示したサイズと形状は本発明の実現方法に対する理解を助けるためのものであって実施形態に示すサイズと形状に限定しようとするものではない。
本システムおよび方法は、一次元時系列データ（ｏｎｅ－ｄｉｍｅｎｓｉｏｎａｌ ｔｉｍｅ－ｓｅｒｉｅｓ ｄａｔａ）（以下、トレースデータまたは未加工（ｒａｗ）トレースデータともいう）をデータ分析ツール（ｄａｔａ ａｎａｌｙｔｉｃ ｔｏｏｌ）の入力データに適したデータフォーマットに変換するデータ変換方法（ｄａｔａ ｃｏｎｖｅｒｓｉｏｎ ｓｃｈｅｍｅ）を提示する。データ分析ツールはプロセッサとメモリを含むハードウェアコンピュータ装置またはハードウェアコンピュータ装置内に具現されたソフトウェアであり得る。データ分析ツールは、データ分析モデルを実行して入力データのパターンを識別または予測するデータ分類アルゴリズムを適用し得る。このようなデータ分類アルゴリズムは、一般的に機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ：ＭＬ）アルゴリズムと呼ばれ、より多くのデータでトレーニング（ｔｒａｉｎｅｄ）、学習（ｌｅａｒｎｅｄ）およびリファイン（ｒｅｆｉｎｅｄ）され得る。機械学習アルゴリズムの例としてはディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＤＮＮ）および畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）があるが、これに限定されない。畳み込みニューラルネットワークは、ディープニューラルネットワークの一種であるが、一つ以上の畳み込み層を含み、入力に畳み込み演算を適用して次の層にその結果を伝達する。畳み込みは、視覚的または聴覚的刺激に対する人間ニューロンの反応を模倣したものである。畳み込みニューラルネットワークは、映像および音声認識など人間認識に対して高い正確度を示している。
変換されたデータはデータ分析モデル、例えば、畳み込みニューラルネットワークモデルに提供され、電子機器の製造工程で発生するか発生した様々な不良状態または欠陥を検知および／または予測することができる。このような電子機器の例としては積層、除去、エッチング、パターニングなど半導体製造工程段階により製造する表示装置が挙げられる。しかし、半導体製造工程により製造するいかなる電子機器でも本発明のシステムおよび方法を適用することができる。
データ分析モデルを用いて異常（ａｎｏｍａｌｉｅｓ）、故障（ｆａｉｌｕｒｅｓ）、不良（ｆａｕｌｔｓ）および欠陥（ｄｅｆｅｃｔｓ）と関連したパターンを検知し、検知したパターンに基づいてこれらを分類することによって不良状態または欠陥を早期に判断でき、不良があるか欠陥がある電子機器を製造工程で不良処理または破棄できるようにする。不良検知過程はそれぞれの製造工程で行われてもよい。この場合、修復不可能な不良があると判断した電子機器を次の製造工程に移行する前に破棄することができる。製造工程で不良状態を早期に検知すると電子機器の製造にかかる資源とコストを節約することができる。また、データ分析ツールは高生産性を達成しながらも不良と欠陥を減らすことのできる製造工程の媒介変数と条件を微調整（ｆｉｎｅ－ｔｕｎｉｎｇ）することを助ける。
未加工トレースデータは、様々なセンサが生成した圧力、温度、時間、密度などを示し、製造工程の条件と媒介変数を反映する時系列データの集合であり得る。未加工トレースデータは、単に時系列一次元データの集合であり、未加工トレースデータのサイズ、範囲および単位はセンサの種類と検知値（ｓｅｎｓｉｎｇ ｖａｌｕｅ）の範囲に応じて変わり得る。
未加工トレースデータは、データ分析ツールの入力として適切な形態でなくてもよい。また、未加工トレースデータが電子機器の不良状態または欠陥を信頼できるように予測できる信頼性のあるデータ分析モデルをトレーニングし、それに適するほどの十分な数のデータサンプルを有していなくてもよい。
一実施形態によれば、本発明によるシステムおよび方法は、未加工トレースデータをデータ分析ツールの入力に適するデータフォーマットに変換する新たな方法を提示する。データ分析ツールは、不良状態と欠陥を予測および検知する予測可能でかつ信頼性のある分類を提供することができる。
本発明の一実施形態によれば、変換されたトレースデータは、十分なデータサンプルを用いて事前トレーニング済みの（ｐｒｅ－ｔｒａｉｎｅｄ）標準データ分析モデルに提供され得る。トレーニング（ｔｒａｉｎｉｎｇ）に用いられたデータサンプルは、トレースデータではない場合もあるが、限られた数のデータサンプルで未加工トレースデータをトレーニングさせてパターンを分類して変換されたトレースデータの不良および欠陥パターンを検知および予測するのに用いられるデータサンプルとしての役割を遂行することができる。一般に、電子機器製造システムのセンサから得られた未加工トレースデータは、機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ：ＭＬ）、ディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＤＮＮ）および／または畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）を用いてパターンの予測可能な、繰り返し可能な、信頼性のあるパターン認識を行うのに充分でない限られた数のデータサンプルのみを提供することができる。本発明によるシステムおよび方法により変換されたトレースデータは、データ分析ツールに提供され、未加工トレースデータでは取得することのできない意味のある有用な結果を得ることができる。
本発明によるシステムおよび方法は、１）長いセンサ入力データを二次元（２Ｄ）データに写像（ｍａｐｐｉｎｇ）、２）階段入力データ（ｓｔｅｐ ｉｎｐｕｔ ｄａｔａ）を同じ面積のデータに写像、３）センサ入力を特性マップ（ｆｅａｔｕｒｅ ｍａｐ）に併合、および４）センサ入力データの順序の再配置などを含む（しかし、これに限定されない）一つ以上の工程によってデータ分析モデルの分類性能を改善することができる。
一実施形態によれば、本発明によるシステムおよび方法は、複数の一次元時系列トレースデータを受信し、二次元（２Ｄ）データに変換して表示装置の製造トレースデータを映像基盤のディープ機械学習（ｉｍａｇｅ－ｂａｓｅｄ ｄｅｅｐ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）アルゴリズムと共に用いるようにする。特に、本発明によるシステムおよび方法は、トレースデータを２Ｄデータに変換するデータ変換方法を提供してパターン認識とパターン分類性能を改善することによって意味のある、信頼できる、予測可能な結果を算出する。
本発明はまた、未加工トレースデータを機械学習に適したデータフォーマットに変換した後に機械学習（特に深層学習）アルゴリズムを用いて未加工トレースデータを分析する方法を提示する。
図１は本発明の一実施形態による未加工トレースデータの変換方法を示す。データ変換システムは、データ処理モジュール（ｄａｔａ ｐｒｅｐｒｏｃｅｓｓｉｎｇ ｍｏｄｕｌｅ）１１１および分類器１１２を含む。データ処理モジュール１１１は、未加工トレースデータ１０１を受信して前処理トレースデータ（ｐｒｅｐｒｏｃｅｓｓｅｄ ｔｒａｃｅ ｄａｔａ）１１５に変換し、前処理トレースデータ１１５を分類器１１２に提供する。
本発明の一実施形態によれば、データ処理モジュール１１１および分類器１１２のそれぞれは、データ処理およびパターン認識と分類を行うデータ処理単位および／またはプロセッサとメモリを含み得る。本発明の他の実施形態によれば、データ処理モジュール１１１と分類器１１２は、コンピュータ装置の一つのプロセッサを共有することができ、一つのマルチコアプロセッサの互いに異なるプロセッサコアを用いて互いに異なるスレッド（ｔｈｒｅａｄ）を実行することができる。
未加工トレースデータ１０１は、電子装置（例えば表示装置のガラス基板）の製造工程で様々なセンサから取得できる時系列データの集合であり得る。ここでは各センサから得られたデータを媒介変数（ｐａｒａｍｅｔｅｒ）ともいう。一つのガラスパネルに対して、そのガラスパネルの製造工程で得られた媒介変数が複数であり得る。しかし、未加工トレースデータ１０１はまた、二つ以上のガラスパネルで得られたデータまたは一つのガラスパネルで得られた部分データ（ｐａｒｔｉａｌ ｄａｔａ）の集合を示し得る。未加工トレースデータ１０１のフォーマット、長さ、単位および／または範囲は、製造工程だけでなくガラスパネルの偏差（例えばサイズ、解像度、種類）によっても変わり得る。同じ工程で製作した同じサイズのガラスパネルに対して、未加工トレースデータ１０１の偏差はサイズ未満であり得る。例えば、ガラスパネルの工程時間が互いに異なると、一つの未加工トレースデータ１０１セットが他の未加工トレースデータ１０１セットより長くてもよい。
データ処理モジュール１１１は、未加工トレースデータ１０１を分類器１１２に入力できる規格化したフォーマットの前処理トレースデータ１１５に変換し得る。例えば、未加工トレースデータ１０１は、複数の媒介変数の一次元時系列データであり、前処理トレースデータ１１５は、二次元（２Ｄ）映像類似（ｉｍａｇｅ－ｌｉｋｅ）データである。二次元映像類似データは、媒介変数に対応する第１次元と時間によるデータサンプルに対応する第２次元を有する。第１次元と第２次元は、二次元映像類似データのＸ座標とＹ座標に該当する。
データ処理モジュール１１１の主な作業（ｔａｓｋ）の一つは、それぞれの未加工トレースデータ１０１セットを同じサイズ（ｓｉｚｅ）と次元（ｄｉｍｅｎｓｉｏｎ）の均一なサイズを有する前処理トレースデータ１１５に変換することによって、分類器１１２が不良または欠陥と関連するパターンを認識して分類できるようにすることである。データ処理モジュール１１１はまた、二次元映像類似データを規格化して中央にあるデータの平均値を移動させてそのデータのスケール（ｓｃａｌｅ）および／または解像度を変えることができる。未加工トレースデータ１０１に適用できる他のデータ処理方法については以下で詳細に説明する。
分類器１１２は、データ処理モジュール１１１から前処理トレースデータ１１５を受信し、パターン認識および分類を行い、出力データを生成するが、この出力データをここでは不良検知結果１２１という。不良検知結果１２１は、未加工トレースデータ１０１が不良パターン（すなわち、不良または不良なし）のみを含むことを示し得る。本発明の一実施形態によれば、不良検知結果１２１は、該当ガラスパネルに不良がある確率を与えられた範囲、例えば、０（不良なし）から１００（明確に不良を含む）まで示し得る。本発明の他の実施形態によれば、出力データは不良検知結果１２１の分類細目、例えば、不良の種類（例えば、乾式エッチング工程の欠陥、ウィンドウ欠陥（ｗｉｎｄｏｗ ｄｅｆｅｃｔ）、ムラ欠陥（Ｍｕｒａ ｄｅｆｅｃｔ）、パーティクル欠陥（ｐａｒｔｉｃｌｅ ｄｅｆｅｃｔ）等）および／または不良位置を含み得る。不良または欠陥の詳細情報は不良または欠陥の特性の識別に用いることができ、これにより製造工程を微細に調整したり、不良または欠陥が修復可能な場合、修復ツールを用いて不良を修復することもできる。
データ処理モジュール１１１が生成した前処理トレースデータ１１５は、分類器１１２による深層学習アルゴリズムの適用に適したフォーマットである。分類器１１２が適正化した前処理トレースデータ１１５は不良検知識別および分類性能を高める。例えば、分類器１１２はディープニューラルネットワークを用いてパターンまたは二次元映像の特性を識別し得る。本実施形態でこのようなパターンは電子機器（例えば、表示装置のガラスパネル）の製造工程で発生する異常（ａｎｏｍａｌｉｅｓ）、不良（ｆａｕｌｔｓ）および欠陥（ｄｅｆｅｃｔｓ）と関連し得る。本発明の一実施形態によれば、分類器１１２は、結局異常、不良、欠陥に繋がるか、繋がり得る未加工トレースデータ１０１の特定パターンを識別することができる。
分類器１１２が実行するディープニューラルネットワークアルゴリズムは、２Ｄ映像データのパターンを識別するように特に考案され得るが、例えば、映像データから顔面認識（ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ）、文字認識（ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）を行うか、音声データから音声認識（ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ）を行うようにすることができる。ディープニューラルネットワークアルゴリズムは、十分な数のデータサンプルで事前トレーニング（ｐｒｅ－ｔｒａｉｎｅｄ）、事前テスト（ｐｒｅ－ｔｅｓｔｅｄ）、および事前検証（ｐｒｅ－ｖａｌｉｄａｔｅｄ）されたデータモデルを用い得る。一般に、大きいデータ集合（例えば数十万）でトレーニング、テスト、検証されたデータモデルは信頼することができ、再現可能な結果を与える。しかし、ディープニューラルネットワークアルゴリズムをトレーニング、テストおよび検証するのに用いるデータサンプルは目標とする分野（ｔａｒｇｅｔ ａｐｐｌｉｃａｔｉｏｎ）のトレースデータである必要はない。上述したように、本発明によるシステムおよび方法は、目標分野の一つは製造工程で得られたセンサデータを用いて表示装置ガラスパネルの不良パネルを検知することである。データモデルをトレーニング、テストおよび検証するにはセンサデータサンプルの数が充分でない場合もあり、したがって、他のデータセットで事前トレーニング、事前テスト、事前検証されたデータモデルを用いることができるが、これも信頼性があり、再現可能な結果を生成することができる。以下でさらに詳しく説明するが、データ処理モジュール１１１がサイズ調整（ｒｅｓｉｚｉｎｇ）、写像（ｍａｐｐｉｎｇ）、併合（ｍｅｒｇｉｎｇ）および再配列によりデータ処理を行う場合優れた分類結果を期待することができる。標準データモデルの例としてはＣａｆｆｅ、ＶＧＧ、Ｒｅｓｎｅｔ、ＡｌｅｘｎｅｔおよびＳｑｕｅｅｚｅｎｅｔなどがあるが、これに限定されない。
本発明の一実施形態によれば、分類器１１２は二次元映像基盤の畳み込みニューラルネットワーク（２Ｄ ｉｍａｇｅ－ｂａｓｅｄ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を用いる。データモデルは多様な種類のデータフォーマットを受信し得る。例えば、データモデルは、二次元整数基盤のデータ（２Ｄ ｉｎｔｅｇｅｒ－ｂａｓｅｄ ｄａｔａ）または二次元浮動点データ（２Ｄ ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｄａｔａ）を受信し得る。データモデルが二次元浮動点データを受信すると、入力データ（例えばトレースデータ）の本来の解像度が維持され得る。適用可能な場合、データ処理モジュール１１１は、二次元整数基盤のデータを二次元浮動点データに変換することができ、畳み込みニューラルネットワークの入力でデータを規格化することができる。分類器１１２は二次元浮動点データフォーマットの規格化されたセンサ入力データを受信し、規格化された二次元浮動点センサ入力データに基づいて不良パターンを識別することができる。
本発明の一実施形態によれば、データ処理モジュール１１１は分類性能を強化しながらも情報損失を最小化することによって未加工トレースデータ１０１を変換する。分類器１１２用にフォーマットされ、適正化された前処理トレースデータ１１５を用いると、分類器１１２の未加工トレースデータ１０１の分類結果を大きく改善することができる。分類器１１２の分類結果は分類性能を特徴づけてデータ処理を更新する多様な交差検証方法（ｃｒｏｓｓ－ｖａｌｉｄａｔｉｏｎ ｓｃｈｅｍｅ）を用いて検証され得る。例えば、分類器１１２のＣＮＮアルゴリズムまたはディープニューラルネットワークは、ｋ－重交差検証（ｋ－ｆｏｌｄ ｃｒｏｓｓ－ｖａｌｉｄａｔｉｏｎ）により検証され、より高くて一貫した分類正確度を提供することができる。
図２は数値データを二次元映像類似データに変換する三つの例を示す。未加工トレースデータ（例えば、図１の未加工トレースデータ１０１）の各サンプルは互いに異なる次元および／またはサイズであり得る。例えば、各サンプルのサンプリング時間および／または処理時間は互いに異なってもよい。本実施形態では、サンプル＃１は（ｙ－次元の）Ｋ時系列サンプルを含み、サンプル＃２は（Ｋ－２）サンプルを含み、サンプル＃３は（Ｋ－１）サンプルを含む。図２に明確に示していないが、各サンプルはｘ－次元でも互いに異なる数の媒介変数を有し得る。時系列数値データが二次元映像類似データに変換される場合、未加工トレースデータの次元および／またはサイズの変化応じて各データサンプルのサイズも変化し得る。
図３は本発明の一実施形態によるセンサ入力の併合過程を示す。それぞれの媒介変数（＃１～＃７）は互いに異なる分散（ｖａｒｉａｎｃｅ）を有する。各媒介変数の範囲は箱ひげ図（ｂｏｘ ｐｌｏｔ）で表し、平均は各データサンプルに対する箱ひげ図において線で表している。各媒介変数の平均値は中間値から逸脱し得る。本実施形態で、各媒介変数は同じ数のデータサンプルを含むように表している。媒介変数はｘ－方向に配列し、時系列データのデータサンプルはｙ－方向に配列して二次元データを得ることができる。説明の目的で、データ値は２次元データのグレースケール（ｇｒａｙ ｓｃａｌｅ）で表した。未加工トレースデータが二次元データに変わると、低分散媒介変数、例えば、データサンプル（＃３，＃５）は欠陥として認識されにくいが、これはデータ値の範囲が小さいため欠陥値の範囲も小さいからである。
図４は本発明の一実施形態による入力データ順序の再配列過程を示す。媒介変数（＃２，＃５，＃７）に対応するデータは互いに離隔しており、特定種類の欠陥と密接に関連している。媒介変数（＃２，＃５，＃７）が互いに離隔しているか散らばっている場合、その特定種類の欠陥を認識しにくい。一般に、この媒介変数のうち一つ以上と関連する欠陥は、この媒介変数が入力データで互いに近く位置する場合により認識しやすい。この場合、入力データの順序を再配列して分類器のパターン認識性能を強化することができる。本実施形態で、媒介変数（＃２，＃５，＃７）に対応するデータが互いに近く位置すると不良パターン検知性能が改善される。入力データの再配列は様々な方法、例えば、各媒介変数に対するデータ値の範囲、平均値、中間値、偏差量およびデータの特性などに基づいて行われ得る。本発明の一実施形態によれば、共分散（ｃｏｖａｒｉａｎｃｅ）または相関（ｃｏｒｒｅｌａｔｉｏｎ）行列（ｍａｔｒｉｘ）を用いて媒介変数の間の相関関係を判断して入力データで媒介変数を再配列し得る。しかし、本発明の範囲を逸脱せず他の媒介変数を用いて入力データを再配列することもできる。
本発明の一実施形態によるシステムおよび方法は、製造工程で得られた未加工トレースデータから二次元映像類似データサンプルを生成する効果的な方法を提示する。分類器に提供される二次元入力データは、データ処理のための設定を変化させることによって一連のトレーニング、テストおよび検証過程で生成され得る。データ処理の例としてはデータ長さ調整、互いに異なるセンサ入力のサイズ調整、未加工トレースデータセットからの入力データ順序の再配列などを含むが、これに限定されない。
ガラスパネルの総処理時間は、複数の単位工程段階の時間を含み得る。各工程段階では互いに異なる処理時間を有してもよく、それぞれの処理段階で未加工トレースデータのサイズが同一であるという保障はない。ガラスパネルの場合、データ処理モジュール１１１は、各ガラスパネルの総データサイズを調整して処理された二次元データを生成することによって処理段階の時間差に関係なく均一なサイズを有するようにする。この過程をここではデータ長さ調整という。データ長さ調整は、総センサ入力数（例えばｘ－方向のデータサイズ数）とデータサンプル数（例えばｙ－方向のデータサイズ数）を一致させる。図１を再び参照すると、データ処理モジュール１１１はデータ長さ調整を行って未加工トレースデータ１０１のサイズを調整する。より詳細に説明すると、データ処理モジュール１１１は互いに異なるサイズの時系列未加工トレースデータから均一なサイズの二次元データを生成する。
未加工トレースデータ１０１を分類器１１２に入力される二次元データに変換するための適正でかつ最良の性能設定を提供するために、データ処理モジュール１１１は未加工トレースデータ１０１のサイズ調整（ｒｅｓｉｚｉｎｇ）、写像（ｍａｐｐｉｎｇ）、併合（ｍｅｒｇｉｎｇ）および再配列（ｒｅａｒｒａｎｇｉｎｇ）のうち少なくとも一つを行い得る。このようなデータ処理のうち一部は必須であり、他の一部は条件的および／または選択的であり得る。印加されるデータの特性および分類性能の結果に応じて、このようなデータ処理段階を実際のデータサンプルで継続的に検証して更新することによって分類器１１２の性能をさらに改善することができる。
図５は本発明の一実施形態により長いセンサ入力データを二次元映像類似データに写像する例を示す。未加工トレースデータ１０１がＭサンプリングポイントとＮセンサ入力（または媒介変数）を有していると仮定する。未加工トレースデータ１０１は、初期に第１二次元アレイ（ａｒｒａｙ）（Ｍ，Ｎ）で配列されている。しかし、分類器１１２は第２二次元アレイ（Ｋ，Ｋ）を有する二次元映像類似前処理されたトレースデータ１１５を受信し得る。本実施形態で、二次元映像類似データの行と列の数はＫで互いに同一である。しかし、これは一つの例に過ぎず、本発明はこれに限定されない。すなわち、本発明の範囲を逸脱することなく列と行の数を変えることができる。説明の便宜のために、以下の説明では二次元データの行と列の数がＫで互いに同じ場合に基づいている。
未加工トレースデータ１０１においてサンプリングポイント数（Ｍ）が分類器１１２に入力される前処理トレースデータ１１５のサイズ（Ｋ）より大きいと、すなわち、Ｍ＞Ｋであれば、データ処理モジュール１１１はデータ長さ調整を行うが、（Ｍ，Ｎ）アレイのサイズを調整して（Ｋ，Ｋ）アレイに合わせる。例えば、未加工トレースデータ１０１を複数の片（１０１ａ，１０１ｂ）に分割する。この時、畳み込みに過去および未来のデータを提供する重複領域１０２は、分割データセット（１０１ａ，１０１ｂ）の各片内に共通して含まれ得る。未加工トレースデータ１０１を二つの片に分割した後に、分割データセット（１０１ａ，１０１ｂ）を（Ｋ，Ｋ）アレイ内に配置する。データの連続性を維持するために、分割データセットそれぞれは重複領域を含み得る。未加工トレースデータ１０１を（重複領域１０２を含む）分割データセット（１０１ａ，１０１ｂ）に分割して（Ｋ，Ｋ）アレイに合わせた後に、分割データセット（１０１ａ，１０１ｂ）を（Ｋ，Ｋ）アレイ内の任意位置に初期配置し得る。分割データセット（１０１ａ，１０１ｂ）を配置するとき、これらを回転させて互いに分離させ得る。分割データセット（１０１ａ，１０１ｂ）を配置した後に（Ｋ，Ｋ）アレイの空の領域を所定の数、例えば、０で満たし得る。充填数（ｆｉｌｌｉｎｇ ｎｕｍｂｅｒ）はデータの種類、範囲およびフォーマットにより変わり得る。（Ｋ，Ｋ）アレイ内の分割データセット（１０１ａ，１０１ｂ）の位置が決定されると、次の未加工トレースデータを同じ方式に分割して同じ位置に配置して一貫した分類結果を得る。
本発明の一実施形態によれば、重複領域の最小サイズは畳み込みニューラルネットワーク第１層の畳み込みウィンドウサイズによって決定される。ＣＮＮ第１層の５ｘ５畳み込みウィンドウの場合には重複領域を５より大きい値に設定する。
ガラスパネルの製造工程は、複数（Ｌ）の段階を含み得る。各段階は平均処理時間から大きく逸脱しなくても互いに異なるデータ長さを有してもよく、各段階は処理時間に対しては均一に変化し得る。
図６は本発明の一実施形態により段階入力データを同じ面積のデータに写像することを示す。未加工データ（６０１，６０２）は、同じ数の処理段階、すなわち、段階（１）から段階（Ｌ）までを有する。未加工データ６０２段階（１）のサイズは、未加工データ６０１の段階（１）より大きい。互いに異なる未加工データの同じ段階のサイズが互いに異なる場合には、未加工データを写像して同じデータをサイズ調整未加工データ（ｒｅｓｉｚｅｄ ｒａｗ ｄａｔａ）６０３内の同一位置に配置する必要がある。同一段階のデータが二次元データ内の同一位置に配置されるとき分類性能が最も優れることをテストおよび検証する。同じデータを同一位置に配置するためには、各段階サイズを各段階の最小サイズに写像し得る。同一位置の同一データをサイズ調整および写像することによって、最も小さい段階のサイズに基づいて段階の最小サイズを決める。本実施形態では、サイズ調整未加工データ６０３段階（１）のサイズは、未加工データ６０２の段階（１）のサイズより小さい未加工データ６０１の段階（１）のサイズになるように決定される。未加工データのサイズ調整と写像を一般化すると、未加工データを単に短く切って必要なサイズになるようにすることもできる。例えば、未加工データ６０２の段階（１）に含まれた２０個のサンプルから最初の１５個のデータサンプルを取得することによってサイズを減らし得る。他の例としては、未加工データをデシメーション（ｄｅｃｉｍａｔｉｏｎ）で再サンプリングして各段階に必要なサイズを取得することができる。残った段階（２）から段階（Ｌ）まで同じサイズ調整と写像過程を繰り返してサイズ調整未加工データ６０３を取得することができる。
本発明の一実施形態によれば、各センサ入力を（ｍｉｎ，ｍａｘ）範囲から（－１，１）範囲に共通データサンプルに併合することによって未加工トレースデータを規格化し得る。－１から１までの範囲でデータを規格化すると偏差が大きい未加工トレースデータの間の差を減らし得る。
図７は本発明の一実施形態によるセンサ入力の併合を特性マップで示す。元データ７０１をＸ値とＹ値の平均を０に配置するゼロ中心化（ｚｅｒｏ－ｃｅｎｔｅｒｅｄ）し、ゼロ中心化したデータ７０２を規格化して規格化データ７０３を生成することによってデータを（－１，１）範囲に合わせる。
全部Ｎ個のセンサ入力または未加工トレースデータを特性マップに併合し得る。本発明の一実施形態によれば、最小－最大値をデータの規格化に用いる。すなわち、ｘ－ｍｉｎ（ｘ）／ｍａｘ（ｘ）－ｍｉｎ（ｘ）である。ここでｘはセンサデータである。本発明の他の実施形態によれば、標準規格化を用い得る。すなわち、ｘ－ｍｅａｎ（ｘ）／ｓｔｄ．（ｘ）である。ここで、ｍｅａｎは平均、ｓｔｄ．は標準偏差を意味する。
図８は本発明の一実施形態による機械学習モデルの概略図である。一実施形態によれば、機械学習モデルは畳み込みニューラルネットワークモデルを示す。先に、機械学習モデルを入手する（８１１）。ビッグデータセット（ｂｉｇ ｄａｔａｓｅｔ）８２１で事前トレーニング済みの機械学習モデルを用い得る。機械学習モデルのトレーニングに用いられるビッグデータセットは後ほど機械学習モデルに入力されるセンサ入力を示すトレースデータでなくてもよい。この場合には、機械学習モデルはＩｍａｇｅＮｅｔ、ＣＯＣＯ（Ｍｉｃｒｏｓｏｆｔ Ｃｏｍｍｏｎ Ｏｂｊｅｃｔ ｉｎ Ｃｏｎｔｅｘｔ）およびＰＡＳＣＡＬ ＶＯＣ（ｖｉｓｕａｌ ｏｂｊｅｃｔ ｃｌａｓｓｅｓ）等のような他のソースデータを用いて事前トレーニングを受けることができる。他の実施形態によれば、機械学習モデルは先立って説明したような不良検知分野専用の信頼性があり、予測可能な結果を算出するのに十分大きいトレースデータ集合で事前トレーニングすることによって取得することができる。機械学習モデルの事前トレーニングに用いるデータの種類とは関係なく、機械学習モデルは次の段階で行われるトレースデータによる再トレーニング後に信頼性があり、再現可能な不良パターン分類および予測結果を達成することができる。
事前トレーニング済みの機械学習モデルを入手した後に、事前トレーニング済みの機械学習モデルを再トレーニングおよび推論用トレースデータセット８２２で再トレーニングさせる。トレースデータセット８２２は、専用センサデータを含む位相データ分析（ｔｏｐｏｌｏｇｉｃａｌ ｄａｔａ ａｎａｌｙｓｉｓ：ＴＤＡ）データセットともいう。トレースデータセット８２２を整列してそのフォーマットを機械学習モデルの入力に適したフォーマットに変換し（８１２）、整列したトレースデータを再トレーニング用機械学習モデルに適用する（８１３）。所定の条件が満たされる時まで多数のトレースデータセット８２２で再トレーニング過程（ｒｅ－ｔｒａｉｎｉｎｇ ｐｒｏｃｅｓｓ）を繰り返す。例えば、あらかじめ定めた精密度（ｐｒｅｃｉｓｉｏｎ）、再現性（ｒｅｃａｌｌ）および／または正確度（ａｃｃｕｒａｃｙ）が達成されると再トレーニング過程を完了し得る。場合によっては、平均精密度（ｍｅａｎ－ａｖｅｒａｇｅ ｐｒｅｃｉｓｉｏｎ）を達成すると再トレーニング過程を完了してもよい。機械学習モデルを再トレーニングした後に、機械学習モデルのネットワーク係数（ｎｅｔｗｏｒｋ ｃｏｅｆｆｉｃｉｅｎｔｓ）をトレースデータ用に更新し、不良パターン分類および予測専用の更新された機械学習モデルを得ることができる（８１４）。
トレースデータセット８２２は、事前トレーニング済みの機械学習モデルに用いられる大きいデータセットの一部であってもなくてもよい。場合によっては、機械学習モデルの事前トレーニングに用いられるビッグデータセット８２１が純粋にＩｍａｇｅＮｅｔ、ＣＯＣＯ（Ｍｉｃｒｏｓｏｆｔ Ｃｏｍｍｏｎ Ｏｂｊｅｃｔ ｉｎ Ｃｏｎｔｅｘｔ）およびＰＡＳＣＡＬ ＶＯＣ（ｖｉｓｕａｌ ｏｂｊｅｃｔ ｃｌａｓｓｅｓ）等のソースデータであり得る。場合によっては、ビッグデータセット８２１がトレースデータセット８２２を機械学習モデルの再トレーニングに用いられるソースデータの一部として含み得る。特に機械学習モデルをトレースデータとは異なるソースデータで事前トレーニングした場合に、機械学習モデルの再トレーニング過程がトレースデータから学習した知識を移すのに重要である。この時、一つ以上の機械学習モデルの内部層（例えばソフトマックス層（ｓｏｆｔｍａｘ ｌａｙｅｒ）、完全連結層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ：ＦＣ ｌａｙｅｒ））を更新して機械学習モデルで認識可能であり、かつ分類可能なクラスの差を反映するようにすることができる。例えば、ＩｍａｇｅＮｅｔで事前トレーニング済みの機械学習モデルを４６５、５６７映像でトレーニングして２０、１２１映像で検証し、機械学習モデルはワカモレ（ｇｕａｃａｍｏｌｅ）、ネックブレース（ｎｅｃｋ ｂｒａｃｅ）、ｉＰｏｄ（登録商標）、チャイム（ｃｈｉｍｅ）等を含む２００個の互いに異なるクラスを識別し得る。多数のトレースデータセット８２２で事前トレーニング済みの機械学習モデルは例えば、乾式エッチング工程欠陥、ウィンドウ欠陥、ムラ欠陥、パーティクル欠陥など互いに異なる数と互いに異なる種類のクラスを識別し得る。トレースデータセット８２２を新しいトレースデータに更新し得、機械学習モデルを再び再トレーニングして分類正確度と不良パターンの認識を改善することができる。
図９は本発明の一実施形態によりトレースデータを機械学習モデルに適用して予測結果を求める方法の概略図である。図８を参照して説明したように機械学習モデルをトレースデータセットでトレーニングすると仮定する。トレースデータ９２１をサイズ調整（ｒｅｓｉｚｉｎｇ）、写像（ｍａｐｐｉｎｇ）、併合（ｍｅｒｇｉｎｇ）および再配列することによってトレースデータ９２１を整列する（９１１）。例えば、トレースデータ９２１を機械学習モデルに適した入力フォーマットに変換し得る。次いで整列したトレースデータを機械学習モデルに適用する（９１２）。機械学習モデルは複数の不良クラスと関連する予測パターンと分類結果を生成し得る（９１３）。
トレースデータ９２１は、表示パネルなど電子機器の製造工程で得られたセンサデータを含み得る。図３ないし図６を参照して説明したようにトレースデータ９２１はデータ整列過程９１１で変換および処理され、機械学習モデルに提供され得る。正確度、不良検知と予測結果を改善するために機械学習モデルを継続して更新して再トレーニングし得る。不良パターン検知および予測結果が生成されることによって機械学習モデルが更新および改善されることができる。これとは異なり、機械学習モデルの不良パターン検知および予測結果が実際の不良データと相関してもよく、相関結果とともに機械学習モデルが更新されて機械学習モデルの正確度、不良検知と予測結果をさらに改善することができる。
本発明の一実施形態によれば、未加工トレースデータ１０１の順序を入力データの相関関係に応じて再配列して機械学習の学習を容易にすることができる。図３を参照すると、相関するデータを互いに近く配置して入力データセットでパターンを容易に認識することができる。
様々な他の方法で未加工トレースデータを再配列することもできる。例えば、高分散（ｈｉｇｈ ｖａｒｉａｎｃｅ）データ入力を入力データの中央に配置して未加工トレースデータを再配列することによって高活性（ｈｉｇｈ ａｃｔｉｖｉｔｙ）パターンを捕らえることができる。他の例によれば、未加工トレースデータの類似パターンを互いに近く配置することによって高分散項目（ｉｔｅｍｓ）を再配列されたデータ内で互いに近く配置することができる。
先立って説明したサイズ調整（ｒｅｓｉｚｉｎｇ）、写像（ｍａｐｐｉｎｇ）、併合（ｍｅｒｇｉｎｇ）および再配列（ｒｅａｒｒａｎｇｉｎｇ）を含むデータ処理をすべての組み合わせに用いて前処理トレースデータ１１５を生成することができる。このようなデータ処理はいずれも機械学習トレーニング、テストおよび／または検証を始める前に行われ得る。未来データが現在のデータと同じ分布を有するという仮定の下に同じ規則を未来データセットを含むすべてのデータセットに適用することができる。
本発明によるシステムおよび方法は、複数の一次元時系列入力を二次元映像類似データに変換して他のディープニューラルネットワークから学習した内容を伝達する技術を提示する。本発明によるシステムおよび方法は、複数の一次元時系列入力を現存するディープニューラルネットワーク構造に適する二次元データに変換する公式的な方法を提示する。
本発明は、方法（ｐｒｏｃｅｓｓ）、装置（ａｐｐａｒａｔｕｓ）、システム（ｓｙｓｔｅｍ）、組成物（ｃｏｍｐｏｓｉｔｉｏｎ ｏｆ ｍａｔｔｅｒ）、コンピュータで読み取り可能な記憶媒体に保存されたコンピュータプログラム製品および／または連結されたメモリに保存および／またはメモリが提供する命令を実行するハードウェアプロセッサまたはプロセッサ装置などプロセッサを含む多様な方法で実現することができる。本明細書において、このような実現または本発明が取ることができる他の形態を技術（ｔｅｃｈｎｉｑｕｅｓ）といえる。一般に、説明した方法の段階の順序は発明の範囲内で変えることができる。特に言及しない限り、課題を実行するプロセッサまたはメモリなどの部品（ｃｏｍｐｏｎｅｎｔ）は与えられた見解でその課題を実行するように一時的に設定された汎用部品であり得、その課題を行うように製作された専用部品であり得る。ここで「プロセッサ」とは、コンピュータプログラム命令などデータを処理する一つ以上の装置、回路および／または処理コアを意味する。
本発明の一つ以上の実施形態について本発明の原理を示す添付図面と共に詳細に説明した。本発明をこのような実施形態と結び付けて説明したが、本発明はいかなる実施形態に限定されない。本発明の範囲は特許請求の範囲によってのみ限定され、数多くの代替物、変形物および等価物を包括する。本発明の完全な理解のために多くの詳細な内容を説明した。このような詳細な内容は実施形態を示すためのものであり、このような詳細な内容の一部または全体がなくても請求範囲により本発明を実現することができる。本発明を明確にするために、本発明が属する技術分野に知られている内容は本発明が不要に曖昧になることを避けるためにその説明を省略した。
本発明の一実施形態による不良検知方法は、一つ以上の電子機器の製造工程で取得した複数の時系列センサデータ（ｔｉｍｅ－ｓｅｒｉｅｓ ｓｅｎｓｏｒ ｄａｔａ）を受信する段階と、前記複数の時系列センサデータを二次元データアレイ内に配列する段階と、前記二次元データアレイを畳み込みニューラルネットワークモデルに提供する段階と、前記畳み込みニューラルネットワークモデルを用いて不良状態と相関する前記二次元データアレイ内のパターンを識別する段階と、前記一つ以上の電子機器の製造工程で前記不良状態の不良指標（ｆａｕｌｔ ｉｎｄｉｃａｔｏｒ）を提供する段階と、前記不良指標に基づいて前記電子機器が不良を含むと判断する段階とを含み、前記二次元データアレイは前記畳み込みニューラルネットワークモデルに対する入力データの次元（ｄｉｍｅｎｓｉｏｎ）を有する。
前記電子機器は、表示装置であり得る。
前記電子機器は、表示装置のガラスパネルであり得る。
前記畳み込みニューラルネットワークモデルは、ＶＧＧ、Ｒｅｓｎｅｔ、Ａｌｅｘｎｅｔ、またはＳｑｕｅｅｚｅｎｅｔであり得る。
前記分類結果は、前記不良状態の種類と位置を含み得る。
前記二次元データアレイは第２の二次元データアレイに変換され、前記第２の二次元データアレイは互いに離れている複数のデータアレイを含んでいてもよい。
前記一つ以上の製造工程で前記不良を有する前記電子機器を廃棄する段階をさらに含み得る。
前記複数の時系列センサデータをセンサの数に対応する第１次元と前記各センサのデータサンプル数に対応する第２次元を有する未加工トレースデータアレイに配置する段階と、前記未加工トレースデータアレイが前記二次元データアレイに適合するかどうかを判断する段階と、前記未加工トレースデータアレイを複数の未加工トレースデータアレイ片に分割する段階と、前記複数の未加工トレースデータアレイ片を前記二次元データアレイに配置する段階とをさらに含み得る。
前記複数の未加工トレースデータアレイ片のそれぞれは、重複領域を含み得る。
互いに異なる数のデータサンプルを有する複数の時系列センサデータセットを受信する段階、前記複数の時系列センサデータセットのうち前記データサンプル数が最も少ない第１時系列センサデータセットを決める段階と、前記複数の時系列センサデータセットのうち残りの時系列センサデータセットのサイズを調整して前記残りの時系列センサデータセットが前記第１時系列センサデータセットのデータサンプル数と同じデータサンプル数を有するようにする段階とをさらに含み得る。
前記不良状態と相関する前記複数の時系列センサデータの部分集合を決める段階と、前記二次元データアレイを再配列して前記複数の時系列センサデータの部分集合を隣接するように配置する段階とをさらに含み得る。
前記一つ以上の製造工程内の複数の処理段階に対応するデータをそれぞれ有する複数の時系列センサデータセットを受信する段階と、前記複数の時系列センサデータセットの前記複数の処理段階それぞれのデータサイズを比較する段階と、前記複数の処理段階のそれぞれに対し、前記複数の時系列センサデータセットのうち最小ステップサイズを有する第１時系列センサデータセットを決める段階と、残りの時系列センサデータセットの各処理段階に対応する時系列センサデータを写像して前記最小ステップサイズを有するようにする段階と、前記最小ステップサイズに写像される各工程段階を結合することによって前記複数の時系列センサデータセットのそれぞれに対して前記二次元データアレイを生成する段階とをさらに含み得る。
前記残りの時系列センサデータセットの各処理段階に対応する時系列センサデータを写像して前記最小ステップサイズを有するようにする段階は、前記最小ステップサイズの第１データサンプルを選択する段階を含み得る。
前記残りの時系列センサデータセットの各処理段階に対応する時系列センサデータをデシメーション（ｄｅｃｉｍａｔｉｏｎ）で再サンプリングして前記最小ステップサイズを有する再サンプル時系列センサデータを求める段階をさらに含み得る。
前記複数の時系列センサデータの平均を決める段階と、前記複数の時系列センサデータのそれぞれを移動させて平均が０になるようにする段階と、前記複数の時系列センサデータそれぞれを規格化して－１と＋１との間の範囲に位置させる段階とをさらに含み得る。
本発明の一実施形態による不良検知方法は、第１フォーマットの第１データセットで事前トレーニング済みの畳み込みニューラルネットワークモデルを提供する段階と、第２フォーマットの第２データセットを受信する段階と、前記第２データセットの前記第２フォーマットを前記第１フォーマットに変換して第３データセットを生成する段階と、前記畳み込みニューラルネットワークモデルを前記第３データセットで再トレーニングする段階と、更新された畳み込みニューラルネットワークモデルを求める段階を含む。
前記第２データセットは一つ以上の電子機器の製造工程で取得した複数の時系列センサデータであり、前記第１フォーマットは二次元データアレイであり、前記二次元データアレイは前記更新された畳み込みニューラルネットワークモデルの入力データ次元を有し、さらに、前記二次元データアレイの前記第１フォーマットを有する前記第３データセットを前記更新された畳み込みニューラルネットワークモデルに提供する段階と、前記更新された畳み込みニューラルネットワークモデルを用いて不良状態と相関する前記二次元データアレイ内のパターンを識別する段階と、前記一つ以上の電子機器の製造工程で前記不良状態の不良指標（ｆａｕｌｔ ｉｎｄｉｃａｔｏｒ）を提供する段階と、前記不良指標に基づいて前記電子機器が不良を含むと判断する段階と、次の１）、２）、３）、および４）のうち少なくとも一つを含み得る。
１）前記複数の時系列センサデータをセンサの数に対応する第１次元と前記各センサのデータサンプル数に対応する第２次元を有する未加工トレースデータアレイに配置する段階と、前記未加工トレースデータアレイが前記二次元データアレイに適合するかどうかを判断する段階と、前記未加工トレースデータアレイを複数の未加工トレースデータアレイ片に分割する段階と、前記複数の未加工トレースデータアレイ片を前記二次元データアレイに配置する段階。
２）互いに異なる数のデータサンプルを有する複数の時系列センサデータセットを受信する段階と、前記複数の時系列センサデータセットのうち前記データサンプル数が最も少ない第１時系列センサデータセットを決める段階と、前記複数の時系列センサデータセットのうち残りの時系列センサデータセットのサイズを調整して前記残りの時系列センサデータセットが前記第１時系列センサデータセットのデータサンプル数と同じデータサンプル数を有するようにする段階。
３）前記不良状態と相関する前記複数の時系列センサデータの部分集合を決める段階と、前記二次元データアレイを再配列して前記複数の時系列センサデータの部分集合を隣接するように配置する段階。
４）前記一つ以上の製造工程内の複数の処理段階に対応するデータをそれぞれ有する複数の時系列センサデータセットを受信する段階と、前記複数の時系列センサデータセットの前記複数の処理段階それぞれのデータサイズを比較する段階と、前記複数の処理段階のそれぞれに対し、前記複数の時系列センサデータセットのうち最小ステップサイズを有する第１時系列センサデータセットを決める段階と、残りの時系列センサデータセットの各処理段階に対応する時系列センサデータを写像して前記最小ステップサイズを有するようにする段階と、前記最小ステップサイズに写像される各工程段階を結合することによって前記複数の時系列センサデータセットそれぞれに対して前記二次元データアレイを生成する段階。
前記電子機器は、表示装置のガラスパネルであり得る。
前記更新された畳み込みニューラルネットワークモデルは、ＶＧＧ、Ｒｅｓｎｅｔ、Ａｌｅｘｎｅｔ、またはＳｑｕｅｅｚｅｎｅｔであり得る。
前記一つ以上の製造工程で前記不良を有する前記電子機器を廃棄する段階をさらに含み得る。
本発明の一実施形態による不良検知装置は、プロセッサと、プロセッサ実行可能命令を保存するメモリとを含み、前記プロセッサはデータ分析モデルを実行し、前記データ分析モデルは、データ処理モジュールおよび分類器を含み、前記データ処理モジュールは、一つ以上の電子機器の製造工程で取得した複数の時系列センサデータ（ｔｉｍｅ－ｓｅｒｉｅｓ ｓｅｎｓｏｒ ｄａｔａ）を受信し、前記複数の時系列センサデータを二次元データアレイ内に配列し、前記分類器は、不良状態と相関する前記二次元データアレイ内のパターンを識別し、前記一つ以上の電子機器の製造工程で前記不良状態の不良指標（ｆａｕｌｔ ｉｎｄｉｃａｔｏｒ）を提供し、前記不良指標に基づいて前記電子機器が不良を含むと判断する。
以上の詳細な説明は本発明の特定の実施形態を説明するものであり、限定のためのものではない。本発明の範囲内で様々な修正および変形が可能である。本発明の次の請求範囲によって定義される。
１０１：未加工トレースデータ
１０１ａ，１０１ｂ：分割データセット
１０２：重複領域
１１１：データ処理モジュール
１１２：分類器
１１５：前処理トレースデータ
１２１：不良検知結果
６０１，６０２：未加工データ
６０３：調整未加工データ
７０１：元データ
７０２：ゼロ中心化したデータ
７０３：規格化データ
８２１：ビッグデータセット
８２２：トレースデータセット
９２１：トレースデータ

Claims (19)

  1. 一つ以上の電子機器の製造工程で取得した複数の時系列センサデータ（ｔｉｍｅ－ｓｅｒｉｅｓ ｓｅｎｓｏｒ ｄａｔａ）を受信し、
    前記複数の時系列センサデータを二次元データアレイ内に配列し、
    前記二次元データアレイを畳み込みニューラルネットワークモデルに提供し、
    前記畳み込みニューラルネットワークモデルを用いて不良状態と相関する前記二次元データアレイ内のパターンを識別し、
    前記一つ以上の電子機器の製造工程で前記不良状態の不良指標（ｆａｕｌｔ ｉｎｄｉｃａｔｏｒ）を提供し、
    前記不良指標に基づいて前記電子機器が不良を含んでいるのかを分類すること、
    を含み、
    前記二次元データアレイは、前記畳み込みニューラルネットワークモデルに対する入力データの次元（ｄｉｍｅｎｓｉｏｎ）を有し、
    前記二次元データアレイは第２の二次元データアレイに変換され、前記第２の二次元データアレイは互いに離れている複数のデータアレイを含む、不良検知方法。
  2. 前記電子機器は、表示装置である、請求項１に記載の不良検知方法。
  3. 前記電子機器は、表示装置のガラスパネルである、請求項１に記載の不良検知方法。
  4. 前記畳み込みニューラルネットワークモデルは、ＶＧＧ、Ｒｅｓｎｅｔ、Ａｌｅｘｎｅｔ、またはＳｑｕｅｅｚｅｎｅｔである、請求項１に記載の不良検知方法。
  5. 前記分類結果は、前記不良状態の種類と位置を含む、請求項１に記載の不良検知方法。
  6. さらに、前記一つ以上の製造工程で前記不良を有する前記電子機器を廃棄することを含む、請求項１に記載の不良検知方法。
  7. 一つ以上の電子機器の製造工程で取得した複数の時系列センサデータ（ｔｉｍｅ－ｓｅｒｉｅｓ ｓｅｎｓｏｒ ｄａｔａ）を受信し、
    前記複数の時系列センサデータを二次元データアレイ内に配列し、
    前記二次元データアレイを畳み込みニューラルネットワークモデルに提供し、
    前記畳み込みニューラルネットワークモデルを用いて不良状態と相関する前記二次元データアレイ内のパターンを識別し、
    前記一つ以上の電子機器の製造工程で前記不良状態の不良指標（ｆａｕｌｔ ｉｎｄｉｃａｔｏｒ）を提供し、
    前記不良指標に基づいて前記電子機器が不良を含んでいるのかを分類し、
    前記複数の時系列センサデータをセンサの数に対応する第１次元および前記各センサのデータサンプル数に対応する第２次元を有する未加工トレースデータアレイに配置し、
    前記未加工トレースデータアレイが前記二次元データアレイに適合するかどうかを判断し、
    前記未加工トレースデータアレイを複数の未加工トレースデータアレイ片に分割し、
    前記複数の未加工トレースデータアレイ片を前記二次元データアレイに配置すること、を含み、
    前記二次元データアレイは、前記畳み込みニューラルネットワークモデルに対する入力データの次元（ｄｉｍｅｎｓｉｏｎ）を有する、不良検知方法。
  8. 前記複数の未加工トレースデータアレイ片のそれぞれは、重複領域を含む、請求項７に記載の不良検知方法。
  9. 一つ以上の電子機器の製造工程で取得した複数の時系列センサデータ（ｔｉｍｅ－ｓｅｒｉｅｓ ｓｅｎｓｏｒ ｄａｔａ）を受信し、
    前記複数の時系列センサデータを二次元データアレイ内に配列し、
    前記二次元データアレイを畳み込みニューラルネットワークモデルに提供し、
    前記畳み込みニューラルネットワークモデルを用いて不良状態と相関する前記二次元データアレイ内のパターンを識別し、
    前記一つ以上の電子機器の製造工程で前記不良状態の不良指標（ｆａｕｌｔ ｉｎｄｉｃａｔｏｒ）を提供し、
    前記不良指標に基づいて前記電子機器が不良を含んでいるのかを分類し、
    互いに異なる数のデータサンプルを有する複数の時系列センサデータセットを受信し、
    前記複数の時系列センサデータセットのうち前記データサンプルの数が最も少ない第１時系列センサデータセットを決定し、
    前記複数の時系列センサデータセットのうち残りの時系列センサデータセットのサイズを調整して前記残りの時系列センサデータセットが前記第１時系列センサデータセットのデータサンプル数と同じデータサンプル数を有するようにすること、を含み、
    前記二次元データアレイは、前記畳み込みニューラルネットワークモデルに対する入力データの次元（ｄｉｍｅｎｓｉｏｎ）を有する、不良検知方法。
  10. 一つ以上の電子機器の製造工程で取得した複数の時系列センサデータ（ｔｉｍｅ－ｓｅｒｉｅｓ ｓｅｎｓｏｒ ｄａｔａ）を受信し、
    前記複数の時系列センサデータを二次元データアレイ内に配列し、
    前記二次元データアレイを畳み込みニューラルネットワークモデルに提供し、
    前記畳み込みニューラルネットワークモデルを用いて不良状態と相関する前記二次元データアレイ内のパターンを識別し、
    前記一つ以上の電子機器の製造工程で前記不良状態の不良指標（ｆａｕｌｔ ｉｎｄｉｃａｔｏｒ）を提供し、
    前記不良指標に基づいて前記電子機器が不良を含んでいるのかを分類し、
    前記不良状態と相関する前記複数の時系列センサデータの部分集合を決定し、
    前記二次元データアレイを再配列して前記複数の時系列センサデータの部分集合を隣接するように配置すること、を含み、
    前記二次元データアレイは、前記畳み込みニューラルネットワークモデルに対する入力データの次元（ｄｉｍｅｎｓｉｏｎ）を有する、不良検知方法。
  11. 一つ以上の電子機器の製造工程で取得した複数の時系列センサデータ（ｔｉｍｅ－ｓｅｒｉｅｓ ｓｅｎｓｏｒ ｄａｔａ）を受信し、
    前記複数の時系列センサデータを二次元データアレイ内に配列し、
    前記二次元データアレイを畳み込みニューラルネットワークモデルに提供し、
    前記畳み込みニューラルネットワークモデルを用いて不良状態と相関する前記二次元データアレイ内のパターンを識別し、
    前記一つ以上の電子機器の製造工程で前記不良状態の不良指標（ｆａｕｌｔ ｉｎｄｉｃａｔｏｒ）を提供し、
    前記不良指標に基づいて前記電子機器が不良を含んでいるのかを分類し、
    前記一つ以上の製造工程内の複数の処理に対応するデータをそれぞれ有する複数の時系列センサデータセットを受信し、
    前記複数の時系列センサデータセットの前記複数の処理のそれぞれのデータサイズを比較し、
    前記複数の処理それぞれに対し、前記複数の時系列センサデータセットのうち最小ステップサイズを有する第１時系列センサデータセットを決定し、
    残りの時系列センサデータセットの各処理に対応する時系列センサデータを写像して前記最小ステップサイズを有するようにし、
    前記最小ステップサイズに写像される各工程を結合することによって前記複数の時系列センサデータセットのそれぞれに対して前記二次元データアレイを生成すること、を含み、
    前記二次元データアレイは、前記畳み込みニューラルネットワークモデルに対する入力データの次元（ｄｉｍｅｎｓｉｏｎ）を有する、不良検知方法。
  12. 前記残りの時系列センサデータセットの各処理に対応する時系列センサデータを写像して前記最小ステップサイズを有するようにすることは、前記最小ステップサイズの第１データサンプルを選択することを含む、請求項１１に記載の不良検知方法。
  13. さらに、前記残りの時系列センサデータセットの各処理に対応する時系列センサデータをデシメーション（ｄｅｃｉｍａｔｉｏｎ）で再サンプリングして前記最小ステップサイズを有する再サンプル時系列センサデータを求めることを含む、請求項１１に記載の不良検知方法。
  14. さらに、
    前記複数の時系列センサデータの平均を決定し、
    前記複数の時系列センサデータのそれぞれを移動させて平均が０になるようにし、
    前記複数の時系列センサデータそれぞれを規格化して－１と＋１との間の範囲に位置させること、を含む、請求項１に記載の不良検知方法。
  15. 第１フォーマットの第１データセットで事前トレーニング済みの畳み込みニューラルネットワークモデルを提供し、
    第２フォーマットの第２データセットを受信し、
    前記第２データセットの前記第２フォーマットを前記第１フォーマットに変換して第３データセットを生成し、
    前記畳み込みニューラルネットワークモデルを前記第３データセットで再トレーニングし、
    更新された畳み込みニューラルネットワークモデルを求めること、を含み、
    前記第２データセットは、一つ以上の電子機器の製造工程で取得した複数の時系列センサデータであり、前記第１フォーマットは、二次元データアレイであり、
    前記二次元データアレイは、前記更新された畳み込みニューラルネットワークモデルの入力データ次元を有し、
    さらに、
    前記二次元データアレイの前記第１フォーマットを有する前記第３データセットを前記更新された畳み込みニューラルネットワークモデルに提供し、
    前記更新された畳み込みニューラルネットワークモデルを用いて不良状態と相関する前記二次元データアレイ内のパターンを識別し、
    前記一つ以上の電子機器の製造工程で前記不良状態の不良指標（ｆａｕｌｔ ｉｎｄｉｃａｔｏｒ）を提供し、
    前記不良指標に基づいて前記電子機器が不良を含むと判断することと、
    次の１）、２）、３）、および４）のうち少なくとも一つの処理と、を含む、不良検知方法。
    １）前記複数の時系列センサデータをセンサの数に対応する第１次元と前記各センサのデータサンプル数に対応する第２次元を有する未加工トレースデータアレイに配置し、
    前記未加工トレースデータアレイが前記二次元データアレイに適合するかどうかを判断し、
    前記未加工トレースデータアレイを複数の未加工トレースデータアレイ片に分割し、
    前記複数の未加工トレースデータアレイ片を前記二次元データアレイに配置すること
    ２）互いに異なる数のデータサンプルを有する複数の時系列センサデータセットを受信し、
    前記複数の時系列センサデータセットのうち前記データサンプル数が最も少ない第１時系列センサデータセットを決定し、
    前記複数の時系列センサデータセットのうち残りの時系列センサデータセットのサイズを調整して前記残りの時系列センサデータセットが前記第１時系列センサデータセットのデータサンプル数と同じデータサンプル数を有するようにすること
    ３）前記不良状態と相関する前記複数の時系列センサデータの部分集合を決定し、
    前記二次元データアレイを再配列して前記複数の時系列センサデータの部分集合を隣接するように配置すること
    ４）前記一つ以上の製造工程内の複数の処理に対応するデータをそれぞれ有する複数の時系列センサデータセットを受信し、
    前記複数の時系列センサデータセットの前記複数の処理のそれぞれのデータサイズを比較し、
    前記複数の処理のそれぞれに対し、前記複数の時系列センサデータセットのうち最小ステップサイズを有する第１時系列センサデータセットを決定し、
    残りの時系列センサデータセットの各処理に対応する時系列センサデータを写像して前記最小ステップサイズを有するようにし、
    前記最小ステップサイズに写像される各工程を結合することによって前記複数の時系列センサデータセットのそれぞれに対して前記二次元データアレイを生成すること
  16. 前記電子機器は、表示装置のガラスパネルである、請求項１５に記載の不良検知方法。
  17. 前記更新された畳み込みニューラルネットワークモデルは、ＶＧＧ、Ｒｅｓｎｅｔ、Ａｌｅｘｎｅｔ、またはＳｑｕｅｅｚｅｎｅｔである、請求項１５に記載の不良検知方法。
  18. さらに、前記一つ以上の製造工程で前記不良を有する前記電子機器を廃棄することを含む、請求項１５に記載の不良検知方法。
  19. プロセッサと、
    プロセッサ実行可能命令を保存するメモリと、を含み、
    前記プロセッサは、データ分析モデルを実行し、
    前記データ分析モデルは、データ処理モジュールおよび分類器を含み、
    前記データ処理モジュールは、
    一つ以上の電子機器の製造工程で取得した複数の時系列センサデータ（ｔｉｍｅ－ｓｅｒｉｅｓ ｓｅｎｓｏｒ ｄａｔａ）を受信し、
    前記複数の時系列センサデータを二次元データアレイ内に配列し、
    前記二次元データアレイを畳み込みニューラルネットワークモデルに提供し、
    前記分類器は、
    不良状態と相関する前記二次元データアレイ内のパターンを識別し、
    前記一つ以上の電子機器の製造工程で前記不良状態の不良指標（ｆａｕｌｔ ｉｎｄｉｃａｔｏｒ）を提供し、
    前記不良指標に基づいて前記電子機器が不良を含むと判断し、
    前記二次元データアレイは、前記畳み込みニューラルネットワークモデルに対する入力データの次元（ｄｉｍｅｎｓｉｏｎ）を有し、
    前記二次元データアレイは第２の二次元データアレイに変換され、前記第２の二次元データアレイは互いに離れている複数のデータアレイを含む、
    不良検知装置。
JP2019226698A 2019-02-05 2019-12-16 不良検知方法および不良検知装置 Active JP7482624B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962801393P 2019-02-05 2019-02-05
US62/801,393 2019-02-05
US16/403,381 US11714397B2 (en) 2019-02-05 2019-05-03 System and method for generating machine learning model with trace data
US16/403,381 2019-05-03

Publications (2)

Publication Number Publication Date
JP2020126601A JP2020126601A (ja) 2020-08-20
JP7482624B2 true JP7482624B2 (ja) 2024-05-14

Family

ID=69024149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019226698A Active JP7482624B2 (ja) 2019-02-05 2019-12-16 不良検知方法および不良検知装置

Country Status (6)

Country Link
US (2) US11714397B2 (ja)
EP (1) EP3693823A1 (ja)
JP (1) JP7482624B2 (ja)
KR (1) KR20200096861A (ja)
CN (1) CN111524478A (ja)
TW (1) TW202043954A (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3764179A1 (en) * 2019-07-08 2021-01-13 ABB Schweiz AG Assessing conditions of instustrial equipment and processes
US11314984B2 (en) * 2019-08-20 2022-04-26 International Business Machines Corporation Intelligent generation of image-like representations of ordered and heterogenous data to enable explainability of artificial intelligence results
US11415975B2 (en) * 2019-09-09 2022-08-16 General Electric Company Deep causality learning for event diagnosis on industrial time-series data
KR20220023490A (ko) * 2020-08-21 2022-03-02 삼성전자주식회사 전자 장치 및 그 제어 방법
TWI793626B (zh) * 2020-08-28 2023-02-21 財團法人工業技術研究院 結構劣化的聲振診斷方法與系統
US20230376024A1 (en) * 2020-09-30 2023-11-23 Siemens Aktiengesellschaft Device and Method for Identifying Anomalies in an Industrial System for Implementing a Production Process
KR102417415B1 (ko) 2020-11-06 2022-07-06 한국생산기술연구원 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템
CN112541889A (zh) * 2020-12-02 2021-03-23 杭州安脉盛智能技术有限公司 一种多层级模型的复杂纹理对象表面缺陷检测方法
CN114764550A (zh) * 2021-01-12 2022-07-19 联华电子股份有限公司 失效检测与分类模型的运作方法与运作装置
CN113012458A (zh) * 2021-02-07 2021-06-22 启迪云控(上海)汽车科技有限公司 一种多点位路侧感知目标的状态监控管理方法及系统
JP7230086B2 (ja) * 2021-03-18 2023-02-28 三菱電機インフォメーションネットワーク株式会社 多形式データ解析システムおよび多形式データ解析プログラム
CN115129679A (zh) * 2021-03-29 2022-09-30 戴尔产品有限公司 通过日志文件的关键区域的基于机器学习的识别进行服务请求补救
CN113204738B (zh) * 2021-04-30 2022-04-08 山东大学 一种基于小波变换与拓扑数据分析的机械故障特征提取方法
US20220398410A1 (en) * 2021-06-10 2022-12-15 United Microelectronics Corp. Manufacturing data analyzing method and manufacturing data analyzing device
EP4102318A1 (en) * 2021-06-10 2022-12-14 Siemens Aktiengesellschaft A method of virtually inspecting a quality of a product
JP2023019776A (ja) * 2021-07-29 2023-02-09 富士フイルム株式会社 データ処理装置、データ処理方法、及びプログラム
CN114659785A (zh) * 2021-12-27 2022-06-24 三一重能股份有限公司 一种风力发电机传动链的故障检测方法及装置
TWI833251B (zh) * 2022-06-21 2024-02-21 南亞科技股份有限公司 失效模式分析系統及失效模式分析方法
US20230418702A1 (en) * 2022-06-24 2023-12-28 International Business Machines Corporation System log pattern analysis by image similarity recognition
CN115980512B (zh) * 2022-12-28 2023-08-15 山东恒道信息技术有限公司 一种输配电网故障定位方法
CN116204846B (zh) * 2023-05-06 2023-08-01 云南星晟电力技术有限公司 一种基于可见图的配电网传感器数据异常快速定位方法
CN117793579B (zh) * 2024-02-23 2024-05-28 西安拓米网络科技有限公司 基于物联网的计量设备远程监测管理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013030542A (ja) 2011-07-27 2013-02-07 Panasonic Liquid Crystal Display Co Ltd 非晶質半導体膜の評価方法、及び半導体装置の製造方法
US20130103213A1 (en) 2011-06-13 2013-04-25 Xiaoqin Ma System and method for operating a turbine farm
JP2017215277A (ja) 2016-06-02 2017-12-07 住友化学株式会社 欠陥検査システム、フィルム製造装置及び欠陥検査方法
US20180096243A1 (en) 2016-09-30 2018-04-05 General Electric Company Deep learning for data driven feature representation and anomaly detection
JP2018120300A (ja) 2017-01-23 2018-08-02 株式会社リコー 情報処理装置、情報処理方法およびプログラム
US20180260704A1 (en) 2017-03-10 2018-09-13 International Business Machines Corporation Multi-dimensional time series event prediction via convolutional neural network(s)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028353A1 (en) * 2001-08-06 2003-02-06 Brian Gventer Production pattern-recognition artificial neural net (ANN) with event-response expert system (ES)--yieldshieldTM
US7035877B2 (en) * 2001-12-28 2006-04-25 Kimberly-Clark Worldwide, Inc. Quality management and intelligent manufacturing with labels and smart tags in event-based product manufacturing
JP4384426B2 (ja) 2003-02-21 2009-12-16 株式会社堀場製作所 平面表示パネルの検査装置および平面表示パネルの検査方法
JP4080514B2 (ja) 2006-07-27 2008-04-23 シャープ株式会社 検査装置、検査方法、検査プログラムおよびコンピュータ読み取り可能な記録媒体
CN102324034B (zh) * 2011-05-25 2012-08-15 北京理工大学 基于最小二乘支持向量机在线预测的传感器故障诊断方法
JP2015537311A (ja) 2012-11-28 2015-12-24 サン−ゴバン グラス フランス ガラスの欠陥を識別する方法及びシステム
CN105224543A (zh) 2014-05-30 2016-01-06 国际商业机器公司 用于处理时间序列的方法和装置
CN104392432A (zh) * 2014-11-03 2015-03-04 深圳市华星光电技术有限公司 基于方向梯度直方图的显示面板缺陷检测方法
CA2972973A1 (en) * 2015-01-09 2016-07-14 Ecorithm, Inc. Machine learning-based fault detection system
CN107430715A (zh) * 2015-03-11 2017-12-01 西门子工业公司 建筑物自动化中的级联识别
GB2547712A (en) 2016-02-29 2017-08-30 Fujitsu Ltd Method and apparatus for generating time series data sets for predictive analysis
US10109046B2 (en) 2016-07-19 2018-10-23 Globalfoundries Inc. Methods of detecting faults in real-time for semiconductor wafers
US10565513B2 (en) * 2016-09-19 2020-02-18 Applied Materials, Inc. Time-series fault detection, fault classification, and transition analysis using a K-nearest-neighbor and logistic regression approach
CA3054667A1 (en) * 2017-02-26 2018-08-30 Yougetitback Limited System and method for detection of mobile device fault conditions
CN107271925B (zh) * 2017-06-26 2019-11-05 湘潭大学 基于深度卷积网络的模块化五电平换流器故障定位方法
CN109298993B (zh) * 2017-07-21 2022-07-29 深圳市中兴微电子技术有限公司 一种检测故障的方法、装置及计算机可读存储介质
CN108010016A (zh) * 2017-11-20 2018-05-08 华中科技大学 一种基于卷积神经网络的数据驱动故障诊断方法
US20190187634A1 (en) * 2017-12-15 2019-06-20 Midea Group Co., Ltd Machine learning control of environmental systems
US10706701B2 (en) * 2018-01-12 2020-07-07 Qognify Ltd. System and method for dynamically ordering video channels according to rank of abnormal detection
US10354462B1 (en) * 2018-04-06 2019-07-16 Toyota Motor Engineering & Manufacturing North America, Inc. Fault diagnosis in power electronics using adaptive PCA
WO2020023762A1 (en) * 2018-07-26 2020-01-30 Walmart Apollo, Llc System and method for produce detection and classification

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130103213A1 (en) 2011-06-13 2013-04-25 Xiaoqin Ma System and method for operating a turbine farm
JP2013030542A (ja) 2011-07-27 2013-02-07 Panasonic Liquid Crystal Display Co Ltd 非晶質半導体膜の評価方法、及び半導体装置の製造方法
JP2017215277A (ja) 2016-06-02 2017-12-07 住友化学株式会社 欠陥検査システム、フィルム製造装置及び欠陥検査方法
US20180096243A1 (en) 2016-09-30 2018-04-05 General Electric Company Deep learning for data driven feature representation and anomaly detection
JP2018120300A (ja) 2017-01-23 2018-08-02 株式会社リコー 情報処理装置、情報処理方法およびプログラム
US20180260704A1 (en) 2017-03-10 2018-09-13 International Business Machines Corporation Multi-dimensional time series event prediction via convolutional neural network(s)

Also Published As

Publication number Publication date
EP3693823A1 (en) 2020-08-12
US20230333533A1 (en) 2023-10-19
US20200249651A1 (en) 2020-08-06
CN111524478A (zh) 2020-08-11
US11714397B2 (en) 2023-08-01
TW202043954A (zh) 2020-12-01
JP2020126601A (ja) 2020-08-20
KR20200096861A (ko) 2020-08-14

Similar Documents

Publication Publication Date Title
JP7482624B2 (ja) 不良検知方法および不良検知装置
KR102468982B1 (ko) 주사 전자 현미경 계측을 사용한 결함 검출, 분류 및 프로세스 윈도우 제어
CN109612999B (zh) 用于晶圆图分析的系统和方法
US11803953B2 (en) Manufacturing quality improvement through statistical root cause analysis using convolution neural networks
US11686689B2 (en) Automatic optimization of an examination recipe
CN111275660B (zh) 一种平板显示器缺陷检测方法及装置
US11449977B2 (en) Generating training data usable for examination of a semiconductor specimen
US9747518B2 (en) Automatic calibration sample selection for die-to-database photomask inspection
JP2020198092A (ja) 教師なし異常検出及び高次元センサデータの多数決投票による原因説明のための方法及びシステム
Fadli et al. Steel surface defect detection using deep learning
CN116385380A (zh) 基于深度特征的缺陷检测方法、系统、设备及存储介质
CN114169460A (zh) 样本筛选方法、装置、计算机设备和存储介质
US11151710B1 (en) Automatic selection of algorithmic modules for examination of a specimen
EP3839680B1 (en) Method and device for controlling a machine using principal component analysis
US11593673B2 (en) Systems and methods for identifying influential training data points
CN114943674A (zh) 瑕疵检测方法、电子装置及存储介质
CN115861305A (zh) 柔性电路板检测方法、装置、计算机设备及存储介质
JP2023145412A (ja) 欠陥検出方法及びシステム
US20220392051A1 (en) Method and apparatus with image analysis
JP2007248198A (ja) 特性分布の特徴量抽出方法および特性分布の分類方法
TW202145083A (zh) 使用相異訓練源訓練分類模型及應用其之推論引擎
WO2023112302A1 (ja) 教師データ作成支援装置、教師データ作成支援方法
US20230029163A1 (en) Wafer map analysis system using neural network and method of analyzing wafer map using the same
US12007335B2 (en) Automatic optimization of an examination recipe
KR102489115B1 (ko) 제조품의 비전 검사를 위한 심층 학습 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240430

R150 Certificate of patent or registration of utility model

Ref document number: 7482624

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150