JP4813071B2 - Macro image display system and macro image display method - Google Patents

Macro image display system and macro image display method Download PDF

Info

Publication number
JP4813071B2
JP4813071B2 JP2005082929A JP2005082929A JP4813071B2 JP 4813071 B2 JP4813071 B2 JP 4813071B2 JP 2005082929 A JP2005082929 A JP 2005082929A JP 2005082929 A JP2005082929 A JP 2005082929A JP 4813071 B2 JP4813071 B2 JP 4813071B2
Authority
JP
Japan
Prior art keywords
defect
overlap
macro
substrate
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005082929A
Other languages
Japanese (ja)
Other versions
JP2006266766A5 (en
JP2006266766A (en
Inventor
真孝 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005082929A priority Critical patent/JP4813071B2/en
Publication of JP2006266766A publication Critical patent/JP2006266766A/en
Publication of JP2006266766A5 publication Critical patent/JP2006266766A5/ja
Application granted granted Critical
Publication of JP4813071B2 publication Critical patent/JP4813071B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、生産ラインで使用されるマクロ画像表示システム及びマクロ画像表示方法に関する。   The present invention relates to a macro image display system and a macro image display method used in a production line.

フラットパネルディスプレイ(以下、FPDと略す)や、半導体ウェハの生産ラインでは、欠陥検査装置を設けて基板上の欠陥の有無を検査している。欠陥検査装置としては、被検査対象物にマクロ照明光を照射して、被検査対象物からの反射光を目視で検査する目視マクロ検査装置や、被検査対象物の表面画像をデジタル撮像手段で撮像し、撮像されたマクロ画像データを画像処理によって欠陥解析を行う自動マクロ検査装置が知られている。自動マクロ検査装置は、欠陥の種類と判定とを自動で精度良く行うことが困難であるため、目視マクロ検査装置と併用して使用される。
また、最近の目視マクロ検査では、自動マクロ検査装置において作成された被検査対象物のマクロ画像を表示モニタに表示し、このマクロ画像を参考にしながら目視マクロ検査を行うことにより、判定確度を高める手法がとられている(例えば、特許文献1参照)。
特開2003−90802号公報
In a flat panel display (hereinafter abbreviated as FPD) and a semiconductor wafer production line, a defect inspection apparatus is provided to inspect for defects on the substrate. As the defect inspection apparatus, the macro illumination light is irradiated on the inspection object, and the visual macro inspection apparatus that visually inspects the reflected light from the inspection object, or the surface image of the inspection object is digital imaging means. 2. Description of the Related Art An automatic macro inspection apparatus that captures an image and performs defect analysis on the captured macro image data by image processing is known. An automatic macro inspection apparatus is used in combination with a visual macro inspection apparatus because it is difficult to automatically and accurately determine the type and determination of defects.
Further, in recent visual macro inspection, a macro image of an object to be inspected created by an automatic macro inspection apparatus is displayed on a display monitor, and visual macro inspection is performed while referring to the macro image, thereby improving the determination accuracy. The technique is taken (for example, refer patent document 1).
JP 2003-90802 A

ところで、FPDや半導体ウェハの製造工程においては、製造装置の動作条件に起因する欠陥が、連続して同じ位置に発生することがある。
しかしながら、従来の目視による検査方法では、オペレータの経験に基づいて被検査対象物を一枚ずつ検査しているので、欠陥が同じ場所に連続して発生したか否かの判定は、オペレータの熟練度によってばらつきがあった。
また、経験の少ないオペレータの場合には、連続して発生した欠陥を見過ごしてしまうことがあり、製造装置の動作不良を発見するまでに時間を要したりすることがあった。
さらに、製造装置に起因して欠陥が連続して発生したことが判明した場合であっても、生産ラインの担当者は製造装置の設定等に対して詳細な知識がない場合があり、プロセス管理者等を探して製造装置の設定等に検討を行う必要があるので、迅速な対応をとることができなかった。
By the way, in FPD and semiconductor wafer manufacturing processes, defects caused by operating conditions of the manufacturing apparatus may occur continuously at the same position.
However, in the conventional visual inspection method, the inspection object is inspected one by one based on the operator's experience, so it is difficult to determine whether or not defects have occurred continuously in the same place. There was variation depending on the degree.
Further, in the case of an operator with little experience, a defect that has occurred continuously may be overlooked, and it may take time to find a malfunction of the manufacturing apparatus.
Furthermore, even if it is found that defects have occurred continuously due to the manufacturing equipment, the person in charge of the production line may not have detailed knowledge about the settings of the manufacturing equipment, etc. Since it is necessary to search for a person etc. and examine the setting of the manufacturing apparatus, it was not possible to take a quick response.

この発明は、このような事情に鑑みてなされたものであり、目視検査時に欠陥情報を表示し、オペレータの判定のばらつきを少なくすることを目的とする。また、目視検査時に、オペレータによる見過ごしを無くし、不良品の発生を抑えることを目的とする。また、連続して欠陥が発生した場合に、そのような欠陥を目視で容易に把握することで、検査時間を少なくして検査効率を上げることを目的とする。   This invention is made in view of such a situation, and it aims at displaying defect information at the time of visual inspection, and reducing the dispersion | variation in an operator's determination. Another object of the present invention is to eliminate oversight by an operator during visual inspection and suppress the occurrence of defective products. Another object of the present invention is to increase the inspection efficiency by reducing the inspection time by easily grasping such defects visually when the defects are continuously generated.

上記の課題を解決する本発明は、生産ラインで連続して生産される各基板を自動マクロ検査装置で検査し、前記基板上に発生した欠陥の結果を画像表示するマクロ画像表示システムであって、前記自動マクロ検査装置によって前記各基板表面を撮像したマクロ画像から前記各基板上の欠陥位置座標を含む欠陥情報を取得し、前記各基板の欠陥情報に基づいて複数の前記欠陥位置座標の重なり合いと、重なり合いの頻度を計算する演算手段と、前記マクロ画像を出力するとともに、前記欠陥位置座標と前記欠陥の重なり合いの頻度に基づいて、前記検査画像上の欠陥領域を強調表示する出力手段と、を備えることを特徴とするマクロ画像表示システムとした。 The present invention that solves the above problems is a macro image display system that inspects each substrate continuously produced on a production line with an automatic macro inspection apparatus, and displays an image of a result of a defect generated on the substrate. , Obtaining defect information including defect position coordinates on each substrate from a macro image obtained by imaging each substrate surface by the automatic macro inspection apparatus, and overlapping a plurality of the defect position coordinates based on the defect information of each substrate And calculating means for calculating the frequency of overlap, and outputting the macro image, and outputting means for highlighting the defect area on the inspection image based on the frequency of overlap between the defect position coordinates and the defect , A macro image display system characterized by comprising:

また、本発明は、生産ラインで連続して生産される各基板の全面を撮像して検査画像を取得する工程と、前記検査画像から画像処理によって前記各基板上の欠陥の有無を検査し、欠陥位置座標とを含む欠陥情報を作成する工程と、前記各基板の欠陥情報に基づいて複数の欠陥位置座標の重なり合いと、重なり合いの頻度を計算する工程と、前記欠陥位置座標の重なり合いの頻度の計算結果により欠陥の集中度合が所定レベルに達した場合、複数の基板に連続して発生する欠陥に対応する欠陥情報データと前記マクロ画像を添付した警告データを作成する工程と、この警告データをネットワークに接続された管理PCに送信する工程と、送信された警告データに基づいて欠陥の情報データと画像データを管理PCのモニタに表示する工程と、を備えることを特徴とするマクロ画像表示方法とした。 In addition, the present invention captures the entire surface of each substrate continuously produced on the production line and obtains an inspection image, and inspects the presence or absence of defects on each substrate by image processing from the inspection image, a step of creating a defect information including the defect position coordinates, the overlapping of a plurality of defect position coordinates based on the defect information of each substrate, and calculating the frequency of overlap, the frequency of overlap of the defect position coordinates When the degree of concentration of defects reaches a predetermined level according to the calculation result, a step of creating defect information data corresponding to defects continuously generated on a plurality of substrates and warning data attached with the macro image , and the warning data Transmitting to a management PC connected to the network; and displaying defect information data and image data on a monitor of the management PC based on the transmitted warning data. It was a macro image display method comprising obtaining.

また、本発明は、生産ラインで連続して生産される前記各基板の全面の画像を撮像して検査画像を取得する工程と、前記検査画像から画像処理によって前記各基板上の欠陥の有無を検査し、欠陥位置座標と欠陥判定結果を含む欠陥情報を作成する工程と、前記各基板の欠陥情報に基づいて複数の前記欠陥位置座標の重なり合いと、重なり合いの頻度を計算する工程と、前記欠陥位置座標の重なり合いの頻度が所定レベルに達した場合、複数の基板に連続して発生する欠陥に対応する欠陥情報データと前記マクロ画像をネットワークに接続された目視マクロ検査装置のモニタに表示する工程と、を備えることを特徴とするマクロ画像表示方法とした。 The present invention also includes a step of obtaining an inspection image by capturing an image of the entire surface of each substrate produced continuously on a production line, and the presence or absence of defects on each substrate by image processing from the inspection image. Inspecting, creating defect information including defect position coordinates and defect determination results, overlapping a plurality of the defect position coordinates based on the defect information of each substrate, calculating the frequency of the overlapping, and the defect When the frequency of overlapping position coordinates reaches a predetermined level, a step of displaying defect information data corresponding to defects continuously generated on a plurality of substrates and the macro image on a monitor of a visual macro inspection apparatus connected to a network And a macro image display method characterized by comprising:

本発明によれば、生産ラインで基板を連続して生産する際に、基板を生産しながら欠陥検査を行い、複数の基板に連続して発生した欠陥の集中度合いを計算するようにしたので、製造装置などに起因して発生する欠陥を確実に把握することができる。また、欠陥の集中度合いを画面表示するようにすると、オペレータの判定のばらつきが減少し、さらに目視検査時のオペレータの見逃しがなくなるので、基板の不良発生を抑制できる。   According to the present invention, when the substrate is continuously produced on the production line, the defect inspection is carried out while producing the substrate, and the concentration degree of the defect continuously generated on the plurality of substrates is calculated. It is possible to reliably grasp a defect that occurs due to a manufacturing apparatus or the like. In addition, when the defect concentration level is displayed on the screen, variations in the operator's determination are reduced and the operator's oversight during visual inspection is eliminated, so that the occurrence of substrate defects can be suppressed.

発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
図1には、マクロ画像表示システムを、マクロ検査装置を組み入れた半導体ウェハや、FPD用ガラス基板を製造する生産工場に適用した例が図示されている。
最初に、目視マクロ検査装置100を含むマクロ画像表示システムの概略について説明する。
目視マクロ検査装置100は、上方からマクロ照明光をFPD用ガラス基板や、半導体ウェハなどのワーク上に照射し、ワークからの反射光を目視観察してワーク上の欠陥を検査するもので、生産ライン上に配設される製造装置101や、その他の装置とネットワークで接続されている。ここで、製造装置101としては、例えば、FPD基板や、半導体基板などのワークにレジストを塗布する装置や、露光装置などがあげられ、このような製造装置101の動作条件は管理PC(パーソナルコンピュータ)102により管理されている。自動マクロ検査装置103は、ワークの全面の画像を撮像装置により取り込んで、画像処理を行い、予め登録されている欠陥に関するデータと比較を行うことで、欠陥の検査を行う装置である。自動マクロ検査装置103で検査した結果、被検査基板に欠陥があると判断されたときには、欠陥位置及び欠陥の種類などの欠陥情報からなる欠陥データが作成され、基板情報データ格納手段104に保存されるようになっている。また、自動マクロ検査装置103からは、ワーク全体から撮像した画像データが出力され、画像データ格納手段105に保存されるようになっている。
The best mode for carrying out the invention will be described in detail with reference to the drawings.
FIG. 1 shows an example in which the macro image display system is applied to a production factory for manufacturing a semiconductor wafer incorporating a macro inspection apparatus or a glass substrate for FPD.
First, an outline of a macro image display system including the visual macro inspection apparatus 100 will be described.
The visual macro inspection apparatus 100 irradiates macro illumination light from above onto a work such as a glass substrate for FPD or a semiconductor wafer, and visually inspects reflected light from the work to inspect defects on the work. It is connected to the manufacturing apparatus 101 arranged on the line and other apparatuses via a network. Here, examples of the manufacturing apparatus 101 include an apparatus for applying a resist to a workpiece such as an FPD substrate and a semiconductor substrate, an exposure apparatus, and the like. The operating conditions of such a manufacturing apparatus 101 include a management PC (personal computer). ) 102. The automatic macro inspection apparatus 103 is an apparatus that inspects a defect by capturing an image of the entire surface of a workpiece with an imaging apparatus, performing image processing, and comparing the image with data relating to a defect registered in advance. As a result of inspection by the automatic macro inspection apparatus 103, when it is determined that the substrate to be inspected has a defect, defect data including defect information such as a defect position and a defect type is created and stored in the substrate information data storage unit 104. It has become so. The automatic macro inspection apparatus 103 outputs image data captured from the entire workpiece and stores it in the image data storage means 105.

ここで、基板情報データ格納手段104には、例えば、図2に示すようなフォーマットの欠陥情報ファイルが電子ファイルとして格納されている。欠陥情報ファイルは、基本情報として、検査日時、ロットID(Identicication)、品種番号、工程番号、などの情報が格納されている。基板情報としては、基板ID、基板判定結果、基板判定理由が格納され、セル情報としては、セルID、セル判定結果、セル判定理由が格納されている。また、欠陥位置情報としては、欠陥位置座標と、欠陥判定結果とが格納されている。欠陥位置情報は、欠陥の位置を所定の直交座標系で表したもので、例えば、1番目の欠陥として、(x,y)=(100.000,200.00)と、(x,y)=(110.000,220.000)との2つの座標が格納されている。そして、図3に示すように、これら2つの座標を対角とする長方形の領域内が欠陥のある位置として認識される。欠陥判定結果は、欠陥位置座標と関連付けて格納される情報で、「OK」、「NG」等のステータスが格納されている。これは、大きさや、種類に応じて欠陥を判断するときの指標である。 Here, in the substrate information data storage means 104, for example, a defect information file having a format as shown in FIG. 2 is stored as an electronic file. The defect information file stores information such as inspection date, lot ID (Identification), product type number, and process number as basic information . As the substrate information, a substrate ID, a substrate determination result, and a substrate determination reason are stored, and as the cell information, a cell ID, a cell determination result, and a cell determination reason are stored. As the defect position information, defect position coordinates and a defect determination result are stored. The defect position information represents the position of the defect in a predetermined orthogonal coordinate system. For example, as the first defect, (x, y) = (100.000, 200.00) and (x, y) = 2 (110.000, 220.000) are stored. Then, as shown in FIG. 3, the inside of the rectangular area whose diagonal is the two coordinates is recognized as a position having a defect. The defect determination result is information stored in association with the defect position coordinates, and stores statuses such as “OK” and “NG”. This is an index for determining a defect according to size and type.

図1に示す目視マクロ検査装置100は、基板情報データ格納手段104から欠陥情報ファイルを取得し、画像データ格納手段105から画像データを取得し、内部でデータ処理を行って、必要な情報を表示モニタ106に表示する。
管理PC107,108は、検査装置100,103や、製造装置101の状態を離れたところからチェックするためのもので、生産ラインから離れたところに設置される。
このマクロ画面表示システムでは、目視マクロ検査を行っているオペレータ(検査者)や、工場のプロセスを管理しているスタッフが、目視マクロ検査装置100の表示モニタ106や、管理PC107,108に表示される自動マクロ検査装置103で撮像された情報に基づいて、被検査基板であるFPD基板等の状態を把握することができる。また、表示モニタ106や、管理PC107,108に表示された情報は、製造装置101にフィードバックされ、製造装置101の動作条件の調整に参照されるようになっている。
The visual macro inspection apparatus 100 shown in FIG. 1 acquires a defect information file from the substrate information data storage unit 104, acquires image data from the image data storage unit 105, performs internal data processing, and displays necessary information. Displayed on the monitor 106.
The management PCs 107 and 108 are for checking the state of the inspection apparatuses 100 and 103 and the manufacturing apparatus 101 from a remote location, and are installed at a location remote from the production line.
In this macro screen display system, an operator (inspector) who performs a visual macro inspection and a staff who manages a factory process are displayed on the display monitor 106 of the visual macro inspection apparatus 100 and management PCs 107 and 108. Based on the information captured by the automatic macro inspection apparatus 103, it is possible to grasp the state of the FPD substrate that is the substrate to be inspected. Information displayed on the display monitor 106 and the management PCs 107 and 108 is fed back to the manufacturing apparatus 101 and is referred to when adjusting the operating conditions of the manufacturing apparatus 101.

次に、図4を参照して目視マクロ検査装置100の構成について説明する。
目視マクロ検査装置100は、目視マクロ検査制御部401を有し、目視マクロ検査制御部401には、外部装置である自動マクロ検査装置103及び基板搬送ロボット402が接続されており、さらに、基板ホルダユニット403と、基板回動ステージユニット404と、照明ユニット405と、データ入出力手段406とが接続されている。基板搬送ロボット402は、被検査基板を自動マクロ検査装置103から目視マクロ検査装置100に搬送し、基板ホルダユニット403上に載置させる。基板ホルダユニット403は、基板回動ステージユニット404上に取り付けられており、被検査基板を保持するようになっている。基板回動ステージユニット404は、被検査基板をオペレータに対して様々な角度に回転できるように構成されている。照明ユニット405は、基板ホルダユニット403の上方からワークの表面にマクロ照明光を照射する装置である。このため、オペレータは、ジョイスティックなどの操作部を操作し、基板回動ステージユニット404を前後又は左右に傾斜させることにより、照明ユニット405に照らされたワークを様々な角度から目視観察することができる。また、目視マクロ検査制御部401は、ワーク(被検査基板)が基板搬送ロボット402により目視マクロ検査装置100に搬入されると、当該ワークの情報をデータ入出力手段406に出力するように構成されている。
Next, the configuration of the visual macro inspection apparatus 100 will be described with reference to FIG.
The visual macro inspection apparatus 100 includes a visual macro inspection control unit 401. The visual macro inspection control unit 401 is connected to an automatic macro inspection apparatus 103 and a substrate transport robot 402 which are external devices, and further includes a substrate holder. The unit 403, the substrate rotation stage unit 404, the illumination unit 405, and the data input / output means 406 are connected. The substrate transfer robot 402 transfers the substrate to be inspected from the automatic macro inspection apparatus 103 to the visual macro inspection apparatus 100 and places it on the substrate holder unit 403. The substrate holder unit 403 is mounted on the substrate rotation stage unit 404 and holds the substrate to be inspected. The substrate rotation stage unit 404 is configured to rotate the substrate to be inspected at various angles with respect to the operator. The illumination unit 405 is a device that irradiates the surface of the workpiece with macro illumination light from above the substrate holder unit 403. For this reason, the operator can visually observe the workpiece illuminated by the illumination unit 405 from various angles by operating an operation unit such as a joystick and tilting the substrate rotation stage unit 404 back and forth or left and right. . The visual macro inspection control unit 401 is configured to output information on the workpiece to the data input / output means 406 when the workpiece (substrate to be inspected) is carried into the visual macro inspection apparatus 100 by the substrate transfer robot 402. ing.

データ入出力手段406は、ワークの情報を受け取ったときに、外部の基板情報データ格納手段104及び画像データ格納手段105にアクセスし、欠陥情報ファイル及び画像データを取得するようになっている。さらに、データ入出力手段406は、キーボードやマウスなどの入力手段407と、データ処理手段408(演算手段)と、画像表示処理手段409とに接続されている。
データ処理手段408は、データ入出力手段406から取り込んだ欠陥情報ファイルから、欠陥ごとの情報を抽出し、欠陥履歴データを作成する機能を有する。また、後に詳細を説明するように、欠陥の重なりを計算する機能を有する。このデータ処理手段408には、データ入出力手段406の他に、欠陥履歴入出力手段410と、画像表示処理手段409とが接続されている。ここで、欠陥履歴データのデータ形式の一例を図5に示す。図5に示す欠陥履歴データRKDは、1枚のワークの欠陥ごとに1つのデータが作成され、処理日付、検査期間、品種番号、工程番号、ロットID、基板IDなどの生産情報が記載されている。また、欠陥履歴データには、重なり数の情報が付加されている。以下、欠陥履歴データは、図5に示すフォーマットを有するものとして説明する。
When the data input / output unit 406 receives workpiece information, the data input / output unit 406 accesses the external substrate information data storage unit 104 and the image data storage unit 105 to acquire a defect information file and image data. Further, the data input / output unit 406 is connected to an input unit 407 such as a keyboard and a mouse, a data processing unit 408 (calculation unit), and an image display processing unit 409.
The data processing unit 408 has a function of extracting information for each defect from the defect information file fetched from the data input / output unit 406 and creating defect history data. Further, as will be described in detail later, it has a function of calculating the overlap of defects. In addition to the data input / output unit 406, a defect history input / output unit 410 and an image display processing unit 409 are connected to the data processing unit 408. Here, an example of the data format of the defect history data is shown in FIG. In the defect history data RKD shown in FIG. 5, one piece of data is created for each defect of one workpiece, and production information such as a processing date, an inspection period, a product number, a process number, a lot ID, and a substrate ID is described. Yes. In addition, information on the number of overlaps is added to the defect history data. Hereinafter, the defect history data will be described as having the format shown in FIG.

また、図4に示す欠陥履歴入出力手段410は、欠陥履歴格納手段411に対してデータの入出力処理を行う。
画像表示処理手段409は、マクロ回折画像表示装置412と、マクロ干渉画像表示装置413とに接続されており、データ処理の結果を画像表示するための処理を行う。
Further, the defect history input / output unit 410 shown in FIG. 4 performs data input / output processing with respect to the defect history storage unit 411.
The image display processing unit 409 is connected to the macro diffraction image display device 412 and the macro interference image display device 413, and performs processing for displaying the result of the data processing as an image.

ここで、データ処理手段408で行われる欠陥位置の重なり合いの計算の概略について、図6及び図7を用いて説明する。
図6には、それぞれ欠陥履歴格納手段411に格納されている欠陥履歴データRKD1と、欠陥履歴データRKD2とが図示されている。これら欠陥履歴データRKD1,RKD2に格納されている欠陥位置の関係を模式的に示すと、図7のようになる。図7において、斜線で示す部分が、欠陥が重なっている部分である。つまり、データ処理手段408は、欠陥履歴入出力手段410を介して欠陥履歴格納手段411から複数の欠陥履歴データRKD(例えば、欠陥履歴データRKD1,RKD2)を随時取得し、図7に示すように欠陥の重なっている部分を計算により求める。
Here, an outline of the calculation of the overlap of defect positions performed by the data processing means 408 will be described with reference to FIGS.
FIG. 6 shows defect history data RKD1 and defect history data RKD2 stored in the defect history storage unit 411, respectively. The relationship between the defect positions stored in the defect history data RKD1 and RKD2 is schematically shown in FIG. In FIG. 7, a hatched portion is a portion where defects are overlapped. That is, the data processing means 408 obtains a plurality of defect history data RKD (for example, defect history data RKD1, RKD2) from the defect history storage means 411 through the defect history input / output means 410 as needed, as shown in FIG. The part where the defect overlaps is obtained by calculation.

さらに、欠陥の重なり合いを計算する方法の詳細について、図8を用いて説明する。
欠陥履歴格納手段411には、図5に示すような欠陥履歴データRKDが複数格納されている。欠陥履歴データRKDには、前記のように検査期間等の生産情報が記載されており、これら生産情報に基づいて欠陥の重なり合いが計算される。ここで、重なり合いの計算を行うにあたっては、例えば、ロットIDが、A123400のロットについてだけ重なりを計算するなど、計算のための条件を設定する必要がある。条件とは、欠陥履歴データRKDに含まれる生産情報の少なくとも1つを特定したものである。
入力手段407は、重なり合いを計算するときに条件を設定するためのデータ入力を行う。そして、入力手段407で入力されたデータに基づき、データ処理手段408が欠陥の重なり合いを計算するときの条件を欠陥履歴入出力手段410に通知する。欠陥履歴入出力手段410は、通知された条件に基づいて、欠陥履歴格納手段411から該当する欠陥履歴データRKDを抽出し、データ処理手段408に渡す。データ処理手段408は、欠陥履歴格納手段411から抽出した欠陥履歴データRKDに基づいて、重なり合い計算を行う。
Further, details of a method for calculating the overlap of defects will be described with reference to FIG.
The defect history storage means 411 stores a plurality of defect history data RKD as shown in FIG. In the defect history data RKD, production information such as an inspection period is described as described above, and the overlap of defects is calculated based on the production information. Here, when calculating the overlap, for example, it is necessary to set conditions for calculation, such as calculating the overlap only for the lot whose lot ID is A123400. The condition specifies at least one piece of production information included in the defect history data RKD.
The input unit 407 inputs data for setting a condition when calculating the overlap. Then, based on the data input by the input unit 407, the data processing unit 408 notifies the defect history input / output unit 410 of the conditions for calculating the overlap of defects. The defect history input / output unit 410 extracts the corresponding defect history data RKD from the defect history storage unit 411 based on the notified condition, and passes it to the data processing unit 408. The data processing unit 408 performs overlap calculation based on the defect history data RKD extracted from the defect history storage unit 411.

次に、データ処理手段408の重なり計算の処理について、図9及び図10のフローチャートを参照して説明する。
まず、検索条件入力工程(ステップS901)では、欠陥の重なり合いを計算するにあたり、複数の欠陥履歴データRKDから計算対象となるデータを検索するために、日付、ロットID、品種番号、工程番号、自動マクロ検査装置103を特定する装置号機番号等、生産情報の条件の入力を、入力手段407から受け付ける。検索の条件は、直近に製造された基板の集合が抽出されるようにしても良いし、前日や、それ以前に製造された基板を含む集合が抽出されるようにしても良い。
欠陥履歴データ読み込み工程(ステップS902)では、検索条件入力工程(ステップS901)で取得した検索条件に合致したデータを、欠陥履歴格納手段411から読み込む。ここで、このとき読み込まれる欠陥数は、M(正の整数)とする。
Next, the overlap calculation processing of the data processing means 408 will be described with reference to the flowcharts of FIGS.
First, in the search condition input process (step S901), when calculating the overlap of defects, in order to search for data to be calculated from a plurality of defect history data RKD, date, lot ID, product number, process number, automatic Input of production information conditions such as a device number for identifying the macro inspection device 103 is received from the input means 407. As a search condition, a set of recently manufactured substrates may be extracted, or a set including substrates manufactured on the previous day or before may be extracted.
In the defect history data reading step (step S902), data that matches the search condition acquired in the search condition input step (step S901) is read from the defect history storage unit 411. Here, the number of defects read at this time is M (positive integer).

次に、重なり情報初期データ作成工程(ステップS903)にて、読み込んだ欠陥履歴データRKDの全てに対して、重なり数l=0を初期値として重なり情報データLKDを作成する。ここで、重なり数l=0とは、当該欠陥は、他のどの欠陥とも重なっていないことを意味する。これに対して、例えば、図7の斜線の部分に示すように、図6の欠陥履歴データRKD1の欠陥位置と、欠陥履歴データRKD2の欠陥位置とが重なっているときには、どちらの欠陥も重なり数l=0であったなら、図7の斜線部分は重なり数l=1になる。なお、重なり情報データLKDは、欠陥履歴データRKDと同じデータ形式で作成される。また、初期値として作成される重なり数l=0の重なり情報データLKDは、欠陥履歴格納手段411から最初に読み込まれる欠陥履歴データRKDと同じ内容のデータになる。   Next, in the overlap information initial data creation step (step S903), overlap information data LKD is created with the overlap number l = 0 as an initial value for all of the read defect history data RKD. Here, the overlap number l = 0 means that the defect does not overlap with any other defect. On the other hand, for example, when the defect position of the defect history data RKD1 in FIG. 6 and the defect position of the defect history data RKD2 overlap as shown by the hatched portion in FIG. If l = 0, the hatched portion in FIG. 7 is the overlap number l = 1. The overlap information data LKD is created in the same data format as the defect history data RKD. Further, the overlap information data LKD with the overlap number l = 0 created as the initial value is data having the same contents as the defect history data RKD read first from the defect history storage means 411.

変数初期設定工程(ステップS904)では、重なり合いを計算するときの初期設定として、重なり数l=0、重なり数l=0のときの欠陥数N=M、重なり情報データ番号m=1、重なり情報データ番号n=2を設定する。ここで、欠陥数Nは、重なり数lのときの欠陥の数を表す。重なり情報データ番号mは、M個の欠陥履歴データRKDに対して連番を付けたときの番号で、m=1〜M−1の範囲の値を取り得る。重なり情報データ番号nは、前記重なり情報初期データ作成工程(ステップS903)で作成される重なり情報データに対して連番を付けたときの番号で、(m+1)からNまでの値を取り得る。 In the variable initial setting step (step S904), the initial setting when calculating the overlap is as follows: overlap number l = 0, defect number N l = M when overlap number l = 0, overlap information data number m = 1, overlap Information data number n = 2 is set. Here, the defect number N l represents the number of defects when the overlap number is l. The overlap information data number m is a number when serial numbers are assigned to the M defect history data RKD, and can take a value in a range of m = 1 to M−1. The overlap information data number n is a number when serial numbers are assigned to the overlap information data created in the overlap information initial data creation step (step S903), and can take values from (m + 1) to Nl. .

続いて、重なり数lについてループ(ステップS905及びステップS916)と、重なり情報データ番号mについてループ(ステップS907及びステップS915)と、重なり情報データ番号nについてループ(ステップS908及びステップS914)とで3重のループを形成し、重なり比較工程(ステップS909)、重なり部分判定工程(ステップS910)、重なり範囲設定工程(ステップS911)、及び重なり解析データ記録工程(ステップS912)を実行するようになっている。
重なり比較工程(ステップS909)は、1つ目の重なり情報データLKD1と、2つ目の重なり情報データLKD2との重なり合いを計算する。そして、欠陥の重なり合いを計算した結果を参照して、重なり部分判定工程(ステップS910)において、重なり合いの有無を判定する。重なり情報データLKD1,LKD2との間で欠陥位置の重なり合いがある場合には、重なり範囲設定工程(ステップS911)で、重なった部分の座標を抽出し、設定する。
Subsequently, a loop for the overlap number l (steps S905 and S916), a loop for the overlap information data number m (steps S907 and S915), and a loop for the overlap information data number n (steps S908 and S914). An overlap loop is formed, and an overlap comparison step (step S909), an overlap portion determination step (step S910), an overlap range setting step (step S911), and an overlap analysis data recording step (step S912) are executed. Yes.
In the overlap comparison step (step S909), the overlap between the first overlap information data LKD1 and the second overlap information data LKD2 is calculated. Then, with reference to the result of calculating the overlap of defects, the presence or absence of overlap is determined in the overlap portion determination step (step S910). When there is an overlap of defect positions with the overlap information data LKD1 and LKD2, in the overlap range setting step (step S911), the coordinates of the overlapped portion are extracted and set.

例えば、図11に示すように、重なり情報データLKD1の欠陥座標が[XA(m,l),YA(m,l)]−[XB(m,l),YB(m,l)]であり、2番目の重なり情報データLKD2の欠陥座標が[XA(n,l),YA(n,l)]−[XB(n,l),YB(n,l)]である場合には、欠陥位置に矩形の重なり合いが発生しており、重なった矩形の始点座標が[XA(k,l+1),YA(k,l+1)]と設定され、重なった矩形の終点座標が[XB(k,l+1),YB(k,l+1)]と設定される。このようにして、重なり合いが認められた部分の情報を、k番目の欠陥として、重なり情報データLKDに記録する(ステップS912)。   For example, as shown in FIG. 11, the defect coordinates of the overlap information data LKD1 are [XA (m, l), YA (m, l)]-[XB (m, l), YB (m, l)]. If the defect coordinates of the second overlap information data LKD2 are [XA (n, l), YA (n, l)]-[XB (n, l), YB (n, l)], the defect Rectangular overlap occurs at the position, the start point coordinates of the overlapped rectangles are set as [XA (k, l + 1), YA (k, l + 1)], and the end point coordinates of the overlapped rectangles are set to [XB (k, l + 1). ), YB (k, l + 1)]. In this way, the information of the portion where the overlap is recognized is recorded in the overlap information data LKD as the k-th defect (step S912).

さらに具体的には、最初のループでは、重なり数l=0において、重なり情報データ番号m=1、つまり1番目の重なり情報データLKDが選択され、重なり情報データ番号n=2(=m+1)、つまり、2番目の重なり情報データLKDが選択され、これら2つのデータLKDとの間で重なり合う領域の有無が調べられる。重なる領域があった場合には、その部分は、1回重なっているので、重なり数l=1の重なり情報データLKDとして登録される。このようにして、重なり数l=0の欠陥同士の重なり合いを調べ、重なっているものに対しては、重なり数l=1の重なり情報データLKDを作成する。さらに、重なり数l=1のうちの1番目の重なり情報データLKDと、重なり数l=1のうち2番目の重なり情報データLKDとの重なり合いを調べ、重なり合いがあった場合には、その領域を重なり数l=2の重なり情報データLKDとして登録する。以降、全ての重なり情報データLKDについて重なり合いの頻度を計算する。全ての重なり情報データLKDに対して、欠陥同士の重なり合いを調べ、最大で重なり数l=Mまでの重なり情報データLKDを作成する。   More specifically, in the first loop, when the overlap number is 1 = 0, the overlap information data number m = 1, that is, the first overlap information data LKD is selected, and the overlap information data number n = 2 (= m + 1), That is, the second overlap information data LKD is selected, and the presence or absence of an overlapping area between these two data LKD is checked. If there is an overlapping area, the overlapping area is registered once as overlapping information data LKD having an overlapping number l = 1. In this way, the overlap between the defects having the overlap number 1 = 0 is examined, and the overlap information data LKD having the overlap number 1 = 1 is created for the overlapping defects. Further, the overlap between the first overlap information data LKD in the overlap number l = 1 and the second overlap information data LKD in the overlap number l = 1 is checked. It is registered as overlap information data LKD with the overlap number l = 2. Thereafter, the overlap frequency is calculated for all the overlap information data LKD. The overlap between defects is examined for all the overlap information data LKD, and the overlap information data LKD with the maximum number of overlaps 1 = M is created.

このようにして得られる重なり情報データLKDでは、重なり数lが大きいものは、集中度合いが高い欠陥の存在を示す。例えば、M個の欠陥履歴データRKDに示される各欠陥の一部が互いに重複していた場合には、その重複部分の座標を含む、重なり数l=Mの重なり情報データLKDが作成される。また、重なり数lが小さい重なり情報データLKDで特定される領域は、集中して発生していない欠陥であることを示す。   In the overlap information data LKD obtained in this way, a large overlap number l indicates the presence of a defect having a high concentration degree. For example, when some of the defects indicated in the M defect history data RKD overlap each other, overlap information data LKD having an overlap number 1 = M including the coordinates of the overlapped part is created. In addition, the area specified by the overlap information data LKD having a small overlap number l indicates that the defect does not occur in a concentrated manner.

なお、図9及び図10のフローチャートに示す重なり計算処理では、2つの重なり情報データLKDとの欠陥の矩形範囲とを比較して、重なりがあるときは、重なった矩形について重なり数lをインクリメント(+1)して、新たな重なり情報データとして記録したが、比較した2つの重なり情報データLKDのどちらか一方、又は両方の矩形に含まれる範囲について、重なり数をインクリメントする方法も考えられる。また、図9及び図10のフローチャートに示す重なり計算処理では、欠陥の位置を矩形として取り扱ったが、中心座標と、半径とで定義される円形として取り扱うことも可能である。
さらに、図9及び図10のフローチャートに示す重なり計算処理では、欠陥の重なり合いを、欠陥履歴データRKDから算出したが、自動マクロ検査装置103が出力する欠陥画像から求めることもできる。例えば、画像の1ピクセルごとに欠陥か否かのフラグを設け、1ピクセルごとに画像同士の重なり合いを比較する。すなわち、重なり合ったピクセルのフラグを加算して、ピクセルごとの重なり合いとして、欠陥の重なり合いを求めることもできる。
In the overlap calculation processing shown in the flowcharts of FIGS. 9 and 10, the overlap rectangle data is compared with the two overlap information data LKD, and if there is an overlap, the overlap number l is incremented for the overlapped rectangle ( +1) and recorded as new overlap information data. However, a method of incrementing the overlap number for a range included in one or both of the compared two overlap information data LKD is also conceivable. Further, in the overlap calculation processing shown in the flowcharts of FIGS. 9 and 10, the position of the defect is handled as a rectangle, but it can also be handled as a circle defined by the center coordinates and the radius.
Furthermore, in the overlap calculation processing shown in the flowcharts of FIGS. 9 and 10, the overlap of defects is calculated from the defect history data RKD, but can also be obtained from a defect image output from the automatic macro inspection apparatus 103. For example, a flag indicating whether or not there is a defect is provided for each pixel of the image, and the overlap between the images is compared for each pixel. That is, the overlap of defects can be obtained as the overlap of each pixel by adding the flags of the overlapping pixels.

次に、欠陥データの表示方法について図12を参照して説明する。なお、図12には、マクロ画像及び欠陥の表示の一例としてのマクロ画像表示画面1100が示してある。
マクロ画像表示画面1100は、マップ表示部1101を有している。マップ表示部1101は、マクロ画像及び欠陥を表示する表示部で、その側方には、画面制御部1102と、表示設定部1103とが上下に並んで配置されている。画面制御部1102は、画面の表示方法などの制御を行うもので、表示設定部1103は、欠陥データの表示方法について設定を行う部分である。さらに、マップ表示部1101の下方には、サムネイル表示部1104が配置されている。サムネイル表示部1104は、マクロ画像を一覧として縮小表示する部分である。
Next, a defect data display method will be described with reference to FIG. FIG. 12 shows a macro image display screen 1100 as an example of displaying a macro image and defects.
The macro image display screen 1100 has a map display unit 1101. The map display unit 1101 is a display unit that displays a macro image and a defect, and on the side thereof, a screen control unit 1102 and a display setting unit 1103 are arranged side by side. The screen control unit 1102 controls the display method of the screen, and the display setting unit 1103 is a part that sets the defect data display method. Further, a thumbnail display unit 1104 is arranged below the map display unit 1101. The thumbnail display unit 1104 is a part that displays a reduced list of macro images.

ここで、図13に、マップ表示部1101の一例を示す。図13において、マップ表示部1101には、マクロ画像1201が表示される。マクロ画像1201は、図1に示す自動マクロ検査装置103で液晶パネルを6面取りするマザーガラス全体を撮像したもので、セル1202内に欠陥1203が表示されている。欠陥が存在するセル1202には、枠の色を変えるなどの強調表示が行われる。欠陥の有無は、欠陥履歴データRKDに記載されている欠陥座標に基づいて判断される。このようなマクロ画像1201を目視マクロ検査装置100の表示モニタ160や管理PC107,109の表示モニタに表示することで、検査者は、画面上に強調表示されたセルを瞬時に把握でき、目視マクロ検査で当該セルの観察を行うことで、短時間での検査が可能になる。また、欠陥1203については、発生頻度順、つまり重なりの多い順に、色を区別して強調表示が行われている。重なりの多い順は、データ処理手段408(図8参照)において複数の欠陥履歴データRKDで重ね合わせ計算を行った結果に基づいて決定される。これにより、検査者は、欠陥の集中する位置を重点的に観察することができ、効率的な検査が行える。   Here, FIG. 13 shows an example of the map display unit 1101. In FIG. 13, a macro image 1201 is displayed on the map display unit 1101. The macro image 1201 is an image of the entire mother glass with six liquid crystal panels taken by the automatic macro inspection apparatus 103 shown in FIG. 1, and a defect 1203 is displayed in the cell 1202. A highlighted display such as changing the color of the frame is performed on the cell 1202 where the defect exists. The presence / absence of a defect is determined based on the defect coordinates described in the defect history data RKD. By displaying such a macro image 1201 on the display monitor 160 of the visual macro inspection apparatus 100 or the display monitor of the management PCs 107 and 109, the inspector can instantly grasp the cells highlighted on the screen, and the visual macro By observing the cell in the inspection, the inspection can be performed in a short time. Further, the defects 1203 are highlighted and distinguished from each other in the order of occurrence frequency, that is, in order of increasing overlap. The order in which the overlap is large is determined based on the result of the overlay calculation performed by the data processing means 408 (see FIG. 8) using a plurality of defect history data RKD. As a result, the inspector can focus on the position where the defect is concentrated and can perform an efficient inspection.

次に、図12に示す表示設定部1103の一例について、図14を参照して説明する。表示設定部1103の上部には、欠陥表示一覧1301が設けられている。欠陥表示一覧1301は、欠陥の重なっている部分を、重なっている回数(重なり数l)に応じて色分けして表示するときに、その重なり回数に対して割り当てられるレベルと、色とを関連付けて表示している。図14においては、重なっている回数が増加、つまりレベルが上がるにつれて、緑から赤に段階的に色分けが行われるように設定されている。レベルの設定は、欠陥表示一覧1301の下側に配置された重なりレベル表示設定ボタン1302を押すことで行うことができる。この際に、図15に示すような重なりレベル表示設定画面1401がポップアップ表示等される。重なりレベル表示設定画面1401には、重なりレベルを設定する重なりレベル選択部1402が設けられている。この重なりレベル選択部1402は、プルダウンリストでレベルが選択できるようになっている。また、重なり数設定部1403が設けられており、重なりレベル選択部1402で選択したレベルに対応する重なり数を設定できるようになっている。さらに、重なり表示色設定部1404が設けられており、重なりレベル選択部1402で選択したレベルに対して、強調表示する色を選択できるようになっている。   Next, an example of the display setting unit 1103 illustrated in FIG. 12 will be described with reference to FIG. A defect display list 1301 is provided above the display setting unit 1103. The defect display list 1301 associates the level assigned to the number of overlaps with the color when displaying the overlapping part of the color by color depending on the number of times of overlap (the number of overlaps 1). it's shown. In FIG. 14, as the number of overlapping times increases, that is, as the level rises, the color classification is performed in stages from green to red. The level can be set by pressing an overlap level display setting button 1302 arranged below the defect display list 1301. At this time, an overlap level display setting screen 1401 as shown in FIG. The overlap level display setting screen 1401 is provided with an overlap level selection unit 1402 for setting an overlap level. The overlap level selection unit 1402 can select a level from a pull-down list. In addition, an overlap number setting unit 1403 is provided, and an overlap number corresponding to the level selected by the overlap level selection unit 1402 can be set. Furthermore, an overlapping display color setting unit 1404 is provided so that a color to be highlighted can be selected for the level selected by the overlapping level selection unit 1402.

また、図14に示す表示設定部1103において、重なりレベル表示設定ボタン1302と、欠陥表示一覧1301との間には、表示条件1303が配列表示されている。表示条件1303は、この画面の下側に設けられた表示条件設定ボタン1304を押すことで設定できる。ここで、表示条件設定ボタン1304を押した際に、表示される設定用の画面の一例を図16に示す。この表示条件設定画面1501は、期間設定部1502において重なり計算をする期間の設定がなされ、基板数上限設定部1503によって表示するワーク数の上限が設定され、ロット数上限設定部1504によってロット数の上限が設定される。さらに、ロット範囲設定部1505によって連続したロットの範囲が設定され、品種設定部1506で品種番号が設定される。工程設定部1507で工程番号が設定され、装置号機設定部1508で装置号機が設定される。なお、各設定部1502〜1508には、チェックボックスが付されており、チェックボックスにチェックした項目について設定ができるようになっている。   In the display setting unit 1103 shown in FIG. 14, display conditions 1303 are arranged and displayed between the overlap level display setting button 1302 and the defect display list 1301. The display condition 1303 can be set by pressing a display condition setting button 1304 provided on the lower side of this screen. FIG. 16 shows an example of a setting screen that is displayed when the display condition setting button 1304 is pressed. In this display condition setting screen 1501, the period for overlapping calculation is set in the period setting unit 1502, the upper limit of the number of workpieces to be displayed is set by the substrate number upper limit setting unit 1503, and the lot number upper limit setting unit 1504 sets the lot number. An upper limit is set. Further, the lot range setting unit 1505 sets a continuous lot range, and the product type setting unit 1506 sets the product number. The process number is set by the process setting unit 1507, and the device number is set by the device number setting unit 1508. Each setting unit 1502 to 1508 is provided with a check box so that an item checked in the check box can be set.

次に、サムネイル表示部1104の一例を図17に示す。サムネイル表示部1104は、図16に示す表示条件設定画面1501で設定された条件に見合う範囲で、自動マクロ検査装置103で撮像された各ワークのマクロ画像を一覧で表示する。一覧は、ワークのマクロ画像を縮小表示した縮小マクロ画像1601に基板ID表示1602とともに表示されている。縮小マクロ画像1601の数が多い場合には、縮小マクロ画像1601をスクロールするスクロールバー1603が表示される。このようなサムネイル表示部1104によれば、検査者は、サムネイル表示部1104の縮小マクロ画像1601により、複数の基板結果画像を一度に見ることができ、基板上の欠陥の情報を瞬時に把握することができる。なお、サムネイル表示部1104の縮小マクロ画像1601をマウス等でクリックすると、その基板IDを有するマクロ画面がマップ表示部1101に拡大表示されるようになっている。   Next, an example of the thumbnail display unit 1104 is shown in FIG. The thumbnail display unit 1104 displays a list of macro images of each workpiece imaged by the automatic macro inspection apparatus 103 within a range that meets the conditions set on the display condition setting screen 1501 shown in FIG. The list is displayed together with the substrate ID display 1602 on a reduced macro image 1601 obtained by reducing the macro image of the work. When the number of reduced macro images 1601 is large, a scroll bar 1603 for scrolling the reduced macro images 1601 is displayed. According to such a thumbnail display unit 1104, the inspector can view a plurality of substrate result images at a time using the reduced macro image 1601 of the thumbnail display unit 1104, and instantly grasp information on defects on the substrate. be able to. When the reduced macro image 1601 in the thumbnail display portion 1104 is clicked with a mouse or the like, the macro screen having the board ID is enlarged and displayed on the map display portion 1101.

さらに、画面制御部1102の一例を図18に示す。画面制御部1102は、拡大ボタン1701と、縮小ボタン1702とを有し、画面サイズを変更できるようになっている。縮小ボタン1702の下には、欠陥表示ボタン1703が設けられている。欠陥表示ボタン1703は、マップ表示部1101(図12参照)に表示される欠陥を、表示したり、非表示にしたり切り替えるボタンである。非表示が選択された場合には、欠陥を示す表示のない生データが表示される。さらに、その下側には、欠陥履歴表示ボタン1704が設けられている。この欠陥履歴表示ボタン1704は、マップ表示部1101に表示される欠陥の重なり部分を表示したり、非表示にしたり切り替えることができる。一番下側には、サムネイル表示切替ボタン1705が設けられている。サムネイル表示切替ボタン1705は、サムネイル表示部1104で表示させる所定範囲内の縮小マクロ画像1601を、全て表示するか、欠陥のあるものだけを表示するかを切り替えるボタンである。そして、これらボタン1703〜1705の横には、各ボタンの操作により設定されたステータスを表示するステータス表示部1706,1707,1708が、各ボタン1703〜1705に対応付けて設けられている。ステータス表示部1706〜1708は、「表示中」や、「欠陥のみ」などの文字が表示されており、欠陥等の表示が選択された場合や、欠陥を有するものサムネイル表示が選択された場合には、対応するステータス表示部1706〜1708が点灯表示されるようになっている。   Further, an example of the screen control unit 1102 is shown in FIG. The screen control unit 1102 has an enlarge button 1701 and a reduce button 1702 so that the screen size can be changed. Below the reduction button 1702, a defect display button 1703 is provided. The defect display button 1703 is a button for switching the defect displayed on the map display unit 1101 (see FIG. 12) between display and non-display. When non-display is selected, raw data without a display indicating a defect is displayed. Further, a defect history display button 1704 is provided on the lower side. The defect history display button 1704 can display or hide the overlapping portion of defects displayed on the map display unit 1101. On the bottom side, a thumbnail display switching button 1705 is provided. A thumbnail display switching button 1705 is a button for switching whether to display all the reduced macro images 1601 within a predetermined range displayed on the thumbnail display unit 1104 or only defective ones. Next to these buttons 1703 to 1705, status display sections 1706, 1707, and 1708 for displaying the statuses set by operating the buttons are provided in association with the buttons 1703 to 1705. The status display sections 1706 to 1708 display characters such as “displaying” and “defects only”, and when a display such as a defect is selected or a thumbnail display with a defect is selected. The corresponding status display sections 1706 to 1708 are lit up.

このマクロ画面表示システムでは、自動マクロ検査装置103が作成した情報に基づいて目視マクロ検査装置100のデータ処理手段408が欠陥の重なり合いを計算し、欠陥の集中度合いが所定のレベルに達した場合には、目視マクロ検査装置100から生産ライン外の管理PC107,108に警告を出力させることもできる。この場合には、例えば、図14に示す表示設定部1103で設定した欠陥の集中度合いがレベル5に達したら、データ入出力手段406がその部分の重なり情報データLKDと、そのワークの画像データとを添付した警告データを作成し、ネットワークを経由して、管理PC107,108に送信する。管理PC107,108としては、不具合が発生している生産ラインのプロセス管理者が常時監視している端末装置や、そのようなプロセス管理者に情報が伝達される可能性が高い端末装置があげられる。
これら管理PC107,108では、図12に示すようなマクロ画像表示画面1100をモニタ表示可能なプログラムがインストールされており、警告データに基づいて、必要な情報が画面表示される。プロセス管理者は、この画面を確認して、管理PC107,108に必要な指示を入力する。そして、この管理PC107,108は、必要な指示に基づいて指示データを作成し、不具合が発生している製造装置101の管理PC102に送信する。なお、必要な指示は、マクロ画像表示画面1101に直接書き込む領域を設けて、ここに書き込むようにしても良いし、他のエディタで作成されるテキストデータを指示データの送信時に添付するようにしても良い。
In this macro screen display system, the data processing means 408 of the visual macro inspection apparatus 100 calculates the overlap of defects based on the information created by the automatic macro inspection apparatus 103, and the defect concentration level reaches a predetermined level. Can also output a warning from the visual macro inspection apparatus 100 to the management PCs 107 and 108 outside the production line. In this case, for example, when the defect concentration level set by the display setting unit 1103 shown in FIG. 14 reaches level 5, the data input / output means 406 causes the overlap information data LKD of the portion, the image data of the workpiece, Is attached to the management PCs 107 and 108 via the network. Examples of the management PCs 107 and 108 include a terminal device that is constantly monitored by a process manager of a production line in which a problem has occurred, and a terminal device that is highly likely to transmit information to such a process manager. .
In these management PCs 107 and 108, a program capable of monitoring and displaying a macro image display screen 1100 as shown in FIG. 12 is installed, and necessary information is displayed on the screen based on the warning data. The process manager confirms this screen and inputs necessary instructions to the management PCs 107 and 108. Then, the management PCs 107 and 108 create instruction data based on necessary instructions, and transmit the instruction data to the management PC 102 of the manufacturing apparatus 101 in which a defect has occurred. Necessary instructions may be written directly on the macro image display screen 1101 and may be written here, or text data created by another editor is attached when the instruction data is transmitted. Also good.

製造装置101の管理PC102は、プロセス管理者からの指示データを受け取ったら、製造装置101にエラー表示をさせたり、警報を鳴らしたりして、生産ラインにいる担当者に知らせる。また、プロセス管理者が作成した必要な指示を管理PC102に画面表示する。担当者は、画面表示された必要な指示を読んで製造装置101の条件を調整したり、製造装置101の修理をしたりする。
そして、製造装置101の調整等を行ったら、その後に製造されたワークを前記と同様に自動マクロ検査装置103、及び目視マクロ検査装置100で検査する。不具合が解消されれば、その部分の欠陥がなくなるので、マクロ画像表示画面1101上の欠陥表示が小さくなったり、セル1202の強調表示が解除されたりする。したがって、目視マクロ検査装置100のオペレータは、目視で簡単に、製造装置101の改善を確認できる。一方、不具合が解消されずに、欠陥が減少しないと、マクロ画像表示画面1101は変化しないので、前記の警告データが再度出力される。
Upon receiving the instruction data from the process manager, the management PC 102 of the manufacturing apparatus 101 notifies the person in charge of the production line by displaying an error on the manufacturing apparatus 101 or sounding an alarm. Also, necessary instructions created by the process manager are displayed on the management PC 102 on the screen. The person in charge reads necessary instructions displayed on the screen, adjusts the conditions of the manufacturing apparatus 101, and repairs the manufacturing apparatus 101.
When the manufacturing apparatus 101 is adjusted, the workpiece manufactured thereafter is inspected by the automatic macro inspection apparatus 103 and the visual macro inspection apparatus 100 in the same manner as described above. If the defect is eliminated, the defect in that portion is eliminated, so that the defect display on the macro image display screen 1101 is reduced or the highlighted display of the cell 1202 is released. Therefore, the operator of the visual macro inspection apparatus 100 can easily confirm the improvement of the manufacturing apparatus 101 by visual inspection. On the other hand, if the defects are not eliminated and the defects are not reduced, the macro image display screen 1101 does not change, and the warning data is output again.

この実施の形態によれば、目視マクロ検査装置100のデータ処理手段408において複数のワークの欠陥位置の重なり合いを計算するようにしたので、製造装置101などに起因して欠陥が連続して発生した場合に、客観的に、かつ確実に発生状況を把握することができる。このため、生産ラインで製造された基板表面の欠陥検査をリアルタイムで行い、かつ欠陥の集中が確認された場合に、すみやかに製造装置101の点検等を行い、不具合を解消することが可能になる。
また、重なり合いを計算するにあたり、重なり数lを定義し、欠陥が重なるたびに重なり数lを増加させたので、重なり数lで欠陥の集中度合いを客観的に、かつ段階的にデータ化することができる。したがって、画面表示や、警告の要否を適確に行えるようになる。このため、オペレータの熟練度によらず、均一な評価が行えるようになる。
さらに、マクロ画像表示画面1101に、ワークごと、セルごとに画像を表示し、さらに、欠陥のあるセルに強調表示をしたり、欠陥の集中度合いに応じて異なる表示を行ったりするので、目視による確認がしやすく、適確、かつ迅速な評価が可能になる。ここにおいて、同じ生産ラインや、製造装置101で異常が発生した可能性がある場合には、その製造装置101等についての欠陥履歴データRKDを抽出して重なり合い計算を行い、画面表示させることで、傾向を簡単に把握することができる。
そして、欠陥の集中度合いが所定のレベルを越えた場合には、ネットワークを通じて警告を発するようにしたので、プロセス管理者が生産ラインから離れたところにいる場合でも、適確な措置を講じることができ、作業効率を向上させることができる。
According to this embodiment, since the data processing means 408 of the visual macro inspection apparatus 100 calculates the overlap of defect positions of a plurality of workpieces, defects are continuously generated due to the manufacturing apparatus 101 and the like. In this case, it is possible to grasp the occurrence state objectively and reliably. For this reason, when the defect inspection of the substrate surface manufactured on the production line is performed in real time and the concentration of defects is confirmed, it is possible to immediately inspect the manufacturing apparatus 101 and solve the defect. .
Further, when calculating the overlap, the overlap number l is defined, and the overlap number l is increased every time a defect overlaps, so the degree of concentration of defects can be objectively and gradually converted to data with the overlap number l. Can do. Accordingly, it is possible to accurately display the screen and whether or not a warning is necessary. For this reason, uniform evaluation can be performed regardless of the skill level of the operator.
Further, on the macro image display screen 1101, an image is displayed for each work and for each cell, and further, a highlighted cell is highlighted or a different display is performed depending on the degree of concentration of defects. It is easy to confirm and enables accurate and quick evaluation. Here, if there is a possibility that an abnormality has occurred in the same production line or manufacturing apparatus 101, the defect history data RKD for the manufacturing apparatus 101 or the like is extracted, overlapped, and displayed on the screen. Trends can be easily grasped.
And if the concentration of defects exceeds a predetermined level, a warning is issued through the network, so that even if the process manager is away from the production line, appropriate measures can be taken. And work efficiency can be improved.

なお、本発明は、前記の実施の形態に限定されずに広く応用することができる。
例えば、データ入出力手段406、入力手段407、データ処理手段408、欠陥履歴入出力手段410、欠陥履歴格納手段411、及び画像表示処理手段409を目視マクロ検査装置100と別体のコンピュータ装置に設けても良い。
また、コンピュータ装置にプログラムをインストールして実行させ、前記各手段406〜411までを実行することで、実施の形態における各処理を行わせるようにしても良い。このような場合でも前記した作用及び効果を実現することができる。ここにおいて、プログラムは、コンピュータ装置に読み取り可能な記録媒体に記録しても良いし、ネットワークを介してダウンロード可能にしておいても良い。
Note that the present invention can be widely applied without being limited to the above-described embodiment.
For example, the data input / output means 406, the input means 407, the data processing means 408, the defect history input / output means 410, the defect history storage means 411, and the image display processing means 409 are provided in a computer device separate from the visual macro inspection apparatus 100. May be.
Also, each process in the embodiment may be performed by installing a program in a computer device and executing the program, and executing each of the units 406 to 411. Even in such a case, the above-described actions and effects can be realized. Here, the program may be recorded on a recording medium readable by a computer device, or may be downloaded via a network.

本発明の実施の形態におけるマクロ画像表示システムの概略構成を示す図である。It is a figure which shows schematic structure of the macro image display system in embodiment of this invention. 欠陥情報ファイルの一例を示す図である。It is a figure which shows an example of a defect information file. 欠陥位置を示す模式図である。It is a schematic diagram which shows a defect position. 目視マクロ検査装置の構成を示す図である。It is a figure which shows the structure of a visual macro inspection apparatus. 欠陥履歴データの一例を示す図である。It is a figure which shows an example of defect history data. 欠陥履歴データの一例を示す図であって、2つの欠陥履歴データの重なり合いを説明するための図である。It is a figure which shows an example of defect history data, Comprising: It is a figure for demonstrating the overlap of two defect history data. 2つの欠陥の重なり合いを示す模式図である。It is a schematic diagram which shows the overlap of two defects. 目視マクロ検査装置において欠陥の重なり合いを計算するための主な構成を示す図である。It is a figure which shows the main structures for calculating the overlap of a defect in a visual macro inspection apparatus. 欠陥の重なり合い計算を示すフローチャートである。It is a flowchart which shows the overlap calculation of a defect. 欠陥の重なり合い計算を示すフローチャートである。It is a flowchart which shows the overlap calculation of a defect. 欠陥位置が重なり合う領域を重なり情報データを抽出する処理を説明するための模式図である。It is a schematic diagram for demonstrating the process which overlaps the area | region where a defect position overlaps and extracts information data. マクロ画像表示画面の構成を示す図である。It is a figure which shows the structure of a macro image display screen. マクロ画像表示画面のマップ表示部の一例を示す図である。It is a figure which shows an example of the map display part of a macro image display screen. マクロ画像表示画面の表示設定部の一例を示す図である。It is a figure which shows an example of the display setting part of a macro image display screen. 重なりレベル表示を設定する画面の一例を示す図である。It is a figure which shows an example of the screen which sets an overlap level display. マクロ画像の表示条件を設定する画面の一例を示す図である。It is a figure which shows an example of the screen which sets the display conditions of a macro image. マクロ画像表示画面のサムネイル表示部の一例を示す図である。It is a figure which shows an example of the thumbnail display part of a macro image display screen. マクロ画像表示画面の画面制御部の一例を示す図である。It is a figure which shows an example of the screen control part of a macro image display screen.

符号の説明Explanation of symbols

100 目視マクロ検査装置
106 表示モニタ
107,108 管理PC(他のコンピュータ装置)
406 データ入出力手段(出力手段)
408 データ処理手段(演算手段)
409 画像表示処理手段(出力手段)
1201 マクロ画像
1202 セル表示
1203 欠陥表示

100 Visual macro inspection device 106 Display monitor 107, 108 Management PC (other computer device)
406 Data input / output means (output means)
408 Data processing means (calculation means)
409 Image display processing means (output means)
1201 Macro image 1202 Cell display 1203 Defect display

Claims (10)

生産ラインで連続して生産される各基板を自動マクロ検査装置で検査し、前記基板上に発生した欠陥の結果を画像表示するマクロ画像表示システムであって、
前記自動マクロ検査装置によって前記各基板表面を撮像したマクロ画像から前記各基板上の欠陥位置座標を含む欠陥情報を取得し、前記各基板の欠陥情報に基づいて複数の前記欠陥位置座標の重なり合いと、重なり合いの頻度を計算する演算手段と、
前記マクロ画像を出力するとともに、前記欠陥位置座標と前記欠陥の重なり合いの頻度に基づいて、前記検査画像上の欠陥領域を強調表示する出力手段と、
を備えることを特徴とするマクロ画像表示システム。
A macro image display system that inspects each substrate continuously produced on a production line with an automatic macro inspection device, and displays an image of a result of a defect generated on the substrate,
Obtaining defect information including defect position coordinates on each substrate from a macro image obtained by imaging the surface of each substrate by the automatic macro inspection apparatus, and overlapping a plurality of the defect position coordinates based on the defect information of each substrate Computing means for calculating the frequency of overlap ;
An output means for highlighting a defect area on the inspection image based on the frequency of overlap of the defect position coordinates and the defect while outputting the macro image ;
A macro image display system comprising:
前記各基板の欠陥情報から前記欠陥位置座標と欠陥判定結果を含む欠陥履歴データを作成して記憶する欠陥履歴格納手段をさらに有し
前記演算手段は、前記欠陥履歴格納手段から前記各基板の欠陥履歴データを取得し、前記各欠陥履歴データの前記欠陥位置座標から前記欠陥位置情報重なり合いと、前記重なり合いの頻度を計算し、
前記出力手段は、前記演算手段の計算結果より複数の基板に連続して発生する欠陥ありと判断された各基板のマクロ画像をモニタに出力する
ことを特徴とする請求項1に記載のマクロ画像表示システム。
Further comprising a defect history storage means for creating and storing defect history data including the defect position coordinates and defect judgment result from the defect information of each substrate,
Said computing means, said from defects history storage means acquires defect history data of each substrate, the overlap said from the defect position coordinates of each defect history data of the defect position information, to calculate the frequency of the overlap,
2. The macro image according to claim 1, wherein the output unit outputs, on a monitor, a macro image of each substrate that is determined to have a defect continuously generated on a plurality of substrates based on a calculation result of the arithmetic unit. Display system.
前記演算手段と前記出力手段は、ネットワークに接続された目視マクロ検査装置の制御部を介して接続され、
前記出力手段は、前記演算手段により複数の基板に連続して発生する欠陥ありと判断された各基板のマクロ画像をモニタに出力する
ことを特徴とする請求項1に記載のマクロ画像表示システム。
The computing means and the output means are connected via a control unit of a visual macro inspection apparatus connected to a network,
2. The macro image display system according to claim 1, wherein the output unit outputs a macro image of each substrate determined to have a defect continuously generated on a plurality of substrates by the arithmetic unit to a monitor. 3.
前記出力手段は、前記演算手段で複数の基板に連続して発生する欠陥ありと判断された各基板のマクロ画像をサムネイル表示で出力することを特徴とする請求項1乃至3のいずれかに記載のマクロ画像表示システム。 4. The output unit according to claim 1, wherein the output unit outputs a macro image of each substrate that is determined to be defective continuously generated on a plurality of substrates by the arithmetic unit in a thumbnail display. Macro image display system. 前記出力手段は、前記演算手段で複数の基板に連続して発生する欠陥ありと判断された各基板の画像データを重ねて表示し、欠陥の重なりの多い順に色により強調表示することを特徴とする請求項1乃至3のいずれかに記載のマクロ画像表示システム。 The output means superimposes and displays the image data of each substrate determined to have a defect continuously generated on a plurality of substrates by the computing means, and highlights the data in color in the order of the overlapping of the defects. The macro image display system according to any one of claims 1 to 3. 前記出力手段は、前記演算手段で複数の基板に連続して発生する欠陥ありと判断された欠陥部分を表示することを特徴とする請求項1乃至3のいずれかに記載のマクロ画像表示システム。 4. The macro image display system according to claim 1, wherein the output unit displays a defective portion that is determined to be defective continuously generated on a plurality of substrates by the arithmetic unit. 5. 生産ラインで連続して生産される各基板の全面を撮像して検査画像を取得する工程と、
前記検査画像から画像処理によって前記各基板上の欠陥の有無を検査し、欠陥位置座標とを含む欠陥情報を作成する工程と、
前記各基板の欠陥情報に基づいて複数の欠陥位置座標の重なり合いと、重なり合いの頻度を計算する工程と、
前記欠陥位置座標の重なり合いの頻度の計算結果により欠陥の集中度合が所定レベルに達した場合、複数の基板に連続して発生する欠陥に対応する欠陥情報データと前記マクロ画像を添付した警告データを作成する工程と、
この警告データをネットワークに接続された管理PCに送信する工程と、
送信された警告データに基づいて欠陥の情報データと画像データを管理PCのモニタに表示する工程と、
を備えることを特徴とするマクロ画像表示方法。
A process of obtaining an inspection image by imaging the entire surface of each substrate continuously produced in the production line;
Inspecting the presence or absence of defects on each substrate by image processing from the inspection image, and creating defect information including defect position coordinates ;
Overlap of a plurality of defect position coordinates based on the defect information of each substrate, calculating the frequency of overlap ;
When the defect concentration degree reaches a predetermined level according to the calculation result of the frequency of overlap of the defect position coordinates, defect information data corresponding to defects continuously generated on a plurality of substrates and warning data attached with the macro image are displayed. Creating a process;
Transmitting the warning data to a management PC connected to the network;
Displaying defect information data and image data on the monitor of the management PC based on the transmitted warning data;
A macro image display method comprising:
更に、管理PCで前記欠陥の情報データと画像データに基づいて不具合の発生している製造装置に対して指示データを作成する工程と、
この指示データをネットワークに接続された前記製造装置に送信する工程と、
を備えることを特徴とする請求項7記載のマクロ画像表示方法。
Further, a step of creating instruction data for a manufacturing apparatus having a defect based on the defect information data and image data in the management PC;
Transmitting the instruction data to the manufacturing apparatus connected to the network;
The macro image display method according to claim 7, further comprising:
前記欠陥情報を作成する工程は、生産ラインで連続して生産される前記各基板の全面の画像を自動マクロ検査装置で撮像し、この自動マクロ検査装置で取得された画像データから欠陥位置座標と欠陥判定結果を含む欠陥情報を作成することを特徴とする請求項7記載のマクロ画像表示方法。 The step of creating the defect information includes capturing an image of the entire surface of each substrate continuously produced on a production line with an automatic macro inspection device, and defect position coordinates from the image data acquired by the automatic macro inspection device. 8. The macro image display method according to claim 7, wherein defect information including a defect determination result is created. 生産ラインで連続して生産される前記各基板の全面の画像を撮像して検査画像を取得する工程と、
前記検査画像から画像処理によって前記各基板上の欠陥の有無を検査し、欠陥位置座標と欠陥判定結果を含む欠陥情報を作成する工程と、
前記各基板の欠陥情報に基づいて複数の前記欠陥位置座標の重なり合いと、重なり合いの頻度を計算する工程と、
前記欠陥位置座標の重なり合いの頻度が所定レベルに達した場合、複数の基板に連続して発生する欠陥に対応する欠陥情報データと前記マクロ画像をネットワークに接続された目視マクロ検査装置のモニタに表示する工程と、
を備えることを特徴とするマクロ画像表示方法。
Capturing an image of the entire surface of each substrate produced continuously in a production line and obtaining an inspection image; and
Inspecting the presence or absence of defects on each substrate by image processing from the inspection image, creating defect information including defect position coordinates and defect determination results;
Overlap of the plurality of defect position coordinates based on the defect information of each substrate, calculating the frequency of the overlap ,
When the frequency of the overlap of the defect position coordinates reaches a predetermined level, the defect information data corresponding to the defect continuously generated on a plurality of substrates and the macro image are displayed on the monitor of the visual macro inspection apparatus connected to the network. And a process of
A macro image display method comprising:
JP2005082929A 2005-03-23 2005-03-23 Macro image display system and macro image display method Expired - Fee Related JP4813071B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005082929A JP4813071B2 (en) 2005-03-23 2005-03-23 Macro image display system and macro image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005082929A JP4813071B2 (en) 2005-03-23 2005-03-23 Macro image display system and macro image display method

Publications (3)

Publication Number Publication Date
JP2006266766A JP2006266766A (en) 2006-10-05
JP2006266766A5 JP2006266766A5 (en) 2008-05-08
JP4813071B2 true JP4813071B2 (en) 2011-11-09

Family

ID=37202914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005082929A Expired - Fee Related JP4813071B2 (en) 2005-03-23 2005-03-23 Macro image display system and macro image display method

Country Status (1)

Country Link
JP (1) JP4813071B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007103696A (en) * 2005-10-05 2007-04-19 Olympus Corp Substrate defect inspection system and substrate defect detecting method
JP5407506B2 (en) * 2009-04-09 2014-02-05 凸版印刷株式会社 Visual inspection system
WO2016159390A1 (en) * 2015-03-31 2016-10-06 日本電気株式会社 Biological pattern information processing device, biological pattern information processing method and program
CN109540904A (en) * 2018-12-12 2019-03-29 华侨大学 A kind of detection of substrate surface gross imperfection and categorizing system
WO2021250736A1 (en) * 2020-06-08 2021-12-16 日本電気株式会社 Air bag inspection device, air bag inspection system, air bag inspection method, and recording medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09306957A (en) * 1996-05-20 1997-11-28 Mitsubishi Electric Corp Detecting foreign substance
JPH1145919A (en) * 1997-07-24 1999-02-16 Hitachi Ltd Manufacture of semiconductor substrate

Also Published As

Publication number Publication date
JP2006266766A (en) 2006-10-05

Similar Documents

Publication Publication Date Title
JP4417400B2 (en) Solder inspection line centralized management system and management device used therefor
US8041443B2 (en) Surface defect data display and management system and a method of displaying and managing a surface defect data
JP4699873B2 (en) Defect data processing and review equipment
JP4855464B2 (en) Defect cause equipment identification system
TWI432719B (en) A visual inspection device for a display panel, and a visual inspection method
JP4774383B2 (en) Data processing apparatus and data processing method
US11947345B2 (en) System and method for intelligently monitoring a production line
JP4813071B2 (en) Macro image display system and macro image display method
JP4976112B2 (en) Defect review method and apparatus
JP4652917B2 (en) DEFECT DATA PROCESSING METHOD AND DATA PROCESSING DEVICE
JP2007103696A (en) Substrate defect inspection system and substrate defect detecting method
JP2000131242A (en) Defect analyzer
US20220335585A1 (en) Set up of a visual inspection process
JP2006266766A5 (en)
JP2010170178A (en) Production management system
JP2009168476A (en) Defect inspection method, and defect inspection system
JP4374381B2 (en) Inspection support system, data processing apparatus, and data processing method
JP5604196B2 (en) Macro inspection method and inspection system
JP2006220528A (en) System and method for defect classification
JP2008261692A (en) Substrate inspection system and substrate inspection method
JP2000249658A (en) Inspection apparatus
JP2001289733A (en) Defect inspection system
JP2011047698A (en) Visual inspection apparatus
JP2008053609A (en) Defective data processor, defective data processing system, and defective data processing method
WO2010035588A1 (en) Data processing device, data processing method, and check work support system using the same

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080321

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110824

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees