WO2010128759A2 - 비전 검사시스템 및 이를 이용한 좌표변환방법 - Google Patents

비전 검사시스템 및 이를 이용한 좌표변환방법 Download PDF

Info

Publication number
WO2010128759A2
WO2010128759A2 PCT/KR2010/002253 KR2010002253W WO2010128759A2 WO 2010128759 A2 WO2010128759 A2 WO 2010128759A2 KR 2010002253 W KR2010002253 W KR 2010002253W WO 2010128759 A2 WO2010128759 A2 WO 2010128759A2
Authority
WO
WIPO (PCT)
Prior art keywords
mark
coordinate value
stage
image
marks
Prior art date
Application number
PCT/KR2010/002253
Other languages
English (en)
French (fr)
Other versions
WO2010128759A3 (ko
Inventor
강성범
박희재
안우정
Original Assignee
에스엔유 프리시젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엔유 프리시젼 주식회사 filed Critical 에스엔유 프리시젼 주식회사
Priority to CN201080020216.4A priority Critical patent/CN102422121B/zh
Priority to JP2012509722A priority patent/JP5424144B2/ja
Publication of WO2010128759A2 publication Critical patent/WO2010128759A2/ko
Publication of WO2010128759A3 publication Critical patent/WO2010128759A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G01C3/16—Measuring marks

Definitions

  • the present invention relates to a vision inspection system and a coordinate conversion method using the same, and more particularly, a vision inspection system capable of generating absolute coordinate values for an object under test using reference marks provided in a table supporting the object. It relates to a coordinate conversion method used.
  • a vision inspection system for inspecting a defect on a flat object display such as a TFT-LCD, a PDP, an OEL, etc. through a vision (camera) includes a table, a stage, a camera, and the like.
  • the table supports the object, and the stage linearly reciprocates the table on which the object is mounted in the X-axis or Y-axis direction for loading, unloading, and positioning of the object.
  • the camera acquires an image of a subject or a table. As the size of the flat panel display panel becomes larger, a plurality of cameras are used to inspect the subject.
  • a general vision inspection system precisely inspects a defect of a subject in micrometers, generates an absolute coordinate system based on the subject, displays the position of the defect as a coordinate value within the absolute coordinate system, and then The location of the fault is communicated to the equipment side of the process.
  • a laser interferometer In order to measure the accuracy and repeatability of the stage, a laser interferometer should be installed at a position adjacent to the system, and data must be acquired while transferring the stage for each unit section, which requires a lot of time and effort. Since the accuracy and repeatability of the stage are also easily changed by many factors such as vibration, shock, and mechanical deformation, they should be carried out regularly, but there is a problem in that the inspection line cannot be stopped for a long time in the production line of the inspected object.
  • an object of the present invention is to solve such a conventional problem, without using a plurality of reference marks of the vision inspection system itself, without correcting such as the accuracy of the stage using an external separate equipment,
  • the present invention provides a vision inspection system capable of generating an absolute coordinate system of an inspected object correcting an error of a stage by performing an accuracy correction operation of a stage while performing an inspection operation, and a coordinate transformation method using the same.
  • the vision inspection system of the present invention includes a table for supporting an object, a stage for linearly reciprocating the table in the Y direction, and obtaining the image of the object or the table.
  • a vision inspection system comprising a plurality of cameras spaced apart along an X direction, the vision inspection system comprising: a plurality of first marks spaced apart from one end of the table along an X direction crossing the Y direction; One mark is spaced apart from the first mark on the left side along the Y direction on one side of the table and the first mark on the other side of the table along the Y direction on the other side of the table.
  • the coordinate conversion method of the vision inspection system of the present invention a method of using the vision inspection system, the first mark image acquisition step of acquiring the image of the first marks; A first transform expression generating step of generating a first transform equation for converting the image coordinate value to the stage coordinate value by using a correlation between the image coordinate value of the first mark and the stage absolute coordinate value of the first mark; A second mark image obtaining step of obtaining an image of the second marks; Rotational error that calculates a rotational error indicating an angle at which the table is inclined with respect to the X-axis during the linear movement of the table by using the correlation between the image coordinate value of the second mark and the stage coordinate value of the second mark.
  • Calculating step By using the correlation between the image coordinate value of the second mark and the stage coordinate value of the second mark, a transfer error indicating a difference between a desired target transfer position and an actual transfer position of the table along the X axis or the Y axis is obtained.
  • the present invention it is necessary to measure the accuracy and repeatability of the stage by performing the inspection work of the subject using the second mark provided on the table without using a separate external measuring device and at the same time correcting the accuracy of the stage. Save time and effort.
  • the stage accuracy or repeatability correction operation can be performed without stopping the vision inspection system, it is possible to stably manage the vision inspection system and the inspection line of the inspected object.
  • FIG. 1 is a schematic diagram of a vision inspection system according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating an arrangement of a table, first marks, second marks, and cameras of the vision inspection system of FIG. 1;
  • FIG. 3 is a view schematically showing how a table of the vision inspection system of FIG. 1 is twisted due to a transport error or a rotation error.
  • Figure 4 is a flow chart of the coordinate transformation method of the vision inspection system according to an embodiment of the present invention.
  • FIG. 1 is a schematic diagram of a vision inspection system according to an embodiment of the present invention.
  • the vision inspection system 100 of the present embodiment is capable of inspecting and measuring various defects 4 of an object 2, for example, a panel of a flat panel display, and includes a table 120 and a stage ( 130, a plurality of cameras 150, and a computer.
  • the table 120 supports the inspected object 2 and is disposed above the frame 110 and installed to be movable along the Y-axis direction.
  • the inspected object 2 is fixed by a clamp or the like provided on the upper surface of the table 120.
  • the test object 2 is inspected while the table 120 is moved in the Y-axis direction while the test object 2 is placed on the upper surface of the table 120.
  • the stage 130 is a linear reciprocating movement of the table 120 in the Y-axis direction, in this embodiment, a linear motor for providing a linear motion driving force, and a straight line of the table 120 is fixed to the upper surface of the frame 110 And a pair of linear motion guides that guide the motion.
  • the combination of the linear motor and the linear motion guide for implementing the linear motion of the table 120 is known to those skilled in the art, and thus detailed description thereof will be omitted.
  • the stage 130 may be composed of a rotary motor for providing a rotational driving force, a ball screw, a pair of linear motion guide.
  • the cameras 150 are spaced apart along the X direction to obtain an image of the object 2 or the table 120.
  • a high-resolution Line Scan Camera is used to precisely inspect the defect 4 of the inspected object in micrometer units and to acquire an image thereof.
  • the line scan camera scans the object 2 along one horizontal line to acquire an image.
  • the plurality of line scan cameras divide and scan an image of the inspected object 2 according to each field of view (FOV1, FOV2, ..., FOV8).
  • the computer (not shown) controls the operation of the stage 130 and the cameras 150.
  • the computer processes an image input from the camera 150 by an image processing program, and outputs a series of data such as an image of the subject 2 obtained as a result, an inspection result of the defect 4, and an output device such as a monitor. Output through
  • first marks M1, M2, ..., M9 are provided along the X direction
  • second marks Ma, Mb, Mc, Md, ... are provided along the Y direction.
  • the plurality of first marks M1,..., M9 are arranged at one end of the table 120 at regular intervals along an X direction crossing the Y direction, for example, orthogonal to the Y direction.
  • some of the plurality of second marks Ma, Mc, and Me ... may be spaced apart from the leftmost first mark M1 of the first marks M1 at one side of the table 120 in a Y-direction.
  • the other portions Mb, Md, and Mf of the plurality of second marks are arranged to be spaced apart from each other on the table in the Y direction from the first mark M9 on the right side among the first marks. do.
  • Two marks adjacent to each other among the first marks M1,..., And M9 are arranged to enter the field of view fields FOV1,..., FOV8 of each of the line scan cameras, and among the field of view fields FOV1,..., FOV8. Two viewing areas adjacent to each other overlap a certain distance.
  • the stage coordinates of the first marks M1, ..., M9 and the second marks Ma, Mb, ... are stored in advance in the computer, and the first marks M1, ..., M9 input from the camera 150 are stored in advance.
  • an image coordinate value is calculated from an image of second marks Ma, Mb, ..., and the X and Y axis image coordinate values are calculated by setting the reference pixel of the image to zero and calculating the number of pixels from the zero pixel.
  • FIG. 2 is a diagram illustrating an arrangement of a table, first marks, second marks, and cameras of the vision inspection system of FIG. 1
  • FIG. 3 is a table in which the vision inspection system of FIG. Figure 4 is a schematic view showing a state
  • Figure 4 is a flow chart of the coordinate transformation method of the vision inspection system according to an embodiment of the present invention.
  • the rotational error and the transporting error are defined as follows.
  • the table 120 may be linearly reciprocated along the Y axis, and thus there will be no inclination angle inclined with respect to the X axis or the Y axis.
  • an inclination phenomenon occurs with respect to the X axis or the Y axis during the linear reciprocation of the table 120.
  • the table 120 is inclined with respect to the X axis. Is defined as the rotational error.
  • the difference appears in the desired target transfer position and the actual transfer position.
  • a difference between a desired target transfer position and an actual transfer position of the table 120 is defined as a transfer error.
  • the coordinate transformation method of the vision system of the present embodiment is a method of generating an absolute coordinate system of an object by using reference marks formed on a table, the first mark image obtaining step (S110), and A first transform generation step S120, a second mark image acquisition step S130, a rotation error calculation step S140, a transport error calculation step S150, and a second conversion generation step S160 are included.
  • stage absolute coordinate values of the first marks M1, ..., M9 and the stage absolute coordinate values of the second marks Ma, Mb, ... are input to the computer and stored. Any point on the table 120 is set as the origin, and the difference between the origin and the X-axis and Y-axis displacement of each mark is the stage absolute coordinate value.
  • the stage absolute coordinate value is an exact target coordinate value that does not include a rotational error or a transport error of the stage 130, and is defined as a stage coordinate value that the operator has in advance and stores in the computer.
  • images of the first marks M1, ..., M9 are obtained using the respective cameras 150 (S110).
  • two first marks M1 and M2 adjacent to each other are provided within the field of view of one camera 151 and 152.
  • An image of (M2, M3) is obtained, and an image coordinate value of the first mark is calculated from the images of the first marks (M1, M2) (M2, M3).
  • the image coordinate value is converted to the stage coordinate value by using the correlation between the image coordinate values of the first marks M1, ..., M9 and the stage absolute coordinate values of the first marks M1, ..., M9.
  • a first transform equation is converted.
  • a resolution representing a stage transfer amount per pixel of an image is calculated using the stage absolute coordinate values of the first marks M1, ..., M9 and the image coordinate values of the first mark (S121). ).
  • the X-axis resolution ReX and the Y-axis resolution ReY are represented by the following equations, respectively.
  • ReX is the X-axis resolution
  • ReY is the Y-axis resolution
  • M 1 X is the X-axis stage absolute coordinate value of any one M1 of the pair of first marks in the image acquired by the camera 150
  • M 1 Y is the Y-axis stage absolute coordinate value of one of the pair of first marks in the image
  • M 2 X is the X-axis stage absolute coordinate value of the other one of the pair of first marks in the image
  • M 2 Y is the Y-axis stage absolute coordinate value of the other one (M2) of the pair of first marks in the image
  • m 1 x is the X-axis image coordinate value of any one of the pair of first marks (M1) in the image
  • m 1 y is the Y-axis image coordinate value of one of the pair of first marks in the image
  • m 2 x is the X-axis image coordinate value of the other one of the pair of first marks in the image (M2)
  • m 2 y is the Y-
  • the first and second marks M1 and M2 in the field of view FOV1 of the leftmost camera 151 are shown as an example, and the member number is displayed. The same applies to the case of the first marks M8 and M9 in the first marks M2 and M3 and the field of view FOV8 of the rightmost camera 158.
  • the inclination of the camera 150 is calculated on the X-axis using the stage absolute coordinate values of the first marks M1, ..., M9, the image coordinate values of the first marks M1, ..., M9, and the resolution. . ⁇ , which is the inclination of the respective cameras 150 with respect to the X axis, is expressed as follows (S122).
  • stage coordinate values of the origin of the image are calculated using the stage absolute coordinate values of the first marks M1,..., M9, an image coordinate value of the first mark, a resolution, and an inclination (S123).
  • OX which is the X-axis stage coordinate value of the origin of each image acquired by each camera 150
  • OY which is the Y-axis stage coordinate value of the origin of the image
  • a first conversion equation is generated for converting the image coordinate value to the stage coordinate value using the image coordinate values, resolution, gradient, and origin coordinate values of the first marks M1,..., M9 (S124). .
  • the first conversion equation is expressed as follows.
  • WX is the X-axis stage coordinate value
  • WY is the Y-axis stage coordinate value
  • OX is the X-axis stage coordinate value of the origin of the image
  • OY is the Y-axis stage coordinate value of the origin of the image
  • wx is the X-axis image coordinate value
  • wy is the Y-axis image coordinate value.
  • images of the second marks Ma, Mb, ... are obtained using the leftmost camera 151 and the rightmost camera 158 of the plurality of cameras 150, respectively.
  • S130 an image of two second marks Ma and Mc disposed adjacent to one end of the table 120 among the second marks is acquired using the leftmost camera, and the rightmost one.
  • an image actual coordinate value is defined as an image coordinate value actually detected by the camera 150 including a rotation error or a transport error.
  • the rotation error of the table 120 using the correlation between the actual image coordinate values of the second marks Ma, Mb, ... and the stage actual coordinate values of the second marks Ma, Mb, ... To calculate (S140).
  • the neighboring one of the leftmost first marks M1 of the second marks Ma, Mb, ... is mark a (Ma), and from mark a of the second marks X
  • One mark spaced apart along the axis is mark b (Mb)
  • one mark spaced apart along mark Y from the mark a (Ma) among the second marks and adjacent to mark a is mark c (Mc), and the second mark.
  • one arranged to be spaced apart from the mark c along the X axis is set to the mark d (Md) (S141).
  • the Y-axis stage absolute coordinate values of the marks a (Ma) and the mark b (Mb) are substantially the same, and the Y-axis stage absolute coordinate values of the marks c (Mc) and the mark d (Md) are also substantially the same.
  • Ya ' is the Y-axis stage actual coordinate value of mark a (Ma)
  • Yb' is the Y-axis stage actual coordinate value of mark b (Mb)
  • Xa is the X-axis stage absolute coordinate value of mark a (Ma)
  • Xb is the X-axis stage absolute coordinate value of mark b (Mb)
  • Yb is the Y-axis stage absolute coordinate value of mark b (Mb).
  • the stage actual coordinate value is defined as a stage coordinate value obtained by substituting an actual detected image actual coordinate value into a first transformation equation as a stage coordinate value including a rotation error or a transport error.
  • Ya ' can be obtained by substituting the actual coordinate values of the X-axis and Y-axis image of mark a (Ma) into the first conversion equation
  • Yb' is the actual coordinate value of the X-axis, Y-axis image of mark b (Mb).
  • Yc ' is the Y-axis stage actual coordinate value of the mark c (Mc)
  • Yd' is the Y-axis stage actual coordinate value of the mark d (Md)
  • Xc is the X-axis stage absolute coordinate value of the mark c (Mc)
  • Yc Is the Y-axis stage absolute coordinate value of mark c (Mc)
  • Xd is the X-axis stage absolute coordinate value of mark d (Md)
  • Yd is the Y-axis stage absolute coordinate value of mark d (Md).
  • Yc ' can be obtained by substituting the X and Y axis image actual coordinate values of the mark c (Mc) into the first conversion equation
  • Yd' is obtained by using the X and Y axis image actual coordinate values of the mark d (Md).
  • the transport error of the table is calculated by using the correlation between the image absolute coordinate value of the second mark Ma, Mb, ... and the stage actual coordinate value of the second mark Ma, Mb, ... (S150).
  • the image absolute coordinate value is a coordinate value obtained by substituting the stage absolute coordinate value into the first conversion equation, and is defined as an image coordinate value that does not include a rotational error or a transport error.
  • the transfer error ab which is the transfer error between the mark a (Ma) and the mark b (Mb) according to the change of the X axis.
  • the image absolute coordinate value of mark a (Ma) and the stage actual coordinate value of mark a (Ma) are used, and the X-axis feed error ab ( ⁇ X ab ) and the Y-axis feed error ab ( ⁇ Y ab ) are used.
  • the equation for obtaining is expressed by the following equation.
  • Xa ' is the actual X-axis stage coordinate value of mark a (Ma)
  • xa is the X-axis image absolute coordinate value of mark a (Ma)
  • ya is the Y-axis image absolute coordinate value of mark a (Ma)
  • xa can be obtained by substituting the X-axis and Y-axis stage absolute coordinate values of mark a (Ma) into the first transform equation
  • ya is the first transform equation of the X-axis, Y-axis stage absolute coordinate values of mark a (Ma). Can be obtained by substituting for.
  • the image absolute coordinate value of mark c (Mc) or mark d (Md), the stage actual coordinate value of mark c (Mc) or mark d (Md), and the tilt angle cd ( ⁇ cd ) are used to change the X axis.
  • the transfer error cd which is the transfer error between the mark c (Mc) and the mark d (Md)
  • the equation for obtaining is expressed by the following equation.
  • Xc ' is the actual coordinate value of the X-axis stage of the mark c (Mc)
  • xc is the X-axis image absolute coordinate value of the mark c (Mc)
  • yc is the Y-axis image absolute coordinate value of the mark c (Mc)
  • xc can be obtained by substituting the X and Y axis stage absolute coordinate values of the mark c (Mc) into the first transform equation
  • yc is the first transform equation of the X and Y axis stage absolute coordinate values of the mark c (Mc). Can be obtained by substituting for.
  • a linear transport error term is linearly changed from the transport error ab to the transport error cd between the marks a (Ma) and the marks c (Mc) along the Y axis (S153).
  • the X axis linear feed error term and the Y axis linear feed error term are expressed as follows.
  • a camera angle correction term for correcting the difference between the inclination angles of neighboring cameras is generated (S154).
  • the X-axis camera angle correction term and the Y-axis camera angle correction term are expressed as follows.
  • OX1 is the X-axis stage coordinate value of the origin of the image acquired by the leftmost camera 151 of the plurality of cameras
  • OXn is the origin of the image obtained by the nth camera from the left of the plurality of cameras.
  • a feed error equation for calculating a feed error by subtracting the linear feed error term and the camera angle correction term is generated (S155).
  • the equation for obtaining the X-axis feed error ( ⁇ Xn) and the Y-axis feed error ( ⁇ Yn) is expressed as follows.
  • a second transform equation for converting the image coordinate value and the stage coordinate value into the absolute coordinate value based on the object 2 is generated by adding or subtracting a rotational error and a transport error to the first transform equation ( S160).
  • the absolute coordinate value based on the inspected object 2 is defined as a coordinate value in the absolute coordinate system generated based on the inspected object 2 by correcting a transport error or a rotational error of the stage 130.
  • the absolute coordinate value based on the inspected object 2 is represented by the stage coordinate value.
  • the second transformation formula for the X and Y axes is expressed as follows.
  • NWX is the X axis stage absolute coordinate value of the inspected object 2
  • NWY is the Y axis stage absolute coordinate value of the inspected object 2.
  • the absolute coordinate value can be generated on the basis of), and the absolute coordinate value can be generated for the entire area of the object 2 while the table 120 is moved along the Y axis direction.
  • the vision inspection system and the coordinate conversion method using the same according to the present embodiment configured as described above, by using the second mark provided on the table without using a separate external measuring device to perform the inspection work of the inspected object at the same time
  • By performing the accuracy calibration operation it is possible to reduce the time and effort required to measure the accuracy and repeatability of the stage.
  • stage accuracy or iterative accuracy correction can be performed without stopping the vision inspection system, it is possible to obtain the effect of stably managing the vision inspection system and the inspection line of the inspected object.
  • the inspection of the inspected object is performed using a plurality of reference marks of the vision inspection system itself, and the accuracy of the stage is corrected at the same time.
  • a vision inspection system capable of generating an absolute coordinate system of a subject under corrected state and a coordinate transformation method using the same.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 비전 검사시스템 및 이를 이용한 좌표변환방법에 관한 것으로서, 본 발명의 비전 검사시스템은 피검사체를 지지하는 테이블과, 상기 테이블을 Y방향으로 직선왕복이동시키는 스테이지와, 상기 피검사체 또는 상기 테이블의 이미지를 획득하기 위해 상기 X방향을 따라 이격되게 배치되는 복수의 카메라들을 포함하는 비전 검사시스템에 있어서, 상기 Y방향과 교차하는 X방향을 따라 상기 테이블의 일단부에 이격되게 배치되는 복수의 제1마크들과, 상기 제1마크들 중 가장 좌측의 제1마크로부터 상기 테이블의 일측부에 상기 Y방향을 따라 이격되게 배치되며 상기 제1마크들 중 가장 우측의 제1마크로부터 상기 테이블의 타측부에 상기 Y방향을 따라 이격되게 배치되는 복수의 제2마크들;을 포함하며, 상기 제1마크들의 이미지를 획득하여 이미지 좌표값을 스테이지 좌표값으로 변환하고, 상기 제2마크들의 이미지를 획득하여 이미지 좌표값과 스테이지 좌표값을 피검사체를 기준으로 한 절대 좌표값으로 변환하며, 상기 피검사체를 기준으로 한 절대 좌표값은 상기 스테이지의 정확도가 보정된 좌표값인 것을 특징으로 한다.

Description

비전 검사시스템 및 이를 이용한 좌표변환방법
본 발명은 비전 검사시스템 및 이를 이용한 좌표변환방법에 관한 것으로서, 보다 상세하게는 피검사체를 지지하는 테이블에 마련된 기준 마크들을 이용하여 피검사체에 대한 절대좌표값을 생성할 수 있는 비전 검사시스템 및 이를 이용한 좌표변환방법에 관한 것이다.
비전(카메라)을 통해 피검사체, 예컨대 TFT-LCD, PDP, OEL 등의 평면디스플레이 상의 결함을 검사하는 비전 검사시스템은, 테이블과, 스테이지(stage)와, 카메라 등을 포함하고 있다. 테이블은 피검사체를 지지하며, 스테이지는 피검사체의 로딩(loading), 언로딩(unloading), 포지셔닝(positioning)을 위하여 피검사체가 안착된 테이블을 X축 또는 Y축 방향 직선 왕복운동시킨다. 카메라는 피검사체 또는 테이블의 이미지를 획득하는 것으로서, 평면디스플레이 패널의 크기가 점점 대형화됨에 따라 피검사체의 검사를 위하여 복수의 카메라들이 이용된다.
일반적인 비전 검사시스템은 피검사체의 결함(defect)을 마이크로미터 단위로 정밀하게 검사하고, 피검사체를 기준으로 한 절대좌표계를 생성하고 그 절대좌표계 내에서 결함의 위치를 좌표값으로 표시한 후, 후속 공정의 장비 측에 결함에 대한 위치정보를 전달한다.
피검사체를 기준으로 한 정확한 절대좌표계를 생성하기 위하여, 카메라의 정렬 작업, 스테이지의 정확도(accuracy) 및 반복정밀도(repeatability) 측정 작업이 필요하다. 카메라의 정렬 작업을 통해 각각의 카메라로부터 획득된 이미지의 회전각, X축, Y축으로의 시프트(shift) 등을 보정할 수 있고, 스테이지의 정확도 및 반복정밀도 측정 작업을 통해 테이블을 이송시키고자 하는 목표 이송위치와 실제 테이블이 이송된 위치 간의 차이인 이송오차 또는 테이블이 X축 또는 Y축에 대하여 회전된 정도를 나타내는 회전오차를 보정할 수 있다.
그러나 카메라 정렬 작업에 있어서 복수의 카메라들의 정렬에 많은 시간과 노력이 소요될 뿐만 아니라, 카메라들의 정확한 정렬이 매우 곤란한 문제가 있다. 또한 카메라들의 위치는 진동, 충격, 기구적인 변형 등 많은 요인에 의하여 쉽게 변동되므로, 검사의 신뢰성과 재현성을 확보하기 위해서는 카메라들의 정렬을 정기적으로 실시해야 하는 문제점이 있다.
스테이지의 정확도 및 반복정밀도를 측정하기 위해서는 시스템과 인접한 위치에 레이저 인터페러미터(laser interferometer)를 설치하여 단위 구간마다 스테이지를 이송시키면서 데이터를 획득해야 하므로, 많은 시간과 노력이 소요되는 문제점이 있다. 스테이지의 정확도 및 반복정밀도 역시 진동, 충격, 기구적인 변형 등 많은 요인에 의하여 쉽게 변동되므로 정기적으로 실시해야 하는데, 피검사체의 제조 라인에서는 장시간 동안 검사 라인을 정지시킬 수 없는 문제점이 있다.
따라서, 본 발명의 목적은 이와 같은 종래의 문제점을 해결하기 위한 것으로서, 외부의 별도 장비를 이용하는 스테이지의 정확도 등의 보정 작업을 하지 않고, 비전 검사시스템 자체의 복수의 기준 마크들을 이용하여 피검사체의 검사 작업을 수행함과 동시에 스테이지의 정확도 보정 작업을 수행하여, 스테이지의 오차를 보정한 피검사체의 절대좌표계를 생성할 수 있는 수 있는 비전 검사시스템 및 이를 이용한 좌표변환방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 비전 검사시스템은, 피검사체를 지지하는 테이블과, 상기 테이블을 Y방향으로 직선왕복이동시키는 스테이지와, 상기 피검사체 또는 상기 테이블의 이미지를 획득하기 위해 상기 X방향을 따라 이격되게 배치되는 복수의 카메라들을 포함하는 비전 검사시스템에 있어서, 상기 Y방향과 교차하는 X방향을 따라 상기 테이블의 일단부에 이격되게 배치되는 복수의 제1마크들과, 상기 제1마크들 중 가장 좌측의 제1마크로부터 상기 테이블의 일측부에 상기 Y방향을 따라 이격되게 배치되며 상기 제1마크들 중 가장 우측의 제1마크로부터 상기 테이블의 타측부에 상기 Y방향을 따라 이격되게 배치되는 복수의 제2마크들;을 포함하며, 상기 제1마크들의 이미지를 획득하여 이미지 좌표값을 스테이지 좌표값으로 변환하고, 상기 제2마크들의 이미지를 획득하여 이미지 좌표값과 스테이지 좌표값을 피검사체를 기준으로 한 절대 좌표값으로 변환하며, 상기 피검사체를 기준으로 한 절대 좌표값은 상기 스테이지의 정확도가 보정된 좌표값인 것을 특징으로 한다.
한편, 상기와 같은 목적을 달성하기 위하여 본 발명의 비전 검사시스템의 좌표변환방법은, 상기 비전 검사시스템을 이용하는 방법으로서, 상기 제1마크들의 이미지를 획득하는 제1마크 이미지 획득단계; 상기 제1마크의 이미지 좌표값과 상기 제1마크의 스테이지 절대 좌표값의 상관 관계를 이용하여 이미지 좌표값을 스테이지 좌표값으로 변환하는 제1변환식을 생성하는 제1변환식 생성단계; 상기 제2마크들의 이미지를 획득하는 제2마크 이미지 획득단계; 상기 제2마크의 이미지 좌표값과 상기 제2마크의 스테이지 좌표값의 상관 관계를 이용하여, 상기 테이블의 직선운동 중 상기 테이블이 상기 X축에 대하여 기울어진 각도를 나타내는 회전오차를 계산하는 회전오차 계산단계; 상기 제2마크의 이미지 좌표값과 상기 제2마크의 스테이지 좌표값의 상관 관계를 이용하여, 상기 X축 또는 상기 Y축을 따라 상기 테이블의 원하는 목표 이송위치와 실제 이송위치의 차이를 나타내는 이송오차를 계산하는 이송오차 계산단계; 상기 제1변환식에 상기 회전오차 및 상기 이송오차를 가감하여, 이미지 좌표값과 스테이지 좌표값을 피검사체를 기준으로 한 절대 좌표값으로 변환하는 제2변환식을 생성하는 제2변환식 생성단계;를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 별도의 외부 측정장치를 이용하지 않고 테이블에 마련된 제2마크를 이용하여 피검사체의 검사 작업을 수행함과 동시에 스테이지의 정확도 보정 작업을 수행함으로써 스테이지의 정확도 및 반복정밀도 측정에 소요되는 시간 및 노력을 절감할 수 있다.
또한, 본 발명에 따르면, 진동, 충격, 기구적인 변형 등의 요인에 의하여 검사시스템이 변동되더라도 언제든지 피검사체의 검사 작업을 수행하면서 스테이지의 정확도 또는 반복정밀도 보정 작업을 수행할 수 있으므로, 장비의 유지 보수에 소요되는 경비를 절감할 수 있다.
또한, 본 발명에 따르면, 비전 검사시스템을 중지시키지 않고 스테이지의 정확도 또는 반복정밀도 보정 작업을 수행할 수 있으므로, 비전 검사시스템 및 피검사체의 검사 라인을 안정적으로 관리할 수 있다.
도 1은 본 발명의 일 실시예에 따른 비전 검사시스템의 개략도이고,
도 2는 도 1의 비전 검사시스템의 테이블, 제1마크들, 제2마크들 및 카메라들의 배치를 나타내는 도면이고,
도 3은 도 1의 비전 검사시스템의 테이블이 이송오차 또는 회전오차에 의해 틀어진 모습을 개략적으로 나타내는 도면이고,
도 4는 본 발명의 일 실시예에 따른 비전 검사시스템의 좌표변환방법의 순서도이다.
이하, 본 발명에 따른 비전 검사시스템 및 이를 이용한 좌표변환방법의 실시예들을 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 비전 검사시스템의 개략도이다.
도 1을 참조하면, 본 실시예의 비전 검사시스템(100)은 피검사체(2), 예컨대 평판디스플레이의 패널의 다양한 결함(4)을 검사 및 측정할 수 있는 것으로서, 테이블(120)과, 스테이지(130)와, 복수의 카메라(150)들과, 컴퓨터를 구비한다.
상기 테이블(120)은 피검사체(2)를 지지하는 것으로서, 프레임(110)의 상측에 배치되며, Y축 방향을 따라 운동 가능하도록 설치된다. 피검사체(2)는 테이블(120)의 상면에 설치된 클램프 등에 의하여 고정된다. 테이블(120)의 상면에 피검사체(2)가 놓여진 상태에서 테이블(120)이 Y축 방향을 따라 이동되면서 피검사체(2)에 대한 검사가 이루어진다.
상기 스테이지(130)는 테이블(120)을 Y축 방향으로 직선 왕복이동시키는 것으로서, 본 실시예에서는 직선운동 구동력을 제공하는 리니어 모터와, 프레임(110)의 상면에 고정되고 테이블(120)의 직선운동을 가이드하는 한 쌍의 직선운동 가이드를 포함한다. 테이블(120)의 직선운동을 구현하기 위한 리니어 모터와 직선운동 가이드를 조합한 구성은 통상의 기술자에게 공지된 사항이므로 더이상의 상세한 설명은 생략한다. 한편, 스테이지(130)는 회전 구동력을 제공하는 회전모터와, 볼 스크루, 한 쌍의 직선운동 가이드로 구성될 수도 있다.
상기 카메라(150)들은 피검사체(2) 또는 테이블(120)의 이미지를 획득하기 위해 X방향을 따라 이격되게 배치된다. 본 실시예에서는 피검사체의 결함(4)을 마이크로미터 단위로 정밀하게 검사하고 그 이미지를 획득하기 위하여 해상도가 높은 라인스캔 카메라(Line Scan Camera)가 이용된다. 라인스캔 카메라는 1개의 수평 라인을 따라 피검사체(2)를 스캐닝하여 이미지를 획득한다. 복수의 라인스캔 카메라는 각각의 시야영역(Field Of View)(FOV1,FOV2,…,FOV8)에 따라 피검사체(2)의 이미지를 분할하여 스캐닝한다.
상기 컴퓨터(미도시)는 스테이지(130)와 카메라(150)들의 작동을 제어한다. 컴퓨터는 카메라(150)로부터 입력되는 이미지를 이미지 프로세싱 프로그램에 의하여 프로세싱하고, 그 결과로 획득되는 피검사체(2)의 이미지, 결함(4)의 검사 결과 등 일련의 데이터를 모니터 등의 출력장치를 통하여 출력한다.
테이블(120)의 상면에는 X방향을 따라 제1마크(M1,M2,…,M9)들이, Y방향을 따라 제2마크(Ma,Mb,Mc,Md,…)들이 마련되어 있다. 복수의 제1마크(M1,…,M9)들은 Y방향과 교차하는, 예컨대 Y방향과 직교하는 X방향을 따라 테이블(120)의 일단부에 일정 간격으로 이격되게 배치된다. 또한, 복수의 제2마크들 중 일부(Ma,Mc,Me…)는 제1마크들 중 가장 좌측의 제1마크(M1)로부터 테이블(120)의 일측부에 Y방향을 따라 일정 간격 이격되게 배치되며, 복수의 제2마크들 중 다른 일부(Mb,Md,Mf…)는 제1마크들 중 가장 우측의 제1마크(M9)로부터 테이블의 타측부에 Y방향을 따라 일정 간격 이격되게 배치된다.
제1마크(M1,…,M9)들 중 서로 인접하는 두 개의 마크들은 라인스캔 카메라 각각의 시야영역(FOV1,…,FOV8) 안에 들어오도록 배치되며, 시야영역(FOV1,…,FOV8)들 중 서로 인접하는 두 개의 시야영역들은 일정 거리 오버랩된다.
컴퓨터에는 제1마크(M1,…,M9)들과 제2마크(Ma,Mb,…)들의 스테이지 좌표값이 미리 저장되고, 카메라(150)로부터 입력되는 제1마크(M1,…,M9)들, 제2마크(Ma,Mb,…)들의 이미지로부터 이미지 좌표값이 산출되는데, 이미지의 기준픽셀을 영점으로 설정하고 영점픽셀로부터 몇번째 픽셀인지를 계산하여 X축 및 Y축 이미지 좌표값을 생성한다.
이하, 상술한 바와 같이 구성된 비전 검사시스템(100)를 이용하여 본 발명에 따른 비전 검사시스템의 좌표변환방법의 실시예에 대하여, 도 1 내지 도 3을 참조하면서 상세히 설명하기로 한다.
도 2는 도 1의 비전 검사시스템의 테이블, 제1마크들, 제2마크들 및 카메라들의 배치를 나타내는 도면이고, 도 3은 도 1의 비전 검사시스템의 테이블이 이송오차 또는 회전오차에 의해 틀어진 모습을 개략적으로 나타내는 도면이고, 도 4는 본 발명의 일 실시예에 따른 비전 검사시스템의 좌표변환방법의 순서도이다.
본 실시예의 비전 검사시스템의 좌표변환방법을 설명하기 앞서, 회전오차와 이송오차를 다음과 같이 정의한다.
이상적인 경우라면 테이블(120)은 Y축에 따라 직선 왕복운동하므로 X축 또는 Y축에 대하여 기울어지는 경사각이 없을 것이다. 그러나 실제 경우에 있어서 제작 공차 또는 조립 공차로 인하여 테이블(120)의 직선 왕복운동시 X축 또는 Y축에 대하여 기울어짐 현상이 발생하는데, 본 명세서에서는 테이블(120)이 X축에 대하여 기울어진 각도를 회전오차로 정의한다.
또한, 스테이지(130)의 직선 왕복운동 시 스테이지(130)의 정확도(accuracy) 또는 반복정밀도로 인하여, 원하는 목표 이송위치와 실제 이송위치에서 차이가 나타나게 된다. 본 명세서에서 X축 또는 Y축을 따라 스테이지(130)를 이용하여 테이블(120)을 이송시킬 때 테이블(120)의 원하는 목표 이송위치와 실제 이송위치의 차이를 이송오차로 정의한다.
도 1 내지 도 4를 참조하면, 본 실시예의 비전시스템의 좌표변환방법은 테이블에 형성된 기준 마크들을 이용하여 피검사체의 절대좌표계를 생성하는 방법으로서, 제1마크 이미지 획득단계(S110)와, 제1변환식 생성단계(S120)와, 제2마크 이미지 획득단계(S130)와, 회전오차 계산단계(S140)와, 이송오차 계산단계(S150)와, 제2변환식 생성단계(S160)를 포함한다.
우선, 제1마크(M1,…,M9)들의 스테이지 절대 좌표값과 제2마크(Ma,Mb,…)들의 스테이지 절대 좌표값을 컴퓨터에 입력하여 각각 저장한다. 테이블(120)상의 임의의 지점을 원점으로 설정하고 그 원점과 각 마크의 X축, Y축 변위차가 스테이지 절대 좌표값이 된다.
본 명세서에서 스테이지 절대 좌표값이란 스테이지(130)의 회전오차 또는 이송오차를 포함하지 않는 정확한 목표 좌표값으로서, 작업자가 미리 정보를 가지고 있어서 컴퓨터에 저장하는 스테이지 좌표값으로 정의한다.
이후, 상기 제1마크 이미지 획득단계에서는 각각의 카메라(150)를 이용하여 제1마크(M1,…,M9)의 이미지를 각각 획득한다(S110). 도 2에 도시된 바와 같이, 서로 인접하는 두 개의 제1마크(M1,M2)(M2,M3)가 하나의 카메라(151)(152)의 시야영역 안에 들어오도록 제1마크(M1,M2)(M2,M3)의 이미지를 획득하고, 제1마크(M1,M2)(M2,M3)의 이미지로부터 제1마크의 이미지 좌표값을 산출한다.
상기 제1변환식 생성단계에서는 제1마크(M1,…,M9)의 이미지 좌표값과 제1마크(M1,…,M9)의 스테이지 절대 좌표값의 상관 관계를 이용하여 이미지 좌표값을 스테이지 좌표값으로 변환하는 제1변환식을 생성한다(S120).
제1변환식을 생성하기 위해서는 우선, 제1마크(M1,…,M9)의 스테이지 절대 좌표값과 제1마크의 이미지 좌표값을 이용하여 이미지의 픽셀당 스테이지 이송량을 의미하는 해상도를 계산한다(S121). X축 해상도(ReX)와 Y축 해상도(ReY)는 각각 하기식에 의해 표현된다.
Figure PCTKR2010002253-appb-I000001
Figure PCTKR2010002253-appb-I000002
여기서, ReX는 X축 해상도, ReY는 Y축 해상도, M1X는 카메라(150)에 의해 획득된 이미지 내의 한 쌍의 제1마크 중 어느 하나(M1)의 X축 스테이지 절대 좌표값, M1Y는 이미지 내의 한 쌍의 제1마크 중 어느 하나(M1)의 Y축 스테이지 절대 좌표값, M2X는 이미지 내의 한 쌍의 제1마크 중 다른 하나(M2)의 X축 스테이지 절대 좌표값, M2Y는 이미지 내의 한 쌍의 제1마크 중 다른 하나(M2)의 Y축 스테이지 절대 좌표값, m1x는 이미지 내의 한 쌍의 제1마크 중 어느 하나(M1)의 X축 이미지 좌표값, m1y는 이미지 내의 한 쌍의 제1마크 중 어느 하나(M1)의 Y축 이미지 좌표값, m2x는 이미지 내의 한 쌍의 제1마크 중 다른 하나(M2)의 X축 이미지 좌표값, m2y는 이미지 내의 한 쌍의 제1마크 중 다른 하나(M2)의 Y축 이미지 좌표값이다.
상기 단락에서는 가장 좌측의 카메라(151)의 시야영역(FOV1) 내의 제1마크(M1,M2)에 대하여 예로 들며 부재번호를 표시하였으나, 좌측으로부터 두번째 카메라(152)의 시야영역(FOV2) 내의 제1마크(M2,M3) 및 가장 우측의 카메라(158)의 시야영역(FOV8) 내의 제1마크(M8,M9)의 경우에도 동일하게 적용된다.
이후, 제1마크(M1,…,M9)의 스테이지 절대 좌표값, 제1마크(M1,…,M9)의 이미지 좌표값 및 해상도를 이용하여 카메라(150)의 X축에 대한 경사도를 계산한다. 각각의 카메라(150)의 X축에 대한 경사도인 θ는 하기식처럼 표현된다(S122).
Figure PCTKR2010002253-appb-I000003
이후, 제1마크(M1,…,M9)의 스테이지 절대 좌표값, 제1마크의 이미지 좌표값, 해상도 및 경사도를 이용하여 이미지의 원점의 스테이지 좌표값을 계산한다(S123). 각각의 카메라(150)에 의해 획득된 각각의 이미지의 원점의 X축 스테이지 좌표값인 OX와, 이미지의 원점의 Y축 스테이지 좌표값인 OY는 하기식처럼 표현된다.
Figure PCTKR2010002253-appb-I000004
Figure PCTKR2010002253-appb-I000005
이후, 제1마크(M1,…,M9)의 이미지 좌표값, 해상도, 경사도 및 이미지의 원점의 스테이지 좌표값을 이용하여 이미지 좌표값을 스테이지 좌표값으로 변환하는 제1변환식을 생성한다(S124). 제1변환식은 하기식처럼 표현된다.
Figure PCTKR2010002253-appb-I000006
Figure PCTKR2010002253-appb-I000007
여기서, WX는 X축 스테이지 좌표값, WY는 Y축 스테이지 좌표값, OX는 이미지의 원점의 X축 스테이지 좌표값, OY는 이미지의 원점의 Y축 스테이지 좌표값, wx는 X축 이미지 좌표값, wy는 Y축 이미지 좌표값이다.
상기 제2마크 이미지 획득단계에서는 복수의 카메라(150)들 중 가장 좌측의 카메라(151) 및 가장 우측의 카메라(158)를 이용하여 제2마크(Ma,Mb,…)의 이미지를 각각 획득한다(S130). 도 3에 도시된 바와 같이, 가장 좌측의 카메라를 이용하여 제2마크들 중 테이블(120)의 일단부에서 인접하게 배치된 2개의 제2마크(Ma,Mc)의 이미지를 획득하고, 가장 우측의 카메라(158)를 이용하여 테이블(120)의 타단부에서 인접하게 배치된 2개의 제2마크(Mb,Md)의 이미지를 획득하며, 제2마크의 이미지로부터 제2마크의 이미지 실제 좌표값을 산출한다.
본 명세서에서 이미지 실제 좌표값이란 회전오차 또는 이송오차를 포함하는 카메라(150)에 의해 실제 검출된 이미지 좌표값으로 정의한다.
상기 회전오차 계산단계에서는 제2마크(Ma,Mb,…)의 이미지 실제 좌표값과 제2마크(Ma,Mb,…)의 스테이지 실제 좌표값의 상관 관계를 이용하여 테이블(120)의 회전오차를 계산한다(S140).
회전오차를 계산하기 위하여 우선, 제2마크(Ma,Mb,…)들 중 가장 좌측의 제1마크(M1)와 이웃하는 하나를 마크a(Ma)로, 제2마크들 중 마크a로부터 X축을 따라 이격되게 배치된 하나를 마크b(Mb)로, 제2마크들 중 마크a(Ma)로부터 Y축을 따라 이격되게 배치되고 마크a와 인접하는 하나를 마크c(Mc)로, 제2마크들 중 마크c로부터 X축을 따라 이격되게 배치된 하나를 마크d(Md)로 설정한다(S141). 본 실시예에서 마크a(Ma)와 마크b(Mb)의 Y축 스테이지 절대 좌표값은 실질적으로 동일하고, 마크c(Mc)와 마크d(Md)의 Y축 스테이지 절대 좌표값 역시 실질적으로 동일하다.
이후, 마크a(Ma)와 마크b(Mb)를 잇는 직선의 X축에 대한 경사각ab(△θab)를 구한다(S142). 경사각ab(△θab)를 구하는 식은 하기식과 같이 표현된다.
Figure PCTKR2010002253-appb-I000008
여기서, Ya'은 마크a(Ma)의 Y축 스테이지 실제 좌표값, Yb'는 마크b(Mb)의 Y축 스테이지 실제 좌표값, Xa는 마크a(Ma)의 X축 스테이지 절대 좌표값, Ya는 마크a(Ma)의 Y축 스테이지 절대 좌표값, Xb는 마크b(Mb)의 X축 스테이지 절대 좌표값, Yb는 마크b(Mb)의 Y축 스테이지 절대 좌표값이다.
본 명세서에서 스테이지 실제 좌표값이란 회전오차 또는 이송오차를 포함하는 스테이지 좌표값으로서 실제 검출된 이미지 실제 좌표값을 제1변환식에 대입하여 얻은 스테이지 좌표값으로 정의한다.
따라서, Ya'은 마크a(Ma)의 X축, Y축 이미지 실제 좌표값을 제1변환식에 대입하여 얻을 수 있고, Yb'은 마크b(Mb)의 X축, Y축 이미지 실제 좌표값을 제1변환식에 대입하여 얻을 수 있다.
이후, 마크c(Mc)와 마크d(Md)를 잇는 직선의 X축에 대한 경사각cd(△θcd)를 구한다(S143). 경사각cd(△θcd)를 구하는 식은 하기식과 같이 표현된다.
Figure PCTKR2010002253-appb-I000009
여기서, Yc'은 마크c(Mc)의 Y축 스테이지 실제 좌표값, Yd'는 마크d(Md)의 Y축 스테이지 실제 좌표값, Xc는 마크c(Mc)의 X축 스테이지 절대 좌표값, Yc는 마크c(Mc)의 Y축 스테이지 절대 좌표값, Xd는 마크d(Md)의 X축 스테이지 절대 좌표값, Yd는 마크d(Md)의 Y축 스테이지 절대 좌표값이다.
따라서, Yc'은 마크c(Mc)의 X축, Y축 이미지 실제 좌표값을 제1변환식에 대입하여 얻을 수 있고, Yd'은 마크d(Md)의 X축, Y축 이미지 실제 좌표값을 제1변환식에 대입하여 얻을 수 있다.
이후, Y축을 따라 마크a(Ma)와 마크c(Mc) 사이에서 경사각ab(△θab)로부터 경사각cd(△θcd)까지 선형적으로 변하도록 하여 테이블(120)의 회전오차를 계산하는 회전오차식을 생성한다(S144). 회전오차(△θ(X))를 구하는 식은 하기식과 같이 표현된다.
Figure PCTKR2010002253-appb-I000010
여기서, α는 비례변수로서
Figure PCTKR2010002253-appb-I000011
식에 의해 구해지며, Ytop은
Figure PCTKR2010002253-appb-I000012
식에 의해 구해지며, Ybtm은
Figure PCTKR2010002253-appb-I000013
식에 의해 구해진다.
상기 이송오차 계산단계에서는 제2마크(Ma,Mb,…)의 이미지 절대 좌표값과 제2마크(Ma,Mb,…)의 스테이지 실제 좌표값의 상관 관계를 이용하여, 테이블의 이송오차를 계산한다(S150).
본 명세서에서 이미지 절대 좌표값이란 스테이지 절대 좌표값을 제1변환식에 대입하여 얻은 좌표값으로서 회전오차 또는 이송오차를 포함하지 않는 이미지 좌표값으로 정의한다.
이송오차를 계산하기 위하여 우선, 마크a(Ma) 또는 마크b(Mb)의 이미지 절대 좌표값, 마크a(Ma) 또는 마크b(Mb)의 스테이지 실제 좌표값, 경사각ab(△θab)를 이용하여 X축의 변화에 따른 마크a(Ma)와 마크b(Mb) 사이의 이송오차인 이송오차ab를 구한다(S151). 본 실시예에서는 마크a(Ma)의 이미지 절대 좌표값, 마크a(Ma)의 스테이지 실제 좌표값을 이용하였고, X축 이송오차ab(△Xab)와 Y축 이송오차ab(△Yab)를 구하는 식은 하기식과 같이 표현된다.
Figure PCTKR2010002253-appb-I000014
Figure PCTKR2010002253-appb-I000015
여기서, Xa'은 마크a(Ma)의 X축 스테이지 실제 좌표값, xa는 마크a(Ma)의 X축 이미지 절대 좌표값, ya는 마크a(Ma)의 Y축 이미지 절대 좌표값이며, 상기 xa는 마크a(Ma)의 X축, Y축 스테이지 절대 좌표값을 제1변환식에 대입하여 얻을 수 있고, 상기 ya는 마크a(Ma)의 X축, Y축 스테이지 절대 좌표값을 제1변환식에 대입하여 얻을 수 있다.
이후, 마크c(Mc) 또는 마크d(Md)의 이미지 절대 좌표값, 마크c(Mc) 또는 마크d(Md)의 스테이지 실제 좌표값, 경사각cd(△θcd)를 이용하여 X축의 변화에 따른 마크c(Mc)와 마크d(Md) 사이의 이송오차인 이송오차cd를 구한다(S152). 본 실시예에서는 마크c(Mc)의 이미지 절대 좌표값, 마크c(Mc)의 스테이지 실제 좌표값을 이용하였고, X축 이송오차cd(△Xcd)와 Y축 이송오차cd(△Ycd)를 구하는 식은 하기식과 같이 표현된다.
Figure PCTKR2010002253-appb-I000016
Figure PCTKR2010002253-appb-I000017
여기서, Xc'은 마크c(Mc)의 X축 스테이지 실제 좌표값, xc는 마크c(Mc)의 X축 이미지 절대 좌표값, yc는 마크c(Mc)의 Y축 이미지 절대 좌표값이며, 상기 xc는 마크c(Mc)의 X축, Y축 스테이지 절대 좌표값을 제1변환식에 대입하여 얻을 수 있고, 상기 yc는 마크c(Mc)의 X축, Y축 스테이지 절대 좌표값을 제1변환식에 대입하여 얻을 수 있다.
이후, Y축을 따라 마크a(Ma)와 마크c(Mc) 사이에서 이송오차ab로부터 이송오차cd까지 선형적으로 변하는 선형 이송오차항을 생성한다(S153). X축 선형 이송오차항과 Y축 선형 이송오차항은 하기식과 같이 표현된다.
Figure PCTKR2010002253-appb-I000018
(X축 선형 이송오차항)
Figure PCTKR2010002253-appb-I000019
(Y축 선형 이송오차항)
이후, 이웃하는 카메라의 경사각의 차이를 보정하는 카메라 각도보정항을 생성한다(S154). X축 카메라 각도보정항과 Y축 카메라 각도보정항은 하기식과 같이 표현된다.
Figure PCTKR2010002253-appb-I000020
(X축 카메라 각도보정항)
Figure PCTKR2010002253-appb-I000021
(Y축 카메라 각도보정항)
여기서, OX1은 복수의 카메라들 중 가장 좌측의 카메라(151)에 의해 획득된 이미지의 원점의 X축 스테이지 좌표값이고, OXn은 복수의 카메라들 중 좌측으로부터 n번째 카메라에 의해 획득된 이미지의 원점의 X축 스테이지 좌표값이다.
이후, 선형 이송오차항과 카메라 각도보정항을 가감하여 이송오차를 계산하는 이송오차식을 생성한다(S155). X축 이송오차(△Xn)와 Y축 이송오차(△Yn)를 구하는 식은 하기식과 같이 표현된다.
Figure PCTKR2010002253-appb-I000022
Figure PCTKR2010002253-appb-I000023
상기 제2변환식 생성단계에서는 제1변환식에 회전오차 및 이송오차를 가감하여, 이미지 좌표값과 스테이지 좌표값을 피검사체(2)를 기준으로 한 절대 좌표값으로 변환하는 제2변환식을 생성한다(S160). 본 명세서에서 피검사체(2)를 기준으로 한 절대 좌표값이란 스테이지(130)의 이송오차 또는 회전오차를 보정하여 피검사체(2)를 기준으로 생성한 절대 좌표계 내의 좌표값으로 정의한다. 피검사체(2)를 기준으로 한 절대 좌표값은 스테이지 좌표값으로 표시된다. X축, Y축에 대한 제2변환식은 하기식과 같이 표현된다.
Figure PCTKR2010002253-appb-I000024
Figure PCTKR2010002253-appb-I000025
여기서, NWX는 피검사체(2)의 X축 스테이지 절대 좌표값이고, NWY는 피검사체(2)의 Y축 스테이지 절대 좌표값이다.
이후, 마크c(Mc), 마크d(Md), 마크e(Me), 마크f(Mf)에 의해 구획되는 영역을 카메라(150)가 스캐닝하는 동안에도 상기의 단계들을 반복하여 피검사체(2)를 기준으로 한 절대 좌표값을 생성할 수 있고, 결국 Y축 방향을 따라 테이블(120)이 이송하면서 피검사체(2) 전 영역에 대하여 절대 좌표값을 생성할 수 있다.
상술한 바와 같이 구성된 본 실시예에 따른 비전 검사시스템 및 이를 이용한 좌표변환방법은, 별도의 외부 측정장치를 이용하지 않고 테이블에 마련된 제2마크를 이용하여 피검사체의 검사 작업을 수행함과 동시에 스테이지의 정확도 보정 작업을 수행함으로써, 스테이지의 정확도 및 반복정밀도 측정에 소요되는 시간 및 노력을 절감할 수 있는 효과를 얻을 수 있다.
또한, 진동, 충격, 기구적인 변형 등의 요인에 의하여 검사시스템이 변동되더라도 언제든지 피검사체의 검사 작업을 수행하면서 스테이지의 정확도 또는 반복정밀도 보정 작업을 수행할 수 있으므로, 장비의 유지 보수에 소요되는 경비를 절감할 수 있는 효과를 얻을 수 있다.
또한, 비전 검사시스템을 중지시키지 않고 스테이지의 정확도 또는 반복정밀도 보정 작업을 수행할 수 있으므로, 비전 검사시스템 및 피검사체의 검사 라인을 안정적으로 관리할 수 있는 효과를 얻을 수 있다.
본 발명의 권리범위는 상술한 실시예 및 변형례에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시예로 구현될 수 있다. 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위 내에 있는 것으로 본다.
외부의 별도 장비를 이용하는 스테이지의 정확도 등의 보정 작업을 하지 않고, 비전 검사시스템 자체의 복수의 기준 마크들을 이용하여 피검사체의 검사 작업을 수행함과 동시에 스테이지의 정확도 보정 작업을 수행하여, 스테이지의 오차를 보정한 피검사체의 절대좌표계를 생성할 수 있는 수 있는 비전 검사시스템 및 이를 이용한 좌표변환방법이 제공된다.

Claims (5)

  1. 피검사체를 지지하는 테이블과, 상기 테이블을 Y방향으로 직선왕복이동시키는 스테이지와, 상기 피검사체 또는 상기 테이블의 이미지를 획득하기 위해 상기 X방향을 따라 이격되게 배치되는 복수의 카메라들을 포함하는 비전 검사시스템에 있어서,
    상기 Y방향과 교차하는 X방향을 따라 상기 테이블의 일단부에 이격되게 배치되는 복수의 제1마크들과, 상기 제1마크들 중 가장 좌측의 제1마크로부터 상기 테이블의 일측부에 상기 Y방향을 따라 이격되게 배치되며 상기 제1마크들 중 가장 우측의 제1마크로부터 상기 테이블의 타측부에 상기 Y방향을 따라 이격되게 배치되는 복수의 제2마크들;을 포함하며,
    상기 제1마크들의 이미지를 획득하여 이미지 좌표값을 스테이지 좌표값으로 변환하고, 상기 제2마크들의 이미지를 획득하여 이미지 좌표값과 스테이지 좌표값을 피검사체를 기준으로 한 절대 좌표값으로 변환하며,
    상기 피검사체를 기준으로 한 절대 좌표값은 상기 스테이지의 정확도가 보정된 좌표값인 것을 특징으로 하는 비전 검사시스템.
  2. 제1항의 비전 검사시스템을 이용하는 방법으로서,
    상기 제1마크들의 이미지를 획득하는 제1마크 이미지 획득단계;
    상기 제1마크의 이미지 좌표값과 상기 제1마크의 스테이지 절대 좌표값의 상관 관계를 이용하여 이미지 좌표값을 스테이지 좌표값으로 변환하는 제1변환식을 생성하는 제1변환식 생성단계;
    상기 제2마크들의 이미지를 획득하는 제2마크 이미지 획득단계;
    상기 제2마크의 이미지 좌표값과 상기 제2마크의 스테이지 좌표값의 상관 관계를 이용하여, 상기 테이블의 직선운동 중 상기 테이블이 상기 X축에 대하여 기울어진 각도를 나타내는 회전오차를 계산하는 회전오차 계산단계;
    상기 제2마크의 이미지 좌표값과 상기 제2마크의 스테이지 좌표값의 상관 관계를 이용하여, 상기 X축 또는 상기 Y축을 따라 상기 테이블의 원하는 목표 이송위치와 실제 이송위치의 차이를 나타내는 이송오차를 계산하는 이송오차 계산단계;
    상기 제1변환식에 상기 회전오차 및 상기 이송오차를 가감하여, 이미지 좌표값과 스테이지 좌표값을 피검사체를 기준으로 한 절대 좌표값으로 변환하는 제2변환식을 생성하는 제2변환식 생성단계;를 포함하는 것을 특징으로 하는 비전 검사시스템의 좌표변환방법.
  3. 제2항에 있어서,
    상기 제1변환식 생성단계는,
    상기 제1마크의 스테이지 절대 좌표값과 상기 제1마크의 이미지 좌표값을 이용하여 이미지의 픽셀당 스테이지 이송량을 의미하는 해상도를 계산하는 단계;
    상기 제1마크의 스테이지 절대 좌표값, 상기 제1마크의 이미지 좌표값 및 상기 해상도를 이용하여 상기 카메라의 상기 X축에 대한 경사도를 계산하는 단계;
    상기 제1마크의 스테이지 절대 좌표값, 상기 제1마크의 이미지 좌표값, 상기 해상도 및 상기 경사도를 이용하여 이미지의 원점의 스테이지 좌표값을 계산하는 단계;
    상기 제1마크의 이미지 좌표값, 상기 해상도, 상기 경사도 및 상기 이미지의 원점의 스테이지 좌표값을 이용하여 이미지 좌표값을 스테이지 좌표값으로 변환하는 제1변환식을 생성하는 단계;를 포함하며,
    상기 스테이지 절대 좌표값은 상기 스테이지의 회전오차 또는 이송오차를 포함하지 않는 미리 정해진 좌표값인 것을 특징으로 하는 비전 검사시스템의 좌표변환방법.
  4. 제2항 또는 제3항에 있어서,
    상기 회전오차 계산단계는,
    상기 제2마크들 중 어느 하나를 마크a로, 상기 제2마크들 중 상기 마크a로부터 상기 X축을 따라 이격되게 배치된 하나를 마크b로, 상기 제2마크들 중 상기 마크a로부터 상기 Y축을 따라 이격되게 배치된 하나를 마크c로, 상기 제2마크들 중 상기 마크c로부터 상기 X축을 따라 이격되게 배치된 하나를 마크d로 설정하는 단계;
    상기 마크a와 상기 마크b를 잇는 직선의 상기 X축에 대한 경사각ab을 구하는 단계;
    상기 마크c와 상기 마크d를 잇는 직선의 상기 X축에 대한 경사각cd를 구하는 단계;
    상기 Y축을 따라 상기 마크a와 상기 마크c 사이에서 상기 경사각ab로부터 상기 경사각cd까지 선형적으로 변하도록 하여 상기 테이블의 회전오차를 계산하는 회전오차식을 생성하는 단계;를 포함하는 것을 특징으로 하는 비전 검사시스템의 좌표변환방법.
  5. 제4항에 있어서,
    상기 이송오차 계산단계는,
    상기 마크a 또는 상기 마크b의 이미지 절대 좌표값, 상기 마크a 또는 상기 마크b의 스테이지 실제 좌표값, 상기 경사각ab를 이용하여 상기 X축의 변화에 따른 상기 마크a와 상기 마크b 사이의 이송오차인 이송오차ab를 구하는 단계;
    상기 마크c 또는 상기 마크d의 이미지 절대 좌표값, 상기 마크c 또는 상기 마크d의 스테이지 실제 좌표값, 상기 경사각cd를 이용하여 상기 X축의 변화에 따른 상기 마크c와 상기 마크d 사이의 이송오차인 이송오차cd를 구하는 단계;
    상기 Y축을 따라 상기 마크a와 상기 마크c 사이에서 상기 이송오차ab로부터 상기 이송오차cd까지 선형적으로 변하는 선형 이송오차항을 생성하는 단계;
    이웃하는 카메라의 경사각의 차이를 보정하는 카메라 각도보정항을 생성하는 단계;
    상기 선형 이송오차항과 상기 카메라 각도보정항을 가감하여 상기 이송오차를 계산하는 이송오차식을 생성하는 단계;를 포함하며,
    상기 이미지 절대 좌표값은 상기 스테이지 절대 좌표값을 상기 제1변환식에 대입하여 얻은 좌표값으로서 회전오차 또는 이송오차를 포함하지 않는 이미지 좌표값이며, 상기 스테이지 실제 좌표값은 회전오차 또는 이송오차를 포함하는 스테이지 좌표값이며, 상기 이미지 실제 좌표값은 회전오차 또는 이송오차를 포함하는 실제 검출된 이미지 좌표값인 것을 특징으로 하는 비전 검사시스템의 좌표변환방법.
PCT/KR2010/002253 2009-05-07 2010-04-13 비전 검사시스템 및 이를 이용한 좌표변환방법 WO2010128759A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201080020216.4A CN102422121B (zh) 2009-05-07 2010-04-13 视觉检测系统及利用该系统的坐标转换方法
JP2012509722A JP5424144B2 (ja) 2009-05-07 2010-04-13 ビジョン検査システム及びこれを用いた座標変換方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090039713A KR101128913B1 (ko) 2009-05-07 2009-05-07 비전 검사시스템 및 이를 이용한 좌표변환방법
KR10-2009-0039713 2009-05-07

Publications (2)

Publication Number Publication Date
WO2010128759A2 true WO2010128759A2 (ko) 2010-11-11
WO2010128759A3 WO2010128759A3 (ko) 2011-01-20

Family

ID=43050594

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/002253 WO2010128759A2 (ko) 2009-05-07 2010-04-13 비전 검사시스템 및 이를 이용한 좌표변환방법

Country Status (5)

Country Link
JP (1) JP5424144B2 (ko)
KR (1) KR101128913B1 (ko)
CN (1) CN102422121B (ko)
TW (1) TWI457534B (ko)
WO (1) WO2010128759A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023163373A1 (ko) * 2022-02-22 2023-08-31 엘에스일렉트릭 주식회사 아핀 변환의 파라미터 캘리브레이션 방법 및 이를 이용하는 모션 제어 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5674149B2 (ja) * 2011-05-30 2015-02-25 新東工業株式会社 ボールねじ軸の累積リード誤差測定装置及び測定方法
CN102810058B (zh) * 2011-05-31 2016-02-03 鸿富锦精密工业（深圳）有限公司 量测编程坐标系刷新系统及方法
CN104634246B (zh) * 2015-02-03 2017-04-12 李安澜 目标空间坐标的浮动式立体视觉测量系统及测量方法
FI127560B (en) 2015-06-24 2018-09-14 Murata Manufacturing Co Digital microcircuit and method for calculating inclinometer angles
CN108489994A (zh) * 2018-03-30 2018-09-04 湖北工程学院 卷对卷塑质面膜检验及控制方法
WO2020198963A1 (zh) * 2019-03-29 2020-10-08 深圳市大疆创新科技有限公司 关于拍摄设备的数据处理方法、装置及图像处理设备
CN110320496B (zh) * 2019-06-25 2021-06-11 清华大学 一种室内定位方法及装置
KR102257055B1 (ko) 2020-11-30 2021-05-28 이재준 스마트 비전 얼라인먼트 시스템 및 이를 이용한 스마트 비전 얼라인먼트 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003197502A (ja) * 2001-12-26 2003-07-11 Nikon Corp 計測方法及び露光方法、露光装置、並びにデバイス製造方法
JP2007298787A (ja) * 2006-05-01 2007-11-15 Micronics Japan Co Ltd 表示用パネルの処理装置
JP2008083227A (ja) * 2006-09-26 2008-04-10 Fujifilm Corp アライメントマーク位置測定装置及び方法、及び描画装置
KR100863700B1 (ko) * 2008-02-18 2008-10-15 에스엔유 프리시젼 주식회사 비전 검사 시스템 및 이것을 이용한 피검사체의 검사 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0807352A1 (en) * 1995-01-31 1997-11-19 Transcenic, Inc Spatial referenced photography
JP4660779B2 (ja) * 2000-08-18 2011-03-30 学校法人 中央大学 移動装置の位置誤差評価方法およびその評価結果に基づく移動精度向上方法
JP4417121B2 (ja) * 2004-01-19 2010-02-17 株式会社ミツトヨ 被測定物の通り出し方法、及び表面性状測定装置
US20050175217A1 (en) * 2004-02-05 2005-08-11 Mueller Louis F. Using target images to determine a location of a stage
JP4522140B2 (ja) * 2004-05-14 2010-08-11 キヤノン株式会社 指標配置情報推定方法および情報処理装置
JP4889928B2 (ja) * 2004-08-09 2012-03-07 株式会社ミツトヨ 基準座標算出方法、基準座標算出プログラム、その記録媒体、定盤および形状測定装置
JP2007034168A (ja) * 2005-07-29 2007-02-08 Fujifilm Holdings Corp ステージ位置変動情報取得方法および装置
JP4261535B2 (ja) * 2005-09-28 2009-04-30 アドバンスド・マスク・インスペクション・テクノロジー株式会社 マスク検査装置におけるアライメント方法および評価方法
JP2009170559A (ja) * 2008-01-14 2009-07-30 Canon Inc 露光装置およびデバイス製造方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003197502A (ja) * 2001-12-26 2003-07-11 Nikon Corp 計測方法及び露光方法、露光装置、並びにデバイス製造方法
JP2007298787A (ja) * 2006-05-01 2007-11-15 Micronics Japan Co Ltd 表示用パネルの処理装置
JP2008083227A (ja) * 2006-09-26 2008-04-10 Fujifilm Corp アライメントマーク位置測定装置及び方法、及び描画装置
KR100863700B1 (ko) * 2008-02-18 2008-10-15 에스엔유 프리시젼 주식회사 비전 검사 시스템 및 이것을 이용한 피검사체의 검사 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023163373A1 (ko) * 2022-02-22 2023-08-31 엘에스일렉트릭 주식회사 아핀 변환의 파라미터 캘리브레이션 방법 및 이를 이용하는 모션 제어 시스템

Also Published As

Publication number Publication date
KR20100120864A (ko) 2010-11-17
TWI457534B (zh) 2014-10-21
KR101128913B1 (ko) 2012-03-27
JP5424144B2 (ja) 2014-02-26
CN102422121B (zh) 2014-06-18
TW201107708A (en) 2011-03-01
WO2010128759A3 (ko) 2011-01-20
JP2012526278A (ja) 2012-10-25
CN102422121A (zh) 2012-04-18

Similar Documents

Publication Publication Date Title
WO2010128759A2 (ko) 비전 검사시스템 및 이를 이용한 좌표변환방법
KR100863700B1 (ko) 비전 검사 시스템 및 이것을 이용한 피검사체의 검사 방법
WO2012050378A2 (ko) 기판 검사방법
US11152230B2 (en) Device and method for bonding alignment
KR101202320B1 (ko) 정렬계를 이용한 계측 시스템과 정렬계의 시스템 변수 결정 방법
TWI390660B (zh) 用於半導體晶圓對準之方法與設備
JP2016205957A (ja) Ｘ−ｙ基板検査装置の可動ヘッド位置補正方法およびｘ−ｙ基板検査装置
JP2007085912A (ja) 位置測定方法及び位置測定装置並びに位置測定システム
CN100401014C (zh) 线宽测量装置
JP4299688B2 (ja) 基板検査方法及び基板検査装置
JP2005274272A (ja) ラインセンサカメラのキャリブレーション方法および外観検査装置
JP5572247B2 (ja) 画像歪補正方法
JP2009294155A (ja) アームオフセット取得方法
KR20180135501A (ko) 셀 얼라인을 통한 디스플레이 패널의 열화상 검사장치
KR101232611B1 (ko) 정렬계를 이용한 계측 시스템 및 위치 계측 방법
KR20130020404A (ko) 정렬계를　이용한 계측 시스템 및 위치 계측 방법
JP5319063B2 (ja) 線幅測定装置
KR20220062636A (ko) 위치 측정 방법
JP4970570B2 (ja) パターン検査装置、画像位置合わせ方法及びプログラム
JPH10311705A (ja) 画像入力装置
US8027528B2 (en) Method for calculating height of chuck top and program storage medium for storing same method
JP4895356B2 (ja) 線幅測定装置
TWI392845B (zh) 垂直度量測方法及其系統
KR0156112B1 (ko) 카메라를 이용한 피씨비 자동검사 방법 및 장치
KR0132844B1 (ko) 광기구물 장치의 보정값 추출방법 및 그 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080020216.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10772219

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012509722

Country of ref document: JP

122 Ep: pct application non-entry in european phase

Ref document number: 10772219

Country of ref document: EP

Kind code of ref document: A2