KR101343381B1 - Measuring instrument including package pin information function using providing augmented reality, measurement method using measuring instrument - Google Patents
Measuring instrument including package pin information function using providing augmented reality, measurement method using measuring instrument Download PDFInfo
- Publication number
- KR101343381B1 KR101343381B1 KR1020120103627A KR20120103627A KR101343381B1 KR 101343381 B1 KR101343381 B1 KR 101343381B1 KR 1020120103627 A KR1020120103627 A KR 1020120103627A KR 20120103627 A KR20120103627 A KR 20120103627A KR 101343381 B1 KR101343381 B1 KR 101343381B1
- Authority
- KR
- South Korea
- Prior art keywords
- pin
- package
- image
- output
- probe
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R1/00—Details of instruments or arrangements of the types included in groups G01R5/00 - G01R13/00 and G01R31/00
- G01R1/02—General constructional details
- G01R1/06—Measuring leads; Measuring probes
- G01R1/067—Measuring probes
- G01R1/06794—Devices for sensing when probes are in contact, or in position to contact, with measured object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R13/00—Arrangements for displaying electric variables or waveforms
- G01R13/02—Arrangements for displaying electric variables or waveforms for displaying measured electric variables in digital form
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R13/00—Arrangements for displaying electric variables or waveforms
- G01R13/20—Cathode-ray oscilloscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
본 발명은 계측 기술에 관한 것으로, 보다 구체적으로는, 사용자가 프루빙하는 패키지의 핀에 대한 확대된 확대영상을 통해 프루빙의 정확도를 높임과 동시에 패키지 상의 핀 정보를 실시간으로 제공하기 위한 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 및 이의 계측방법에 관한 것이다.
The present invention relates to a measurement technology, and more specifically, to augmented reality for providing pin information on a package in real time while increasing the accuracy of probing through an enlarged enlarged image of a pin of a package that a user probes. The present invention relates to a measuring instrument having a package pin information providing function and a measuring method thereof.
오실로스코프(Oscilloscope), 로직분석기(Logic Analyzer) 및 스펙트럼분석기(Spectrum Analyzer) 등의 테스트 계측기는 측정하고자 하는 대상디바이스(Device Under Test: 이하, DUT)에 프로브나 케이블 커넥터를 통해서 측정하는 결과를 얻어낸다. Test instruments, such as oscilloscopes, logic analyzers, and spectrum analyzers, measure results through probes or cable connectors on the device under test (DUT). .
최근 휴대용 디바이스의 발달과 더불어 제품의 소형화가 점점 더 가속화함에 따라 제품을 이루고 있는 콤포넌트(Component) 역시 소형화되고 있어서 측정하고자 하는 DUT인 패키지의 핀(pin)이나 측정 포인트(point)의 크기 또한 작아 지고 있다. 또한, 최근 제품들이 사용하고 있는 데이터 버스(Data Bus)의 전송 비트(bit) 수가 점점 늘어나서 콤포넌트 디바이스 핀(component device pin) 또한 그 수가 늘어나고 있고, 핀들 간의 피치(pitch)가 작아지고 있는 추세이다. With the recent development of portable devices, as the miniaturization of products has accelerated, the components that make up products have also been miniaturized, and the size of pins or measuring points of the package, which is the DUT to be measured, is also reduced. have. In addition, as the number of transmission bits of data buses used in recent years has increased, the number of component device pins has also increased, and the pitch between pins has become smaller.
이에 따라, 정확한 프로빙을 위해서 더 많은 노력을 필요하게 하며, 이러한 점들은 계측기를 사용하여 결과값을 얻으려 하는 엔지니어의 입장에서는 많은 핀 또는 측정 포인트들 중에 측정이 필요한 핀을 선택하여 측정하기가 쉽지 않은 상황이 되고 있다. As a result, more effort is required for accurate probing, and these points make it easier for an engineer to use the instrument to select and measure the pins that need to be measured among many pins or measuring points. It is not a situation.
또한, 측정하고자 하는 핀이 많은 칩(chip)이나 디바이스(device)인 DUT의 경우(예컨대, 측정하고자 하는 디바이스가 64비트 입출력 인터페이스(64 bit I/O interface)를 가지고 있는 중앙처리장치(이하, CPU)의 경우), 사용자가 측정해야 하는 포인트가 데이터 14번 핀(이하, Data 14)이라고 하면 사용자는 CPU가 가지고 있는 100개 이상의 핀 중 Data 14이 몇 번째 핀인지 데이터 시트(Data sheet)를 통해서 수동으로 확인하고 실제 디바이스에서 해당 핀의 위치를 찾아서 해당 핀에 정확히 접점한 뒤, 측정 결과를 관찰해야 한다. In addition, in the case of a DUT that is a chip or device with many pins to be measured (for example, a central processing unit in which the device to be measured has a 64-bit I / O interface) CPU)), if the point you need to measure is data pin 14 (hereinafter referred to as Data 14), the user should enter the data sheet to see how many data pins are among the 100 or more pins of the CPU. You have to check it manually, find the location of the pin on the actual device, make the correct contact with the pin, and observe the measurement result.
그러나, 상기에서 제시한 예처럼 100개 이상의 핀이 있는 CPU의 경우 Data 14을 프루빙하여 측정한 후 다른 핀을 측정하거나 계측기의 셋팅(setting parameter)가 변경되어야 할 경우 데이터 시트에서 다시 측정할 핀의 번호를 수동으로 직업 확인하거나 계측기의 셋팅을 변경하고 다시 해당 포인트를 프루빙하여 변경된 셋팅이 반영된 측정 결과를 관찰해야 하는 불편함이 있는 문제점이 있다.However, for CPUs with more than 100 pins, as in the example above, pins to be measured again in the data sheet should be measured by measuring Data 14 and then measuring other pins or changing the instrument's setting parameters. There is a problem in that you must manually check the number of the job or change the setting of the instrument and probe the corresponding point again to observe the measurement result reflecting the changed setting.
이에 따라 해당 기술분야에 있어서는, 프루빙의 정확도를 높임과 동시에, 사용자가 계측하고자 하는 패키지의 핀을 손쉽게 검색하여 계측에 대한 사용자 편의를 향상시키기 위한 기술개발이 요구되고 있다. Accordingly, in the technical field, there is a demand for technology development to improve the accuracy of probing and to easily search for pins of a package to be measured by a user, thereby improving user convenience for measurement.
[관련기술문헌][Related Technical Literature]
1. 오실로스코프의 수평축 전자눈금 교정방법과 장치 및 오실로스코프(horizontal axis scale calibration method for oscilloscope and oscilloscope) (특허출원번호 제10-1993-0012625호) 1. Horizontal axis scale calibration method for oscilloscope and oscilloscope (Patent Application No. 10-1993-0012625)
2. 아날로그 오실로스코프에서 나타나는 화면의 잔상효과를디지털 오실로스코프에서 구현하는 방법(The method of implementing persistence effect ofanalog oscilloscope) (특허출원번호 제10-2001-0033354호)
2. The method of implementing persistence effect of analog oscilloscope (Patent Application No. 10-2001-0033354)
본 발명은 상기의 문제점을 해결하기 위한 것으로, 측정하고자 하는 DUT의 측정 포인트와 계측기의 측정 결과를 한 화면에서 볼 수 있는 유저인터페이스화면을 제공함으로써, 사용자는 단지 계측기의 화면을 통해서 DUT의 측정 포인트를 측정할 수 있게 해주기 위한 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 및 이의 계측방법을 제공하기 위한 것이다. The present invention is to solve the above problems, by providing a user interface screen that can see the measurement point of the DUT to be measured and the measurement results of the instrument on one screen, the user only through the screen of the instrument measuring point of the DUT To provide a measuring instrument and a measuring method thereof having a package pin information providing function using augmented reality to enable measuring.
또한, 본 발명은 계측기에서 DUT를 인식하여 DUT의 핀 할당 정보를 데이터베이스에서 불러와서 DUT의 측정 포인트의 유저인터페이스화면과 더불어 같이 출력하도록 함으로써, 편리하게 DUT의 대상 핀을 측정 가능하도록 하는 사용자 편의 중심의 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 및 이의 계측방법 제공하기 위한 것이다. In addition, the present invention is to recognize the DUT in the instrument to retrieve the pin assignment information of the DUT from the database and to output it together with the user interface screen of the measurement point of the DUT, so that the user can easily measure the target pin of the DUT To provide a measuring instrument and a measuring method thereof having a package pin information providing function using the augmented reality.
또한, 본 발명은 사용자 편의 향상과 동시에 사용자가 프루빙하는 패키지의 핀에 대한 확대된 확대영상을 통해 프루빙의 정확도를 높이기 위한 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 및 이의 계측방법을 제공하기 위한 것이다. In addition, the present invention provides a measuring instrument and a measuring method thereof with a package pin information providing function using augmented reality to increase the accuracy of the probing through an enlarged enlarged image of the pin of the package to the user at the same time to improve user convenience It is to provide.
또한, 본 발명은 검색된 패키지 핀에 대한 기능을 알려주어 실습시 학습적인 효과를 높이기 위한 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 및 이의 계측방법을 제공하기 위한 것이다. In addition, the present invention is to provide a measuring instrument and a measuring method thereof having a function to provide the package pin information using augmented reality to increase the learning effect in practice by informing the function of the retrieved package pin.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
상기의 목적을 달성하기 위해 본 발명의 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기의 계측방법은, 촬상장치를 구비한 프루브; 그리고 상기 촬상장치 및 상기 프루브와 각각 커넥터 및 인터페이스를 통해 연결된 계측기 본체; 를 포함하는 패키지 핀 정보 제공 기능을 구비한 계측기의 제어방법에 있어서, 상기 계측기가, 상기 촬상장치의 카메라에 의해 패키지를 촬영한 확대영상을 영상출력부로 출력하도록 제어한 뒤, 상기 확대영상에 대한 이미지 프로세싱(Image Processing)을 통해 패키지의 식별번호(PN)와 식별자(Identifier)인 제 1 핀을 인식하는 제 1 단계; 상기 계측기가, 상기 식별번호(PN) 정보를 통해 데이터베이스에서 인출된 칩 치수 데이터(Chip Dimension Data)를 통해 상기 제 1 핀의 위치정보를 기반으로 상기 확대영상에서 제 1 핀의 위치와 제 1 핀을 제외한 나머지 핀 간의 핀 간격을 인식하는 제 2 단계; 상기 계측기가, 사용자에 의한 상기 패키지 상에서 계측을 원하는 프루빙 핀의 선택과 접촉에 따라, 상기 프루브의 프루브로드에 의해 프루빙하고자 하는 핀에 대한 위치정보인 프루빙 핀 위치정보를 상기 프루브로부터 수신한 뒤, 상기 프루빙 핀 위치정보와, 상기 제 1 핀의 위치정보를 이용해 상기 확대영상에 대한 실시간 이미지 프로세싱을 통해 상기 프루빙 핀에 대한 패키지(P) 상에서의 상대적인 핀 위치를 인식하는 제 3 단계; 및 상기 계측기가, 상기 상대적인 핀 위치를 상기 칩 치수 데이터를 이용해 상기 프루빙 핀에 대한 핀 번호를 추출하여 추출된 핀 번호에 해당하는 상기 패키지 상의 핀의 기능을 상기 데이터베이스에 저장된 핀 디스크립션(PIN DESCRIPTION) 정보로부터 추출하여 상기 데이터베이스에 기저장된 패키지 이미지와 함께 오버랩출력부로 출력하는 제 4 단계; 를 포함하는 것을 특징으로 한다.
In order to achieve the above object, a measuring method of a measuring instrument having a package pin information providing function using augmented reality according to an embodiment of the present invention, a probe having an imaging device; A measuring instrument body connected to the imaging device and the probe through a connector and an interface, respectively; In the control method of the measuring instrument having a package pin information providing function comprising: The measuring unit is controlled to output a magnified image of the package by the camera of the imaging device to the image output unit, and then for the enlarged image A first step of recognizing a first pin that is an identifier (PN) and an identifier of the package through image processing; Wherein the measuring instrument, the position of the first pin and the first pin in the enlarged image based on the position information of the first pin through the chip dimension data (Chip Dimension Data) extracted from the database through the identification number (PN) information A second step of recognizing the pin spacing between the remaining pins except for; The measuring device receives, from the probe, probe pin position information, which is position information on a pin to be probed by the probe rod of the probe, according to selection and contact of the probe pin to be measured on the package by the user. And a third pin that recognizes a relative pin position on the package P with respect to the probe pin through real-time image processing of the enlarged image using the probe pin position information and the position information of the first pin. step; And a pin description stored in the database by a function of the pin on the package corresponding to the extracted pin number by extracting the pin number for the probing pin from the relative pin position using the chip dimension data. 4) extracting from the information and outputting the information to the overlap output unit together with the package image previously stored in the database; And a control unit.
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
본 발명의 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 및 이의 계측방법은, 사용자가 계측하고자 하는 패키지의 핀을 손쉽게 검색하여 계측에 대한 사용자 편의를 향상시킬 수 있는 효과를 제공한다.The measuring instrument and its measuring method having a package pin information providing function using augmented reality according to an embodiment of the present invention, the user can easily search for the pin of the package to be measured by the user to improve the user convenience for the measurement to provide.
또한, 본 발명의 다른 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 및 이의 계측방법은, 사용자 편의 향상과 동시에 사용자가 프루빙하는 패키지의 핀에 대한 확대된 확대영상을 통해 프루빙의 정확도를 높일 수 있는 효과를 제공한다. In addition, the measuring instrument and a measuring method thereof having a package pin information providing function using augmented reality according to another embodiment of the present invention, through the enlarged enlarged image of the pin of the package to the user at the same time to improve user convenience It provides the effect of increasing the accuracy of probing.
뿐만 아니라, 본 발명의 다른 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 및 이의 계측방법은, 패키지 상에 검색된 핀에 대한 각 기능을 알려주어 학습적인 효과를 제공할 수 있다.
In addition, the measuring instrument having a package pin information providing function using augmented reality according to another embodiment of the present invention and a measuring method thereof may provide a learning effect by informing each function of a pin found on a package. .
도 1은 본 발명의 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 본체를 나타내는 도면.
도 2는 본 발명의 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 본체에 촬상장치를 포함하는 프루브가 연결된 상태를 나타내는 도면.
도 3은 본 발명의 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기에서의 오버랩출력부로 출력된 유저인터페이스화면을 나타내는 도면.
도 4는 본 발명의 다른 실시 예에 따른 촬상장치의 응용예를 나타내는 도면.
도 5는 본 발명의 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 본체와 이에 연결된 촬상장치가 구비된 프루브의 내부구성을 나타내는 블록도.
도 6은 본 발명의 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기의 계측방법을 나타내는 흐름도.1 is a view showing a measuring instrument body having a package pin information providing function using augmented reality according to an embodiment of the present invention.
2 is a view showing a state in which a probe including an imaging device is connected to a main body of a measuring instrument having a package pin information providing function using augmented reality according to an exemplary embodiment of the present invention.
3 is a view showing a user interface screen output to the overlap output unit in the measuring instrument having a package pin information providing function using augmented reality according to an embodiment of the present invention.
4 is a diagram showing an application example of an imaging device according to another embodiment of the present invention;
FIG. 5 is a block diagram illustrating an internal configuration of a probe having a main body of a measuring instrument having a package pin information providing function using an augmented reality and an image pickup device connected thereto.
6 is a flowchart illustrating a measuring method of a measuring instrument with a package pin information providing function using augmented reality according to an embodiment of the present invention.
이하, 본 발명의 바람직한 실시 예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be given with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
In the present specification, when any one element 'transmits' data or signals to another element, the element can transmit the data or signal directly to the other element, and through at least one other element Data or signal can be transmitted to another component.
도 1은 본 발명의 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 본체(100)를 나타내는 도면이다. 도 2는 본 발명의 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 본체(100)에 촬상장치(270)를 포함하는 프루브(200)가 연결된 상태를 나타내는 도면이다. 도 3은 본 발명의 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 본체(100)에서 증강현실을 이용해 오버랩출력부(121)로 출력된 유저인터페이스화면을 나타내는 도면이다. 도 4는 본 발명의 다른 실시 예에 따른 촬상장치(270)와 프루브(200)의 사용상태의 다른 응용 예를 나타내는 도면이다. 1 is a view showing a measuring instrument
도 1 내지 도 4를 참조하면, 계측기(100)는 계측기함체(101), 2단출력부(110), 계측신호출력부(120), 영상출력부(130), 커넥터포트(140), 입출력인터페이스포트(I/O interface port: 150), 계측기조작부(170) 및 계측기제어부(180, 도 5 참조)를 포함한다. 1 to 4, the
계측기함체(101)는 직육면체 내지는 다면체로 형성되며, 외부면에 2단출력부(110)를 통해 사용자에게 패키지(P)에 대한 계측신호 및 촬영된 영상을 출력한다. The
2단출력부(110)는 계측신호출력부(120)와 영상출력부(130)를 포함한다. 계측신호출력부(120)는, 도 1에 도시된 바와 같이, 패키지(P)에 대한 프루빙시 계측신호를 출력하며, 계측신호 출력의 사전단계로 정확한 프루빙(Probing)을 위해 후술할 오버랩출력부(121) 및 영상출력부(130)를 이용한다. The second
오버랩출력부(121)는 계측신호출력부(120)의 일 측에 오버랩시켜 영상신호를 출력시키며, 이를 위해 계측신호출력부(120)는 CRT, LCD, PDP, LED 등과 같은 명도, 채도, 색상이 표현가능한 디스플레이로 구현될 수 있으며, 계측신호출력부(120)의 왼쪽 상단에 오버랩되어 출력되었으나, 이 위치는 당업자에 의해 계측신호출력부(120)의 어느 곳으로든 변형가능함은 자명하다. The
오버랙출력부(121)는 패키지(P) 상의 핀의 기능을 데이터베이스(190, 도 5 참조)에 기저장된 패키지(P) 이미지와 함께 출력하며, 해당 기저장된 패키지(P) 이미지와 함께, 데이터베이스(190)에 기저장된 패키지 핀 디스크립션(PIN DESCRIPTION)을 도 3와 같이 오버랩출력부(121)로 출력한다. 한편, 패키지 핀 디스크립션은 후술할 칩 치수 데이터(Chip Dimension Data)에 포함된 정보일 수 있다.The
또한, 데이터베이스(190)는 계측기 본체(100) 내부에 형성될 수도 있으나, 계측기 본체(100)와 통신망(미도시)을 통해 연결된 데이터서버로 변형가능함은 당업자에 의해 자명하다. 이 경우, 데이터서버에 저장된 패키지(P) 이미지와 패키지 핀 디스크립션은 계측기 본체(100)의 요청에 따라 통신망을 통해 계측기 본체(100)로 전송될 수 있다. In addition, the
커넥터포트(140)는 프루브(200)의 프루브로드(210)에 의해 프루빙된 계측신호를 프루브(200)의 커넥터(260)로부터 수신하기 위한 입출력단자이다. The
입출력인터페이스포트(150)는 프루브(200)에 결합된 촬상장치(270)에 의해 촬영된 영상과 같은 데이터 및 제어신호를 프루브(200)의 입출력인터페이스(290)로부터 수신하기 위한 단자이다. The input /
계측기조작부(170)는 계측신호출력부(120)로 출력되는 계측신호에 대한 설정 및 조작을 위한 단자들이며, 계측기의 일 예인 오실로스코프 등에서 통상적으로 사용되는 키를 포함하므로 이에 대한 상세한 설명은 생략하도록 한다. The
이와 같은 구성을 통해 계측기제어부(180)는 프루브(200)의 프루브로드(210)에 의해 프루빙된 계측신호를 프루브(200)의 커넥터(260)로부터 커넥터포트(140)을 통해 수신하여 계측신호출력부(120)로 출력하도록 제어한다. Through this configuration, the measuring
또한, 계측기제어부(180)는 프루브(200)에 결합된 촬상장치(270)에 의해 촬영된 영상과 같은 데이터 및/또는 신호를 프루브(200)의 입출력인터페이스(290)로부터 입출력인터페이스포트(150)를 통해 수신하여 데이터를 생성하여 오버랩출력부(121) 및/또는 영상출력부(130)로 출력하도록 제어한다.
In addition, the
프루브(200)는 프루브로드(Probe Rod: 210), 프루브팁(Probe Tip: 220), 마커밴드(Marker Band: 230), 그라운드리드(Ground Lead: 240), 그립부(250), 커넥터(260), 촬상장치(270) 및 촬상제어부(280, 도 5 참조)를 포함한다. The
이 중, 촬상장치(270)는 장착홀(271), 절개홀(273), LED조명(274), 카메라(275), 카메라조작부(276), 촬상장치함체(277)를 포함한다. Among these, the
장착홀(271)은 촬상장치(270)를 프루브로드(210)와 결합시 프루브로드(210)가 통과하기 위한 홀이다. 한편, 촬상장치함체(277)에서 장착홀(271)이 타공된 면과 대칭되는 편에 동일하거나 더 큰 홀이 하나 더 형성되어 그립부(250)가 통과하도록 할 수 있다. The mounting
절개홀(273)은 촬상장치(270)가 결합시 촬상장치함체(277)에 그라운드리드(240)가 걸리지 않도록 촬상장치함체(277)의 측면 중간부에 측면 하단부터 미리 설정된 길이만큼 절개되어 형성된다. The cut-out
LED조명(274)은 촬상장치함체(277)에 형성된 장착홀(271)과 동일한 수평면상에 제 1 LED조명(274(a)), 제 2 LED조명(274(b))의 2개의 조명으로 형성된다. 한편, 제 1 LED조명(274(a))과 제 2 LED조명(274(b)) 사이에는 카메라(275)가 형성되며, 2개로 형성되는 것은 하나의 예시이며, 1개 또는 2개 이상으로 변형 가능하나 공간산 제약과 휘도의 적절한 조화상 2개가 바람직하다. The LED light 274 is provided by two illuminations of the first LED light 274 (a) and the second LED light 274 (b) on the same horizontal surface as the mounting
카메라(275)는 제 1 LED조명(274(a))과 제 2 LED조명(274(b)) 사이에 형성되어 촬영된 영상을 입출력인터페이스(290, 도 5참조)를 통해 계측기(100)에 형성된 입출력인터페이스포트(150)로 전송함으로써, 계측기제어부(180)가 수신하도록 한다.The
카메라조작부(276)는 중앙버튼(c)을 포함하는 조그셔틀(276a), 확인버튼(ok, 276b) 및 취소버튼(x, 276c)를 포함하여 형성되며, 조그셔틀(276a)의 중앙버튼(c)을 누르면 카메라(275)를 제어하는 캡쳐(Capture) 버튼 입력으로 후술할 촬상제어부(280)의 연결단자제어모듈(281, 도 5 참조)이 인식한다. 한편, 조그셔틀(276a)의 중앙버튼(c)을 아래(Down)로 내리면 카메라(275)를 제어하는 줌인(Zoom-In) 입력으로 인식하며, 해당 중앙버튼(c)을 위(Up)로 올리면 카메라(275)를 제어하는 줌아웃(Zoom-Out) 입력으로 인식한다. The
촬상제어부(280)는 연결단자제어모듈(281) 및 오토포커싱모듈(282)을 포함하며, 이에 대한 상세한 설명은 도 4에서 하므로 생략하도록 한다. 한편, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
The
한편, 촬상장치(270)는 상술한 것처럼 프로브(200)에 장착하여 사용하는 경우만 아니라, 도 4의 삼각대(300)와 같은 고정 장치를 이용하는 방법으로 활용할 수 있다.On the other hand, the
삼각대(300)와 같은 고정 장치에 삼각대홀(310)을 통해 촬상장치(270)를 고정시켜 이용하는 경우는 DUT가 고정된 상태에서 프로브(200)를 이동하면서 측정하기 위한 것으로 이동성을 추가적으로 부가하는 것이 목적이라면, 상술한 프로브(200)에 촬상장치(270)를 고정하여 정밀성을 향상시키기 위한 목적으로 양 방법이 그 효과를 달리한다. 따라서, 필요에 따라 삼각대 고정형 또는 프루브 고정형으로 선택적으로 적용할 수 있다(도 4 참조). 여기서, 고정대(400)는 프로브(200)와 유사한 형상으로 형성되어 프로브(200) 대신 삼각대(300)와 결합하도록 사용된다.
In the case where the
도 5는 본 발명의 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기 본체(100), 이에 연결된 촬상장치(270)가 구비된 프루브(200)의 내부구성을 나타내는 블록도이다. 도 1 내지 도 5를 참조하여, 계측기 본체(100)는 계측기제어부(180)를 중심으로, 프루브(200)는 촬상제어부(280)를 중심으로 구체적으로 이하 살펴본다. 5 is a block diagram illustrating an internal configuration of a
계측기제어부(180) 중 인식모듈(181)은, 촬상장치(270)의 입출력인터페이스(290)가 입출력인터페이스포트(150)에 장착 또는 분리되는지 여부를 인식한다. The
인식에 따라, 인식모듈(181)은 입출력인터페이스포트(150)를 통해 촬상장치(270)를 플러그앤드플레이(Plug&Play) 방식으로 인식한다. 여기서, 입출력인터페이스포트(150)는 USB포트일 수 있다. According to the recognition, the
출력모듈(182)은 인식모듈(181)에 의한 인식에 따라 촬상장치(270)의 카메라(275)에 의해 촬영된 촬영영상에 대해 2단출력부(110) 중 영상출력부(130) 출력을 수행한다. The
이후, 출력모듈(182)은 촬상장치(270)의 카메라조작부(276)의 조그셔플(276a) 상에서 사용자에 의한 중앙버튼(c)에 대한 푸쉬(Push)를 통한 캡쳐(Capture) 버튼이 촬상장치(270) 사용자에 의해 입력된 경우, 카메라(275)에 의해 촬영된 확대영상을 영상출력부(130)로 출력하도록 제어한 뒤, 확대영상에 대한 이미지 프로세싱(Image Processing)을 통해 패키지(P)의 식별번호(Part Number, 도시된 'PN')와 식별자(Identifier)인 제 1 핀을 인식한다. Thereafter, the
출력모듈(182)은 인식된 패키지(P)의 "식별번호(PN)에 대한 출력"과 "제 1 핀에 대한 출력", 그리고 식별번호(PN)와 제 1 핀의 출력을 나타내는 "확인텍스트"를 영상출력부(130)로 출력하도록 제어한다. 여기서, "식별번호(PN)에 대한 출력"과 "제 1 핀에 대한 출력"은 해당 부분을 형광색 내지 적색으로 마킹하여 출력하는 것일 수 있으며, "확인텍스트"의 일 예는 식별번호와 제 1 핀 인식완료라는 문구가 될 수 있다. The
이후, 출력모듈(182)은 촬상장치(270)의 카메라조작부(276)상에서 확인버튼(ok, 276b) 또는 취소버튼(x, 276c) 버튼에 대한 사용자에 의한 입력을 대기하여 확인버튼(276b) 입력이 완료된 경우, 촬상장치(270)의 입출력인터페이스(290)로부터 식별번호(PN) 정보, 패키지(P)의 제 1 핀의 위치정보, 그리고 인식명령을 수신하도록 입출력인터페이스포트(150)를 제어한다. Thereafter, the
출력모듈(182)은 인식명령 수신에 따라 계측기(100)에 의한 식별번호(PN) 정보를 통해 데이터베이스(190)에서 인출된 칩 치수 데이터(Chip Dimension Data), 수신된 제 1 핀의 위치정보를 기반으로 확대영상에서 제 1 핀의 위치와 제 1 핀을 제외한 나머지 핀 간의 핀 간격을 인식한다. 여기서, 출력모듈(180)은 핀 간격 인식에 대한 완료메시지를 영상출력부(130) 또는/및 오버랩출력부(121)로 출력하여 사용자에 의해 인지할 수 있도록 할 수 있다. The
또한, 칩 치수 데이터는 상용화되거나 상용화될 예정인 다수의 패키지들 각각에 대한 식별번호(PN), 핀 사이의 간격정보 등을 포함한다. In addition, the chip dimension data includes an identification number (PN), spacing information between pins, and the like, for each of a plurality of packages that are commercially available or will be commercially available.
한편, 데이터베이스(190)에는 후술할 상용화되거나 상용화될 예정인 다수의 패키지들 각각에서 각 핀의 기능 정보를 나타내는 패키지 핀 디스크립션(PIN DESCRIPTION)도 저장된다. On the other hand, the
이후, 출력모듈(182)은 사용자에 의한 패지키(P) 상에서 프루브(200)를 통한 계측을 원하는 프루빙 핀의 선택이 수행되면, 프루브로드(210)에 의해 프루빙하고자 하는 핀에 대한 위치정보인 프루빙 핀 위치정보를 프루브(200)의 입출력인터페이스(290)로부터 수신하도록 입출력인터페이스포트(150)를 제어한다. Thereafter, the
이에 따라, 출력모듈(182)은 해당 프루빙 핀 위치정보와, 제 1 핀의 위치정보를 이용해 확대영상에 대한 실시간 이미지 프로세싱을 통해 프루브로드(210)에 의해 프루빙을 원하는 프루빙 핀에 대한 패키지(P) 상에서의 상대적인 핀 위치를 인식한다. Accordingly, the
출력모듈(182)는 해당 상대적인 핀 위치를 데이터베이스(190)에서 인출된 칩 치수 데이터(Chip Dimension Data)를 이용해 프루빙 핀에 대한 핀 번호를 추출하여 추출된 핀 번호에 해당하는 패키지(P) 상의 핀의 기능을 데이터베이스(190)에 기저장된 패키지(P) 이미지와 함께 오버랩출력부(121)로 출력하도록 제어한다. The
여기서 추출모듈(182)는 추출된 핀 번호에 대항하는 패키지(P) 상의 핀의 기능은 데이터베이스(190)에 저장된 상용화되거나 상용화될 예정인 다수의 패키지들 중 해당 패키지(P)에 대한 각 핀의 기능 정보를 이용하여 추출할 수 있다. Here, the
출력모듈(182)는 카메라조작부(276)상에서 캡쳐(Capture) 버튼에 대한 사용자에 의한 기설정된 시간 이상으로의 입력이 완료되어 촬상장치(270)의 입출력인터페이스(290)로부터 제 1 입력완료신호를 입출력인터페이스포트(150)를 통해 수신하면, 데이터베이스(190)에 기저장된 패키지(P) 이미지와 함께, 데이터베이스(190)에 저장된 해당 패키지(P)에 대한 패키지 핀 디스크립션(PIN DESCRIPTION)을 인출하여 도 3와 같이 오버랩출력부(121)로 출력한다. The
이에 따라, 사용자는 영상출력부(130)로 현재의 실시간촬영영상을 보면서, 오버랩출력부(121)로 해당 패키지(P)의 패키지 핀 디스크립션(PIN DESCRIPTION)을 함께 볼 수 있다. Accordingly, the user may view a package pin description (PIN DESCRIPTION) of the package P with the
오버랩모듈(183)은 카메라조작부(276) 상에서 조그셔틀(276a)로의 캡쳐(Capture) 버튼에 대한 사용자에 의한 기설정된 시간 이상으로의 입력이 완료되지 않아 촬상장치(270)의 입출력인터페이스(290)로부터 제 1 입력실패신호를 입출력인터페이스포트(150)를 통해 수신하면, 확대영상을 배경화면으로 하여 데이터베이스(190)에 저장한 뒤, 확대영상에 대한 반투명 효과를 적용시켜 영상출력부(130)에 출력하도록 제어한다.The
이후, 오버랩모듈(183)은, 촬상장치(270)의 카메라(275)에 의해 실시간으로 촬영하고 있는 실시간촬영영상과 반투명 효과를 적용시킨 확대영상을 오버랩시켜, 오버랩된 화면의 외곽선이 일치하면 영상출력부(130)로 출력한다. 해당 출력과 함께, 사용자는 프루브(200)를 이용해 프루빙 핀에 대한 프루빙을 수행하여 계측기(100)의 계측신호출력부(120)를 통해 출력된 계측신호를 볼 수 있다. Subsequently, the
이와 같이, 오버랩모듈(183)은 촬상장치(270)의 카메라(275)에 의해 실시간으로 촬영하고 있는 실시간촬영영상과 후술할 확대영상를 오버랩시켜 외곽선을 일치시켜 출력한 뒤, 오버랩 화면을 해제한다. As described above, the
다음으로, 촬상제어부(280) 중 연결단자제어모듈(281)은 입출력인터페이스(290)가 계측기제어부(180)의 입출력인터페이스포트(150)에 장착되면, 계측기제어부(180)에 연결된 입출력인터페이스포트(150)를 통해 계측기제어보(180)와 데이터 및 신호 송수신을 수행한다. Next, when the input /
또한, 연결단자제어모듈(281)은 카메라조작부(276), LED조명(274) 및 카메라(275)에 대한 제어도 수행한다. In addition, the connection
연결단자제어모듈(281)은 입출력인터페이스(290)가 입출력인터페이스포트(150)에 장착되면, 촬상장치(270)에 의해 촬영된 촬영영상에 대한 2단출력부(110) 중 영상출력부(130)로의 출력을 수행하기 위해 카메라(275)를 구동시킨다. When the input /
이와 동시에 연결단자제어모듈(281)는, 카메라(275)의 양단에 형성되는 2개의 조명으로 형성되는 LED조명(274)에 대한 조명을 온(ON) 시키도록 제어할 수 있다. At the same time, the connection
오토포커싱모듈(282)은 오토포커스 기능에 따라 카메라(275)의 초점을 측정하고자 하는 패키지(P)로 포커싱된 촬영영상을 생성하는 과정을 수행한다. 일 실시 예로 오토포커싱모듈(282)은 프루빙하고자 하는 패키지(P)의 핀을 대상으로 오토포커싱 기능을 적용할 수 있다.The
보다 구체적으로 살펴보면, 오토포커싱모듈(282)은 촬영영상 출력에 따라, 오토포커스 기능에 따라 카메라(275)의 초점을 측정하고자 하는 패키지(P)로 포커싱을 수행하여 포커싱된 촬영영상을 생성하도록 한다.In more detail, the
오토포커싱모듈(282)은 포커싱된 패키지(P)에 대한 전체화면을 영상출력부(130)로 출력 가능한 한도 촬영된 영상을 최대로 줌아웃(축소)한 축소영상을 생성한 뒤, 입출력인터페이스(290) 및 입출력인터페이스포트(150)를 통해 계측기제어부(180)의 출력모듈(182)로 전송함으로써, 출력모듈(182)을 통해 축소영상을 영상출력부(130)에 출력하도록 할 수 있다.
The
도 6은 본 발명의 실시 예에 따른 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기의 계측방법을 나타내는 흐름도이다. 도 1 내지 도 6을 참조하면, 프루브(200)에 부착된 촬상장치(270)의 입출력인터페이스(290)가 계측기(100)의 입출력인터페이스포트(150)에 장착된다(S1). 6 is a flowchart illustrating a measuring method of a measuring instrument having a package pin information providing function using augmented reality according to an exemplary embodiment of the present invention. 1 to 6, the input /
이에 따라, 계측기(100)는 입출력인터페이스포트(150)를 통해 촬상장치(270)를 플러그앤드플레이(Plug&Play) 방식으로 인식한다(S2). Accordingly, the measuring
계측기(100)는 촬상장치(270)에 의해 촬영된 촬영영상에 대한 2단출력부(110) 중 영상출력부(130)로의 출력을 수행하기 위해 카메라(275)를 구동시킨다(S3). 단계(S3)와 동시에 촬상장치(270)는, 카메라(275)의 양단에 형성되는 2개의 조명으로 형성되는 LED조명(274)에 대한 조명을 온(ON) 시킬 수 있다. The measuring
단계(S3) 이후, 촬상장치(270)는, 오토포커싱모듈(282)을 제어하여 오토포커스 기능에 따라 카메라(275)의 초점을 측정하고자 하는 패키지(P)로 포커싱된 촬영영상을 생성하는 과정을 수행한다(S4). 일 시예로 오토포커싱모듈(282)은 프루빙하고자 하는 패키지(P)의 핀을 대상으로 오토포커싱 기능을 적용할 수 있다.After step S3, the
이후, 계측기(100)는 촬상장치(270)의 카메라조작부(276) 상에서 사용자에 의한 조그셔틀(276a)의 중앙버튼(c)에 대한 푸쉬(Push)를 통한 캡쳐(Capture) 버튼 입력 여부를 판단한다(S5). Subsequently, the measuring
단계(S5)의 판단결과 캡쳐 버튼이 입력된 경우, 계측기(100)는 촬상장치(270)의 카메라(275)에 의해 촬영된 확대영상을 영상출력부(130)로 출력하도록 제어한 뒤, 확대영상에 대한 이미지 프로세싱(Image Processing)을 통해 패키지(P)의 식별번호(Part Number, 도시된 'PN')와 식별자(Identifier)인 제 1 핀을 인식한다(S6). When the capture button is input as a result of the determination in step S5, the measuring
단계(S6) 이후, 계측기(100)는 단계(S6)에 따른 패키지(P)의 "식별번호(PN)에 대한 출력"과 "제 1 핀에 대한 출력", 그리고 식별번호(PN)와 제 1 핀의 출력을 나타내는 "확인텍스트"를 영상출력부(130)로 출력한다(S7). 여기서, "식별번호(PN)에 대한 출력"과 "제 1 핀에 대한 출력"은 해당 부분을 형광색 내지 적색으로 마킹하여 출력하는 것일 수 있으며, "확인텍스트"의 일 예는 식별번호와 제 1 핀 인식완료라는 문구가 될 수 있다. After the step S6, the
단계(S7) 이후, 촬상장치(270)는, 카메라조작부(276) 상에서 확인버튼(ok, 276b) 또는 취소버튼(x, 276c) 버튼에 대한 사용자에 의한 입력 여부를 판단한다(S8). After the step S7, the
단계(S8)의 판단에 따라 취소버튼(276c) 입력이 완료된 경우, 촬상장치(270)는 확인버튼(276b)이 입력될 때까지 단계(S6) 내지 단계(S8)를 반복하여 수행한다. When the cancel
한편, 단계(S8)의 판단에 따라 확인버튼(276b) 입력이 완료된 경우, 촬상장치(270)는 계측기(100)로 식별번호(PN) 정보, 패키지(P)의 제 1 핀의 위치정보, 그리고 인식명령을 전송함으로써, 계측기(100)에 의한 식별번호(PN) 정보를 통해 데이터베이스(190)에서 인출된 칩 치수 데이터(Chip Dimension Data), 제 1 핀의 위치정보를 기반으로 단계(S6)에서의 확대영상에서 제 1 핀의 위치와 제 1 핀을 제외한 나머지 핀 간의 핀 간격을 인식하도록 한다(S10). 여기서, 계측기(100)는 핀 간격 인식에 대한 완료메시지를 영상출력부(130) 또는/및 오버랩출력부(121)로 출력하여 사용자에 의해 인지할 수 있도록 할 수 있다.On the other hand, when the input of the
이후, 사용자가 패지키(P) 상에서 프루브(200)를 통한 계측을 원하는 프루빙 핀의 선택을 수행함으로써, 프루브로드(210)에 의해 프루빙하고자 하는 핀에 대한 위치정보인 프루빙 핀 위치정보를 계측기(100)로 전송한다(S11).Subsequently, the user performs the selection of the probing pins to be measured through the
이에 따라, 계측기(100)는 해당 프루빙 핀 위치정보와, 단계(S10)에서의 제 1 핀의 위치정보를 이용해 확대영상에 대한 실시간 이미지 프로세싱을 통해 프루브로드(210)에 의해 프루빙을 원하는 프루빙 핀에 대한 패키지(P) 상에서의 상대적인 핀 위치를 인식한다(S12).Accordingly, the measuring
단계(S12) 이후, 계측기(100)는 단계(S12)에 따른 상대적인 핀 위치를 데이터베이스(190)에서 인출된 칩 치수 데이터(Chip Dimension Data)를 이용해 프루빙 핀에 대한 핀 번호를 추출하여 추출된 핀 번호에 해당하는 패키지(P) 상의 핀의 기능을 데이터베이스(190)에 기저장된 패키지(P) 이미지와 함께 오버랩출력부(121)로 출력한다(S13). After step S12, the
단계(S13) 이후, 촬상장치(270)는, 카메라조작부(276) 상에서 조그셔틀(276a)의 캡쳐(Capture) 버튼에 대한 사용자에 의한 기설정된 시간 이상으로의 입력(Push) 여부를 판단한다(S14). After the step S13, the
단계(S14)의 판단에 따라 캡쳐 버튼에 대한 기설정된 시간 이상으로의 입력이 완료된 경우, 촬상장치(270)는 제 1 입력완료신호를 계측기(100)로 전송하면, 계측기(100)의 출력모듈(182)은 데이터베이스(190)에 기저장된 패키지(P) 이미지와 함께, 패키지 핀 디스크립션(PIN DESCRIPTION)을 도 4와 같이 오버랩출력부(121)로 출력한다(S13).When the input of the capture button for more than the preset time is completed according to the determination of step S14, when the
한편, 단계(S14)의 판단에 따라 캡쳐 버튼에 대한 기설정된 시간 이상으로의 입력이 완료되지 않은 경우, 촬상장치(270)는 제 1 입력실패신호를 계측기(100)로 전송하면, 계측기(100)의 오버랩모듈(183)은 단계(S6)에서의 확대영상을 배경화면으로 데이터베이스(190)에 저장한 뒤, 확대영상에 대한 반투명 효과를 적용시켜 영상출력부(130)에 출력한다(S17). On the other hand, when the input of the capture button for more than the predetermined time is not completed according to the determination of step S14, when the
단계(S17) 이후, 계측기(100)의 오버랩모듈(183)은, 촬상장치(270)의 카메라(275)에 의해 실시간으로 촬영하고 있는 실시간촬영영상과 단계(S17)에서 반투명 효과를 적용시킨 확대영상을 오버랩시켜, 오버랩된 화면의 외곽선이 일치하면 영상출력부(130)로 출력한다. 해당 출력과 함께, 사용자는 프루브(200)를 이용해 프루빙 핀에 대한 프루빙을 수행하여 계측기(100)의 계측신호출력부(120)를 통해 출력된 계측신호를 볼 수 있다(S18). After the step S17, the
이와 같이, 오버랩된 화면과 실시간촬영영상이 일치하면 출력하는 이유는, 단계(S6)에서 제공된 확대영상에 대한 동일성을 유지하면서 이후의 프루빙을 원하는 프루빙 핀을 프루빙하기 위한 목적이다. As described above, the reason why the overlapped screen and the real-time shot image are output is for the purpose of probing the probe pin desired for subsequent probe while maintaining the sameness with respect to the enlarged image provided in step S6.
단계(S18) 이후, 촬상장치(200)는 카메라조작부(276) 상에서 조그셔틀(276a)의 캡쳐(Capture) 버튼에 대한 사용자에 의한 기설정된 시간 이상으로의 입력(Push) 여부를 판단한다(S19). 단계(S19)에서의 기설정된 시간은 단계(S14)에서의 기설정된 시간과 동일함을 가정한다. After the operation S18, the
단계(S19)의 판단에 따라 캡쳐 버튼에 대한 기설정된 시간이상으로의 입력이 완료된 경우, 계측기(100)의 오버랩모듈(183)은, 외곽선이 일치된 실시간촬영영상과 확대영상에 대한 오버랩을 해제함으로써, 프루빙 핀에 대한 프루빙을 완료한다(S20).
When the input of the capture button over the preset time is completed according to the determination of step S19, the
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) .
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers skilled in the art to which the present invention pertains.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms have been used, they have been used only in a general sense to easily describe the technical contents of the present invention and to facilitate understanding of the invention , And are not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention can be carried out in addition to the embodiments disclosed herein.
100: 계측기 101: 계측기함체
110: 2단출력부 120: 계측신호출력부
130: 영상출력부 140: 커넥터포트
150: 입출력인터페이스포트 170: 계측기조작부
180: 계측기제어부 181: 인식모듈
182: 출력모듈 183: 오버랩모듈
200: 프루브 210: 프루브로드(Probe Rod)
220: 프루브팁(Probe Tip) 230: 마커밴드(Marker Band)
240: 그라운드리드(Ground Lead) 250: 그립부
260: 커넥터 270: 촬상장치
271: 장착홀 273: 절개홀
274: LED조명 275: 카메라
276: 카메라조작부 276a: 조그셔틀
276b: 확인버튼 276c: 취소버튼
280: 촬상제어부 281: 연결단자제어모듈
282: 오토포커싱모듈 300: 삼각대 100: instrument 101: instrument enclosure
110: two-stage output unit 120: measurement signal output unit
130: video output unit 140: connector port
150: input and output interface 170: instrument control unit
180: instrument control unit 181: recognition module
182: output module 183: overlap module
200: Probe 210: Probe Rod
220: Probe Tip 230: Marker Band
240: ground lead 250: grip
260: connector 270: imaging device
271: mounting hole 273: cutting hole
274: LED light 275: camera
276:
276b:
280: imaging control unit 281: connection terminal control module
282: auto focusing module 300: tripod
Claims (10)
상기 계측기가, 상기 촬상장치의 카메라에 의해 패키지를 촬영한 확대영상을 영상출력부로 출력하도록 제어한 뒤, 상기 확대영상에 대한 이미지 프로세싱(Image Processing)을 통해 패키지의 식별번호(PN)와 식별자(Identifier)인 제 1 핀을 인식하는 제 1 단계;
상기 계측기가, 상기 식별번호(PN) 정보를 통해 데이터베이스에서 인출된 칩 치수 데이터(Chip Dimension Data)를 통해 상기 제 1 핀의 위치정보를 기반으로 상기 확대영상에서 제 1 핀의 위치와 제 1 핀을 제외한 나머지 핀 간의 핀 간격을 인식하는 제 2 단계;
상기 계측기가, 사용자에 의한 상기 패키지 상에서 계측을 원하는 프루빙 핀의 선택과 접촉에 따라, 상기 프루브의 프루브로드에 의해 프루빙하고자 하는 핀에 대한 위치정보인 프루빙 핀 위치정보를 상기 프루브로부터 수신한 뒤, 상기 프루빙 핀 위치정보와, 상기 제 1 핀의 위치정보를 이용해 상기 확대영상에 대한 실시간 이미지 프로세싱을 통해 상기 프루빙 핀에 대한 패키지(P) 상에서의 상대적인 핀 위치를 인식하는 제 3 단계; 및
상기 계측기가, 상기 상대적인 핀 위치를 상기 칩 치수 데이터를 이용해 상기 프루빙 핀에 대한 핀 번호를 추출하여 추출된 핀 번호에 해당하는 상기 패키지 상의 핀의 기능을 상기 데이터베이스에 저장된 핀 디스크립션(PIN DESCRIPTION) 정보로부터 추출하여 상기 데이터베이스에 기저장된 패키지 이미지와 함께 오버랩출력부로 출력하는 제 4 단계; 를 포함하는 것을 특징으로 하는 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기의 계측방법.
A probe having an imaging device; A measuring instrument body connected to the imaging device and the probe through a connector and an interface, respectively; In the control method of the measuring instrument having a package pin information providing function comprising:
After the measuring unit controls to output the enlarged image photographing the package to the image output unit by the camera of the imaging device, the identification number PN and the identifier (PN) of the package through image processing of the enlarged image ( A first step of recognizing a first pin which is an Identifier;
Wherein the measuring instrument, the position of the first pin and the first pin in the enlarged image based on the position information of the first pin through the chip dimension data (Chip Dimension Data) extracted from the database through the identification number (PN) information A second step of recognizing the pin spacing between the remaining pins except for;
The measuring device receives, from the probe, probe pin position information, which is position information on a pin to be probed by the probe rod of the probe, according to selection and contact of the probe pin to be measured on the package by the user. And a third pin that recognizes a relative pin position on the package P with respect to the probe pin through real-time image processing of the enlarged image using the probe pin position information and the position information of the first pin. step; And
The pin description stored in the database is a function of the pin on the package corresponding to the extracted pin number by the instrument extracting the pin number for the probing pin using the relative pin position using the chip dimension data. Extracting from the information and outputting the package image to the overlap output unit together with the package image previously stored in the database; Measuring method of the measuring instrument with a package pin information providing function using augmented reality comprising a.
상기 계측기가, 상기 식별번호(PN)에 대한 출력, 상기 제 1 핀에 대한 출력, 상기 식별번호(PN)와 제 1 핀의 출력을 나타내는 확인텍스트를 상기 영상출력부로 출력하는 단계; 를 더 포함하며,
상기 식별번호(PN)에 대한 출력과 상기 제 1 핀에 대한 출력은, 상기 영상출력부에 출력된 상기 확대영상에 상기 계측기에 의해 상기 식별번호(PN)와 상기 제 1 핀 부분을 형광색 내지 적색으로 마킹하여 출력하는 것이며, 상기 확인텍스트는, 상기 식별번호와 제 1 핀 인식완료라는 문구인 것을 특징으로 하는 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기의 계측방법.
The method of claim 1 wherein the step is performed between the first and second steps,
Outputting, by the meter, the confirmation text indicating the output of the identification number (PN), the output of the first pin, and the output of the identification number (PN) and the first pin to the image output unit; More,
The output to the identification number (PN) and the output to the first pin, the identification number (PN) and the first pin portion by the measuring device in the magnified image output to the image output unit fluorescent color to red Marking and outputting, wherein the confirmation text, the identification number and the first pin recognition completion of the package pin information providing function using augmented reality, characterized in that the measurement method of the measuring instrument with a feature.
상기 프루브에 부착된 상기 촬상장치의 입출력인터페이스가, 상기 계측기의 입출력인터페이스포트에 장착되는 단계;
상기 계측기가, 상기 입출력인터페이스포트를 통해 상기 촬상장치를 플러그앤드플레이(Plug&Play) 방식으로 인식하는 단계;
상기 계측기가, 상기 카메라에 의해 촬영된 촬영영상에 대해 2단출력부 중 상기 영상출력부로의 출력을 수행하기 위해 상기 카메라를 구동시키는 단계; 및
상기 촬상장치가, 오토포커싱모듈을 제어하여 오토포커스 기능에 따라 상기 카메라의 초점을 측정하고자 하는 상기 패키지에 대한 포커싱을 수행하여 포커싱된 상기 확대영상을 생성하여 상기 영상출력부로 출력하도록 제어하는 단계; 를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기의 계측방법.
The method of claim 1, wherein the step is performed before the first step,
Mounting an input / output interface of the imaging device attached to the probe to an input / output interface port of the measuring instrument;
The measuring unit, recognizing the imaging device through a plug and play method through the input / output interface port;
Driving the camera to perform an output to the image output unit of a two-stage output unit with respect to the photographed image photographed by the camera; And
Controlling, by the imaging apparatus, an autofocusing module to perform focusing on the package to measure the focus of the camera according to an autofocus function to generate and output the focused enlarged image to the image output unit; Measuring method of the measuring instrument with a package pin information providing function using augmented reality characterized in that it further comprises.
상기 계측기가, 카메라조작부 상에서 캡쳐(Capture) 버튼에 대한 사용자에 의한 기설정된 시간 이상으로의 입력(Push)이 완료되어 제 1 입력완료신호를 상기 촬상장치로부터 수신하면, 출력모듈을 제어하여 상기 기저장된 패키지(P) 이미지와 함께, 패키지 핀 디스크립션(PIN DESCRIPTION)정보에 따라 상기 패키지(P)의 모든 핀에 대한 기능 정보를 상기 오버랩출력부로 출력하는 제 5 단계; 를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기의 계측방법.
The method of claim 1, wherein the step is performed after the fourth step,
When the measuring unit receives a first input completion signal from the image capturing device after the input (Push) of the capture button over the preset time by the user on the camera control unit is completed, the output module is controlled to control the device. A fifth step of outputting function information on all pins of the package P to the overlap output unit according to package pin description information along with the stored package P image; Measuring method of the measuring instrument with a package pin information providing function using augmented reality characterized in that it further comprises.
상기 계측기가, 상기 카메라조작부 상에서 캡쳐(Capture) 버튼에 대한 사용자에 의한 기설정된 시간 이상으로의 입력(Push)이 완료되지 않아 제 1 입력실패신호를 상기 촬상장치로부터 수신하면, 오버랩모듈을 제어하여 상기 확대영상에 대한 반투명 효과를 적용시켜 상기 영상출력부에 출력하는 제 1 출력단계; 및
상기 계측기가, 상기 오버랩모듈을 제어하여 상기 카메라에 의해 실시간으로 촬영되고 있는 실시간촬영영상을 수신하여 상기 반투명 효과를 적용시킨 확대영상을 오버랩시켜 오버랩된 화면의 외곽선이 일치하면 상기 영상출력부로 출력하도 록 하는 제 2 출력단계; 를 포함하며,
상기 제 2 출력단계는, 상기 계측기가, 상기 사용자에 의해 상기 프루브를 이용해 상기 프루빙 핀에 대한 프루빙 수행시 상기 계측기의 계측신호출력부를 통해 출력된 계측신호를 볼 수 있도록 하는 것을 특징으로 하는 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기의 계측방법.
The method of claim 4, wherein the fifth step is performed,
If the measuring unit receives a first input failure signal from the image pickup device because a push for more than a predetermined time by the user for the capture button is not completed on the camera control unit, the measuring module controls the overlap module. A first output step of applying a translucent effect to the magnified image and outputting the translucent effect to the image output unit; And
The measuring unit may control the overlap module to receive a real-time shot image captured by the camera in real time, and overlap the enlarged image to which the translucent effect is applied to output the image to the image output unit when the outlines of the overlapped screens match. A second output step of locking; Including;
The second output step, characterized in that the measuring instrument, so that the user can see the measurement signal output through the measurement signal output unit of the measuring instrument when performing the probe to the probe pin using the probe. Measurement method of a measuring instrument with a package pin information providing function using augmented reality.
상기 계측기 본체는,
상기 프루브에 의해 계측된 계측신호를 출력하는 계측신호출력부, 상기 촬상장치에 의한 데이터를 출력하는 영상출력부, 상기 계측신호출력부의 일측에 오버랩시켜 영상신호를 출력시키는 오버랩출력부를 포함하는 2단출력부; 및
상기 촬상장치의 카메라에 의해 패키지를 촬영한 확대영상을 상기 영상출력부로 출력하도록 제어한 뒤, 상기 확대영상에 대한 이미지 프로세싱(Image Processing)을 통해 상기 패키지의 식별번호(PN)와 식별자(Identifier)인 제 1 핀을 인식하며, 상기 식별번호(PN) 정보를 통해 데이터베이스에서 인출된 칩 치수 데이터(Chip Dimension Data)를 통해 상기 제 1 핀의 위치정보를 기반으로 상기 확대영상에서 제 1 핀의 위치와 제 1 핀을 제외한 나머지 핀 간의 핀 간격을 인식하는 출력모듈; 을 포함하는 것을 특징으로 하는 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기.
A probe having an imaging device; A measuring instrument body connected to the imaging device and the probe through a connector and an interface, respectively; In the measuring instrument having a package pin information providing function comprising:
The measuring instrument body,
A two-stage including a measurement signal output unit for outputting the measurement signal measured by the probe, an image output unit for outputting data by the imaging device, and an overlap output unit for overlapping one side of the measurement signal output unit to output an image signal An output unit; And
After controlling to output the enlarged image photographing the package to the image output unit by the camera of the imaging device, through the image processing for the enlarged image (PN) and the identifier (Identifier) of the package Recognizing the first pin, the position of the first pin in the enlarged image based on the position information of the first pin through the chip dimension data (Chip Dimension Data) extracted from the database through the identification number (PN) information An output module for recognizing a pin spacing between the remaining pins except the first pin; Instrument with a package pin information providing function using augmented reality, characterized in that it comprises a.
사용자에 의한 상기 패키지 상에서 계측을 원하는 프루빙 핀의 선택과 접촉에 따라, 상기 프루브의 프루브로드에 의해 프루빙하고자 하는 핀에 대한 위치정보인 프루빙 핀 위치정보를 상기 프루브로부터 수신한 뒤, 상기 프루빙 핀 위치정보와, 상기 제 1 핀의 위치정보를 이용해 상기 확대영상에 대한 실시간 이미지 프로세싱을 통해 상기 프루빙 핀에 대한 패키지(P) 상에서의 상대적인 핀 위치를 인식하고,
상기 상대적인 핀 위치를 상기 칩 치수 데이터를 이용해 상기 프루빙 핀에 대한 핀 번호를 추출하여 추출된 핀 번호에 해당하는 상기 패키지 상의 핀의 기능을 상기 데이터베이스에 저장된 핀 디스크립션(PIN DESCRIPTION) 정보로부터 추출하여 상기 데이터베이스에 기저장된 패키지 이미지와 함께 상기 오버랩출력부로 출력하도록 하는 것을 특징으로 하는 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기.
The method of claim 6, wherein the output module,
According to the selection and contact of the probe pin desired to be measured on the package by the user, after receiving the probe pin position information, which is the position information about the pin to be probed by the probe rod of the probe, from the probe Recognizing the relative pin position on the package (P) relative to the probe pin through the real-time image processing for the enlarged image using the probe pin position information and the position information of the first pin,
Extract the pin number for the probing pin using the chip dimension data, and extract the function of the pin on the package corresponding to the extracted pin number from the pin description information stored in the database. Measuring instrument with a package pin information providing function using augmented reality, characterized in that to output to the overlap output unit with the package image previously stored in the database.
상기 계측기가 입출력인터페이스포트를 통해 상기 촬상장치를 플러그앤드플레이(Plug&Play) 방식으로 인식하면, 오토포커스 기능에 따라 상기 카메라의 초점을 측정하고자 하는 상기 패키지에 대한 포커싱을 수행하여 포커싱된 상기 확대영상을 생성하여 상기 영상출력부로 출력하도록 제어하는 오토포커싱모듈; 을 더 포함하는 것을 특징으로 하는 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기.
The method of claim 6, wherein the imaging device,
When the measuring device recognizes the image pickup device as a Plug & Play method through an input / output interface port, the focusing of the package to measure the focus of the camera is performed according to an autofocus function to display the enlarged image that is focused. An auto focusing module which generates and outputs the output to the image output unit; Measuring instrument with a package pin information providing function using augmented reality, characterized in that it further comprises.
카메라조작부 상에서 캡쳐(Capture) 버튼에 대한 사용자에 의한 기설정된 시간 이상으로의 입력(Push)이 완료되어 제 1 입력완료신호를 상기 촬상장치로부터 수신하면, 상기 데이터베이스에 기저장된 패키지(P) 이미지와 함께, 상기 패키지 핀 디스크립션(PIN DESCRIPTION)정보에 따라 상기 패키지(P)의 모든 핀에 대한 기능정보를 상기 오버랩출력부로 출력하는 것을 특징으로 하는 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기.
The method of claim 6, wherein the output module,
When the input of the capture button over the preset time by the user on the camera control unit is completed and the first input completion signal is received from the image pickup device, the package P image previously stored in the database is stored. And a package pin information providing function using augmented reality, which outputs functional information on all pins of the package P to the overlap output unit according to the package pin description information.
상기 카메라조작부 상에서 캡쳐(Capture) 버튼에 대한 사용자에 의한 기설정된 시간 이상으로의 입력(Push)이 완료되지 않아 제 1 입력실패신호를 상기 촬상장치로부터 수신하면, 상기 확대영상에 대한 반투명 효과를 적용시켜 상기 영상출력부에 출력하며, 상기 카메라에 의해 실시간으로 촬영되고 있는 실시간촬영영상을 수신하여 상기 반투명 효과를 적용시킨 확대영상을 오버랩시켜 오버랩된 화면의 외곽선이 일치하면 상기 영상출력부로 출력하도록 하는 오버랩모듈; 을 더 포함하며,
상기 오버랩모듈은, 상기 사용자에 의해 상기 프루브를 이용해 프루빙 핀에 대한 프루빙 수행시 상기 계측신호출력부를 통해 출력된 계측신호를 볼 수 있도록 하는 것을 특징으로 하는 증강현실을 이용한 패키지 핀 정보 제공 기능을 구비한 계측기.
The method of claim 9, wherein the measuring instrument body,
When the first input failure signal is received from the image pickup device because the input of the capture button by the user for the capture button is not completed on the camera operator, the translucent effect on the enlarged image is applied. It outputs to the image output unit, and receives the real-time shot image being shot in real time by the camera and overlaps the magnified image to which the translucent effect is applied to output to the image output unit if the outline of the overlapped screen matches Overlap module; Further comprising:
The overlap module, the package pin information providing function using the augmented reality, characterized in that the user can see the measurement signal output through the measurement signal output unit when performing the probe to the probe using the probe Instrument with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120103627A KR101343381B1 (en) | 2012-09-18 | 2012-09-18 | Measuring instrument including package pin information function using providing augmented reality, measurement method using measuring instrument |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120103627A KR101343381B1 (en) | 2012-09-18 | 2012-09-18 | Measuring instrument including package pin information function using providing augmented reality, measurement method using measuring instrument |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101343381B1 true KR101343381B1 (en) | 2014-01-02 |
Family
ID=50144113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120103627A KR101343381B1 (en) | 2012-09-18 | 2012-09-18 | Measuring instrument including package pin information function using providing augmented reality, measurement method using measuring instrument |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101343381B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101878375B1 (en) * | 2017-11-30 | 2018-07-16 | 안경찬 | Method and apparatus for guiding a user through accurate marking on a lotto ticket |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002303640A (en) | 2000-11-03 | 2002-10-18 | Tektronix Inc | Tester |
KR200318664Y1 (en) | 2003-03-22 | 2003-07-02 | 주식회사 코리아 인스트루먼트 | Pin testing apparatus for a probe card |
JP2006337242A (en) | 2005-06-03 | 2006-12-14 | Hitachi High-Tech De Technology Co Ltd | Display method of terminal or probe pin, probe device, and probe card inspection device |
-
2012
- 2012-09-18 KR KR1020120103627A patent/KR101343381B1/en not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002303640A (en) | 2000-11-03 | 2002-10-18 | Tektronix Inc | Tester |
KR200318664Y1 (en) | 2003-03-22 | 2003-07-02 | 주식회사 코리아 인스트루먼트 | Pin testing apparatus for a probe card |
JP2006337242A (en) | 2005-06-03 | 2006-12-14 | Hitachi High-Tech De Technology Co Ltd | Display method of terminal or probe pin, probe device, and probe card inspection device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101878375B1 (en) * | 2017-11-30 | 2018-07-16 | 안경찬 | Method and apparatus for guiding a user through accurate marking on a lotto ticket |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101335832B (en) | Image processing device and image processing method | |
CN107534734B (en) | Humidity measurement device with thermal imaging capability and related methods | |
CN106561052A (en) | Self-calibrating Projection Apparatus And Process | |
US20170032177A1 (en) | Image Inspection Device, Image Inspection Method And Image Inspection Program | |
CN204649311U (en) | Measurement mechanism | |
CN104713529A (en) | Method and device for automatically identifying the deepest point on the surface of an anomaly | |
US20130182942A1 (en) | Method for registering inspection standard for soldering inspection and board inspection apparatus thereby | |
CN110880188B (en) | Calibration method, calibration device and calibration system for near-eye display optical system | |
CN113125114B (en) | Detection method of near-eye display optical system, system and platform thereof and electronic equipment | |
KR101343381B1 (en) | Measuring instrument including package pin information function using providing augmented reality, measurement method using measuring instrument | |
KR101313008B1 (en) | Image device for improving measurement accuracy, measuring instrument including image device, measurement method using imaging device | |
JP2002303640A (en) | Tester | |
JP6534455B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
JP6534456B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
CN114046768B (en) | Laser ranging method, device, laser ranging equipment and storage medium | |
JP6494059B2 (en) | Information processing apparatus, information processing method, and program | |
CN111487035B (en) | Alignment method and system for near-eye detection system | |
WO2018158814A1 (en) | Inspection assistance device, inspection assistance method and recording medium | |
CN108391106A (en) | Optical projection system, projection device and method for displaying projection | |
CN111458112B (en) | Color coordinate measuring method, device, equipment and storage medium based on Gamma correction | |
JP3931130B2 (en) | Measurement system, calculation method and calculation program | |
US11689707B2 (en) | Techniques for calibrating a stereoscopic camera in a device | |
CN112461504B (en) | VR lens consistency test-based method and device | |
TW202123010A (en) | Automatic test method | |
JP2019070529A (en) | Information processor, information processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20161019 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |