KR101216537B1 - Contactless Sign Pad - Google Patents

Contactless Sign Pad Download PDF

Info

Publication number
KR101216537B1
KR101216537B1 KR1020100111341A KR20100111341A KR101216537B1 KR 101216537 B1 KR101216537 B1 KR 101216537B1 KR 1020100111341 A KR1020100111341 A KR 1020100111341A KR 20100111341 A KR20100111341 A KR 20100111341A KR 101216537 B1 KR101216537 B1 KR 101216537B1
Authority
KR
South Korea
Prior art keywords
signature
information
virtual
display device
space area
Prior art date
Application number
KR1020100111341A
Other languages
Korean (ko)
Other versions
KR20120050036A (en
Inventor
유병문
황두성
Original Assignee
주식회사 엘앤와이비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘앤와이비젼 filed Critical 주식회사 엘앤와이비젼
Priority to KR1020100111341A priority Critical patent/KR101216537B1/en
Priority to PCT/KR2011/006428 priority patent/WO2012030153A2/en
Publication of KR20120050036A publication Critical patent/KR20120050036A/en
Application granted granted Critical
Publication of KR101216537B1 publication Critical patent/KR101216537B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Abstract

본 발명은 비접촉식 서명 패드에 관한 것으로서, 일측에 비가시성의 가상 서명 공간 영역이 형성된 프레임, 상기 가상 서명 공간 영역을 향하도록 상기 프레임 내에 설치되어 상기 가상의 서명 공간 영역내에서의 서명 입력수단의 움직임을 촬영한 촬영 영상을 생성하는 2 이상의 카메라, 상기 촬영 영상을 분석하여 상기 서명 입력수단의 위치좌표를 연속적으로 산출하고, 미리 설정된 상기 가상의 서명 공간 영역과 상기 디스플레이 장치 간의 매핑정보에 따라 상기 산출된 상기 서명 입력수단의 각 위치좌표를 상기 디스플레이 장치 상의 투영 위치 좌표로 변환한 서명패턴 데이터를 생성하는 영상처리부 및 상기 영상처리부로부터 수신된 서명 패턴을 표출하는 디스플레이 장치를 포함하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 비접촉식 서명이 가능하여 간접 접촉에 의한 사용자의 질병(병균) 전염을 예방할 수 있고, 디스플레이 장치의 기계적 수명이 연장될 뿐 아니라, 사용자가 가상의 3차원 서명 공간영역 내에서 서명을 할 때의 특성 정보를 이용하여 전자 결제시 신원조회 용도로 사용할 수 있도록 함으로써 보다 정확한 사용자 인증이 가능한 효과가 있다.The present invention relates to a non-contact signature pad, comprising: a frame having an invisible virtual signature space region on one side thereof, installed in the frame to face the virtual signature space region, and movement of signature input means in the virtual signature space region; Two or more cameras for generating a photographed image of the photographed image, analyzing the photographed image to continuously calculate the position coordinates of the signature input means, and calculating the position coordinates according to mapping information between the virtual signature space region and the display device. And an image processor for generating signature pattern data obtained by converting respective position coordinates of the signature input means into projection position coordinates on the display device, and a display device for displaying a signature pattern received from the image processor.
According to the present invention as described above, the non-contact signature can be prevented to prevent the transmission of disease (germs) of the user by indirect contact, not only extend the mechanical life of the display device, but also the user in the virtual three-dimensional signature space area By using the characteristic information when signing in the e-payment can be used for identity check purposes, there is an effect that can be more accurate user authentication.

Description

비접촉식 서명 패드{Contactless Sign Pad}Contactless Sign Pad {Contactless Sign Pad}

본 발명은 비접촉식 서명 패드에 관한 것으로서, 보다 상세하게는 사용자가 프레임 내부에 형성된 가상 서명 공간영역 내에서 손가락을 이용하여 서명을 하면 사용자가 마치 디스플레이 장치를 터치하여 서명한 것처럼 디스플레이 장치에 서명이 표출되도록 함으로써 간접 접촉으로 인한 질병전염을 방지하고 사용자별 서명 특성 정보를 이용하여 전자 결제시 신원조회 목적으로 사용할 수 있도록 하는 기술에 관한 것이다.
The present invention relates to a contactless signature pad, and more particularly, when a user signs with a finger in a virtual signature space area formed inside a frame, the signature is displayed on the display device as if the user has touched the display device. By preventing the spread of disease due to indirect contact and by using the signature characteristic information for each user relates to a technology that can be used for identity check purposes in electronic payment.

현대 사회가 신용사회, 정보화사회로 진전해 감에 따라 신용카드, 전자화폐 및 전자결제 등의 지급 수단이 보편화되었으며, 결제 시스템의 사용자 신원 확인을 위한 사용자 인증 방법 또한 다양하다. 전자 결제 시스템이 사용자의 신원을 확인하기 위한 정보로는 사용자의 자문, 홍채, DNA 정보, 비밀번호, 서명 등의 정보를 이용할 수 있으며, 정보획득의 편리함 또는 기술 구현의 용이함으로 인해 사용자의 비밀번호나 서명 방법이 널리 사용되어 지고 있다. As the modern society has progressed to a credit society and an information society, payment methods such as credit card, electronic money, and electronic payment have become commonplace, and user authentication methods for verifying user identity of a payment system are also various. Information for the electronic payment system to verify the user's identity may use information such as the user's advice, iris, DNA information, password, signature, etc.User's password or signature due to the convenience of information acquisition or technology implementation The method is widely used.

비밀번호 입력 방식은 사용자가 키패드의 버튼이나 터치스크린의 버튼을 터치하여 비밀번호를 입력하는 방식이며, 서명을 이용한 방식은 사용자가 터치펜이나 뽀족한 물체를 사용하여 터치스크린 상에 사용자 자신의 서명을 입력하는 방식이다. In the password input method, a user inputs a password by touching a button on the keypad or a button on the touch screen. In the method using a signature, the user inputs his or her signature on the touch screen using a touch pen or a pointed object. That's the way it is.

터치펜이나 뽀족한 물체를 사용하여 터치스크린 상에 사용자 자신의 서명을 입력하는 접촉식 서명 패드는 사용자가 터치펜과 같은 입력장치와의 물리적 접촉을 통하여 데이터를 입력함으로써 병원, 은행, 마트, 레스토랑 등 이동 고객이 많은 장소에서 간접 접촉에 의한 질병(병균)을 전달하는 위험에 노출되는 위험이 존재하며, 터치펜과 터치스터린과의 기계적 접촉에 의한 마모로 인해 기기의 수명이 단축되는 단점이 있다.
Touch signature pads, which use a touch pen or pointed object to enter a user's signature on the touchscreen, allow the user to enter data through physical contact with an input device, such as a touch pen, for hospitals, banks, marts and restaurants. There is a risk that mobile customers are exposed to the risk of transmitting diseases (germs) by indirect contact in many places, and the life of the device is shortened due to wear caused by mechanical contact between the touch pen and touchsterin. have.

본 발명은 상기와 같은 종래 접촉식 서명 패드의 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 2 이상의 카메라를 사용하여 물리적인 디스플레이 장치의 상부에 비가시성의 가상의 3차원 서명 공간영역을 구성하여 무접촉으로 서명하는 것이 가능하게 함으로써 접촉으로 인한 질병전염을 예방할 수 있도록 하는 것이다.The present invention has been made to solve the problems of the conventional contact signature pad as described above, an object of the present invention is to use a two or more cameras to create an invisible virtual three-dimensional signature space area on top of the physical display device By making it possible to sign contactlessly, you can prevent the spread of disease from contact.

본 발명의 다른 목적은 사용자가 가상의 3차원 서명 공간영역 내에서 서명을 할 때의 특성 정보를 이용하여 전자 결제시 신원조회 용도로 사용할 수 있도록 하는 것이다.
Another object of the present invention is to enable the user to use the identity check when making an electronic payment using the characteristic information when the user signs in the virtual three-dimensional signature space area.

상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 일측에 비가시성의 가상 서명 공간 영역이 형성된 프레임, 상기 가상 서명 공간 영역을 향하도록 상기 프레임 내에 설치되어 상기 가상의 서명 공간 영역내에서의 서명 입력수단의 움직임을 촬영한 촬영 영상을 생성하는 2 이상의 카메라, 상기 촬영 영상을 분석하여 상기 서명 입력수단의 위치좌표를 연속적으로 산출하고, 미리 설정된 상기 가상의 서명 공간 영역과 상기 디스플레이 장치 간의 매핑정보에 따라 상기 산출된 상기 서명 입력수단의 각 위치좌표를 상기 디스플레이 장치 상의 투영 위치 좌표로 변환한 서명패턴 데이터를 생성하는 영상처리부 및 상기 영상처리부로부터 수신된 서명 패턴을 표출하는 디스플레이 장치를 포함하는 것을 특징으로 하는 비접촉식 서명 패드가 제공된다.According to an aspect of the present invention for achieving the above object, a frame formed with an invisible virtual signature space area on one side, installed in the frame to face the virtual signature space area within the virtual signature space area Two or more cameras for generating a captured image photographing the movement of the signature input means, and analyzing the captured image to continuously calculate the position coordinates of the signature input means, and between the preset virtual signature space region and the display device. And an image processor for generating signature pattern data obtained by converting the calculated position coordinates of the signature input means into projection position coordinates on the display device, and a display device for displaying the signature pattern received from the image processor. The contactless signature pad is characterized in that Ball.

여기서, 상기 영상처리부는 상기 촬영 영상으로부터 상기 서명 입력수단의 높이 정보를 연속적으로 산출하고, 상기 높이 정보를 서명 패턴의 굵기 정보로 변환하는 것이 바람직하다.Here, it is preferable that the image processor continuously calculates height information of the signature input means from the captured image, and converts the height information into thickness information of a signature pattern.

그리고, 상기 영상 처리부는 상기 연속적으로 투영된 위치 좌표 및 굵기 정보를 디지털 정보로 변환하고, 인접한 복수 개의 점들에 대해 필터링을 수행하여 상기 서명 패턴을 평활화 처리하는 것이 보다 바람직하다.The image processor may convert the continuously projected position coordinates and thickness information into digital information, and perform filtering on a plurality of adjacent points to smooth the signature pattern.

그리고, 상기 프레임은 상기 디스플레이 장치와 공간적으로 분리된 임의의 위치에 설치되는 것이 가능하다.The frame may be installed at any position spatially separated from the display device.

또한, 상기 영상처리부는 상기 촬영 영상으로부터 서명 입력수단의 서명 패턴,서명 높이, 서명 속도, 서명 방향 정보를 산출하고, 이를 전자결제 시스템으로 전송하여 사용자 신원조회 정보로 이용되도록 하는 것이 가능하다.In addition, the image processing unit may calculate the signature pattern, signature height, signature speed, signature direction information of the signature input means from the photographed image, and transmit the information to the electronic payment system to be used as user identity inquiry information.

또한, 서명이 입력되는 경우 터치감을 부여하기 위해 사운드 또는 빛을 발생시키는 출력부가 더 포함되는 것이 더욱 바람직하다.In addition, it is more preferable that the output unit for generating a sound or light to provide a touch feeling when a signature is input.

그리고, 상기 매핑 정보는 가상 서명 공간 영역의 각 꼭지점에 대응되는 지점에 마커가 형성된 교정도구를 상기 디스플레이 장치로부터 일정 높이만큼 이격되도록 위치시키고, 2 이상의 카메라에 의해 촬영된 촬영 영상으로부터 비가시성의 가상 서명 공간 영역을 결정하고, 2 이상의 카메라에 의해 촬영된 영상으로부터 획득한 마커 정보를 이용하여 물리적 디스플레이 장치 또는 가상 서명 공간 영역에 대한 2 이상의 카메라의 상대 위치를 계산하고, 교정 도구의 마커 위치 정보와 상기 2 이상의 카메라로부터 획득한 영상정보로부터 추출한 마커 위치 정보를 이용하여 변환 정보를 생성하여, 가상의 3차원 서명 공간 영역과 2차원의 디스플레이 장치와의 매핑 관계를 결정하여 얻어지는 것이 가능하다.
In addition, the mapping information may be located at a point corresponding to each vertex of the virtual signature space area so that the calibration tool is spaced apart from the display device by a predetermined height, and the invisible virtual image is taken from the captured images taken by two or more cameras. Determine the signature space area, calculate the relative positions of the two or more cameras with respect to the physical display device or the virtual signature space area using marker information obtained from the images captured by the two or more cameras, The conversion information may be generated using marker position information extracted from the image information obtained from the two or more cameras, and may be obtained by determining a mapping relationship between the virtual three-dimensional signature space region and the two-dimensional display apparatus.

본 발명에 따르면, 서명 패드의 입력 장치와 어떠한 물리적 접촉이 없이 사용자가 서명을 입력하는 것이 가능하므로 병원, 은행, 마트, 레스토랑 등 이동 고객이 많은 장소에서의 간접 접촉에 의한 사용자의 질병(병균) 전염을 예방 할 수 있는 효과가 있다.According to the present invention, since the user can input a signature without any physical contact with the input device of the signature pad, the user's disease due to indirect contact at a place where a lot of mobile customers such as hospitals, banks, marts and restaurants are located. It is effective in preventing infection.

또한 본 발명은 비접촉식으로 서명 입력이 이루어지므로 접촉식 서명 패드에서의 터치펜과 터치스크린간의 기계적인 마찰이 없어서 기계적 수명이 연장되는 효과도 있다.In addition, the present invention has a non-contact signature input, there is no mechanical friction between the touch pen and the touch screen in the contact signature pad has the effect of extending the mechanical life.

또한, 사용자가 가상의 3차원 서명 공간영역 내에서 서명을 할 때의 특성 정보를 이용하여 전자 결제시 신원조회 용도로 사용할 수 있도록 함으로써 보다 정확한 사용자 인증이 가능한 효과도 있다.
In addition, by using the characteristic information when the user signs in the virtual three-dimensional signature space area can be used for identity lookup for electronic payment, there is an effect that can be more accurate user authentication.

도 1은 본 발명에 따른 비접촉식 서명 패드의 구성 블록도이다.
도 2는 본 발명에 따른 비접촉식 서명 패드의 개략적인 구성을 나타낸 사시도이다.
도 3은 가상 서명 공간영역 상의 서명패턴과 디스플레이 장치에 투영된 서명패턴을 보여주는 도면이다.
도 4는 프레임과 디스플레이 장치의 설치 상태의 일례를 도시한 것이다.
도 5는 교정 도구를 이용하여 매핑정보를 생성하는 원리를 도시한 것이다.
도 6은 교정 도구를 이용하여 매핑정보를 생성하는 과정을 도시한 흐름도이다.
도 7은 본 발명에 따른 비접촉식 서명 패드에서 비접촉식으로 서명을 입력받아 이를 표출하는 과정을 도시한 흐름도이다.1 is a block diagram illustrating a contactless signature pad according to the present invention.
2 is a perspective view showing a schematic configuration of a contactless signature pad according to the present invention.
3 illustrates a signature pattern on a virtual signature space area and a signature pattern projected onto a display device.
4 illustrates an example of an installation state of a frame and a display device.
5 illustrates a principle of generating mapping information using a calibration tool.
6 is a flowchart illustrating a process of generating mapping information using a calibration tool.
7 is a flowchart illustrating a process of receiving a signature in a contactless signature pad in a contactless signature pad according to the present invention and expressing it.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.
Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.

도 1은 본 발명에 따른 비접촉식 서명 패드의 구성 블록도이고, 도 2는 본 발명에 따른 비접촉식 서명 패드의 개략적인 구성을 나타낸 사시도이다.1 is a block diagram of a contactless signature pad according to the present invention, Figure 2 is a perspective view showing a schematic configuration of a contactless signature pad according to the present invention.

도 1 및 도 2를 참조하면, 본 발명에 따른 비접촉식 서명 패드는 크게 사용자가 비가시성의 가상 서명 공간 영역(S)을 통해 서명이 이루어지고 입력된 서명을 디스플레이 장치의 표출 영역에 대응되는 위치좌표료 변환하여 디스플레이 장치(2)로 제공하는 비접촉 서명부(1)와 시각적으로 사용자의 서명을 표출하는 물리적인 디스플레이 장치(2)로 구성된다.Referring to FIGS. 1 and 2, the contactless signature pad according to the present invention has a position coordinate corresponding to a display area of a display device in which a user is signed through an invisible virtual signature space area S and an input signature is displayed. It consists of a non-contact signature unit 1 that converts the data to the display device 2 and physically displays the user's signature.

비접촉 서명부(1)는 일측에 비가시성의 가상 서명 공간 영역(S)이 형성된 프레임(40)과, 프레임(40)의 일측에 설치되는 2 이상의 카메라(10)와, 가상 서명 공간 영역(S) 상의 서명 패턴을 디스플레이 장치(2)의 위치 좌표로 변환하는 영상 처리부(20) 및 서명이 입력되는 경우 터치감을 부여하기 위해 사운드 또는 빛을 발생시키는 출력부(30)를 포함하여 구성된다.The non-contact signature unit 1 includes a frame 40 having an invisible virtual signature space area S formed on one side, two or more cameras 10 installed on one side of the frame 40, and a virtual signature space area S. And an image processor 20 for converting the signature pattern of the image into the position coordinates of the display device 2 and an output unit 30 for generating sound or light to give a touch when a signature is input.

2 이상의 카메라(10)는 가상 서명 공간 영역(S)을 향하도록 프레임(40) 내에 설치되어 가상 서명 공간 영역(S) 내에서의 서명 입력수단의 움직임을 촬영하는 것으로서, 2개의 카메라가 조합되어 촬영 영상을 생성한다. 프레임(40)은 가상 서명 공간 영역(S)의 4면을 포위하도록 형성되고, 2 이상의 카메라(10)는 가상 서명 공간 영역(S)을 포위하는 4면 중 일면 상에 설치되므로 2 이상의 카메라(10)에서 영상을 안정적으로 취득할 수 있게 된다. 프레임(40)이 가상 서명 공간 영역(S)의 4면을 포위하도록 형성되는 것은 영상을 보다 안정적으로 취득하기 위한 것으로서, 가상 서명 공간 영역(S)이 프레임(40)에 둘러싸이지 않고 2 이상의 카메라(10) 전방의 개방된 공간 상에 형성되도록 하는 것도 가능함은 물론이다.Two or more cameras 10 are installed in the frame 40 so as to face the virtual signature space area S, and photograph the movement of the signature input means in the virtual signature space area S. The two cameras are combined. Generates a captured image. The frame 40 is formed to surround four surfaces of the virtual signature space area S, and the two or more cameras 10 are installed on one of four surfaces surrounding the virtual signature space area S, so that two or more cameras ( In 10), the image can be obtained stably. The frame 40 is formed so as to surround the four sides of the virtual signature space area S to acquire an image more stably. The virtual signature space area S is not surrounded by the frame 40 and two or more cameras are provided. (10) It is, of course, also possible to be formed on the open space in front.

영상처리부(20)는 프레임(40)의 내부에 설치되고, 2 이상의 카메라(10)에서 생성된 촬영 영상을 분석하여 서명 입력수단의 위치좌표를 연속적으로 산출하고, 미리 설정된 가상의 서명 공간 영역과 상기 디스플레이 장치 간의 매핑정보에 따라 산출된 서명 입력수단의 각 위치좌표를 디스플레이 장치(2) 상의 투영 위치 좌표로 변환한 서명패턴 데이터를 생성한다.The image processing unit 20 is installed inside the frame 40, analyzes the captured images generated by the two or more cameras 10, continuously calculates the position coordinates of the signature input means, and preset virtual signature space area. Signature pattern data obtained by converting the position coordinates of the signature input means calculated according to the mapping information between the display apparatuses into the projection position coordinates on the display apparatus 2 is generated.

도시되어 있지는 않으나, 영상처리부(20)는 물리적 디스플레이 장치(2)와 가상 서명 공간영역(S) 간의 매핑처리를 수행하는 매핑수단과, 2 이상의 카메라(10)로부터 획득한 영상으로부터 서명 입력수단의 위치를 추출하는 위치 추출수단 및 2 이상의 카메라(10)의 위치정보를 이용하여 가상 서명 공간영역(S)내에서의 서명 입력수단의 위치를 결정하는 위치 결정수단이 더 포함될 수 있다.Although not shown, the image processing unit 20 may include mapping means for performing mapping processing between the physical display device 2 and the virtual signature space area S, and signature input means from images acquired from two or more cameras 10. Position determination means for extracting the position and position determination means for determining the position of the signature input means in the virtual signature space area (S) by using the position information of the two or more cameras 10 may be further included.

출력부(30)는 서명이 입력되는 경우 즉, 가상 서명 공간영역(S) 내에 서명 입력수단의 진입이 감지되는 경우 서명 개시 또는 서명 입력수단 감지를 빛으로 표출하는 램프(31) 또는 이를 사운드로 출력하는 스피커(32)를 포함한다.When the signature is input, that is, when the entry of the signature input means is detected in the virtual signature space area S, the lamp 31 or the lamp 31 expressing the signature initiation or signature input means detection as light or the sound is input. And a speaker 32 for outputting.

디스플레이 장치(2)는 영상처리부(20)로부터 수신된 서명 패턴을 표출하는 장치로서, 일측에 디스플레이부(21)가 형성되어 있다. 디스플레이부(21)는 LCD일 수 있으며, 비접촉식으로 서명이 이루어지므로 통상의 서명 패드와 같은 터치 스크린일 필요가 없다.The display device 2 is a device for displaying the signature pattern received from the image processing unit 20, and the display unit 21 is formed at one side. The display unit 21 may be an LCD, and since the signature is made in a non-contact manner, it does not need to be a touch screen such as a conventional signature pad.

비접촉 서명부(1)와 디스플레이 장치(2)는 일체로 형성하는 것도 가능하나 사용상의 편리를 위해 상호 분리되도록 형성하는 것이 보다 바람직하며, 후자의 경우 양자 간을 유선 또는 무선으로 결합하는 것이 필요하다.The non-contact signature unit 1 and the display device 2 may be formed integrally, but more preferably formed to be separated from each other for convenience of use. In the latter case, it is necessary to combine the wires or wirelessly between the two.

또한, 본 실시예에서는 영상처리부(20) 및 출력부(30)가 프레임(40)에 설치되는 것을 예시하였으나, 디스플레이 장치(2) 내에 설치되거나 별도의 호스트 장치에 설치되어 비접촉 서명부(1)에서 생성된 촬영 영상을 호스트 장치에서 분석하여 위치 좌표를 매핑한 후 디스플레이 장치(2)로 전송하도록 하는 것도 가능함은 물론이다.
In addition, in the present exemplary embodiment, the image processing unit 20 and the output unit 30 are illustrated in the frame 40. However, the image processing unit 20 and the output unit 30 are installed in the display device 2 or installed in a separate host device. Of course, the generated captured image may be analyzed by the host device to map the location coordinates and then transmitted to the display device 2.

도 3은 가상 서명 공간영역 상의 서명패턴과 디스플레이 장치에 투영된 서명패턴을 보여주는 도면이다.3 illustrates a signature pattern on a virtual signature space area and a signature pattern projected onto a display device.

도 3에 도시된 바와 같이, 사용자가 가상 서명 공간영역(S) 내에 손가락(60) 을 위치시킨 후 공간 내에서 서명을 하면, 2 이상의 카메라(10)에 의해 서명 영상이 촬영되고, 영상처리부(20)에서 손가락(60)의 연속적인 위치 변화를 검출하여 서명 패턴을 생성하게 되며, 생성된 서명 패턴이 디스플레이 장치(2)의 디스플레이부(21) 상에 투영되어 표출된다. 이때, 후술하는 바와 같이, 서명 동작 중에 손가락(60)의 높이(가상 서명 공간영역(S) 내에서의 z값)에 따라 서명패턴(70)의 굵기가 가변되도록 하여 사용자의 실제 서명과 유사하도록 하는 것이 바람직하다.
As shown in FIG. 3, when a user places a finger 60 in the virtual signature space area S and signs in the space, a signature image is captured by two or more cameras 10, and an image processor ( A signature pattern is generated by detecting a continuous change of position of the finger 60 at 20), and the generated signature pattern is projected on the display unit 21 of the display device 2 and displayed. At this time, as will be described later, the thickness of the signature pattern 70 is varied according to the height of the finger 60 (z value in the virtual signature space area S) during the signature operation so as to be similar to the actual signature of the user. It is desirable to.

도 4는 프레임과 디스플레이 장치의 설치 상태의 일례를 도시한 것이다.4 illustrates an example of an installation state of a frame and a display device.

본 발명에 따른 비접촉식 서명 패드의 장점 중 하나는 프레임(40)이 디스플레이 장치(2)와 분리설치가 가능하다는 것이다. 이는 교정 도구(50)를 이용한 교정 과정을 통해 프레임(40) 내에 형성된 개방된 공간 내에 가상 서명 공간영역(S)이 정의되고, 가상 서명 공간영역(S)과 실제 물리적인 디스플레이 장치(2) 간의 매핑 정보가 미리 설정되어 있기 때문이다. 따라서, 본 발명에 의할 경우 프레임(40)은 디스플레이 장치(2)와 일체로 설치될 필요가 없고 사용이 편리한 임의의 위치나 각도로 설치하여 사용할 수 있게 된다.One of the advantages of the contactless signature pad according to the present invention is that the frame 40 can be installed separately from the display device 2. The virtual signature space area S is defined in the open space formed in the frame 40 through the calibration process using the calibration tool 50, and the virtual signature space area S and the actual physical display device 2 are defined. This is because the mapping information is set in advance. Therefore, according to the present invention, the frame 40 does not need to be integrally installed with the display device 2 and can be installed and used at any position or angle that is convenient for use.

이러한 자유로운 설치의 일례로서, 도 4에서는 디스플레이 장치(2)가 수직으로 설치되고, 프레임 즉, 비접촉 서명부(1)는 디스플레이 장치(2)의 전방에 45°각도로 세워서 설치하여 사용자가 손가락(60)을 이용하여 서명하는 것이 용이하도록 함과 아울러 사용자가 디스플레이 장치(2)에 표출되는 서명패턴을 용이하게 볼 수 있도록 하는 설치사례를 나타내고 있다.As an example of such a free installation, in FIG. 4, the display device 2 is vertically installed, and the frame, that is, the non-contact signature part 1, is installed at an angle of 45 ° in front of the display device 2, so that the user touches the finger 60. FIG. 2 shows an installation example that makes it easy to sign using a reference and a user can easily see the signature pattern displayed on the display device 2.

이 외에, 디스플레이 장치(2)를 수평으로 배치하고, 비접촉 서명부(1)를 이로부터 임의의 높이에 위치시키거나 2개의 장치를 서로 평행하고 수평 배치하는 등의 여러 가지 형태의 배치가 가능하다.
In addition, various types of arrangements are possible, such as arranging the display device 2 horizontally, placing the non-contact signature portion 1 at any height therefrom, or arranging the two devices in parallel and horizontally.

도 5는 교정 도구를 이용하여 매핑정보를 생성하는 원리를 도시한 것이고, 도 6은 교정 도구를 이용하여 매핑정보를 생성하는 과정을 도시한 흐름도이다.5 illustrates a principle of generating mapping information using a calibration tool, and FIG. 6 is a flowchart illustrating a process of generating mapping information using a calibration tool.

도 5에 도시된 바와 같이, 본 발명에 사용되는 교정 도구(50)는 입방체와 유사한 구조로서 입방체의 8개의 꼭지점 부분에 마커(51)가 형성되고, 마커(51) 간을 연결대(52)로 연결되며, 교정 도구(50)의 하단에는 바닥면으로부터 일정거리 이격되도록 다리부(53)가 형성되어 있다. 다리부(53)의 높이는 디스플레이 장치(2)와 가상 서명 공간영역 간의 거리와 동일하게 설정될 수 있다.As shown in FIG. 5, the calibration tool 50 used in the present invention has a structure similar to a cube, and a marker 51 is formed at eight vertices of the cube, and the markers 51 are connected to the connecting rod 52. Is connected, the lower end of the calibration tool 50 is formed with a leg portion 53 to be spaced apart from the bottom by a predetermined distance. The height of the leg 53 may be set equal to the distance between the display device 2 and the virtual signature space area.

도 6을 참조하여 매핑정보 생성과정을 설명하면, 우선, 도 5의 교정도구(50)를 디스플레이 장치(2)의 4 꼭지점을 접촉하도록 설치한다(S600). 이때, 교정 도구(50)의 다리부(53)에 의해 가상 서명 공간영역에 대응되는 입방체 영역은 디스플레이 장치(2)로부터 일정 높이만큼 이격되도록 위치하게 된다.Referring to FIG. 6, the mapping information generation process is described. First, the calibration tool 50 of FIG. 5 is installed to contact four vertices of the display apparatus 2 (S600). At this time, the cube area corresponding to the virtual signature space area by the leg portion 53 of the calibration tool 50 is positioned to be spaced apart from the display device 2 by a predetermined height.

그 다음, 2 이상의 카메라(10)를 이용하여 교정도구(50)를 촬영하고(S610), 2 이상의 카메라(10)에 의해 촬영된 촬영 영상으로부터 비가시성의 가상 서명 공간영역(S)을 결정한다(S620). 즉, 촬영 영상으로부터 8개의 마커(51)의 위치정보를 획득하고 8개의 마커(51)에 의해 형성되는 입방체 공간을 가상 서명 공간영역(S)으로 정의하게 된다.Next, the calibration tool 50 is photographed using two or more cameras 10 (S610), and the virtual signature space area S that is invisible is determined from the photographed images photographed by the two or more cameras 10. (S620). That is, the position information of the eight markers 51 is obtained from the captured image, and the cubic space formed by the eight markers 51 is defined as the virtual signature space area S.

가상 서명 공간영역(S)이 결정되면, 2 이상의 카메라(10)에 의해 촬영된 영상으로부터 획득한 마커 정보를 이용하여 물리적 디스플레이 장치(2) 또는 가상 서명 공간 영역(S)에 대한 2 이상의 카메라(10)의 상대 위치를 계산한다(S630). When the virtual signature space area S is determined, two or more cameras for the physical display device 2 or the virtual signature space area S are obtained using marker information obtained from an image captured by the two or more cameras 10. The relative position of 10) is calculated (S630).

최종적으로, 기 설정된 교정 도구(50)의 마커(51) 위치 정보와 2 이상의 카메라(10)로부터 획득한 영상정보로부터 추출한 마커(51) 위치 정보를 이용하여 변환 정보를 생성하여, 가상의 3차원 서명 공간 영역과 2차원의 디스플레이 장치(2)와의 매핑 관계를 결정하게 된다(S640).
Finally, transformation information is generated by using the position information of the marker 51 of the preset calibration tool 50 and the position information of the marker 51 extracted from the image information acquired from the two or more cameras 10, and then a virtual three-dimensional image. The mapping relationship between the signature space area and the two-dimensional display apparatus 2 is determined (S640).

도 7은 본 발명에 따른 비접촉식 서명 패드에서 비접촉식으로 서명을 입력받아 이를 표출하는 과정을 도시한 흐름도이다.7 is a flowchart illustrating a process of receiving a signature in a contactless signature pad in a contactless signature pad according to the present invention and expressing it.

도 7을 참조하면, 2 이상의 카메라(10)에 의해 가상 서명 공간영역(S)의 영상이 계속적으로 촬영되어 손가락 등의 서명 입력수단이 탐지되는지 여부를 판단한다(S700).Referring to FIG. 7, an image of the virtual signature space area S is continuously photographed by two or more cameras 10 to determine whether a signature input means such as a finger is detected (S700).

만일 서명 입력수단이 탐지되면, 서명 입력수단의 터치 영역을 추출하고, 추출된 서명 입력수단의 터치 영역에서 서명 입력수단의 최저점의 위치를 검출한다(S710). 서명 입력수단의 최저점의 위치를 검출하는 것은 사용자 손가락 끝의 좌표 변화를 추적하여 서명패턴을 생성하기 위한 목적에서 행해지는 것이다.If the signature input means is detected, the touch area of the signature input means is extracted, and the position of the lowest point of the signature input means is detected in the extracted touch input means (S710). Detecting the position of the lowest point of the signature input means is performed for the purpose of tracking the change in the coordinates of the fingertip of the user and generating the signature pattern.

서명 입력수단의 최저점 위치가 검출되면, 삼각법을 이용하여 3차원 터치 위치를 계산한다(S720). 즉, 2 이상의 카메라(10)의 위치와 가상 서명 공간영역(S) 상의 서명 입력수단의 최저점을 연결하는 벡터를 생성하고, 2개의 카메라의 위치와 서명 입력수단의 최저점을 연결하는 2개의 벡터의 교차점을 가상 서명 공간영역(S) 상의 터치 위치로 인식하게 된다.When the lowest point position of the signature input means is detected, a three-dimensional touch position is calculated using a trigonometry (S720). That is, a vector is created that connects the positions of two or more cameras 10 and the lowest point of the signature input means on the virtual signature space area S, and the vectors of the two vectors connecting the positions of the two cameras and the lowest point of the signature input means. The intersection point is recognized as a touch position on the virtual signature space area S. FIG.

3차원 터치 위치가 산출되면, 비가시성의 가상 서명 공간영역(S)에서 결정된 사용자의 손가락 위치(x, y 좌표)는 설정단계에서 계산된 매핑 정보를 이용하여 디스플레이 장치(2)로의 투영 위치가 결정된다(S730).When the three-dimensional touch position is calculated, the user's finger position (x, y coordinate) determined in the invisible virtual signature space area S is determined by the projection position on the display device 2 using the mapping information calculated in the setting step. It is determined (S730).

그리고, 사용자 손가락의 높이 위치(z 좌표)에 의해 디스플레이 장치(2)에 표출되는 서명의 굵기가 결정된다(S740). 즉, 사용자 손가락의 높이 위치 즉, z 좌표가 작을수록 사용자 손가락이 가상 서명 공간영역(S) 내에 깊이 위치한 것이므로 서명패턴이 굵게 표출되도록 한다. 서명 동작 중에 사용자 손가락의 높이 위치는 계속 가변적이므로 그에 따라 서명패턴의 굵기도 가변적으로 표현되고 그에 따라 사용자의 실제 서명과 매우 유사한 형태의 서명패턴이 얻어질 수 있다.Then, the thickness of the signature displayed on the display device 2 is determined by the height position (z coordinate) of the user's finger (S740). That is, as the height position of the user's finger, i.e., the z-coordinate is smaller, the user's finger is located deeper in the virtual signature space area S, so that the signature pattern is expressed thicker. Since the height position of the user's finger is continuously variable during the signature operation, the thickness of the signature pattern is variably expressed accordingly, so that a signature pattern which is very similar to the actual signature of the user can be obtained.

서명 패턴의 연속적인 위치 좌표가 얻어지면, 연속으로 투영된 손가락 위치 및 굵기 정보가 디지털화하는 과정에서 발생한 수학적 오차에 의해 불연속적으로 되는 것을 방지하기 위한 후처리로서 평활화 처리가 수행된다(S750). 평활화는 연속적으로 투영된 위치 좌표 및 굵기 정보를 디지털 정보로 변환하고, 인접한 복수 개의 점들에 대해 필터링을 수행하여 복수 개의 점들을 잇는 선을 형성할 때 불연속적인 점이 있는 경우 이 점의 좌표를 전체적인 선의 형태에 부합하도록 변경하여 이루어진다.When the continuous position coordinates of the signature pattern are obtained, a smoothing process is performed as a post-process to prevent discontinuity due to a mathematical error generated in the process of digitizing the continuously projected finger position and thickness information (S750). Smoothing converts continuously projected position coordinates and thickness information into digital information and performs filtering on a plurality of adjacent points to form a line connecting a plurality of points. It is done by changing it according to the form.

평활화 처리가 완료되면, 매핑 정보에 따라 변환된 서명 패턴 데이터가 디스플레이 장치(2)로 전송되어 디스플레이부(21) 상에 표출된다(S760).When the smoothing process is completed, the signature pattern data converted according to the mapping information is transmitted to the display device 2 and displayed on the display unit 21 (S760).

서명 패턴이 디스플레이되면, 서명 특성 정보가 생성되고(S770), 생성된 서명 특성 정보가 전자 결제 시스템으로 전송되어 사용자 신원조회 등의 용도로 사용된다(S780). 서명 특성 정보는 서명 패턴,서명 높이, 서명 속도, 서명 방향 정보 등의 정보를 포함할 수 있으며, 영상처리부(20)가 촬영 영상을 분석하여 이러한 정보를 산출하고 그로부터 서명 특성 정보를 생성하게 된다.When the signature pattern is displayed, signature characteristic information is generated (S770), and the generated signature characteristic information is transmitted to the electronic payment system and used for a user identity inquiry (S780). The signature characteristic information may include information such as signature pattern, signature height, signature speed, signature direction information, and the like, and the image processor 20 analyzes the photographed image to calculate such information and generates signature characteristic information therefrom.

서명 특성 정보를 이용하여 사용자의 신원을 조회할 수 있도록 하기 위해서는 전자 결제 시스템에 사용자의 서명에 관한 정보 즉, 서명 패턴 정보 또는 서명 특성 정보가 미리 저장되어 있어야 할 것이다.
In order to be able to query the user's identity using the signature characteristic information, information about the user's signature, that is, signature pattern information or signature characteristic information, should be stored in advance in the electronic payment system.

비록 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.
Although the present invention has been described in connection with the above-mentioned preferred embodiments, it is possible to make various modifications and variations without departing from the spirit and scope of the invention. Accordingly, the appended claims are intended to cover such modifications or changes as fall within the scope of the invention.

1 : 비접촉 서명부 2 : 디스플레이 장치
10 : 2 이상의 카메라 20 : 영상처리부
21 : 디스플레이부 30 : 출력부
31 : 램프 32 : 스피커
40 : 프레임 50 : 교정도구
51 : 마커 52 : 연결대
53 : 다리부 60 : 손가락
70 : 서명패턴 S : 가상 서명 공간영역1 non-contact signature unit 2 display device
10: two or more cameras 20: image processing unit
21: display unit 30: output unit
31: lamp 32: speaker
40: frame 50: calibration tool
51: marker 52: connecting rod
53: leg 60: finger
70: signature pattern S: virtual signature space area

Claims (7)

일측에 비가시성의 가상 서명 공간 영역이 형성된 프레임;
상기 가상 서명 공간 영역을 향하도록 상기 프레임 내에 설치되어 상기 가상의 서명 공간 영역내에서의 서명 입력수단의 움직임을 촬영한 촬영 영상을 생성하는 2 이상의 카메라;
상기 촬영 영상을 분석하여 상기 서명 입력수단의 위치좌표 및 높이 정보를 연속적으로 산출하고, 미리 설정된 상기 가상의 서명 공간 영역과 디스플레이 장치 간의 매핑정보에 따라, 상기 산출된 상기 서명 입력수단의 각 위치좌표 및 높이 정보를 상기 디스플레이 장치상의 투영 위치 좌표 및 서명 패턴의 굵기 정보로 변환한 서명패턴 데이터를 생성하는 영상처리부; 및
상기 영상처리부로부터 수신된 서명 패턴을 표출하는 디스플레이 장치를 포함하는 것을 특징으로 하는 비접촉식 서명 패드.
A frame having an invisible virtual signature space region formed at one side thereof;
Two or more cameras installed in the frame so as to face the virtual signature space area and generating a captured image photographing the movement of the signature input means in the virtual signature space area;
Analyzing the photographed image to continuously calculate the position coordinates and height information of the signature input means, and according to the preset mapping information between the virtual signature space area and the display device, each position coordinate of the signature input means And an image processor configured to generate signature pattern data obtained by converting height information into projection position coordinates on the display device and thickness information of the signature pattern. And
And a display device for displaying a signature pattern received from the image processor.
삭제delete 제 1 항에 있어서,
상기 영상 처리부는 상기 연속적으로 투영된 위치 좌표 및 굵기 정보를 디지털 정보로 변환하고, 인접한 복수 개의 점들에 대해 필터링을 수행하여 상기 서명 패턴을 평활화 처리하는 것을 특징으로 하는 비접촉식 서명 패드.
The method of claim 1,
The image processing unit converts the continuously projected position coordinates and thickness information into digital information, and performs filtering on a plurality of adjacent points to smooth the signature pattern.
제 1 항에 있어서,
상기 프레임은 상기 디스플레이 장치와 공간적으로 분리된 임의의 위치에 설치되는 것을 특징으로 하는 비접촉식 서명 패드.
The method of claim 1,
And the frame is installed at an arbitrary position spatially separated from the display device.
제 1 항에 있어서,
상기 영상처리부는 상기 촬영 영상으로부터 서명 입력수단의 서명 패턴,서명 높이, 서명 속도, 서명 방향 정보를 산출하고, 이를 전자결제 시스템으로 전송하여 사용자 신원조회 정보로 이용되도록 하는 것을 특징으로 하는 비접촉식 서명 패드.
The method of claim 1,
The image processing unit calculates the signature pattern, signature height, signature speed, and signature direction information of the signature input unit from the photographed image, and transmits the signature pattern information to the electronic payment system so as to be used as user identity inquiry information. .
제 1 항에 있어서,
서명이 입력되는 경우 터치감을 부여하기 위해 사운드 또는 빛을 발생시키는 출력부가 더 포함되는 것을 특징으로 하는 비접촉식 서명 패드.
The method of claim 1,
The contactless signature pad further comprises an output unit for generating sound or light to give a touch when a signature is input.
제 1 항에 있어서,
상기 매핑 정보는
가상 서명 공간 영역의 각 꼭지점에 대응되는 지점에 마커가 형성된 교정도구를 상기 디스플레이 장치로부터 일정 높이만큼 이격되도록 위치시키고,
2 이상의 카메라에 의해 촬영된 촬영 영상으로부터 비가시성의 가상 서명 공간 영역을 결정하고,
2 이상의 카메라에 의해 촬영된 영상으로부터 획득한 마커 정보를 이용하여 물리적 디스플레이 장치 또는 가상 서명 공간 영역에 대한 2 이상의 카메라의 상대 위치를 계산하고,
교정 도구의 마커 위치 정보와 상기 2 이상의 카메라로부터 획득한 영상정보로부터 추출한 마커 위치 정보를 이용하여 변환 정보를 생성하여, 가상의 3차원 서명 공간 영역과 2차원의 디스플레이 장치와의 매핑 관계를 결정하여 얻어지는 것을 특징으로 하는 비접촉식 서명 패드.The method of claim 1,
The mapping information is
Position a calibration tool having a marker formed at a point corresponding to each vertex of the virtual signature space area to be spaced apart from the display device by a predetermined height,
Determine an invisible virtual signature space region from the captured images taken by two or more cameras,
Calculate relative positions of two or more cameras with respect to a physical display device or virtual signature space area using marker information obtained from images captured by the two or more cameras,
The conversion information is generated using the marker position information of the calibration tool and the marker position information extracted from the image information acquired from the two or more cameras, and the mapping relation between the virtual three-dimensional signature space region and the two-dimensional display apparatus is determined. A contactless signature pad, characterized in that obtained.
KR1020100111341A 2010-09-02 2010-11-10 Contactless Sign Pad KR101216537B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100111341A KR101216537B1 (en) 2010-11-10 2010-11-10 Contactless Sign Pad
PCT/KR2011/006428 WO2012030153A2 (en) 2010-09-02 2011-08-31 Non-contact type input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100111341A KR101216537B1 (en) 2010-11-10 2010-11-10 Contactless Sign Pad

Publications (2)

Publication Number Publication Date
KR20120050036A KR20120050036A (en) 2012-05-18
KR101216537B1 true KR101216537B1 (en) 2012-12-31

Family

ID=46267607

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100111341A KR101216537B1 (en) 2010-09-02 2010-11-10 Contactless Sign Pad

Country Status (1)

Country Link
KR (1) KR101216537B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9900157B2 (en) * 2012-08-16 2018-02-20 Digicert, Inc. Object signing within a cloud-based architecture
KR101656212B1 (en) * 2015-02-13 2016-09-12 경일대학교산학협력단 system for access control using hand gesture cognition, method thereof and computer recordable medium storing the method

Also Published As

Publication number Publication date
KR20120050036A (en) 2012-05-18

Similar Documents

Publication Publication Date Title
US11652965B2 (en) Method of and system for projecting digital information on a real object in a real environment
US9613262B2 (en) Object detection and tracking for providing a virtual device experience
US8933886B2 (en) Instruction input device, instruction input method, program, recording medium, and integrated circuit
US9778748B2 (en) Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
US9429417B2 (en) Touch and motion detection using surface map, object shadow and a single camera
WO2013035758A1 (en) Information display system, information display method, and storage medium
CN105934775B (en) Method and system for constructing virtual images anchored on real-world objects
US9087233B2 (en) Security by Z-face detection
US9229534B2 (en) Asymmetric mapping for tactile and non-tactile user interfaces
US20050249386A1 (en) Pointing device having fingerprint image recognition function, fingerprint image recognition and pointing method, and method for providing portable terminal service using thereof
WO2014181725A1 (en) Image measurement device
US20130215027A1 (en) Evaluating an Input Relative to a Display
KR20160117207A (en) Image analyzing apparatus and image analyzing method
JPWO2009139214A1 (en) Display device and control method
WO2013103410A1 (en) Imaging surround systems for touch-free display control
US20170228092A1 (en) Touch region projection onto touch-sensitive surface
KR101330531B1 (en) Method of virtual touch using 3D camera and apparatus thereof
KR101216537B1 (en) Contactless Sign Pad
KR101961266B1 (en) Gaze Tracking Apparatus and Method
KR102097033B1 (en) System for estimating motion by sensing interaction of point body
KR20100075282A (en) Wireless apparatus and method for space touch sensing and screen apparatus using depth sensor
KR101542671B1 (en) Method and apparatus for space touch
US20130120361A1 (en) Spatial 3d interactive instrument
KR101292541B1 (en) Contactless input device
KR100983051B1 (en) Apparatus and Method for Space Touch Sensing and Screen Apparatus using Depth Sensor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee