KR20050018101A - A Pointing Device and Pointing Method having the Fingerprint Image Recognition Function - Google Patents
A Pointing Device and Pointing Method having the Fingerprint Image Recognition FunctionInfo
- Publication number
- KR20050018101A KR20050018101A KR1020030056072A KR20030056072A KR20050018101A KR 20050018101 A KR20050018101 A KR 20050018101A KR 1020030056072 A KR1020030056072 A KR 1020030056072A KR 20030056072 A KR20030056072 A KR 20030056072A KR 20050018101 A KR20050018101 A KR 20050018101A
- Authority
- KR
- South Korea
- Prior art keywords
- fingerprint
- fingerprint image
- image
- pointing
- authentication
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/82—Protecting input, output or interconnection devices
- G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03543—Mice or pucks
Abstract
Description
본 발명은 지문인증 및 포인팅에 관한 것으로, 특히 휴대형 단말기기에서 사용자 인증을 위해 검출된 지문이미지를 이용하여 사용자를 인증하고 동시에 독립적으로 상기 단말기기의 포인터를 조정하며 사용자 인증 및 포인터 조정을 위한 사용자 인터페이스(UI)를 지원하는 지문인증기능을 구비한 포인팅 장치 및 방법에 관한 것이다.The present invention relates to fingerprint authentication and pointing, and more particularly, to authenticate a user by using a fingerprint image detected for user authentication in a portable terminal device, and simultaneously adjust a pointer of the terminal device independently, and for user authentication and pointer adjustment. The present invention relates to a pointing device and a method having a fingerprint authentication function supporting an interface (UI).
일반적으로 포인터(Pointer), 즉 포인팅 장치(Pointing device)는 데스크탑 컴퓨터 등에서 주로 사용되는 엑스와이 태블릿(XY tablet), 트랙볼, 마우스 등과, 노트북 등의 휴대형 단말기기 등에 주로 사용되는 터치스크린 패널, 터치패드 등을 의미한다. 최근에는 빛을 이용한 광마우스 장치가 개발되어 사용되고 있다. In general, a pointer, that is, a pointing device, is a touch screen panel or touch pad mainly used in portable terminal devices such as laptop tablets, such as X-Y tablets, trackballs, mice, etc., which are mainly used in desktop computers. And the like. Recently, an optical mouse device using light has been developed and used.
최근 전자통신기기 및 그 주변장치에 생체인식을 접목하는 시도가 증가하는 추세이다. 이러한 생체인식에서 가장 큰 특성은 어떠한 경우에도 외부요인에 의한 분실, 도난, 망각, 복제의 염려가 없다는 것이며 이를 가장 특징적인 장점으로 보고 있다. 또한 이러한 기법을 사용할 경우 보안 침해를 누가 하였는지 추적이 가능해지는 등 감사(audit) 기능이 완벽하게 구축될 수 있다는 장점이 있다. 특히, 지문을 이용한 사용자 인증기술은 최근 가장 활발히 상용화가 이뤄지고 있으며, 이와 같이 지문을 이용한 사용자 인증은 사람이 가지는 고유한 특징을 이용하여 사용자를 인증함으로써 접근 및 휴대가 용이하다는 장점을 가지고 있으며, 이에 따라 실제 다양한 연구가 진행되고 있고 또한 많은 발전을 거듭하고 있다.Recently, attempts to apply biometrics to electronic communication devices and their peripheral devices have been increasing. The biggest characteristic of these biometrics is that there is no fear of loss, theft, forgetting or duplication by external factors in any case, and it is considered as the most characteristic advantage. In addition, this technique has the advantage that the audit function can be completely built up, such as being able to track who has breached the security. In particular, the user authentication technology using fingerprints has been actively commercialized in recent years, and thus user authentication using fingerprints has an advantage of easy access and portability by authenticating a user by using unique features of a person. As a result, various studies are being conducted, and many developments are being made.
이와 같이 최근에는 포인팅 장치에 지문을 이용한 사용자 인증이 도입된 기술이 개발되고 있다. 이러한 포인팅 장치에서의 지문인증은 포인팅 기능과는 별도로 내부의 지문인식장치가 소정의 창을 통해 손가락 표면으로부터 지문을 인식하고 상기 인식된 지문과 기등록된 등록지문을 비교하여 일치하는 경우에 상기 지문을 인증한다. 그 일례로서 도 1에는 지문인식 광마우스가 도시되어 있다. 도 1에 도시된 바와 같이 지문인식 광마우스(1)는 일반적인 마우스와 그 형태 및 기능이 유사하나, 오른손 엄지손가락이 닿는 부분에 지문인식창(2)이 마련된다. 오른손 엄지손가락이 상기 지문인식창(2)에 닿으면 내부의 지문인식센서(미도시)가 상기 엄지손가락의 지문을 인식하고, 상기 인식된 지문과 기등록된 지문을 비교하여 사용자 인증여부를 결정하게 된다.As such, recently, a technology in which user authentication using a fingerprint is introduced into a pointing device has been developed. The fingerprint authentication in the pointing device is performed separately from the pointing function when the internal fingerprint recognition device recognizes a fingerprint from the surface of a finger through a predetermined window and compares the recognized fingerprint with a registered fingerprint. Authenticate As an example, a fingerprint recognition optical mouse is shown in FIG. 1. As shown in FIG. 1, the fingerprint recognition optical mouse 1 is similar in shape and function to a general mouse, but a fingerprint recognition window 2 is provided at a portion where the thumb of the right hand touches. When the thumb of the right hand touches the fingerprint recognition window 2, an internal fingerprint recognition sensor (not shown) recognizes the fingerprint of the thumb and compares the recognized fingerprint with a pre-registered fingerprint to determine user authentication. Done.
이와 같은 종래의 지문인증의 경우, 사용자 인증에 필요한 최소한의 크기의 지문을 획득해야 한다. 즉, 도 1의 지문인식 광마우스의 경우 지문인증을 위해서는 약 100 ×100 픽셀(pixel) 이상의 지문을 획득해야 한다. 현재 시중에는 실제로 한번에 96 ×96픽셀의 지문이미지를 검출하는 광마우스가 제품화되어 출시되고 있다.In the conventional fingerprint authentication, it is necessary to obtain a fingerprint of the minimum size required for user authentication. That is, in the case of the fingerprint recognition optical mouse of FIG. 1, a fingerprint of about 100 × 100 pixels or more must be obtained for fingerprint authentication. Currently, an optical mouse that detects a fingerprint image of 96 × 96 pixels at a time is commercially available.
또한, 손가락 지문을 이용한 포인팅 장치에서도 이러한 지문인증이 도입될 수 있다. 즉, 현재 포인팅 장치에서 지문을 이용하여 포인터를 조절함과 동시에 상기 지문을 이용하여 사용자를 인증하는 기술이 제공되고 있다. 그러나, 종래에는 사용자 인증을 위한 큰 지문이미지를 획득하는 지문인증용 지문획득센서와 포인터 조절을 위한 작은 지문이미지를 획득하는 포인터 조절용 지문획득센서를 각각 구비하였다. 그 일례로서, 도 2에는 두 개의 지문획득센서가 구비된 휴대형 단말기기가 도시되어 있다. 즉, 도 2(a)는 휴대형 컴퓨터(노트북)의 일부분을 도시한 것이고, 도 2(b)는 PDA의 일부분을 도시한 것이다. 도 2(a)의 경우 사용자의 지문을 인증하기 위해 사용자의 지문을 인식하는 지문인증용 지문획득센서(3)와 손가락을 이용하여 노트북의 모니터상에 나타난 포인터를 조절하기 위한 포인터 조절용 센서(4)가 각각 구비되어 있다. 그러나, 노트북에서의 포인터 조절은 지문인식이 아니라 손가락이나 스타일러스(stylus)의 압력에 의한 캐패시턴스의 변화를 이용하는 것이다. 또한, 도 2(b)의 경우도 마찬가지로, 사용자 인증용 지문획득센서(5) 및 포인터 조절용 센서(6)가 각각 구비되어 있다. 일반적으로, 손가락의 움직임 정보를 이용하여 모니터 상의 커서의 이동을 제어하는 노트북의 경우, 포인터 조절을 위한 지문의 움직임 정보를 얻기 위해서는 지문이미지의 크기가 대략 20 ×20 픽셀이면 충분하나, 사용자 확인을 위해서는 약 100 ×100 픽셀 이상의 지문 이미지를 획득해야 한다. 실제 노트북의 경우 약 5 x 5mm 크기의 지문획득센서로 약 100 x 100 픽셀 정도의 이미지 데이터를 획득하고 있는 제품이 출시되고 있다.In addition, such a fingerprint authentication may be introduced in a pointing device using a finger fingerprint. That is, the present invention provides a technology for authenticating a user by using a fingerprint while controlling a pointer by using a fingerprint. However, in the related art, a fingerprint acquisition sensor for acquiring a large fingerprint image for user authentication and a fingerprint acquisition sensor for pointer adjustment for acquiring a small fingerprint image for pointer control are respectively provided. As an example, FIG. 2 illustrates a portable terminal device having two fingerprint acquisition sensors. That is, Fig. 2 (a) shows a part of a portable computer (laptop), and Fig. 2 (b) shows a part of a PDA. In the case of FIG. 2 (a), a fingerprint acquisition sensor 3 for fingerprint authentication for recognizing a user's fingerprint and a pointer adjustment sensor 4 for adjusting a pointer displayed on a monitor of a notebook using a finger. Are respectively provided. However, pointer control in a notebook is not a fingerprint, but a change in capacitance caused by the pressure of a finger or stylus. In addition, in the case of FIG. 2 (b), the fingerprint acquisition sensor 5 and the pointer adjustment sensor 6 for user authentication are respectively provided. In general, in the case of a notebook which controls the movement of the cursor on the monitor by using the finger movement information, the size of the fingerprint image is approximately 20 × 20 pixels in order to obtain the movement information of the fingerprint for adjusting the pointer. In order to obtain a fingerprint image of about 100 x 100 pixels or more. In the case of a real notebook, a product that acquires image data of about 100 x 100 pixels with a fingerprint acquisition sensor measuring 5 x 5 mm is being released.
이와 같이, 종래에는 포인터 조절을 위해서는 약 20 ×20 픽셀의 작은 크기의 데이터만 사용함으로써 저전력 고속장치를 구현하지만, 지문인증을 위해서는 약 100 ×100 픽셀 이상의 큰 크기의 지문이미지를 획득하고 이를 분석할 필요가 있기 때문에, 사용자 인증용 지문획득센서(3)(5) 및 포인터 조절용 센서(4)(6)가 각각 구비되어야 하는 문제점이 있었다. 또한, 이와 같이 두 개의 지문획득센서를 구비해야 하기 때문에 외관상 보기에도 좋지 않으며, 두 개의 지문획득센서를 구동해야 하는 기술적인 복잡성을 해소하지 못했다. 나아가, 종래의 경우 두 개의 지문획득센서를 장착해야 하기 때문에 최근 전자소자 및 기기의 경박단소화되고 있는 실정에서 부품 소형화에 악영향을 주게 된다.As such, in the related art, a low power high speed device is realized by using only small data of about 20 × 20 pixels for pointer adjustment, but a fingerprint image having a large size of about 100 × 100 pixels or more can be obtained and analyzed for fingerprint authentication. Since there is a need, the fingerprint acquisition sensors 3 and 5 for user authentication and the sensors 4 and 6 for pointer adjustment have to be provided, respectively. In addition, since it has to be provided with two fingerprint acquisition sensors as described above, it does not look good and does not solve the technical complexity of driving two fingerprint acquisition sensors. Furthermore, in the conventional case, since two fingerprint acquisition sensors must be mounted, in the current situation of thin and short electronic devices and devices, it has an adverse effect on the miniaturization of components.
이에 따라 당 기술분야에서는 이와 같이 휴대형 단말기기에서 사용자 인증을 위한 지문획득센서를 이용하여 사용자 인증을 수행함과 동시에 작은 크기의 지문이미지를 다수개 획득하여 포인터 조절을 수행하는 방법의 필요성이 대두되었다.Accordingly, there is a need in the art for a method of performing a pointer control by acquiring a plurality of small size fingerprint images while performing user authentication using a fingerprint acquisition sensor for user authentication in a portable terminal device.
본 발명은, 상기한 바와 같이 포인팅 장치에서 사용자 인증과 포인터 조정을 위해 두 개의 지문인식센서를 구비해야 하는 종래의 문제점을 해결하기 위해 제안된 것으로서, 하나의 지문인식센서를 이용하여 사용자 인증을 위한 지문이미지를 획득하여 사용자 인증을 수행함과 동시에 상기 지문이미지를 이용하여 포인터 조정을 수행함으로써 조작이 간편하고 소형의 휴대형 단말기기에 적합한 지문인증기능을 구비한 포인팅 장치 및 방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the conventional problem of having two fingerprint sensors for user authentication and pointer adjustment in a pointing device as described above, and using a single fingerprint sensor for user authentication. It is an object of the present invention to provide a pointing device and method having a fingerprint authentication function which is easy to operate and is suitable for a small portable terminal by performing a pointer adjustment using the fingerprint image while acquiring a fingerprint image and performing user authentication.
또한, 포인팅 기능을 사용하는 동안 자동적으로 지문인증기능을 수행하고 상기 지문인증이 수행되면 설정된 정보 및 기능을 제공하도록 하는 지능형 사용자 인터페이스를 지원하는 지문인증기능을 구비한 포인팅 장치 및 방법을 제공하는데 다른 목적이 있다.The present invention also provides a pointing device and method having a fingerprint authentication function that supports an intelligent user interface that automatically performs a fingerprint authentication function while using a pointing function and provides set information and functions when the fingerprint authentication is performed. There is a purpose.
상기 목적을 달성하기 위한 본 발명에 따른 지문인증기능을 구비한 포인팅 장치는, 이동하고자 하는 포인터(pointer)를 제어하는 손가락 표면에 대하여 제1 설정주기로 M ×N 픽셀 크기의 지문이미지를 획득하는 지문획득수단; 제2 설정주기에 따라 상기 획득된 지문이미지의 특징점과 기등록된 지문이미지의 특징점을 비교하여 상기 획득된 지문이미지의 사용자 인증을 수행하는 지문인증부; 및 제3 설정주기에 따라 상기 획득된 지문이미지로부터 m ×n 픽셀 크기(M,N > m,n)의 지문이미지를 추출하여 상기 지문이미지의 움직임 정보를 검출하고, 상기 움직임 정보에 따라 계산된 상기 지문이미지의 변위 데이터를 이용하여 상기 포인터의 이동 방향 및 거리를 계산하여 출력하는 포인팅제어부를 포함한다.A pointing device with a fingerprint authentication function according to the present invention for achieving the above object, the fingerprint to obtain a fingerprint image of the size of M × N pixels at a first setting period with respect to the finger surface for controlling the pointer to move (pointer) Obtaining means; A fingerprint authentication unit configured to perform user authentication of the acquired fingerprint image by comparing the acquired feature points of the fingerprint image with the feature points of the pre-registered fingerprint image according to a second setting period; And extracting a fingerprint image of m × n pixel size (M, N> m, n) from the obtained fingerprint image according to a third setting period to detect motion information of the fingerprint image, and calculated according to the motion information. And a pointing control unit which calculates and outputs a moving direction and a distance of the pointer using the displacement data of the fingerprint image.
본 발명의 일 실시예에서, 상기 포인팅 장치는, 상기 지문획득수단, 지문인증부 및 포인팅 제어부를 수용하고, 상기 지문획득수단과의 일정 거리에 손가락 표면이 접촉되는 평면으로 된 투명부재를 구비한 하우징을 추가로 포함할 수 있다.In one embodiment of the present invention, the pointing device includes a transparent member having a flat surface accommodating the fingerprint acquiring means, the fingerprint authentication part and the pointing control part, and having a finger surface in contact with a predetermined distance from the fingerprint acquiring means. It may further comprise a housing.
여기서, 상기 지문인증부는 상기 지문획득수단에 의해 획득된 지문이미지로부터 적어도 하나의 특징점을 추출하는 특징점검출수단; 및 상기 검출된 획득 지문이미지의 특징점과 기등록된 지문이미지의 특징점을 비교하여 상기 지문이미지의 사용자에 대한 인증여부를 결정하는 인증수단을 포함하며, 상기 포인팅 제어부는 상기 지문획득수단에 의해 획득된 지문이미지로부터 m ×n 픽셀 크기(M,N > m,n)의 지문이미지를 설정된 주기에 따라 추출하는 지문이미지 추출수단; 상기 추출된 m ×n 픽셀 크기의 지문이미지의 변위 데이터를 계산하여 상기 각 지문이미지의 움직임 정보를 검출하는 움직임검출수단; 및 상기 움직임검출수단으로부터 변위 데이터를 수신하고 상기 변위 데이터를 이용하여 상기 포인터가 이동할 방향 및 거리를 계산하는 연산수단을 포함한다.Here, the fingerprint authentication unit feature point detection means for extracting at least one feature point from the fingerprint image obtained by the fingerprint acquisition means; And authentication means for comparing the detected feature points of the acquired fingerprint image with the feature points of the pre-registered fingerprint image to determine whether to authenticate the user of the fingerprint image, wherein the pointing controller is obtained by the fingerprint acquisition means. Fingerprint image extracting means for extracting a fingerprint image of m × n pixel size (M, N > m, n) from a fingerprint image according to a set period; Motion detection means for detecting motion information of each fingerprint image by calculating displacement data of the extracted m × n pixel image; And calculating means for receiving displacement data from the motion detecting means and calculating a direction and distance to which the pointer moves using the displacement data.
본 발명의 바람직한 실시예에서 상기 지문인증부 및 상기 포인팅제어부는, 각자의 설정주기에 따라 상호 독립적으로 동작하여 각각 사용자 인증 및 포인터 조절을 수행한다. In the preferred embodiment of the present invention, the fingerprint authentication unit and the pointing control unit operate independently of each other according to their respective setting periods to perform user authentication and pointer adjustment, respectively.
또한, 상기 목적을 달성하기 위한 본 발명에 따른 지문인증기능을 구비한 포인팅 장치는, 이동하고자 하는 포인터(pointer)를 제어하는 손가락 표면에 대하여 제1 설정주기로 M ×N 픽셀 크기의 지문이미지를 획득하는 지문획득수단; 상기 획득되는 지문이미지를 저장하는 저장수단; 제2 설정주기에 따라 상기 저장수단에 저장된 지문이미지의 특징점과 기등록된 지문이미지의 특징점을 비교하여 상기 지문이미지의 사용자에 대한 인증여부를 결정하는 인증수단; 상기 저장수단에 저장된 지문이미지로부터 m ×n 픽셀 크기(M,N > m,n)의 지문이미지를 제3 설정주기에 따라 추출하는 지문이미지 추출수단; 상기 추출된 m ×n 픽셀 크기의 지문이미지의 변위 데이터를 계산하여 상기 각 지문이미지의 움직임 정보를 검출하는 움직임검출수단; 및 상기 움직임검출수단으로부터 변위 데이터를 수신하고 상기 변위 데이터를 이용하여 상기 포인터가 이동할 방향 및 거리를 계산하는 연산수단을 포함한다.In addition, the pointing device with a fingerprint authentication function according to the present invention for achieving the above object, to obtain a fingerprint image of the size of M × N pixels at a first setting period with respect to the finger surface for controlling the pointer (pointer) to be moved. Fingerprint acquisition means; Storage means for storing the obtained fingerprint image; Authentication means for determining whether to authenticate the user of the fingerprint image by comparing a feature point of the fingerprint image stored in the storage means with a feature point of a pre-registered fingerprint image according to a second setting period; Fingerprint image extraction means for extracting a fingerprint image of m × n pixel size (M, N> m, n) from a fingerprint image stored in the storage means according to a third setting period; Motion detection means for detecting motion information of each fingerprint image by calculating displacement data of the extracted m × n pixel image; And calculating means for receiving displacement data from the motion detecting means and calculating a direction and distance to which the pointer moves using the displacement data.
본 발명의 다른 실시예에서, 본 발명은 상기한 포인팅 장치가 탑재되어 사용자 지문인증 및 포인터 조절이 동시에 수행가능한 휴대 단말기기를 제공한다.In another embodiment of the present invention, the present invention provides a portable terminal device equipped with the above-described pointing device capable of simultaneously performing user fingerprint authentication and pointer adjustment.
또한, 상기 목적을 달성하기 위한 본 발명에 따른 지문인증기능을 구비한 포인팅 방법은, 이동하고자 하는 포인터(pointer)를 제어하는 손가락 표면에 대하여 소정의 지문획득센서를 이용하여 제1 설정주기에 따라 n개(n≥2)의 M ×N 픽셀크기의 지문이미지를 획득하는 지문이미지 획득단계; 제2 설정주기에 따라 상기 획득된 지문이미지의 특징점과 기등록된 지문이미지의 특징점을 비교하여 상기 지문이미지의 사용자에 대한 인증을 수행하는 인증단계; 상기 획득된 지문이미지로부터 m ×n 픽셀 크기(M,N > m,n)의 지문이미지를 제3 설정주기에 따라 추출하는 지문이미지 추출단계; 상기 추출된 m ×n 픽셀 크기의 각 지문이미지의 변위 데이터를 계산하여 상기 각 지문이미지의 움직임 정보를 검출하는 움직임검출단계; 및 상기 계산된 변위 데이터를 이용하여 상기 포인터의 이동방향 및 거리를 계산하여 출력하는 연산단계를 포함한다.In addition, the pointing method with a fingerprint authentication function according to the present invention for achieving the above object, according to the first setting period using a predetermined fingerprint acquisition sensor for the finger surface for controlling the pointer (pointer) to move to a fingerprint image acquisition step of acquiring n (n ≧ 2) fingerprint images of M × N pixel size; An authentication step of authenticating the user of the fingerprint image by comparing the acquired feature points of the fingerprint image with the feature points of the pre-registered fingerprint image according to a second setting period; A fingerprint image extraction step of extracting a fingerprint image of m × n pixel size (M, N> m, n) from the obtained fingerprint image according to a third setting period; A motion detection step of detecting motion information of each fingerprint image by calculating displacement data of each fingerprint image of the extracted m × n pixel size; And calculating and outputting a moving direction and a distance of the pointer using the calculated displacement data.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 본 발명을 보다 구체적으로 설명한다. 본 발명에 첨부된 도면에서 실질적으로 동일한 구성 및 기능을 가진 구성요소들은 동일한 도면부호를 사용할 것이다.Hereinafter, with reference to the accompanying drawings, preferred embodiments of the present invention will be described in more detail the present invention. In the accompanying drawings of the present invention, components having substantially the same configuration and function will use the same reference numerals.
도 3은 본 발명에 따른 지문인증기능을 구비한 포인팅 장치의 일 실시예에 따른 구성도이다. 도 3에 도시된 바와 같이, 본 발명에 따른 지문인증기능을 구비한 포인팅 장치는 발광수단(32), 집광수단(33), 지문획득수단(34), 지문인증부(100) 및 포인팅제어부(200)를 포함한다. 보다 구체적으로는 상기 지문인증부(100)는 특징점추출수단(35) 및 인증수단(36)을 포함하며, 상기 포인팅제어부(200)는 지문이미지 추출수단(37), 움직임검출수단(38) 및 연산수단(39)을 포함한다. 여기서, 본 발명에 따른 포인팅 장치는, 상기 발광수단, 집광수단, 지문획득수단, 특징점추출수단, 움직임검출수단 및 연산수단을 수용하고, 상기 지문획득수단과의 일정 거리에 상기 손가락 표면이 접촉되는 평면으로 된 투명부재(31)를 구비한 하우징(미도시)을 추가로 포함할 수 있다. 보다 바람직하게는 도 3에 도시된 본 발명의 포인팅 장치는 휴대형 단말기기의 내부에 적절히 탑재된다.Figure 3 is a block diagram according to an embodiment of a pointing device with a fingerprint authentication function according to the present invention. As shown in FIG. 3, the pointing device with a fingerprint authentication function according to the present invention includes a light emitting means 32, a light collecting means 33, a fingerprint acquiring means 34, a fingerprint authentication unit 100, and a pointing control unit ( 200). More specifically, the fingerprint authentication unit 100 includes a feature point extraction unit 35 and an authentication unit 36, and the pointing control unit 200 includes a fingerprint image extraction unit 37, a motion detection unit 38, and Computing means 39 is included. Here, the pointing device according to the present invention accommodates the light emitting means, the light collecting means, the fingerprint acquiring means, the feature point extracting means, the motion detecting means, and the computing means, and the finger surface is in contact with a predetermined distance from the fingerprint acquiring means. It may further include a housing (not shown) having a transparent member 31 in the plane. More preferably, the pointing device of the present invention shown in FIG. 3 is suitably mounted in the portable terminal device.
도 3에 도시된 본 발명의 일 실시예에 따른 포인팅 장치를 참조하면, 지문이미지를 획득하고자 하는 손가락(30)을 투명부재(31)에 접촉시키면, 발광수단(32)에서 접촉대상인 손가락(30)의 표면으로 빛을 발산한다. 이러한 발광수단(32)은 적어도 하나의 발광 다이오드(LED)를 포함한다. Referring to the pointing device according to an embodiment of the present invention shown in FIG. 3, when the finger 30 to obtain a fingerprint image is in contact with the transparent member 31, the finger 30 to be contacted by the light emitting means 32 is shown. Radiate light to the surface of the The light emitting means 32 includes at least one light emitting diode (LED).
집광수단(33)은 상기 발광수단(32)으로부터 접촉대상으로 발산된 빛에 의해 생성된 지문이미지를 집광하는 장치이다. 상기 집광수단(33)의 일례로서, 통상 볼록 광학 렌즈가 사용될 수 있다.The light collecting means 33 is a device for collecting a fingerprint image generated by the light emitted from the light emitting means 32 to the contact object. As one example of the light collecting means 33, a convex optical lens can be used.
지문획득수단(34)은 설정된 주기에 따라 이동하고자 하는 포인터(pointer)를 제어하는 손가락 표면의 지문이미지를 획득한다. 상기 지문획득수단(34)은 상기 집광수단(33)에 의해 집광된 아날로그 지문이미지를 감지하여 디지털 지문이미지로 변환하여 M ×N 픽셀 크기의 지문을 획득한다. 이와 같이 획득된 지문이미지는 바람직하게는 사용자 인증에 사용될 수 있는 크기를 갖는다. 즉, 1회에 획득된 지문이미지를 이용하여 그 지문의 사용자에 대한 인증을 수행할 수 있을 정도의 크기로 획득되는 것이다. 이러한 지문획득수단(34)은 복수의 시모스 이미지 센서(CIS:CMOS Image Sensor)가 2차원적으로 배치되는 광센서 어레이를 포함한다. 이때, 상기 지문획득수단(34)은 설정된 주기로 지문이미지를 획득한다. 상기 지문획득수단(34)은 소형 휴대용 기기에 적합하도록 제작되며, 바람직하게는 사용자 인증을 위한 지문이미지를 획득한다. 다시 말하면, 상기 지문획득수단(34)은 예를 들어 약 100 ×100 픽셀 이상의 큰 지문이미지를 획득할 수 있는 시모스 이미지 센서(CIS)를 사용한다. 이와 같이, 사용자 인증을 위한 지문획득수단(34)은 통상 90 ×90 픽셀부터 400 ×400 픽셀까지 다양한 크기의 지문이미지를 획득할 수 있는 CIS를 사용할 수 있다. The fingerprint acquiring means 34 acquires a fingerprint image of the surface of the finger which controls the pointer to move according to the set period. The fingerprint acquiring means 34 detects the analog fingerprint image collected by the condensing means 33 and converts it into a digital fingerprint image to obtain a fingerprint having an M × N pixel size. The fingerprint image thus obtained preferably has a size that can be used for user authentication. That is, by using the fingerprint image obtained at one time is obtained to the size enough to authenticate the user of the fingerprint. The fingerprint acquiring means 34 includes an optical sensor array in which a plurality of CMOS image sensors (CIS) are two-dimensionally arranged. At this time, the fingerprint acquisition means 34 acquires a fingerprint image at a set period. The fingerprint acquisition means 34 is made to be suitable for a small portable device, and preferably obtains a fingerprint image for user authentication. In other words, the fingerprint acquisition means 34 uses a CMOS image sensor (CIS) capable of obtaining a large fingerprint image of, for example, about 100 x 100 pixels or more. As such, the fingerprint acquisition means 34 for user authentication may use a CIS capable of acquiring fingerprint images having various sizes from 90 × 90 pixels to 400 × 400 pixels.
상기 발광수단(32)으로부터 발생된 빛은 손가락(30) 표면에 비춰지게 되고, 이 빛은 상기 손가락(30) 표면의 패턴에 따라 반사된다. 손가락의 바닥 표면에서 반사된 빛은 집광수단(33)을 통해 지문획득수단(34)에 상을 형성한다. 상기 형성된 상은 지문획득수단(34)에 의해 디지털 지문이미지로 변환된다. 이와 같은 지문이미지 획득은 시간축 상에서 매우 빠른 속도로 연속해서 시행된다.Light generated from the light emitting means 32 is reflected on the surface of the finger 30, and the light is reflected according to the pattern of the surface of the finger 30. Light reflected from the bottom surface of the finger forms an image on the fingerprint acquiring means 34 through the light collecting means 33. The formed image is converted into a digital fingerprint image by the fingerprint acquisition means 34. Such fingerprint image acquisition is performed continuously at a very high speed on the time axis.
지문인증부(100)는 다른 설정된 주기에 따라 상기 지문획득수단(34)에서 획득된 지문이미지와 기등록된 지문이미지를 비교하여 상기 획득된 지문이미지의 사용자 인증을 수행한다. 이때, 상기 두 지문이미지의 비교시 바람직하게는 상기 획득된 지문이미지의 특징점과 상기 기등록된 지문이미지의 특징점을 비교한다. 상기 지문인증부(100)에서는 통상적으로 1초당 1~3번씩 상기 획득된 지문이미지의 특징점과 기등록된 지문이미지의 특징점을 비교한다. 즉, 사용자 인증을 위한 지문인식 처리는 통상적으로 1초당 1~3개의 지문이미지를 받아서 특징점을 추출하고 기등록된 지문이미지의 특징점과 비교하여 사용자 인증을 수행하게 된다. 보다 바람직하게는 지문인식 처리는 1초 단위로 수행한다.The fingerprint authentication unit 100 compares the fingerprint image acquired by the fingerprint acquisition means 34 with a pre-registered fingerprint image according to another set period to perform user authentication of the acquired fingerprint image. In this case, preferably, the feature points of the acquired fingerprint image are compared with the feature points of the pre-registered fingerprint image. The fingerprint authentication unit 100 compares the feature points of the fingerprint image with the feature points of the registered fingerprint image one to three times per second. That is, a fingerprint recognition process for user authentication typically takes 1 to 3 fingerprint images per second, extracts feature points, and performs user authentication by comparing with feature points of a pre-registered fingerprint image. More preferably, the fingerprint recognition process is performed in units of 1 second.
포인팅제어부(200)는 상기 지문획득수단(34)에서 획득된 지문이미지로부터 m ×n 픽셀 크기(M,N > m,n)의 지문이미지를 다른 설정된 주기에 따라 추출하여 상기 지문이미지의 움직임 정보를 검출하고, 상기 움직임 정보에 따라 계산된 상기 지문이미지의 변위 데이터를 이용하여 상기 포인터의 이동 방향 및 거리를 계산하여 출력한다. 바람직하게는 상기 지문이미지의 특징점의 움직임 정보를 검출하고 그 움직임 정보에 따라 상기 지문이미지의 특징점의 변위 데이터를 계산한다. 나아가, 바람직하게는 상기 특징점의 변위 데이터에 대응하는 포인터의 이동방향 및 거리를 계산하여 출력한다. 상기 포인팅제어부(200)는 손가락 위치가 이동함에 따라 설정된 주기로 획득되는 지문이미지로부터 예를 들어, 약 20 ×20 픽셀 크기의 지문이미지를 추출한 후 상기 추출된 각 지문이미지의 변위 데이터를 계산하고 상기 변위 데이터를 이용하여 포인터(pointer)가 이동할 2차원 좌표값(△X,△Y), 즉, 포인터가 이동할 2차원적인 방향 및 거리를 계산하여 출력하게 된다. 상기 포인팅제어부(200)는 약 1초당 800~1200번 수준으로 상기 지문이미지를 추출하고, 상기 주기에 따라 각 추출된 지문이미지의 변위 데이터를 계산한다.The pointing controller 200 extracts a fingerprint image of m × n pixel size (M, N> m, n) from the fingerprint image acquired by the fingerprint acquisition means 34 according to a different set period, thereby moving information of the fingerprint image. Is detected and the moving direction and distance of the pointer are calculated and output using the displacement data of the fingerprint image calculated according to the motion information. Preferably, the motion information of the feature point of the fingerprint image is detected and the displacement data of the feature point of the fingerprint image is calculated according to the motion information. Further, preferably, the moving direction and the distance of the pointer corresponding to the displacement data of the feature point are calculated and output. The pointing controller 200 extracts, for example, a fingerprint image having a size of about 20 × 20 pixels from a fingerprint image acquired at a set period as the finger position moves, and then calculates displacement data of each extracted fingerprint image and displaces the displacement. Using the data, the two-dimensional coordinate values ΔX and ΔY to which the pointer moves, that is, the two-dimensional directions and distances to which the pointer moves, are calculated and output. The pointing controller 200 extracts the fingerprint image at a level of 800 to 1200 times per second, and calculates displacement data of each extracted fingerprint image according to the period.
상기 지문인증부 및 상기 포인팅제어부는 각자의 설정주기에 따라 상호 독립적으로 동작하여 각각 사용자 인증 및 포인터 조절을 수행할 수 있다. 즉, 포인팅 장치의 사용자는 지문을 이용하여 포인터를 조절하는 도중에 지문인증부는 상기 포인팅 조절과정과는 독립적으로 사용자의 지문을 인증하게 된다. 이는 특별한 지문인증을 위한 과정이 필요 없이 포인터 조절을 위한 네비게이션 도중에 지문을 인증하도록 하는 것이다. 따라서, 사용자 인증을 위한 사용자에게 별도의 요구사항 없이 포인터 조절 도중에 주기적으로 지문을 인증할 수 있다.The fingerprint authentication unit and the pointing control unit may operate independently of each other according to their respective setting periods to perform user authentication and pointer control, respectively. That is, while the user of the pointing device adjusts the pointer using the fingerprint, the fingerprint authentication unit authenticates the user's fingerprint independently of the pointing adjustment process. This allows fingerprints to be authenticated during navigation for pointer control without the need for special fingerprint authentication. Therefore, fingerprints can be periodically authenticated during pointer adjustment without requiring the user for user authentication.
이하에서, 상기 지문인증부(100) 및 포인팅제어부(200)를 보다 구체적으로 설명한다. Hereinafter, the fingerprint authentication unit 100 and the pointing control unit 200 will be described in more detail.
특징점추출수단(35)은 설정된 주기에 따라 매회 획득된 지문 이미지로부터 각각 적어도 하나의 특징점을 추출한다. 이러한 특징점은 주로 지문의 융선의 길이, 방향, 융선이 나뉘거나 끝나는 지점의 위치 데이터로 구성된다. The feature point extracting means 35 extracts at least one feature point from the fingerprint image obtained each time according to a set period. These feature points consist mainly of the length, direction, and location data of the ridges where the ridges are divided or terminated.
인증수단(36)은 상기 획득된 지문이미지의 특징점과 기등록된 지문이미지의 특징점을 비교하여 상기 지문이미지의 사용자에 대한 인증여부를 결정한다. 바람직하게는 상기 인증수단(36)은 상기 획득된 지문이미지의 특징점과 기등록된 지문이미지의 특징점을 상호 비교하여 상기 두 지문이미지가 동일한지 비교한 후 사용자의 인증여부를 결정한다. 이때, 상기 인증수단(36)은 상기 획득된 지문이미지와 기등록된 지문이미지의 전역적 정보 및 지역적 특성 정보를 조합하거나 또는 두 지문이미지에 대한 특징점 정합을 이용하여 상기 두 지문이미지를 비교하는 비교수단(미도시)을 별도로 포함할 수도 있다. 이와 같이 비교수단은 상기 두 지문이미지가 동일한지 여부를 판단할 수 있다. 상기 인증수단(36)은 상기 지문획득수단(34)에서 획득된 지문이미지의 특징점과 기등록된 지문이미지의 특징점이 동일하다면 사용자에 대한 인증을 수행하고, 동일하지 않다면 사용자에 대한 인증을 거절한다.The authentication means 36 compares the acquired feature points of the fingerprint image with the feature points of the pre-registered fingerprint image to determine whether the fingerprint image is authenticated to the user. Preferably, the authentication means 36 compares the feature points of the obtained fingerprint image with the feature points of the pre-registered fingerprint image and compares the two fingerprint images to determine whether the user is authenticated. At this time, the authentication means 36 compares the two fingerprint images by combining the acquired fingerprint image with global information and local characteristic information of the registered fingerprint image or by using feature point matching for the two fingerprint images. Means (not shown) may also be included separately. As such, the comparison means may determine whether the two fingerprint images are the same. The authentication means 36 authenticates the user if the feature point of the fingerprint image acquired by the fingerprint acquisition means 34 and the feature point of the pre-registered fingerprint image are the same, and rejects the authentication of the user if they are not the same. .
지문이미지 추출수단(37)은 상기 지문획득수단(34)에서 획득한 M ×N 픽셀 크기의 지문이미지로부터 m ×n 픽셀 크기(여기서, M,N > m,n)의 지문이미지를 추출한다. 상기 추출된 m ×n 픽셀 크기의 지문이미지는 포인터(pointer) 조절에 이용될 수 있는 크기를 갖는다. 즉, 포인팅 장치에서 포인터 조절을 위한 지문이미지는 예를 들어, 20 ×20 픽셀 크기면 충분하기 때문에 통상적으로 작은 크기의 지문이미지를 추출한다. 상기 지문이미지 추출수단(37)은 약 15 ×15 픽셀 크기부터 약 80 ×80 픽셀 크기의 지문이미지를 추출한다. 따라서, 지문이미지 추출수단(37)은 상기 지문획득수단(34)에서 사용자 인증을 위해 획득한 예를 들어 약 100 ×100 픽셀 크기의 지문이미지로부터 포인터 조절을 위해 예를 들어 약 20 ×20 픽셀 크기의 지문이미지를 추출하는 것이다. 여기서, 상기한 수치는 일례에 불과하며 상기 획득된 M ×N 픽셀 크기의 지문이미지는 사용자 인증에 적용될 수 있고, 상기 추출된 m ×n 픽셀 크기의 지문이미지는 포인터 조절에 적용될 수 있으면 충분할 것이다.The fingerprint image extracting means 37 extracts a fingerprint image of m × n pixel size (where M, N> m, n) from the fingerprint image of M × N pixel size obtained by the fingerprint obtaining means 34. The extracted m × n pixel size fingerprint image has a size that can be used to adjust a pointer. That is, since the fingerprint image for adjusting the pointer in the pointing device is sufficient, for example, 20 × 20 pixels, a fingerprint image of a small size is typically extracted. The fingerprint image extracting means 37 extracts a fingerprint image having a size of about 15 × 15 pixels to about 80 × 80 pixels. Accordingly, the fingerprint image extracting means 37 may be, for example, about 20 × 20 pixels in size to adjust the pointer from a fingerprint image of about 100 × 100 pixels, which is obtained for the user authentication in the fingerprint obtaining means 34. To extract the fingerprint image. In this case, the numerical value is just an example, and the obtained M × N pixel size fingerprint image may be applied to user authentication, and the extracted m × n pixel size fingerprint image may be applied to pointer adjustment.
움직임검출수단(38)은 설정된 주기에 따라 매회 획득되는 각 지문이미지로부터 움직임 정도를 파악한다. 이때, 상기 움직임검출수단(38)은 바람직하게는 운동추적(Motion Estimation)방식을 이용하여 손가락의 이동에 따른 지문이미지의 변위 데이터(방향 및 거리)를 계산함으로써 상기 지문의 움직임 정도를 파악한다. 더 바람직하게는 상기 움직임검출수단(38)은 설정된 주기로 획득된 지문이미지의 특징점의 변위 데이터를 계산함으로써 상기 지문이미지의 움직임 정도를 검출해 낸다. 이때, 이전주기에 획득된 지문이미지의 특징점으로부터 현재 주기에 획득된 지문이미지의 특징점의 이동거리 및 방향을 계산함으로써 상기 지문이미지의 변위 데이터를 계산한다. 지문의 획득 뿐만 아니라 지문의 움직임 정보 및 지문인증에서 특징점 추출은 매우 중요한 요소이다. 지문에서 특징점을 얼마나 신뢰성 있게 추출하느냐에 따라 지문의 움직임 및 지문인증의 신뢰성이 달라질 수 있을 것이다.The motion detecting means 38 detects the degree of motion from each fingerprint image obtained each time according to a set period. In this case, the motion detecting means 38 preferably determines the degree of movement of the fingerprint by calculating displacement data (direction and distance) of the fingerprint image according to the movement of the finger by using a motion estimation method. More preferably, the motion detecting means 38 detects the degree of movement of the fingerprint image by calculating displacement data of the feature points of the fingerprint image acquired at a set period. In this case, the displacement data of the fingerprint image is calculated by calculating a moving distance and a direction of the feature point of the fingerprint image acquired in the current period from the feature point of the fingerprint image acquired in the previous period. Feature extraction is a very important factor in fingerprint movement information and fingerprint authentication as well as fingerprint acquisition. Depending on how reliable the feature point is extracted from the fingerprint, the movement of the fingerprint and the reliability of fingerprint authentication may vary.
연산수단(39)은 상기 움직임검출수단(38)으로부터 지문의 움직임 정도 즉, 변위 데이터를 수신하고, 상기 수신된 변위 데이터를 이용하여 포인터가 이동할 2차원 좌표값(△X,△Y), 즉 상기 포인터가 이동할 방향과 거리/이동량을 계산한다. 상기 연산수단(39)은 통상 포인팅 장치나 포인팅 장치가 탑재된 기기의 프로세서에 결합된다. 따라서, 프로세서는 디스플레이 장치의 화면에서 포인터가 원하는 방향 및 거리로 움직이도록 제어할 수 있다.The calculation means 39 receives the degree of movement of the fingerprint, i.e., displacement data, from the motion detection means 38, and the two-dimensional coordinate values (ΔX, ΔY) to which the pointer is to be moved using the received displacement data, namely The direction in which the pointer moves and the distance / travel amount are calculated. The computing means 39 is typically coupled to a pointing device or a processor of a device on which the pointing device is mounted. Therefore, the processor may control the pointer to move in a desired direction and distance on the screen of the display device.
본 발명의 다른 실시예에서는, 본 발명의 포인팅 장치는 기저장된 정보를 디스플레이하는 표시수단을 추가로 포함할 수도 있다. 본 발명의 포인팅 장치가 표시수단을 추가로 포함하는 경우, 상기 표시수단은 상기 지문인증부(100)의 지문인증 여부에 따른 신호를 수신하고 그 신호에 따른 사용자 인증 여부에 따라 특정 정보를 디스플레이할 수 있다. 예를 들어, 상기 지문인증부(100)에서 사용자 인증여부를 결정함에 있어, 등록된 사용자로서 인증이 수행되면 상기 등록된 사용자가 사용할 수 있는 모든 정보 및 단말기기의 수행가능한 기능을 디스플레이하고, 등록된 사용자 인증이 거절되면 미리 설정된 제한상황에 따라 허용된 정보 및 수행가능한 기능만 선택할 수 있도록 디스플레이한다. 따라서, 미리 등록된 사용자가 아닌 경우에는 사용자의 개인정보, 시스템의 제어정보, 전자상거래 등의 유료 서비스 등은 개인 정보보호 차원에서 다른 사용자의 액세스를 제한할 수 있다. 따라서, 본 발명의 포인팅 장치는 별도의 지문 인증의 요구없이 포인팅 등과 같은 다른 기능을 수행하고 있는 중에도 지문인증 및 그 지문인증에 따른 적절할 기능을 수행하도록 지능형 사용자 인터페이스를 구현할 수 있다.In another embodiment of the present invention, the pointing device of the present invention may further include display means for displaying previously stored information. When the pointing device of the present invention further includes a display means, the display means receives a signal according to whether the fingerprint authentication unit 100 is fingerprint authenticated and displays specific information according to whether the user is authenticated according to the signal. Can be. For example, in determining whether to authenticate a user in the fingerprint authentication unit 100, when authentication is performed as a registered user, all information available to the registered user and an executable function of the terminal device are displayed and registered. If the authorized user authentication is rejected, only the allowed information and the performable function can be selected according to the preset limitations. Therefore, when the user is not a registered user, personal information of the user, control information of the system, and a paid service such as an electronic commerce may restrict access of other users in order to protect personal information. Therefore, the pointing device of the present invention can implement an intelligent user interface to perform fingerprint authentication and appropriate functions according to the fingerprint authentication even while performing other functions such as pointing without requiring a separate fingerprint authentication.
상기한 본 발명에 따른 포인팅 장치에서 주의할 것은, 본 발명에 따른 지문획득수단(34)은 다양한 방식으로 구현할 수 있다는 것이다. 즉, 도 3에 도시된 일 실시예와 같이 광학방식을 이용하여 지문획득수단(34)을 구현할 수도 있으며, 다른 실시예에서는 반도체센서(active capacitive sensor)를 이용하여 지문획득수단(34)을 구현할 수도 있다. 상기와 같은 광학방식의 경우 오랜 기간 검증기관을 거친 후 상용화되고 있으며, 스크래치 및 온도 등 내구성이 좋고 견고하다는 특징이 있다. 반도체센서(active capacitive sensor)를 이용하는 경우 화상 이미지가 선명하고 서의 소형화가 가능하므로 응용분야가 다양하여 생체인식센서에 널리 활용되고 있다.It should be noted that in the pointing device according to the present invention described above, the fingerprint acquisition means 34 according to the present invention can be implemented in various ways. That is, the fingerprint acquisition means 34 may be implemented by using an optical method as in the embodiment shown in FIG. 3, and in another embodiment, the fingerprint acquisition means 34 may be implemented by using a semiconductor capacitive sensor. It may be. In the case of the optical method as described above, it has been commercialized after a long period of verification institution, and it is characterized by durability and good durability such as scratch and temperature. In the case of using the active capacitive sensor, the image image is clear and the miniaturization of the book is possible, and thus it is widely used in biometric sensors due to various application fields.
이와 같이, 본 발명에 따른 지문획득수단(34)은 광학 방식 또는 반도체센서 방식으로 구현할 수 있는데, 만약 반도체센서를 이용하여 지문이미지를 획득하는 경우, 상기한 발광수단(32) 및 집광수단(33)은 필요없게 된다. 즉, 반도체센서를 이용하여 지문획득센서 모듈을 구성하는 경우에는 도 3에 도시된 광학방식에서 필요한 발광수단(32) 및 집광수단(33)의 구성 없이도 지문이미지를 획득할 수 있다는 것이다. 이러한 지문획득과 관련해서는 다양한 기술이 공지되어 있다. 이는 후술하는 도 4의 경우에도 마찬가지다. 따라서, 도 3 및 후술하는 도 4의 경우는 광학방식으로 지문을 획득하는 장치를 구현한 것으로서, 이는 본 발명의 일 실시예에 따른 것이며, 반도체센서 방식으로도 지문이미지 획득이 가능함은 물론이다. 따라서, 본 발명에서는 어떠한 방식으로 지문이미지를 획득하여도 상관없다.As described above, the fingerprint acquiring means 34 according to the present invention may be implemented by an optical method or a semiconductor sensor method. If the fingerprint image is acquired by using the semiconductor sensor, the light emitting means 32 and the light collecting means 33 may be used. ) Is not necessary. That is, when the fingerprint acquisition sensor module is configured using the semiconductor sensor, the fingerprint image can be obtained without the configuration of the light emitting means 32 and the light collecting means 33 necessary for the optical method shown in FIG. 3. Various techniques are known in connection with such fingerprint acquisition. The same applies to the case of FIG. 4 described later. Accordingly, FIG. 3 and FIG. 4 to be described later implement an apparatus for acquiring a fingerprint by an optical method, which is according to an embodiment of the present invention, and of course, a fingerprint image can be obtained by a semiconductor sensor method. Therefore, in the present invention, the fingerprint image may be obtained in any manner.
한편, 본 발명의 바람직한 일 실시예에서, 광학방식을 이용하여 상기 지문획득수단(34)을 구현하는 경우 소형의 지문획득수단(34)를 이용하여 사용자 인증을 위한 큰 크기의 지문이미지를 용이하게 획득하기 위하여 실제 사용자 지문의 크기를 1/2 내지 1/4 크기로 축소하여 획득할 수도 있다. 이는 '축소광학계'를 이용하여 구현할 수 있다. 이하에서 축소광학을 이용한 지문획득수단(34)에서의 지문이미지 획득 원리 및 과정을 보다 구체적으로 설명한다.On the other hand, in a preferred embodiment of the present invention, when the fingerprint acquisition means 34 is implemented using an optical method, a fingerprint image of a large size for user authentication is easily used by using the small fingerprint acquisition means 34. In order to acquire, the size of the actual user fingerprint may be reduced to 1/2 to 1/4 size. This can be achieved using a 'shrink optical system'. Hereinafter, the principle and process of fingerprint image acquisition in the fingerprint acquisition means 34 using reduced optics will be described in more detail.
도 4는 본 발명에 따른 미세공간에 실장 가능한 3:1 축소광학의 설계예를 도시한 도면이다. 도 4에 도시된 바와 같이 미세공간에 상기 광학을 실장하기 위하여 비구면 렌즈(42)를 사용한다. 도 4와 같이 구성하게 되면 왼쪽 화살표(41)로 표시된 실물의 크기를 오른쪽 화살표(43)와 같이 약 1/3의 크기의 축소되어 얻어진다. 이는 왼쪽의 화살표(41)로 표현된 물체가 비구면 렌즈(42)를 통과하여 반대편에 상이 형성되면 오른쪽에 놓일 지문획득수단(34)에는 약 1/3의 크기로 역상이 생기게 된다. 이러한 원리를 적용하여 축소광학을 구현함으로써 실제 지문의 크기를 1/n(여기서, n은 1~5의 실수)의 크기로 축소하여 얻을 수 있다. 4 is a diagram showing a design example of 3: 1 reduced optics that can be mounted in a microspace according to the present invention. As shown in FIG. 4, an aspherical lens 42 is used to mount the optics in the microcavity. When configured as shown in FIG. 4, the actual size indicated by the left arrow 41 is obtained by reducing the size of about 1/3 as shown by the right arrow 43. This means that if the object represented by the arrow 41 on the left side passes through the aspherical lens 42 and the image is formed on the opposite side, the reverse phase will be about 1/3 of the size of the fingerprint acquisition means 34 to be placed on the right side. By applying reduction principle by applying this principle, the size of the actual fingerprint can be obtained by reducing the size of 1 / n (where n is a real number of 1 to 5).
도 5는 본 발명에 따른 지문획득수단에 축소광학계를 적용하여 획득한 지문이미지의 일례를 도시하고 있다. 도 5(a)는 1:1 광학시 지문획득수단(34)에서 획득한 지문이미지를 나타내며, 도 5(b)는 본 발명의 일 실시예에 따른 4:1 축소광학시 지문획득수단(34)에서 획득한 지문이미지를 나타낸다. 도 5(a) 및 도 5(b)를 참조하면, 일반적으로 사람의 지문 간격은 1mm에 약 2개의 골(valley)이 지나간다. 즉, 한 개의 골은 약 0.5mm이다. 따라서, 지문획득수단(34)의 인식 픽셀이 0.5mm이고, 20 ×20 픽셀의 지문획득수단(34)을 사용하는 경우, 도 5(a)에 도시된 바와 같이 획득하여 처리할 수 있는 지문의 개수는 단 2개에 불과하다. 이와 같이 획득되는 지문이미지의 골의 개수가 적은 경우 사용자 인증시 정확도가 떨어질 수 있으며, 포인터 조절시에도 성능 저하의 가능성이 존재한다. 따라서 충분한 데이터 수집을 위해서는 센서의 크기를 키우는 등의 조치가 필요할 수도 있다.5 shows an example of a fingerprint image obtained by applying a reduced optical system to the fingerprint acquisition means according to the present invention. FIG. 5 (a) shows the fingerprint image acquired by the fingerprint acquiring means 34 during 1: 1 optical operation, and FIG. 5 (b) shows the fingerprint acquiring means 34 during 4: 1 reduction optical operation according to an embodiment of the present invention. ) Shows the fingerprint image acquired in 5 (a) and 5 (b), a fingerprint interval of a human generally passes about two valleys at 1 mm. That is, one bone is about 0.5 mm. Therefore, when the recognition pixel of the fingerprint acquisition means 34 is 0.5 mm and the fingerprint acquisition means 34 of 20 x 20 pixels is used, as shown in FIG. The number is only two. When the number of valleys of the fingerprint image obtained as described above is small, the accuracy may be reduced when the user is authenticated, and there is a possibility of deterioration even when the pointer is adjusted. Therefore, sufficient data collection may require measures such as increasing the size of the sensor.
따라서, 이를 개선하기 위해 본 발명에서는 상기한 축소광학계를 상기 지문획득수단(34)에 적용함으로써 더 많은 데이터를 얻을 수 있다. 즉, 간격이 0.5mm인 지문의 크기를 1/n(여기서, n은 1~5의 실수)의 크기로 축소하여 획득하도록 한다. 보다 바람직하게는 1/2 내지 1/4로 축소하여 획득하도록 한다. 이로써 소형의 지문획득수단(34)을 이용하여도 도 5(a)에서 보다 더 많은 데이터를 얻을 수 있다. 도 5(b)에 도시된 바와 같이 상기한 축소광학을 이용하여 1/4로 축소하였을 경우에는 0.5mm의 지문간격을 약 0.125mm의 간격으로 줄일 수 있으므로 도 5(a)와 비교하여 같은 크기의 지문획득수단(34)으로 4배 내지 16배의 지문 정보를 얻을 수 있게 된다. 다시 말하면, 평균 간격이 0.5mm인 지문을 1/2 내지 1/4로 축소하여 지문이미지를 획득한다면, 지문획득수단(34)의 크기를 1/4 내지 1/16으로 소형화 할 수 있고, 이로써 소형, 저전력, 저가의 지문획득수단(34)으로 포인터 조절 및 사용자 인증을 위한 지문이미지 획득이 가능하며, 특히 소형의 휴대 단말기기에 적용시 매유 유리하다.Therefore, in order to improve this, in the present invention, more data can be obtained by applying the above-described reduced optical system to the fingerprint acquisition means 34. That is, the size of the fingerprint having a distance of 0.5 mm is reduced to a size of 1 / n (where n is a real number of 1 to 5). More preferably, it is reduced to 1/2 to 1/4 to obtain. This makes it possible to obtain more data than in Fig. 5 (a) even when the small fingerprint acquisition means 34 is used. As shown in FIG. 5 (b), when the lens is reduced to 1/4 by using the above-mentioned reduction optical fiber, 0.5 mm fingerprint spacing can be reduced to about 0.125 mm, and thus the same size as in FIG. 5 (a). 4 to 16 times the fingerprint information can be obtained by the fingerprint acquisition means (34). In other words, if the fingerprint having an average interval of 0.5 mm is reduced to 1/2 to 1/4 to obtain a fingerprint image, the size of the fingerprint acquiring means 34 can be reduced to 1/4 to 1/16, thereby. It is possible to obtain a fingerprint image for adjusting the pointer and authenticating the user with a small, low power, low cost fingerprint acquisition means 34, and is particularly advantageous when applied to a small portable terminal device.
도 6은 본 발명에 따른 지문인증기능을 구비한 포인팅 장치의 다른 실시예에 따른 구성도이다. 도 6을 참조하면, 본 발명에 따른 포인팅 장치는 상기 지문획득수단(34)에서 설정된 주기에 따라 획득한 지문이미지를 저장하는 저장수단(60)을 더 포함할 수 있다. 이처럼, 저장수단(60)을 더 포함하는 경우, 본 발명에 따른 포인팅 장치는, 상기 설정된 주기에 따라 매회 획득된 지문이미지를 상기 저장수단(60)에 저장하고, 상기 저장된 다수개의 지문이미지를 이용하여 지문인증부(100) 및 포인팅제어부(200)에서는 각각 사용자 인증 및 포인터 조절을 수행할 수 있다. 보다 구체적으로는 도 3에 도시된 포인팅 장치의 경우, 상기 지문획득수단(34)에서 설정된 주기로 획득되는 지문이미지를 이용하여 사용자 인증을 수행함과 동시에 포인터 조절을 수행하지만, 도 6에서 저장수단(60)이 추가된 포인팅 장치의 경우, 상기 지문획득수단(34)에서 설정된 주기로 획득되는 지문이미지를 저장수단(60)에 먼저 저장시킨 후, 포인터 조절에 필요한 크기의 지문이미지만을 취하여 포인터 조절을 수행하도록 함으로써 저가, 저전력 및 고속의 네비게이션(navigation) 정보 생산이 가능한 포인터를 구현할 수 있다. 이때, 상기 저장된 지문이미지를 이용하여 동시에 사용자 인증을 수행할 수 있음은 물론이다.6 is a configuration diagram according to another embodiment of the pointing device with a fingerprint authentication function according to the present invention. Referring to FIG. 6, the pointing device according to the present invention may further include a storage means 60 for storing the fingerprint image acquired according to the period set by the fingerprint acquisition means 34. As such, when the storage device 60 is further included, the pointing device according to the present invention stores the fingerprint image obtained every time according to the set period in the storage means 60 and uses the stored plurality of fingerprint images. The fingerprint authentication unit 100 and the pointing control unit 200 may perform user authentication and pointer control, respectively. More specifically, in the case of the pointing device shown in FIG. 3, the user's authentication is performed at the same time as the user's authentication is performed using the fingerprint image acquired at the period set by the fingerprint acquisition means 34. In the case of a pointing device to which) is added, the fingerprint image obtained at the period set by the fingerprint acquisition means 34 is first stored in the storage means 60, and then only the fingerprint image having a size necessary for pointer adjustment is performed to perform the pointer adjustment. By doing so, it is possible to implement a pointer capable of producing low-cost, low-power and high-speed navigation information. At this time, it is a matter of course that the user authentication can be performed at the same time using the stored fingerprint image.
도 3 및 도 6에 도시된 바와 같이, 본 발명에 따른 지문인증기능을 구비한 포인팅 장치에서는, 다양한 방식으로 구현되는 상기 지문획득수단(34)에서 획득되는 전체 지문이미지의 특징점을 이용하여 사용자 인증을 수행함과 동시에 상기 전체 지문이미지로부터 포인터 조절에 필요한 크기의 지문이미지만을 추출하여 포인터 조절을 수행하거나, 상기 지문획득수단(34)에서 획득되는 전체 지문이미지를 저장한 후 상기 저장된 전체 지문이미지의 특징점을 이용하여 사용자 인증을 수행함과 동시에 상기 저장된 전체 지문이미지로부터 포인터 조절에 필요한 지문이미지만을 취함으로써 저가, 저전력, 고속의 네비게이션(navigation) 정보 생산이 가능한 포인터를 구현할 수 있다. As shown in Figures 3 and 6, in the pointing device with a fingerprint authentication function according to the present invention, user authentication using the feature points of the entire fingerprint image obtained by the fingerprint acquisition means 34 implemented in various ways At the same time, extracting only the fingerprint image of the size necessary for pointer control from the entire fingerprint image to perform the pointer control, or after storing the entire fingerprint image obtained by the fingerprint acquisition means 34 and then the feature points of the stored entire fingerprint image By performing user authentication and taking only the fingerprint image required for pointer control from the stored entire fingerprint image, a pointer capable of producing navigation information at low cost, low power, and high speed can be implemented.
도 7은 본 발명의 일 실시예에 따른 포인팅 장치에서의 m ×n 픽셀 크기의 지문이미지 추출을 설명하기 위한 개략도이다. 도 7에 도시된 바와 같이, 지문획득수단(34)은 설정된 주기에 따라 M ×N 픽셀 크기의 지문이미지(71)를 획득한다. 상기 지문획득수단(34)은 바람직하게는 반도체센서(active capacitive sensor)를 포함한다. 상기 획득된 M ×N 픽셀 크기의 지문이미지(71)는 사용자 인증을 위한 충분한 크기를 갖는다. 바람직하게는 90 ×90 픽셀 크기부터 400 ×400 픽셀 크기까지 다양한 크기를 갖는다. 이는 상기와 같은 다양한 크기의 지문이미지를 획득할 수 있는 지문획득수단(34)을 사용할 수 있다는 것이다. 또한, 지문이미지 추출수단(37)은 설정된 주기에 따라 m ×n 픽셀 크기의 지문이미지(72)를 상기 M ×N 지문이미지(71)로부터 추출한다. 이때, 바람직하게는 상기 M ×N 지문이미지(71)의 중앙부분을 추출한다. 상기 추출된 m ×n 픽셀 크기의 지문이미지(72)는 포인터 조절을 위한 충분한 크기를 갖는다. 바람직하게는 15 ×15 픽셀 크기부터 80 ×80 픽셀 크기까지 다양한 크기로 추출될 수 있다. FIG. 7 is a schematic diagram for explaining extraction of a fingerprint image having a size of m × n pixel in a pointing device according to an embodiment of the present invention. As shown in FIG. 7, the fingerprint acquiring means 34 acquires a fingerprint image 71 having an M × N pixel size according to a set period. The fingerprint acquisition means 34 preferably comprises an active capacitive sensor. The obtained fingerprint image 71 of M × N pixel size is large enough for user authentication. Preferably, the size ranges from 90 x 90 pixels to 400 x 400 pixels. This means that a fingerprint acquisition means 34 capable of acquiring fingerprint images of various sizes as described above can be used. In addition, the fingerprint image extracting means 37 extracts a fingerprint image 72 having a size of m × n pixels from the M × N fingerprint image 71 according to a set period. At this time, preferably the central portion of the M × N fingerprint image 71 is extracted. The extracted m × n pixel size fingerprint image 72 is large enough for pointer adjustment. Preferably, it can be extracted in various sizes from 15 × 15 pixel size to 80 × 80 pixel size.
본 발명의 다른 실시예에서는, 상기 M ×N 지문이미지(71)는 저장수단(60)에 저장되며, 상기 저장된 M ×N 지문이미지(71)를 이용하여 사용자 인증을 수행함과 동시에 상기 저장된 M ×N 지문이미지(71)로부터 m ×n 지문이미지(72)를 추출하여 포인터 조절을 수행할 수도 있다.In another embodiment of the present invention, the M × N fingerprint image 71 is stored in the storage means 60, at the same time performing the user authentication using the stored M × N fingerprint image 71 the stored M × The pointer adjustment may be performed by extracting the m × n fingerprint image 72 from the N fingerprint image 71.
상기 추출된 m ×n 지문이미지(72)를 이용하여 포인터를 조절하는 경우, 손가락 표면의 위치가 제1위치에서 제2위치로 △x,△y만큼 이동시 중앙부의 m ×n 픽셀 크기로 추출된 지문이미지 데이터는 움직임 검출수단(38)으로 전송되는데, 이때 초당 약 800~1200번 수준의 속도로 전송된다. 따라서, 상기 이동에 따른 지문이미지의 변위 데이터는 상기 속도로 계산되고 포인터의 이동방향 및 거리도 상기 속도로 계산된다. 이때, 본 발명의 포인팅 장치에서 안정적인 포인팅 동작을 위해서는 상기와 같은 처리 속도가 요구되기 때문에 처리 및 계산 소요량을 줄이기 위해 최소한의 이미지 크기를 선택하는 것이 바람직하다. In the case of adjusting the pointer using the extracted m × n fingerprint image 72, when the position of the finger surface is moved from the first position to the second position by Δx, Δy, it is extracted with the size of m × n pixel of the center part. Fingerprint image data is transmitted to the motion detection means 38, which is transmitted at a rate of about 800 to 1200 times per second. Accordingly, displacement data of the fingerprint image according to the movement is calculated at the speed, and the movement direction and distance of the pointer are also calculated at the speed. At this time, since the above processing speed is required for a stable pointing operation in the pointing device of the present invention, it is preferable to select a minimum image size in order to reduce processing and calculation requirements.
한편, 사용자 인증을 위해 필요한 M ×N 픽셀 크기의 전체 지문이미지(71)는 지문인증부(100)로 전송되는데, 통상적인 인식처리 시간은 초당 1~3번 수준의 지문이미지가 전송된다. 일 실시예에서 상기 지문인증부(100)는 휴대형 단말기기 본체의 처리장치에 포함시켜 그 기능을 수행하도록 할 수도 있다.On the other hand, the entire fingerprint image 71 of the M × N pixel size required for user authentication is transmitted to the fingerprint authentication unit 100, the typical recognition processing time is one to three times the level of the fingerprint image is transmitted. In one embodiment, the fingerprint authentication unit 100 may be included in the processing device of the portable terminal device to perform the function.
도 8은 본 발명의 일 실시예에 따른 특징점의 변위 데이터 계산과정을 설명하기 위한 도면이다. 도 8(a)는 제1 주기에 획득된 지문이미지를 도시하고 있으며, 도 8(b)는 그 다음 주기인 제2 주기에 획득된 지문이미지를 도시하고 있다. 상기 획득된 지문이미지는 지문획득수단(34)에 맺힌 이미지이다. 도면에는 일례로 5개의 특징점(M으로 표시됨)이 추출된 지문이미지가 되어 있다. 도 8(a) 및 도 8(b)를 참조하면, 도 8(b)의 지문이미지는 설정된 주기동안 도 8(a)의 지문이미지가 오른쪽으로 3픽셀(△X=3), 아래쪽으로 3픽셀(△Y=-3)만큼 이동된 것이다. 이와 같이 움직임검출수단(38)은 상기 추출된 특징점의 변위 데이터(방향 및 거리)를 계산함으로써 상기 지문이미지의 움직임 정도를 파악한다. 여기서, 상기 움직임검출수단(38)은 상기 획득된 지문이미지의 특징점을 이용하여 변위 데이터를 계산할 수도 있으나, 상기 지문획득수단(34)에서 획득된 디지털 지문이미지 데이터를 이용하여 직접 변위 데이터를 계산할 수도 있다.8 is a diagram for describing a process of calculating displacement data of a feature point according to an exemplary embodiment of the present invention. FIG. 8A illustrates a fingerprint image acquired in a first period, and FIG. 8B illustrates a fingerprint image acquired in a second period, which is the next period. The obtained fingerprint image is an image formed on the fingerprint acquiring means 34. In the drawing, for example, five feature points (indicated by M) are extracted fingerprint images. 8 (a) and 8 (b), the fingerprint image of FIG. 8 (b) has three pixels (ΔX = 3) to the right and 3 below to the right for the set period. The pixel has been shifted by [Delta] Y = -3. In this way, the motion detecting means 38 determines the degree of movement of the fingerprint image by calculating displacement data (direction and distance) of the extracted feature points. Here, the motion detection means 38 may calculate displacement data using the acquired feature points of the fingerprint image, but may directly calculate displacement data using the digital fingerprint image data acquired by the fingerprint acquisition means 34. have.
도 9는 본 발명에 따른 지문인증기능을 구비한 포인팅 방법을 보이는 흐름도이다. 도 9를 참조하면, 초기화 상태(S901)에서 손가락 표면이 접촉되면(S902), 소정의 지문획득센서를 이용하여 제1설정주기에 따라 M ×N 픽셀 크기의 지문이미지를 획득한다(S903). 상기 단계(S903)에서 획득된 지문이미지의 특징점을 이용하여 사용자 인증 과정(S920) 및 포인터 조절 과정(S930)이 동시에 수행된다. 본 발명에서는 M ×N 픽셀 크기의 지문이미지는 사용자 인증에 필요한 충분한 크기를 갖는다. 바람직하게는 상기 M,N은 90 ~ 400이다.9 is a flowchart illustrating a pointing method having a fingerprint authentication function according to the present invention. Referring to FIG. 9, when a finger surface is touched in an initialization state S901 (S902), a fingerprint image having an M × N pixel size is acquired according to a first setting period using a predetermined fingerprint acquisition sensor (S903). The user authentication process (S920) and the pointer adjustment process (S930) are simultaneously performed using the feature points of the fingerprint image acquired in the step S903. In the present invention, the fingerprint image having a size of M × N pixels has a sufficient size for user authentication. Preferably, the M, N is 90 to 400.
먼저, 사용자 인증 과정(S920)을 설명하면, 상기 단계(S903)에서 제1 설정주기에 따라 획득된 M ×N 픽셀 크기의 지문이미지로부터 제2 설정주기에 따라 적어도 하나의 특징점을 추출한다(S904). 상기 추출된 M ×N 픽셀 지문이미지의 특징점과 기등록된 지문이미지의 특징점을 비교한다(S905). 상기 단계(S905)에서의 비교결과 상기 두 지문이미지의 특징점이 동일한지 판단하여(S906), 상기 두 특징점이 동일하면 사용자를 인증하고(S907), 동일하지 않으면 사용자 인증을 거절한다(S908). 이로써, 사용자 인증 과정(S920)은 완성된다.First, the user authentication process (S920) will be described. At least one feature point is extracted from the fingerprint image having the M × N pixel size acquired according to the first setting period in the step S903 according to the second setting period (S904). ). The feature point of the extracted M × N pixel fingerprint image is compared with the feature point of the pre-registered fingerprint image (S905). As a result of the comparison in step S905, it is determined whether the feature points of the two fingerprint images are the same (S906). If the two feature points are the same, the user is authenticated (S907). If not, the user authentication is rejected (S908). Thus, the user authentication process (S920) is completed.
다음으로, 포인터 조절 과정(S930)을 설명하면, 상기 단계(S903)에서 제1 설정주기에 따라 획득된 M ×N 픽셀 크기의 지문이미지로부터 제3 설정주기에 따라 m ×n 픽셀 크기의 지문이미지를 추출한다(S909). 본 발명에서는 m ×n 픽셀 크기의 지문이미지는 포인터 조절에 필요한 충분한 크기를 갖는다. 바람직하게는 상기 m,n은 15 ~ 80이다.Next, referring to the pointer adjustment process (S930), the fingerprint image having the size of m × n pixels according to the third setting period from the fingerprint image having the size of M × N pixels acquired according to the first setting period in step S903. It is extracted (S909). In the present invention, the fingerprint image having a size of m × n pixels has a sufficient size necessary for adjusting the pointer. Preferably, m, n is from 15 to 80.
이어, 상기 단계(S909)에서 제3 설정주기에 따라 매회 추출된 m ×n 픽셀 크기의 지문이미지로부터 각 지문이미지의 변위 데이터를 계산한다(S910). 이때, 이전 주기에 획득된 지문이미지로부터 현재 주기에 획득된 지문이미지의 움직임 정도, 즉 거리 및 방향을 계산함으로써 변위 데이터를 계산한다. 바람직하게는 획득된 지문이미지의 특징점의 움직임 정도에 따른 변위 데이터를 계산한다. 상기 계산된 변위 데이터를 이용하여 포인터가 이동할 좌표값을 연산한다(S911). 이어, 상기 계산된 포인터의 좌표값에 대응하도록 포인터를 이동시킨다(S912).Subsequently, in step S909, displacement data of each fingerprint image is calculated from the fingerprint image having the size of m × n pixels extracted every time according to the third setting period (S910). At this time, the displacement data is calculated by calculating the degree of movement of the fingerprint image acquired in the current period, that is, the distance and the direction, from the fingerprint image acquired in the previous period. Preferably, displacement data is calculated according to the degree of movement of the feature point of the acquired fingerprint image. The coordinate value to which the pointer moves is calculated using the calculated displacement data (S911). Subsequently, the pointer is moved to correspond to the calculated coordinate value of the pointer (S912).
도 9에서 설명한 바와 같이, 본 발명에 따른 지문인증기능을 구비한 포인팅 방법은 하나의 지문획득센서에서 설정된 주기에 따라 획득되는 전체 지문이미지의 특징점을 이용하여 사용자 인증을 수행함과 동시에 상기 전체 지문이미지로부터 설정된 주기에 따라 작은 크기의 지문이미지를 추출하여 포인터 조절을 수행할 수 있게 된다. 여기서, 상기 전체 지문이미지는 사용자 인증에 필요한 크기로서, 예를 들어, 90 ×90 픽셀 ~ 400 ×400 픽셀 크기를 가질 수 있다. 또한, 상기 작은 크기의 지문이미지는 포인터 조절에 필요한 크기로서, 예를 들어 15 ×15 픽셀 ~ 80 ×80 픽셀 크기를 가질 수 있다.As described with reference to FIG. 9, the pointing method with the fingerprint authentication function according to the present invention performs user authentication using the feature points of the entire fingerprint image acquired according to a period set by one fingerprint acquisition sensor and at the same time the entire fingerprint image. It is possible to perform pointer adjustment by extracting a fingerprint image of a small size according to the set period from. Here, the entire fingerprint image may be a size required for user authentication, for example, 90 × 90 pixels to 400 × 400 pixels. In addition, the small fingerprint image is a size necessary for adjusting a pointer, and may have, for example, a size of 15 × 15 pixels to 80 × 80 pixels.
이때, 상기 사용자 인증 과정(S920)의 사용자 인증단계(S907) 및 사용자 인증 거절단계(S908)의 경우, 디스플레이되는 정보의 정도가 다르다. 즉, 상기 사용자 인증단계(S907)에서 정당한 사용자로 인증이 되면 기저장된 모든 정보가 디스플레이 되고, 상기 사용자 인증 거절단계(S908)에서 정당한 사용자로 인증이 되지 않으면 미리 설정된 정보만 디스플레이 될 수도 있다. 따라서, 정당한 사용자가 아닌 경우에는 사용자의 개인정보, 시스템의 제어정보, 전자상거래 등의 유료 서비스 등은 개인 정보보호 차원에서 다른 사용자의 액세스를 제한할 수 있다. 다른 기능키를 이용하여 개인 정보에 액세스를 시도하는 경우에는 지문인식을 통해 액세스를 시도할 것을 표시할 수도 있다.At this time, in the user authentication step (S907) and the user authentication rejection step (S908) of the user authentication process (S920), the degree of information displayed is different. That is, when the user is authenticated as the legitimate user in step S907, all pre-stored information is displayed. If the user is not authenticated as the legitimate user in step S908, only preset information may be displayed. Therefore, if the user is not a legitimate user, personal information of the user, control information of the system, a paid service such as an electronic commerce, etc. may restrict the access of other users in order to protect personal information. When attempting to access personal information using another function key, fingerprint recognition may be indicated.
상기 사용자 인증 과정(S920) 및 포인터 조절 과정(S930)은 각각의 미리 설정된 주기에 따라 수행되며, 특히 상기 두 과정(S920)(S930)은 상호 독립적으로 수행된다. 따라서, 사용자가 지문을 이용하여 포인터를 조절하는 동안(S930), 미리 설정된 주기에 따라 사용자 인증 과정(S920)이 자연스럽게 수행되는 것이다. 이는 사용자에 대한 지문인증과정을 특별히 요구하지 않고 포인터 조절 도중에 자동으로 지문을 인증하고 그 지문인증결과에 따라 해당 장치에 대한 사용자의 액세스를 개방 또는 제한할 수 있다. 따라서, 사용자의 지문이미지를 의식적으로 확인하지 않고도 미리 등록된 사용자 여부를 확인하는 동시에 등록된 사용자의 여부에 따라서 사용가능한 기능의 제한, 개인의 정보보호를 위한 지능형 사용자 인터페이스를 제공한다.The user authentication process (S920) and the pointer adjustment process (S930) are performed according to respective preset periods. In particular, the two processes (S920) and (S930) are performed independently of each other. Therefore, while the user adjusts the pointer using the fingerprint (S930), the user authentication process (S920) is naturally performed according to a preset period. This can automatically authenticate the fingerprint during the pointer adjustment without requiring a fingerprint authentication process for the user and open or restrict the user's access to the device according to the fingerprint authentication result. Therefore, it is possible to check whether a user is registered in advance without consciously checking a user's fingerprint image, and to limit the functions available according to the registered user and provide an intelligent user interface for protecting personal information.
도 10은 본 발명의 지문인증기능을 구비한 포인팅 장치가 탑재된 휴대 단말기의 일례를 도시한 것이다. 도 10을 참조하면, 본 발명이 적용되는 휴대 단말기는 바람직하게는 휴대폰을 포함한다. 즉, 상기 휴대 단말기는 상기 포인팅 장치를 적절하게 포함한다. 예를 들면, 도 10에서와 같이 본 발명에 따른 포인팅 장치는, 표면에 노출되지 않고 투명부재(31)의 외부면만 노출되도록 하고 상기 투명부재(31)의 외부면에 손가락을 올려놓으면 지문획득을 통해 사용자 인증에 필요한 크기의 지문이미지를 획득하도록 한다. 10 shows an example of a portable terminal equipped with a pointing device with a fingerprint authentication function of the present invention. Referring to FIG. 10, the portable terminal to which the present invention is applied preferably includes a mobile phone. That is, the portable terminal suitably includes the pointing device. For example, as shown in FIG. 10, the pointing device according to the present invention exposes only the outer surface of the transparent member 31 without being exposed to the surface and places a finger on the outer surface of the transparent member 31 to obtain a fingerprint. Through this, a fingerprint image having a size required for user authentication is obtained.
또한, 휴대 단말기는 다른 기능을 갖는 적어도 하나의 기능버튼(81)을 포함하는 것이 바람직하다. 이러한 기능버튼(81)은 휴대 단말기의 다른 기능을 실행시키거나 실행 명령을 입력하기 위해 사용된다. 그리고, 휴대 단말기는 주전원으로서 이차 전지를 이용하는 것이 바람직하다.In addition, the portable terminal preferably includes at least one function button 81 having another function. These function buttons 81 are used to execute other functions of the portable terminal or to input execution commands. The portable terminal preferably uses a secondary battery as a main power source.
본 발명의 상세한 설명 및 도면에는 본 발명의 실시예를 중심으로 본 발명을 설명한 것으로서 본 발명의 권리범위를 한정하는 것은 아니며, 당 기술분야의 당업자에 의해 많은 변형이 본 발명의 기술적 사상의 범위 내에서 가능함은 물론이다. 따라서, 본 발명의 권리의 범위는 상기한 상세한 설명에 의해 결정되는 것이 아니라 첨부한 청구범위에 의해 결정되어야만 할 것이다.DETAILED DESCRIPTION OF THE INVENTION In the detailed description and drawings of the present invention, the present invention is described based on the embodiments of the present invention, and the scope of the present invention is not limited, and many modifications are made by those skilled in the art within the scope of the technical idea of the present invention. Of course it is possible. Accordingly, the scope of the present invention should be determined by the appended claims rather than by the foregoing description.
본 발명에 따르며, 휴대형 단말기기에서 사용자 인증용 지문센서와 포인터 조정용 지문센서를 각각 구비할 필요없이 하나의 지문센서를 이용하여 사용자 인증 및 포인터 조정이 동시에 가능하다.According to the present invention, user authentication and pointer adjustment are possible at the same time by using a single fingerprint sensor without having to provide a fingerprint sensor for user authentication and a fingerprint sensor for pointer adjustment in a portable terminal device.
또한, 사용자 지문인증을 위해 큰 크기의 지문이미지를 획득하는 큰 크기의 지문획득센서를 이용하여도 포인터 조절을 위한 작은 크기의 지문이미지를 획득할 수 있다.In addition, a small size fingerprint image for adjusting a pointer can be obtained even by using a large size fingerprint acquisition sensor for obtaining a large size fingerprint image for user fingerprint authentication.
또한, 사용자가 별도 과정없이도 손가락을 투명부재 위에서 움직이게 되면 포인터 조절 및 원하는 기능을 선정하는 동안 자동으로 사용자 인증을 수행할 수 있다.In addition, if the user moves the finger on the transparent member without a separate process, it is possible to automatically perform user authentication while adjusting the pointer and selecting the desired function.
또한, 하나의 지문획득센서를 이용하므로 휴대 단말기기의 소형화 구현이 가능하며, 이에 따른 제작비용이 절감되고 전체적인 장치 구현이 간단해진다.In addition, since a single fingerprint acquisition sensor is used, the portable terminal device can be miniaturized, thereby reducing manufacturing costs and simplifying the overall device implementation.
나아가, 휴대형 단말기기 내의 정보 및 기능을 보호할 수 있으며, 휴대형 단말기기를 이용한 정보 및 전자 상거래 등 보안이 요구되는 기능의 구현을 쉽게 할 수 있다.Furthermore, the information and functions in the portable terminal device can be protected, and the implementation of functions requiring security such as information and electronic commerce using the portable terminal device can be easily performed.
도 1은 종래의 지문인식형 광마우스의 사시도이다.1 is a perspective view of a conventional fingerprint recognition optical mouse.
도 2는 종래의 지문인증용 지문센서 및 포인터 조정용 네이게이션 패드를 구비한 구비한 휴대 단말기기의 일예이다.2 is an example of a portable terminal device having a fingerprint sensor for fingerprint authentication and a navigation pad for adjusting a pointer.
도 3은 본 발명에 따른 포인팅 장치의 일 실시예에 따른 구성도이다.3 is a configuration diagram according to an embodiment of a pointing device according to the present invention.
도 4는 본 발명에 따른 미세공간에 실장 가능한 3:1 축소광학의 설계예이다.4 is a design example of 3: 1 reduced optics that can be mounted in a microcavity according to the present invention.
도 5는 본 발명에 따른 지문획득수단에 축소광학계를 적용하여 획득한 지문이미지의 일례이다.5 is an example of a fingerprint image obtained by applying a reduced optical system to the fingerprint acquisition means according to the present invention.
도 6은 본 발명에 따른 지문인증기능을 구비한 포인팅 장치의 다른 실시예에 따른 구성도이다.6 is a configuration diagram according to another embodiment of the pointing device with a fingerprint authentication function according to the present invention.
도 7운 본 발명의 일 실시예에 따른 포인팅 장치에서의 m ×n 픽셀 크기의 지문이미지 추출을 설명하기 위한 개략도이다.7 is a schematic diagram for explaining extraction of a fingerprint image having a size of m × n pixel in a pointing device according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따른 특징점의 변위 데이터 계산과정을 설명하기 위한 도면이다. 8 is a diagram for describing a process of calculating displacement data of a feature point according to an exemplary embodiment of the present invention.
도 9는 본 발명에 따른 지문인증기능을 구비한 포인팅 방법을 보이는 흐름도이다.9 is a flowchart illustrating a pointing method having a fingerprint authentication function according to the present invention.
도 10은 본 발명의 지문인증기능을 구비한 포인팅 장치가 탑재된 휴대 단말기의 일 예시도이다.10 is an exemplary view of a portable terminal equipped with a pointing device with a fingerprint authentication function of the present invention.
* 도면의 주요 부분에 대한 부호의 설명 * Explanation of symbols on the main parts of the drawings
30 : 손가락 31 : 투명부재30: finger 31: transparent member
32 : 발광수단 33 : 집광수단32: light emitting means 33: light collecting means
34 : 지문획득수단 35 : 특징점 검출수단34: fingerprint acquisition means 35: feature point detection means
36 : 인증수단 37 : 지문이미지 추출수단36: authentication means 37: fingerprint image extraction means
38 : 움직임 검출수단 39 : 연산수단38: motion detection means 39: calculation means
40 : 저장수단 91 : 기능버튼40: storage means 91: function button
Claims (34)
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030056072A KR100629410B1 (en) | 2003-08-13 | 2003-08-13 | A Pointing Device and Pointing Method having the Fingerprint Image Recognition Function, and Mobile Terminal Device therefor |
| EP04774042A EP1523807A1 (en) | 2003-06-30 | 2004-06-30 | Pointing device having fingerprint image recognition function, fingerprint image recognition and pointing method, and method for providing portable terminal service using thereof |
| JP2005518143A JP2006517311A (en) | 2003-06-30 | 2004-06-30 | Pointing device having fingerprint authentication function, fingerprint authentication and pointing method thereof, and service providing method of portable terminal using the fingerprint authentication |
| PCT/KR2004/001602 WO2005002077A1 (en) | 2003-06-30 | 2004-06-30 | Pointing device having fingerprint image recognition function, fingerprint image recognition and pointing method, and method for providing portable terminal service using thereof |
| US10/520,651 US20050249386A1 (en) | 2003-06-30 | 2004-06-30 | Pointing device having fingerprint image recognition function, fingerprint image recognition and pointing method, and method for providing portable terminal service using thereof |
| TW093137904A TW200620140A (en) | 2003-06-30 | 2004-12-08 | Pointing device having fingerprint image recognition function, fingerprint image recognition and pointing method, and method for providing portable terminal service using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030056072A KR100629410B1 (en) | 2003-08-13 | 2003-08-13 | A Pointing Device and Pointing Method having the Fingerprint Image Recognition Function, and Mobile Terminal Device therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050018101A true KR20050018101A (en) | 2005-02-23 |
| KR100629410B1 KR100629410B1 (en) | 2006-09-28 |
Family
ID=37227688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020030056072A KR100629410B1 (en) | 2003-06-30 | 2003-08-13 | A Pointing Device and Pointing Method having the Fingerprint Image Recognition Function, and Mobile Terminal Device therefor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100629410B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101143786B1 (en) * | 2005-06-16 | 2012-05-11 | 엘지전자 주식회사 | Mobile information terminals with a finger print input device and controlling mehtod thereof |
| WO2018143673A1 (en) * | 2017-01-31 | 2018-08-09 | 삼성전자 주식회사 | Electronic device and fingerprint recognition method of electronic device |
| KR20200056812A (en) * | 2018-11-15 | 2020-05-25 | 박채린 | Notebook computer mouse |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101379235B1 (en) | 2012-10-05 | 2014-03-28 | 크루셜텍 (주) | Track pad and electronic equipment having the same |
-
2003
- 2003-08-13 KR KR1020030056072A patent/KR100629410B1/en not_active IP Right Cessation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101143786B1 (en) * | 2005-06-16 | 2012-05-11 | 엘지전자 주식회사 | Mobile information terminals with a finger print input device and controlling mehtod thereof |
| WO2018143673A1 (en) * | 2017-01-31 | 2018-08-09 | 삼성전자 주식회사 | Electronic device and fingerprint recognition method of electronic device |
| CN110235086A (en) * | 2017-01-31 | 2019-09-13 | 三星电子株式会社 | The fingerprint identification method of electronic equipment and electronic equipment |
| CN110235086B (en) * | 2017-01-31 | 2023-10-13 | 三星电子株式会社 | Electronic equipment and fingerprint identification method thereof |
| KR20200056812A (en) * | 2018-11-15 | 2020-05-25 | 박채린 | Notebook computer mouse |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100629410B1 (en) | 2006-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20050249386A1 (en) | Pointing device having fingerprint image recognition function, fingerprint image recognition and pointing method, and method for providing portable terminal service using thereof | |
| US20160140379A1 (en) | Improvements in or relating to user authentication | |
| EP2851829B1 (en) | Methods for controlling a hand-held electronic device and hand-held electronic device utilizing the same | |
| US9224029B2 (en) | Electronic device switchable to a user-interface unlocked mode based upon a pattern of input motions and related methods | |
| US20170032115A1 (en) | Electronic device switchable to a user-interface unlocked mode based upon spoof detection and related methods | |
| US20150294516A1 (en) | Electronic device with security module | |
| US10261584B2 (en) | Touchless user interface for handheld and wearable computers | |
| US20060190836A1 (en) | Method and apparatus for data entry input | |
| US20120162081A1 (en) | keyboard | |
| US20120075451A1 (en) | Multimode optical device and associated methods | |
| US9785863B2 (en) | Fingerprint authentication | |
| KR20120138887A (en) | Method for detecting pattern using a touch sensor and touch sensor for finger-print recognition | |
| KR20120138886A (en) | Touch sensor | |
| KR100553961B1 (en) | A Fingerprint Image Recognition Method and a Pointing Device having the Fingerprint Image Recognition Function | |
| US8594391B2 (en) | Finger-based identification systems and methods | |
| WO2006080601A1 (en) | Tactile input system and device for very small information device | |
| WO2017063763A1 (en) | Secure biometric authentication | |
| KR20210069483A (en) | Combined fingerprint recognition touch sensor, electronic apparatus including the same, method for enrolling and recognizing fingerprint employing the same | |
| KR100629410B1 (en) | A Pointing Device and Pointing Method having the Fingerprint Image Recognition Function, and Mobile Terminal Device therefor | |
| US9465441B2 (en) | Navigation device | |
| US20170286746A1 (en) | Efficient determination of biometric attribute for fast rejection of enrolled templates and other applications | |
| KR100606243B1 (en) | Service method using portable communication terminal epuipment with pointing device having fingerprint identification function | |
| WO2017148506A1 (en) | Method for user authentication | |
| KR20220117540A (en) | Electronic device having fingerprint sensor and method for updating fingerprint information thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |