KR20110095565A - User input device, method for recognizing user finger prints, and method for recognizing user touches using a transparent sensor grid panel which is able to recognize finger prints or mult-touch - Google Patents

User input device, method for recognizing user finger prints, and method for recognizing user touches using a transparent sensor grid panel which is able to recognize finger prints or mult-touch Download PDF

Info

Publication number
KR20110095565A
KR20110095565A KR1020100015103A KR20100015103A KR20110095565A KR 20110095565 A KR20110095565 A KR 20110095565A KR 1020100015103 A KR1020100015103 A KR 1020100015103A KR 20100015103 A KR20100015103 A KR 20100015103A KR 20110095565 A KR20110095565 A KR 20110095565A
Authority
KR
South Korea
Prior art keywords
light
sensor grid
user
fingerprint
touch
Prior art date
Application number
KR1020100015103A
Other languages
Korean (ko)
Other versions
KR101136153B1 (en
Inventor
이은석
류성태
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020100015103A priority Critical patent/KR101136153B1/en
Publication of KR20110095565A publication Critical patent/KR20110095565A/en
Application granted granted Critical
Publication of KR101136153B1 publication Critical patent/KR101136153B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Input (AREA)

Abstract

PURPOSE: A user input device, a method for recognizing user finger prints, and a method for recognizing user touches are provided to efficiently control UI by using the combination of fingers. CONSTITUTION: A display unit(801) displays the result of an operation or a reaction and a user input data. A sensor grid panel(804) composed of sensors which are arranged in grid shape by the size of a screen recognizes the touched finger location. A memory(803) stores a location data which is received from the sensor grid panel. A controller(802) reads an input pattern corresponding to an operation mode which is identified from the location data from the memory and performs a specific operation to the display part.

Description

지문 인식 또는 멀티 터치가 가능한 센서 그리드 방식의 투명 패널 사용자 입력 장치, 사용자 지문 인식 방법, 및 사용자 터치 인식 방법{USER INPUT DEVICE, METHOD FOR RECOGNIZING USER FINGER PRINTS, AND METHOD FOR RECOGNIZING USER TOUCHES USING A TRANSPARENT SENSOR GRID PANEL WHICH IS ABLE TO RECOGNIZE FINGER PRINTS OR MULT-TOUCH}Transparent panel user input device with fingerprint grid or multi-touch sensor, user fingerprint recognition method, and user touch recognition method PANEL WHICH IS ABLE TO RECOGNIZE FINGER PRINTS OR MULT-TOUCH}

본 발명은 사용자 입력 장치 및 방법에 관한 것으로, 특히 멀티 터치나 지문 인식, 또는 멀티 터치와 지문을 동시에 인식할 수 있는 센서 그리드를 구비하는 투명 패널을 이용한 사용자 입력 장치와 이러한 장치에서의 사용자 지문 인식 방법 및 사용자 터치 인식 방법에 관한 것이다. The present invention relates to a user input device and method, and more particularly, to a user input device using a transparent panel having a multi-touch or fingerprint recognition or a sensor grid capable of simultaneously recognizing a multi-touch and a fingerprint, and user fingerprint recognition in such a device. It relates to a method and a user touch recognition method.

일반적으로 사용자와 상호작용을 할 수 있는 전자장치에 구비되는 사용자 입력부는 키패드나 터치 스크린으로 구성된다. 특히 휴대용 단말기나 TV같은 장치에는 터치 입력이 중요한 입력 방법 중 하나이다. 이러한 터치를 이용한 입력 방식은 소프트 키보드 입력 방식 및 수기 입력(Handwriting Recognition) 방식 등을 이용하여 문자 데이터를 입력할 수 있도록 함으로써 물리적인 키패드나 키보드가 없는 점을 극복하고 터치를 통한 포인팅 방법을 통해 마우스와 같은 포인팅 장치가 없는 점을 극복하고 있다. 이러한 터치 스크린을 구비하는 전자장치의 예로는 전자수첩, 휴대폰, PDA, TV, 노트북, 넷북, 데스크탑 등을 들 수 있다.In general, a user input unit provided in an electronic device capable of interacting with a user includes a keypad or a touch screen. In particular, touch input is one of the important input methods in a portable terminal or a device such as a TV. The input method using the touch enables text data input using a soft keyboard input method and handwriting recognition method, thereby overcoming the absence of a physical keypad or keyboard and pointing the mouse through a touch method. Overcoming the lack of a pointing device such as Examples of electronic devices having such a touch screen include an electronic notebook, a mobile phone, a PDA, a TV, a notebook, a netbook, a desktop, and the like.

이와 같은 터치 스크린을 구비하는 전자장치에서의 입력은 손가락과 패널의 접촉이라는 단순한 입력 방법에 기반하고 있기 때문에 다양한 입력 방법이 존재할 수가 없다. 이를 해결하기 위해 터치하고 있는 시간을 측정하여 다른 기능을 실행한다거나 멀티 터치와 같은 기술 등 그에 대응하기 위한 많은 유사 기술들이 등장하고 있다. 시간을 측정하여 다른 기능을 실행하는 것 중에 대표적인 예가 터치한 상태를 일정 시간동안 유지하고 있으면 마우스 오른쪽 버튼을 누른 것과 동일한 기능을 하게하는 예가 있지만 그러한 방법은 사용자에게 신속한 입력 방법을 제공해주지 못한다. 또한 멀티 터치는 두 손가락 이상을 이용하여 좀 더 다양한 입력 방법을 제공해주기는 하지만 인간의 손이 갖는 구조상으로 한 손으로 2개 이상의 터치를 인식시킨 채 몇 가지 이상의 제스처를 취하기에는 무리가 있기 때문에 멀티 터치가 제공할 수 있는 입력에 대한 최대의 경우의 수만큼을 이용할 수 없다는 한계점이 존재한다.Since an input in an electronic device having such a touch screen is based on a simple input method such as contact between a finger and a panel, various input methods cannot exist. In order to solve this problem, many similar technologies have emerged to measure the time of touch and execute other functions or to cope with such technologies as multi-touch. Although the typical example of measuring time and executing other functions is to keep the touched state for a certain time, the same function as pressing the right mouse button is provided, but such a method does not provide a quick input method to the user. In addition, although multi-touch provides more various input methods by using two or more fingers, the structure of the human hand makes it difficult to take several or more gestures while recognizing two or more touches with one hand. There is a limitation that the maximum number of cases for the input that the touch can provide is not available.

또한, 최근에는 입체 영상 디스플레이 또는 투명 소자(투명 전극 또는 그래핀(Graphene) 등)를 이용하여 복수의 화면을 겹쳐서 출력할 수 있는 장치나 방법이 등장하고 있다. 입체 디스플레이의 경우를 예로 들면, 기본적으로 입체감 있는 2개의 디스플레이 계층이 생성되는데, 사용자는 이 2개의 계층에 형성된 효율적이고 직관적인 GUI를 볼 수 있다. 그러나, 단일 터치 인식 또는 멀티 터치 인식 방법은 하나의 화면만을 대상으로 하고 있기 때문에 2개 이상의 계층으로 형성된 복수의 화면을 조작하려는 사용자에게 어려움을 야기한다.Recently, a device or a method capable of outputting a plurality of screens by using a stereoscopic image display or a transparent element (transparent electrode or graphene, etc.) has been introduced. In the case of a stereoscopic display, for example, two display layers having a three-dimensional effect are basically created, and a user can see an efficient and intuitive GUI formed in these two layers. However, since a single touch recognition or a multi-touch recognition method targets only one screen, it causes difficulty for a user who wants to manipulate a plurality of screens formed in two or more layers.

본 발명은 터치 스크린 또는 이와 유사한 입력 장치를 구비한 전자장치에서 접촉(터치) 또는 드래그라는 제한된 입력 방법의 한계를 극복하기 위한 사용자 입력 장치 및 방법을 제공한다.The present invention provides a user input device and method for overcoming the limitation of the limited input method of touch (touch) or drag in an electronic device having a touch screen or similar input device.

또한, 본 발명은 입체 영상 디스플레이 및 그래핀이나 투명 전극 등의 소자로 이루어지는 투명 디스플레이 장치로 이루어지는 다중 디스플레이 장치를 구비하는 전자장치에서 왼손과 오른손의 구별이나 각 손가락의 구별, 또는 그것들의 조합을 통해 복수의 디스플레이에 출력되는 사용자 인터페이스를 효율적으로 제어하고 대응하는 특정 기능을 수행할 수 있는 사용자 입력 장치 및 방법을 제공한다.In addition, the present invention provides an electronic device having a stereoscopic image display and a multi-display device comprising a transparent display device including elements such as graphene and transparent electrodes. Provided are a user input device and method capable of efficiently controlling a user interface output on a plurality of displays and performing a corresponding specific function.

마지막으로, 본 발명은 복수의 위치 인식 또는 지문 인식을 입력을 받을 수 있는 구조를 가진 투명 전극 또는 그래핀 등을 소재로 한 투명한 입력 패널을 이용하여 기존의 디스플레이 장치와 바로 결합하여 응용이 가능한 입력 장치 및 방법을 제공한다.Finally, the present invention can be directly combined with the existing display device using a transparent input panel made of a transparent electrode or graphene material having a structure capable of receiving a plurality of position recognition or fingerprint recognition input An apparatus and method are provided.

본 발명에 따른 센서 그리드 방식의 멀티 터치가 가능한 사용자 입력 장치는, 상술한 목적을 달성하기 위하여, 사용자에 의해서 입력되는 데이터와 그 데이터에 따른 동작 수행 결과 및 반응을 표시하는 표시부와, 접촉한 손가락들의 위치를 인식할 수 있게 화면의 크기에 맞게 격자 형태로 배열된 센서들로 이루어진 센서 그리드 패널과, 상기 센서 그리드 패널로부터 전달받은 하나 이상의 위치 데이터를 저장하는 메모리부와, 상기 위치 데이터로부터 확인된 동작 모드에 대응되는 입력패턴을 상기 메모리로부터 독출한 후 상기 표시부에 표시 및 특정 동작을 실행하는 제어부를 포함하고, 상기 장치의 동작 모드로서 포인팅을 위한 동작 모드, 멀티 터치 동작 모드, 및 제스처 인식을 위한 동작 모드를 포함하고, 상기 메모리부는 상기 동작 모드들을 위한 입력 패턴과 그에 대응하는 동작 및 기능 수행 정보를 저장하고, 상기 센서 그리드 패널은 적외선 또는 특정 주파수의 빛을 출력할 수 있는 초소형의 발광부와, 해당 주파수의 빛으로부터 반사된 빛을 수신할 수 있는 수광부, 및 빛의 변화를 감지할 수 있는 센서들을 포함하고, 상기 센서 그리드 패널에서의 센서 그리드가 격자 형태로 배열되고, 상기 센서 그리드 패널은 그래핀 또는 투명 전극을 가지는 소재로 이루어지고, 디스플레이 장치의 전면에 배치된다.In order to achieve the above object, a sensor grid-type multi-touch user input device according to the present invention includes a display unit for displaying data input by a user, a result of performing an operation and a response according to the data, and a finger in contact with the same. A sensor grid panel comprising sensors arranged in a grid shape to recognize the position of the screen, a memory unit for storing one or more position data received from the sensor grid panel, and identified from the position data And a control unit which reads an input pattern corresponding to an operation mode from the memory and displays and displays a specific operation on the display unit. The operation mode of the device includes an operation mode for pointing, a multi-touch operation mode, and gesture recognition. And an operation mode for the memory unit, wherein the memory unit The sensor grid panel may store an input pattern and corresponding operation and function performance information. The sensor grid panel may receive an ultra-small light emitting unit capable of outputting infrared or light of a specific frequency, and light reflected from light of the corresponding frequency. A light-receiving unit, and sensors capable of detecting a change in light, wherein the sensor grids in the sensor grid panel are arranged in a lattice form, and the sensor grid panel is made of a material having graphene or transparent electrodes, and a display It is placed on the front of the device.

본 발명의 실시예에 따르면, 상기 제어부는 포인팅을 위한 동작 모드에서 입력된 위치 데이터들의 중앙의 좌표값을 계산하여 상기 표시부의 특정 부분을 가리키거나 선택하는 피드백을 제공하는 동작을 수행할 수 있다. According to an embodiment of the present invention, the control unit may perform an operation of providing a feedback indicating or selecting a specific part of the display unit by calculating a coordinate value of the center of the position data input in the operation mode for pointing. .

또한, 본 발명의 다른 실시예에 따르면, 상기 제어부는 멀티 터치 동작 모드에서 입력된 둘 이상의 위치 데이터들의 중앙의 좌표값을 계산하여 상기 표시부의 특정 부분을 동시에 가리키거나 선택하는 피드백을 제공하는 동작을 수행할 수 있다. In addition, according to another embodiment of the present invention, the control unit calculates a coordinate value of the center of the two or more position data input in the multi-touch operation mode to provide a feedback to simultaneously point or select a specific portion of the display unit Can be performed.

또한, 본 발명의 다른 실시예에 따르면, 상기 제어부는 제스처 인식을 위한 동작 모드에서 하나 이상의 입력된 위치 데이터들의 궤적을 계산하여 대응하는 미리 설정된 동작을 수행할 수 있다.According to another embodiment of the present invention, the controller may calculate a trajectory of one or more input position data in an operation mode for gesture recognition to perform a corresponding preset operation.

또한, 본 발명의 다른 실시예에 따르면, 상기 센서 그리드 패널은 빛의 변화를 감지하여 디지털 데이터를 생성하고, 상기 제어부는 상기 디지털 데이터를 이용해서 손가락과 패널 사이의 접촉면적 및 중심점을 계산하여 사용자가 의도한 위치를 인식할 수 있다.In addition, according to another embodiment of the present invention, the sensor grid panel detects a change in light to generate digital data, the control unit calculates the contact area and the center point between the finger and the panel using the digital data to the user Can recognize the intended location.

또한, 본 발명의 다른 실시예에 따르면, 상기 센서 그리드 패널이 빛의 변화를 감지할 때 LCD의 백라이트(Back Light)를 이용하여 반사된 빛을 이용하거나, 자연광이 손가락에 의해 가려져 빛이 차단되는 것을 이용하거나, 각 센서의 발광부를 이용하여 특정 주파수의 빛을 출력하여 그에 반사된 빛을 이용하거나, 상기 세 가지 방법들 중 둘 이상의 방법을 조합하여 사용자가 의도한 위치를 인식할 수 있다.In addition, according to another embodiment of the present invention, when the sensor grid panel detects a change in light, the light reflected by using the backlight (Back Light) of the LCD, or the natural light is blocked by the finger to block the light The light emitting unit of the sensor may output light of a specific frequency and reflect light thereto, or a combination of two or more of the above three methods may be used to recognize a user's intended position.

또한, 본 발명의 다른 실시예에 따르면, 상기 센서 그리드 패널은 빛의 변화를 감지하는 센서와 특정 빛을 인식하도록 설계된 수광부를 하나로 통합하여 포함할 수 있다.In addition, according to another embodiment of the present invention, the sensor grid panel may include a sensor for detecting a change in light and a light receiving unit designed to recognize a specific light in one.

본 발명에 따른 센서 그리드 방식의 지문 인식이 가능한 사용자 입력 장치는, 사용자에 의해서 입력되는 데이터와 그 데이터에 따른 동작 수행 결과 및 반응을 표시하는 표시부와, 접촉한 손가락들의 지문을 인식할 수 있게 화면의 크기에 맞게 격자 형태로 배열된 센서들로 이루어진 센서 그리드 패널과, 상기 센서 그리드 패널로부터 전달받은 하나 이상의 지문 데이터를 저장하는 메모리부와, 상기 지문 인식 데이터로부터 설정된 동작 모드에 대응되는 동작패턴을 상기 메모리로부터 독출한 후 상기 표시부에 표시 및 특정 동작을 실행하는 제어부를 포함하고, 상기 장치의 동작 모드로서 멀티 터치 동작 모드와 지문 인식 동작 모드를 포함하고, 상기 메모리부는 상기 동작 모드들을 위한 입력 패턴과 그에 대응하는 동작 및 기능 수행 정보를 저장하고, 상기 센서 그리드 패널은 적외선 또는 특정 주파수의 빛을 출력할 수 있는 초소형의 발광부와, 해당 주파수의 빛으로부터 반사된 빛을 수신할 수 있는 수광부, 및 빛의 변화를 감지할 수 있는 센서들을 포함하고, 상기 센서 그리드 패널에서의 센서 그리드가 격자 형태로 배열되고, 상기 센서 그리드 패널은 그래핀 또는 투명 전극을 가지는 소재로 이루어지고, 디스플레이 장치의 전면에 배치된다.According to an aspect of the present invention, a sensor grid type user input device capable of fingerprint recognition includes a display unit displaying data input by a user, an operation result and response according to the data, and a screen for recognizing fingerprints of touched fingers. A sensor grid panel including sensors arranged in a lattice form according to the size of the sensor, a memory unit for storing one or more fingerprint data received from the sensor grid panel, and an operation pattern corresponding to an operation mode set from the fingerprint recognition data; A control unit configured to display and display a specific operation on the display unit after reading from the memory, and includes a multi-touch operation mode and a fingerprint recognition operation mode as an operation mode of the device, and the memory unit includes an input pattern for the operation modes. And corresponding action and function performance information. The sensor grid panel includes an ultra-small light emitting unit capable of outputting infrared or light of a specific frequency, a light receiving unit capable of receiving light reflected from light of a corresponding frequency, and sensors capable of detecting a change in light. In addition, the sensor grid in the sensor grid panel is arranged in a grid form, the sensor grid panel is made of a material having a graphene or a transparent electrode, it is disposed on the front of the display device.

본 발명의 실시예에 따르면, 상기 제어부는 특정 위치에 대해 지문 스캔을 위한 적외선 또는 특정 주파수의 빛을 센서 그리드 패널에 출력하도록 할 수 있다.According to an embodiment of the present invention, the controller may output an infrared ray or light of a specific frequency to the sensor grid panel for fingerprint scanning at a specific position.

또한, 본 발명의 다른 실시예에 따르면, 상기 제어부는 멀티 터치 동작 모드에서 둘 이상의 접촉한 손가락들의 위치에 대해 지문 스캔을 위한 적외선 또는 특정 주파수의 빛을 센서 그리드 패널에 출력하도록 할 수 있다. In addition, according to another embodiment of the present invention, the control unit may output an infrared ray or light of a specific frequency to the sensor grid panel for the fingerprint scan for the position of two or more touched fingers in the multi-touch operation mode.

또한, 본 발명의 다른 실시예에 따르면, 상기 제어부는 지문 인식 동작 모드에서 하나 이상의 지문 데이터들을 분석하여 해당 지문 데이터 조합에 대응하는 미리 설정된 동작을 수행할 수 있다.According to another embodiment of the present disclosure, the controller may analyze one or more fingerprint data in a fingerprint recognition operation mode and perform a preset operation corresponding to the corresponding fingerprint data combination.

또한, 본 발명의 다른 실시예에 따르면, 상기 센서 그리드 패널은 특정 주파수를 가지는 빛의 반사를 통해 미세한 거리를 감지하여 디지털 데이터를 생성하고, 상기 제어부는 상기 디지털 데이터에 기초한 손가락과 패널 사이의 접촉면에 대한 정보를 분석해서 생성된 지문 정보를 이용하여 사용자의 특정 손가락 지문을 인식할 수 있다.In addition, according to another embodiment of the present invention, the sensor grid panel detects a minute distance through the reflection of light having a specific frequency to generate digital data, the control unit is a contact surface between the finger and the panel based on the digital data The fingerprint information generated by analyzing the information may be used to recognize a specific finger fingerprint of the user.

본 발명에 따른 센서 그리드 방식의 멀티 터치와 지문 인식이 가능한 사용자 입력 장치는, 사용자에 의해서 입력되는 데이터와 그 데이터에 따른 동작 수행 결과 및 반응을 표시하는 표시부와, 접촉한 손가락들의 위치 및 지문을 인식할 수 있게 화면의 크기에 맞게 격자 형태로 배열된 센서들로 이루어진 센서 그리드 패널과, 상기 센서 그리드 패널로부터 전달받은 하나 이상의 위치 데이터 또는 지문 데이터를 저장하는 메모리부와, 상기 위치 데이터로부터 확인된 동작 모드에 대응되는 입력패턴을 상기 메모리로부터 독출한 후 상기 표시부에 표시 및 특정 동작을 실행하는 제어부를 포함하고, 상기 장치의 동작 모드로서 포인팅을 위한 동작 모드, 멀티 터치 동작 모드, 제스처 인식을 위한 동작 모드, 및 지문 인식을 위한 동작 모드를 포함하고, 상기 메모리부는 상기 동작 모드들을 위한 입력 패턴과 그에 대응하는 동작 및 기능 수행 정보를 저장하고, 상기 센서 그리드 패널은 적외선 또는 특정 주파수의 빛을 출력할 수 있는 초소형의 발광부와, 해당 주파수의 빛으로부터 반사된 빛을 수신할 수 있는 수광부, 및 빛의 변화를 감지할 수 있는 센서들을 포함하고, 상기 센서 그리드 패널에서의 센서 그리드가 격자 형태로 배열되고, 상기 센서 그리드 패널은 그래핀 또는 투명 전극을 가지는 소재로 이루어지고, 디스플레이 장치의 전면에 배치된다.According to an embodiment of the present invention, a sensor grid type multi-touch and a user input device capable of fingerprint recognition may include a display unit displaying data input by a user, a result of performing an operation, and a response according to the data; A sensor grid panel comprising sensors arranged in a grid shape so as to be recognizable, a memory unit storing one or more position data or fingerprint data received from the sensor grid panel, and identified from the position data And a control unit which reads an input pattern corresponding to an operation mode from the memory and displays the display on the display unit and executes a specific operation. The operating mode of the device is an operation mode for pointing, a multi-touch operation mode, and gesture recognition. An operation mode, and an operation mode for fingerprint recognition; The memory unit stores an input pattern for the operation modes and corresponding operation and function performance information, and the sensor grid panel includes an ultra-small light emitting unit capable of outputting infrared rays or light of a specific frequency, and reflected from light of the corresponding frequency. And a light receiving unit capable of receiving a light, and sensors capable of detecting a change in light, wherein the sensor grid in the sensor grid panel is arranged in a grid, and the sensor grid panel has graphene or transparent electrodes. It is made of material and is placed in front of the display device.

본 발명의 실시예에 따르면, 상기 제어부는 포인팅을 위한 동작 모드에서 입력된 위치 데이터들의 중앙의 좌표값을 계산하여 상기 표시부의 특정 부분을 가리키거나 선택하는 피드백을 제공하는 동작을 수행할 수 있다.According to an embodiment of the present invention, the control unit may perform an operation of providing a feedback indicating or selecting a specific part of the display unit by calculating a coordinate value of the center of the position data input in the operation mode for pointing. .

또한, 본 발명의 다른 실시예에 따르면, 상기 제어부는 멀티 터치 동작 모드에서 입력된 둘 이상의 위치 데이터들의 중앙의 좌표값을 계산하여 상기 표시부의 특정 부분을 동시에 가리키거나 선택하는 피드백을 제공하는 동작을 수행할 수 있다.In addition, according to another embodiment of the present invention, the control unit calculates a coordinate value of the center of the two or more position data input in the multi-touch operation mode to provide a feedback to simultaneously point or select a specific portion of the display unit Can be performed.

또한, 본 발명의 다른 실시예에 따르면, 상기 제어부는 제스처 인식을 위한 동작 모드에서 하나 이상의 입력된 위치 데이터들의 궤적을 계산하여 대응하는 미리 설정된 동작을 수행할 수 있다.According to another embodiment of the present invention, the controller may calculate a trajectory of one or more input position data in an operation mode for gesture recognition to perform a corresponding preset operation.

또한, 본 발명의 다른 실시예에 따르면, 상기 제어부는 터치 인식부로부터 전달받은 특정 위치에 대해 지문 스캔을 위한 적외선 또는 특정 주파수의 빛을 센서 그리드 패널에 출력하도록 할 수 있다.In addition, according to another embodiment of the present invention, the control unit may output an infrared ray or light of a specific frequency to the sensor grid panel for the fingerprint scan for a specific position received from the touch recognition unit.

또한, 본 발명의 다른 실시예에 따르면, 상기 제어부는 멀티 터치 동작 모드에서 둘 이상의 위치에 대해 지문 스캔을 위한 적외선 또는 특정 주파수의 빛을 센서 그리드 패널에 출력하도록 할 수 있다.In addition, according to another embodiment of the present invention, the control unit may output an infrared ray or light of a specific frequency to the sensor grid panel for the fingerprint scan for two or more positions in the multi-touch operation mode.

또한, 본 발명의 다른 실시예에 따르면, 상기 제어부는 지문 인식을 위한 동작 모드에서 하나 이상의 지문 데이터들을 분석하여 해당 지문 데이터 조합에 대응하는 미리 설정된 동작을 수행할 수 있다.According to another embodiment of the present invention, the controller may analyze one or more fingerprint data in an operation mode for fingerprint recognition and perform a preset operation corresponding to the corresponding fingerprint data combination.

또한, 본 발명의 다른 실시예에 따르면, 상기 센서 그리드 패널은 특정 주파수를 가지는 빛의 반사를 통해 미세한 거리를 감지하여 디지털 데이터를 생성하고, 상기 제어부는 상기 디지털 데이터를 이용하여 손가락과 패널 사이의 접촉면적 및 중심점을 계산하여 사용자가 의도한 위치를 인식하거나, 상기 디지털 데이터에 기초한 손가락과 패널 사이의 접촉면에 대한 정보를 분석해서 생성된 지문 정보를 이용하여 사용자의 특정 손가락 지문을 인식할 수 있다.In addition, according to another embodiment of the present invention, the sensor grid panel detects a minute distance through the reflection of light having a specific frequency to generate digital data, the control unit using the digital data between the finger and the panel By calculating the contact area and the center point, the user may recognize the intended position, or by using the fingerprint information generated by analyzing the information on the contact surface between the finger and the panel based on the digital data, the user may recognize the specific finger fingerprint. .

또한, 본 발명의 다른 실시예에 따르면, 상기 센서 그리드 패널은 빛의 변화를 감지할 때 LCD의 백라이트(Back Light)를 이용하여 반사된 빛을 이용하거나, 자연광이 손가락에 의해 가려져 빛이 차단되는 것을 이용하거나, 각 센서의 발광부를 이용하여 특정 주파수의 빛을 출력하여 그에 반사된 빛을 이용하거나, 상기 세 가지 방법들 중 둘 이상의 방법을 조합하여 사용자가 의도한 위치를 인식할 수 있다.In addition, according to another embodiment of the present invention, the sensor grid panel uses the light reflected by the backlight (Back Light) of the LCD when detecting the change of light, or the natural light is blocked by the finger is blocked light The light emitting unit of the sensor may output light of a specific frequency and reflect light thereto, or a combination of two or more of the above three methods may be used to recognize a user's intended position.

또한, 본 발명의 다른 실시예에 따르면, 상기 센서 그리드 패널은 빛의 변화를 감지하는 센서와 특정 빛을 인식하도록 설계된 수광부를 하나로 통합하여 포함할 수 있다.In addition, according to another embodiment of the present invention, the sensor grid panel may include a sensor for detecting a change in light and a light receiving unit designed to recognize a specific light in one.

본 발명에 따른 멀티 터치가 가능한 센서 그리드 패널을 구비하는 전자장치의 사용자 터치 인식 방법은, 사용자의 터치에 의해서 센서 그리드 패널에서 나타나는 하나 이상의 광신호 변화를 감지하는 단계로서, 상기 광신호 변화를 감지하고 측정해서 사용자의 손가락과 센서 그리드 패널이 만나는 접촉면에서의 손가락 좌표를 파악하거나 손가락이 센서 그리드 패널을 누르는 정도를 파악하기 위한 좌표 데이터를 생성하는 것을 포함하는 단계; 상기 좌표 데이터를 이용해서 상기 접촉면에서의 중심 좌표를 산출하고, 상기 중심 좌표를 이용하여 사용자가 의도한 터치 위치를 파악하고, 시간의 경과에 따라서 손가락 좌표의 변화를 연속적으로 분석해서 설정된 시간 내에 특정 제스처가 입력되었는지 파악하는 단계; 및 상기 전자장치에 미리 저장되어 있는 입력 패턴으로서, 상기 파악된 터치 위치 또는 상기 파악된 제스처에 대응하는 입력 패턴이 존재하는지 확인한 후, 대응하는 입력 패턴이 존재하는 경우에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하거나 상기 전자장치로 하여금 대응하는 입력 패턴에 따라서 특정 기능을 수행하게 하는 단계;를 포함한다.A user touch recognition method of an electronic device having a multi-touch sensor grid panel according to an embodiment of the present invention includes detecting a change in one or more optical signals displayed on a sensor grid panel by a user's touch, and detecting the change in the optical signal. And measuring and generating coordinate data for determining a finger coordinate at a contact surface where the user's finger and the sensor grid panel meet or measuring the degree to which the finger presses the sensor grid panel; The coordinate data is used to calculate the center coordinates on the contact surface, the center coordinates are used to grasp the user's intended touch position, and the change of the finger coordinates is continuously analyzed as time passes, thereby specifying a specified time. Determining whether a gesture is input; And checking whether an input pattern corresponding to the detected touch position or the detected gesture exists as an input pattern previously stored in the electronic device, and then inputting the corresponding input pattern when the corresponding input pattern exists. Displaying on the display device of the device or causing the electronic device to perform a specific function according to a corresponding input pattern.

본 발명에 따른 지문 인식이 가능한 센서 그리드 패널을 구비하는 전자장치의 사용자 지문 인식 방법은, 지문 인식 명령에 따라 센서 그리드 패널에서 방출된 특정 주파수의 출력과 반사를 통해서 하나 이상의 특정 영역에서 각 센서의 미세 거리를 감지하는 단계로서, 상기 미세 거리를 감지하기 위해서 기준 단위 시간을 이용하여 발광부의 출력 시간과 수광부의 입력 시간 사이의 변화를 분석하고 계산하는 것을 포함하는 단계; 센서 그리드 패널로부터의 지문 데이터를 가공하여 노이즈 데이터를 제거하고 상기 전자장치에서 이용될 수 있는 형식으로 변화시킴으로써, 상기 미세 거리 차이들을 이용하여 사용자 손가락의 지문을 파악하는 단계; 및 상기 전자장치에 미리 저장되어 있는 입력 패턴으로서, 상기 파악된 손가락의 지문에 대응하는 입력 패턴이 존재하는지 확인한 후, 대응하는 입력 패턴이 존재하는 경우에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하거나 상기 전자장치로 하여금 대응하는 입력 패턴에 따라서 특정 기능을 수행하게 하는 단계;를 포함한다.A user fingerprint recognition method of an electronic device having a sensor grid panel capable of fingerprint recognition according to the present invention is characterized in that the sensor of each sensor in one or more specific areas through the output and reflection of a specific frequency emitted from the sensor grid panel according to a fingerprint recognition command. Detecting a fine distance, comprising: analyzing and calculating a change between an output time of a light emitting unit and an input time of a light receiving unit using a reference unit time to detect the fine distance; Processing fingerprint data from a sensor grid panel to remove noise data and transforming it into a format that can be used in the electronic device, thereby identifying a fingerprint of a user's finger using the fine distance differences; And checking whether an input pattern corresponding to the fingerprint of the identified finger exists as an input pattern previously stored in the electronic device, and then displaying the input pattern corresponding to the case where the corresponding input pattern exists. Displaying on or causing the electronic device to perform a specific function according to a corresponding input pattern.

본 발명에 따른 지문 인식 및 멀티 터치가 가능한 센서 그리드 패널을 구비하는 전자장치의 사용자 지문 인식 및 터치 인식 방법은, 사용자의 터치에 의해서 센서 그리드 패널에서 나타나는 하나 이상의 광신호 변화를 감지하는 단계로서, 상기 광신호 변화를 감지하고 측정해서 사용자의 손가락과 센서 그리드 패널이 만나는 접촉면에서의 손가락 좌표를 파악하거나 손가락이 센서 그리드 패널을 누르는 정도를 파악하기 위한 좌표 데이터를 생성하는 것을 포함하는 단계; 지문 인식 명령에 따라 센서 그리드 패널에서 방출된 특정 주파수의 출력과 반사를 통해서 하나 이상의 특정 영역에서 각 센서의 미세 거리를 감지하는 단계로서, 상기 미세 거리를 감지하기 위해서 기준 단위 시간을 이용하여 발광부의 출력 시간과 수광부의 입력 시간 사이의 변화를 분석하고 계산하는 것을 포함하는 단계; 상기 좌표 데이터를 이용해서 상기 접촉면에서의 중심 좌표를 산출하고, 상기 중심 좌표를 이용하여 사용자가 의도한 터치 위치를 파악하고, 시간의 경과에 따라서 손가락 좌표의 변화를 연속적으로 분석해서 설정된 시간 내에 특정 제스처가 입력되었는지 파악하는 단계; 센서 그리드 패널로부터의 지문 데이터를 가공하여 노이즈 데이터를 제거하고 상기 전자장치에서 이용될 수 있는 형식으로 변화시킴으로써, 상기 미세 거리 차이들을 이용하여 사용자 손가락의 지문을 파악하는 단계; 및 상기 전자장치에 미리 저장되어 있는 입력 패턴으로서, 상기 파악된 터치 위치 또는 상기 파악된 제스처 또는 상기 파악된 손가락의 지문에 대응하는 입력 패턴이 존재하는지 확인한 후, 대응하는 입력 패턴이 존재하는 경우에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하거나 상기 전자장치로 하여금 대응하는 입력 패턴에 따라서 특정 기능을 수행하게 하는 단계;를 포함한다.A fingerprint recognition and touch recognition method of an electronic device having a sensor grid panel capable of fingerprint recognition and multi-touch according to the present invention is a step of detecting a change in one or more optical signals displayed on the sensor grid panel by a user's touch. Sensing and measuring the change in the optical signal to determine finger coordinates at the contact surface where the user's finger and the sensor grid panel meet or to generate coordinate data for determining the degree to which the finger presses the sensor grid panel; A step of detecting the fine distance of each sensor in one or more specific areas through the output and reflection of a specific frequency emitted from the sensor grid panel according to the fingerprint recognition command, to detect the minute distance by using a reference unit time Analyzing and calculating a change between the output time and the input time of the light receiver; The coordinate data is used to calculate the center coordinates on the contact surface, the center coordinates are used to grasp the user's intended touch position, and the change of the finger coordinates is continuously analyzed as time passes, thereby specifying a specified time. Determining whether a gesture is input; Processing fingerprint data from a sensor grid panel to remove noise data and transforming it into a format that can be used in the electronic device, thereby identifying a fingerprint of a user's finger using the fine distance differences; And when an input pattern corresponding to the detected touch position or the identified gesture or the fingerprint of the detected finger exists as an input pattern previously stored in the electronic device, and when a corresponding input pattern exists And displaying a corresponding input pattern on a display device of the electronic device or causing the electronic device to perform a specific function according to the corresponding input pattern.

이상에서 살펴본 바와 같이 본 발명에 따른 센서 그리드 투명 패널 및 이를 이용하는 전자장치는 멀티 터치 입력뿐만 아니라 손가락 지문 인식에 따른 다양한 사용자 인터페이스를 구현할 수 있다. 이를 통해 왼손과 오른손의 구별 또는 손가락별로 구별이 가능하며 복수의 손가락 터치도 인식할 수 있기 때문에 상응하는 다양한 기능 수행을 지정할 수 있다. 예를 들어, 복수의 스크린을 조작 및 제어할 수 있도록 하고, 제스처나 지문에 따라 설정된 동작모드를 선택할 수 있도록 하여 사용자가 자주 쓰는 동작모드를 좀 더 빨리 선택할 수 있도록 한다. 또한, 디스플레이 장치에 결합할 수 있게 되어있기 때문에 별도의 지문 인식 장치가 필요하지 않고 복수의 지문을 인식할 수 있기 때문에 다양한 방식의 입력 및 인증 방법이 가능하다.As described above, the sensor grid transparent panel and the electronic device using the same according to the present invention may implement various user interfaces according to finger fingerprint recognition as well as a multi-touch input. Through this, the left hand and the right hand can be distinguished from each other or by finger, and a plurality of finger touches can be recognized, so that various functions can be assigned. For example, it is possible to operate and control a plurality of screens, and to select an operation mode set according to a gesture or a fingerprint so that a user can select a frequently used operation mode more quickly. In addition, since it can be combined with the display device, a plurality of fingerprints can be recognized without requiring a separate fingerprint recognition device, and thus various input and authentication methods are possible.

입체 영상 디스플레이 또는 투명 디스플레이를 중첩하여 구성되는 다중 계층을 출력하는 디스플레이 장치가 전자장치에 적용될 경우, 본 발명이 유용하게 활용할 수 있다. 예를 들어, 사용자들이 주로 사용하는 오른손의 경우 전면부에 위치하는 디스플레이에 출력된 GUI를 조작할 수 있고, 또한 가장 많이 사용하는 오른손 검지의 경우 마우스 왼쪽 버튼의 역할을, 오른손 중지의 경우 마우스 오른쪽 버튼의 역할을 수행하게 할 수 있다. 이뿐만 아니라 일반적으로 많이 사용하지 않는 나머지 손가락들은, 특정 프로그램을 실행하기 위한 단축 기능 수행 방법으로 사용하거나 화면상에서 보이지 않는 백그라운드 프로그램을 제어하는 데 사용될 수 있다. 예를 들면, 오른손 약지를 이용한 드래그를 통해 MP3파일의 재생목록을 조작할 수 있고, 왼손 약지를 이용한 드래그를 통해 MP3파일을 재생하거나 정지하거나, 앞으로 감거나 뒤로 감을 수 있다.When a display device for outputting multiple layers configured by superimposing a stereoscopic image display or a transparent display is applied to an electronic device, the present invention may be usefully utilized. For example, the user can use the GUI displayed on the front panel for the right hand that is mainly used, and also act as the left mouse button for the most used right hand detection, and the right hand for the right hand stop. Can act as a button. In addition, the remaining fingers, which are not generally used, may be used as a shortcut function for executing a specific program or used to control a background program not visible on the screen. For example, it is possible to manipulate a playlist of an MP3 file by dragging using the right hand ring finger, and play or stop, forward or rewind the MP3 file by dragging with the left hand ring finger.

도 1은 본 발명의 실시예에 따른 센서 그리드 방식의 터치 패널의 구조를 개략적으로 나타낸 도면,
도 2는 본 발명의 실시예에 따른 센서 그리드 방식의 입력 패널이 적용된 휴대 단말기를 개략적으로 나타낸 도면,
도 3은 본 발명의 실시예에 따른 도 2의 패널 부분을 계층별로 분리하여 나타낸 도면,
도 4는 본 발명의 실시예에 따른 센서 그리드로 구성된 패널 부분을 나타낸 도면,
도 5는 본 발명의 실시예에 따른 센서 그리드 투명 패널을 구비하는 디스플레이 장치의 단면을 나타낸 도면,
도 6는 본 발명의 실시예에 따른 센서 그리드로 구성된 사용자 입력 장치와 손가락의 접촉을 통해 위치를 감지하는 경우의 장치의 단면을 나타낸 도면,
도 7은 본 발명의 실시예에 따른 센서 그리드로 구성된 사용자 입력 장치와 손가락의 접촉을 통해 지문을 인식하는 경우의 장치의 단면을 나타낸 도면,
도 8은 본 발명의 실시예에 따른 센서 그리드로 구성된 사용자 입력장치를 구비하는 전자장치의 구성을 개략적으로 나타낸 블록도,
도 9는 본 발명의 실시예에 따른 센서 그리드 패널을 구비한 사용자 입력 장치 및 전자장치가 터치 또는 지문을 인식하는 과정을 도시한 순서도,
도 10은 본 발명의 실시예에 따른 사용자 입력 장치를 구비하는 전자장치가 터치나 지문 또는 이 둘의 조합을 통해 미리 저장된 상응하는 기능을 수행하거나 복수의 스크린을 조작 및 제어하는 과정을 도시한 순서도,
도 11은 본 발명의 실시예에 따른 사용자 입력 장치에서 사용자의 지문을 미리 입력하여 사용자 지문 프로필을 생성하는 과정을 도시한 순서도,
도 12는 본 발명의 실시예에 따른 사용자 입력 장치에서 사용자의 멀티 터치 입력을 통해 사진을 확대하는 예를 나타낸 도면,
도 13은 본 발명의 실시예에 따른 사용자 입력 장치에서 계층별로 구성된 디스플레이에서 조작가능한 요소의 예를 나타낸 도면,
도 14는 본 발명의 실시예에 따른 사용자 입력 장치에서 계층별로 구성된 입체 영상 디스플레이 또는 투명 디스플레이를 이용한 다계층 디스플레이를 손의 구별을 통해 조작할 수 있는 것을 예로 나타낸 도면,
도 15는 멀티 터치가 가능한 센서 그리드 패널을 구비하는 전자장치의 사용자 터치 인식 방법을 도시한 순서도,
도 16은 지문 인식이 가능한 센서 그리드 패널을 구비하는 전자장치의 사용자 지문 인식 방법을 도시한 순서도,
도 17은 지문 인식 및 멀티 터치가 가능한 센서 그리드 패널을 구비하는 전자장치의 사용자 지문 인식 및 터치 인식 방법을 도시한 순서도이다.1 is a view schematically showing the structure of a sensor grid type touch panel according to an embodiment of the present invention;
2 is a schematic view of a portable terminal to which a sensor grid type input panel is applied according to an embodiment of the present invention;
3 is a view showing the panel parts of FIG. 2 separated by layers according to an embodiment of the present invention;
4 is a view showing a panel portion composed of a sensor grid according to an embodiment of the present invention;
5 is a cross-sectional view of a display device including a sensor grid transparent panel according to an embodiment of the present invention;
6 is a cross-sectional view of a device in the case of detecting a position through contact of a finger with a user input device composed of a sensor grid according to an embodiment of the present invention;
FIG. 7 is a cross-sectional view of a device in the case of recognizing a fingerprint through contact of a finger with a user input device composed of a sensor grid according to an embodiment of the present invention; FIG.
8 is a block diagram schematically illustrating a configuration of an electronic device having a user input device configured with a sensor grid according to an embodiment of the present invention;
9 is a flowchart illustrating a process of recognizing a touch or a fingerprint by a user input device and an electronic device having a sensor grid panel according to an embodiment of the present invention;
FIG. 10 is a flowchart illustrating a process in which an electronic device having a user input device according to an embodiment of the present invention performs a pre-stored corresponding function or manipulates and controls a plurality of screens through touch, fingerprint, or a combination thereof. ,
11 is a flowchart illustrating a process of generating a user fingerprint profile by inputting a user's fingerprint in advance in a user input device according to an embodiment of the present invention;
12 illustrates an example of enlarging a photo through a multi-touch input of a user in a user input device according to an embodiment of the present invention;
FIG. 13 is a view showing an example of elements that can be manipulated in a display organized by layers in a user input device according to an embodiment of the present invention; FIG.
FIG. 14 is a diagram illustrating that a user input device according to an embodiment of the present invention can operate a multi-layer display using a stereoscopic image display or a transparent display configured for each layer by distinguishing hands;
15 is a flowchart illustrating a user touch recognition method of an electronic device having a sensor grid panel capable of multi-touch.
16 is a flowchart illustrating a user fingerprint recognition method of an electronic device having a sensor grid panel capable of fingerprint recognition.
FIG. 17 is a flowchart illustrating a user fingerprint recognition and a touch recognition method of an electronic device including a sensor grid panel capable of fingerprint recognition and multi-touch.

이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 이하의 본 발명에 대한 설명에서는 본 발명의 실시예에 따른 동작을 이해하는 데 필요한 부분만이 설명되며, 그 이외의 설명은 본 발명의 요지를 흩뜨리지 않도록 생략될 것이라는 것을 유의하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, only parts necessary for understanding the operation according to the embodiment of the present invention will be described, it should be noted that other description will be omitted so as not to distract from the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구 범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the specification and claims described below should not be construed as being limited to the ordinary or dictionary meanings, and the inventors should properly introduce the concept of terms in order to explain their invention in the best way. It should be interpreted as meanings and concepts in accordance with the technical spirit of the present invention based on the principle that it can be defined. Therefore, the embodiments described in the specification and the configuration shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical idea of the present invention, various equivalents that may be substituted for them at the time of the present application It should be understood that there may be water and variations.

본 발명의 상세한 설명에 앞서, 이하에서는 설명의 편의를 위해 본 발명의 실시예에 따른 전자장치를 이동 통신 단말기로서 설명하지만, 본 발명이 이에 한정되는 것은 아니다. 즉, 본 발명의 실시예에 따른 상기 휴대 단말기는 센서 그리드 방식의 터치 패널을 포함하는 전자장치로서, 바람직하게는 이동통신 단말기, 이동 전화기, 개인 정보 단말기(PDA, Personal Digital Assistant), 스마트 폰(Smart Phone) 등과 같은 모든 정보통신 기기 및 멀티미디어 기기와, 그에 대한 응용에도 적용될 수 있음은 자명할 것이다.Prior to the detailed description of the present invention, the electronic device according to an embodiment of the present invention will be described as a mobile communication terminal for convenience of description, but the present invention is not limited thereto. That is, the portable terminal according to an embodiment of the present invention is an electronic device including a sensor grid type touch panel, and preferably, a mobile communication terminal, a mobile phone, a personal digital assistant (PDA), a smart phone ( It will be apparent that the present invention can be applied to all information communication devices and multimedia devices such as smart phones and the like, and applications thereof.

본 명세세에서, "멀티 터치"는 터치스크린 상의 두 지점 이상에 터치가 동시에 발생하는 것을 말한다.In this specification, "multi-touch" refers to the simultaneous generation of touch at two or more points on the touchscreen.

본 명세서에서, "드래그 동작"은 멀티 터치를 유지한 상태에서 이동하는 것을 의미한다. 예를 들면, 멀티 터치 상태에서 터치된 두 개 이상의 지점의 간격이 멀어지거나 가까워지도록 손이나 펜 등의 입력도구를 이용하여 이동시키는 것이 될 수 있다.In this specification, "drag operation" means moving while maintaining a multi-touch. For example, in the multi-touch state, the distance between two or more touched points may be moved by using an input tool such as a hand or a pen such that the distance between two or more touched points becomes far or near.

본 명세서에서, "센서 그리드 패널"은 동일한 간격으로 미세한 전선 또는 그 역할을 대체할 수 있는 전도성을 가진 물질이 격자 무늬를 이루며 배치되어 있고, 그 교점에는 터치 인식 또는 지문 인식의 기능을 수행할 수 있는 초소형이 센서 집합이 고정되어 있는 패널 형태의 장치를 말한다. In the present specification, the "sensor grid panel" is arranged in a grid pattern of a conductive material that can replace fine wires or their roles at equal intervals, and the intersection may perform a function of touch recognition or fingerprint recognition. Microminiature device is a panel type device in which a set of sensors is fixed.

이하, 본 발명의 실시예를 설명함에 있어서 동일한 기능을 수행하는 구성요소에 대해서는 동일한 부호를 사용하여 설명하기로 한다.Hereinafter, in describing the embodiments of the present invention, components that perform the same function will be described with the same reference numerals.

도 1은 본 발명의 실시예에 따른 센서 그리드 방식의 터치 패널의 구조를 개략적으로 나타낸 도면이다.1 is a diagram schematically illustrating a structure of a sensor grid type touch panel according to an exemplary embodiment of the present invention.

도 1을 참조하면, 센서 그리드 방식의 터치 패널(100)은 크게 패널을 보호하기 위한 투명 재질의 보호층(101), 센서 그리드를 포함하는 터치 인식이나 지문 인식 또는 이 두 가지를 동시에 인식할 수 있는 투명 재질의 센서 그리드 계층(102), 전면에 배치되며 그래핀이나 투명 전극 등을 이용한 투명 디스플레이 소재나 입체 영상 디스플레이 장치에서 전면부에 표시된다고 볼 수 있는 가상의 표시 계층 또는 소프트웨어 상으로 전면부에 표시된다고 말할 수 있는 표시 계층을 포함하는 제1 표시 계층(103), 후면에 배치되며 일반적인 디스플레이 장치나 입체 영상 디스플레이에서 후면부에 표시 된다고 볼 수 있는 표시 계층 또는 소프트웨어 상으로 후면부에 표시된다고 말할 수 있는 표시 계층을 포함하는 제2 표시 계층(104)을 포함할 수 있다. 또한, 도시하지는 않았지만 표시 계층은 3개 이상의 표시 계층으로도 구성될 수 있으며, 아날로그 신호를 디지털 신호로 변화시키는 ADC 및 컨트롤러 등을 포함할 수 있다.Referring to FIG. 1, the sensor grid type touch panel 100 may simultaneously recognize a protective layer 101 made of a transparent material for protecting a panel, a touch recognition or a fingerprint recognition including a sensor grid, or both. Sensor grid layer 102 of transparent material, which is disposed on the front surface, and is a virtual display layer or software on the front surface of a transparent display material or a stereoscopic image display device using graphene or transparent electrodes. A first display layer 103 comprising a display layer which can be said to be displayed on the back side, which can be said to be displayed on the back side in a display layer or software which is arranged on the back side and can be seen on the back side in a typical display device or stereoscopic image display. It may include a second display layer 104 including a display layer that is present. In addition, although not shown, the display layer may include three or more display layers, and may include an ADC and a controller for converting an analog signal into a digital signal.

도 2는 본 발명의 실시예에 따른 센서 그리드 방식의 입력 패널이 적용된 휴대 단말기를 개략적으로 나타낸 도면이다.2 is a diagram schematically illustrating a portable terminal to which a sensor grid type input panel according to an exemplary embodiment of the present invention is applied.

도 2를 참조하면, 센서 그리드 방식의 입력 패널을 적용한 휴대 단말기(200)는 해당 단말기의 기능과 상응하는 아이콘(201)과 같은 조작을 위한 요소나 다양한 정보를 상기 제1 표시 계층(103)에 출력할 수 있으며, 메뉴나 메시지 또는 배경화면 등을 통해 다양한 정보나 조작을 위한 요소(202)를 상기 제2 표시 계층(104)에 출력할 수 있다.Referring to FIG. 2, the mobile terminal 200 employing a sensor grid-type input panel may display various information or elements for operation such as an icon 201 corresponding to a function of the corresponding terminal on the first display layer 103. An element 202 for various information or operations may be output to the second display layer 104 through a menu, a message, a background screen, or the like.

도 3은 본 발명의 실시예에 따른 도 2의 패널 부분을 계층별로 분리하여 나타낸 도면이다.3 is a diagram illustrating the panel parts of FIG. 2 separated by layers according to an exemplary embodiment of the present invention.

도 3을 참조하면, 도 3의 패널 부분(300)은 패널의 보호를 위한 보호층(301), 터치 또는 지문 인식을 위한 투명 재질의 센서 그리드 계층(302), 아이콘 등과 같은 조작을 위한 요소를 위주로 다양한 요소를 표시하는 제1 표시 계층(303), 메뉴나 메시지 위주의 정보 표현를 위한 요소를 위주로 다양한 요소를 표시하는 제2 표시 계층(304)을 포함할 수 있다.Referring to FIG. 3, the panel portion 300 of FIG. 3 includes elements for manipulation such as a protective layer 301 for protecting the panel, a sensor grid layer 302 of a transparent material for touch or fingerprint recognition, an icon, and the like. It may include a first display layer 303 for displaying various elements mainly, and a second display layer 304 for displaying various elements mainly for elements for expressing a menu or message-oriented information.

도 4는 본 발명의 실시예에 따른 센서 그리드로 구성된 패널 부분을 나타낸 도면이다.4 is a view showing a panel portion composed of a sensor grid according to an embodiment of the present invention.

도 4를 참조하면, 특정한 단위 간격으로 광센서 조합이 격자 무늬를 이루는 센서 그리드가 구비된 투명 패널(400)은 특정한 주파수대의 광신호를 입력받을 수 있는 수광부(401), 상기 주파수대의 광신호를 출력할 수 있는 발광부(402), 주변의 자연광이나 빛의 차단 등의 빛의 변화를 감지할 수 있는 조도 센서부(403), 탄소 나노 튜브 등과 같은 소자를 이용하여 효율적으로 전류를 흐르게 하며 특정한 단위 간격으로 배치되어 상기 광센서 조합의 인식 결과를 전기신호로 전달하거나 광센서 조합에 전압과 전류를 전달하여 동작할 수 있게 하는 아주 얇은 도선(404)을 포함할 수 있다. 또한 도시하지는 않았지만 각 광센서 조합은 수광부(401)와 조도 센서부(403)가 하나의 장치 요소로 구성되어 포함될 수도 있다. 또한, 도시하지는 않았지만 상기 센서 그리드의 교점에 위치하는 센서 조합은 광센서 뿐만 아니라 다른 더 효율적이고 정확한 센서가 있다면 그것으로 대체될 수 있음은 본 발명의 기술 분야에 통상의 지식을 가진 자에게 자명할 것이다.Referring to FIG. 4, the transparent panel 400 having the sensor grid in which the optical sensor combinations form a lattice pattern at specific unit intervals includes a light receiving unit 401 capable of receiving an optical signal of a specific frequency band and an optical signal of the frequency band. By using a device such as a light emitting unit 402 that can output, an illumination sensor unit 403 that can detect a change in light such as natural light or light blocking, carbon nanotubes, etc. It may include a very thin conductor 404 disposed at unit intervals to transmit the recognition result of the optical sensor combination as an electrical signal or to operate by transmitting voltage and current to the optical sensor combination. In addition, although not shown, each light sensor combination may include a light receiving unit 401 and an illuminance sensor unit 403 configured as one device element. Also, although not shown, it will be apparent to those skilled in the art that a combination of sensors located at the intersection of the sensor grids can be replaced by optical sensors as well as other more efficient and accurate sensors, if any. will be.

도 5는 본 발명의 실시예에 따른 센서 그리드 투명 패널을 구비하는 디스플레이 장치의 단면을 나타낸 도면이다.5 is a cross-sectional view of a display device having a sensor grid transparent panel according to an embodiment of the present invention.

도 5를 참조하면, 센서 그리드 투명 패널을 구비하는 디스플레이 장치(500)는 도 4에서 설명한 수광부(501), 발광부(502), 조도 센서(503), 도 1과 도 3에서 설명한 보호층(504), 인식을 위한 센서 그리드 투명 패널(505), 제1 표시 계층(506), 제2 표시 계층(507), 제1 표시 계층과 제2 표시 계층에서 색상을 표시하는 발광 요소(508)를 포함할 수 있다. 또한, 도시하지는 않았지만 상기 사용자 입력 장치가 디스플레이 장치와 결합하는 것이 아닌, 단순한 입력 장치로만 사용하는 경우 상기 제1 표시 계층(506)과 상기 제2 표시 계층(507)은 제거되어 구성될 수 있음은 본 발명의 기술 분야에 통상의 지식을 가진 자에게 자명할 것이다.Referring to FIG. 5, the display apparatus 500 including the sensor grid transparent panel may include the light receiving unit 501, the light emitting unit 502, the illuminance sensor 503, and the protective layer described with reference to FIGS. 1 and 3. 504, a sensor grid transparent panel 505 for recognition, a first display layer 506, a second display layer 507, a light emitting element 508 for displaying colors in the first display layer and the second display layer. It may include. Although not shown, the first display layer 506 and the second display layer 507 may be removed when the user input device is used only as an input device, not in combination with a display device. It will be apparent to those skilled in the art.

도 6는 본 발명의 실시예에 따른 센서 그리드로 구성된 사용자 입력 장치와 손가락의 접촉을 통해 위치를 감지하는 경우의 장치의 단면을 나타낸 도면이다.FIG. 6 is a diagram illustrating a cross section of the apparatus in the case of detecting a position through contact of a finger with a user input device configured with a sensor grid according to an embodiment of the present invention.

도 6을 참조하면, 센서 그리드로 구성된 디스플레이 장치(600)는 백라이트(601)를 이용하여 손가락(602)에 반사된 빛(603)을 상기 광센서 조합의 수광부 또는 조도 센서(604)가 인식하고, 이와 동일한 방법으로 인식된 여러 개의 광센서 조합의 결과들을 통해 실제 접촉 면적 및 접촉 강도를 인식할 수 있도록 접촉 인식 결과 데이터(605)를 생성할 수 있다. 또한, 도시하지는 않았지만 백라이트(601)는 상기 광센서 조합의 발광부에서 출력된 빛으로 대체되어 인식 과정에 이용되거나, 자연광으로 대체되어 빛의 차단 정도를 감지하여 인식 과정에 이용될 수 있다.Referring to FIG. 6, the display device 600 composed of a sensor grid recognizes the light 603 reflected by the finger 602 using the backlight 601 by the light receiving unit or the illumination sensor 604 of the light sensor combination. In addition, the contact recognition result data 605 may be generated to recognize the actual contact area and the contact strength through the results of the combination of the plurality of optical sensors recognized by the same method. In addition, although not shown, the backlight 601 may be replaced by the light output from the light emitting unit of the optical sensor combination and used in the recognition process, or may be replaced with natural light to detect the degree of light blocking and used in the recognition process.

도 7은 본 발명의 실시예에 따른 센서 그리드로 구성된 사용자 입력 장치와 손가락의 접촉을 통해 지문을 인식하는 경우의 장치의 단면을 나타낸 도면이다.FIG. 7 illustrates a cross-sectional view of a device in a case where a fingerprint is recognized through contact of a finger with a user input device configured with a sensor grid according to an embodiment of the present invention.

도 7을 참조하면, 센서 그리드로 구성된 사용자 입력 장치(700)는 광센서 조합의 발광부(701)에서 출력되는 특정 주파수의 빛(702)이 손가락(703)에 반사되어 되돌아오는 해당 주파수의 빛(704)을 광센서 조합의 수광부(705)가 인식하고, 이와 동일한 방법으로 인식된 여러 개의 광센서 조합의 결과들을 통해 실제 접촉면의 지문 데이터(706)를 생성할 수 있다.Referring to FIG. 7, the user input device 700 configured as a sensor grid includes light of a specific frequency at which light 702 of a specific frequency output from the light emitting unit 701 of the light sensor combination is reflected by the finger 703 and returned. 704 may be recognized by the light receiving unit 705 of the optical sensor combination, and the fingerprint data 706 of the actual contact surface may be generated through the results of several optical sensor combinations recognized in the same manner.

도 8은 본 발명의 실시예에 따른 센서 그리드로 구성된 사용자 입력장치를 구비하는 전자장치의 구성을 개략적으로 나타낸 블록도이다.8 is a block diagram schematically illustrating a configuration of an electronic device having a user input device configured with a sensor grid according to an embodiment of the present invention.

도 8을 참조하면, 상기 전자장치(800)는 표시부(801), 제어부(802), 메모리부(803), 센서 그리드 패널(804)을 포함할 수 있다.Referring to FIG. 8, the electronic device 800 may include a display unit 801, a controller 802, a memory unit 803, and a sensor grid panel 804.

상기 표시부(801)는 전자장치의 각종 메뉴를 비롯하여 사용자가 입력한 정보 또는 사용자에게 제공하는 정보를 표시한다. 다시 말해, 사용자에 의해서 입력되는 데이터와 그 데이터에 따른 동작 수행 결과 및 반응을 표시한다. 이러한 상기 표시부(801)는 일반적인 디스플레이 장치나 그래핀이나 투명 전극 등을 이용한 투명 디스플레이 장치 또는 입체 영상 디스플레이 등을 단일 또는 복수로 조합하여 형성될 수 있다.The display unit 801 displays information input by the user or information provided to the user, including various menus of the electronic device. In other words, the data input by the user and the result and response of the operation performed according to the data are displayed. The display unit 801 may be formed by combining a general display device, a transparent display device using graphene or a transparent electrode, or a stereoscopic image display in a single or plural number.

상기 제어부(802)는 전자장치의 전반적인 동작 및 전자장치의 내부 블록들 간 신호 흐름을 제어하고, 데이터 처리 기능을 수행할 수 있다. 또한, 본 발명의 실시예에 따른 상기 제어부(802)는 상기 센서 그리드 패널(804)에서 터치가 발생하면, 이를 감지하여 그에 상응하는 기능을 수행할 수 있다. 특히, 상기 제어부(802)에 멀티 터치가 발생하면 이를 인식하고, 상기 멀티 터치에 상응하는 기능을 수행할 수 있다. 즉, 상기 제어부(802)는 상기 멀티 터치 후 드래그 동작 발생에 따른 상기 센서 그리드 패널(804)에서 발생하는 출력 전압의 변화를 확인할 수 있다. 상기 출력 전압 변화를 확인한 상기 제어부(802)는 상기 터치 동작 또는 드래그 동작과 연동된 제어명령을 수행할 수 있다. 좀 더 자세히 설명하면, 상기 센서 그리드 패널(804)에서 발생한 출력 전압의 변화를 통해 생성된 전체 접촉 데이터를 센서 그리드 패널(804)의 해상도에 맞게 데이터 집합으로 생성하고 접촉 면적에서 중앙 좌표값을 계산하면 하나 이상의 터치 좌표를 판단할 수 있으며, 이를 시간을 기준으로 변화를 분석하여 드래그 및 제스처를 인식할 수 있다.The controller 802 may control an overall operation of the electronic device, a signal flow between internal blocks of the electronic device, and perform a data processing function. In addition, when a touch occurs in the sensor grid panel 804, the controller 802 may detect the touch and perform a function corresponding thereto. In particular, when the multi-touch occurs in the controller 802, it may recognize the multi-touch and perform a function corresponding to the multi-touch. That is, the controller 802 may check a change in the output voltage generated by the sensor grid panel 804 according to the drag operation after the multi-touch. The controller 802 confirming the change of the output voltage may perform a control command linked to the touch operation or the drag operation. In more detail, the entire contact data generated through the change of the output voltage generated in the sensor grid panel 804 is generated as a data set according to the resolution of the sensor grid panel 804 and the center coordinate value is calculated from the contact area. One or more touch coordinates can be determined, and the drag and gesture can be recognized by analyzing the change based on time.

상기 제어부(802)는 상기 기능 수행뿐만 아니라 상기 센서 그리드 패널(804)에서 입력이 발생하거나, 지문 인식 명령이 내려지면 이 영역의 지문을 인식하여 그에 상응하는 기능을 수행할 수 있다. 특히, 상기 제어부(802)에 복수의 지문 입력이 발생하면 이를 인식하고, 복수의 지문 인식에 상응하는 기능을 수행할 수 있다. 즉, 상기 제어부(802)는 상기 복수의 지문 인식 후 단일 터치 동작이나 드래그 동작과 연동하여 제어 명령을 수행할 수 있다. 좀 더 자세히 설명하면, 상기 센서 그리드 패널(804)에서 발생한 출력전압의 변화를 통해 생성된 전체 접촉 데이터를 측정된 미세 거리 차이를 이용하여 상기 센서 그리드 패널(804)의 해상도에 맞게 데이터 집합으로 생성하고 불필요한 노이즈 데이터를 제거하는 필터링 연산을 통해 하나 이상의 지문 데이터를 생성할 수 있다. 또한, 상기 제어부(802)는 상기 지문 데이터를 메모리부(803)에 존재하는 사용자의 지문 데이터 프로필과의 비교 분석을 통해 상응하는 기능 및 동작을 수행할 수 있다.In addition to performing the function, the controller 802 may recognize a fingerprint in this area when an input is generated from the sensor grid panel 804 or a fingerprint recognition command is issued to perform a function corresponding thereto. In particular, when a plurality of fingerprint inputs are generated in the controller 802, the controller 802 may recognize the fingerprint input and perform a function corresponding to the plurality of fingerprint recognition. That is, the controller 802 may perform a control command in conjunction with a single touch operation or a drag operation after recognizing the plurality of fingerprints. In more detail, the entire contact data generated through the change of the output voltage generated in the sensor grid panel 804 is generated as a data set according to the resolution of the sensor grid panel 804 using the measured fine distance difference. One or more fingerprint data may be generated through a filtering operation that removes unnecessary noise data. In addition, the controller 802 may perform a corresponding function and operation by comparing the fingerprint data with a fingerprint data profile of a user existing in the memory unit 803.

상기 메모리부(803)는 상기 센서 그리드(804)로부터 전달받은 하나 이상의 위치 데이터를 저장한다. 상기 제어부(802)는 상기 위치 데이터로부터 확인된 동작 모드에 대응되는 입력패턴을 상기 메모리로부터 독출한 후 상기 표시부(801)에 표시 및 특정 동작을 실행한다.The memory unit 803 stores one or more position data received from the sensor grid 804. The controller 802 reads an input pattern corresponding to the operation mode identified from the position data from the memory, and then displays and displays a specific operation on the display unit 801.

상기 센서 그리드패널(804)은 접촉한 손가락들의 위치를 인식할 수 있게 화면의 크기에 맞게 격자 형태로 배열된 센서들로 이루져 있다. 상기 센서 그리드 패널(804)는 빛의 변화를 감지하여 디지털 데이터를 생성할 수 있고, 센서 그리드 패널(804)이 빛의 변화를 감지할 때 LCD(Liquid Crystal Display)의 백라이트(Back Light)를 이용하여 반사된 빛을 이용하거나, 자연광이 손가락에 의해 가려져 빛이 차단되는 것을 이용하거나, 각 센서의 발광부를 이용하여 특정 주파수의 빛을 출력하여 그에 반사된 빛을 이용하거나, 상기 세 가지 방법들 중 둘 이상의 방법을 조합하여 사용자가 의도한 위치를 인식할 수 있다.The sensor grid panel 804 is composed of sensors arranged in a grid shape to fit the size of the screen to recognize the position of the touched finger. The sensor grid panel 804 may generate digital data by detecting a change in light, and uses a backlight of an LCD (Liquid Crystal Display) when the sensor grid panel 804 detects a change in light. By using the reflected light, by using natural light is blocked by the finger to block the light, by using the light emitting unit of each sensor to output the light of a specific frequency to use the light reflected on it, among the three methods Two or more methods can be combined to recognize the location intended by the user.

상기 전자장치(800)의 동작 모드에는 포인팅을 위한 동작 모드, 멀티 터치 동작 모드, 제스처 인식을 위한 동작 모드, 및 지문 인식을 위한 동작 모드가 포함될 수 있다. The operation mode of the electronic device 800 may include an operation mode for pointing, an multi-touch operation mode, an operation mode for gesture recognition, and an operation mode for fingerprint recognition.

또한, 도시되진 않았으나, 상기 전자장치는 무선통신부, 카메라 모듈, 방송수신모듈, 스피커와 같은 오디오 신호 출력장치, 마이크로폰과 같은 음성 신호 입력 장치, 외부 디지털 기기와의 데이터 교환을 위한 연결단자, 충전용 단자, MP3 모듈과 같은 디지털 음원 재생 모듈 등의 부가 기능을 갖는 구성 요소들을 선택적으로 더 포함하여 구성될 수 있다. 이러한 구성 요소들은 디지털 기기의 컨버전스(Convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 구성 요소들과 동등한 수준의 구성 요소가 본 발명에 따른 전자장치에 추가로 더 포함되어 구성될 수 있다는 것은 본 발명의 기술 분야에 통상의 지식을 가진 자에게 자명할 것이다.In addition, although not shown, the electronic device includes a wireless communication unit, a camera module, a broadcast receiving module, an audio signal output device such as a speaker, a voice signal input device such as a microphone, a connection terminal for data exchange with an external digital device, and a charging device. Optionally, the terminal may further include components having additional functions such as a digital sound source reproduction module such as an MP3 module. These components can not be enumerated because all the variations according to the convergence (convergence) trend of the digital device, but the components equivalent to the above-mentioned components is further included in the electronic device according to the present invention It will be apparent to those skilled in the art of the present invention.

도 9는 본 발명의 실시예에 따른 센서 그리드 패널을 구비한 사용자 입력 장치 및 전자장치가 터치 또는 지문을 인식하는 과정을 도시한 순서도이다.9 is a flowchart illustrating a process of recognizing a touch or a fingerprint by a user input device and an electronic device having a sensor grid panel according to an exemplary embodiment of the present invention.

본 발명에 따르면, 상기 제어부(802)는 터치 또는 지문을 인식할 수 있는데, 상기 제어부(802)는 S901 단계에서 상기 센서 그리드 패널(804)에 터치 여부를 감지한다. S901 단계에서 사용자의 손가락이 스크린에 접촉하고, S902 단계에서 해당 범위의 센서 그리드에 광신호의 변화가 감지되어 S903 단계로 진행된다. 상기 제어부(802)는 S903 단계에서 하나 이상의 손가락이 이미 접촉하고 있는지 터치 데이터가 저장된 메모리를 조회하여 확인한 뒤 이미 하나 이상의 터치 데이터가 존재한다면 S904 단계로 진행하여 데이터의 인덱스 값을 증가시켜 복수의 추가적인 데이터가 저장될 수 있도록 한 뒤 S905 단계로 진행한다. 만약 터치 데이터가 처음으로 접촉되어 생성된 것이라면 상기 제어부(802)는 곧바로 S905 단계로 진행하며, S905 단계에서는 해당 접촉 면적에 해당하는 광센서 조합들의 발광부들을 작동시켜 특정 주파수의 빛을 출력한 뒤 S906 단계로 진행한다. S906단계에서 상기 제어부(802)는 S905 단계에서 출력한 특정 주파수의 빛이 손가락의 접촉면에 반사되어 돌아온 것을 수신하며 S907 단계로 진행하며, S907 단계에서는 상기 S906 단계에서 수신된 개별 광신호 데이터들을 처리 가능한 데이터 집합으로 통합한 뒤 S908 단계에서 처리를 위해 시스템에서 사용하는 메모리에 저장한다. 또한, 도 9에서 상기 사용자 입력 장치가 터치만을 위해 사용된다면 S905 및 S906 단계는 생략될 수 있다.According to the present invention, the controller 802 may recognize a touch or a fingerprint, and the controller 802 detects whether the sensor grid panel 804 is touched in step S901. In operation S901, the user's finger touches the screen. In operation S902, a change in the optical signal is detected by the sensor grid of the corresponding range, and the operation proceeds to operation S903. In step S903, the controller 802 checks whether the one or more fingers are already in contact with the memory in which the touch data is stored, and if there is already one or more pieces of touch data, the controller 802 proceeds to step S904 to increase the index value of the data to add a plurality of additional data. After the data is stored, the flow proceeds to step S905. If the touch data is generated by the first contact, the controller 802 immediately proceeds to step S905. In step S905, the light emitting units of the light sensor combinations corresponding to the contact area are operated to output light of a specific frequency. Proceed to step S906. In step S906 the control unit 802 receives the light of a specific frequency output in step S905 is reflected back to the contact surface of the finger and proceeds to step S907, and in step S907 processes the individual light signal data received in step S906 Integrate into possible data sets and store in memory used by the system for processing in step S908. In addition, in FIG. 9, if the user input device is used only for touch, steps S905 and S906 may be omitted.

도 10은 본 발명의 실시예에 따른 사용자 입력 장치를 구비하는 전자장치가 터치나 지문 또는 이 둘의 조합을 통해 미리 저장된 상응하는 기능을 수행하거나 복수의 스크린을 조작 및 제어하는 과정을 도시한 순서도이다.FIG. 10 is a flowchart illustrating a process in which an electronic device having a user input device according to an embodiment of the present invention performs a pre-stored corresponding function or manipulates and controls a plurality of screens through touch, fingerprint, or a combination thereof. to be.

본 발명에 따르면, 상기 제어부(802)는 터치나 지문 또는 이 둘의 조합을 통해 특정한 기능을 수행할 수 있는데, 상기 제어부(802)는 S1001 단계와 S1002 단계에서 터치나 지문과 관련한 데이터를 얻을 수 있으며, S1003 단계에서 사용자 프로필에 미리 저장되어 있는 지문들 중에서 현재 입력한 지문과 일치하는 지문이 있는지 확인한다. 상기 제어부(802)는 S1003 단계에서 일치하는 지문이 존재하지 않는 것으로 판단될 경우 S1004 단계로 진행하여 현재 발생한 터치 이벤트를 기본 터치 입력으로 처리한다. 상기 제어부(802)는 S1003 단계에서 일치하는 지문이 존재하는 것으로 판단될 경우 S1005 단계로 진행하며, S1005 단계에서는 상기 일치하는 지문에 상응하는 명령이나 기능 수행과 관련한 정보가 존재하는지 확인한다. 상기 제어부(802)는 S1005 단계에서 상기 일치하는 지문에 상응하는 명령이나 기능 수행이 존재하는 경우 S1006 단계로 진행하며 이 단계에서는 해당 명령이나 기능을 수행한다. 상기 제어부(802)는 S1005 단계에서 상기 일치하는 지문에 상응하는 명령이나 기능 수행이 존재하지 않는 경우 S1007 단계로 진행하며 이 단계에서는 상기 일치하는 지문이 왼손의 손가락 중 하나로 등록되어 있는지 확인한다. 상기 제어부(802)는 S1007 단계에서 상기 일치하는 지문이 왼손의 손가락 중 하나로 판단되지 않는다면, 즉 오른손의 손가락 중 하나로 판단된다면, S1008 단계로 진행하여 전면부 디스플레이 조작 상태로 전환한 뒤 S1010 단계로 진행하여 해당 터치 입력을 계속 처리하도록 한다. 상기 제어부(802)는 S1007 단계에서 상기 일치하는 지문이 왼손의 손가락 중 하나로 판단된다면, S1009 단계로 진행하여 후면부 디스플레이 조작 상태로 전환한 뒤 S1010 단계로 진행하여 해당 터치 입력을 계속 처리하도록 한다. 또한, 도시되진 않았으나, 상기 사용자 입력 장치의 입력 처리 순서(1000)에서 일치하는 지문이 왼손인지 오른손인지 구별하여 처리되는 결과에 상응하는 동작은 디스플레이 조작 상태 변경에만 국한된 것이 아님은 본 발명의 기술 분야에 통상의 지식을 가진 자에게 자명할 것이다.According to the present invention, the controller 802 may perform a specific function through a touch or a fingerprint or a combination of the two. The controller 802 may obtain data related to the touch or the fingerprint in steps S1001 and S1002. In operation S1003, a check is made to see if there are fingerprints that match the currently input fingerprint among fingerprints previously stored in the user profile. If it is determined in step S1003 that the matching fingerprint does not exist, the controller 802 proceeds to step S1004 to process the currently generated touch event as a basic touch input. If it is determined in step S1003 that the matching fingerprint exists, the control unit 802 proceeds to step S1005, and in step S1005, the controller 802 checks whether information corresponding to a command or a function corresponding to the matching fingerprint exists. The controller 802 proceeds to step S1006 when there is a command or function execution corresponding to the matching fingerprint in step S1005, and performs the command or function in this step. If there is no command or function corresponding to the matching fingerprint in step S1005, the controller 802 proceeds to step S1007. In this step, the controller 802 checks whether the matching fingerprint is registered as one of the fingers of the left hand. If it is determined in step S1007 that the matching fingerprint is not one of the fingers of the left hand, that is, it is determined to be one of the fingers of the right hand, the controller 802 proceeds to step S1008 to switch to the front panel display operation state and then to step S1010. To continue processing the corresponding touch input. If it is determined in step S1007 that the matching fingerprint is one of the fingers of the left hand, the controller 802 proceeds to step S1009 to switch to the rear display manipulation state and proceeds to step S1010 to continue processing the corresponding touch input. In addition, although not shown, an operation corresponding to a result of distinguishing whether a matching fingerprint is a left hand or a right hand in the input processing sequence 1000 of the user input device is not limited to changing a display manipulation state. It will be self-evident to those of ordinary knowledge.

도 11은 본 발명의 실시예에 따른 사용자 입력 장치에서 사용자의 지문을 미리 입력하여 사용자 지문 프로필을 생성하는 과정에 대한 순서도이다.11 is a flowchart illustrating a process of generating a user fingerprint profile by inputting a user's fingerprint in advance in a user input device according to an embodiment of the present invention.

본 발명에 따르면, 상기 제어부(802)는 S1101 단계와 같은 대기 상태를 가질 수 있으며, 이와 같은 상태에서 다양한 메뉴를 선택할 수 있다. 상기 제어부(802)는 지문 등록 메뉴를 제공하며 사용자가 지문 등록 메뉴를 선택하는지에 대한 여부를 S1102 단계에서 확인할 수 있다. 상기 S1102 단계에서 사용자가 지문 등록 메뉴를 선택하지 않은 것으로 판단되면 S1101 단계의 대기 상태로 되돌아가게 되며, 사용자가 지문 등록 메뉴를 선택한 것으로 판단되면 S1103 단계로 진행하여 사용자에 대한 정보를 입력받아 사용자를 등록한다. 상기 제어부(802)는 S1103 단계에서 사용자 등록을 마친 뒤 손가락의 지문 데이터를 저장하기 위해 S1104 단계와 S1105 단계를 통해 순차적으로 모든 손가락의 지문 데이터를 입력받는다. 이 후 상기 제어부(802)는 S1106 단계로 진행하며 이 단계에서 지문 등록이 제대로 되었는지 확인하고 사용자가 완료를 선택하지 않으면 S1104 단계로 되돌아가서 사용자 등록을 다시 시작하게 되며, 사용자가 완료를 선택하면 S1108 단계로 진행하여 입력된 각 지문에 대응하는 명령을 설정할 수 있도록 한다. According to the present invention, the controller 802 may have a standby state as in step S1101, and may select various menus in this state. The controller 802 may provide a fingerprint registration menu and check whether the user selects the fingerprint registration menu in operation S1102. If it is determined in step S1102 that the user has not selected the fingerprint registration menu, the process returns to the standby state of step S1101. If it is determined that the user has selected the fingerprint registration menu, the process proceeds to step S1103 to receive information about the user and receive the user. Register. The controller 802 receives fingerprint data of all fingers sequentially through steps S1104 and S1105 to store fingerprint data of a finger after completing user registration in step S1103. After that, the control unit 802 proceeds to step S1106 and checks whether the fingerprint registration is correctly performed in this step. If the user does not select completion, the control unit 802 returns to step S1104 to restart the user registration. The process proceeds to the step so that a command corresponding to each input fingerprint can be set.

도 12는 본 발명의 실시예에 따른 사용자 입력 장치에서 사용자의 멀티 터치 입력을 통해 사진을 확대하는 예를 나타낸 도면이다.12 is a diagram illustrating an example of enlarging a photo through a multi-touch input of a user in a user input device according to an embodiment of the present invention.

도 12를 참조하면, 사용자는 상기 센서 그리드 투명 패널이 결합된 디스플레이 장치(1201)에 출력된 이미지를 확대시키기 위해 패널에 두 손가락(1202, 1203)을 접촉하고, 두 손가락의 거리를 멀게 하면(1204, 1205) 이미지가 확대(1206)되어 나타난다.Referring to FIG. 12, when a user touches two fingers 1202 and 1203 to a panel to enlarge an image output on the display device 1201 to which the sensor grid transparent panel is coupled, and the distance between the two fingers is large ( 1204 and 1205 images appear enlarged 1206.

도 13은 본 발명의 실시예에 따른 사용자 입력 장치에서 계층별로 구성된 디스플레이에서 조작가능한 요소의 예를 나타낸 도면이다.FIG. 13 is a diagram illustrating an example of an element operable in a display configured for each layer in a user input device according to an exemplary embodiment of the present invention.

도 13을 참조하면, 상기 센서 그리드 투명 패널을 구비한 디스플레이 장치는 그 자신이 다계층 디스플레이 장치일 때 나타내는 정보를 겹쳐서 출력할 수 있다.Referring to FIG. 13, the display device including the sensor grid transparent panel may output information superimposed when the display device is a multi-layer display device.

도 14는 본 발명의 실시예에 따른 사용자 입력 장치에서 계층별로 구성된 입체 영상 디스플레이 또는 투명 디스플레이를 이용한 다계층 디스플레이를 손의 구별을 통해 조작할 수 있는 것을 예로 나타낸 도면이다.FIG. 14 is a diagram illustrating that a user input device according to an embodiment of the present invention can operate a multi-layer display using a stereoscopic image display or a transparent display configured for each layer by distinguishing a hand.

도 14를 참조하면, 상기 센서 그리드 투명 패널을 구비한 전자장치는 손을 구별하여 서로 다른 계층에 표시된 GUI를 조작할 수 있다. 그러한 예로서, 왼손으로 화면을 선택할 경우 전자장치의 메뉴와 관련한 아이콘을 조작할 수 있으며 오른손으로 조작할 경우 전자장치에서 제공하는 위젯 매니저를 조작할 수 있다는 것을 도 14를 통해 보여준다.Referring to FIG. 14, an electronic device having the sensor grid transparent panel may operate a GUI displayed on different layers by distinguishing a hand. For example, FIG. 14 shows that when a screen is selected with the left hand, an icon related to a menu of the electronic device can be operated, and a widget manager provided by the electronic device can be operated with a right hand.

본 발명에 따른 멀티 터치가 가능한 센서 그리드 패널을 구비하는 전자장치의 사용자 터치 인식 방법은 상술한 기능들을 기초로 해서 도 15에 도시된 순서도에 따라서 구현될 수 있다. 본 발명에 따른 사용자 터치 인식 방법은, 사용자의 터치에 의해서 센서 그리드 패널에서 나타나는 하나 이상의 광신호 변화를 감지하는 단계로서, 상기 광신호 변화를 감지하고 측정해서 사용자의 손가락과 센서 그리드 패널이 만나는 접촉면에서의 손가락 좌표를 파악하거나 손가락이 센서 그리드 패널을 누르는 정도를 파악하기 위한 좌표 데이터를 생성하는 것을 포함하는 단계(S1501); 상기 좌표 데이터를 이용해서 상기 접촉면에서의 중심 좌표를 산출하고, 상기 중심 좌표를 이용하여 사용자가 의도한 터치 위치를 파악하고, 시간의 경과에 따라서 손가락 좌표의 변화를 연속적으로 분석해서 설정된 시간 내에 특정 제스처가 입력되었는지 파악하는 단계(S1502); 및 상기 전자장치에 미리 저장되어 있는 입력 패턴으로서, 상기 파악된 터치 위치 또는 상기 파악된 제스처에 대응하는 입력 패턴이 존재하는지 확인한 후, 대응하는 입력 패턴이 존재하는 경우에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하거나 상기 전자장치로 하여금 대응하는 입력 패턴에 따라서 특정 기능을 수행하게 하는 단계(S1503);를 포함한다. A user touch recognition method of an electronic device having a multi-touch sensor grid panel according to the present invention may be implemented according to the flowchart shown in FIG. 15 based on the above-described functions. The user touch recognition method according to the present invention is a step of detecting one or more optical signal changes appearing on the sensor grid panel by a user's touch, and a touch surface where the user's finger and the sensor grid panel meet by detecting and measuring the optical signal change. (S1501) generating coordinate data for grasping the finger coordinates at or determining the degree to which the finger presses the sensor grid panel; The coordinate data is used to calculate the center coordinates on the contact surface, the center coordinates are used to grasp the user's intended touch position, and the change of the finger coordinates is continuously analyzed as time passes, thereby specifying a specified time. Determining whether a gesture is input (S1502); And checking whether an input pattern corresponding to the detected touch position or the detected gesture exists as an input pattern previously stored in the electronic device, and then inputting the corresponding input pattern when the corresponding input pattern exists. Displaying on the display device of the device or causing the electronic device to perform a specific function according to a corresponding input pattern (S1503).

본 발명의 실시예에 따라서는, 상기 사용자의 터치에 의해서 센서 그리드 패널에서 나타나는 하나 이상의 광신호 변화를 감지하는 단계는 접촉면의 전체 넓이와 특정 기준 수치 이상 또는 이하의 데이터의 전체 넓이를 비교하여 계산된 결과를 통해 사용자가 가하고자 했던 입력의 강도를 파악할 수 있다.According to an embodiment of the present invention, the step of detecting one or more optical signal changes appearing in the sensor grid panel by the user's touch is calculated by comparing the total width of the contact surface with the total width of the data above or below a certain reference value. The results can be used to determine the strength of the input that the user intended to apply.

본 발명에 따른 지문 인식이 가능한 센서 그리드 패널을 구비하는 전자장치의 사용자 지문 인식 방법은 상술한 기능들을 기초로 해서 도 16에 도시된 순서도에 따라서 구현될 수 있다. 본 발명에 따른 사용자 지문 인식 방법은, 지문 인식 명령에 따라 센서 그리드 패널에서 방출된 특정 주파수의 출력과 반사를 통해서 하나 이상의 특정 영역에서 각 센서의 미세 거리를 감지하는 단계로서, 상기 미세 거리를 감지하기 위해서 기준 단위 시간을 이용하여 발광부의 출력 시간과 수광부의 입력 시간 사이의 변화를 분석하고 계산하는 것을 포함하는 단계(S1601); 센서 그리드 패널로부터의 지문 데이터를 가공하여 노이즈 데이터를 제거하고 상기 전자장치에서 이용될 수 있는 형식으로 변화시킴으로써, 상기 미세 거리 차이들을 이용하여 사용자 손가락의 지문을 파악하는 단계(S1602); 및 상기 전자장치에 미리 저장되어 있는 입력 패턴으로서, 상기 파악된 손가락의 지문에 대응하는 입력 패턴이 존재하는지 확인한 후, 대응하는 입력 패턴이 존재하는 경우에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하거나 상기 전자장치로 하여금 대응하는 입력 패턴에 따라서 특정 기능을 수행하게 하는 단계(S1603);를 포함한다.A user fingerprint recognition method of an electronic device having a sensor grid panel capable of fingerprint recognition according to the present invention may be implemented according to the flowchart shown in FIG. 16 based on the above-described functions. The user fingerprint recognition method according to the present invention detects the fine distance of each sensor in one or more specific areas through the output and reflection of a specific frequency emitted from the sensor grid panel according to a fingerprint recognition command, and detects the fine distance. Analyzing and calculating a change between an output time of the light emitting unit and an input time of the light receiving unit using the reference unit time to perform the step (S1601); Processing fingerprint data from a sensor grid panel to remove noise data and changing the format into a format that can be used in the electronic device, thereby identifying a fingerprint of a user's finger using the fine distance differences (S1602); And checking whether an input pattern corresponding to the fingerprint of the identified finger exists as an input pattern previously stored in the electronic device, and then displaying the input pattern corresponding to the case where the corresponding input pattern exists. Displaying or causing the electronic device to perform a specific function according to a corresponding input pattern (S1603).

본 발명에 따른 지문 인식 및 멀티 터치가 가능한 센서 그리드 패널을 구비하는 전자장치의 사용자 지문 인식 및 터치 인식 방법은 상술한 기능들을 기초로 해서 도 17에 도시된 순서도에 따라서 구현될 수 있다. 본 발명에 따른 사용자 지문 인식 및 터치 인식 방법은, 사용자의 터치에 의해서 센서 그리드 패널에서 나타나는 하나 이상의 광신호 변화를 감지하는 단계로서, 상기 광신호 변화를 감지하고 측정해서 사용자의 손가락과 센서 그리드 패널이 만나는 접촉면에서의 손가락 좌표를 파악하거나 손가락이 센서 그리드 패널을 누르는 정도를 파악하기 위한 좌표 데이터를 생성하는 것을 포함하는 단계(S1701); 지문 인식 명령에 따라 센서 그리드 패널에서 방출된 특정 주파수의 출력과 반사를 통해서 하나 이상의 특정 영역에서 각 센서의 미세 거리를 감지하는 단계로서, 상기 미세 거리를 감지하기 위해서 기준 단위 시간을 이용하여 발광부의 출력 시간과 수광부의 입력 시간 사이의 변화를 분석하고 계산하는 것을 포함하는 단계(S1702); 상기 좌표 데이터를 이용해서 상기 접촉면에서의 중심 좌표를 산출하고, 상기 중심 좌표를 이용하여 사용자가 의도한 터치 위치를 파악하고, 시간의 경과에 따라서 손가락 좌표의 변화를 연속적으로 분석해서 설정된 시간 내에 특정 제스처가 입력되었는지 파악하는 단계(S1703); 센서 그리드 패널로부터의 지문 데이터를 가공하여 노이즈 데이터를 제거하고 상기 전자장치에서 이용될 수 있는 형식으로 변화시킴으로써, 상기 미세 거리 차이들을 이용하여 사용자 손가락의 지문을 파악하는 단계(S1704); 및 상기 전자장치에 미리 저장되어 있는 입력 패턴으로서, 상기 파악된 터치 위치 또는 상기 파악된 제스처 또는 상기 파악된 손가락의 지문에 대응하는 입력 패턴이 존재하는지 확인한 후, 대응하는 입력 패턴이 존재하는 경우에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하거나 상기 전자장치로 하여금 대응하는 입력 패턴에 따라서 특정 기능을 수행하게 하는 단계(S1705);를 포함한다.A user fingerprint recognition and touch recognition method of an electronic device having a fingerprint grid and a multi-touch sensor grid panel according to the present invention may be implemented according to the flowchart shown in FIG. 17 based on the above-described functions. The user fingerprint recognition and touch recognition method according to the present invention is a step of detecting one or more optical signal changes appearing in the sensor grid panel by a user's touch, and detecting and measuring the optical signal changes to detect the user's finger and sensor grid panel. (S1701) comprising generating coordinate data for identifying finger coordinates at the contact surface or for grasping a finger pressing the sensor grid panel; A step of detecting the fine distance of each sensor in one or more specific areas through the output and reflection of a specific frequency emitted from the sensor grid panel according to the fingerprint recognition command, to detect the minute distance by using a reference unit time Analyzing and calculating a change between the output time and the input time of the light receiver (S1702); The coordinate data is used to calculate the center coordinates on the contact surface, the center coordinates are used to grasp the user's intended touch position, and the change of the finger coordinates is continuously analyzed as time passes, thereby specifying a specified time. Determining whether a gesture is input (S1703); Processing fingerprint data from a sensor grid panel to remove noise data and changing it into a format that can be used in the electronic device, thereby identifying a fingerprint of a user's finger using the fine distance differences (S1704); And when an input pattern corresponding to the detected touch position or the identified gesture or the fingerprint of the detected finger exists as an input pattern previously stored in the electronic device, and when a corresponding input pattern exists And displaying the corresponding input pattern on the display device of the electronic device or causing the electronic device to perform a specific function according to the corresponding input pattern (S1705).

본 발명의 실시예에 따라서는, 상기 사용자의 터치에 의해서 센서 그리드 패널에서 나타나는 하나 이상의 광신호 변화를 감지하는 단계는 접촉면의 전체 넓이 및 특정 수치 이하의 데이터의 전체 넓이를 통해 계산된 사용자가 가하고자 했던 입력의 강도를 파악할 수 있다.According to an embodiment of the present invention, the step of detecting one or more optical signal changes appearing on the sensor grid panel by the user's touch may be calculated by the user calculated through the total width of the contact surface and the total width of the data below a certain value. You can find out the strength of the input you wanted.

또한, 본 발명의 실시예에 따라서는, 상기 대응하는 입력 패턴이 존재하는 경우에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하거나 상기 전자장치로 하여금 대응하는 입력 패턴에 따라서 특정 기능을 수행하게 하는 단계에서, 상기 파악된 손가락의 지문에 대응하는 입력 패턴은 왼손 및 오른손 손가락의 각각에 상응하는 입력 패턴이 존재할 수 있다.In addition, according to an embodiment of the present invention, when the corresponding input pattern is present, the corresponding input pattern is displayed on the display device of the electronic device or the electronic device performs a specific function according to the corresponding input pattern. In the step of allowing, the input pattern corresponding to the identified fingerprint of the finger may have an input pattern corresponding to each of the left hand and the right hand finger.

본 발명의 실시예에 따라서는, 상기 대응하는 입력 패턴이 존재하는 경우에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하거나 상기 전자장치로 하여금 대응하는 입력 패턴에 따라서 특정 기능을 수행하게 하는 단계는, 상기 파악된 터치 위치 또는 상기 파악된 제스처에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하여 특정 요소나 기능을 선택하거나 가리킬 수 있는 포인팅 기능을 수행하게 하는 것을 포함할 수 있다.According to an embodiment of the present invention, when the corresponding input pattern is present, the corresponding input pattern is displayed on the display device of the electronic device or the electronic device performs a specific function according to the corresponding input pattern. The step may include displaying an input pattern corresponding to the detected touch position or the detected gesture on a display device of the electronic device to perform a pointing function for selecting or indicating a specific element or function.

이상에서, 본 발명에 따른 센서 그리드 방식의 사용자 입력 장치의 인식 방법 및 이를 이용하는 전자장치에 대하여 본 명세서 및 도면을 통해 바람직한 실시예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위해 일반적인 의미에서 사용된 것일 뿐, 본 발명이 전술한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 기술적 사상에 바탕을 둔 다양한 실시예가 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명할 것이다.In the above, preferred embodiments of the sensor grid-type user input device and an electronic device using the same have been described through the specification and the drawings. Although specific terms are used, these are only examples of the present invention. It is only used in a general sense to easily describe the technical content and help the understanding of the invention, the present invention is not limited to the above-described embodiment. In other words, it will be apparent to those skilled in the art that various embodiments based on the technical idea of the present invention are possible.

Claims (29)

센서 그리드 방식의 멀티 터치가 가능한 사용자 입력 장치에 있어서,
사용자에 의해서 입력되는 데이터와 그 데이터에 따른 동작 수행 결과 및 반응을 표시하는 표시부와,
접촉한 손가락들의 위치를 인식할 수 있게 화면의 크기에 맞게 격자 형태로 배열된 센서들로 이루어진 센서 그리드 패널과,
상기 센서 그리드 패널로부터 전달받은 하나 이상의 위치 데이터를 저장하는 메모리부와,
상기 위치 데이터로부터 확인된 동작 모드에 대응되는 입력패턴을 상기 메모리로부터 독출한 후 상기 표시부에 표시 및 특정 동작을 실행하는 제어부를 포함하고,
상기 장치의 동작 모드로서 포인팅을 위한 동작 모드, 멀티 터치 동작 모드, 및 제스처 인식을 위한 동작 모드를 포함하고,
상기 메모리부는 상기 동작 모드들을 위한 입력 패턴과 그에 대응하는 동작 및 기능 수행 정보를 저장하고,
상기 센서 그리드 패널은 적외선 또는 특정 주파수의 빛을 출력할 수 있는 초소형의 발광부와, 해당 주파수의 빛으로부터 반사된 빛을 수신할 수 있는 수광부, 및 빛의 변화를 감지할 수 있는 센서들을 포함하고,
상기 센서 그리드 패널에서의 센서 그리드가 격자 형태로 배열되고,
상기 센서 그리드 패널은 그래핀 또는 투명 전극을 가지는 소재로 이루어지고, 디스플레이 장치의 전면에 배치되는 것을 특징으로 하는 사용자 입력 장치.In the user input device capable of a multi-touch sensor grid method,
A display unit which displays data input by a user, a result of performing an operation according to the data, and a response;
A sensor grid panel composed of sensors arranged in a grid to fit the size of the screen so as to recognize the position of touched fingers;
A memory unit for storing one or more position data received from the sensor grid panel;
And a control unit which reads an input pattern corresponding to an operation mode identified from the position data from the memory and displays and displays a specific operation on the display unit.
An operation mode for pointing, an operation mode for pointing, a multi-touch operation mode, and an operation mode for gesture recognition,
The memory unit stores an input pattern for the operation modes and corresponding operation and function performance information.
The sensor grid panel includes a very small light emitting unit capable of outputting infrared or light of a specific frequency, a light receiving unit capable of receiving light reflected from light of a corresponding frequency, and sensors capable of detecting a change in light; ,
The sensor grid in the sensor grid panel is arranged in a grid form,
The sensor grid panel is made of a material having a graphene or a transparent electrode, the user input device, characterized in that disposed on the front of the display device. 제 1 항에 있어서,
상기 제어부는 포인팅을 위한 동작 모드에서 입력된 위치 데이터들의 중앙의 좌표값을 계산하여 상기 표시부의 특정 부분을 가리키거나 선택하는 피드백을 제공하는 동작을 수행하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 1,
And the control unit calculates a coordinate value of the center of the position data input in an operation mode for pointing to provide feedback for indicating or selecting a specific portion of the display unit. 제 1 항에 있어서,
상기 제어부는 멀티 터치 동작 모드에서 입력된 둘 이상의 위치 데이터들의 중앙의 좌표값을 계산하여 상기 표시부의 특정 부분을 동시에 가리키거나 선택하는 피드백을 제공하는 동작을 수행하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 1,
And the control unit calculates a coordinate value of a center of two or more position data input in a multi-touch operation mode and provides feedback for simultaneously pointing or selecting a specific portion of the display unit. 제 1 항에 있어서,
상기 제어부는 제스처 인식을 위한 동작 모드에서 하나 이상의 입력된 위치 데이터들의 궤적을 계산하여 대응하는 미리 설정된 동작을 수행하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 1,
The control unit may calculate a trajectory of one or more input position data in an operation mode for gesture recognition and perform a corresponding preset operation. 제 1 항에 있어서,
상기 센서 그리드 패널은 빛의 변화를 감지하여 디지털 데이터를 생성하고, 상기 제어부는 상기 디지털 데이터를 이용해서 손가락과 패널 사이의 접촉면적 및 중심점을 계산하여 사용자가 의도한 위치를 인식하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 1,
The sensor grid panel detects a change in light to generate digital data, and the controller calculates a contact area and a center point between a finger and the panel using the digital data to recognize a position intended by a user. User input device. 제 1 항에 있어서,
상기 센서 그리드 패널이 빛의 변화를 감지할 때 LCD의 백라이트(Back Light)를 이용하여 반사된 빛을 이용하거나, 자연광이 손가락에 의해 가려져 빛이 차단되는 것을 이용하거나, 각 센서의 발광부를 이용하여 특정 주파수의 빛을 출력하여 그에 반사된 빛을 이용하거나, 상기 세 가지 방법들 중 둘 이상의 방법을 조합하여 사용자가 의도한 위치를 인식하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 1,
When the sensor grid panel detects a change in light, the light reflected by using a backlight of the LCD is used, the light is blocked by natural light by a finger, or the light emitter of each sensor is used. The user input device, characterized in that for outputting a light of a specific frequency to use the reflected light, or by combining two or more of the three methods to recognize the location intended by the user. 제 1 항에 있어서,
상기 센서 그리드 패널은 빛의 변화를 감지하는 센서와 특정 빛을 인식하도록 설계된 수광부를 하나로 통합하여 포함하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 1,
The sensor grid panel includes a sensor for detecting a change in light and a light receiving unit designed to recognize a specific light into a single unit. 센서 그리드 방식의 지문 인식이 가능한 사용자 입력 장치에 있어서,
사용자에 의해서 입력되는 데이터와 그 데이터에 따른 동작 수행 결과 및 반응을 표시하는 표시부와,
접촉한 손가락들의 지문을 인식할 수 있게 화면의 크기에 맞게 격자 형태로 배열된 센서들로 이루어진 센서 그리드 패널과,
상기 센서 그리드 패널로부터 전달받은 하나 이상의 지문 데이터를 저장하는 메모리부와,
상기 지문 인식 데이터로부터 설정된 동작 모드에 대응되는 동작패턴을 상기 메모리로부터 독출한 후 상기 표시부에 표시 및 특정 동작을 실행하는 제어부를 포함하고,
상기 장치의 동작 모드로서 멀티 터치 동작 모드와 지문 인식 동작 모드를 포함하고,
상기 메모리부는 상기 동작 모드들을 위한 입력 패턴과 그에 대응하는 동작 및 기능 수행 정보를 저장하고,
상기 센서 그리드 패널은 적외선 또는 특정 주파수의 빛을 출력할 수 있는 초소형의 발광부와, 해당 주파수의 빛으로부터 반사된 빛을 수신할 수 있는 수광부, 및 빛의 변화를 감지할 수 있는 센서들을 포함하고,
상기 센서 그리드 패널에서의 센서 그리드가 격자 형태로 배열되고,
상기 센서 그리드 패널은 그래핀 또는 투명 전극을 가지는 소재로 이루어지고, 디스플레이 장치의 전면에 배치되는 것을 특징으로 하는 사용자 입력 장치.A user input device capable of fingerprint recognition using a sensor grid method,
A display unit which displays data input by a user, a result of performing an operation according to the data, and a response;
A sensor grid panel composed of sensors arranged in a grid to fit the size of the screen so that the fingerprints of the touched fingers can be recognized;
A memory unit for storing one or more fingerprint data received from the sensor grid panel;
And a controller configured to read an operation pattern corresponding to an operation mode set from the fingerprint identification data from the memory, and display and display a specific operation on the display unit.
An operation mode of the device including a multi-touch operation mode and a fingerprint recognition operation mode,
The memory unit stores an input pattern for the operation modes and corresponding operation and function performance information.
The sensor grid panel includes a very small light emitting unit capable of outputting infrared or light of a specific frequency, a light receiving unit capable of receiving light reflected from light of a corresponding frequency, and sensors capable of detecting a change in light; ,
The sensor grid in the sensor grid panel is arranged in a grid form,
The sensor grid panel is made of a material having a graphene or a transparent electrode, the user input device, characterized in that disposed on the front of the display device. 제 8 항에 있어서,
상기 제어부는 특정 위치에 대해 지문 스캔을 위한 적외선 또는 특정 주파수의 빛을 센서 그리드 패널에 출력하도록 할 수 있는 것을 특징으로 하는 사용자 입력 장치.The method of claim 8,
The control unit may be configured to output an infrared ray or light of a specific frequency to the sensor grid panel for the fingerprint scan for a specific position. 제 8 항에 있어서,
상기 제어부는 멀티 터치 동작 모드에서 둘 이상의 접촉한 손가락들의 위치에 대해 지문 스캔을 위한 적외선 또는 특정 주파수의 빛을 센서 그리드 패널에 출력하도록 할 수 있는 것을 특징으로 하는 사용자 입력 장치.The method of claim 8,
The control unit may be configured to output an infrared ray or light of a specific frequency to the sensor grid panel for the fingerprint scan for the position of two or more touched fingers in the multi-touch operation mode. 제 8 항에 있어서,
상기 제어부는 지문 인식 동작 모드에서 하나 이상의 지문 데이터들을 분석하여 해당 지문 데이터 조합에 대응하는 미리 설정된 동작을 수행하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 8,
The control unit analyzes one or more fingerprint data in a fingerprint recognition operation mode and performs a preset operation corresponding to the corresponding fingerprint data combination. 제 8 항에 있어서,
상기 센서 그리드 패널은 특정 주파수를 가지는 빛의 반사를 통해 미세한 거리를 감지하여 디지털 데이터를 생성하고, 상기 제어부는 상기 디지털 데이터에 기초한 손가락과 패널 사이의 접촉면에 대한 정보를 분석해서 생성된 지문 정보를 이용하여 사용자의 특정 손가락 지문을 인식하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 8,
The sensor grid panel detects a small distance through reflection of light having a specific frequency to generate digital data, and the controller analyzes information on a contact surface between the finger and the panel based on the digital data, and generates fingerprint data. And a user's specific finger fingerprint. 센서 그리드 방식의 멀티 터치와 지문 인식이 가능한 사용자 입력 장치에 있어서,
사용자에 의해서 입력되는 데이터와 그 데이터에 따른 동작 수행 결과 및 반응을 표시하는 표시부와,
접촉한 손가락들의 위치 및 지문을 인식할 수 있게 화면의 크기에 맞게 격자 형태로 배열된 센서들로 이루어진 센서 그리드 패널과,
상기 센서 그리드 패널로부터 전달받은 하나 이상의 위치 데이터 또는 지문 데이터를 저장하는 메모리부와,
상기 위치 데이터로부터 확인된 동작 모드에 대응되는 입력패턴을 상기 메모리로부터 독출한 후 상기 표시부에 표시 및 특정 동작을 실행하는 제어부를 포함하고,
상기 장치의 동작 모드로서 포인팅을 위한 동작 모드, 멀티 터치 동작 모드, 제스처 인식을 위한 동작 모드, 및 지문 인식을 위한 동작 모드를 포함하고,
상기 메모리부는 상기 동작 모드들을 위한 입력 패턴과 그에 대응하는 동작 및 기능 수행 정보를 저장하고,
상기 센서 그리드 패널은 적외선 또는 특정 주파수의 빛을 출력할 수 있는 초소형의 발광부와, 해당 주파수의 빛으로부터 반사된 빛을 수신할 수 있는 수광부, 및 빛의 변화를 감지할 수 있는 센서들을 포함하고,
상기 센서 그리드 패널에서의 센서 그리드가 격자 형태로 배열되고,
상기 센서 그리드 패널은 그래핀 또는 투명 전극을 가지는 소재로 이루어지고, 디스플레이 장치의 전면에 배치되는 것을 특징으로 하는 사용자 입력 장치.In the user input device capable of multi-touch and fingerprint recognition of the sensor grid method,
A display unit which displays data input by a user, a result of performing an operation according to the data, and a response;
A sensor grid panel composed of sensors arranged in a grid to fit the size of the screen so as to recognize the position and fingerprint of the touched finger;
A memory unit for storing one or more location data or fingerprint data received from the sensor grid panel;
And a control unit which reads an input pattern corresponding to an operation mode identified from the position data from the memory and displays and displays a specific operation on the display unit.
An operation mode of the device including an operation mode for pointing, an multi-touch operation mode, an operation mode for gesture recognition, and an operation mode for fingerprint recognition,
The memory unit stores an input pattern for the operation modes and corresponding operation and function performance information.
The sensor grid panel includes a very small light emitting unit capable of outputting infrared or light of a specific frequency, a light receiving unit capable of receiving light reflected from light of a corresponding frequency, and sensors capable of detecting a change in light; ,
The sensor grid in the sensor grid panel is arranged in a grid form,
The sensor grid panel is made of a material having a graphene or a transparent electrode, the user input device, characterized in that disposed on the front of the display device. 제 13 항에 있어서,
상기 제어부는 포인팅을 위한 동작 모드에서 입력된 위치 데이터들의 중앙의 좌표값을 계산하여 상기 표시부의 특정 부분을 가리키거나 선택하는 피드백을 제공하는 동작을 수행하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 13,
And the control unit calculates a coordinate value of the center of the position data input in an operation mode for pointing to provide feedback for indicating or selecting a specific portion of the display unit. 제 13 항에 있어서,
상기 제어부는 멀티 터치 동작 모드에서 입력된 둘 이상의 위치 데이터들의 중앙의 좌표값을 계산하여 상기 표시부의 특정 부분을 동시에 가리키거나 선택하는 피드백을 제공하는 동작을 수행하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 13,
And the control unit calculates a coordinate value of a center of two or more position data input in a multi-touch operation mode and provides feedback for simultaneously pointing or selecting a specific portion of the display unit. 제 13 항에 있어서,
상기 제어부는 제스처 인식을 위한 동작 모드에서 하나 이상의 입력된 위치 데이터들의 궤적을 계산하여 대응하는 미리 설정된 동작을 수행하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 13,
The control unit may calculate a trajectory of one or more input position data in an operation mode for gesture recognition and perform a corresponding preset operation. 제 13 항에 있어서,
상기 제어부는 터치 인식부로부터 전달받은 특정 위치에 대해 지문 스캔을 위한 적외선 또는 특정 주파수의 빛을 센서 그리드 패널에 출력하도록 할 수 있는 것을 특징으로 하는 사용자 입력 장치.The method of claim 13,
The controller may be configured to output an infrared ray or light of a specific frequency to the sensor grid panel for a fingerprint scan at a specific position received from the touch recognition unit. 제 13 항에 있어서,
상기 제어부는 멀티 터치 동작 모드에서 둘 이상의 위치에 대해 지문 스캔을 위한 적외선 또는 특정 주파수의 빛을 센서 그리드 패널에 출력하도록 할 수 있는 것을 특징으로 하는 사용자 입력 장치.The method of claim 13,
The control unit may be configured to output an infrared ray or light of a specific frequency to the sensor grid panel for fingerprint scanning in two or more positions in the multi-touch operation mode. 제 13 항에 있어서,
상기 제어부는 지문 인식을 위한 동작 모드에서 하나 이상의 지문 데이터들을 분석하여 해당 지문 데이터 조합에 대응하는 미리 설정된 동작을 수행하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 13,
The control unit analyzes one or more fingerprint data in an operation mode for fingerprint recognition and performs a preset operation corresponding to the corresponding fingerprint data combination. 제 13 항에 있어서,
상기 센서 그리드 패널은 특정 주파수를 가지는 빛의 반사를 통해 미세한 거리를 감지하여 디지털 데이터를 생성하고, 상기 제어부는 상기 디지털 데이터를 이용하여 손가락과 패널 사이의 접촉면적 및 중심점을 계산하여 사용자가 의도한 위치를 인식하거나, 상기 디지털 데이터에 기초한 손가락과 패널 사이의 접촉면에 대한 정보를 분석해서 생성된 지문 정보를 이용하여 사용자의 특정 손가락 지문을 인식하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 13,
The sensor grid panel detects a small distance through reflection of light having a specific frequency and generates digital data, and the controller calculates a contact area and a center point between the finger and the panel using the digital data, and the user's intended And a user's specific finger fingerprint using fingerprint information generated by recognizing a location or analyzing information on a contact surface between a finger and a panel based on the digital data. 제 13 항에 있어서,
상기 센서 그리드 패널은 빛의 변화를 감지할 때 LCD의 백라이트(Back Light)를 이용하여 반사된 빛을 이용하거나, 자연광이 손가락에 의해 가려져 빛이 차단되는 것을 이용하거나, 각 센서의 발광부를 이용하여 특정 주파수의 빛을 출력하여 그에 반사된 빛을 이용하거나, 상기 세 가지 방법들 중 둘 이상의 방법을 조합하여 사용자가 의도한 위치를 인식하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 13,
When the sensor grid panel detects a change in light, the sensor grid panel uses light reflected by using a backlight of the LCD, a light is blocked by natural light by a finger, or a light emitter of each sensor. The user input device, characterized in that for outputting a light of a specific frequency to use the reflected light, or by combining two or more of the three methods to recognize the location intended by the user. 제 13 항에 있어서,
상기 센서 그리드 패널은 빛의 변화를 감지하는 센서와 특정 빛을 인식하도록 설계된 수광부를 하나로 통합하여 포함하는 것을 특징으로 하는 사용자 입력 장치.The method of claim 13,
The sensor grid panel includes a sensor for detecting a change in light and a light receiving unit designed to recognize a specific light into a single unit. 멀티 터치가 가능한 센서 그리드 패널을 구비하는 전자장치의 사용자 터치 인식 방법에 있어서,
사용자의 터치에 의해서 센서 그리드 패널에서 나타나는 하나 이상의 광신호 변화를 감지하는 단계로서, 상기 광신호 변화를 감지하고 측정해서 사용자의 손가락과 센서 그리드 패널이 만나는 접촉면에서의 손가락 좌표를 파악하거나 손가락이 센서 그리드 패널을 누르는 정도를 파악하기 위한 좌표 데이터를 생성하는 것을 포함하는 단계;
상기 좌표 데이터를 이용해서 상기 접촉면에서의 중심 좌표를 산출하고, 상기 중심 좌표를 이용하여 사용자가 의도한 터치 위치를 파악하고, 시간의 경과에 따라서 손가락 좌표의 변화를 연속적으로 분석해서 설정된 시간 내에 특정 제스처가 입력되었는지 파악하는 단계; 및
상기 전자장치에 미리 저장되어 있는 입력 패턴으로서, 상기 파악된 터치 위치 또는 상기 파악된 제스처에 대응하는 입력 패턴이 존재하는지 확인한 후, 대응하는 입력 패턴이 존재하는 경우에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하거나 상기 전자장치로 하여금 대응하는 입력 패턴에 따라서 특정 기능을 수행하게 하는 단계;를 포함하는 것을 특징으로 하는 전자장치의 사용자 터치 인식 방법.In the user touch recognition method of an electronic device having a sensor grid panel capable of multi-touch,
Detecting a change in one or more optical signals appearing on the sensor grid panel by a user's touch, and detecting and measuring the change in the optical signals to obtain finger coordinates at the contact surface where the user's finger and the sensor grid panel meet or Generating coordinate data for grasping the degree of pressing the grid panel;
The coordinate data is used to calculate the center coordinates on the contact surface, the center coordinates are used to grasp the user's intended touch position, and the change of the finger coordinates is continuously analyzed as time passes, thereby specifying a specified time. Determining whether a gesture is input; And
After checking whether an input pattern corresponding to the detected touch position or the detected gesture exists as an input pattern previously stored in the electronic device, the input pattern corresponding to the case where the corresponding input pattern exists is stored in the electronic device. Displaying on a display device of a display device or causing the electronic device to perform a specific function according to a corresponding input pattern. 제 23 항에 있어서,
상기 사용자의 터치에 의해서 센서 그리드 패널에서 나타나는 하나 이상의 광신호 변화를 감지하는 단계는 접촉면의 전체 넓이와 특정 기준 수치 이상 또는 이하의 데이터의 전체 넓이를 비교하여 계산된 결과를 통해 사용자가 가하고자 했던 입력의 강도를 파악하는 것을 특징으로 하는 전자장치의 사용자 터치 인식 방법.The method of claim 23,
Detecting one or more optical signal changes appearing on the sensor grid panel by the user's touch is based on a result calculated by comparing the total area of the contact surface with the total area of data above or below a certain reference value. A method for recognizing a user's touch of an electronic device, characterized by determining the strength of an input. 지문 인식이 가능한 센서 그리드 패널을 구비하는 전자장치의 사용자 지문 인식 방법에 있어서,
지문 인식 명령에 따라 센서 그리드 패널에서 방출된 특정 주파수의 출력과 반사를 통해서 하나 이상의 특정 영역에서 각 센서의 미세 거리를 감지하는 단계로서, 상기 미세 거리를 감지하기 위해서 기준 단위 시간을 이용하여 발광부의 출력 시간과 수광부의 입력 시간 사이의 변화를 분석하고 계산하는 것을 포함하는 단계;
센서 그리드 패널로부터의 지문 데이터를 가공하여 노이즈 데이터를 제거하고 상기 전자장치에서 이용될 수 있는 형식으로 변화시킴으로써, 상기 미세 거리 차이들을 이용하여 사용자 손가락의 지문을 파악하는 단계; 및
상기 전자장치에 미리 저장되어 있는 입력 패턴으로서, 상기 파악된 손가락의 지문에 대응하는 입력 패턴이 존재하는지 확인한 후, 대응하는 입력 패턴이 존재하는 경우에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하거나 상기 전자장치로 하여금 대응하는 입력 패턴에 따라서 특정 기능을 수행하게 하는 단계;를 포함하는 것을 특징으로 하는 전자장치의 사용자 지문 인식 방법.A user fingerprint recognition method of an electronic device having a sensor grid panel capable of fingerprint recognition,
A step of detecting the fine distance of each sensor in one or more specific areas through the output and reflection of a specific frequency emitted from the sensor grid panel according to the fingerprint recognition command, to detect the minute distance by using a reference unit time Analyzing and calculating a change between the output time and the input time of the light receiver;
Processing fingerprint data from a sensor grid panel to remove noise data and transforming it into a format that can be used in the electronic device, thereby identifying a fingerprint of a user's finger using the fine distance differences; And
After checking whether an input pattern corresponding to the fingerprint of the identified finger exists as an input pattern previously stored in the electronic device, an input pattern corresponding to the case where the corresponding input pattern exists is displayed on the display device of the electronic device. Displaying or causing the electronic device to perform a specific function according to a corresponding input pattern. 지문 인식 및 멀티 터치가 가능한 센서 그리드 패널을 구비하는 전자장치의 사용자 지문 인식 및 터치 인식 방법에 있어서,
사용자의 터치에 의해서 센서 그리드 패널에서 나타나는 하나 이상의 광신호 변화를 감지하는 단계로서, 상기 광신호 변화를 감지하고 측정해서 사용자의 손가락과 센서 그리드 패널이 만나는 접촉면에서의 손가락 좌표를 파악하거나 손가락이 센서 그리드 패널을 누르는 정도를 파악하기 위한 좌표 데이터를 생성하는 것을 포함하는 단계;
지문 인식 명령에 따라 센서 그리드 패널에서 방출된 특정 주파수의 출력과 반사를 통해서 하나 이상의 특정 영역에서 각 센서의 미세 거리를 감지하는 단계로서, 상기 미세 거리를 감지하기 위해서 기준 단위 시간을 이용하여 발광부의 출력 시간과 수광부의 입력 시간 사이의 변화를 분석하고 계산하는 것을 포함하는 단계;
상기 좌표 데이터를 이용해서 상기 접촉면에서의 중심 좌표를 산출하고, 상기 중심 좌표를 이용하여 사용자가 의도한 터치 위치를 파악하고, 시간의 경과에 따라서 손가락 좌표의 변화를 연속적으로 분석해서 설정된 시간 내에 특정 제스처가 입력되었는지 파악하는 단계;
센서 그리드 패널로부터의 지문 데이터를 가공하여 노이즈 데이터를 제거하고 상기 전자장치에서 이용될 수 있는 형식으로 변화시킴으로써, 상기 미세 거리 차이들을 이용하여 사용자 손가락의 지문을 파악하는 단계; 및
상기 전자장치에 미리 저장되어 있는 입력 패턴으로서, 상기 파악된 터치 위치 또는 상기 파악된 제스처 또는 상기 파악된 손가락의 지문에 대응하는 입력 패턴이 존재하는지 확인한 후, 대응하는 입력 패턴이 존재하는 경우에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하거나 상기 전자장치로 하여금 대응하는 입력 패턴에 따라서 특정 기능을 수행하게 하는 단계;를 포함하는 것을 특징으로 하는 전자장치의 사용자 지문 인식 및 터치 인식 방법.A user fingerprint recognition and touch recognition method of an electronic device having a sensor grid panel capable of fingerprint recognition and multi-touch,
Detecting a change in one or more optical signals appearing on the sensor grid panel by a user's touch, and detecting and measuring the change in the optical signals to obtain finger coordinates at the contact surface where the user's finger and the sensor grid panel meet or Generating coordinate data for grasping the degree of pressing the grid panel;
A step of detecting the fine distance of each sensor in one or more specific areas through the output and reflection of a specific frequency emitted from the sensor grid panel according to the fingerprint recognition command, to detect the minute distance by using a reference unit time Analyzing and calculating a change between the output time and the input time of the light receiver;
The coordinate data is used to calculate the center coordinates on the contact surface, the center coordinates are used to grasp the user's intended touch position, and the change of the finger coordinates is continuously analyzed as time passes, thereby specifying a specified time. Determining whether a gesture is input;
Processing fingerprint data from a sensor grid panel to remove noise data and transforming it into a format that can be used in the electronic device, thereby identifying a fingerprint of a user's finger using the fine distance differences; And
If the input pattern is stored in the electronic device in advance and the input pattern corresponding to the detected touch position or the identified gesture or the fingerprint of the detected finger is present, the corresponding input pattern is present. And displaying the input pattern on a display device of the electronic device or causing the electronic device to perform a specific function according to a corresponding input pattern. 제 26 항에 있어서,
상기 사용자의 터치에 의해서 센서 그리드 패널에서 나타나는 하나 이상의 광신호 변화를 감지하는 단계는 접촉면의 전체 넓이 및 특정 수치 이하의 데이터의 전체 넓이를 통해 계산된 사용자가 가하고자 했던 입력의 강도를 파악하는 것을 특징으로 하는 전자장치의 사용자 지문 인식 및 터치 인식 방법.The method of claim 26,
Detecting one or more optical signal changes appearing on the sensor grid panel by the user's touch is to determine the intensity of the input the user intended to apply through the overall width of the contact surface and the total width of the data below a certain value. A user fingerprint recognition and a touch recognition method of an electronic device. 제 26 항에 있어서,
상기 대응하는 입력 패턴이 존재하는 경우에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하거나 상기 전자장치로 하여금 대응하는 입력 패턴에 따라서 특정 기능을 수행하게 하는 단계에서, 상기 파악된 손가락의 지문에 대응하는 입력 패턴은 왼손 및 오른손 손가락의 각각에 상응하는 입력 패턴이 존재하는 것을 특징으로 하는 전자장치의 사용자 지문 인식 및 터치 인식 방법.The method of claim 26,
Displaying the corresponding input pattern on the display device of the electronic device when the corresponding input pattern exists, or causing the electronic device to perform a specific function according to the corresponding input pattern; The input pattern corresponding to the user fingerprint recognition and touch recognition method of the electronic device, characterized in that the input pattern corresponding to each of the left hand and the right hand finger. 제 26 항에 있어서,
상기 대응하는 입력 패턴이 존재하는 경우에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하거나 상기 전자장치로 하여금 대응하는 입력 패턴에 따라서 특정 기능을 수행하게 하는 단계는, 상기 파악된 터치 위치 또는 상기 파악된 제스처에 대응하는 입력 패턴을 상기 전자장치의 디스플레이 장치에 표시하여 특정 요소나 기능을 선택하거나 가리킬 수 있는 포인팅 기능을 수행하게 하는 것을 포함하는 것을 특징으로 하는 전자장치의 사용자 지문 인식 및 터치 인식 방법.The method of claim 26,
In the case where the corresponding input pattern exists, displaying the corresponding input pattern on the display device of the electronic device or causing the electronic device to perform a specific function according to the corresponding input pattern may include: And displaying a input pattern corresponding to the identified gesture on a display device of the electronic device to perform a pointing function for selecting or pointing to a specific element or function. Recognition method.
KR1020100015103A 2010-02-19 2010-02-19 User input device, method for recognizing user finger prints, and method for recognizing user touches using a transparent sensor grid panel which is able to recognize finger prints or mult-touch KR101136153B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100015103A KR101136153B1 (en) 2010-02-19 2010-02-19 User input device, method for recognizing user finger prints, and method for recognizing user touches using a transparent sensor grid panel which is able to recognize finger prints or mult-touch

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100015103A KR101136153B1 (en) 2010-02-19 2010-02-19 User input device, method for recognizing user finger prints, and method for recognizing user touches using a transparent sensor grid panel which is able to recognize finger prints or mult-touch

Publications (2)

Publication Number Publication Date
KR20110095565A true KR20110095565A (en) 2011-08-25
KR101136153B1 KR101136153B1 (en) 2012-04-16

Family

ID=44931174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100015103A KR101136153B1 (en) 2010-02-19 2010-02-19 User input device, method for recognizing user finger prints, and method for recognizing user touches using a transparent sensor grid panel which is able to recognize finger prints or mult-touch

Country Status (1)

Country Link
KR (1) KR101136153B1 (en)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356819B1 (en) * 2011-12-22 2014-02-12 한국과학기술원 Apparatus for providing input interface and operating method thereof
KR101412634B1 (en) * 2012-09-12 2014-06-27 한상현 Multi-touch panel, multi-touch sensing device having the same and method of sensing multi-touch using the same
KR101416268B1 (en) * 2012-09-12 2014-07-08 한상현 Multi-touch panel, multi-touch sensing device having the same and method of sensing multi-touch using the same
KR101429445B1 (en) * 2012-09-12 2014-08-13 주식회사 리딩유아이 Touch-display panel, touch-display device having the same and driving method thereof
WO2014175568A1 (en) * 2013-04-22 2014-10-30 어보브반도체 주식회사 Gesture recognition apparatus
WO2014200485A1 (en) * 2013-06-13 2014-12-18 Intel Corporation Techniques for user authentication on a computing device via pattern recognition
KR101510851B1 (en) * 2012-04-26 2015-04-10 에이서 인코포레이티드 Mobile device and gesture determination method
WO2015083959A1 (en) * 2013-12-04 2015-06-11 양희봉 Touch sensing structure of electronic device
KR20150085351A (en) * 2014-01-15 2015-07-23 삼성전자주식회사 Method for processing inputting data and an electronic device thereof
WO2016036179A1 (en) * 2014-09-04 2016-03-10 크루셜텍(주) Image sensing-enabled display apparatus
WO2016036177A1 (en) * 2014-09-04 2016-03-10 크루셜텍(주) Image sensing-enabled display apparatus
WO2016076592A1 (en) * 2014-11-12 2016-05-19 크루셜텍(주) Method for driving display device capable of scanning image
KR20160111762A (en) 2015-03-17 2016-09-27 울산과학기술원 Apparatus for sensing fingerprint on panel
US9465972B2 (en) 2014-01-02 2016-10-11 Samsung Electro-Mechanics Co., Ltd. Fingerprint sensor and electronic device including the same
KR20160141259A (en) * 2015-05-29 2016-12-08 엘지디스플레이 주식회사 Finger sensor integrated type touch screen panel and driving method of the same
KR20170084099A (en) * 2014-12-18 2017-07-19 핑거프린트 카드즈 에이비 Fingerprint enrollment using touch sensor data
CN107111395A (en) * 2014-11-12 2017-08-29 韩国科泰高科株式会社 Can scan image display device driving method
WO2017155209A1 (en) * 2016-03-10 2017-09-14 주식회사 베프스 Method for scanning user biometric information for plurality of fingers, and biometric information recognition apparatus therefor
KR20170123578A (en) * 2016-04-28 2017-11-08 크루셜텍 (주) Fingerprint Image Scanning Panel Adaptable To Under-Glass Type Structure and Display Apparatus Comprising The Same
KR20170124112A (en) * 2015-06-18 2017-11-09 선전 구딕스 테크놀로지 컴퍼니, 리미티드 Multifunction fingerprint sensor with photo sensing capability
KR20170124160A (en) * 2016-04-29 2017-11-10 엘지디스플레이 주식회사 Flat Panel Display Embedding Optical Imaging Sensor
WO2017217682A1 (en) * 2016-06-17 2017-12-21 주식회사지2터치 Integrated display device having display and touch functions
WO2017219677A1 (en) * 2016-06-23 2017-12-28 京东方科技集团股份有限公司 Fingerprint recognition display panel and display device
KR20180003702A (en) * 2016-06-30 2018-01-10 엘지디스플레이 주식회사 Flat Panel Display Embedding Optical Imaging Sensor
WO2017183910A3 (en) * 2016-04-19 2018-07-19 Samsung Electronics Co., Ltd. Electronic device supporting fingerprint verification and method for operating the same
WO2017155319A3 (en) * 2016-03-09 2018-08-02 삼성전자주식회사 Display comprising sensing function, and electronic device comprising same
KR20180122509A (en) * 2017-05-02 2018-11-13 엘지디스플레이 주식회사 Flat Panel Display Having Optical Imaging Sensor
KR20180122508A (en) * 2017-05-02 2018-11-13 엘지디스플레이 주식회사 Flat Panel Display Embedding Optical Imaging Sensor
CN109359641A (en) * 2018-12-24 2019-02-19 厦门天马微电子有限公司 Display device and its driving method
WO2019035629A1 (en) * 2017-08-17 2019-02-21 주식회사 하이딥 Display device having fingerprint recognition sensor coupled thereto
EP3319009A4 (en) * 2015-07-02 2019-02-27 Boe Technology Group Co. Ltd. Living body recognition apparatus, living body recognition method and living body authentication system
KR20190089605A (en) * 2018-01-23 2019-07-31 삼성전자주식회사 Infrared element mounted display and electronic device including thereof
KR20190108289A (en) * 2018-03-14 2019-09-24 주식회사 엘지화학 Fingerprint Recognition Film
US10438046B2 (en) 2015-11-02 2019-10-08 Shenzhen GOODIX Technology Co., Ltd. Multifunction fingerprint sensor having optical sensing against fingerprint spoofing
CN111149103A (en) * 2017-07-06 2020-05-12 华为技术有限公司 Electronic device
US10732771B2 (en) 2014-11-12 2020-08-04 Shenzhen GOODIX Technology Co., Ltd. Fingerprint sensors having in-pixel optical sensors
KR20200102044A (en) * 2019-02-20 2020-08-31 한국자동차연구원 Motion recognition apparatus for vehicles
US10824840B2 (en) 2016-04-19 2020-11-03 Samsung Electronics Co., Ltd Electronic device supporting fingerprint verification and method for operating the same
KR102485208B1 (en) * 2022-07-14 2023-01-06 (주)아하 Grid type non-touch sensor and kiosk using thereof
CN116682149A (en) * 2023-06-28 2023-09-01 惠科股份有限公司 Display device and fingerprint identification method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140298672A1 (en) * 2012-09-27 2014-10-09 Analog Devices Technology Locking and unlocking of contacless gesture-based user interface of device having contactless gesture detection system
KR101727453B1 (en) 2014-07-24 2017-04-18 크루셜텍 (주) Touch detecting apparatus including fingerprint sensor
US9679182B2 (en) 2014-11-12 2017-06-13 Crucialtec Co., Ltd. Display apparatus capable of image scanning and driving method thereof
KR102093196B1 (en) 2015-04-16 2020-04-14 삼성전자주식회사 Device and method for conrol based on recognizing fingerprint
KR102532144B1 (en) 2016-06-24 2023-05-12 에스케이텔레콤 주식회사 Touch screen apparatus and method of recognizing fingerprint the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1717683A3 (en) * 1998-01-26 2010-03-17 Apple Inc. Method and apparatus for integrating manual input
KR100942293B1 (en) * 2007-07-12 2010-02-16 주식회사 토비스 A source of light type touch sensing method, touch panel and the system

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356819B1 (en) * 2011-12-22 2014-02-12 한국과학기술원 Apparatus for providing input interface and operating method thereof
KR101510851B1 (en) * 2012-04-26 2015-04-10 에이서 인코포레이티드 Mobile device and gesture determination method
KR101412634B1 (en) * 2012-09-12 2014-06-27 한상현 Multi-touch panel, multi-touch sensing device having the same and method of sensing multi-touch using the same
KR101416268B1 (en) * 2012-09-12 2014-07-08 한상현 Multi-touch panel, multi-touch sensing device having the same and method of sensing multi-touch using the same
KR101429445B1 (en) * 2012-09-12 2014-08-13 주식회사 리딩유아이 Touch-display panel, touch-display device having the same and driving method thereof
WO2014175568A1 (en) * 2013-04-22 2014-10-30 어보브반도체 주식회사 Gesture recognition apparatus
WO2014200485A1 (en) * 2013-06-13 2014-12-18 Intel Corporation Techniques for user authentication on a computing device via pattern recognition
US9928413B2 (en) 2013-06-13 2018-03-27 Intel Corporation Techniques for user authentication on a computing device via pattern recognition
WO2015083959A1 (en) * 2013-12-04 2015-06-11 양희봉 Touch sensing structure of electronic device
US9465972B2 (en) 2014-01-02 2016-10-11 Samsung Electro-Mechanics Co., Ltd. Fingerprint sensor and electronic device including the same
KR20150085351A (en) * 2014-01-15 2015-07-23 삼성전자주식회사 Method for processing inputting data and an electronic device thereof
WO2016036177A1 (en) * 2014-09-04 2016-03-10 크루셜텍(주) Image sensing-enabled display apparatus
WO2016036179A1 (en) * 2014-09-04 2016-03-10 크루셜텍(주) Image sensing-enabled display apparatus
WO2016076592A1 (en) * 2014-11-12 2016-05-19 크루셜텍(주) Method for driving display device capable of scanning image
US10732771B2 (en) 2014-11-12 2020-08-04 Shenzhen GOODIX Technology Co., Ltd. Fingerprint sensors having in-pixel optical sensors
CN107111395A (en) * 2014-11-12 2017-08-29 韩国科泰高科株式会社 Can scan image display device driving method
KR20170084099A (en) * 2014-12-18 2017-07-19 핑거프린트 카드즈 에이비 Fingerprint enrollment using touch sensor data
KR20160111762A (en) 2015-03-17 2016-09-27 울산과학기술원 Apparatus for sensing fingerprint on panel
KR20160141259A (en) * 2015-05-29 2016-12-08 엘지디스플레이 주식회사 Finger sensor integrated type touch screen panel and driving method of the same
KR20170124112A (en) * 2015-06-18 2017-11-09 선전 구딕스 테크놀로지 컴퍼니, 리미티드 Multifunction fingerprint sensor with photo sensing capability
US10963671B2 (en) 2015-06-18 2021-03-30 Shenzhen GOODIX Technology Co., Ltd. Multifunction fingerprint sensor having optical sensing capability
EP3319009A4 (en) * 2015-07-02 2019-02-27 Boe Technology Group Co. Ltd. Living body recognition apparatus, living body recognition method and living body authentication system
US10438046B2 (en) 2015-11-02 2019-10-08 Shenzhen GOODIX Technology Co., Ltd. Multifunction fingerprint sensor having optical sensing against fingerprint spoofing
WO2017155319A3 (en) * 2016-03-09 2018-08-02 삼성전자주식회사 Display comprising sensing function, and electronic device comprising same
US10845904B2 (en) 2016-03-09 2020-11-24 Samsung Electronics Co., Ltd. Display comprising sensing function, and electronic device comprising same
WO2017155209A1 (en) * 2016-03-10 2017-09-14 주식회사 베프스 Method for scanning user biometric information for plurality of fingers, and biometric information recognition apparatus therefor
US10366272B2 (en) 2016-04-19 2019-07-30 Samsung Electronics Co. Ltd Electronic device supporting fingerprint verification and method for operating the same
US11763593B2 (en) 2016-04-19 2023-09-19 Samsung Electronics Co., Ltd Electronic device supporting fingerprint verification and method for operating the same
WO2017183910A3 (en) * 2016-04-19 2018-07-19 Samsung Electronics Co., Ltd. Electronic device supporting fingerprint verification and method for operating the same
US10824840B2 (en) 2016-04-19 2020-11-03 Samsung Electronics Co., Ltd Electronic device supporting fingerprint verification and method for operating the same
KR20170123578A (en) * 2016-04-28 2017-11-08 크루셜텍 (주) Fingerprint Image Scanning Panel Adaptable To Under-Glass Type Structure and Display Apparatus Comprising The Same
CN108604296A (en) * 2016-04-28 2018-09-28 韩国科泰高科株式会社 The luminous fingerprint recognition panel of concealed fingerprint recognition and the fingerprint recognition display device including it can be applicable in
CN108604296B (en) * 2016-04-28 2022-05-27 韩国科泰高科株式会社 Luminous fingerprint identification panel and fingerprint identification display device comprising same
KR20170124160A (en) * 2016-04-29 2017-11-10 엘지디스플레이 주식회사 Flat Panel Display Embedding Optical Imaging Sensor
US10564350B2 (en) 2016-04-29 2020-02-18 Lg Display Co., Ltd. Flat panel display embedding optical imaging sensor
WO2017217682A1 (en) * 2016-06-17 2017-12-21 주식회사지2터치 Integrated display device having display and touch functions
US10599907B2 (en) 2016-06-23 2020-03-24 Boe Technology Group Co., Ltd. Display panel for fingerprint recognition and display device
WO2017219677A1 (en) * 2016-06-23 2017-12-28 京东方科技集团股份有限公司 Fingerprint recognition display panel and display device
US10474863B2 (en) 2016-06-30 2019-11-12 Lg Display Co., Ltd. Flat panel display embedding optical imaging sensor
KR20180003702A (en) * 2016-06-30 2018-01-10 엘지디스플레이 주식회사 Flat Panel Display Embedding Optical Imaging Sensor
KR20180122508A (en) * 2017-05-02 2018-11-13 엘지디스플레이 주식회사 Flat Panel Display Embedding Optical Imaging Sensor
US10395086B2 (en) 2017-05-02 2019-08-27 Lg Display Co., Ltd. Flat panel display embedding optical imaging sensor
KR20180122509A (en) * 2017-05-02 2018-11-13 엘지디스플레이 주식회사 Flat Panel Display Having Optical Imaging Sensor
CN111149103A (en) * 2017-07-06 2020-05-12 华为技术有限公司 Electronic device
WO2019035629A1 (en) * 2017-08-17 2019-02-21 주식회사 하이딥 Display device having fingerprint recognition sensor coupled thereto
US11145687B2 (en) 2018-01-23 2021-10-12 Samsung Eletronics Co., Ltd Display having infrared element arranged such that at least one portion thereof overlaps pixel, and electronic device including same
CN111630832A (en) * 2018-01-23 2020-09-04 三星电子株式会社 Display having infrared element arranged such that at least a portion thereof overlaps with pixel and electronic device including the same
KR20190089605A (en) * 2018-01-23 2019-07-31 삼성전자주식회사 Infrared element mounted display and electronic device including thereof
CN111630832B (en) * 2018-01-23 2022-06-24 三星电子株式会社 Display having infrared element arranged such that at least a portion thereof overlaps with pixel and electronic device including the same
WO2019146995A1 (en) * 2018-01-23 2019-08-01 삼성전자 주식회사 Display having infrared element arranged such that at least one portion thereof overlaps pixel, and electronic device including same
KR20190108289A (en) * 2018-03-14 2019-09-24 주식회사 엘지화학 Fingerprint Recognition Film
CN109359641A (en) * 2018-12-24 2019-02-19 厦门天马微电子有限公司 Display device and its driving method
CN109359641B (en) * 2018-12-24 2021-08-24 厦门天马微电子有限公司 Display device and driving method thereof
KR20200102044A (en) * 2019-02-20 2020-08-31 한국자동차연구원 Motion recognition apparatus for vehicles
KR102485208B1 (en) * 2022-07-14 2023-01-06 (주)아하 Grid type non-touch sensor and kiosk using thereof
KR102494759B1 (en) * 2022-07-14 2023-02-06 (주)아하 Grid type non-touch sensor and kiosk using thereof
KR102531198B1 (en) * 2022-07-14 2023-05-10 (주)아하 Method for operation of a non-touch kiosk comprising Grid type sensor
CN116682149A (en) * 2023-06-28 2023-09-01 惠科股份有限公司 Display device and fingerprint identification method

Also Published As

Publication number Publication date
KR101136153B1 (en) 2012-04-16

Similar Documents

Publication Publication Date Title
KR101136153B1 (en) User input device, method for recognizing user finger prints, and method for recognizing user touches using a transparent sensor grid panel which is able to recognize finger prints or mult-touch
US10747428B2 (en) Selective rejection of touch contacts in an edge region of a touch surface
US10019100B2 (en) Method for operating a touch sensitive user interface
TWI382739B (en) Method for providing a scrolling movement of information,computer program product,electronic device and scrolling multi-function key module
KR101516513B1 (en) Gesture based user interface for augmented reality
KR101847754B1 (en) Apparatus and method for proximity based input
JP5721662B2 (en) Input receiving method, input receiving program, and input device
CN101482790B (en) Electronic device capable of transferring object between two display elements and its control method
JP4650699B2 (en) Input device, input method, and program
US9448714B2 (en) Touch and non touch based interaction of a user with a device
TWI463355B (en) Signal processing apparatus, signal processing method and selecting method of user-interface icon for multi-touch interface
KR102560598B1 (en) Display Apparatus AND CONTROLLING METHOD THEREOF
US20140055385A1 (en) Scaling of gesture based input
KR20100093293A (en) Mobile terminal with touch function and method for touch recognition using the same
JP2012003404A (en) Information display device
KR20140136855A (en) Function performing method and electronic device thereof
CN105094645A (en) Information processing method and electronic equipment
KR20150094213A (en) Touch execution device using a thumb
KR20100033214A (en) Automatic switching method of input-mode by input pattern
KR100772914B1 (en) Input device and method using light blocking
US9524051B2 (en) Method and terminal for inputting multiple events
JP2013114645A (en) Small information device
JP2015132906A (en) Input device, input detection method of multi-touch operation and input detection program thereof
CN108804007A (en) Image-pickup method, device, storage medium and electronic equipment
US11659077B2 (en) Mobile terminal and method for controlling the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee