KR100778927B1 - Device capable of recognizing non-contact key selection and method thereof - Google Patents

Device capable of recognizing non-contact key selection and method thereof Download PDF

Info

Publication number
KR100778927B1
KR100778927B1 KR1020050133636A KR20050133636A KR100778927B1 KR 100778927 B1 KR100778927 B1 KR 100778927B1 KR 1020050133636 A KR1020050133636 A KR 1020050133636A KR 20050133636 A KR20050133636 A KR 20050133636A KR 100778927 B1 KR100778927 B1 KR 100778927B1
Authority
KR
South Korea
Prior art keywords
unit
image signal
input
filter
image data
Prior art date
Application number
KR1020050133636A
Other languages
Korean (ko)
Other versions
KR20070070775A (en
Inventor
이성민
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020050133636A priority Critical patent/KR100778927B1/en
Publication of KR20070070775A publication Critical patent/KR20070070775A/en
Application granted granted Critical
Publication of KR100778927B1 publication Critical patent/KR100778927B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

무접점 키 입력이 가능한 장치 및 그 인식 방법이 개시된다. 본 발명의 실시예에 따른 무접점 키 입력 장치는, 특정 파장 대역의 광학적 영상 신호만을 통과시키는 필터부, 필터부를 통해 입력된 광학적 영상 신호를 변환 영상 데이터로 변환하는 카메라부, 카메라부로부터 연속적으로 입력되는 변환 영상 데이터를 이용하여 특성벡터를 해석하는 이미지 해석부, 및 미리 저장된 특성벡터들 중 해석된 특성 벡터에 상응하는 특성벡터에 지정된 메뉴 기능이 실행되도록 제어하는 제어부를 포함한다. 본 발명에 의하여, 전자 장치의 공간적인 활용도를 높일 수 있고, 이에 따라 제조 공정이 간단해지고 그 제조 단가를 줄일 수 있는 효과가 있다.An apparatus capable of contactless key input and a recognition method thereof are disclosed. A contactless key input device according to an embodiment of the present invention includes a filter unit for passing only an optical image signal of a specific wavelength band, a camera unit for converting an optical image signal input through the filter unit into converted image data, and continuously from the camera unit And an image analyzer which analyzes the feature vector using the input converted image data, and a controller which controls a menu function designated to the feature vector corresponding to the analyzed feature vector among prestored feature vectors. According to the present invention, it is possible to increase the spatial utilization of the electronic device, thereby simplifying the manufacturing process and reducing the manufacturing cost thereof.

무접접 키 입력, 필터부, 카메라부. Contactless key input, filter unit, camera unit.

Description

무접점 키 입력이 가능한 장치 및 그 인식 방법{Device capable of recognizing non-contact key selection and method thereof}Device capable of recognizing non-contact key selection and method

도 1은 본 발명의 바람직한 일 실시예에 따른 이동 통신 단말기의 블록구성도.1 is a block diagram of a mobile communication terminal according to an embodiment of the present invention.

도 2a 및 도 2b는 본 발명의 바람직한 실시예에 따른 이동 통신 단말기의 무접점 키입력의 사용상태를 나타낸 도면.2A and 2B illustrate a state of use of a contactless key input of a mobile communication terminal according to an embodiment of the present invention.

도 3은 본 발명의 바람직한 일 실시예에 따른 무접점 키 입력 인식 방법의 전체 흐름을 나타내는 흐름도.3 is a flow chart showing the overall flow of a contactless key input recognition method according to a preferred embodiment of the present invention.

도 4는 본 발명의 바람직한 일 실시예에 따른 필터부를 통과한 광학적 영상신호의 파형의 나타내는 도면.4 is a view showing waveforms of an optical video signal passing through a filter unit according to an exemplary embodiment of the present invention.

도 5는 본 발명의 바람직한 일 실시예에 따른 선택된 영상신호의 메뉴 기능 예는 나타내는 도면.5 is a diagram showing an example of a menu function of a selected video signal according to an embodiment of the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

20 : 필터부20: filter part

100 : 이미지해석부100: image analysis unit

120 : 제어부120: control unit

140 : 광원부140: light source

160 : 필터이동부160: filter moving part

180 : 메모리부180: memory unit

280 : 카메라부280: camera unit

본 발명은 무접점 키 입력이 가능한 장치 및 그 인식 방법에 관한 것으로서, 보다 상세하게는 카메라 촬상 장치를 이용한 키 입력이 가능한 장치 및 그 인식 방법에 관한 것이다.The present invention relates to a device capable of contactless key input and a recognition method thereof, and more particularly, to a device capable of key input using a camera imaging device and a recognition method thereof.

최근 전자공학 및 통신공학의 비약적인 발전에 따라 사용자는 컴퓨터, TV 등 디지털 가전기기 또는 이동 통신 단말기 등을 이용하여 인터넷 접속, 화상 통신 및 동영상 메시지 전송, 디지털 뮤직 청취 및 위성방송 시청 등의 다양한 기능을 향유할 수 있게 되었다. 이러한 다양한 기능을 향유하기 위해 선택을 위한 효율적인 키패드 입력이 요망되고 있다. Recently, with the rapid development of electronics and communication engineering, users can use various functions such as internet access, video communication and video message transmission, digital music listening and satellite broadcasting by using digital home appliances or mobile communication terminals such as computers and TVs. I can enjoy it. In order to enjoy these various functions, efficient keypad input for selection is desired.

반도체 기술의 발전으로 저렴한 가격에 카메라 촬상 장치의 공급이 가능하게 되어 이를 장착한 컴퓨터, 이동 통신 단말기가 보급되어 카메라 촬상 장치가 구비된 전자기기를 쉽게 접할 수 있게 되었다.  With the development of semiconductor technology, it is possible to supply a camera imaging device at a low price, so that a computer and a mobile communication terminal equipped with the same can be widely used to easily access an electronic device equipped with a camera imaging device.

또한, 컴퓨터를 이용한 영상 처리 기술 및 화상 인식 기술의 발달에 따라 이를 이용한 다양한 응용분야가 발전하고 있다. 이러한 다양한 응용분야 중 하나로 카메라 촬상장치를 입력수단으로 이용하여 정보를 전달하는 기술개발이 진행되고 있다. Also, with the development of computer image processing technology and image recognition technology, various application fields using the same have been developed. As one of various application fields, a technology for transferring information using a camera imaging device as an input means is being developed.

종래의 경우, 기존의 키패드를 이용하여 메뉴 기능을 선택하여 방향키 및 선택키 등의 메뉴선택을 위한 부가적인 키(예를 들어, 이동통신 단말기의 경우 통화 버튼 및 무선 인터넷 접속 버튼, MP3 플레이어의 경우 파일 재생 버튼 및 파일 선택 버튼 등)가 포함되어 있다. 따라서, 디지털 가전기기나 이동 통신 단말기의 제조시 이에 대한 금형 작업이 필요하며, 이러한 이유로 전자 장비의 제조공정이 복잡해지고 그 제조 단가가 상승하게 되는 문제점이 있다. In the related art, an additional key for selecting a menu function such as a direction key and a selection key by selecting a menu function using an existing keypad (for example, a call button and a wireless internet access button for a mobile communication terminal, and for an MP3 player) File play button and file select button). Therefore, when manufacturing a digital home appliance or a mobile communication terminal, it is necessary to work on the mold, and for this reason, there is a problem in that the manufacturing process of the electronic equipment becomes complicated and the manufacturing cost thereof increases.

또한 종래의 메뉴 선택방법은 키패드를 이용하여 이루어지는 것으로서, 사용자가 해당 메뉴키를 일일이 선택하여야 하는 불편함이 있다. In addition, the conventional menu selection method is made using a keypad, which is inconvenient for the user to select the corresponding menu key one by one.

따라서, 본 발명의 목적은 기존의 키패드가 있는 전자 장치에 대하여 키패드를 대신하여 카메라 촬상장치를 이용하여 메뉴 기능을 제어할 수 있어 원격제어가 됨으로써 전자장치를 사용함에 있어 더욱 간편한 무접점 키 입력이 가능한 장치 및 그 인식 방법을 제공하기 위한 것이다.Accordingly, an object of the present invention is to remotely control a menu function using a camera imaging device in place of a keypad for an electronic device having a conventional keypad, thereby making contactless key input more convenient in using an electronic device. It is to provide a possible device and a recognition method thereof.

본 발명의 다른 목적은 기존의 키패드의 일부를 생략할 수 있음으로써 전자 장치의 공간적인 활용도를 높일 수 있고, 전자 장치의 소형화가 가능한 무접점 키 입력이 가능한 장치 및 그 인식 방법을 제공하기 위한 것이다.Another object of the present invention is to provide a device and a method for recognizing a contactless key input capable of increasing the spatial utilization of the electronic device and miniaturizing the electronic device by omitting a part of the existing keypad. .

본 발명의 또 다른 목적은 전자장치 제조시 제조 공정이 간단해지고 그 제조 단가를 줄일 수 있는 무접점 키 입력이 가능한 장치 및 그 인식 방법을 제공하기 위한 것이다.It is still another object of the present invention to provide an apparatus capable of contactless key input and a method of recognizing the same, which can simplify the manufacturing process and reduce the manufacturing cost of the electronic device.

본 발명의 또 다른 목적은 구비된 카메라를 범용적으로 이용할 수 있도록 하여 부품 활용도를 극대화할 수 있는 무접점 키 입력이 가능한 장치 및 그 인식 방법을 제공하기 위한 것이다.Still another object of the present invention is to provide a device and a method of recognizing a contactless key input capable of maximizing component utilization by allowing the provided camera to be used universally.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다. Other objects of the present invention will be readily understood through the following description.

본 발명의 일 측면에 따르면, 무접점 키 입력이 가능한 장치가 제공된다. According to one aspect of the invention, there is provided a device capable of contactless key input.

본 발명의 바람직한 일 실시예에 따른 무접점 키 입력이 가능한 장치는, 입사되는 광학적 영상 신호 중 특정 파장 대역만을 통과시키는 필터부; 상기 필터부를 통하여 입력된 광학적 영상 신호를 변환 영상 데이터로 변환하는 카메라부; 상기 카메라부로부터 연속적으로 입력되는 변환 영상 데이터를 이용하여 특성벡터를 해석하는 이미지 해석부; 및 미리 저장된 특성벡터들 중 상기 해석된 특성 벡터에 상응하는 특성벡터에 지정된 메뉴 기능이 실행되도록 제어하는 제어부를 포함할 수 있다.Device for contactless key input according to an embodiment of the present invention, the filter unit for passing only a specific wavelength band of the incident optical image signal; A camera unit for converting an optical image signal input through the filter unit into converted image data; An image analyzing unit which analyzes the characteristic vector using the converted image data continuously input from the camera unit; And a controller for controlling a menu function designated to a feature vector corresponding to the analyzed feature vector among prestored feature vectors.

상기 무접점 키 입력이 가능한 장치는 상기 광학적 영상 신호를 조사하는 광원부를 더 포함할 수 있다. 여기서, 상기 필터부로 입력되는 광학적 영상 신호는 상기 광원부에 의해 조사된 빛 중 외부 반사체에 의해 반사된 빛일 수 있다.The apparatus capable of inputting a contactless key may further include a light source unit for irradiating the optical image signal. Here, the optical image signal input to the filter unit may be light reflected by an external reflector among the light irradiated by the light source unit.

1개 내지 n(자연수)개 중 임의의 수량인 상기 광원부는 상기 카메라부를 중심으로 하는 원상에 형성될 수 있다.The light source unit, which is any quantity of 1 to n (natural numbers), may be formed on a circle centered on the camera unit.

상기 필터부로 입력되는 광학적 영상 신호는 지시도구의 일 단부에 형성된 발광부로부터 조사된 빛일 수도 있다.The optical image signal input to the filter unit may be light emitted from the light emitting unit formed at one end of the indicator.

상기 무접점 키 입력이 가능한 장치는 상기 필터부를 상기 카메라부 전단에서 제거할 수 있도록 이동수단을 구비한 필터이동부를 더 포함할 수 있다.The apparatus capable of inputting a contactless key may further include a filter moving part including a moving means to remove the filter part from the front end of the camera part.

본 발명의 다른 측면에 따르면, 무접점 키 입력 방법 및/또는 그 방법의 수행을 가능하게 하는 프로그램이 기록된 기록매체가 제공된다. According to another aspect of the present invention, there is provided a recording medium on which a method of contactless key input and / or a program enabling execution of the method is recorded.

본 발명의 바람직한 일 실시예에 따른 무접점 키 입력 방법은, (a) 특정파장의 광학적 영상신호가 필터부를 통하여 여과되어 입력되는 단계; (b) 입력된 상기 특정파장의 광학적 영상신호를 이용하여 변환 영상데이터를 생성하는 단계; (c) 상기 변환 영상 데이터의 특성벡터를 해석하는 단계; (d) 미리 저장된 특성벡터들 중 상기 해석된 특성벡터에 상응하는 특성벡터를 검색하는 단계; 및 (e) 상기 검색된 특성벡터에 대해 지정된 메뉴 기능을 실행하는 단계를 포함할 수 있다.A contactless key input method according to an embodiment of the present invention, the method comprising the steps of: (a) the optical image signal of a specific wavelength is filtered through the filter unit; (b) generating converted image data by using the input optical image signal having a specific wavelength; (c) analyzing a characteristic vector of the converted image data; (d) searching for a feature vector corresponding to the analyzed feature vector among previously stored feature vectors; And (e) executing a designated menu function on the retrieved feature vector.

상기 단계 (a)는 키 입력장치 또는 센서의 감지에 의한 제어부의 제어신호에 의해 시작될 수 있다.Step (a) may be started by the control signal of the control unit by the detection of the key input device or the sensor.

상기 단계 (a)의 광학적 영상신호는 지시수단의 일 측면에 형성된 발광부로 부터 조사된 빛일 수 있다.The optical image signal of step (a) may be light emitted from the light emitting portion formed on one side of the indicating means.

상기 단계 (a)의 광학적 영상신호는 광원부로부터 조사된 빛이 외부 반사체에 의해 반사되어 입력된 것일 수 있다.The optical image signal of step (a) may be a light input from the light source is reflected by the external reflector.

이하의 내용은 단지 본 발명의 원리를 본 발명의 바람직한 일 실시예에 따른 전자장치 중 이동 통신 단말기를 예시하고 이에 대해 설명하기로 한다. 따라서, 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 방법 및 이를 사용하는 장치, 예를 들면, 디지털뮤직플레이어, 디지털영상플레이어, PDA(Personal Digital Assistants) 등의 휴대용 전자기기, 홈시어터시스템 등의 휴대형 단말기 및/또는 가전기기 등을 발명할 수 있는 것이다. 즉, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. The following description merely illustrates and describes the principles of the present invention in a mobile communication terminal of an electronic device according to an embodiment of the present invention. Therefore, those skilled in the art, although not explicitly described or illustrated herein, various methods for implementing the principles of the present invention and included in the concept and scope of the present invention and devices using the same, for example, digital music player, digital video player And portable electronic devices such as PDAs (Personal Digital Assistants), portable terminals such as home theater systems, and / or home appliances. In other words, it is to be understood that all details, including the principles, aspects, and embodiments of the present invention, as well as listing specific embodiments, are intended to include structural and functional equivalents. In addition, in describing the present invention, when it is determined that the detailed description of the related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and the same or corresponding components will be denoted by the same reference numerals regardless of the reference numerals and redundant description thereof will be omitted.

도 1은 본 발명의 바람직한 일 실시예에 따른 이동 통신 단말기의 블록 구성도이다. 1 is a block diagram of a mobile communication terminal according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 이동 통신 단말기는 필터부(20), 필터 이동부(160), 카메라부(280), 이미지 해석부(100), 제어부(120), 광원부(140), 메모리부(180), 무선부(200), 송수화부(220), 표시부(240) 및 키패드부(260)를 포함한다. 1, a mobile communication terminal according to the present invention includes a filter unit 20, a filter moving unit 160, a camera unit 280, an image analyzing unit 100, a control unit 120, a light source unit 140, The memory unit 180, the wireless unit 200, the handset unit 220, the display unit 240, and the keypad unit 260 are included.

필터부(20)는 특정파장의 광학적 영상 신호만이 통과되도록 하는 기능을 수행한다. 필터부(20)는 후술하는 광원부(140)에서 조사(照射)하는 특정파장의 빛만 여과할 수 있도록 하기 위하여, 광원부(140)에 상응하는 필터를 구비하여야 한다. 예를 들면, 광원부(140)가 직진성이 좋고 가시광선보다 반사성이 좋은 적외선을 조사한다면, 필터부의 필터는 적외선필터를 사용할 수 있다. 또한, 광원부(140)에서 조사되는 빛이 가시광선이라면 특정 파장 대역만이 통과되도록 하는 필터가 이용될 수도 있을 것이다. 따라서, 필터는 사용되는(즉, 지정된) 특정파장에 따라 달라질 수 있으며 특별히 한정하지 않음은 자명하다.The filter unit 20 performs a function of passing only an optical image signal having a specific wavelength. The filter unit 20 should include a filter corresponding to the light source unit 140 in order to filter only light having a specific wavelength emitted from the light source unit 140 to be described later. For example, if the light source unit 140 irradiates infrared rays having good linearity and reflectivity better than visible light, the filter of the filter unit may use an infrared filter. In addition, if the light emitted from the light source unit 140 is visible light, a filter may be used to pass only a specific wavelength band. Thus, the filter may vary depending on the particular wavelength used (ie, designated) and is not particularly limited.

필터이동부(160)는 후술하는 제어부(120)의 제어신호에 의해 필터부(20)(또는 필터부(20) 내의 필터)가 렌즈부(40)의 전면(즉, 렌즈부(40)와 피사체 사이의 위치)으로부터 제거하는 기능을 수행한다. 이를 위해 필터이동부(160)는 필터부(20) 또는 필터를 이동(및 수납)할 수 있는 공간과 구동모터를 포함할 수 있다. 필터를 제거하는 이유는 이동 통신 단말기에 장착되어 있는 카메라부(280)를 이용하여 사물을 촬상하는 경우, 필터를 제거하여야만 모든 파장의 광학적 영상신호가 렌즈를 통하여 입력될 수 있기 때문이다. 필터이동부(160)가 이동 통신 단말기에 포함되지 않는 경우에는 사물의 촬상을 위한 카메라부는 별도로 구비됨이 바람직하 다. In the filter moving unit 160, the filter unit 20 (or the filter in the filter unit 20) is disposed on the front surface of the lens unit 40 (that is, the lens unit 40 and the subject) according to a control signal of the controller 120 to be described later. Removes from the position). To this end, the filter moving unit 160 may include a space and a driving motor for moving (and storing) the filter unit 20 or the filter. The reason for removing the filter is because when the image is captured by using the camera unit 280 mounted in the mobile communication terminal, the optical image signal of all wavelengths can be input through the lens only when the filter is removed. When the filter moving unit 160 is not included in the mobile communication terminal, the camera unit for photographing an object is preferably provided separately.

카메라부(280)는 렌즈부(40), 이미지 센서부(60) 및 이미지 신호 처리부(80)를 포함한다. 여기서, 이미지 센서부(60) 및 이미지 신호 처리부(80)는 일체형으로 구현되거나 또는 분리형으로 구현될 수 있다.The camera unit 280 includes a lens unit 40, an image sensor unit 60, and an image signal processing unit 80. Here, the image sensor unit 60 and the image signal processing unit 80 may be integrally implemented or separated.

카메라부(280)는 촬상된 광학적 영상 신호를 입력받는 렌즈부(40), 입력된 광학적 영상 신호를 전기적 영상 신호로 변환하여 출력하는 이미지 센서부(60)와, 이미지 센서부(60)로부터 입력 받은 전기적 영상 신호를 변환 영상 데이터로 변환하는 이미지 신호 처리부(80)를 포함한다.The camera unit 280 is input from the lens unit 40 for receiving the captured optical image signal, the image sensor unit 60 for converting the input optical image signal into an electrical image signal, and outputting the image sensor unit 60. The image signal processor 80 converts the received electrical image signal into converted image data.

렌즈부(40)는 전단에 필터부(20)가 위치한 경우 필터부(20)를 통과한 파장 대역의 광학적 영상 신호만을 입력받는다. 물론, 필터 이동부(160)에 의해 필터부(20)가 다른 위치로 이동된 경우, 렌즈부(40)는 종래 방식에 따른 광학적 영상 신호를 입력받을 것이다.The lens unit 40 receives only an optical image signal of a wavelength band passing through the filter unit 20 when the filter unit 20 is positioned at the front end. Of course, when the filter unit 20 is moved to another position by the filter moving unit 160, the lens unit 40 will receive an optical image signal according to the conventional method.

이미지 센서부(60)는 베이어 패턴(Bayer Pattern)을 가지는 센서 등을 이용하여 단위 픽셀별로 렌즈를 통해 입력된 빛의 양에 상응하는 전기적 영상신호(예를 들어, RGB 데이터)를 출력한다. 이미지 센서부(60)는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서 등이 이용될 수 있다. The image sensor unit 60 outputs an electrical image signal (eg, RGB data) corresponding to the amount of light input through the lens for each unit pixel by using a sensor having a Bayer pattern. The image sensor unit 60 may be a charge coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor.

이미지 신호 처리부(80)는 이미지 센서부(60)로부터 입력된 전기적 영상신호를 이용하여 변환 영상 데이터를 생성하여 출력한다. 이미지 신호 처리부(80)는 예를 들어, ISP(Image Signal Processor)일 수 있다.The image signal processor 80 generates and outputs converted image data by using the electrical image signal input from the image sensor unit 60. The image signal processor 80 may be, for example, an image signal processor (ISP).

변환 영상 데이터는 예를 들어, YUV 데이터일 수 있다. 즉, 이미지 신호 처리부(80)는 전기적 영상 신호를 이용하여 YUV 데이터를 생성하고, 변환된 YUV 데이터를 출력할 수 있다. YUV 방식은 사람의 눈이 색상보다는 밝기에 민감하다는 사실에 착안한 방식으로, 색을 밝기(Luminance)인 Y성분과 색상(Chrominance)인 U와 V 성분으로 구분한다. Y성분은 오차에 민감하므로 색상 성분인 U와 V보다 많은 비트를 코딩한다. 전형적인 Y:U:V의 비율은 4:2:2이고, 변환한 YUV값을 FIFO에 순차적으로 저장시킨다. The converted image data may be, for example, YUV data. That is, the image signal processor 80 may generate YUV data using the electrical image signal and output the converted YUV data. The YUV method focuses on the fact that the human eye is more sensitive to brightness than color. The YUV method distinguishes colors into Y components of luminance and U and V components of chrominance. Since the Y component is sensitive to error, we code more bits than the color components U and V. A typical Y: U: V ratio is 4: 2: 2, and the converted YUV values are stored sequentially in the FIFO.

또는, 변환 영상 데이터는 예를 들어 미리 지정된 방식에 따라 인코딩된 이미지지 데이터일 수 있다. 이를 위해, 이미지 신호 처리부(80)는 영상 코덱 및 스케일러 등을 더 포함할 수 있다. 영상 코덱은 원본 영상 데이터를 압축(encoding)하거나, 압축된 영상 데이터를 원본 영상 데이터로 복원(decoding)하는 기능을 수행한다. 이때, 영상 코덱으로는 JPEG, MPEG 등의 다양한 영상 코덱 중 어느 것이든 선택 가능하다. 스케일러는 원본 영상 데이터를 후술하는 표시부(240)에서 표시될 수 있는 크기 및 화소수의 영상 데이터로 스케일링하는 기능을 수행한다. 물론, 스케일러는 이미지 해석부(100)에 구비될 수도 있다. Alternatively, the converted image data may be, for example, image paper data encoded according to a predetermined method. To this end, the image signal processor 80 may further include an image codec and a scaler. The image codec performs a function of encoding original image data or decoding the compressed image data to original image data. At this time, any one of various image codecs, such as JPEG and MPEG, can be selected as an image codec. The scaler performs a function of scaling the original image data into image data having a size and the number of pixels that can be displayed on the display unit 240 described later. Of course, the scaler may be provided in the image analyzer 100.

또한, 이미지 신호 처리부(80)는 후술할 이미지 해석부(100)에서 디지털 영상 데이터의 특성벡터를 해석을 용이하게 하기 위하여 특정 프로그램(예를 들어, 밝기 제어 프로그램 등)을 제어부(120)로부터 입력받고, 이를 이용하여 디지털 영상 데이터의 밝기 등을 조정하여 특성벡터 해석을 위한 영상 데이터를 생성시킬 수 있다. 물론, 해당 프로그램은 미리 내장될 수도 있을 것이다. 이러한 과정들 중 전 과정 또는 일부 과정을 거침으로써 이미지 신호 처리부(80)에서 처리된 디지털 영상 데이터가 생성될 수 있다.In addition, the image signal processing unit 80 inputs a specific program (for example, a brightness control program, etc.) from the control unit 120 to facilitate the analysis of the characteristic vector of the digital image data in the image analysis unit 100 to be described later. The image data for the characteristic vector analysis may be generated by adjusting the brightness of the digital image data using the received information. Of course, the program may be pre-built. The digital image data processed by the image signal processor 80 may be generated by going through all or some of these processes.

이미지 해석부(100)는 입력된 디지털 영상 데이터의 특성벡터를 해석하는 기능을 수행한다. 이미지 해석부(100)는 카메라부(40)로부터 제공되는 디지털 영상 데이터의 패턴을 분석하고 영상패턴의 변화에 따른 특성벡터를 해석하여 그 해석결과를 후술하는 제어부(120)에 제공하는 기능을 수행한다. 이미지 해석부(100)는 특성벡터의 해석을 위해, 카메라부(40)로부터 연속적으로 입력되는 복수의 프레임(frame)을 이용할 수 있으며, 각 프레임간의 변화 정보를 이용할 수 있다.The image analyzer 100 analyzes a feature vector of the input digital image data. The image analyzing unit 100 analyzes the pattern of the digital image data provided from the camera unit 40, analyzes the characteristic vector according to the change of the image pattern, and provides the analysis result to the controller 120 which will be described later. do. The image analyzing unit 100 may use a plurality of frames continuously input from the camera unit 40 to analyze the characteristic vector, and may use change information between the frames.

제어부(120)는 이동 통신 단말기의 전반적인 동작을 제어하는 기능을 수행한다. 즉, 제어부(120)는 이미지 해석부(100)에서 해석된 디지털 영상 데이터의 영상 패턴의 변화에 따른 특성벡터와 후술하는 메모리부(180)에 저장된 영상패턴의 특성벡터와 비교하여 판단하여, 임계값 내의 특성벡터인 경우에는 이에 상응하는 메뉴 기능이 실행되도록 하는 제어신호를 출력한다. 또한, 메모리부(180)의 프로그램 메모리에 저장되어 있는 디지털 영상 데이터의 특성벡터를 해석하기 위한 특정 프로그램을 이미지 신호 처리부(80)로 전달한다. 물론, 해당 프로그램은 이미 이미지 해석부(100) 내에 내장되어 있을 수도 있음은 자명하다. 또한, 제어부(120)는 필터이동부(160), 광원부(140), 카메라부(280) 및 이미지 해석부(100) 등의 동작을 제어하는 기능을 수행한다. 예를 들어, 제어부(120)는 이미지 해석부(100) 또는 키패드부(260)로부터 일반적인 사진 촬영을 위한 제어 명령이 입력된 경우 필터이동부(160)를 제어하여 필터부(20)(또는 필터)가 렌즈부(40) 전단에서 제거되도록 할 수 있다. The controller 120 performs a function of controlling the overall operation of the mobile communication terminal. That is, the controller 120 compares the characteristic vector according to the change of the image pattern of the digital image data analyzed by the image analyzer 100 with the characteristic vector of the image pattern stored in the memory unit 180 to be described later, and determines the threshold. In the case of the characteristic vector in the value, a control signal for causing a corresponding menu function is output. In addition, a specific program for analyzing the characteristic vector of the digital image data stored in the program memory of the memory unit 180 is transmitted to the image signal processor 80. Of course, the program may already be embedded in the image analysis unit 100. In addition, the controller 120 controls the operations of the filter moving unit 160, the light source unit 140, the camera unit 280, and the image analyzing unit 100. For example, the controller 120 controls the filter moving unit 160 when the control command for general photographing is input from the image analyzing unit 100 or the keypad unit 260 to filter the filter unit 20 (or filter). May be removed at the front end of the lens unit 40.

광원부(140)는 제어부(120)의 제어신호에 의해 지시수단(예를 들어, 렌즈부(40) 전단에 일정 간격으로 위치한 손가락 등)에 특정파장의 빛을 조사하는 기능을 수행한다. 광원부(140)의 광 조사 각도는 조사한 광이 지시수단에 반사될 수 있는 각도로 설정된다. 따라서, 제어신호를 입력하고자 하는 경우, 지시수단이 렌즈부(40) 전단의 일정 간격 이내에 위치하도록 미리 제한될 수 있으며, 광원부(140)은 해당 간격에 위치한 지시수단에 의해 조사된 빛이 반사되어 입력될 수 있는 광 조사 각도로 형성될 수 있다. 광원부(140)는 필터부(20)에 통과되는 특성파장에 적합한 LED(light emitting diode)를 사용할 수 있다. 예를 들어 필터부(20)에서 800nm 근처의 적외선 파장을 통과시킨다면, 광원부(140)로 적외선 LED를 사용할 수 있다. The light source unit 140 performs a function of irradiating light of a specific wavelength to the indicating means (for example, a finger placed at a predetermined interval in front of the lens unit 40) by a control signal of the controller 120. The light irradiation angle of the light source unit 140 is set to an angle at which the irradiated light can be reflected to the indicating means. Therefore, when inputting a control signal, the indicating means may be limited in advance so as to be located within a predetermined interval of the front end of the lens unit 40, the light source 140 is reflected by the light irradiated by the indicating means located at the corresponding interval It may be formed at a light irradiation angle that can be input. The light source unit 140 may use a light emitting diode (LED) suitable for a characteristic wavelength passing through the filter unit 20. For example, if the filter unit 20 passes an infrared wavelength near 800 nm, an infrared LED may be used as the light source unit 140.

메모리부(180)는 이동 통신 단말기의 전반적인 동작을 제어하기 위한 다양한 프로그램, 프로그램 수행에 의해 생성된 데이터, 촬상된 영상 데이터, 영상벡터의 특성벡터 및 특성벡터에 상응하는 메뉴 선택 정보 등을 저장한다. 메모리부(180)는 통합 메모리로 구현되거나 복수의 메모리부들(예를 들어, 프로그램 메모리, 데이터 메모리, 영상 메모리 등)로 세분화되어 구현될 수도 있다. The memory unit 180 stores various programs for controlling the overall operation of the mobile communication terminal, data generated by program execution, captured image data, menu selection information corresponding to the characteristic vector and the characteristic vector of the image vector, and the like. . The memory unit 180 may be implemented as an integrated memory or divided into a plurality of memory units (for example, a program memory, a data memory, an image memory, etc.).

데이터 메모리에는 메뉴 기능과 상응하는 영상 데이터의 벡터 특성이 저장될 수 있다. 프로그램 메모리에는 이미지 신호 처리부(80)를 통하여 처리된 디지털 영상 데이터의 특성벡터와 데이터 메모리에 저장되어 있는 메뉴 기능과 상응하는 영상 데이터의 벡터 특성을 비교하는 프로그램 등이 저장될 수 있다. 영상 메모리에는 변환 영상 데이터 자체가 저장되거나 또는 이미지 신호 처리부(80)를 통해 화 질 또는 크기 등이 조정 처리된 디지털 영상 데이터가 저장될 수 있다.The data memory may store vector characteristics of image data corresponding to a menu function. The program memory may store a program that compares a feature vector of digital image data processed by the image signal processor 80 with a menu function stored in the data memory and a vector characteristic of the corresponding image data. The image memory may store the converted image data itself or digital image data whose image quality or size is adjusted through the image signal processor 80.

무선부(200)는 이동 통신 단말기의 무선 통신 기능을 수행한다. 무선부(200)는 RF 부 및 무선 처리부를 포함한다. RF 부는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신기와, 수신되는 신호의 주파수를 하강 변환하고 저 잡음 증폭하는 RF 수신기 등을 포함한다. 무선 처리부는 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있다. 모뎀(MODEM)은 RF 송신기를 통해 송신되는 신호를 변조 및 부호화하고, RF 수신기를 통해 수신된 신호를 복조 및 복호화한다. 코덱은 송수신될 문자 및 숫자 데이터를 처리하는 데이터 코덱과 송수신될 음성 데이터를 처리하는 오디오 코덱 등을 포함한다.The wireless unit 200 performs a wireless communication function of the mobile communication terminal. The wireless unit 200 includes an RF unit and a wireless processing unit. The RF unit includes a radio frequency (RF) transmitter for upconverting and amplifying a frequency of a transmitted signal, an RF receiver for downconverting and low noise amplifying a frequency of a received signal. The wireless processing unit may be composed of a modem and a codec. The modem modulates and encodes a signal transmitted through the RF transmitter, and demodulates and decodes the signal received through the RF receiver. The codec includes a data codec for processing character and numeric data to be transmitted and received, an audio codec for processing voice data to be transmitted and received, and the like.

송수화부(220)는 무선 처리부의 오디오 코덱으로부터 입력 받은 수신 음성 데이터를 출력하거나 또는 마이크를 통해 입력 받은 송신 음성 데이터를 무선 처리부의 오디오 코덱에 전송하는 기능을 수행한다.The handset 220 outputs the received voice data received from the audio codec of the wireless processor or transmits the transmitted voice data received through the microphone to the audio codec of the wireless processor.

표시부(240)는 제어부(120)의 제어에 의해 이동 통신 단말기의 동작 상태에 상응하는 데이터를 화면상에 표시한다. 여기서, 표시부(240)로는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 등이 이용될 수 있으며, 표시부(240)에는 처리된 영상 데이터를 저장할 수 있는 별도의 디스플레이 메모리가 더 포함될 수도 있다. The display unit 240 displays data corresponding to the operation state of the mobile communication terminal on the screen under the control of the controller 120. Here, the display unit 240 may be a liquid crystal display (LCD), organic light emitting diodes (OLED), or the like, and the display unit 240 may further include a separate display memory for storing processed image data. .

키패드부(260)는 사용자가 입력할 문자 및 숫자를 선택할 수 있도록 하는 하나 이상의 키 버튼을 포함한다. 또한, 키패드부(260)는 특성벡터의 해석에 의해 인식될 수 없는 기능(예를 들어, 이동통신 단말기의 턴온(turn on), 광원부(140)의 턴온) 수행을 위한 하나 이상의 기능 버튼을 더 포함할 수도 있다. 키패드부(260)는 예를 들어 버튼 방식 또는 터치스크린 방식 등으로 구현될 수 있다.The keypad unit 260 includes one or more key buttons for allowing a user to select letters and numbers to be input. In addition, the keypad unit 260 further includes one or more function buttons for performing a function (for example, turn on of the mobile communication terminal and turn on of the light source unit 140) that cannot be recognized by the interpretation of the characteristic vector. It may also include. The keypad unit 260 may be implemented by, for example, a button method or a touch screen method.

도 2a 및 도 2b는 본 발명의 바람직한 실시예에 따른 이동 통신 단말기의 무접점 키입력의 사용상태를 나타낸 도면이다. 도 2a 및 도 2b에는 폴더형의 휴대폰이 예시되어 있으나, 본 발명에 따른 이동 통신 단말기로는 PDA를 포함하여 다양한 정보 통신 기기가 이용될 수 있으며, 그 형태도 폴더형 외의 다양한 형태(예를 들어, 플립형 등)를 가질 수 있음은 물론이다. 물론, 본 발명에 따른 무접점 키입력 방식이 이동 통신 단말기 외에 키입력을 요하는 다양한 장치에 범용적으로 이용될 수도 있음은 자명하다. 도 2b의 경우, 도 2a와 동일한 내용의 중복되는 설명은 생략한다. 또한, 도 2a 및 도 2b에는 하나의 카메라부(280)를 메뉴 기능 선택 입력 및 사진 촬영 등의 용도로 공용하는 경우를 가정한 것이나, 카메라부가 각 용도별로 독립적으로 구현될 수도 있음은 자명하다.2A and 2B illustrate a state of use of a contactless key input of a mobile communication terminal according to an exemplary embodiment of the present invention. Although FIG. 2A and FIG. 2B illustrate a cellular phone of a folding type, various information communication devices including a PDA may be used as a mobile communication terminal according to the present invention. , Flip type, etc.), of course. Of course, it is apparent that the contactless key input method according to the present invention may be used universally in various devices requiring key input in addition to the mobile communication terminal. In the case of FIG. 2B, overlapping descriptions of the same contents as those of FIG. 2A are omitted. 2A and 2B assume that a single camera unit 280 is shared for the purpose of menu function selection input and photographing, but it is obvious that the camera unit may be independently implemented for each purpose.

도 2a는 본 발명의 바람직한 일 실시예에 따른 이동 통신 단말기에 인체의 특정부위를 이용하여 무접점 키 입력하는 상태를 나타낸 도면이다. 2A illustrates a state in which a contactless key is input to a mobile communication terminal using a specific portion of a human body according to an exemplary embodiment of the present invention.

도 2a를 참조하면, 본 발명에 따른 이동 통신 단말기(300)는 표시부(240), 광원부(140), 필터부(20), 키패드부(260)를 포함한다. Referring to FIG. 2A, the mobile communication terminal 300 according to the present invention includes a display unit 240, a light source unit 140, a filter unit 20, and a keypad unit 260.

광원부(140)는 특정파장의 빛을 인체의 특성부위(예를 들어, 손가락 단부)(320)에 조사한다. 렌즈부(40)로 인체의 특성 부위에 의해 반사된 빛이 입력되는 위치에 구비되는 광원부(140)는 도 2a에 도시된 바와 같이 2개로 구현될 수도 있으 나, 이 외에 동일한 기능을 수행할 수 있도록 구현될 수 있다면 광원부(140)의 수량은 1개 내지 n(자연수) 중 어느 하나로 다양할 수 있다. The light source unit 140 emits light of a specific wavelength to the characteristic part (eg, finger end) 320 of the human body. The light source unit 140 provided at the position where the light reflected by the characteristic part of the human body is input to the lens unit 40 may be implemented as two as shown in FIG. 2A, but in addition, the same function may be performed. If it can be implemented so that the quantity of the light source unit 140 may vary from one to n (natural number).

조사된 특정파장의 빛은 인체의 특성부위(320)에서 반사되어 반사된 일부의 광학적 영상 신호가 필터부(20)를 통하여 카메라부(280, 도면 미도시)로 계속적으로 입력된다. 반사된 광학적 영상 신호 중 필터부(20)에서 투과시키는 파장 대역의 광학적 영상 신호만이 카메라부(280)로 입력되며, 변환 영상 데이터(예를 들어, YUV 데이터 또는 인코딩된 이미지 데이터)로 변환되고, 각 프레임에서 특성벡터가 해석되어 이와 상응하는 메뉴 기능을 실행할 수 있다. The irradiated light of the specific wavelength is reflected by the characteristic part 320 of the human body and a part of the optical image signal reflected by the filter unit 20 is continuously input to the camera unit 280 (not shown). Of the reflected optical image signals, only the optical image signals of the wavelength band transmitted by the filter unit 20 are input to the camera unit 280, and are converted into converted image data (eg, YUV data or encoded image data). In each frame, the characteristic vector is interpreted to execute the corresponding menu function.

예를 들어, YUV 데이터가 이용되는 경우, 각 프레임에서 특정 휘도 성분으로 표시되는 포인트가 해석되고, 연속된 프레임에서 해당 포인트의 이동 궤적으로 특성벡터가 해석될 수 있으며, 해석된 특성벡터에 상응하도록 저장된 메뉴 기능이 실행될 수 있다. 또한, 인코딩된 이미지 데이터가 이용되는 경우 종래의 이미지 해석 방법으로 반사된 광의 위치를 해석하고, 해석된 광의 위치가 연속된 프레임 내에서의 이동 궤적으로 특성벡터가 해석될 수 있을 것이다.For example, when YUV data is used, a point represented by a specific luminance component in each frame may be interpreted, and a characteristic vector may be interpreted as a movement trajectory of the corresponding point in successive frames, and correspond to the analyzed characteristic vector. Stored menu functions can be executed. In addition, when the encoded image data is used, the position of the reflected light may be analyzed by a conventional image analysis method, and the characteristic vector may be interpreted as a movement trajectory within a frame in which the analyzed light position is continuous.

도 2a에 도시된 바와 같이 하나의 카메라부(280)가 공용되는 경우, 사진 촬영(촬상장치)의 목적으로 카메라부(280)가 이용되기 위하여 제어부(120)는 필터이동부(160, 도 1 참조)를 제어하여 필터부(20)를 카메라부(280) 전단에서 제거하여야 한다. 물론, 촬상을 위한 카메라모듈이 하나 더 포함함으로써 필터이동부(160)는 생략될 수도 있을 것이다. As shown in FIG. 2A, when one camera unit 280 is shared, the controller 120 uses the filter moving unit 160 (see FIG. 1) in order to use the camera unit 280 for the purpose of photographing (imaging device). ), Filter unit 20 should be removed from front of camera unit 280. Of course, the filter moving unit 160 may be omitted by including one more camera module for imaging.

키패드부(260)는 버튼 방식 또는 터치스크린 등 다양한 방식으로 표현될 수 있고, 메뉴기능을 실행하기 위한 방향키 등이 생략될 수 있어 키패드부(260)의 효율적인 공간배치가 가능하다. 다만, 이동 통신 단말기의 일 측에 특성벡터의 해석에 의해 인식될 수 없는 기능(예를 들어, 이동통신 단말기의 턴온(turn on), 광원부(140)의 턴온) 수행을 위한 하나 이상의 기능 버튼이 구비될 수도 있다. 물론, 이동 통신 단말기가 동작 인식 센서(예를 들어, 움직임 인식 센서)를 구비하는 경우 광원부(140)의 턴온을 위한 기능 버튼은 생략될 수 있다. 예를 들어, 1초 이내에 2회 흔들림이 감지되는 경우 광원부(140)를 턴온하도록 미리 설정하면 충분하기 때문이다.The keypad unit 260 may be expressed in various ways such as a button method or a touch screen, and an directional key for executing a menu function may be omitted, so that the space of the keypad unit 260 may be efficiently arranged. However, at least one function button for performing a function (for example, turn on of the mobile communication terminal, turn on of the light source unit 140) that cannot be recognized by interpretation of the characteristic vector is provided on one side of the mobile communication terminal. It may be provided. Of course, when the mobile communication terminal is provided with a motion recognition sensor (for example, a motion recognition sensor), a function button for turning on the light source unit 140 may be omitted. For example, when shaking is detected twice within 1 second, it is sufficient to set in advance the light source unit 140 to be turned on.

도 2b는 본 발명의 바람직한 다른 실시예에 따른 이동 통신 단말기에 지시수단을 이용하여 무접점 키 입력하는 상태를 나타낸 도면이다. 2B is a view showing a state of contactless key input to the mobile communication terminal using the indicating means according to another embodiment of the present invention.

도 2b에 도시된 바와 같이, 이동 통신 단말기는 도 2a와 달리 광원부(140)를 포함하지 않고, 지시수단(310)의 일 단부에 발광부(350)가 형성될 수 있다. 발광부(350)에서 렌즈부(430)를 향해 조사된 빛은 필터부(20)를 통해 카메라부(280)로 입력될 것이다. 카메라부(280)에 필터링된 빛이 입력된 이후의 과정은 앞서 설명한 바와 같으므로, 그 설명은 생략한다. 발광부(350)는 광원부(140)와 같이 예를 들어 LED 등으로 구현될 수 있다.As shown in FIG. 2B, the mobile communication terminal does not include the light source unit 140, unlike in FIG. 2A, and the light emitting unit 350 may be formed at one end of the indicating unit 310. Light emitted from the light emitter 350 toward the lens unit 430 may be input to the camera unit 280 through the filter unit 20. Since the process after the filtered light is input to the camera unit 280 is as described above, the description thereof will be omitted. The light emitting unit 350 may be implemented with, for example, an LED, like the light source unit 140.

지시수단(310)은 예를 들어 스타일러스 펜 등의 형태로 구현될 수 있고, 지시수단(310)이 수납되기 위한 공간이 이동 통신 단말기의 일 측에 형성될 수 있다. The indicating means 310 may be implemented in the form of a stylus pen, for example, and a space for accommodating the indicating means 310 may be formed at one side of the mobile communication terminal.

도 3은 본 발명의 바람직한 일 실시예에 따른 무접점 키 입력 인식 방법의 전체 흐름을 나타내는 흐름도이다.3 is a flowchart illustrating the overall flow of a method for recognizing a contactless key input according to an exemplary embodiment of the present invention.

단계 S360에서, 카메라부(280)는 이동 통신 단말기(300)에 포함된 광원부(140)에서 조사되어 인체의 특정부위(320)에서 반사되거나 지시수단(310)의 발광부(350)에서 조사된 빛 중 특정 파장 대역에 해당하는 빛(즉, 광학적 영상신호)를 입력받는다. 입력되는 빛 중 특정 파장 대역에 해당하는 빛만의 선별적 투과는 필터부(20)에 의해 처리된다. 광원부(140) 또는 발광부(350)의 동작 개시를 위해 별도의 기능 버튼이 구비되거나, 압력 센서 또는 이동 통신 단말기의 움직임을 인식하기 위한 동작 인식 센서(움직임 센서)가 이동 통신 단말기(300)에 더 포함될 수 있음은 앞서 설명한 바와 같다. 즉, 미리 지정된 위치의 압력 센서가 물리적 접촉을 감지하거나, 동작 인식 센서가 입력의 시작을 알리는 특정 동작을 인식하면, 해당 센서는 소정의 감지 신호를 제어부(150)로 전달한다. 이때, 입력의 시작을 알리는 특정동작은 사용자에 의해 설정될 수 있는 사항으로서 예를 들면, 이동 통신 단말기를 흔들거나, 손바닥을 쥐었다 폈다 하는 동작 등을 인식하도록 설정할 수 있다. In operation S360, the camera unit 280 is irradiated from the light source unit 140 included in the mobile communication terminal 300 and reflected from the specific part 320 of the human body or irradiated from the light emitting unit 350 of the indicating unit 310. The light corresponding to a specific wavelength band of light (that is, an optical image signal) is received. The selective transmission of only light corresponding to a specific wavelength band among the input light is processed by the filter unit 20. A separate function button is provided to start the operation of the light source unit 140 or the light emitting unit 350, or a motion sensor (motion sensor) for recognizing a movement of the pressure sensor or the mobile communication terminal is provided in the mobile communication terminal 300. It may be further included as described above. That is, when the pressure sensor at a predetermined position senses a physical contact, or when the motion recognition sensor recognizes a specific motion indicating the start of the input, the sensor transmits a predetermined detection signal to the controller 150. In this case, the specific operation for notifying the start of the input may be set by the user and may be set to recognize, for example, an operation of shaking the mobile communication terminal or holding and releasing the palm.

압력 센서 또는 동작 인식 센서는 사용자의 의도되지 않은 물리적 접촉에는 반응하지 않도록 제어부(150)에 의해 제어될 수도 있다. 즉, 사용자가 입력을 시작하기 위한 목적과 상관없이 사용자가 의도하지 않은 유사한 동작을 한 경우에는 소정의 감지 신호가 발생되지 않도록 제어부(150)에 의해 제어될 수 있다. 예를 들어 접촉 센서에 가해지는 압력 값의 유효 범위를 설정하거나 움직임의 유효 강도 범위를 설정함으로써 가능할 수 있을 것이다.The pressure sensor or motion recognition sensor may be controlled by the controller 150 to not react to unintended physical contact of the user. That is, the controller 150 may be controlled such that a predetermined detection signal is not generated when the user performs a similar operation not intended by the user regardless of the purpose of starting the input. It may be possible, for example, by setting an effective range of pressure values applied to the contact sensor or by setting an effective intensity range of movement.

단계 S380에서, 이미지 센서부(60)는 필터링 되어 입력된 광학적 영상 신호 를 전기적 영상 신호로 변환하여 이미지 신호 처리부(80)로 전달하고, 이미지 신호 처리부(80)는 입력된 전기적 영상 신호를 이용하여 변환 영상 데이터를 생성한다. 이때, 이미지 신호 처리부(80)는 제어부(120)의 제어에 의해 특성 벡터 해석을 위한 최적의 변환 영상 데이터를 생성할 수도 있을 것이다. 최적의 변환 영상 데이터를 생성하기 위하여 예를 들어 디지털 영상 데이터 등의 밝기 등이 조절될 수 있다. In operation S380, the image sensor unit 60 converts the filtered optical image signal into an electrical image signal and transmits the converted image signal to the image signal processor 80, and the image signal processor 80 uses the input electrical image signal. Generate the converted image data. In this case, the image signal processor 80 may generate optimal converted image data for the characteristic vector analysis under the control of the controller 120. In order to generate optimal converted image data, for example, brightness of digital image data and the like may be adjusted.

단계 S400에서, 이미지 해석부(100)는 입력된 변환 영상 데이터를 이용하여 영상패턴의 변화에 따른 특성벡터를 해석하여 그 해석결과를 제어부(120)에 제공한다. 이 경우, 카메라부(280)를 통해 연속적으로 입력되는 프레임들간의 차이 정보가 이동 궤적에 상응하는 특성 벡터를 해석하기 위해 이용될 수 있다. 따라서, 단계 S400 이전에 단계 S360 내지 단계 S380은 복수회 반복될 수 있다. 예를 들어, 이미지 신호 처리부(80)에서 특성벡터 해석을 위한 변환 영상 데이터가 생성되면, 기준 시점에 촬상된 영상패턴과 그 이전에 촬상된 영상패턴 간의 상이함을 분석함으로써 특성벡터를 해석할 수 있으며, 특성벡터의 방향은 인체의 특정부위의 움직임 또는 지시수단(310)의 움직임 방향에 의해 결정될 수 있다. 이 경우, 특성 벡터의 방향은 인체의 특정부위의 굴곡에 따라 실제 움직임 방향과는 상이하게 해석될 수 있다면, 이러한 불일치함을 미리 정의하며 메모리부(180) 내에 상응하는 특성벡터가 저장되도록 할 수도 있을 것이다. In operation S400, the image analyzing unit 100 analyzes the characteristic vector according to the change of the image pattern using the input converted image data and provides the analysis result to the control unit 120. In this case, difference information between frames continuously input through the camera unit 280 may be used to interpret a characteristic vector corresponding to the movement trajectory. Therefore, steps S360 to S380 may be repeated a plurality of times before step S400. For example, when the transformed image data for the characteristic vector analysis is generated in the image signal processor 80, the characteristic vector may be analyzed by analyzing the difference between the image pattern photographed at the reference time point and the image pattern photographed earlier. The direction of the characteristic vector may be determined by the movement of a specific part of the human body or the direction of movement of the indicating means 310. In this case, if the direction of the characteristic vector can be interpreted differently from the actual movement direction according to the curvature of a specific part of the human body, this mismatch may be defined in advance and the corresponding characteristic vector may be stored in the memory unit 180. There will be.

단계 S420에서, 제어부(120)는 이미지 해석부(100)에 의해 해석된 영상 패턴의 변화에 따른 특성벡터와 메모리부(180)에 미리 저장된 영상패턴의 특성벡터와 비교하여 유사여부를 판단한다. In operation S420, the controller 120 compares the feature vector according to the change of the image pattern analyzed by the image analyzer 100 with the feature vector of the image pattern previously stored in the memory unit 180 to determine whether the image is similar.

단계 S440에서, 해석된 디지털 영상 데이터의 영상 패턴의 변화에 따른 특성벡터가 메모리부(180)에 저장된 영상패턴의 특성벡터와 비교하여 판단한 결과, 임계값 내의 특성벡터인 경우 단계 S460으로 진행한다. 해석된 디지털 영상 데이터의 특성벡터의 방향과 그에 상응하는 메뉴 기능은 설계자에 의해 설정될 수 있는 사항으로서, 후술하는 도 5의 예시대로 입력된 광학적 영상신호에 상응하는 메뉴기능이 실행되도록 하는 등의 설정이 가능하다. In operation S440, when the characteristic vector according to the change of the image pattern of the analyzed digital image data is compared with the characteristic vector of the image pattern stored in the memory unit 180, the process proceeds to step S460. The direction of the characteristic vector of the analyzed digital image data and a corresponding menu function may be set by the designer, such that a menu function corresponding to the input optical image signal is executed as illustrated in FIG. Can be set.

그러나, 만약 단계 S440의 판단 결과 임계값 내의 특성벡터가 아닌 경우에는 메뉴 기능은 실행되지 않고, 제어부(120)에서 표시부(240)에 "입력이 잘못되었습니다" 또는 "다시 한번 입력해주십시오" 등의 에러메시지를 표시할 수 있다. 물론, 임계값 내의 특성 벡터가 아닌 경우로서 사용자가 메뉴 기능 실행을 위하여 인체의 특정부위 또는 지시도구(310)를 움직이는 과정일수도 있으므로 단계 S360으로 다시 진행하되, 에러 메시지의 출력은 생략할 수 있다.However, if the result of the determination in step S440 is not the characteristic vector in the threshold, the menu function is not executed, and the control unit 120 displays an error such as "incorrect input" or "please input again" on the display unit 240. You can display a message. Of course, since it may be a process of moving a specific part of the human body or the pointer 310 to execute a menu function as the case where the characteristic vector is not within the threshold value, the process proceeds to step S360 again, but the output of the error message may be omitted. .

단계 S460에서, 제어부(120)에서 판단한 결과 임계값 내의 특성 벡터인 경우 에는 이에 상응하는 제어신호를 출력하여 메뉴 기능을 실행한다. In operation S460, when it is determined by the controller 120 that the characteristic vector is within the threshold value, a control signal corresponding thereto is output to execute a menu function.

상술한 바와 같은 단계 S360 내지 S460을 통하여 사용자는 키패드를 이용하지 않은 무접점 키 입력으로 이동 통신 단말기(300)의 다양한 기능이 작동할 수 있게 된다. Through steps S360 to S460 as described above, the user may operate various functions of the mobile communication terminal 300 by contactless key input using no keypad.

도 4는 본 발명의 바람직한 일 실시예에 따른 필터부를 통과한 광학적 영상 신호의 파형의 나타내는 도면이다.4 is a diagram illustrating waveforms of an optical image signal passing through a filter unit according to an exemplary embodiment of the present invention.

도 4에 나타난 바와 같이, 필터부(20)는 광원부(140) 또는 지시수단(310)의 발광부(350)에서 조사되는 특정 파장 대역만을 통과시키고 나머지 파장 대역은 필터링한다. 이미지 해석부(120)의 인식 특성을 향상시키기 위해서는 통과시키는 파장 대역을 좁게 설정함이 바람직할 수도 있을 것이다.As shown in FIG. 4, the filter unit 20 passes only a specific wavelength band irradiated from the light emitting unit 350 of the light source unit 140 or the indicating unit 310, and filters the remaining wavelength band. In order to improve the recognition characteristic of the image analyzer 120, it may be desirable to set a narrow wavelength band to pass through.

통과되는 파장 대역(즉, 통과 대역)은 사용되는 필터 또는 발광수단일 수 있는 LED에 따라 설계자에 의해 설정될 수 있는 사항으로서, 노이즈, 파워, 비용 등 여러 가지 설계 요소에 의해 달라질 수 있다. 예를 들면, 광원부(140)의 LED가 직진성이 좋고 가시광선보다 반사성이 좋은 적외선을 조사하는 적외선 LED라면, 필터부의 필터는 적외선필터를 사용할 수 있고, 가시광선 영역 중 특정 파장을 발광하는 LED라면 이에 적합한 필터를 사용할 수 있다. The wavelength band passed (ie, the pass band) may be set by the designer according to the LED which may be a filter or a light emitting means used, and may vary depending on various design factors such as noise, power, and cost. For example, if the LED of the light source unit 140 is an infrared LED that irradiates infrared rays having good linearity and reflectivity better than visible light, the filter of the filter unit may use an infrared filter, and if the LED emits a specific wavelength in the visible light region, Suitable filters can be used.

도 5는 본 발명의 바람직한 일 실시예에 따른 선택된 영상신호의 메뉴 기능 예는 나타내는 도면이다.5 illustrates an example of a menu function of a selected video signal according to an exemplary embodiment of the present invention.

도 5를 참조하면, 연속적으로 입력된 광학적 영상신호를 디지털 영상 데이터로 변환하고 시간별로 특성벡터를 해석하여 해석된 광학적 영상신호가 오른쪽으로 원을 그리거나 왼쪽으로 원을 그리는 경우, 제어부(120)는 이에 상응하는 메뉴 기능으로 예를 들면, 메뉴를 아래로 또는 위로 스크롤하거나 바로 통화기능 또는 취소기능을 실행할 수 있다. 이때, 상응하는 메뉴 기능의 설정을 설계자에 의해 설정될 수 있는 사항으로서, 메모리부(180)에 저장된 프로그램에 의해 제어부(120)의 제어신호를 받아 실행하게 된다. 또 다른 예로 해석된 광학적 영상신호가 좌우 또는 상하를 나타내는 경우, 메뉴를 선택 또는 취소하거나 바로 주소록 또는 제어판을 실행할 수도 있다.Referring to FIG. 5, when the optical image signal that is continuously converted to digital image data is converted into digital image data, and the analyzed optical image signal draws a circle to the right or a circle to the left, the controller 120 Corresponds to a menu function, for example, to scroll down or up a menu, or to immediately execute a call function or a cancel function. At this time, the setting of the corresponding menu function can be set by the designer, and receives and executes a control signal of the controller 120 by a program stored in the memory unit 180. As another example, when the interpreted optical image signal indicates left and right or up and down, a menu may be selected or canceled or an address book or a control panel may be immediately executed.

도 5에 예시된 특성벡터와 메뉴 기능간의 상관성은 다양한 실시예 중 두 가지 예에 불과한 것으로, 다양한 변형이 가능함은 자명하다. 또한, 그 변형은 본 발명이 적용되는 전자기기의 특성에 따라 보다 다양해질 수 있음은 당업자에게 자명할 것이다.Correlation between the feature vector and the menu function illustrated in FIG. 5 is only two examples among various embodiments, and it is obvious that various modifications are possible. In addition, it will be apparent to those skilled in the art that modifications may be made more diverse according to the characteristics of the electronic apparatus to which the present invention is applied.

상술한 바와 같이, 본 발명에 따른 무접점 키 입력이 가능한 장치 및 그 인식 방법에 의하면, 기존의 키패드가 있는 전자 장치에 대하여 키패드를 대신하여 카메라 촬상장치를 이용하여 메뉴 기능을 제어할 수 있어 사용자가 원격제어가 됨으로써 전자장치를 사용함에 있어 더욱 간편한 효과가 있다. As described above, according to the apparatus and the method of recognizing a contactless key input according to the present invention, a user can control a menu function using a camera imaging apparatus in place of a keypad for an electronic device having a conventional keypad. Remote control is more effective in using electronic devices.

또한, 본 발명은 기존의 키패드의 일부를 생략할 수 있음으로써 전자 장치의 공간적인 활용도를 높일 수 있고, 이에 따라 제조 공정이 간단해지고 그 제조 단가를 줄일 수 있는 효과가 있다. In addition, the present invention can omit a part of the existing keypad, thereby increasing the spatial utilization of the electronic device, thereby simplifying the manufacturing process and reducing the manufacturing cost thereof.

또한, 본 발명은 구비된 카메라 촬상장치를 범용적으로 이용할 수 있도록 하여 부품 활용도를 극대화할 수 있는 효과가 있다.In addition, the present invention has the effect of maximizing component utilization by making it possible to universally use the provided camera imaging device.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발 명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to a preferred embodiment of the present invention, those skilled in the art that various modifications of the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below It will be appreciated that modifications and variations can be made.

Claims (9)

입사되는 광학적 영상 신호 중 특정 파장 대역만을 통과시키는 필터부;A filter unit passing only a specific wavelength band of the incident optical image signal; 상기 필터부를 통하여 입력된 광학적 영상 신호를 변환 영상 데이터로 변환하는 카메라부;A camera unit for converting an optical image signal input through the filter unit into converted image data; 상기 카메라부로부터 연속적으로 입력되는 변환 영상 데이터를 이용하여 특성벡터를 해석하는 이미지 해석부; An image analyzing unit which analyzes the characteristic vector using the converted image data continuously input from the camera unit; 미리 저장된 특성벡터들 중 상기 해석된 특성 벡터에 상응하는 특성벡터에 지정된 메뉴 기능이 실행되도록 제어하는 제어부; 및A controller for controlling a menu function assigned to a feature vector corresponding to the analyzed feature vector among prestored feature vectors; And 상기 광학적 영상 신호를 조사하는 광원부를 포함하되,Including a light source unit for irradiating the optical image signal, 상기 필터부로 입력되는 광학적 영상 신호는 상기 광원부에 의해 조사된 빛 중 외부 반사체에 의해 반사된 빛인 것을 특징으로 하는 무접점 키 입력이 가능한 장치. And an optical image signal input to the filter unit is light reflected by an external reflector among lights irradiated by the light source unit. 삭제delete 제1항에 있어서,The method of claim 1, 1개 내지 n(자연수)개 중 임의의 수량인 상기 광원부는 상기 카메라부를 중심으로 하는 원상에 형성되는 것을 특징으로 하는 무접점 키 입력이 가능한 장치. And a light source unit having an arbitrary quantity of 1 to n (natural numbers) is formed on a circle centering on the camera unit. 삭제delete 제1항에 있어서,The method of claim 1, 상기 필터부를 상기 카메라부 전단에서 제거할 수 있도록 이동수단을 구비한 필터이동부를 더 포함하는 것을 특징으로 하는 무접점 키 입력이 가능한 장치.And a filter moving unit including a moving unit to remove the filter unit from the front end of the camera unit. (a) 특정파장의 광학적 영상신호가 필터부를 통하여 여과되어 입력되는 단계;(a) inputting an optical image signal having a specific wavelength filtered through a filter unit; (b) 입력된 상기 특정파장의 광학적 영상신호를 이용하여 변환 영상데이터를 생성하는 단계;(b) generating converted image data by using the input optical image signal having a specific wavelength; (c) 상기 변환 영상 데이터의 특성벡터를 해석하는 단계;(c) analyzing a characteristic vector of the converted image data; (d) 미리 저장된 특성벡터들 중 상기 해석된 특성벡터에 상응하는 특성벡터를 검색하는 단계; 및(d) searching for a feature vector corresponding to the analyzed feature vector among previously stored feature vectors; And (e) 상기 검색된 특성벡터에 대해 지정된 메뉴 기능을 실행하는 단계를 포함하되,(e) executing a designated menu function for the retrieved feature vector; 상기 단계 (a)의 광학적 영상신호는 광원부로부터 조사된 빛이 외부 반사체에 의해 반사되어 입력된 것을 특징으로 하는 무접점 키 입력 방법.The optical image signal of the step (a) is a contactless key input method, characterized in that the light irradiated from the light source is reflected by the external reflector. 제 6항에 있어서,The method of claim 6, 상기 단계 (a)는 키 입력장치 또는 센서의 감지에 의한 제어부의 제어신호에 의해 시작되는 것을 특징으로 하는 무접점 키 입력 방법.Step (a) is a contactless key input method, characterized in that started by the control signal of the control unit by the detection of the key input device or sensor. 삭제delete 삭제delete
KR1020050133636A 2005-12-29 2005-12-29 Device capable of recognizing non-contact key selection and method thereof KR100778927B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050133636A KR100778927B1 (en) 2005-12-29 2005-12-29 Device capable of recognizing non-contact key selection and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050133636A KR100778927B1 (en) 2005-12-29 2005-12-29 Device capable of recognizing non-contact key selection and method thereof

Publications (2)

Publication Number Publication Date
KR20070070775A KR20070070775A (en) 2007-07-04
KR100778927B1 true KR100778927B1 (en) 2007-11-22

Family

ID=38506019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050133636A KR100778927B1 (en) 2005-12-29 2005-12-29 Device capable of recognizing non-contact key selection and method thereof

Country Status (1)

Country Link
KR (1) KR100778927B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276635B1 (en) * 2012-11-01 2013-06-19 길명재 Apparatus and method for processing multi input and output moving-image
KR101495786B1 (en) * 2008-06-25 2015-02-25 주식회사 케이티 Method and apparatus of touch recognition

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934514B1 (en) * 2008-05-07 2009-12-29 엘지전자 주식회사 User Interface Control Method Using Gesture in Adjacent Space
KR101589163B1 (en) * 2008-12-11 2016-01-28 삼성전자주식회사 Inputting Method And System For Electro-Device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185456A (en) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd Interface device
KR0178767B1 (en) * 1992-12-28 1999-05-15 윤종용 Remote control using a finger shape
KR20010090801A (en) * 1999-09-10 2001-10-19 이기수 Remote control method and apparatus for remote control mouse
KR20030086792A (en) * 2002-05-07 2003-11-12 이문기 3 dimensional pointing apparatus using camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0178767B1 (en) * 1992-12-28 1999-05-15 윤종용 Remote control using a finger shape
JPH09185456A (en) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd Interface device
KR20010090801A (en) * 1999-09-10 2001-10-19 이기수 Remote control method and apparatus for remote control mouse
KR20030086792A (en) * 2002-05-07 2003-11-12 이문기 3 dimensional pointing apparatus using camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101495786B1 (en) * 2008-06-25 2015-02-25 주식회사 케이티 Method and apparatus of touch recognition
KR101276635B1 (en) * 2012-11-01 2013-06-19 길명재 Apparatus and method for processing multi input and output moving-image

Also Published As

Publication number Publication date
KR20070070775A (en) 2007-07-04

Similar Documents

Publication Publication Date Title
US8610667B2 (en) Non-contact selection device
US8736585B2 (en) Information processing apparatus and method, program, and recording medium
US8462262B2 (en) Portable terminal having a projection unit
US9454246B2 (en) Multi-functional pen and method for using multi-functional pen
US9207768B2 (en) Method and apparatus for controlling mobile terminal using user interaction
KR20100047521A (en) Method for displaying image by virtual lighting and mobile terminal using the same
KR100778927B1 (en) Device capable of recognizing non-contact key selection and method thereof
KR20120130466A (en) Device and method for controlling data of external device in wireless terminal
US20070131031A1 (en) Wireless inertial input device
JP2009271814A (en) Display device, and display method in display device
KR100843586B1 (en) Device capable of non-contact function selection and method thereof
KR20080037315A (en) Electronic device having apparatus for controlling moving of pointer
KR100734003B1 (en) User terminal capable of function selection using camera and function selection method thereof
KR100557074B1 (en) Device and method for displaying screen in wireless terminal
KR100687690B1 (en) Digital processing apparatus capable of inputting data using camera and inputting method thereof
KR100663513B1 (en) Method for controlling external device in wireless terminal
KR100749481B1 (en) Device capable of non-contact function selection and method thereof
KR20080090802A (en) Portable terminal having plrality of cameras and method for controlling camera active state of the same
KR20070119267A (en) Device having function of non-contact mouse and method thereof
KR101054574B1 (en) Wireless communication terminal with direction key recognition using camera
KR20050095152A (en) Handset with menu selecting interface using camera and method of controlling the same
US20090060350A1 (en) Method for controlling electronic device and electronic device thereof
KR200352488Y1 (en) Personal communication device with camera having a function of remote control
KR100845494B1 (en) Portable terminal having functional keypad
JP2012185692A (en) Portable telephone apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121011

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131017

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141028

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151029

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20181029

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 13