KR100749481B1 - Device capable of non-contact function selection and method thereof - Google Patents

Device capable of non-contact function selection and method thereof Download PDF

Info

Publication number
KR100749481B1
KR100749481B1 KR1020060039028A KR20060039028A KR100749481B1 KR 100749481 B1 KR100749481 B1 KR 100749481B1 KR 1020060039028 A KR1020060039028 A KR 1020060039028A KR 20060039028 A KR20060039028 A KR 20060039028A KR 100749481 B1 KR100749481 B1 KR 100749481B1
Authority
KR
South Korea
Prior art keywords
unit
area
detection area
image data
change information
Prior art date
Application number
KR1020060039028A
Other languages
Korean (ko)
Inventor
김동진
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38602941&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100749481(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020060039028A priority Critical patent/KR100749481B1/en
Priority to PCT/KR2007/002126 priority patent/WO2007126286A1/en
Priority to US12/298,730 priority patent/US8217895B2/en
Application granted granted Critical
Publication of KR100749481B1 publication Critical patent/KR100749481B1/en
Priority to US13/529,623 priority patent/US8525790B2/en
Priority to US13/788,968 priority patent/US8587523B2/en
Priority to US13/789,120 priority patent/US8610667B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/23Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

A device for conducting a non-contact function and a method therefor are provided to enable a user to remotely control a menu function by using a camera, thus the user can more easily and quickly select a desired function. A light source unit(140) emits light to the outside. A camera unit(120) generates and outputs an image signal corresponding to an external image. An image data generator generates image data corresponding to the image signal. An identifier detects the location of a detection area formed by light inputted by being reflected on an indicator unit of the emitted light from the image data of each frame unit, and recognizes movement trace of the detection area by comparing more than two consecutive frames to generate equivalent change information, then outputs the generated information. One of plural information items displayed on a display(110) is displayed as being selected for the change information or a pointer moving by the change information is displayed.

Description

무접점 기능을 수행하는 장치 및 방법{Device capable of non-contact function selection and method thereof}Device capable of non-contact function selection and method

도 1은 본 발명의 바람직한 일 실시예에 따른 이동 통신 단말기의 블록 구성도.1 is a block diagram of a mobile communication terminal according to an embodiment of the present invention.

도 2는 본 발명의 바람직한 일 실시예에 따른 이동 통신 단말기의 외형 및 무접점 기능 모드의 사용 상태를 나타낸 도면.2 is a view showing a state of appearance and a contactless function mode of a mobile communication terminal according to an embodiment of the present invention.

도 3 내지 도 5는 본 발명에 따른 무접점 기능 모드의 동작 원리를 예시한 도면.3 to 5 illustrate the principle of operation of a contactless function mode according to the invention.

도 6a 및 도 6b는 본 발명의 다른 실시예에 따른 이동 통신 단말기의 외형 및 무접점 기능 선택의 사용 상태를 나타낸 도면.6A and 6B illustrate a state of use of appearance and contactless function selection of a mobile communication terminal according to another embodiment of the present invention.

도 7은 본 발명의 일 실시예에 따른 이동 통신 단말기에서의 무접점 기능 모드의 실행 과정을 나타내는 흐름도.7 is a flowchart illustrating a process of executing a contactless function mode in a mobile communication terminal according to an embodiment of the present invention.

도 8은 본 발명의 일 실시예에 따른 영상 데이터와 메뉴 아이콘 표시 영역간의 이미지 맵핑(mapping) 방법을 예시한 도면.8 is a diagram illustrating an image mapping method between image data and a menu icon display area according to an embodiment of the present invention.

도 9는 도 8의 이미지 맵핑 방법을 구현한 이미지 맵핑 프로그램을 테이블로 예시한 도면.FIG. 9 is a table illustrating an image mapping program implementing the image mapping method of FIG. 8. FIG.

도 10은 도 8의 이미지 맵핑 방법을 이용한 무접점 선택된 기능의 인식 방법을 예시한 도면.FIG. 10 is a diagram illustrating a recognition method of a contactless selected function using the image mapping method of FIG. 8. FIG.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

100 : 이동 통신 단말기100: mobile communication terminal

110 : 표시부110: display unit

111 : 메뉴 아이콘 표시 영역111: Menu icon display area

120 : 카메라부120: camera unit

125 : 영상 처리부125: image processing unit

130 : 키 입력부130: key input unit

140 : 광원부140: light source

150 : 제어부150: control unit

155 : 메모리부155: memory section

본 발명은 카메라를 이용한 기능 선택 방법에 관한 것으로서, 보다 상세하게는 카메라를 이용하여 무접점 기능 선택이 가능한 장치 및 방법에 관한 것이다.The present invention relates to a method of selecting a function using a camera, and more particularly, to an apparatus and a method capable of selecting a contactless function using a camera.

최근의 전자공학 및 통신공학의 비약적인 발전에 따라 사용자는 컴퓨터, 디 지털 카메라 등 디지털 가전기기 또는 이동 통신 단말기 등을 이용하여 인터넷 검색, 화상 통신, 동영상 또는 음악 재생, 위성방송 시청 등의 다양한 기능을 향유할 수 있게 되었다. 따라서, 사용자가 보다 다양한 기능을 향유하기 위해서는 의도하는 기능을 효율적으로 선택할 수 있는 키 입력 방법이 요망된다.With the recent rapid development of electronics and communication engineering, users can use various functions such as internet search, video communication, video or music playback, and satellite broadcasting by using digital home appliances such as computers and digital cameras or mobile communication terminals. I can enjoy it. Accordingly, in order for a user to enjoy more various functions, a key input method capable of efficiently selecting an intended function is desired.

종래에 기능 선택 방법으로서 가장 널리 이용되는 방법으로는 각종 장치에 구비된 키 패드(key pad)의 다수의 키 버튼을 직접 눌러서 선택하는 방법이 있다. 즉, 사용자는 키 패드의 메뉴 키를 누른 뒤 다시 방향키(또는 커서 이동키)를 수회 조작하여 LCD 화면을 통해 표시되는 해당 메뉴 아이콘(Icon)으로 이동시키고, 선택키를 이용하여 이동된 위치의 메뉴 아이콘을 선택함으로써 해당 기능을 이용할 수 있게 된다.Conventionally, the most widely used method of selecting a function is a method of directly pressing a plurality of key buttons of a key pad included in various devices. That is, the user presses the menu key on the keypad and then moves the direction key (or the cursor movement key) several times to move to the corresponding menu icon (Icon) displayed on the LCD screen, and the menu icon of the moved position using the selection key. You can use this function by selecting.

그러나, 종래의 기능 선택 방법은 사용자가 의도하는 기능을 찾기까지 수회의 버튼 조작을 요하는 문제점이 있다. 특히, 최근의 디지털 장치가 구비하는 방대한 기능에 비하여 실제 빈번히 사용되는 기능은 제한적임에도 불구하고, 해당 기능의 선택을 위해 사용자가 매번 상술한 바와 같은 복잡한 과정을 거쳐야 한다는 것은 번거로운 일이 아닐 수 없다. 결국, 종래의 기능 선택 방법은 버튼 및 메뉴 조작이 서툰 사용자들에게 기능 선택을 위한 많은 시간과 노력을 요구하게 된다.However, the conventional function selection method has a problem of requiring several button operations until the user finds the intended function. In particular, although the functions frequently used in practice are limited as compared to the vast functions of the recent digital devices, it is cumbersome for the user to go through the complicated process as described above every time to select the corresponding functions. As a result, the conventional function selection method requires a lot of time and effort to select a function for users who are poor in button and menu operation.

또한, 종래의 기능 선택 방법은 기능 선택을 위한 키 버튼을 반드시 구비하여야 하므로 각 키 버튼에 대한 별도의 금형 작업을 필요로 한다. 따라서, 디지털 장치의 제조 공정이 복잡해지고 그 제조 단가가 상승하는 문제점이 있다. 아울러, 키 패드가 차지하는 고정적인 면적으로 인해 디지털 장치의 크기 및 디자인상에 제 약이 따르는 문제점이 있다.In addition, the conventional method of selecting a function must be provided with a key button for the function selection requires a separate mold operation for each key button. Therefore, there is a problem that the manufacturing process of the digital device becomes complicated and the manufacturing cost thereof increases. In addition, due to the fixed area occupied by the keypad, there is a problem in that the size and design of the digital device are limited.

이외에도 기능 선택 방법으로서 표시부를 통한 터치 스크린(touch screen) 방식 등이 이용될 수 있겠지만, 터치 스크린이 가능한 표시부의 장착에 따른 제조 비용이 증가하는 문제점이 있다.In addition, a touch screen method through a display unit may be used as a function selection method, but there is a problem in that manufacturing cost increases due to mounting of a display unit capable of a touch screen.

따라서, 본 발명의 목적은 카메라를 이용하여 사용자가 메뉴 기능을 원격 제어함으로써 의도하는 기능 선택을 보다 쉽고 빠르게 할 수 있는 무접점 기능 선택이 가능한 장치 및 방법을 제공하기 위한 것이다.Accordingly, it is an object of the present invention to provide an apparatus and method capable of selecting a non-contact function, which enables a user to easily and quickly select an intended function by remotely controlling a menu function using a camera.

본 발명의 다른 목적은 키 버튼을 통한 기존의 단조로운 기능 선택 방식에서 벗어나 사용자로 하여금 흥미 유발을 할 수 있는 무접점 기능 선택이 가능한 장치 및 방법을 제공하기 위한 것이다.Another object of the present invention is to provide an apparatus and a method capable of selecting a contactless function that may cause an interest to a user, away from the existing monotonous function selection method through a key button.

본 발명의 또 다른 목적은 구비된 카메라를 범용적으로 이용할 수 있도록 하여 부품 활용도를 극대화할 수 있는 무접점 기능 선택이 가능한 장치 및 방법을 제공하기 위한 것이다.Still another object of the present invention is to provide an apparatus and method capable of selecting a contactless function capable of maximizing component utilization by allowing the provided camera to be used universally.

본 발명의 또 다른 목적은 키 패드 제작 비용을 절감하고, 디지털 장치의 공간적 활용도를 높혀 소형화 및 디자인 상의 다양성을 기할 수 있는 무접점 기능 선택이 가능한 장치 및 방법을 제공하기 위한 것이다.It is still another object of the present invention to provide a device and method capable of selecting a contactless function that can reduce the cost of manufacturing a keypad and increase the spatial utilization of a digital device, thereby minimizing size and design diversity.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다. Other objects of the present invention will be readily understood through the following description.

상술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 무접점 기능을 수행하기 위한 이미지 시그널 프로세서, 어플리케이션 프로세서 및 디지털 처리 장치가 제공된다.According to an aspect of the present invention for achieving the above object, there is provided an image signal processor, an application processor and a digital processing device for performing a contactless function.

본 발명의 바람직한 일 실시예에 따른 촬상 기능이 구비된 디지털 장치는 빛을 외부로 방사하는 광원부; 외부 영상에 상응하는 영상 신호를 생성하여 출력하는 카메라부; 상기 영상 신호에 상응하는 영상 데이터를 생성하는 영상 데이터 생성부; 및 각 프레임 단위의 상기 영상 데이터에서 상기 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함할 수 있다. 여기서, 표시부에 디스플레이된 복수의 정보 항목들 중 어느 하나가 상기 변화 정보에 선택된 것으로 표시되거나 상기 변화 정보에 상응하여 이동되는 포인터가 표시될 수 있다.According to an embodiment of the present invention, a digital device having an imaging function includes a light source unit emitting light to the outside; A camera unit generating and outputting an image signal corresponding to an external image; An image data generator configured to generate image data corresponding to the image signal; And detecting a position of a detection area formed by the light reflected and input to the indicating means among the emitted light from the image data in each frame unit, and comparing the two or more consecutive frames to recognize the movement trajectory of the detection area. It may include an identification unit for generating and output corresponding change information. Herein, any one of the plurality of information items displayed on the display unit may be displayed as selected in the change information, or a pointer which is moved corresponding to the change information may be displayed.

상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력할 수 있다.The identification unit detects an area of the detection area in each frame unit, compares two or more consecutive frames, and generates and outputs change information corresponding to an area change of the detection area.

상기 검출 영역의 면적이 증가되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 실행 개시 명령으로 인식될 수 있다.When the area of the detection area changes in an increasing direction, the change information may be recognized as an execution start command of the selected information item.

상기 검출 영역의 면적이 감소되는 방향으로 변화하는 경우, 상기 변화 정보 는 상기 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다.When the area of the detection area changes in a decreasing direction, the change information may be recognized as a deselection command of the selected information item.

상기 검출 영역의 면적은 상기 검출 영역의 외곽선에 의해 형성된 도형의 넓이 또는 상기검출 영역에 포함된 픽셀 수일 수 있다.The area of the detection area may be an area of a figure formed by an outline of the detection area or the number of pixels included in the detection area.

상기 광원부는 파장 또는 휘도의 빛을 외부로 방사할 수 있다. 상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출할 수 있다.The light source unit may emit light having a wavelength or luminance to the outside. The identification unit may detect a position of the detection area in the image data using the wavelength or the luminance.

상기 디지털 처리 장치는 하나 이상의 키 버튼을 포함하는 키 입력부를 더 포함할 수 있다. 여기서, 미리 설정된 키 버튼의 입력에 의해 상기 광원부, 상기 카메라부 및 상기 식별부가 구동 개시될 수 있다.The digital processing apparatus may further include a key input unit including one or more key buttons. Here, the light source unit, the camera unit, and the identification unit may be started to be driven by input of a preset key button.

상기 영상 데이터는 YUV 데이터 또는 RGB 데이터일 수 있다.The image data may be YUV data or RGB data.

본 발명의 바람직한 다른 실시예에 따른 이미지 시그널 프로세서는 이미지 센서로부터 입력된 영상 신호에 상응하는 영상 데이터를 생성하는 영상 데이터 생성부; 및 각 프레임 단위의 상기 영상 데이터에서 미리 지정된 광(光) 성분에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함할 수 있다. 여기서, 상기 검출 영역은 광원부에 의해 외부로 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성되는 영역일 수 있다.According to another preferred embodiment of the present invention, an image signal processor includes: an image data generator configured to generate image data corresponding to an image signal input from an image sensor; And detecting a position of a detection region formed by a predetermined light component in the image data in each frame unit, and comparing two or more consecutive frames to recognize a movement trajectory of the detection region to generate corresponding change information. It may include an identification unit for outputting. Here, the detection area may be an area formed by light that is reflected and input to the indicating means among the light emitted to the outside by the light source unit.

상기 변화 정보는 상기 이미지 시그널 프로세서를 포함하는 디지털 처리 장치를 제어하기 위한 입력 신호로 기능할 수 있다.The change information may function as an input signal for controlling the digital processing device including the image signal processor.

상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력할 수 있다.The identification unit detects an area of the detection area in each frame unit, compares two or more consecutive frames, and generates and outputs change information corresponding to an area change of the detection area.

상기 검출 영역의 면적이 증가되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 디지털 처리 장치의 표시부에 디스플레이된 복수의 정보 항목들 중 상기 변화 정보에 선택된 정보 항목의 실행 개시 명령으로 인식될 수 있다.When the area of the detection area changes in an increasing direction, the change information may be recognized as an execution start command of the information item selected in the change information among a plurality of information items displayed on the display unit of the digital processing apparatus.

상기 검출 영역의 면적이 감소되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 디지털 처리 장치의 표시부에 디스플레이된 복수의 정보 항목들 중 상기 변화 정보에 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다.When the area of the detection area changes in a decreasing direction, the change information may be recognized as a command for deselecting an information item selected for the change information among a plurality of information items displayed on the display unit of the digital processing apparatus.

상기 광원부는 파장 또는 휘도의 빛을 외부로 방사할 수 있다. 상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출할 수 있다.The light source unit may emit light having a wavelength or luminance to the outside. The identification unit may detect a position of the detection area in the image data using the wavelength or the luminance.

본 발명의 바람직한 또 다른 실시예에 따른 어플리케이션 프로세서는 이미지 시그널 프로세서로부터 외부 영상 신호에 상응하도록 생성된 영상 데이터를 입력받는 수신부; 및 각 프레임 단위의 상기 영상 데이터에서 미리 지정된 광(光) 성분에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함할 수 있다. 여기서, 상기 검출 영역은 광원부에 의해 외부로 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성되는 영역일 수 있다.According to another preferred embodiment of the present invention, an application processor includes: a receiver configured to receive image data generated to correspond to an external image signal from an image signal processor; And detecting a position of a detection region formed by a predetermined light component in the image data in each frame unit, and comparing two or more consecutive frames to recognize a movement trajectory of the detection region to generate corresponding change information. It may include an identification unit for outputting. Here, the detection area may be an area formed by light that is reflected and input to the indicating means among the light emitted to the outside by the light source unit.

상기 변화 정보는 상기 이미지 시그널 프로세서 및 상기 어플리케이션 프로세서를 포함하는 디지털 처리 장치를 제어하기 위한 입력 신호로 기능할 수 있다.The change information may function as an input signal for controlling a digital processing device including the image signal processor and the application processor.

상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력할 수 있다.The identification unit detects an area of the detection area in each frame unit, compares two or more consecutive frames, and generates and outputs change information corresponding to an area change of the detection area.

상기 검출 영역의 면적이 증가되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 디지털 처리 장치의 표시부에 디스플레이된 복수의 정보 항목들 중 상기 변화 정보에 선택된 정보 항목의 실행 개시 명령으로 인식될 수 있다.When the area of the detection area changes in an increasing direction, the change information may be recognized as an execution start command of the information item selected in the change information among a plurality of information items displayed on the display unit of the digital processing apparatus.

상기 면적이 감소되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 디지털 처리 장치의 표시부에 디스플레이된 복수의 정보 항목들 중 상기 변화 정보에 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다.When the area changes in a decreasing direction, the change information may be recognized as a command for deselecting an information item selected for the change information among a plurality of information items displayed on the display unit of the digital processing apparatus.

상기 광원부는 파장 또는 휘도의 빛을 외부로 방사할 수 있다. 상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출할 수 있다.The light source unit may emit light having a wavelength or luminance to the outside. The identification unit may detect a position of the detection area in the image data using the wavelength or the luminance.

상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 무접점 기능 모드를 수행하는 방법 및 그 방법을 수행하기 위한 프로그램이 기록된 기록매체가 제공된다.According to another aspect of the present invention for achieving the above object, there is provided a method of performing a contactless function mode and a recording medium on which a program for performing the method is recorded.

본 발명의 바람직한 일 실시예에 따른 촬상 기능이 구비된 디지털 장치가 무접점 기능 모드를 수행하는 방법은, 광원부가 빛을 외부로 방사하는 단계; 카메라부가 외부 영상에 상응하는 영상 신호를 생성하여 출력하는 단계; 영상 데이터 생성부가 상기 영상 신호에 상응하는 영상 데이터를 생성하는 단계; 및 식별부가 각 프레임 단위의 상기 영상 데이터에서 상기 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 단계를 포함할 수 있다. 여기서, 표시부에 디스플레이된 복수의 정보 항목들 중 어느 하나가 상기 변화 정보에 선택된 것으로 표시되거나 상기 변화 정보에 상응하여 이동되는 포인터가 표시될 수 있다.According to an embodiment of the present invention, a method in which a digital device having an imaging function performs a contactless function mode includes: emitting light to the outside by a light source unit; Generating and outputting an image signal corresponding to an external image by the camera unit; Generating image data corresponding to the image signal by an image data generator; And an identification unit detects a position of a detection area formed by light reflected and input to the indicating means among the emitted light from the image data in each frame unit, and compares two or more consecutive frames to determine a movement trajectory of the detection area. Recognizing may include generating and outputting the corresponding change information. Herein, any one of the plurality of information items displayed on the display unit may be displayed as selected in the change information, or a pointer which is moved corresponding to the change information may be displayed.

상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력하는 단계를 더 실행할 수 있다.The identification unit may further perform the step of detecting the area of the detection area in each frame unit, comparing two or more consecutive frames to generate and output change information corresponding to the area change of the detection area.

상기 검출 영역의 면적이 증가되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 실행 개시 명령으로 인식될 수 있다.When the area of the detection area changes in an increasing direction, the change information may be recognized as an execution start command of the selected information item.

상기 검출 영역의 면적이 감소되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다.When the area of the detection area changes in a decreasing direction, the change information may be recognized as a deselection command of the selected information item.

상기 검출 영역의 면적은 상기 검출 영역의 외곽선에 의해 형성된 도형의 넓이 또는 상기검출 영역에 포함된 픽셀 수일 수 있다.The area of the detection area may be an area of a figure formed by an outline of the detection area or the number of pixels included in the detection area.

상기 광원부는 파장 또는 휘도의 빛을 외부로 방사할 수 있다. 상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출할 수 있다.The light source unit may emit light having a wavelength or luminance to the outside. The identification unit may detect a position of the detection area in the image data using the wavelength or the luminance.

상기 무접점 기능 모드 수행 방법은 상기 광원부, 상기 카메라부 및 상기 식별부가 구동 개시되도록 미리 지정된 키 선택 신호가 입력되는 단계가 선행하여 수 행될 수 있다.The method of performing the contactless function mode may be performed prior to the step of inputting a predetermined key selection signal to start driving of the light source unit, the camera unit, and the identification unit.

상기 영상 데이터는 YUV 데이터 또는 RGB 데이터일 수 있다.The image data may be YUV data or RGB data.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the drawings, similar reference numerals are used for similar elements. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있 을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is said to be "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but other components may be present in the middle. It should be understood. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and the same or corresponding components will be denoted by the same reference numerals regardless of the reference numerals and redundant description thereof will be omitted.

본 발명에 따른 무접점 기능 선택이 가능한 장치 및 방법은 카메라 기능을 구비한 일체의 디지털 장치에 적용될 수 있음은 물론이다. 예를 들어, TV, 냉장고, 디지털 카메라, 컴퓨터 등의 디지털 가전 기기 및 각종 디지털 통신 장치에 이용될 수 있다. 다만, 이하에서는 대표적인 디지털 장치 중 하나인 이동 통신 단말기를 중심으로 설명한다.Apparatus and method for selecting a contactless function according to the present invention can be applied to any digital device having a camera function. For example, the present invention can be used in digital home appliances such as TVs, refrigerators, digital cameras, computers, and various digital communication devices. However, the following description will focus on the mobile communication terminal which is one of the representative digital devices.

도 1은 본 발명의 바람직한 일 실시예에 따른 이동 통신 단말기의 블록 구성도이다. 여기서, 도 1이 도시하는 각 블록은 설명의 편의를 위해 본 발명에 따른 이동 통신 단말기(100)가 수행하는 각 기능별로 구분하여 나타낸 것에 불과하다. 따라서, 각 블록 중 2개 이상이 통합되어 하나의 칩(chip)으로 구현될 수 있음은 물론, 필요에 따라 보다 세분화하여 구현될 수 있음은 자명하다.1 is a block diagram of a mobile communication terminal according to an embodiment of the present invention. Here, each block illustrated in FIG. 1 is merely shown separately for each function performed by the mobile communication terminal 100 according to the present invention for convenience of description. Therefore, it is apparent that two or more of each block may be integrated and implemented as a single chip, and may be implemented in more detail as necessary.

도 1을 참조하면, 본 발명에 따른 이동 통신 단말기(100)는 표시부(110), 카메라부(120), 영상 처리부(125), 키 입력부(130), 광원부(140), 제어부(150), 메모리부(155)를 포함한다. 도 1에는 도시하지 않았지만, 본 발명에 따른 이동 통신 단말기(100)에는 무선 통신 기능을 수행하기 위한 무선부 및 음성 데이터의 입력과 출력을 위한 송수화부 등이 더 포함될 수 있음은 자명하다.Referring to FIG. 1, the mobile communication terminal 100 according to the present invention includes a display unit 110, a camera unit 120, an image processor 125, a key input unit 130, a light source unit 140, a controller 150, The memory unit 155 is included. Although not shown in FIG. 1, the mobile communication terminal 100 according to the present invention may further include a radio unit for performing a wireless communication function and a handset unit for input and output of voice data.

키 입력부(130)는 사용자가 문자 및 숫자 데이터를 입력하기 위한 사용자 환경(User Interface)을 제공한다. 키 입력부에 대해서는 도 2에서 설명한다. 본 발명에 따른 무접점 기능 모드(즉, 광원부(140)에서 방사(放射)되어 피사체(예를 들어, 손가락 단부)에 의해 반사되어 카메라부(120)로 입력된 빛의 이동 궤적 및/또 는 형성 면적을 이용한 제어 명령의 입력)의 수행을 위한 키 버튼 및/또는 메뉴 항목이 미리 지정될 수 있다. 사용자는 해당 키 버튼 및/또는 메뉴 항목의 선택에 의해 이동 통신 단말기(100)가 무접점 기능 모드로 진입하도록 할 수 있다. 무접점 기능 모드로 진입되면 광원부(140). 카메라부(120), 영상 처리부(125) 등이 이에 상응하도록 동작되도록 제어된다.The key input unit 130 provides a user interface for a user to input text and numeric data. The key input unit will be described with reference to FIG. 2. The movement trajectory and / or the light of the solid state function according to the present invention (that is, the light emitted from the light source unit 140, reflected by the subject (for example, the finger end) and input to the camera unit 120). A key button and / or a menu item for the execution of a control command using the formation area may be previously designated. The user may cause the mobile communication terminal 100 to enter the contactless function mode by selecting a corresponding key button and / or menu item. The light source unit 140 enters the contactless function mode. The camera unit 120, the image processing unit 125, and the like are controlled to operate accordingly.

카메라부(120)는 렌즈부, 이미지 센서부 및 신호 처리부를 포함할 수 있다. 렌즈부(미도시)는 피사체에 의해 반사된 광을 수집하고, 이미지 센서부(미도시)는 렌즈부에 의해 수집된 광학 영상 신호를 전기적 영상 신호로 변환하여 출력한다. 신호 처리부(미도시)는 이미지 센서부로부터 입력된 전기적 영상 신호를 디지털 영상 데이터로 변환하여 출력한다.The camera unit 120 may include a lens unit, an image sensor unit, and a signal processor. The lens unit (not shown) collects the light reflected by the subject, and the image sensor unit (not shown) converts the optical image signal collected by the lens unit into an electrical image signal and outputs it. The signal processor (not shown) converts the electrical image signal input from the image sensor unit into digital image data and outputs the digital image data.

여기서, 이미지 센서부로는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등이 이용될 수 있고, 신호 처리부는 DSP(Digital Signal Processor) 등이 이용될 수 있다.Here, a charge coupled device (CCD) sensor, a complementary metal-oxide semiconductor (CMOS) sensor, or the like may be used as the image sensor, and a signal processor may be a digital signal processor (DSP) or the like.

영상 처리부(125)는 카메라부(120)로부터 입력된 영상 데이터 또는 후술할 메모리부(155)에 저장된 영상 데이터에 대한 다양한 영상 처리를 수행한다. 예를 들어, 영상 처리부(125)는 영상 데이터의 압축 및 복원, 영상 데이터의 크기 또는 밝기(휘도)의 조정, 영상 데이터의 픽셀(fixel)간 보간(interpolation), 영상 데이터의 감마 보정(gamma correction) 또는 색채 보정, RGB 영상 데이터를 YUV 영상 데이터로 변환하는 포맷 변환 등의 영상 처리를 수행할 수 있다. 영상 처리부(125)는 상술한 신호 처리부와 통합적으로 구현되어 카메라부(120)의 일 구성요소로 포 함될 수도 있다.The image processor 125 performs various image processing on image data input from the camera unit 120 or image data stored in the memory unit 155 to be described later. For example, the image processor 125 may compress and restore the image data, adjust the size or brightness (luminance) of the image data, interpolation between the pixels of the image data, and gamma correction the image data. Image processing such as color correction, format conversion for converting RGB image data into YUV image data, or the like. The image processor 125 may be integrated with the above-described signal processor and included as a component of the camera 120.

영상 처리부(125)는 RGB 영상 데이터 또는 YUV 영상 데이터를 이용하여 광원부(140)에 의해 조사된 빛이 지시 수단(예를 들어, 렌즈부 전단에 일정 간격으로 위치한 손가락 등)에 의해 반사되어 형성한 영역(이하, '검출 영역'이라 칭함)의 이동 궤적이나 형성 면적의 변화를 식별하기 위한 식별부(미도시)를 더 포함할 수 있다. 검출 영역의 변화가 제어부(150)에 의해 식별되는 경우, 식별부는 제어부(150)에 포함될 수도 있음은 자명하다. 검출 영역은 영상 처리부(125)에 의해 처리된 각 프레임의 영상 데이터에서 광원부(140)로부터 방사되는 빛의 파장 성분만을 검출함으로써 인식할 수 있다. 이를 위해, 광원부(140)에서 방사되는 빛의 파장은 구비된 광원의 유형에 따라 미리 결정되어야 하며, 검출의 위한 파장 대역은 미리 지정될 수 있다.The image processing unit 125 is formed by reflecting the light irradiated by the light source unit 140 using the RGB image data or YUV image data by the indicating means (for example, a finger placed at a predetermined distance in front of the lens unit). It may further include an identification unit (not shown) for identifying a change in the movement trajectory or the formation area of the region (hereinafter referred to as 'detection region'). When the change in the detection area is identified by the controller 150, it is obvious that the identifier may be included in the controller 150. The detection area may be recognized by detecting only a wavelength component of light emitted from the light source unit 140 in the image data of each frame processed by the image processor 125. To this end, the wavelength of the light emitted from the light source unit 140 should be predetermined according to the type of light source provided, and the wavelength band for detection may be predetermined.

검출 영역 변화에 대한 식별은 이동 통신 단말기(100)가 프리뷰 모드(Preview mode)로 동작되는 과정에서 수행될 수 있다. 프리뷰 모드란 카메라부(120)를 통해 실시간 입력되는 영상 신호가 표시부(110)를 통해 시각 정보로서 디스플레이되도록 하는 실행 모드를 의미한다. 사용자는 프리뷰 모드에서 표시부(110)에 디스플레이되는 시각 정보를 확인한 후, 미리 지정된 버튼(예를 들어, 셔터(shutter) 버튼)을 선택하여 외부 영상에 상응하는 인코딩된 이미지 데이터가 생성되어 메모리부(155)에 기록(즉, 캡쳐(Capture) 모드의 실행)되도록 할 수 있다. 프리뷰 모드에서 검출 영역 변화에 대한 식별을 수행하는 이유은 검출 영역의 이동 궤적이나 형성 면적의 변화를 식별하기 위해서는 현재 프레임에 대한 영상 정 보뿐 아니라 비교 대상이 되는 이전 프레임들에 대한 영상 정보가 필요하기 때문이다. 이를 위해, 영상 처리부(125)는 각 프레임들에 대한 영상 정보(또는 해당 프레임에서의 검출 영역의 특성(예를 들어, 위치, 크기 등)을 분석한 분석 정보)를 저장하기 위한 메모리를 포함할 수 있다.Identification of the detection area change may be performed while the mobile communication terminal 100 is operated in a preview mode. The preview mode refers to an execution mode in which an image signal input in real time through the camera unit 120 is displayed as visual information through the display unit 110. After checking the visual information displayed on the display unit 110 in the preview mode, the user selects a predetermined button (for example, a shutter button) to generate encoded image data corresponding to an external image and generates a memory unit ( 155) (ie, execution of Capture mode). The reason for the detection of the detection area change in the preview mode is that not only the image information of the current frame but also the image information of the previous frames to be compared are required to identify the movement trajectory or the change of the formation area of the detection area. to be. To this end, the image processor 125 may include a memory for storing image information about each frame (or analysis information analyzing a characteristic (eg, position, size, etc.) of a detection area in the corresponding frame). Can be.

영상 처리부(125)는 이미지 시그널 프로세서(Image Signal Processor)와 백엔드 칩(Back End Chip, 또는 어플리케이션 프로세서)으로 분리될 수도 있다. 이미지 시그널 프로세서는 카메라부(120)로부터 입력된 영상 신호를 YUV 데이터로 변환하여 백엔드 칩으로 출력할 수 있다. 백엔드 칩은 입력된 YUV 데이터를 미리 지정된 인코딩 방법에 의해 JPEG나 BMP 등으로 변환하여 메모리부(155)에 저장하거나 메모리부(155)에 저장된 이미지 데이터를 디코딩하여 표시부(110)에 디스플레이되도록 할 수도 있다. 백엔드 칩은 이미지의 확대, 축소, 로테이션 등의 기능도 수행할 수 있다. 물론, 미리 지정된 인코딩 방법에 의해 이미지 데이터를 생성하는 기능은 이미지 시그널 프로세서에 포함될 수도 있을 것이다. 상술한 식별부는 이미지 시그널 프로세서 또는 백엔드 칩에 포함될 수도 있다.The image processor 125 may be divided into an image signal processor and a back end chip. The image signal processor may convert the image signal input from the camera unit 120 into YUV data and output the YUV data to the back end chip. The backend chip may convert the input YUV data into JPEG or BMP by using a predetermined encoding method and store the same in the memory unit 155 or decode the image data stored in the memory unit 155 to be displayed on the display unit 110. have. The backend chip can also perform functions such as zooming in, zooming out, and rotating the image. Of course, the function of generating image data by a predetermined encoding method may be included in the image signal processor. The above-described identification unit may be included in the image signal processor or the back end chip.

광원부(140)는 제어부(150)의 특정 제어 신호(예를 들어, 무접점 기능 모드의 개시를 위한 제어 신호)에 의해 특정 파장의 빛을 외부로 방사한다. 광원부(140)에서 방사하는 빛의 파장은 미리 결정될 수 있다. 이를 통해 해당 파장에 상응하는 빛 성분만을 투과하는 필터를 이용하는 등의 방법을 이용함으로써, 검출 영역의 인식을 용이하게 할 수 있다. 광원부(140)에서 방사하는 빛은 인체에 무해한 특성을 가지는 것으로 결정함이 바람직하다. The light source unit 140 emits light of a specific wavelength to the outside by a specific control signal (for example, a control signal for initiating the contactless function mode) of the controller 150. The wavelength of the light emitted from the light source unit 140 may be predetermined. Through this, by using a method such as using a filter that transmits only the light component corresponding to the wavelength, it is possible to facilitate the recognition of the detection region. Light emitted from the light source unit 140 is preferably determined to have a harmless characteristic to the human body.

광원부(140)에 의해 방사된 빛은 피사체인 지시 수단(예를 들어, 사용자의 손가락)에 의해 반사되어 카메라부(120)로 입력될 수 있다. 이를 위해, 광원부(140)의 광 조사 각도는 조사한 광이 지시 수단에 반사되어 카메라부(120)의 렌즈부를 통해 입력될 수 있는 각도로 미리 설정되거나 사용자가 키 입력부(130) 등을 이용하여 광 조사 각도를 조절 가능하도록 구현될 수 있다. 광원부(140)로서 구현 방법에 따라 다양한 발광 소자(예를 들어, LED(Light Emitting Diode) 등)가 제한없이 이용될 수 있음은 자명하다. 광원부(140)는 제어부(150)의 특정 제어 신호(예를 들어, 무접점 기능 모드의 종료를 위한 제어 신호)에 의해 빛 방사를 종료할 수 있다.Light emitted by the light source unit 140 may be reflected by the indicating means (for example, a user's finger) that is a subject and input to the camera unit 120. To this end, the light irradiation angle of the light source unit 140 is preset to an angle at which the irradiated light is reflected by the indicating means and input through the lens unit of the camera unit 120, or the user uses the key input unit 130 or the like to emit light. It can be implemented to adjust the irradiation angle. It is apparent that various light emitting devices (eg, light emitting diodes (LEDs), etc.) may be used as the light source unit 140 without limitation. The light source unit 140 may terminate light emission by a specific control signal (eg, a control signal for terminating the contactless function mode) of the controller 150.

표시부(110)는 이동 통신 단말기(100)의 동작 상태, 키 입력부(130)를 통해 입력되는 문자(또는 숫자 데이터), 후술할 메모리부(155)에 저장되어 있는 영상 데이터 등을 포함한 각종 데이터를 디스플레이한다. 표시부(110)는 예를 들어 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있다. 표시부(110)에는 각종 데이터의 표시를 위해 임시 저장하는 별도의 디스플레이 메모리가 더 포함될 수도 있다.The display unit 110 displays various data including an operation state of the mobile communication terminal 100, a character (or numeric data) input through the key input unit 130, image data stored in the memory unit 155 to be described later, and the like. Display. The display unit 110 may be implemented by, for example, a liquid crystal display (LCD), organic light emitting diodes (OLED), or the like. The display unit 110 may further include a separate display memory for temporarily storing the various data for display.

상술한, 광원부(140) 및 표시부(120)에 대해서는 이후 도 2를 통해 보다 상세히 설명하기로 한다.The light source unit 140 and the display unit 120 described above will be described in detail later with reference to FIG. 2.

메모리부(155)에는 영상 데이터를 포함한 각종 입력 데이터, 이동 통신 단말기의 전반적인 동작 또는 기능 구동에 필요한 다양한 프로그램, 프로그램 수행에 의해 생성된 데이터 등이 저장될 수 있다. 특히, 본 발명에 따른 메모리부(155)에 는 사용자가 무접점 선택한 기능의 해석을 위한 이미지 맵핑 프로그램이 저장될 수 있다. 메모리부(155)는 통합 메모리로 구현되거나 복수의 메모리부들(예를 들어, 프로그램 메모리, 데이터 메모리, 영상 메모리 등)로 세분화되어 구현될 수 있다.The memory unit 155 may store various input data including image data, various programs necessary for the overall operation or function driving of the mobile communication terminal, data generated by program execution, and the like. In particular, the memory unit 155 according to the present invention may store an image mapping program for analyzing a function selected by a user in a non-contact state. The memory unit 155 may be implemented as an integrated memory or divided into a plurality of memory units (eg, a program memory, a data memory, an image memory, etc.).

제어부(150)는 이동 통신 단말기(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(150)는 키 입력부(130)를 통해 입력되는 입력 데이터 또는 메모리부(155)에 저장되어 있는 영상 데이터 등과 같은 각종 데이터를 불러들여 표시부(110)를 통해 디스플레이되도록 제어할 수 있다. The controller 150 controls the overall operation of the mobile communication terminal 100. For example, the controller 150 may control various data such as input data input through the key input unit 130 or image data stored in the memory unit 155 to be displayed through the display unit 110. have.

또한, 제어부(150)는 카메라부(120)의 촬상, 영상 처리부(125)의 영상 처리 및 광원부(140)의 작동 등을 제어할 수 있다. 예들 들어, 제어부(150)는 무접점 기능 모드로의 진입/해제를 지정하기 위한 키 버튼이 입력되는 경우 무접점 기능 모드의 수행 또는 완료에 상응하도록 카메라부(120), 영상 처리부(125) 및 광원부(140) 등의 동작을 제어할 수 있다. In addition, the controller 150 may control the imaging of the camera unit 120, the image processing of the image processor 125, and the operation of the light source unit 140. For example, the controller 150 may include a camera unit 120, an image processing unit 125, and the like so as to correspond to the execution or completion of the contactless function mode when a key button for designating entry / release to the contactless function mode is input. The operation of the light source unit 140 and the like can be controlled.

이외에, 제어부(150)는 무접점 기능 모드의 수행 여부를 확인하기 위해 주기적으로(예를 들어, 0.1초 간격) 카메라부(120), 영상 처리부(125) 및 광원부(140) 등이 구동되도록 제어하고, 카메라부(120) 등을 통해 지시 수단의 유효한 움직임(예를 들어, 수평 이동 또는 수직 이동)이 검출되면 그 이후 지속적으로 무접점 기능 모드가 수행되도록 제어할 수 있다. 또한, 만일 유효한 움직임이 검출되지 않으면 다음 주기의 확인 시점까지 슬립 모드(sleep mode 또는 대기)에서 동작하도록 할 수 있다. 만일 무접점 기능 모드의 동작이 개시된 이후에는 해당 모드의 동작을 지속할 것인지 여부를 판단하기 위해 미리 지정된 확인 주기(예를 들어, 10초 간 격)마다 검사를 수행하여, 유효한 움직임이 입력되지 않으면, 무접점 기능 모드가 종료되도록 제어할 수도 있다. 물론, 자동으로 개시된 무접점 기능 모드의 동작이 미리 지정된 키 버튼의 입력에 의해 종료될 수도 있음은 자명하다.In addition, the controller 150 controls the camera unit 120, the image processing unit 125, and the light source unit 140 to be driven periodically (for example, at 0.1 second intervals) to check whether the contactless function mode is performed. If a valid movement (eg, horizontal movement or vertical movement) of the indicating means is detected through the camera unit 120 or the like, the contactless function mode may be continuously performed thereafter. In addition, if a valid movement is not detected, the operation may be performed in the sleep mode (sleep mode or standby) until the next time point of confirmation. After the operation of the contactless function mode is started, a check is performed every predetermined confirmation period (for example, every 10 seconds) to determine whether to continue the operation of the mode. In addition, it may be controlled to terminate the contactless function mode. Of course, it is obvious that the operation of the contactless function mode which is automatically started may be terminated by the input of a predetermined key button.

또한, 상술한 바와 같이, 식별부가 제어부(150)에 포함되는 경우, 제어부(150)는 영상 처리부(125)에 의해 처리된 순차적인 영상 데이터를 이용하여 검출 영역의 변화를 판별하고, 무접점 기능 모드에 의해 입력된 사용자 제어 명령에 상응하는 제어 동작(예를 들어, 메뉴 선택, 표시부(110)에 디스플레이된 포인터(pointer)의 위치 이동 등)이 수행되도록 상응하는 구성 요소의 동작을 제어할 수도 있다. 예를 들어, 제어부(150)는 메모리부(155)에 저장된 이미지 맵핑 프로그램을 불러들인 후, 이를 이용하여 사용자가 무접점 선택한 위치(즉, 검출 영역의 위치)에 상응하는 메뉴 기능을 인식해낼 수 있다. In addition, as described above, when the identification unit is included in the control unit 150, the control unit 150 determines the change of the detection area by using the sequential image data processed by the image processing unit 125, the contactless function The operation of the corresponding component may be controlled such that a control operation corresponding to the user control command inputted by the mode (for example, menu selection, moving the position of the pointer displayed on the display unit 110, etc.) is performed. have. For example, the controller 150 may load an image mapping program stored in the memory unit 155 and recognize a menu function corresponding to a position selected by the user (ie, the position of the detection area) using the image mapping program. have.

물론, 검출 영역의 변화에 대한 인식 정보(예를 들어, 이동 궤적이나 형성 면적의 변화에 대한 정보)는 영상 처리부(125)에 의해 인식되어 상응하는 제어 신호가 제어부(150)로 입력될 수도 있음은 앞서 설명한 바와 같다.Of course, recognition information (eg, information about a change in the movement trajectory or the formation area) of the change in the detection area may be recognized by the image processor 125 so that a corresponding control signal may be input to the controller 150. Is as described above.

이미지 맵핑 프로그램을 이용한 제어부(150) 또는 영상 처리부(125)의 무접점 선택된 기능의 인식 방법은 이하 도 8 내지 도 10에 대한 설명을 통해 보다 구체화될 것이다.A method of recognizing a contactless selected function of the controller 150 or the image processor 125 using the image mapping program will be further described with reference to FIGS. 8 to 10.

도 2는 본 발명의 바람직한 일 실시예에 따른 이동 통신 단말기의 외형 및 무접점 기능 모드의 사용 상태를 나타낸 도면이다. 2 is a diagram illustrating a state of appearance and a contactless function mode of a mobile communication terminal according to an embodiment of the present invention.

도 2는 폴더형의 이동 통신 단말기(100)를 예시하고 있으나, 이외에도 다양한 형태(예를 들어, 플립형, 슬라이드형 등)를 가질 수 있음은 물론이다.Although FIG. 2 illustrates a foldable mobile communication terminal 100, the mobile terminal 100 may have various forms (eg, flip type, slide type, etc.).

또한, 도 2에서는 광원부(140)가 카메라부(120, 즉 외부로 노출된 렌즈부)의양 측면에 각각 하나씩 구비된 경우를 예시하고 있지만, 구비가능한 광원부(140)의 수량은 제한되지 않는다. In addition, although FIG. 2 illustrates a case in which one light source unit 140 is provided on each side of each of the camera unit 120 (ie, the lens unit exposed to the outside), the number of light source units 140 that can be provided is not limited.

또한, 일정한 경우 광원부(140)는 생략될 수도 있다. 예를 들어, 일 단부에 특정 파장 또는 휘도(이하, '파장'으로 통칭함)의 빛을 방사할 수 있는 발광부를 구비한 지시 수단(예를 들어, 스타일러스 펜 타입으로 구현된 지시 수단 등)을 이용하여 본 발명에 따른 무접점 기능 모드에서의 제어 명령 입력이 가능한 경우라면 광원부(140)는 생략될 수 있을 것이다. 이는, 카메라부(120)를 통해 입력되어 영상 처리부(125)에 의해 처리된 각 프레임의 영상 데이터에서 지시 수단에 구비된 발광부로부터 방사된 빛의 파장에 상응하는 픽셀의 위치 및/또는 범위를 해석함으로써 검출 영역의 변화를 식별할 수 있기 때문이다. 다만, 이하에서는 광원부(140)가 이동 통신 단말기(100)에 별도로 구비된 경우를 중심으로 설명한다.In some cases, the light source unit 140 may be omitted. For example, the indicator means (for example, indicator means implemented in the stylus pen type, etc.) having a light emitting portion capable of emitting light of a specific wavelength or luminance (hereinafter referred to as "wavelength") at one end If it is possible to input the control command in the contactless function mode according to the present invention by using the light source unit 140 may be omitted. This means that the position and / or range of the pixel corresponding to the wavelength of light emitted from the light emitting unit provided in the indicating means in the image data of each frame input through the camera unit 120 and processed by the image processing unit 125 is determined. This is because the change in the detection area can be identified by analyzing. However, hereinafter, the light source unit 140 will be described based on a case where the mobile communication terminal 100 is separately provided.

여기서, 카메라부(120)가 구비되는 위치는 도 2가 예시하는 위치와 상이할 수도 있다. 또한, 카메라부(120)는 본 발명에 따른 무접점 기능 모드의 실행을 위한 용도 이외에 일반적인 영상 촬상을 위한 용도로도 혼용하여 사용될 수 있음은 물론이다. 이러한 경우, 카메라부(120)나 영상 처리부(125)의 동작이 무접점 기능 모드의 실행을 위한 용도인지 일반적인 영상 촬상을 위한 용도인지를 구별할 필요가 있을 수 있다. 이는 영상 처리부(125)가 프리뷰 영상을 표시부(110)에 디스플레 이하기 위한 모든 처리를 수행할 필요없이 단지 검출 영역의 변화를 인식하기 위한 동작만을 수행하도록 하여 불필요한 전력 낭비 또는 처리 효율 감소를 억제할 수 있도록 하기 위한 것이다. 이를 위해, 제어부(150)는 카메라부(120) 및/또는 영상 처리부(125)로 현재 입력되는 영상 신호가 어떤 용도로 이용될 것인지에 상응하는 제어 신호를 제공할 수 있다. 예를 들어, 사용자가 무접점 기능 모드의 실행을 지시한 경우 그에 따른 특정 제어 신호를 카메라부(120) 및/또는 영상 처리부(125)로 전달함으로써 일반적인 영상 촬상(예를 들어, 프리뷰 모드, 캡쳐 모드의 실행)이 아닌 무접점 기능 모드가 실행되도록 할 수 있다. 마찬가지로, 사용자가 일반적인 영상 촬상을 지시한 경우, 그에 따른 특정 제어 신호를 카메라부(120) 및/또는 영상 처리부(125)로 전달함으로써 검출 영역의 해석 및 변화 인식을 위한 일련의 처리를 수행하지 않도록 함으로써 불필요한 전력 낭비 또는 처리 효율 감소를 억제할 수 있다. 다만, 이하에서는 무접점 기능 모드 수행시의 카메라부(120) 및/또는 영상 처리부(125)의 기능을 중심으로 설명한다.Here, the position where the camera unit 120 is provided may be different from the position illustrated in FIG. 2. In addition, the camera unit 120 may be used in combination for general image capturing in addition to the purpose of executing the contactless function mode according to the present invention. In this case, it may be necessary to distinguish whether the operation of the camera unit 120 or the image processing unit 125 is for the purpose of executing the contactless function mode or for general image capturing. This allows the image processing unit 125 to perform only an operation for recognizing a change in the detection area without having to perform all processing for displaying the preview image on the display unit 110 to suppress unnecessary power waste or processing efficiency reduction. It is to make it possible. To this end, the controller 150 may provide a control signal corresponding to what purpose an image signal currently input to the camera unit 120 and / or the image processor 125 is used. For example, when a user instructs execution of a contactless function mode, a specific control signal corresponding thereto is transmitted to the camera unit 120 and / or the image processing unit 125 so that general image capturing (eg, preview mode, capture) is performed. Contactless function mode can be executed. Similarly, when the user instructs the general image capturing, the specific control signal is transmitted to the camera unit 120 and / or the image processing unit 125 so as not to perform a series of processes for analyzing the detection area and recognizing the change. By doing so, unnecessary power waste or processing efficiency reduction can be suppressed. However, the following description will focus on the functions of the camera unit 120 and / or the image processing unit 125 when performing the contactless function mode.

도 2를 참조하면, 본 발명의 바람직한 실시예에 따른 이동 통신 단말기(100)는 표시부(110), 카메라부(120), 키 입력부(130) 및 광원부(140)를 포함한다.2, the mobile communication terminal 100 according to an exemplary embodiment of the present invention includes a display unit 110, a camera unit 120, a key input unit 130, and a light source unit 140.

광원부(140)는 외부로 특정 파장의 빛을 방사한다. 광원부(140)에 의해 방사된 빛은 지시 수단(200, 예를 들어 사용자의 손가락 단부)에 의해 반사되며, 반사된 빛은 카메라부(120)의 렌즈부를 통해 입력된다. 따라서, 광원부(140)의 광 조사 각도는 앞서 설명한 바와 같이 이동 통신 단말기(100)에서 일정 거리 이격된 지시 수단에 의해 반사된 빛이 카메라부(120)를 통해 입력될 수 있는 각도로 설정되는 것이 바람직하다. The light source unit 140 emits light of a specific wavelength to the outside. The light emitted by the light source unit 140 is reflected by the indicating means 200 (for example, the fingertip of the user), and the reflected light is input through the lens unit of the camera unit 120. Therefore, as described above, the light irradiation angle of the light source unit 140 is set to an angle at which the light reflected by the indicating means spaced apart from the mobile communication terminal 100 by a predetermined distance can be input through the camera unit 120. desirable.

여기서, 광원부(140)는 제어부(150)에 의한 지시가 있는 경우에만 동작하도록 제어될 수 있다. 예를 들어, 사용자가 키 입력부(130)에 구비된 키 버튼들 중 미리 지정된 버튼을 선택(예를 들어, '메뉴'버튼(131) 또는 사이드 키(132)를 일정 시간 누름)하거나 미리 지정된 메뉴 항목을 선택하는 등의 방법으로 무접점 기능 모드의 실행을 지시한 경우, 제어부(150)는 광원부(140)가 턴온(turn-on)되도록 제어할 수 있다. 또한, 사용자가 유사한 방식에 의해 무접점 기능 모드의 종료를 지시한 경우, 제어부(150)는 광원부(140)가 턴오프(turn-off)되도록 제어할 수 있다. 이를 통해 광원부(140)가 항시 턴온되어 빛을 방사함으로써 발생할 수 있는 배터리의 불필요한 소모를 방지할 수 있게 된다. Here, the light source unit 140 may be controlled to operate only when there is an instruction by the controller 150. For example, the user selects a predetermined button among the key buttons provided in the key input unit 130 (for example, presses the 'menu' button 131 or the side key 132 for a predetermined time) or a predetermined menu. When instructing execution of the contactless function mode by selecting an item or the like, the controller 150 may control the light source unit 140 to be turned on. In addition, when the user instructs to end the contactless function mode in a similar manner, the controller 150 may control the light source unit 140 to be turned off. As a result, the light source unit 140 is always turned on to prevent unnecessary consumption of the battery that may be generated by emitting light.

또한, 제어부(150)는 카메라부(120)의 촬상 기능을 동일한 방법으로 제어할 수 있을 것이다. 즉, 일반적인 촬상 기능이 실행(즉, 프리뷰 모드 또는 캡쳐 모드의 실행)되는 경우, 제어부(150)는 영상 처리부(125) 또는 식별부에 의한 검출 영역의 해석 및 변화 인식 동작이 수행되지 않도록 제어할 수 있다.In addition, the controller 150 may control the imaging function of the camera unit 120 in the same manner. That is, when a general image capturing function is executed (that is, execution of the preview mode or the capture mode), the controller 150 may control the analysis of the detection area and the change recognition operation by the image processor 125 or the identification unit not to be performed. Can be.

물론, 본 발명에 따른 이동 통신 단말기(100)가 별도의 움직임 인식 센서(예를 들어, 모션(motion) 센서 등)를 구비하는 경우에는 무접점 기능 모드의 선택에 이를 이용할 수도 있을 것이다. 즉, 움직임 인식 센서의 일정 간격 앞에서 사용자가 미리 설정된 특정 동작(예를 들어, 1초 이내에 2회 손을 흔드는 동작 등)을 취하면, 움직임 인식 센서는 이를 감지하여 감지 신호를 제어부(150)로 전달한다. 이때, 제어부(150)는 전달된 감지 신호에 의해 사용자가 무접점 기능 모드를 선택한 것으로 판단함으로써 광원부(140), 카메라부(120) 및/또는 영상 처리부(125)의 동작을 제어할 수도 있을 것이다.Of course, when the mobile communication terminal 100 according to the present invention is provided with a separate motion recognition sensor (for example, a motion sensor, etc.) may be used to select a contactless function mode. That is, when the user takes a predetermined predetermined motion (for example, shaking his hand twice within 1 second) in front of a predetermined interval of the motion recognition sensor, the motion recognition sensor detects this and transmits a detection signal to the controller 150. To pass. In this case, the controller 150 may control the operation of the light source unit 140, the camera unit 120, and / or the image processor 125 by determining that the user selects the contactless function mode based on the transmitted detection signal. .

다만, 이하에서는 무접점 기능 선택 모드의 선택은 키 입력부(130)의 '메뉴'버튼을 통해 선택되며, 또한 무접점 기능 모드가 선택된 경우에만 광원부(140) 및 카메라부(120)가 동작하도록 제어되는 것으로 가정하여 설명한다. 물론, 영상 처리부(125) 또는 제어부(150)에 포함된 검출 영역 해석 및 변화 인식을 수행하는 식별부는 무접점 기능 모드가 실행된 경우에만 동작되도록 제어될 것이다. 이하에서는 식별부가 영상 처리부(125)에 포함된 경우를 가정하여 설명한다.However, hereinafter, the selection of the contactless function selection mode is selected through the 'menu' button of the key input unit 130, and the light source unit 140 and the camera unit 120 operate only when the contactless function mode is selected. It is assumed to be described. Of course, the identification unit that performs detection region analysis and change recognition included in the image processor 125 or the controller 150 may be controlled to operate only when the contactless function mode is executed. Hereinafter, the case where the identification unit is included in the image processing unit 125 will be described.

카메라부(120)는 외부 영상에 상응하는 영상 신호를 실시간 생성하여 출력한다. 영상 신호는 영상 처리부(125)로 입력되어 검출 영역의 변화에 대한 인식 정보(예를 들어, 이동 궤적이나 형성 면적의 변화에 대한 정보)를 생성하기 위한 영상 데이터 포맷으로 변환된다. 상기 변환된 영상 데이터 포맷은 예를 들어 YUV 데이터, RGB 데이터 등 중 어느 하나일 수 있다. 식별부는 변환된 영상 데이터를 이용하여 검출 영역을 인식하고, 현재 프레임과 이전 프레임간의 차이점을 인식하여 변화에 대한 인식 정보(예를 들어, 이동 궤적이나 형성 면적의 변화에 대한 정보)를 생성하여 제어부(150)로 입력한다. 상술한 검출 영역은 프리뷰 모드 형태로 실시간 입력되는 영상 데이터를 이용하여 인식될 수도 있으나, 연속 촬영(캡쳐 모드 형태)된 영상 데이터들을 이용하여 인식할 수도 있다. 다만, 후자의 경우는 외부 영상에 상응하는 촬영된 영상 데이터(예를 들어, JPEG, MPEG 등과 같이 미리 지정된 압축 표준에 따라 인코딩된 영상 데이터)를 생성하여야 하기 때문에 처리 속도 가 늦어질 수 있다.The camera unit 120 generates and outputs an image signal corresponding to an external image in real time. The image signal is input to the image processor 125 and is converted into an image data format for generating recognition information (eg, information about a change in the movement trajectory or the formation area) of the change in the detection area. The converted image data format may be any one of YUV data, RGB data, and the like. The identification unit recognizes the detection area using the converted image data, recognizes the difference between the current frame and the previous frame, and generates recognition information (eg, information about a change in the movement trajectory or the formation area) of the change and the control unit. Enter 150. The above-described detection area may be recognized using image data input in real time in the preview mode form, or may be recognized using image data photographed continuously (capture mode form). However, in the latter case, processing speed may be slowed because photographed image data (eg, image data encoded according to a predetermined compression standard such as JPEG, MPEG, etc.) corresponding to an external image should be generated.

키 입력부(130)는 사용자가 문자 및 숫자 데이터를 입력하기 위한 사용자 환경(User Interface)을 제공한다. 또한, 상술한 바와 같이 사용자는 키 입력부(130)의 미리 지정된 키 버튼을 이용하여 무접점 기능 모드로의 진입/해제를 설정할 수도 있다. 예들 들어, 무접점 기능 모드로의 진입/해제를 지정하기 위한 키 버튼은 각각 상이하도록 미리 지정될 수 있다. 물론, 무접점 기능 모드로의 진입/해제를 지정하기 위한 키 버튼은 동일한 키 버튼으로 지정되어 입력 횟수에 따라 진입 또는 해제로 교번적 이용될 수도 있다. 또한, 미리 지정된 버튼이 눌려지고 있는 동안에만 무접점 기능 모드로 동작하도록 미리 설정될 수도 있다. 또한, 무접점 기능 모드로의 진입/해제가 미리 지정된 키 버튼의 누름에 의해 결정되지 않고, 제어부(150)의 제어에 의해 결정될 수도 있음은 앞서 설명한 바와 같다.The key input unit 130 provides a user interface for a user to input text and numeric data. In addition, as described above, the user may set entry / release to the contactless function mode by using a predetermined key button of the key input unit 130. For example, the key buttons for designating entry / release into the contactless function mode may be previously designated to be different from each other. Of course, the key button for designating the entry / release to the contactless function mode may be designated as the same key button and may be alternately used as entry or release according to the number of inputs. It may also be preset to operate in the contactless function mode only while the predetermined button is being pressed. In addition, as described above, the entry / release of the contactless function mode may not be determined by pressing a predetermined key button but may be determined by the control of the controller 150.

본 발명에 따른 이동 통신 단말기(100)가 무접점 기능 모드를 이용하여 표시부(110)에 디스플레이된 메뉴 항목(예를 들어, 도 2의 화면 111에 예시된 각 메뉴 항목)을 선택하고 실행 개시를 지시할 수 있으므로, 도 2에 예시된 바와 같이 키 패드에서 메뉴 항목의 선택을 위한 각종 기능 버튼(예를 들어, 전화 통화 버튼, 인터넷 접속 버튼 등) 및/또는 메뉴 이동을 위한 방향키 버튼 등이 생략될 수 있다.The mobile communication terminal 100 according to the present invention selects a menu item (for example, each menu item illustrated on the screen 111 of FIG. 2) displayed on the display unit 110 using the contactless function mode and starts execution. As illustrated in FIG. 2, various function buttons (for example, a telephone call button, an internet access button, etc.) and / or a direction key button for moving a menu are omitted from the keypad as illustrated in FIG. 2. Can be.

다만, 사용자에 편의를 제공하기 위해 또는 본 발명에 따른 무접점 기능 모드의 실행을 통해 인식될 수 없는 기능(예를 들어, 이동 통신 단말기의 전원의 턴온(turn-on) 등)의 수행을 위해 필요한 일부 기능 버튼은 키 패드에 포함시킬 수 있음은 물론이다. 즉, 본 발명에 따른 키 입력부(130)의 구성 또는 형태는 사용자 의 요구, 기능 선택의 편리성, 이동 통신 단말기의 디자인 상의 효율 등을 다각적으로 고려하여 결정할 문제로서, 도 2에 예시된 형태 이외에도 다양한 변형이 가능함은 자명하다. 이러한 이유로 도 2에 도시된 키 입력부(130)의 경우에도 문자 및 숫자 데이터의 입력을 위한 버튼들 외에 일부 기능 버튼(예를 들어,'메뉴'버튼(131) 및 '전원'버튼(133))이 구비된 형태를 예시하고 있는 것이다.However, to provide convenience to a user or to perform a function (for example, turn-on of a power source of a mobile communication terminal) that cannot be recognized through execution of a contactless function mode according to the present invention. Of course, some necessary function buttons can be included in the keypad. That is, the configuration or form of the key input unit 130 according to the present invention is a problem to be determined in consideration of the user's request, convenience of function selection, design efficiency of the mobile communication terminal, and the like, in addition to the form illustrated in FIG. It is obvious that various modifications are possible. For this reason, even in the case of the key input unit 130 shown in FIG. 2, some function buttons (for example, the 'menu' button 131 and the 'power' button 133) in addition to the buttons for inputting the alphanumeric data. It is illustrating the form provided.

상술한 바와 같이, 본 발명에 따른 무접점 기능 모드의 실행이 가능한 이동 통신 단말기(100)는 기능 버튼 등이 존재하던 공간만큼을 제거하거나 다른 용도로 사용할 수 있어 이동 통신 단말기의 소형화 및 디자인상의 다양성을 기할 수 있게 된다. 물론, 생략가능한 다양한 기능 버튼이 사용자 편의를 위해 키 패드에 포함되도록 할 수도 있음은 자명하다.As described above, the mobile communication terminal 100 capable of executing the contactless function mode according to the present invention can be removed or used for other purposes as long as the function button or the like existed. You will be able to. Of course, it is obvious that various omitable function buttons may be included in the keypad for user convenience.

또한, 본 발명에 따른 표시부(110)는 사용자가 무접점 기능 모드(mode)의 실행을 지시한 경우, 메뉴 아이콘(menu icon)들을 화면상의 전부 또는 일부(이하, '메뉴 아이콘 표시 영역(111)'이라 함)에 표시할 수 있다. 예를 들어, 사용자가 키 입력부(130)의 미리 지정된 버튼 또는 메뉴 항목을 선택함으로써 무접점 기능 모드의 실행을 지시하면, 표시부(110)를 통해 표시되는 초기 화면이 도 2에 예시된 메뉴 아이콘 표시 영역(111)이 포함된 화면으로 전환될 수 있다. 물론, 메뉴 아이콘 표시 영역(111)이 포함된 화면 자체가 초기 화면으로 이용되거나, 초기 화면의 구성 방법은 다양하게 변형되어 적용될 수 있음은 자명하다. 이하에서는 무접점 기능 모드가 실행된 경우 표시부(110) 전체를 통해 메뉴 아이콘 표시 영역(111)이 표시되는 경우를 가정하여 설명한다.In addition, when the user instructs execution of the contactless function mode, the display unit 110 according to the present invention displays all or part of the menu icons on the screen (hereinafter, 'menu icon display area 111'). '). For example, when the user instructs execution of the contactless function mode by selecting a predetermined button or menu item of the key input unit 130, the initial screen displayed through the display unit 110 displays the menu icon illustrated in FIG. 2. The display may include a screen including the region 111. Of course, it is obvious that the screen itself including the menu icon display area 111 may be used as the initial screen or the configuration method of the initial screen may be variously modified and applied. In the following description, it is assumed that the menu icon display area 111 is displayed through the entire display unit 110 when the contactless function mode is executed.

또한, 메뉴 아이콘 표시 영역(111)에는 이동 통신 단말기가 구비하고 있는 모든 기능을 개별적으로 실행하도록 지정된 모든 메뉴 아이콘들이 표시될 수도 있지만, 이하에서는 도 2에서 예시하는 바와 같이 9개의 구분 영역으로 나뉘어 표시되는 것으로 가정한다. 이처럼 메뉴 아이콘 표시 영역(111)이 도 2에 예시된 것과 같이 9개의 구분 영역으로 나뉘어 각 기능에 상응하는 메뉴 아이콘을 표시하는 경우, 사용자는 이동 통신 단말기가 구비하는 각종 기능 중 사용 빈도가 잦은 9개의 기능을 선택하여 표시되도록 할 수도 있을 것이다.In addition, the menu icon display area 111 may display all menu icons designated to individually execute all the functions of the mobile communication terminal, but are divided into nine divided areas as illustrated in FIG. 2 below. Assume that As described above, when the menu icon display area 111 is divided into nine division areas as illustrated in FIG. 2 to display a menu icon corresponding to each function, the user may frequently use 9 of the various functions included in the mobile communication terminal. It may be possible to select and display four functions.

따라서, 본 발명에 따른 무접점 기능 모드의 실행이 가능한 이동 통신 단말기(100)에서 표시부(110)에 표시되는 메뉴 아이콘 표시 영역(111)은 미리 설정된 메뉴 아이콘들이 표시되거나, 사용자에 의해 취사 선택된 메뉴 아이콘들이 표시될 수도 있다. 예를 들어, 키 입력부(130)가 차지하는 공간 또는 별도의 공간을 통해 메뉴 아이콘 변경을 위한 버튼 등을 구비하거나 이미 구비된 키 버튼이 해당 용도를 위해 이용되도록 하는 방법으로 메뉴 아이콘들의 취사 선택이 가능할 것이다.Therefore, in the mobile communication terminal 100 capable of executing the contactless function mode according to the present invention, the menu icon display area 111 displayed on the display unit 110 is displayed with preset menu icons or a menu selected by the user. Icons may be displayed. For example, it may be possible to select menu icons by providing a button for changing a menu icon through a space occupied by the key input unit 130 or a separate space, or by using a key button that is already provided for the purpose. will be.

도 3 내지 도 5는 본 발명에 따른 무접점 기능 모드의 동작 원리를 예시한 도면이다. 도 3 내지 도 5는 사용자에 의해 무접점 기능 모드의 실행이 개시된 후, 사용자가 지시 수단(200)을 이용하여 본 발명에 따른 무접점 기능이 실행되도록 하는 과정을 예시한 것이다.3 to 5 illustrate the operating principle of the contactless function mode according to the present invention. 3 to 5 illustrate a process of allowing a user to execute the contactless function according to the present invention by using the indicating means 200 after the execution of the contactless function mode by the user.

여기서, 지시 수단(200)으로 이용될 수 있는 객체(object)는 제한되지 않으며,광원부(140)로부터 방사되는 빛을 반사시켜 카메라부(120)로 입력할 수 있으면 충분하다. 다만, 이하에서는 지시 수단(200)이 사용자의 손가락인 것으로 가정한다. 또한, 도 3 및 도 4에서는 설명의 편의를 위해 본 발명에 따른 무접점 기능 선택이 가능한 장치 중 카메라부(120)만을 별도로 도시하였다.Here, the object (object) that can be used as the indicating means 200 is not limited, it is sufficient to reflect the light emitted from the light source unit 140 and input to the camera unit 120. However, hereinafter, it is assumed that the indicating means 200 is a user's finger. 3 and 4 separately illustrate only the camera unit 120 among devices capable of selecting a contactless function according to the present invention for convenience of description.

사용자는 무접점 기능 모드의 실행을 지시한 후, 도 3에서와 같이 카메라부(120) 앞에 손가락을 위치시킨다. 이 경우 광원부(140)로부터 방사된 특정 파장의 빛이 사용자의 손가락에 반사되어 카메라부(120)로 입력된다. 카메라부(120)로 입력된 광학적 영상 정보는 영상 신호로 변환되어 영상 처리부(125)로 입력된다. 영상 처리부(125)는 입력된 영상 신호를 검출 영역의 해석 및 변화 인식을 위한 영상 데이터로 변환한다. 변환된 영상 데이터는 예를 들어 YUV 영상 데이터, RGB 데이터 등 중 어느 하나일 수 있다. 카메라부(120)의 뷰 앵글(view angle) 및 광원부(140)의 빛 방사 각도는 미리 지정될 수 있다. 예를 들어, 카메라부(120)의 뷰 앵글(view angle) 및 광원부(140)의 빛 방사 각도는 각각 120도로 설정될 수 있다. 물론, 뷰 앵글(view angle) 및 빛 방사 각도는 다양하게 변형 가능하다. After instructing the user to execute the contactless function mode, the user places a finger in front of the camera unit 120 as shown in FIG. 3. In this case, light of a specific wavelength emitted from the light source unit 140 is reflected by the user's finger and input to the camera unit 120. The optical image information input to the camera unit 120 is converted into an image signal and input to the image processor 125. The image processor 125 converts the input image signal into image data for analyzing the detection area and recognizing the change. The converted image data may be any one of YUV image data, RGB data, and the like. The view angle of the camera unit 120 and the light emission angle of the light source unit 140 may be predetermined. For example, the view angle of the camera unit 120 and the light emission angle of the light source unit 140 may be set to 120 degrees, respectively. Of course, the view angle and the light emission angle can be variously modified.

이때, 광원부(140)로부터 방사된 특정 파장의 빛 중 에 손가락에 의해 반사된 빛이 렌즈부에 영상으로 맺히게 되며, 반사된 빛이 형성하는 영역은 입력 영상의 다른 부분과 구별되는 정보(예를 들어, 파장이나 휘도가 상이함)를 가질 것이다. 각 프레임의 영상 데이터에서 반사된 빛에 의해 형성된 검출 영역을 인식함으로써 순차적인 프레임간의 검출 영역의 변화 정보(예를 들어, 이동 궤적 및/또는 형성 면적 등)를 인식할 수 있다. 따라서, 검출 영역은 손가락의 이동 궤적 및/또는 이동 방향에 상응하도록 형성될 것이다.At this time, the light reflected by the finger among the light of the specific wavelength emitted from the light source unit 140 forms an image on the lens unit, and the area formed by the reflected light is distinguished from other parts of the input image (for example, For example, wavelengths or luminances differ). By recognizing the detection area formed by the light reflected from the image data of each frame, it is possible to recognize the change information (for example, the movement trajectory and / or the formation area, etc.) of the detection areas between the frames sequentially. Therefore, the detection area may be formed to correspond to the movement trajectory and / or the movement direction of the finger.

예를 들어, 식별부는 특정 파장의 영역만이 검출되도록 하는 필터링 과정을 수행함으로써 검출 영역을 특정하고 각 프레임간의 검출 영역의 변화 정보를 인식할 수 있을 것이다. 또는 식별부는 각 프레임의 영상 데이터 중에서 특정 휘도 성분을 가지는 영역을 검출함으로써 검출 영역을 특정하고 각 프레임간의 검출 영역의 변화 정보를 인식할 수도 있을 것이다. 검출 영역을 특정하기 위한 파장 또는 휘도의 유효 범위는 미리 지정될 수 있고, 해당 범위 내의 파장 성분 또는 휘도 성분에 상응하는 픽셀들의 위치를 인식함으로써 검출 영역을 특정할 수 있다. For example, the identification unit may specify a detection area and recognize change information of the detection area between each frame by performing a filtering process such that only an area of a specific wavelength is detected. Alternatively, the identification unit may identify a detection area by detecting a region having a specific luminance component among the image data of each frame and recognize change information of the detection region between each frame. The effective range of the wavelength or luminance for specifying the detection region may be specified in advance, and the detection region may be specified by recognizing the positions of pixels corresponding to the wavelength component or the luminance component within the range.

여기서, 검출 영역의 이동 궤적은 예를 들어 반사된 빛에 의해 형성된 검출 영역의 중심점이 각 프레임에서 어떻게 변화하고 있는지를 이용하여 판단될 수 있다. 또한, 검출 영역의 형성 면적은 예를 들어 각 프레임의 영상 데이터에서 검출 영역의 외곽선으로 형성된 도형의 면적을 이용하여 판단되거나, 검출 영역 내에 포함된 픽셀들의 수를 이용하여 판단될 수 있을 것이다.Here, the movement trajectory of the detection area may be determined using, for example, how the center point of the detection area formed by the reflected light is changing in each frame. In addition, the formation area of the detection area may be determined using, for example, an area of a figure formed as an outline of the detection area in the image data of each frame, or may be determined using the number of pixels included in the detection area.

상술한 검출 영역의 형성 면적이 프레임간에 상이한 경우 이를 프레스(press)/릴리스(Release)로 인식되도록 할 수 있다. 예를 들어, 표시부(110)에 어느 하나의 메뉴 항목이 확장되어 표시(예를 들어, 도 2의 '전화기능')되거나 포인터가 어느 하나의 메뉴 항목을 지시하는 상태에서, 검출 영역의 면적이 짧은 시간 내에 증가(즉, 손가락이 짧은 시간내에 렌즈부 방향으로 이동)된 경우 해당 메뉴 항목이 선택(프레스)된 것으로 인식될 수 있다. 또는 표시부(110)에 어느 하나의 메뉴 항목이 확장되어 표시(예를 들어, 도 2의 '전화기능')되거나 포인터가 이미 선택된 메뉴 항목을 지시하는 상태에서, 검출 영역의 면적이 짧은 시간 내에 감 소(즉, 손가락이 짧은 시간내에 렌즈부의 반대 방향으로 이동)된 경우 해당 메뉴 항목의 선택이 해제(릴리스)된 것으로 인식될 수 있다. 검출 영역의 형성 면적의 증가 또는 감소는 각 프레임 단위로 산출된 형성 면적을 연속된 프레임간에 비교함으로써 판단될 수 있다. 다만, 판단의 정확도를 위해 연속된 몇 개의 프레임에서 증가 또는 감소가 지속적으로 인식되는 경우에만 프레스 또는 릴리스된 것으로 인식할 수도 있을 것이다.If the formation area of the above-described detection region is different between frames, it can be recognized as a press / release. For example, in a state in which one menu item is expanded and displayed on the display unit 110 (for example, 'telephone function' of FIG. 2) or when the pointer indicates one menu item, the area of the detection area is increased. If it is increased within a short time (that is, the finger is moved toward the lens in a short time), the corresponding menu item may be recognized as selected (pressed). Alternatively, the area of the detection area decreases within a short time in a state in which one menu item is expanded and displayed on the display unit 110 (for example, 'telephone function' of FIG. 2) or the pointer indicates a menu item that is already selected. When the small (ie, the finger is moved in the opposite direction of the lens portion in a short time), it can be recognized that the selection of the corresponding menu item is released (released). The increase or decrease in the formation area of the detection area can be determined by comparing the formation area calculated in units of frames between successive frames. However, for accuracy of judgment, it may be recognized as being pressed or released only when the increase or decrease is continuously recognized in several consecutive frames.

도 4의 경우, 도 3과 비교할 때 사용자의 손가락이 카메라부(120)의 렌즈부쪽으로 보다 근접되어 위치한 것을 알 수 있다. 사용자 손가락의 위치가 도 3의 위치에서 도 4의 위치로 이동한 것이라 가정하면, 사용자의 손가락에 의해 반사된 빛이 형성하는 검출 영역이 각 프레임에서 점차 증가되고 있을 것이다. 이 경우, 식별부는 이에 상응하는 인식 정보를 생성하여 제어부(150)로 입력할 것이고, 제어부(150)는 선택된 메뉴 항목이 선택된 것으로 인식하여 해당 메뉴 항목에 상응하는 기능(또는 어플리케이션)이 구동되도록 할 수 있다. 다만, 사용자가 손가락을 렌즈부에서 일정 거리 이격한 상태에서 무접점 기능 모드를 이용할 때 손가락의 위치가 상방 또는 하방으로 일정 간격에서 흔들릴 수 있으므로 프레스로 인식하기 위한 기준(즉, 선택 범위)을 미리 설정할 수 있다. 여기서, 선택 범위는 제조자에 의해 카메라부(120) 앞의 소정의 거리로 미리 설정될 수 있다. 이를 통해, 사용자는 카메라부(120)의 렌즈부 상방에 구현된 가상의 키 버튼을 누르는 것과 같은 동작을 취함으로써 선택된 메뉴 항목이 선택 또는 실행되도록 할 수 있다. In the case of FIG. 4, it can be seen that the user's finger is located closer to the lens unit of the camera unit 120 as compared to FIG. 3. Assuming that the position of the user's finger has moved from the position of FIG. 3 to the position of FIG. 4, the detection area formed by the light reflected by the user's finger will gradually increase in each frame. In this case, the identification unit generates the corresponding recognition information and inputs it to the controller 150. The controller 150 recognizes that the selected menu item is selected so that a function (or application) corresponding to the menu item is driven. Can be. However, when the user uses the contactless function mode with the finger away from the lens part, the position of the finger may be shaken upward or downward at a predetermined interval. Can be set. Here, the selection range may be preset by the manufacturer at a predetermined distance in front of the camera unit 120. In this way, the user may select or execute the selected menu item by performing an operation such as pressing a virtual key button implemented above the lens unit of the camera unit 120.

이때, 제어부(150)는 입력되는 각 영상 프레임에서 손가락의 위치에 따른 검 출 영역의 형성 면적 비교를 통해 사용자의 무접점 기능 선택 여부를 판단하게 된다. 즉, 제어부(150)는 입력 영상에서 손가락이 차지하는 영역의 면적이 연속 입력되는 각 영상 프레임의 순서대로 점차 커지는 경우, 사용자가 임의의 메뉴 항목 또는 아이콘 등에 대한 선택을 의도한 것으로 인식할 수 있다.In this case, the controller 150 determines whether the user selects the contactless function by comparing the formation area of the detection area according to the position of the finger in each input image frame. That is, the controller 150 may recognize that the user intends to select an arbitrary menu item or icon when the area of the area occupied by the finger in the input image gradually increases in the order of the respective image frames.

이러한 본 발명에 따른 무접점 기능 선택의 원리는 이하의 도 5에 대한 설명을 통해 보다 분명해질 것이다.The principle of the contactless function selection according to the present invention will become more apparent from the description of FIG. 5 below.

도 5를 참조하면, 참조번호 500은 설명의 편의를 위해 사용자의 손가락 단부를 점(point)으로 나타낸 것이다. 또한, 참조번호 510 및 참조번호 520은 사용자에 의한 손가락 단부의 수평 이동을 나타낸 것이며, 참조번호 530은 손가락 단부의 수직 이동을 나타낸 것이다. 물론, 이외에도 손가락 단부가 회전 이동(시계방향 및/또는 반시계 방향)될 수도 있으나, 이에 대한 설명은 생략한다.Referring to FIG. 5, reference numeral 500 denotes a point of a user's finger point for convenience of description. Reference numerals 510 and 520 denote horizontal movements of the fingertips by the user, and reference numeral 530 denotes vertical movements of the fingertips. Of course, in addition to the finger end may be rotated (clockwise and / or counterclockwise), the description thereof will be omitted.

여기서, 수평 이동(회전 이동을 포함함)이란 카메라부(120)의 렌즈부가 구비된 평면으로부터의 일정한(또는 오차 범위 이내의) 수직 거리상에서 이동되는 사용자의 손가락 단부의 모든 움직임 궤적(locus)을 의미한다. 따라서, 도 5에서는 손가락 단부의 수평 이동 중 좌우 이동(참조번호 510) 및 상하 이동(참조번호 520)만을 예시하고 있지만, 수평 이동이란 이에 한정되지 않고 회전 이동 등과 같이 손가락 단부의 움직임에 따른 다양한 궤적 및 방향을 포괄하는 것임은 물론이다.Here, horizontal movement (including rotation movement) refers to all movement loci of the user's fingertips that are moved on a constant (or within an error range) vertical distance from a plane provided with the lens portion of the camera unit 120. it means. Therefore, in FIG. 5, only the left and right movements (reference number 510) and the up and down movements (reference number 520) are illustrated as horizontal movements of the fingertips. And encompassing the direction, of course.

또한, 수직 이동이란 손가락 단부가 카메라부(120)의 렌즈부가 구비된 평면으로부터 가까이 또는 멀리 이동되도록 하는 사용자의 동작을 의미한다. 즉, 수직 이동은 사용자가 카메라부(120) 앞의 선택 범위 내의 공간 상에 존재하는 기능 선 택을 위한 가상의 키 버튼을 누르거나 해제하는 듯한 동작을 취함을 의미하는 것이다.In addition, the vertical movement refers to an operation of the user to move the finger end closer or farther from the plane provided with the lens unit of the camera unit 120. In other words, the vertical movement means that the user takes an operation of pressing or releasing a virtual key button for selecting a function existing in a space within a selection range in front of the camera unit 120.

손가락 단부의 수평 이동 및 수직 이동에 따른 이동 궤적이나 형성 면적은 카메라부(120)를 통해 연속적으로 입력되는 외부 영상에 상응하는 영상 데이터를 이용하여 해석된다. 즉, 식별부는 연속적으로 입력되는 각 프레임에 상응하는 영상 데이터를 분석함으로써 검출 영역의 이동 궤적 및 형성 면적의 변화를 인식할 수 있다. 이동 궤적 분석시 예를 들어 검출 영역의 중심점이 이용될 수 있고, 형성 면적 분석시 예를 들어 외곽선이 형성한 도형의 면적 또는 검출 영역에 포함된 픽셀 수가 이용될 수 있음은 앞서 설명한 바와 같다.The movement trajectory or the formation area according to the horizontal movement and the vertical movement of the finger end is interpreted using image data corresponding to an external image continuously input through the camera unit 120. That is, the identification unit may recognize a change in the movement trajectory and the formation area of the detection area by analyzing image data corresponding to each frame which is continuously input. As described above, for example, the center point of the detection area may be used for the movement trajectory analysis, and the area of the figure formed by the outline or the number of pixels included in the detection area may be used for the analysis of the formation area.

이때, 인식된 손가락 단부의 이동 궤적에 따라 표시부(110)의 정보 표시 상태가 변경되어 디스플레이될 수 있다. 예를 들어, 본 발명에 따른 무접점 기능 모드가 개시되면 표시부(110)에 마우스 포인터와 유사한 포인터가 디스플레이되는 경우, 인식된 검출 영역의 이동 궤적에 상응하도록 포인터가 이동되어 디스플레이되도록 할 수 있다. 또한, 도 2에 예시된 바와 같이 선택된 메뉴 항목이 상대적으로 확대되어 표시되는 경우, 인식된 검출 영역의 이동 궤적에 상응하는 메뉴 항목이 상대적으로 확대되어 표시(예를 들어, 검출 영역이 좌측으로 이동된 것으로 인식되면, 좌측에 위치한 메뉴 항목이 확대되어 표시)되도록 할 수도 있다. 물론, 검출 영역의 이동 궤적에 상응하는 메뉴 항목의 표시 방법은 예를 들어 색상 또는 폰트의 크기 등을 달리하거나 점멸되어 표시되도록 하는 등 다양할 수 있다.In this case, the information display state of the display unit 110 may be changed and displayed according to the movement trajectory of the recognized finger end. For example, when the contactless function mode according to the present invention is started, when a pointer similar to a mouse pointer is displayed on the display unit 110, the pointer may be moved and displayed to correspond to the movement trajectory of the recognized detection area. In addition, when the selected menu item is relatively enlarged and displayed as illustrated in FIG. 2, the menu item corresponding to the movement trajectory of the recognized detection area is relatively enlarged to display (for example, the detection area is moved to the left side). If it is recognized, the menu item located on the left side may be enlarged and displayed. Of course, the display method of the menu item corresponding to the movement trajectory of the detection area may be varied, for example, such that the color or font size is changed or flickered.

따라서, 사용자는 선택 또는 실행하고자 하는 기능에 대응되는 메뉴 아이콘 이 위치한 방향으로 손가락 단부를 수평 이동 또는 회전 이동 시킴으로써 해당 메뉴 아이콘을 선택할 수 있다. 이 경우, 메뉴 아이콘 표시 영역(111)의 메뉴 아이콘도 각 프레임의 입력 영상에서의 손가락 단부의 이동 궤적에 상응하여 이와 동시에 동일한 궤적을 그리면서 순서대로 구별되어 표시(이동)될 수 있다. 이를 통해 사용자는 자신이 의도하는 기능의 무접점 선택을 보다 빠르고 정확하게 할 수 있게 된다.Accordingly, the user may select the menu icon by horizontally moving or rotating the finger end in the direction in which the menu icon corresponding to the function to be selected or executed is located. In this case, the menu icons of the menu icon display area 111 may also be distinguished and displayed (moved) in order while simultaneously drawing the same trajectories corresponding to the movement trajectories of the fingertips in the input image of each frame. This allows the user to make contactless selection of their intended functions faster and more accurately.

상술한 과정을 통해 원하는 메뉴 아이콘이 특정되면(즉, 해당 메뉴 아이콘으로 이동), 사용자는 도 5의 참조번호 530과 같이 선택 범위 내로 손가락 단부를 이동시킨다. 이러한 수직 이동 동작은 사용자가 키 버튼을 누르는 동작과 대응되는 것으로서, 이를 통해 제어부(150)는 사용자에 의해 선택된 메뉴 아이콘에 상응하는 기능 또는 어플리케이션이 실행되도록 지시되었음을 인식할 수 있다. 이는 연속된 프레임에서 검출 영역의 형성 면적이 점차 증가함을 인식함으로써 판단된다.When the desired menu icon is specified through the above-described process (ie, moving to the corresponding menu icon), the user moves the finger end within the selection range as shown by reference numeral 530 of FIG. 5. The vertical movement operation corresponds to an operation of pressing a key button by the user, and through this, the controller 150 may recognize that a function or an application corresponding to a menu icon selected by the user is instructed to be executed. This is determined by recognizing that the formation area of the detection area gradually increases in successive frames.

이와 마찬가지로, 사용자는 무접점 기능 모드를 이용하여 특정된 메뉴 아이콘 등의 특정을 해제할 수도 있다. 예를 들어, 사용자가 전화번호부에 저장된 복수의 인명 정보를 일괄 삭제하기 위해 상술한 방법으로 복수의 인명 정보를 특정(예를 들어, 어느 하나의 인명 정보를 특정하고 프레스 동작을 수행하여 특정)한 후, 어느 하나의 인명 정보를 보관하기 위해 특정을 해소하고자 하는 경우 포인터 등이 해당 인명 정보에 위치하도록 한 후 참조번호 530의 역방향으로 손가락 단부를 이동시킴으로써 해당 인명 정보의 특정이 해제(릴리스)되도록 할 수도 있다. 이는 연속된 프레임에서 검출 영역의 형성 면적이 점차 감소함을 인식함으로써 판단될 수 있다.Similarly, the user may release the specification of the specified menu icon or the like using the contactless function mode. For example, in order to collectively delete a plurality of personal information stored in the phone book, a user may specify a plurality of personal information by using the above-described method (for example, by specifying any one personal information and performing a press operation). Then, if you want to resolve the specific to keep any one person's personal information, so that the pointer or the like is located in the personal information, then move the finger end in the reverse direction of the reference number 530 so that the specification of the personal information is released (released) You may. This can be determined by recognizing that the formation area of the detection area gradually decreases in successive frames.

여기서, 제어부(150)는 무접점 기능 선택 여부의 보다 정확한 판단을 위해 입력 영상에서 검출 영역의 형성 면적의 크기 변화율을 이용할 수도 있다. 예를 들어, 소정의 시간 이내에 입력된 각 프레임의 입력 영상에서 지시 수단이 촬상된 영역의 면적간 크기 변화율이 미리 설정된 범위(비율) 이상일 경우를 제어부(150)는 사용자에 의해 프레스 또는 릴리스 등의 무접점 기능 선택(즉, 수직 이동)이 이루어진 것으로 인식하는 것이다. Here, the controller 150 may use the rate of change of the size of the formation area of the detection area in the input image for more accurate determination of whether the contactless function is selected. For example, in a case where the rate of change in size between the areas of the area where the indicating means is picked up in the input image of each frame input within a predetermined time is equal to or greater than a preset range (ratio), the controller 150 may press or release by the user. Recognizing that contactless function selection (ie vertical movement) has been made.

이러한 면적간 크기 변화율을 이용함으로써 사용자가 어떠한 지시 수단을 사용하는지와 관계없이 정확한 무접점 기능 선택의 판단을 할 수 있을 것이다. 예를 들어, 단부에 자체 발광부를 갖는 지시 수단을 이용하는 경우에는 상술한 바와 달리 지시 수단과 카메라부(120)간 거리가 가까워지거나 멀어짐에 따라 검출 영역의 면적이 증가 또는 감소할 것이다. 이는 지시 수단의 자체 발광부에서 방사되는 빛이 직접 카메라부(120)에 입력되므로, 입력 영상에서 특정 밝기 성분이 검출되는 영역은 지시 수단과 카메라부(120)간 거리에 비례하여 형성될 수 있기 때문이다. 따라서, 이러한 경우에도 검출 영역의 크기 변화율을 이용하게 되면, 지시 수단과 카메라부(120)간 거리가 가까워짐에 따라 검출 영역의 면적이 증가하는 방향을 갖는지 또는 감소하는 방향을 갖는지와 관계없이 무접점 기능 선택 여부의 정확한 인식이 가능해질 수 있다.By using the area-to-area size change rate, it is possible to make an accurate determination of the contactless function selection regardless of the indicating means used by the user. For example, in the case of using the indicating means having its own light emitting portion at the end, as described above, the area of the detection area will increase or decrease as the distance between the indicating means and the camera portion 120 approaches or increases. This is because light emitted from the self-light emitting unit of the indicating means is directly input to the camera unit 120, the area where a specific brightness component is detected in the input image may be formed in proportion to the distance between the indicating means and the camera unit 120 Because. Therefore, even in such a case, if the rate of change of the detection area is used, the contactless state is obtained regardless of whether the area of the detection area increases or decreases as the distance between the indicating means and the camera unit 120 approaches. Accurate recognition of whether a function is selected may be enabled.

이상에서 설명한 방법 이외에도 각 프레임의 입력 영상에서의 손가락 단부에상응하는 검출 영역이 차지하는 면적 및 그 위치 변화를 이용하는 것이라면, 그 구 현 방법을 불문하고 본 발명에 이용될 수 있음은 자명하다. 예를 들어, 사용자가 손가락으로 버튼을 클릭(click)하는 것과 같은 동작을 취함에 따라, 소정의 시간 내에 입력된 각 영상 프레임에서의 검출 영역이 차지하는 영역이 소정의 비율 이상으로 증가하였다가 다시 감소하는 경우를 무접점 기능 선택한 것으로 인식할 수도 있을 것이다. 즉, 이는 사용자가 지시 수단을 소정의 선택 범위 내로 위치시켰다가 다시 선택 범위 밖으로 위치시키는 동작을 소정의 시간 이내에 완료할 때를 무접점 기능 선택한 것으로 설정한 경우이다.In addition to the above-described method, if the area occupied by the detection area corresponding to the fingertip in the input image of each frame and its positional change are used, it can be used in the present invention regardless of the implementation method. For example, as a user takes an action such as clicking a button with a finger, an area occupied by a detection area in each image frame input within a predetermined time increases and then decreases again over a predetermined ratio. It may be recognized that the contactless function is selected. That is, this is a case where the user sets the contactless function selection when the user places the indicating means within the predetermined selection range and then again moves out of the selection range within a predetermined time.

도 6a 및 도 6b는 본 발명의 다른 실시예에 따른 이동 통신 단말기의 외형 및 무접점 기능 선택의 사용 상태를 나타낸 도면이다.6A and 6B illustrate a state of use of appearance and contactless function selection of a mobile communication terminal according to another embodiment of the present invention.

도 6a를 참조하면, 도 2와 달리 카메라부(120) 및 광원부(140)가 키 입력부(130)가 형성되는 키 패드 내의 소정의 공간 상에 위치하고 있다. 물론, 이 경우에도 상술한 본 발명에 따른 무접점 기능 선택의 원리가 그대로 적용될 수 있다. 다만, 카메라부(120) 및 광원부(140)를 도 6a와 같이 배치시킴으로써 상술한 무접점 기능 선택 방법 중 일부 과정을 생략가능한 이점이 있다.Referring to FIG. 6A, unlike FIG. 2, the camera unit 120 and the light source unit 140 are positioned in a predetermined space in a key pad where the key input unit 130 is formed. Of course, even in this case, the principle of the contactless function selection according to the present invention described above may be applied as it is. However, by arranging the camera unit 120 and the light source unit 140 as shown in FIG. 6A, some of the above-described non-contact function selection methods may be omitted.

예를 들어, 선택 범위 내의 공간 상에 형성되는 가상의 키 버튼과 키 패드에 실제로 형성된 각 숫자 버튼의 위치가 1 대 1로 대응되도록 카메라부(120)의 초점 및 광원부(140)의 광 방사 각도를 미리 설정할 수 있다. 이러한 경우, 사용자는 선택하고자 하는 기능(메뉴 아이콘)이 표시된 위치로 손가락 단부를 수평 이동시킬 필요가 없을 것이다. 즉, 사용자는 선택하고자 하는 메뉴 아이콘(예를 들어, 전화 통화 아이콘)의 해당 번호(도 2의 경우는 1번)와 동일한 숫자 버튼(1번 버튼) 상의 공간에 손가락 단부를 바로 위치시킴으로써 해당 기능(전화 통화 기능)을 선택할 수 있다.For example, the focus of the camera unit 120 and the light emission angle of the light source unit 140 so that the positions of the virtual key buttons formed on the space within the selection range and the number buttons actually formed on the keypad correspond one to one. Can be set in advance. In this case, the user will not need to horizontally move the fingertip to the position where the function (menu icon) to be selected is displayed. That is, the user places the finger tip directly in the space on the same number button (button 1) as the corresponding number of the menu icon (for example, the phone call icon) to be selected (number 1 in FIG. 2). You can select (Phone call function).

물론, 일반적으로 키 버튼을 연속적으로 누를 때, 키 버튼을 누른 후 손가락이 이동 통신 단말기(100)에서 멀어졌다가 다음 키 버튼을 누르는 것과 같이, 각 키 버튼의 위치에 대응하여 검출 영역이 일정 면적 이상인 경우에만 해당 키 버튼이 선택된 것으로 인식할 수도 있을 것이다. 즉, 이 경우에도 상술한 도 3 내지 도 5의 전과정이 수행될 수도 있을 것이나, 이 경우에도 사용자에 의한 손가락 단부의 수평 이동 궤적이 짧아져 제어부(150)의 입력 영상의 해석에 따른 부담을 많은 부분 줄일 수 있다.Of course, in general, when the key button is continuously pressed, the detection area corresponds to the position of each key button such that the finger moves away from the mobile communication terminal 100 after pressing the key button and then presses the next key button. Only in this case, the corresponding key button may be recognized as selected. That is, even in this case, the entire process of FIG. 3 to FIG. 5 may be performed, but even in this case, the horizontal movement trajectory of the fingertip is shortened by the user, thereby increasing the burden on the interpretation of the input image of the controller 150. Can be reduced partly.

또한, 도 6b는 도 6a와 달리 카메라부(120) 및 광원부(140)가 키 입력부(130)가 형성되는 키 패드 내의 소정의 공간 상에 독립적으로 위치하지 않고, 하나의 키 버튼 영역을 공유하는 경우를 예시한 도면이다. 카메라부(120) 및 광원부(140)가 소형화됨에 따라 하나의 키 버튼(예를 들어, 5번 버튼)의 일 영역에 형성될 수 있어 도 6a와 같이 별도의 영역을 점유할 필요가 없을 수 있기 때문이다.In addition, unlike FIG. 6A, unlike FIG. 6A, the camera unit 120 and the light source unit 140 do not independently position a predetermined space in a key pad where the key input unit 130 is formed, and share one key button area. The figure illustrates the case. As the camera unit 120 and the light source unit 140 are miniaturized, the camera unit 120 and the light source unit 140 may be formed in one region of one key button (for example, button 5), and thus may not need to occupy a separate region as illustrated in FIG. 6A. Because.

도 7은 본 발명의 일 실시예에 따른 이동 통신 단말기에서의 무접점 기능 모드의 실행 과정을 나타내는 흐름도이다.7 is a flowchart illustrating a process of executing a contactless function mode in a mobile communication terminal according to an embodiment of the present invention.

단계 S701에서, 먼저 사용자는 키 입력부(130)의 미리 지정된 버튼(예를 들어, '메뉴'버튼)을 누르는 등의 방법으로 이동 통신 단말기(100)에서 무접점 기능 모드의 실행을 지시한다.In step S701, the user first instructs execution of the contactless function mode in the mobile communication terminal 100 by pressing a predetermined button (for example, a 'menu' button) of the key input unit 130.

상술한 바와 같이, 제어부(150)는 무접점 기능 모드로의 진입과 동시에 표시부(110), 카메라부(120), 영상 처리부(125) 및 광원부(140) 등 중 하나 이상의 동작을 제어할 수 있다. 예를 들어, 제어부(150)는 카메라부(120)로 외부 영상에 상응하는 영상 신호 출력 개시, 광원부(140)로 턴온을 지시할 수 있다. 또한, 표시부(110)를 통해 초기 화면이 메뉴 아이콘 표시 영역(111)이 포함된 화면으로 전환하여 표시되도록 제어할 수 있다. 여기서, 광원부(140)는 특정 파장 및/또는 휘도의 빛을 조사하고, 카메라부(120)는 실시간 외부 영상에 상응하는 영상 신호를 생성하여 출력하거나 소정의 시간 간격을 두고 피사체를 연속 촬상하게 된다.As described above, the controller 150 may control an operation of one or more of the display unit 110, the camera unit 120, the image processing unit 125, the light source unit 140, and the like simultaneously with entering the contactless function mode. . For example, the controller 150 may start to output an image signal corresponding to the external image to the camera unit 120 and instruct the light source unit 140 to turn on. In addition, the display 110 may control the initial screen to be displayed by switching to a screen including the menu icon display area 111. Here, the light source unit 140 emits light having a specific wavelength and / or luminance, and the camera unit 120 generates and outputs an image signal corresponding to a real-time external image, or continuously photographs a subject at predetermined time intervals. .

단계 S702에서, 사용자는 손가락 등의 지시 수단을 카메라부(120) 앞에 위치시키고, 지시 수단을 수평 이동 또는 수직 이동한다. 지시 수단의 이동에 상응하는 영상 신호가 생성되어 영상 처리부(125)로 입력되고, 영상 처리부(125)는 검출 영역의 변화 정보(예를 들어, 이동 궤적 및/또는 형성 면적의 변화)를 해석하고 생성하기 위한 영상 데이터를 생성하여 출력한다.In step S702, the user places a pointing means such as a finger in front of the camera unit 120, and moves the pointing means horizontally or vertically. An image signal corresponding to the movement of the indicating means is generated and input to the image processing unit 125, and the image processing unit 125 analyzes the change information of the detection area (for example, the movement trajectory and / or the change in the forming area). Generates and outputs image data to be generated.

단계 S703에서, 식별부는 순차적으로 입력되는 영상 데이터를 각 프레임별로 분석하여 검출 영역의 위치 및 면적을 판별한다. 검출 영역은 광원부(140)로부터 방사된 빛이 지시 수단에 의해 반사되어 카메라부(120)로 입력된 외부 영상의 분석에 의해 인식됨은 앞서 설명한 바와 같다. 여기서, 검출 영역은 광원부(140)에서 방사한 광의 특성(예를 들어, 파장 및/또는 휘도 등)을 이용하여 인식할 수 있음은 앞서 설명한 바와 같다.In step S703, the identification unit analyzes sequentially input image data for each frame to determine the position and area of the detection area. As described above, the detection area is recognized by the analysis of an external image reflected from the light source unit 140 by the indicating means and input to the camera unit 120. Here, as described above, the detection region may be recognized using characteristics (eg, wavelength and / or luminance) of light emitted from the light source unit 140.

단계 S704에서, 식별부는 입력되는 각 영상 프레임에서 앞선 단계를 통해 판별되는 검출 영역의 이동 궤적 및 형성 면적의 순차적인 변화를 이용하여 지시 수단의 이동 궤적(즉, 수평 이동 또는 수직 이동)을 인식한다. 상술한 바와 같이, 식별부는 예를 들어 검출 영역의 중심점 위치 변화를 이용하여 지시 수단의 수평 이동을 인식할 수 있고, 검출 영역의 면적 증가(또는 변화율)를 이용하여 지시 수단의 수직 이동을 인식할 수 있다. 앞서 설명한 바와 같이, 식별부는 메모리부(155)에 저장된 이미지 맵핑 프로그램을 이용하여 검출 영역의 인식 및 변화 정보의 생성 등을 수행할 수 있다. 이미지 맵핑 프로그램을 이용한 무접점 선택된 기능의 인식 방법에 대해서는 도 8 내지 도 10에서 상세히 설명한다.In step S704, the identification unit recognizes the movement trajectory (i.e., horizontal movement or vertical movement) of the indicating means by using the movement trajectory of the detection area and the sequential change in the formation area in each input image frame. . As described above, the identification unit may recognize the horizontal movement of the indicating means using, for example, a change in the position of the center point of the detection region, and recognize the vertical movement of the indicating means using the area increase (or change rate) of the detection region. Can be. As described above, the identification unit may recognize the detection area and generate change information by using the image mapping program stored in the memory unit 155. A method of recognizing a contactless selected function using an image mapping program will be described in detail with reference to FIGS. 8 to 10.

단계 S705에서 제어부(150)는 식별부에 의해 인식된 검출 영역의 변화 정보를 이용하여 지시 수단이 수평 이동하였는지 여부를 판단한다.In step S705, the controller 150 determines whether the indicating means has moved horizontally by using the change information of the detection area recognized by the identification unit.

지시 수단이 수평 이동하였다면, 표시부(110)상에 선택된 것으로 표시되는 메뉴 항목(또는 정보)를 다른 것으로 변경하거나 포인터의 위치를 변경시키기 위한 것이므로, 제어부(150)는 S706에서 상응하는 처리가 수행되도록 각 구성 요소를 제어한다. 예를 들어, 도 2와 같이 표시부(110)상에 '전화기능'이 선택된 것으로 표시된 상태에서 지시 수단이 우측 방향으로 수평 이동한 경우, '전화기능' 아이콘의 우측에 위치한 '메시지' 아이콘이 확대되어 표시되도록 표시부(110)의 표시 화면이 변환될 것이다.If the indicating means moves horizontally, it is for changing the menu item (or information) displayed as selected on the display unit 110 to another one or for changing the position of the pointer, so that the controller 150 performs a corresponding process in S706. Control each component. For example, when the indication means moves horizontally to the right in a state in which 'telephone function' is selected on the display unit 110 as shown in FIG. 2, the 'message' icon located on the right side of the 'telephone function' icon is enlarged. The display screen of the display unit 110 will be converted to be displayed.

그러나, 지시 수단이 수직 이동되었다면, 표시부(110)상에 선택된 것으로 표시되는 메뉴 항목(또는 정보) 또는 포인터의 위치에 상응하는 메뉴 항목(또는 정 보)의 실행 또는 해제을 위한 것이므로, 제어부(150)는 S707에서 상응하는 처리가 수행되도록 각 구성 요소를 제어한다. 예를 들어, 도 2와 같이 지시 수단의 수평 이동에 의해 '전화기능'이 선택된 것으로 표시된 상태에서 지시 수단이 렌즈부에 접근하는 방향으로 수직 이동하였다면 이동 통신 단말기(100)는 전화 기능 수행을 위한 기능 모드를 개시할 것이다.However, if the indicating means is vertically moved, the controller 150 is for executing or releasing the menu item (or information) corresponding to the position of the pointer or the menu item (or information) displayed as selected on the display unit 110. Controls each component so that the corresponding process is performed in S707. For example, when the indicating means moves vertically in the direction approaching the lens unit while the display means is selected by the horizontal movement of the indicating means as shown in FIG. 2, the mobile communication terminal 100 is configured to perform the telephone function. Will start the functional mode.

단계 S708에서 제어부(150)는 무접점 기능 모드가 종료되었는지 여부를 판단한다. 무접점 기능 모드의 종료는 예를 들어 미리 지정된 기능 버튼 또는 메뉴 항목의 입력에 의해 수행될 수 있을 것이다. 만일 무접점 기능 모드의 종료가 지시된 경우에는 단계를 종료하고, 그렇지 않은 경우에는 단계 S703으로 다시 진행한다.In step S708, the controller 150 determines whether the contactless function mode is terminated. Termination of the contactless function mode may be performed, for example, by input of a predetermined function button or menu item. If the end of the contactless function mode is instructed, the step is terminated. Otherwise, the process proceeds to step S703 again.

도 8은 본 발명의 일 실시예에 따른 영상 데이터와 메뉴 아이콘 표시 영역간의 이미지 맵핑(mapping) 방법을 예시한 도면이고, 도 9는 도 8의 이미지 맵핑 방법을 구현한 이미지 맵핑 프로그램을 테이블로 예시한 도면이며, 도 10은 도 8의 이미지 맵핑 방법을 이용한 무접점 선택된 기능의 인식 방법을 예시한 도면이다.8 is a diagram illustrating an image mapping method between image data and a menu icon display area according to an embodiment of the present invention, and FIG. 9 is a table illustrating an image mapping program implementing the image mapping method of FIG. 8 as a table. FIG. 10 is a diagram illustrating a recognition method of a contactless selected function using the image mapping method of FIG. 8.

도 8을 참조하면, 영상 처리부(125)에 의해 처리된 영상 데이터는 일정한 크기(예를 들어, 수평 화소수 m개 ㅧ 수직 화소수 n개)를 갖는다. 이와 같이 무접점 기능 모드에서 지시 수단의 이동에 따른 좌표 정보가 정확히 인식되도록 하기 위해, 영상 데이터를 이미지 맵핑 프로그램에 의해 해석될 수 있는 규격화된 크기 및 형태(예를 들어, 메뉴 아이콘 표시 영역(111)과 동일한 화소수를 갖는 크기 및 형태)로 변환시키는 과정이 선행될 수 있다. 이러한 입력 영상의 변환은 제어부(150) 의 제어에 의해 영상 처리부(125) 또는 식별부에서 수행될 수 있다.Referring to FIG. 8, the image data processed by the image processing unit 125 has a predetermined size (for example, m horizontal pixels m × n vertical pixels). In order to ensure that the coordinate information according to the movement of the indicating means is correctly recognized in the contactless function mode as described above, the standardized size and shape (for example, the menu icon display area 111 that can interpret the image data by the image mapping program) ) May be preceded by a process of converting the same size and shape into pixels). The conversion of the input image may be performed by the image processor 125 or the identification unit under the control of the controller 150.

이 경우, 영상 데이터와 함께 영상 데이터의 원점 정보가 영상 메모리에 저장될 수 있다. 원점 정보는 식별부가 영상 데이터에서 검출 영역에 상응하는 좌표를 인식하기 위한 기준 정보로서 사용될 수 있다. 원점 정보는 입력 영상의 각 꼭지점 정보 중 어느 하나로 지정될 수도 있을 것이다. 또한, 검출 영역에 상응하는 좌표 정보는 인식된 검출 영역의 중심점(center point)일 수 있다.In this case, the origin information of the image data together with the image data may be stored in the image memory. The origin information may be used as reference information for the identification unit to recognize coordinates corresponding to the detection area in the image data. The origin information may be designated as any one of the vertex information of the input image. In addition, the coordinate information corresponding to the detection area may be a center point of the recognized detection area.

여기서, 영상 데이터를 분할한 각 분할 영역의 좌표 정보(P11 내지 P33)는 표시부(110)의 메뉴 아이콘 표시 영역(115)에 표시되는 각 기능(메뉴 아이콘)과 1 대 1 맵핑(mapping)되도록 설정될 수 있다.Here, the coordinate information (P11 to P33) of each divided area in which the image data is divided is set to be mapped one-to-one with each function (menu icon) displayed on the menu icon display area 115 of the display unit 110. Can be.

도 9는 영상 데이터 내의 검출 영역의 좌표를 결정하기 위한 이미지 맵핑 프로그램을 테이블로 나타낸 것이다. 이하에서 설명할 이미지 맵핑 프로그램은 일 예에 불과하며, 그 외에도 데이터 좌표 인식을 위한 다양한 알고리즘 또는 프로그램이 이용될 수 있음은 자명하다.9 is a table illustrating an image mapping program for determining coordinates of a detection area in image data. The image mapping program to be described below is merely an example, and various algorithms or programs for recognizing data coordinates may be used.

또한, 도 9의 테이블은 메뉴 아이콘 표시 영역(111)이 도 2에서 예시하는 것처럼 9개의 부분 영역(즉, 개별 기능)으로 구분된 경우를 가정한 것이다. 따라서, 메뉴 아이콘 표시 영역(111)에 표시되는 기능의 수에 상응하여 이미지 맵핑 프로그램은 상이해질 수 있다. 그리고, 도 10의 테이블은 영상 데이터의 원점 정보로서 좌측 하단의 꼭지점 정보가 선택되어 있는 경우를 가정한 것인 바, 다른 원점 정보를 선택하는 경우에도 이미지 맵핑 프로그램이 상이해질 수 있을 것이다.In addition, the table of FIG. 9 assumes that the menu icon display area 111 is divided into nine partial regions (ie, individual functions) as illustrated in FIG. 2. Therefore, the image mapping program may differ according to the number of functions displayed in the menu icon display area 111. The table of FIG. 10 assumes that vertex information at the lower left is selected as the origin information of the image data, and thus the image mapping program may be different even when other origin information is selected.

이하, 도 8 및 도 9를 참조하여 본 발명에 따른 이미지 맵핑 프로그램을 통 한 무접점 기능 선택의 인식 방법을 설명하되, 검출 영역의 좌표는 (x, y)로 표시하며 원점 정보에 대한 좌표(이하,'원점'이라 함)는 (0, 0)으로 한다. 여기서, x는 원점을 기준으로 수평 방향의 길이 성분 값(즉, 수평 화소수)을 나타내고, y는 원점을 기준으로 수직 방향의 길이 성분 값(즉, 수직 화소수)을 나타낸다.Hereinafter, a method of recognizing a contactless function selection through an image mapping program according to the present invention will be described with reference to FIGS. 8 and 9, wherein the coordinates of the detection area are represented by (x, y) and the coordinates of the origin information ( Hereinafter, 'origin' is referred to as (0, 0). Here, x represents the length component value in the horizontal direction (ie, the number of horizontal pixels) with respect to the origin, and y represents the length component value in the vertical direction (ie, the number of vertical pixels) with respect to the origin.

x 값이 0 < x < m/3인 경우에 있어서, y 값이 0 < y < n/3인 경우에 해당하는 모든 좌표(x, y)에 대한 좌표 정보는 P11로 인식하고, y 값이 n/3 < y < 2n/3인 경우에 해당하는 모든 좌표(x, y)에 대한 좌표 정보는 P21로 인식하고, y 값이 2n/3 < y < n인 경우에 해당하는 모든 좌표(x, y)에 대한 좌표 정보는 P31로 인식한다.In the case where the x value is 0 <x <m / 3, the coordinate information for all coordinates (x, y) corresponding to the case where the y value is 0 <y <n / 3 is recognized as P11, and the y value is Coordinate information for all coordinates (x, y) corresponding to n / 3 <y <2n / 3 is recognized as P21, and all coordinates (x for y value 2n / 3 <y <n) , coordinate information for y) is recognized as P31.

또한, x 값이 m/3 < x < 2m/3인 경우에 있어서, y 값이 0 < y < n/3인 경우에 해당하는 모든 좌표(x, y)에 대한 좌표 정보는 P12로 인식하고, y 값이 n/3 < y < 2 n/3인 경우에 해당하는 모든 좌표(x, y)에 대한 좌표 정보는 P22로 인식하고, y 값이 2n/3 < y < n인 경우에 해당하는 모든 좌표(x, y)에 대한 좌표 정보는 P32로 인식한다.In addition, when the x value is m / 3 <x <2m / 3, the coordinate information of all coordinates (x, y) corresponding to the case where the y value is 0 <y <n / 3 is recognized as P12. The coordinate information of all coordinates (x, y) corresponding to the case where y value is n / 3 <y <2 n / 3 is recognized as P22, and when the y value is 2n / 3 <y <n Coordinate information for all coordinates (x, y) to be recognized as P32.

또한, x 값이 2m/3 < x < m인 경우에 있어서, y 값이 0 < y < n/3인 경우에 해당하는 모든 좌표(x, y)에 대한 좌표 정보는 P13로 인식하고, y 값이 n/3 < y < 2n/3인 경우에 해당하는 모든 좌표(x, y)에 대한 좌표 정보는 P23로 인식하고, y 값이 2n/3 < y < n인 경우에 해당하는 모든 좌표(x, y)에 대한 좌표 정보는 P33로 인식한다.In addition, when the x value is 2m / 3 <x <m, the coordinate information for all coordinates (x, y) corresponding to the case where the y value is 0 <y <n / 3 is recognized as P13, and y Coordinate information for all coordinates (x, y) corresponding to the case where the value is n / 3 <y <2n / 3 is recognized as P23, and all coordinates corresponding to the case where the y value is 2n / 3 <y <n Coordinate information about (x, y) is recognized as P33.

따라서, 도 10의 경우에는 검출 영역(도면에서 검은 색의 점으로 표시된 부 분으로 가정함)의 좌표(x, y)가 x 값이 0 < x < m/3의 범위 내에 속하고, y 값이 2n/3 < y < n의 범위 내에 속하는 경우에 해당한다. 따라서, 제어부(150)는 이미지 맵핑 프로그램을 이용하여 검출 영역이 P31에 위치하는 것으로 인식할 수 있다. 이에 식별부는 해당 분할 영역 정보(P31)에 상응하는 메뉴 아이콘이 지정되어 표시(도 2 참조)되도록 하기 위한 인식 정보를 제어부(150)로 입력할 수 있다. 해당 메뉴 아이콘이 지정되어 표시된 상태에서 검출 영역의 면적이 증가하는 경우, 제어부(150)는 식별부로부터의 인식 정보에 의해 지정된 메뉴 아이콘에 상응하는 기능(도 2의 경우 전화 통화 기능)을 실행하게 될 것이다.Accordingly, in the case of FIG. 10, the coordinates (x, y) of the detection area (assuming a black dot in the drawing) are within the range of 0 <x <m / 3, and the y value It corresponds to the case where it falls in the range of 2n / 3 <y <n. Therefore, the controller 150 may recognize that the detection area is located at P31 using the image mapping program. Accordingly, the identification unit may input the recognition information to the controller 150 so that a menu icon corresponding to the partition information P31 is designated and displayed (see FIG. 2). When the area of the detection area increases while the corresponding menu icon is designated and displayed, the controller 150 executes a function corresponding to the menu icon specified by the recognition information from the identification unit (phone call function in FIG. 2). Will be.

상술한 바와 같이, 본 발명에 따른 무접점 기능 선택이 가능한 장치 및 방법에 의하면 카메라를 이용하여 사용자가 메뉴 기능을 원격 제어함으로써 의도하는 기능 선택을 보다 쉽고 빠르게 할 수 있는 효과가 있다.As described above, the apparatus and method capable of selecting a contactless function according to the present invention has an effect of allowing a user to easily and quickly select an intended function by remotely controlling a menu function using a camera.

또한, 본 발명은 키 버튼을 통한 기존의 단조로운 기능 선택 방식에서 벗어나 기능 선택에 있어 사용자로 하여금 흥미 유발을 시킬 수 있는 효과가 있다.In addition, the present invention has an effect that can be interesting to the user in selecting a function from the existing monotonous function selection method through the key button.

또한, 본 발명은 디지털 장치에 구비된 카메라를 범용적으로 이용할 수 있도록 하여 부품 활용도를 극대화할 수 있는 효과가 있다.In addition, the present invention has the effect of maximizing component utilization by allowing the camera provided in the digital device to be used universally.

또한, 본 발명은 키 패드 제작 비용을 절감하고, 디지털 장치의 공간적 활용도를 높혀 소형화 및 디자인 상의 다양성을 기할 수 있는 효과가 있다.In addition, the present invention has the effect of reducing the manufacturing cost of the keypad, increase the spatial utilization of the digital device can be miniaturized and diversity in design.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to a preferred embodiment of the present invention, those skilled in the art to which the present invention pertains without departing from the spirit and scope of the present invention as set forth in the claims below It will be appreciated that modifications and variations can be made.

Claims (34)

촬상 기능이 구비된 디지털 처리 장치에 있어서,A digital processing apparatus equipped with an imaging function, 빛을 외부로 방사하는 광원부;A light source unit emitting light to the outside; 외부 영상에 상응하는 영상 신호를 생성하여 출력하는 카메라부;A camera unit generating and outputting an image signal corresponding to an external image; 상기 영상 신호에 상응하는 영상 데이터를 생성하는 영상 데이터 생성부; 및An image data generator configured to generate image data corresponding to the image signal; And 각 프레임 단위의 상기 영상 데이터에서 상기 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함하되,In the image data of each frame unit, the position of the detection area formed by the light reflected and input to the indicating means among the emitted light is detected, and two or more consecutive frames are compared to recognize the movement trajectory of the detection area. It includes an identification unit for generating and outputting the change information, 표시부에 디스플레이된 복수의 정보 항목들 중 어느 하나가 상기 변화 정보에 선택된 것으로 표시되거나 상기 변화 정보에 상응하여 이동되는 포인터가 표시되는 것을 특징으로 하는 디지털 처리 장치.And a pointer to which any one of a plurality of information items displayed on the display unit is selected as the change information or is moved according to the change information is displayed. 제1항에 있어서,The method of claim 1, 상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력하는 것을 특징으로 하는 디지털 처리 장치.The identification unit detects an area of the detection area in each frame unit, and compares two or more consecutive frames to generate and output change information corresponding to an area change of the detection area. 청구항 3은(는) 설정등록료 납부시 포기되었습니다.Claim 3 was abandoned when the setup registration fee was paid. 제2항에 있어서,The method of claim 2, 상기 면적이 증가되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 실행 개시 명령으로 인식되는 것을 특징으로 하는 디지털 처리 장치.And when the area changes in a direction in which the area increases, the change information is recognized as a command to start execution of the selected information item. 청구항 4은(는) 설정등록료 납부시 포기되었습니다.Claim 4 was abandoned when the registration fee was paid. 제2항에 있어서,The method of claim 2, 상기 면적이 감소되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 디지털 처리 장치.And when the area changes in a decreasing direction, the change information is recognized as a deselection command of the selected information item. 제2항에 있어서,The method of claim 2, 상기 면적은 상기 검출 영역의 외곽선에 의해 형성된 도형의 넓이 또는 상기검출 영역에 포함된 픽셀 수인 것을 특징으로 하는 디지털 처리 장치.And the area is an area of a figure formed by an outline of the detection area or the number of pixels included in the detection area. 청구항 6은(는) 설정등록료 납부시 포기되었습니다.Claim 6 was abandoned when the registration fee was paid. 제1항에 있어서,The method of claim 1, 상기 광원부는 파장 또는 휘도의 빛을 외부로 방사하는 것을 특징으로 하는 디지털 처리 장치.And the light source unit emits light having a wavelength or luminance to the outside. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.Claim 7 was abandoned upon payment of a set-up fee. 제6항에 있어서,The method of claim 6, 상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출하는 것을 특징으로 하는 디지털 처리 장치.And the identification unit detects a position of the detection area in the image data using the wavelength or the luminance. 제1항에 있어서,The method of claim 1, 하나 이상의 키 버튼을 포함하는 키 입력부를 더 포함하되,Further comprising a key input including at least one key button, 미리 설정된 키 버튼의 입력에 의해 상기 광원부, 상기 카메라부 및 상기 식별부가 구동 개시되는 것을 특징으로 하는 디지털 처리 장치.And the driving of the light source unit, the camera unit, and the identification unit by input of a preset key button. 제1항에 있어서,The method of claim 1, 상기 광원부, 상기 카메라부, 상기 영상 데이터 생성부 및 상기 식별부는 상기 검출 영역의 위치가 검출될 때까지 주기적으로 구동 개시 및 종료되는 것을 특징으로 하는 디지털 처리 장치.And the light source unit, the camera unit, the image data generation unit, and the identification unit periodically start and end driving until the position of the detection area is detected. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.Claim 10 was abandoned upon payment of a setup registration fee. 상기 영상 데이터는 YUV 데이터 또는 RGB 데이터인 것을 특징으로 하는 디지털 처리 장치.And the image data is YUV data or RGB data. 이미지 시그널 프로세서에 있어서,In the image signal processor, 이미지 센서로부터 입력된 영상 신호에 상응하는 영상 데이터를 생성하는 영상 데이터 생성부; 및An image data generator for generating image data corresponding to the image signal input from the image sensor; And 각 프레임 단위의 상기 영상 데이터에서 미리 지정된 광(光) 성분에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함하되,Detecting the position of a detection region formed by a predetermined light component in the image data in each frame unit, comparing two or more consecutive frames, recognizing a movement trajectory of the detection region, and generating corresponding change information; Including an identification unit for outputting, 상기 검출 영역은 광원부에 의해 외부로 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성되는 영역인 것을 특징으로 하는 이미지 시그널 프로세서.And the detection area is an area formed by light that is reflected and input to the indicating means among the light emitted to the outside by the light source unit. 제11항에 있어서,The method of claim 11, 상기 변화 정보는 상기 이미지 시그널 프로세서를 포함하는 디지털 처리 장치를 제어하기 위한 입력 신호로 기능하는 것을 특징으로 하는 이미지 시그널 프로세서.And the change information functions as an input signal for controlling a digital processing device including the image signal processor. 제12항에 있어서,The method of claim 12, 상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력하는 것을 특징으로 하는 이미지 시그널 프로세서.The identification unit detects an area of the detection area in each frame unit, and compares two or more consecutive frames to generate and output change information corresponding to the area change of the detection area. 제13항에 있어서,The method of claim 13, 상기 면적이 증가되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 디지털 처리 장치의 표시부에 디스플레이된 복수의 정보 항목들 중 상기 변화 정보에 선택된 정보 항목의 실행 개시 명령으로 인식되는 것을 특징으로 하는 이미지 시그널 프로세서.When the area changes in the increasing direction, the change information is recognized as an instruction to start execution of the information item selected in the change information among a plurality of information items displayed on the display unit of the digital processing apparatus. Processor. 제13항에 있어서,The method of claim 13, 상기 면적이 감소되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 디지털 처리 장치의 표시부에 디스플레이된 복수의 정보 항목들 중 상기 변화 정보에 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 이미지 시그널 프로세서.When the area changes in a decreasing direction, the change information is recognized as a command for deselecting an information item selected for the change information among a plurality of information items displayed on a display unit of the digital processing apparatus. Processor. 제11항에 있어서,The method of claim 11, 상기 광원부는 파장 또는 휘도의 빛을 외부로 방사하는 것을 특징으로 하는 이미지 시그널 프로세서.And the light source unit emits light having a wavelength or luminance to the outside. 제16항에 있어서,The method of claim 16, 상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출하는 것을 특징으로 하는 이미지 시그널 프로세서.And the identification unit detects a position of the detection area in the image data by using the wavelength or the luminance. 이미지 시그널 프로세서로부터 외부 영상 신호에 상응하도록 생성된 영상 데이터를 입력받는 수신부; 및A receiver configured to receive image data generated to correspond to an external image signal from an image signal processor; And 각 프레임 단위의 상기 영상 데이터에서 미리 지정된 광(光) 성분에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함하되,Detecting the position of a detection region formed by a predetermined light component in the image data in each frame unit, comparing two or more consecutive frames, recognizing a movement trajectory of the detection region, and generating corresponding change information; Including an identification unit for outputting, 상기 검출 영역은 광원부에 의해 외부로 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성되는 영역인 것을 특징으로 하는 어플리케이션 프로세서.The detection area is an application processor, characterized in that the area formed by the light is reflected by the indicating means of the light emitted to the outside by the light source. 제18항에 있어서,The method of claim 18, 상기 변화 정보는 상기 이미지 시그널 프로세서 및 상기 어플리케이션 프로세서를 포함하는 디지털 처리 장치를 제어하기 위한 입력 신호로 기능하는 것을 특징으로 하는 어플리케이션 프로세서.Wherein the change information functions as an input signal for controlling a digital processing device including the image signal processor and the application processor. 제19항에 있어서,The method of claim 19, 상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력하는 것을 특징으로 하는 어플리케이션 프로세서.The identification unit detects an area of the detection area in each frame unit, and compares two or more consecutive frames to generate and output change information corresponding to the area change of the detection area. 제20항에 있어서,The method of claim 20, 상기 면적이 증가되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 디지털 처리 장치의 표시부에 디스플레이된 복수의 정보 항목들 중 상기 변화 정보에 선택된 정보 항목의 실행 개시 명령으로 인식되는 것을 특징으로 하는 어플리케이션 프로세서.When the area changes in an increasing direction, the change information is recognized as an execution start command of an information item selected in the change information among a plurality of information items displayed on a display unit of the digital processing apparatus. . 제20항에 있어서,The method of claim 20, 상기 면적이 감소되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 디지털 처리 장치의 표시부에 디스플레이된 복수의 정보 항목들 중 상기 변화 정보에 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 어플리케이션 프로세서.When the area changes in a decreasing direction, the change information is recognized as a command for deselecting an information item selected for the change information among a plurality of information items displayed on a display unit of the digital processing apparatus. . 제18항에 있어서,The method of claim 18, 상기 광원부는 파장 또는 휘도의 빛을 외부로 방사하는 것을 특징으로 하는 어플리케이션 프로세서.The light source unit is an application processor, characterized in that for emitting light of a wavelength or luminance to the outside. 제23항에 있어서,The method of claim 23, wherein 상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출하는 것을 특징으로 하는 어플리케이션 프로세서.And the identification unit detects a position of the detection area in the image data using the wavelength or the luminance. 촬상 기능이 구비된 디지털 장치가 무접점 기능 모드를 수행하는 방법에 있어서,In the method in which the digital device having an imaging function performs a contactless function mode, 광원부가 빛을 외부로 방사하는 단계;A light source unit emitting light to the outside; 카메라부가 외부 영상에 상응하는 영상 신호를 생성하여 출력하는 단계; Generating and outputting an image signal corresponding to an external image by the camera unit; 영상 데이터 생성부가 상기 영상 신호에 상응하는 영상 데이터를 생성하는 단계; 및Generating image data corresponding to the image signal by an image data generator; And 식별부가 각 프레임 단위의 상기 영상 데이터에서 상기 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 단계를 포함하되,The identification unit detects the position of the detection area formed by the light reflected from the emitted light from the image data in each frame unit by the indicating means, and compares two or more consecutive frames to recognize the movement trajectory of the detection area. Generating and outputting corresponding change information, 표시부에 디스플레이된 복수의 정보 항목들 중 어느 하나가 상기 변화 정보에 선택된 것으로 표시되거나 상기 변화 정보에 상응하여 이동되는 포인터가 표시되는 것을 특징으로 하는 무접점 기능 모드 수행 방법.The method of claim 1, wherein any one of the plurality of information items displayed on the display unit is displayed as being selected in the change information or a pointer is moved corresponding to the change information. 제25항에 있어서,The method of claim 25, 상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력하는 단계를 더 실행하는 것을 특징으로 하는 무접점 기능 모드 수행 방법.The identification unit detects an area of the detection area in each frame unit, and compares two or more consecutive frames to generate and output change information corresponding to the area change of the detection area. How to perform contact function mode. 청구항 27은(는) 설정등록료 납부시 포기되었습니다.Claim 27 was abandoned upon payment of a registration fee. 상기 면적이 증가되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 실행 개시 명령으로 인식되는 것을 특징으로 하는 무접점 기능 모드 수행 방법.And the change information is recognized as a command for starting execution of the selected information item when the area changes in a direction in which the area is increased. 청구항 28은(는) 설정등록료 납부시 포기되었습니다.Claim 28 was abandoned upon payment of a registration fee. 제26항에 있어서,The method of claim 26, 상기 면적이 감소되는 방향으로 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 무접점 기능 모드 수행 방법.And when the area changes in a decreasing direction, the change information is recognized as a command for deselecting the selected information item. 제26항에 있어서,The method of claim 26, 상기 면적은 상기 검출 영역의 외곽선에 의해 형성된 도형의 넓이 또는 상기검출 영역에 포함된 픽셀 수인 것을 특징으로 하는 무접점 기능 모드 수행 방법.And the area is an area of a figure formed by an outline of the detection area or the number of pixels included in the detection area. 제25항에 있어서,The method of claim 25, 상기 광원부는 파장 또는 휘도의 빛을 외부로 방사하는 것을 특징으로 하는 무접점 기능 모드 수행 방법.And the light source unit emits light having a wavelength or brightness to the outside. 제30항에 있어서,The method of claim 30, 상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출하는 것을 특징으로 하는 무접점 기능 모드 수행 방법.And the identification unit detects a position of the detection area in the image data using the wavelength or the luminance. 제25항에 있어서,The method of claim 25, 상기 광원부, 상기 카메라부 및 상기 식별부가 구동 개시되도록 미리 지정된 키 선택 신호가 입력되는 단계가 선행하여 수행되는 것을 특징으로 하는 무접점 기능 모드 수행 방법.And a step of inputting a predetermined key selection signal to start driving of the light source unit, the camera unit and the identification unit is performed in advance. 제25항에 있어서,The method of claim 25, 상기 광원부, 상기 카메라부, 상기 영상 데이터 생성부 및 상기 식별부는 상기 검출 영역의 위치가 검출될 때까지 주기적으로 상응하는 단계를 반복하는 것을 특징으로 하는 무접점 기능 모드 수행 방법.And the light source unit, the camera unit, the image data generation unit, and the identification unit repeat the corresponding steps periodically until the position of the detection area is detected. 청구항 34은(는) 설정등록료 납부시 포기되었습니다.Claim 34 was abandoned upon payment of a registration fee. 상기 영상 데이터는 YUV 데이터 또는 RGB 데이터인 것을 특징으로 하는 무접점 기능 모드 수행 방법.And the image data is YUV data or RGB data.
KR1020060039028A 2006-04-28 2006-04-28 Device capable of non-contact function selection and method thereof KR100749481B1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020060039028A KR100749481B1 (en) 2006-04-28 2006-04-28 Device capable of non-contact function selection and method thereof
PCT/KR2007/002126 WO2007126286A1 (en) 2006-04-28 2007-04-30 Non-contact selection device
US12/298,730 US8217895B2 (en) 2006-04-28 2007-04-30 Non-contact selection device
US13/529,623 US8525790B2 (en) 2006-04-28 2012-06-21 Non-contact selection device
US13/788,968 US8587523B2 (en) 2006-04-28 2013-03-07 Non-contact selection device
US13/789,120 US8610667B2 (en) 2006-04-28 2013-03-07 Non-contact selection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060039028A KR100749481B1 (en) 2006-04-28 2006-04-28 Device capable of non-contact function selection and method thereof

Publications (1)

Publication Number Publication Date
KR100749481B1 true KR100749481B1 (en) 2007-08-14

Family

ID=38602941

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060039028A KR100749481B1 (en) 2006-04-28 2006-04-28 Device capable of non-contact function selection and method thereof

Country Status (1)

Country Link
KR (1) KR100749481B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101332421B1 (en) 2007-09-05 2013-11-22 주식회사 케이티 Method for controlling mobile terminal using image input device and the mobile terminal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09237151A (en) * 1996-03-01 1997-09-09 Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko Graphical user interface
KR20030002937A (en) * 2001-07-02 2003-01-09 엘지전자 주식회사 No Contact 3-Dimension Wireless Joystick
JP2003280805A (en) 2002-03-26 2003-10-02 Gen Tec:Kk Data inputting device
KR20190000880U (en) * 2017-09-29 2019-04-08 한전케이피에스 주식회사 Aircraft warning lighting apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09237151A (en) * 1996-03-01 1997-09-09 Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko Graphical user interface
KR20030002937A (en) * 2001-07-02 2003-01-09 엘지전자 주식회사 No Contact 3-Dimension Wireless Joystick
JP2003280805A (en) 2002-03-26 2003-10-02 Gen Tec:Kk Data inputting device
KR20190000880U (en) * 2017-09-29 2019-04-08 한전케이피에스 주식회사 Aircraft warning lighting apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101332421B1 (en) 2007-09-05 2013-11-22 주식회사 케이티 Method for controlling mobile terminal using image input device and the mobile terminal

Similar Documents

Publication Publication Date Title
US8610667B2 (en) Non-contact selection device
US10120535B2 (en) Image processing apparatus and image processing method
KR101432177B1 (en) Portable device and method for processing the photography the same, and photography processing system having it
CN110166703A (en) Photographic method, camera arrangement and mobile terminal
CN106105247B (en) Display device and control method thereof
US9641743B2 (en) System, method, and apparatus for controlling timer operations of a camera
KR20180133743A (en) Mobile terminal and method for controlling the same
US20130194184A1 (en) Method and apparatus for controlling mobile terminal using user interaction
WO2013078989A1 (en) Method and system for triggering and controlling human-computer interaction operating instruction
CN111984347A (en) Interaction processing method, device, equipment and storage medium
KR100843586B1 (en) Device capable of non-contact function selection and method thereof
TW201510772A (en) Gesture determination method and electronic device
KR100749481B1 (en) Device capable of non-contact function selection and method thereof
KR100849532B1 (en) Device having function of non-contact mouse and method thereof
JPWO2014156257A1 (en) Display control device, display control method, and recording medium
KR100778927B1 (en) Device capable of recognizing non-contact key selection and method thereof
CN111913674A (en) Virtual content display method, device, system, terminal equipment and storage medium
KR20100037254A (en) Apparatus and method for controlling home appliances based on gesture
CN104049781A (en) Information Technology Device Input Systems And Associated Methods
CN109298824A (en) A kind of the starting method and terminal device of application program
KR101491648B1 (en) System and Method for remote control using camera
KR100799766B1 (en) Apparatus for controlling moving of pointer
KR101471304B1 (en) Virtual remote control apparatus and method thereof
KR20060032483A (en) Apparatus and method for three-dimensional user interface in the mobile communication terminal
CN109388440A (en) A kind of the starting method and terminal device of application program

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120710

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130731

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140728

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150729

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160801

Year of fee payment: 10

J206 Request for trial to confirm the scope of a patent right
J121 Written withdrawal of request for trial
J204 Request for invalidation trial [patent]
J301 Trial decision

Free format text: TRIAL NUMBER: 2021100003041; TRIAL DECISION FOR INVALIDATION REQUESTED 20211014

Effective date: 20230414

J302 Written judgement (patent court)

Free format text: TRIAL NUMBER: 2023200011906; JUDGMENT (PATENT COURT) FOR INVALIDATION REQUESTED 20230602

Effective date: 20231214

J301 Trial decision

Free format text: TRIAL NUMBER: 2024130000002; TRIAL DECISION FOR INVALIDATION REQUESTED 20240110

Effective date: 20240130