KR101414424B1 - Apparatus and method for emboding virtual user interface - Google Patents

Apparatus and method for emboding virtual user interface Download PDF

Info

Publication number
KR101414424B1
KR101414424B1 KR1020070116108A KR20070116108A KR101414424B1 KR 101414424 B1 KR101414424 B1 KR 101414424B1 KR 1020070116108 A KR1020070116108 A KR 1020070116108A KR 20070116108 A KR20070116108 A KR 20070116108A KR 101414424 B1 KR101414424 B1 KR 101414424B1
Authority
KR
South Korea
Prior art keywords
image
input
user interface
virtual user
virtual
Prior art date
Application number
KR1020070116108A
Other languages
Korean (ko)
Other versions
KR20090026008A (en
Inventor
김현수
김기덕
김관식
권경택
김정년
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20090026008A publication Critical patent/KR20090026008A/en
Application granted granted Critical
Publication of KR101414424B1 publication Critical patent/KR101414424B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

본 발명은 가상 사용자 인터페이스를 구현하기 위한 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for implementing a virtual user interface.

이를 위해 본 발명은 가상 입력을 위한 모드 선택이 있으면, 미리 저장된 가상 키보드 이미지에 가상 사용자 인터페이스를 통해 촬영된 이미지에서 입력 수단 이미지를 추출한 후 매핑시켜 상기 가상 사용자 인터페이스를 통해 디스플레이하고, 가상 사용자 인터페이스를 통해 입력 요구 문자들의 입력을 요구한 후 입력 요구 문자들이 입력되면 입력된 입력 요구 문자 각각의 입력 패턴에 따라 문자 입력 영역의 위치를 배치한 가상 키보드 이미지를 가상 사용자 인터페이스를 통해 디스플레이하고, 가상 사용자 인터페이스부를 통해 문자 입력이 인지되면 인지된 문자를 상기 가상 사용자 인터페이스를 통해 디스플레이할 수 있게 된다.To this end, according to the present invention, if there is a mode selection for a virtual input, an input means image is extracted from an image photographed through a virtual user interface on a pre-stored virtual keyboard image, and is mapped and displayed through the virtual user interface. A virtual keyboard image in which a position of a character input area is arranged according to an input pattern of each of input request characters is displayed through a virtual user interface, The recognized character can be displayed through the virtual user interface.

가상 사용자 인터페이스, 문자 입력, 양안식 안경형 디스플레이 Virtual user interface, text input, binocular vision display

Description

가상 사용자 인터페이스를 구현하기 위한 장치 및 방법{APPARATUS AND METHOD FOR EMBODING VIRTUAL USER INTERFACE}[0001] APPARATUS AND METHOD FOR EMBODIMENT VIRTUAL USER INTERFACE [0002]

본 발명은 가상 사용자 인터페이스를 구현하기 위한 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for implementing a virtual user interface.

일반적으로 PC(Personal Computer)와 같은 단말기에서 사용자가 키 입력할 시 키보드를 이용하여 사용자가 원하는 키를 입력하였다. 그러나, 키보드를 이용하여 키 입력을 하는 방식보다 편리하게 키 입력을 하기 위해서 가상 입력 장치가 구현되었다. 일반적인 가상 입력 장치는 초음파 센서, 손 부착 센서, 광 센서와 같은 감지 센서들을 사용자의 손가락 마디 마디에 부착하여 사용자의 손가락 위치 또는 손가락의 움직임을 감지한다. 그리고, 이러한 가상 입력 장치는 감지된 손가락 위치 또는 감지된 손가락 움직임에 대응되는 가상 이미지의 좌표값을 산출하고, 산출된 좌표값에 대응되는 가상 이미지 영역의 문자를 화면에 디스플레이한다. Generally, when a user inputs a key in a terminal such as a PC (Personal Computer), the user inputs a desired key using a keyboard. However, a virtual input device has been implemented to input a key more conveniently than a key input method using a keyboard. A typical virtual input device attaches detection sensors such as an ultrasonic sensor, a hand-held sensor, and an optical sensor to a finger node of a user to detect the position of the user's finger or the movement of the finger. The virtual input device calculates a coordinate value of the virtual image corresponding to the detected finger position or the detected finger movement, and displays characters of the virtual image region corresponding to the calculated coordinate value on the screen.

한편, 휴대폰과 같은 이동 통신 단말기에서 대부분의 사용자는 주로 엄지 손가락을 이용하여 키를 입력하였다. 그리고, 사용자는 쿼티(Qwerty) 키 패드를 구비하는 PDA(Personal Digital Assistant)와 같은 이동 통신 단말기에서 몇몇의 손가 락을 이용하여 키를 입력하였다.On the other hand, in a mobile communication terminal such as a mobile phone, most users mainly input their keys by using their thumbs. In addition, a user inputs a key using a finger lock in a mobile communication terminal such as a PDA (Personal Digital Assistant) equipped with a Qwerty keypad.

상기와 같이 종래에는 키보드를 이용한 키 입력 방식보다 편리하게 키를 입력하기 위해서 가상 입력 장치를 구현하였다. 그러나, 이러한 가상 입력 장치를 이용하여 키 입력을 하기 위해서는 키 입력을 위한 별도의 감지 센서들이 구비되어야 하고, 사용자가 해당 감지 센서를 손가락 마디마디 마다 착용해야 하는 번거로움이 있었다.As described above, a virtual input device is implemented to input keys more conveniently than a key input method using a keyboard. However, in order to input a key using the virtual input device, separate detection sensors for key input must be provided, and the user has to wear the detection sensor for each finger.

또한, 휴대폰과 PDA와 같은 이동 통신 단말기는 소형화에 의해서 키 패드의 크기가 점차 작아지기 때문에 키 버튼을 누르는데 있어서 불편함이 있고, 사용자의 정확한 키 입력이 불가능하기 때문에 사용자가 원하는 문자 입력 시 오류가 빈번히 발생되었다.In addition, since the size of the keypad is gradually reduced due to miniaturization of mobile communication terminals such as a mobile phone and a PDA, there is an inconvenience in pressing a key button and a user can not input a correct key. .

따라서, 본 발명은 가상 입력 장치에서 키 입력 시 별도의 감지 센서와 같은 감지 장치가 없이 편리하게 키 입력을 할 수 있는 가상 사용자 인터페이스를 구현하기 위한 장치 및 방법을 제공함에 있다.Accordingly, it is an object of the present invention to provide an apparatus and a method for implementing a virtual user interface that can conveniently input a key without a sensing device such as a separate sensing sensor when a key is input in a virtual input device.

상술한 바를 달성하기 위한 본 발명은 가상 사용자 인터페이스를 구현하기 위한 장치에 있어서, 이미지를 촬영하고, 입력되는 가상 키보드 이미지와 입력되는 문자를 디스플레이하는 가상 사용자 인터페이스와, 상기 가상 사용자 인터페이스와 통신 가능한 단말기를 포함하고, 상기 단말기는 복수의 문자 입력 영역을 가지는 상기 가상 키보드 이미지와 문자 입력 영역의 위치를 설정하기 위한 복수의 입력 요구 문자를 저장하는 메모리부와, 상기 가상 사용자 인터페이스를 통해 촬영된 이미지에서 입력 수단 이미지를 추출하는 이미지 추출부와, 상기 이미지 추출부를 통해서 추출된 입력 수단 이미지를 상기 가상 키보드 이미지에 매핑하고, 상기 가상 사용자 인터페이스로 출력한 후 상기 가상 사용자 인터페이스를 통해 입력 요구 문자들의 입력을 요구하고, 상기 요구된 입력 요구 문자들의 입력이 있으면 상기 입력된 입력 요구 문자 각각의 입력 패턴에 따라 문자 입력 영역의 위치를 배치한 가상 키보드 이미지를 상기 가상 사용자 인터페이스로 출력하는 제어부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for implementing a virtual user interface, the apparatus comprising: a virtual user interface for capturing an image and displaying an input virtual keyboard image and input characters; Wherein the terminal comprises: a memory unit for storing a virtual keyboard image having a plurality of character input areas and a plurality of input request characters for setting a position of the character input area; And an input unit for inputting the input request characters through the virtual user interface after mapping the input unit image extracted through the image extracting unit to the virtual keyboard image and outputting the input unit image to the virtual user interface,And outputting a virtual keyboard image in which a position of a character input area is arranged according to an input pattern of each of the input required characters if the input requested characters are input, to the virtual user interface do.

또한, 본 발명은 단말기에서 가상 사용자 인터페이스를 이용하여 문자를 입력하기 위한 방법에 있어서, 이미지를 촬영하고, 입력되는 가상 키보드 이미지와 입력되는 문자를 디스플레이하는 가상 사용자 인터페이스를 구비하는 과정과, 가상 입력을 위한 모드 선택이 있으면, 상기 가상 사용자 인터페이스를 통해 촬영된 이미지에서 입력 수단 이미지를 추출하는 과정과, 상기 추출된 입력 수단 이미지를 상기 가상 키보드 이미지에 매핑하고, 상기 가상 사용자 인터페이스를 통해 디스플레이 하는 과정과, 상기 가상 사용자 인터페이스를 통해 입력 요구 문자들의 입력을 요구하는 과정과, 상기 요구된 입력 요구 문자들의 입력이 있으면 상기 입력된 입력 요구 문자 각각의 입력 패턴에 따라 문자 입력 영역의 위치를 배치한 가상 키보드 이미지를 상기 가상 사용자 인터페이스를 통해 디스플레이 하는 과정을 포함하는 것을 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for inputting characters using a virtual user interface in a terminal, the method comprising: capturing an image; providing a virtual user interface for displaying an input virtual keyboard image and input characters; A step of extracting an input means image from the image photographed through the virtual user interface, a step of mapping the extracted input means image to the virtual keyboard image, and displaying through the virtual user interface Requesting input of input requesting characters through the virtual user interface; if the input requesting characters are input, inputting the inputting requesting characters, Recall the keyboard image In that it comprises in that it comprises the step of displaying via the user interface features.

본 발명은 가상 입력 장치를 이용하여 키 입력할 시 사용자가 자신의 손에 별도의 감지 센서를 부착하지 않고도 키 입력을 쉽게 할 수 있는 이점이 있다. 그리고, 본 발명은 휴대폰 또는 PDA와 같은 이동 통신 단말기에서 키 입력 시 PC에 구비된 키보드를 사용하듯이 편리하게 키 입력을 할 수 있다는 이점이 있다. The present invention is advantageous in that, when a key is input using a virtual input device, a user can easily input a key without attaching a separate detection sensor to his / her hands. In addition, the present invention is advantageous in that a key input can be conveniently performed in a mobile communication terminal such as a mobile phone or a PDA, as in the case of using a keyboard provided in a PC when a key is input.

또한, 본 발명은 사용자마다 다른 키 입력 패턴에 따라 가상 키보드의 문자 입력 영역 위치를 설정하여 디스플레이함으로써 사용자의 키 입력 패턴에 맞는 가상 사용자 인터페이스를 제공할 수 있다. 이로써 사용자마다 최적화된 가상 키보드를 통해서 사용자가 원하는 문자를 입력할 수 있게 되어 문자 입력 오류를 최소화 시킬 수 있는 이점이 있다.In addition, the present invention can provide a virtual user interface corresponding to a key input pattern of a user by setting and displaying a character input area position of a virtual keyboard according to a different key input pattern for each user. Thus, the user can input a desired character through the virtual keyboard optimized for each user, thereby minimizing a character input error.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and drawings, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention unnecessarily obscure.

그러면 이제 도 1를 참조하여 가상 사용자 인터페이스 장치(100)와 단말기(110)의 구성 및 각 구성의 동작에 대해서 상세하게 살펴보도록 한다. 이때, 단말기(110)는 입력 장치가 필요한 단말기로서, PC또는 휴대폰과 PDA와 같은 이동 통신 단말기일 수 있고, 손목형 이동 통신 단말기와 같은 착용형(Wearable) 단말기일 수도 있다. 또한, 가상 사용자 인터페이스 장치(100)와 단말기(110)는 서로간의 통신 채널로 연결될 수 있는데, 이러한 통신 채널은 유선 통신 또는 UWB(Ultra Wide Band), 적외선 통신, 블루투스(Bluetooth)와 같은 무선 통신이 될 수 있다.Now, the configuration of the virtual user interface device 100 and the terminal 110 and the operation of each configuration will be described in detail with reference to FIG. At this time, the terminal 110 may be a PC, a mobile communication terminal such as a mobile phone and a PDA, or a wearable terminal such as a wrist mobile communication terminal, which requires an input device. The virtual user interface device 100 and the terminal 110 may be connected to each other through a communication channel such as wired communication or wireless communication such as UWB (Ultra Wide Band), infrared communication, Bluetooth, .

먼저, 단말기(110)의 제어부(111)는 단말기(110) 및 가상 사용자 인터페이스 장치(100)의 전반적인 동작을 제어한다. 특히, 본 발명에서 제어부(111)는 키 입력부(114)를 통해서 가상 입력 모드 요청이 있으면 메모리부(113)에 미리 저장된 키보드 이미지를 근거리 통신 모듈(112)을 통해서 가상 사용자 인터페이스 장치(100)로 출력한다. 그리고, 가상 사용자 인터페이스 장치(100)의 근거리 통신 모듈(105)을 통해서 입력된 키보드 이미지는 표시부(101)를 통해서 소정의 위치에 디스플레이된다. 이때, 디스플레이된 화면은 도 2의 203와 같이 도시될 수 있는데, 이러한 키보드 이미지는 도 3의 300과 같이 키보드 이미지의 일부가 디스플레이될 수 있고, 키보드 이미지의 전체가 디스플레이될 수도 있다. 이뿐만 아니라, 도 3의 300의 키보드 이미지와는 다른 키 이미지들을 더 포함한 키보드 이미지가 표시부(101)에 디스플레이될 수도 있다. 만약, 키 입력부(114)를 통해서 표시부(101)에 디스플레이된 키보드 이미지를 줌인(Zoom-in) 또는 줌아웃(Zoom-out)하기 위한 키 입력이 있으면 단말기(110)는 요청된 키 입력에 따라 키보드 이미지를 줌인 또는 줌아웃하여 표시부(101)에 디스플레이한다. 또한, 제어부(111)는 제1 카메라(102)와 제2 카메라(103)를 구동시키고, 구동된 제1 카메라(102)와 제2 카메라(103)를 통해서 입력된 광신호를 카메라 모듈(104)로 출력한다. 그리고, 제어부(111)는 카메라 모듈(104)을 통해서 입력된 광신호를 이미지로 출력하여 근거리 통신 모듈(105)을 통해서 단말기(110)로 전달한다. 그리고, 제어부(111)는 단말기(110)의 근거리 통신 모듈(112)을 통해서 전달된 이미지를 메모리부(113)에 저장한다. 그리고, 제어부(111)는 이미지 추출부(115)를 촬영된 이미지로부터 손 이미지를 인지하고, 인지 된 손 이미지를 추출한다. 이때, 본 발명에서는 이미지 추출부(115)가 손 인지 알고리즘을 이용하여 제1 카메라(102)와 제2 카메라(103)로부터 촬영된 이미지로부터 손 이미지를 자동으로 인지한다. 또한, 본 발명에서는 손 이미지를 키 입력을 위한 입력 수단으로 이용되었지만 손 이외의 지휘봉과 같은 다른 객체를 입력 수단으로 이용할 경우 이러한 객체를 인지하기 위한 객체 인지 알고리즘을 이용하여 해당 객체를 인지할 수도 있다. 이와 같이 제어부(111)가 이미지 추출부(115)를 통해서 촬영된 이미지로부터 인지된 손 이미지를 추출하는 과정을 하기에서 이미지 추출부(115)를 설명하면서 상세하게 살펴보도록 하겠다.First, the controller 111 of the terminal 110 controls the overall operation of the terminal 110 and the virtual user interface device 100. In particular, in the present invention, when there is a request for a virtual input mode through the key input unit 114, the controller 111 transmits a keyboard image stored in the memory unit 113 to the virtual user interface apparatus 100 through the short- Output. The keyboard image input through the local communication module 105 of the virtual user interface device 100 is displayed at a predetermined position through the display unit 101. [ At this time, the displayed screen may be shown as 203 in FIG. 2. Such a keyboard image may be a part of the keyboard image, such as 300 in FIG. 3, and the entire keyboard image may be displayed. In addition to this, a keyboard image further including key images different from the keyboard image 300 of FIG. 3 may be displayed on the display unit 101. [ If there is a key input for zooming in or zooming out the keyboard image displayed on the display unit 101 through the key input unit 114, The image is zoomed in or out and displayed on the display unit 101. The control unit 111 drives the first camera 102 and the second camera 103 and outputs the optical signals inputted through the first camera 102 and the second camera 103 driven by the camera module 104 . The control unit 111 outputs the optical signal input through the camera module 104 as an image and transmits the optical signal to the terminal 110 through the local communication module 105. The control unit 111 stores the image transferred through the short-range communication module 112 of the terminal 110 in the memory unit 113. Then, the control unit 111 recognizes the hand image from the photographed image by the image extracting unit 115, and extracts the perceived hand image. At this time, in the present invention, the image extracting unit 115 automatically recognizes the hand image from the images taken from the first camera 102 and the second camera 103 using the hand recognition algorithm. Also, in the present invention, when a hand image is used as an input means for key input but another object such as a baton other than a hand is used as an input means, the object may be recognized using an object recognition algorithm for recognizing the object . Hereinafter, the process of extracting a recognized hand image from the photographed image through the image extracting unit 115 will be described in detail while explaining the image extracting unit 115 in the following.

이후, 제어부(111)는 추출된 손 이미지를 표시부(101)에 디스플레이된 키보드 이미지와 동일한 배율로 매핑한 후 매핑된 손 이미지를 근거리 통신 모듈(112)을 통해서 가상 사용자 인터페이스 장치(100)로 전달한다. 이때, 손 이미지를 키보드 이미지와 동일한 배율로 매핑하는 이유는 사용자가 손가락으로 입력할 수 있는 키 이미지의 크기가 너무 작거나 크게 되면 사용자가 키 입력할 시 불편할 수 있기 때문이다. 그러나, 본 발명에서는 배율을 설정하기 위한 키를 더 구비하여 사용자의 요청에 따라 손 이미지와 키보드 이미지를 다른 배율로 설정할 수도 있다. 그리고, 제어부(111)는 가상 사용자 인터페이스 장치(100)의 근거리 통신 모듈(105)을 통해서 전달된 손 이미지를 표시부(101)에 디스플레이한다. 이때, 디스플레이된 화면은 도 2의 200과 같이 도시될 수 있다. Then, the control unit 111 maps the extracted hand image at the same magnification as the keyboard image displayed on the display unit 101, and transmits the mapped hand image to the virtual user interface device 100 through the short distance communication module 112 do. The reason why the hand image is mapped at the same magnification as the keyboard image is that when the size of the key image that the user can input with the finger is too small or large, the user may feel inconvenience when inputting the key. However, in the present invention, a key for setting a magnification may be further provided, and a hand image and a keyboard image may be set at different magnifications according to a user's request. The control unit 111 displays the hand image transmitted through the local communication module 105 of the virtual user interface device 100 on the display unit 101. At this time, the displayed screen may be shown as 200 in FIG.

본 발명에서는 사용자에게 최적화된 가상 입력 장치를 구현하기 위해서 사용자의 키 입력 패턴에 따라 키보드 이미지를 구성하는 키 이미지들과 같은 문자 입 력 영역들을 배치한다. 이를 위해, 제어부(111)는 미리 설정된 입력 요구 문자들을 메모리부(113)로부터 추출한 후 추출된 문자들을 근거리 통신 모듈(112)을 통해서 가상 사용자 인터페이스 장치(100)로 전달한다. 그리고, 제어부(111)는 가상 사용자 인터페이스 장치(100)의 근거리 통신 모듈(105)을 통해서 전달된 복수의 문자를 표시부(101)의 문자 표시 영역(201)에 디스플레이한다. 만약, 디스플레이된 입력 요구 문자에 대응되는 각각의 문자 입력 영역 내에 손 이미지가 인지되면 제어부(111)는 인지된 손 이미지 각각에 대한 손가락 에지(Edge)점 좌표값을 산출한다. 이때, 입력 요구 문자에 대응되는 각각의 문자 입력 영역 내에 손 이미지를 인지하는 것은 사용자의 손가락들 중 소정의 손가락 에지 점이 표시부(101)에 디스플레이된 키보드 이미지의 문자 입력 영역 내에 근접하도록 이동하였다가 다시 돌아오는 움직임을 인지하는 것을 의미한다. 따라서, 디스플레이된 입력 요구 문자에 대응되는 각각의 문자 입력 영역 내에 손 이미지가 인지되면 제어부(111)는 손 이미지의 경계를 구성하는 점들 중에서 가장 큰 y축 좌표값을 가지는 점을 손가락의 에지 점으로 인지한다. 이후, 인지된 손가락의 에지 점을 통해서 손가락의 에지 점 좌표값이 산출되면 제어부(111)는 각각의 문자 입력 영역과 손 이미지에 대한 이미지 편차 값을 산출한다. 이때, 이미지 편차값이란 흑백으로 표현된 문자 입력 영역의 이미지와 손 이미지를 그레이 스케일(Grey Scale)한 흑백의 비율 값을 의미한다. 그리고, 제어부(111)는 각 입력 요구 문자에 대한 문자 입력 영역마다 산출된 손가락 에지 점 좌표값들과 산출된 이미지 편차값들을 메모리부(113)에 저장한다. 이후, 입력 요구 문자가 모두 입력되면 제어부(111)는 저장된 이미지 편차값들에 대한 평 균값을 산출하고, 각각의 문자 입력 영역에 대한 원 좌표값을 산출된 손가락 에지 점 좌표값으로 변경한 후 산출된 평균값과 함께 메모리부(113)에 저장한다. 또한, 제어부(111)는 산출된 평균값을 기준으로 하여 각각의 문자 입력 영역들에 대한 이미지 편차값이 산출된 평균값 이상이 되도록 모든 문자 입력 영역의 위치를 배치한 후 표시부(101)에 디스플레이한다. 즉, 상기와 같이 제어부(111)는 사용자의 손가락 입력 패턴에 따라 문자 입력 영역을 재배치함으로써 사용자의 손가락 입력 패턴에 맞는 가상 사용자 인터페이스를 제공할 수 있다.In the present invention, character input areas such as key images constituting a keyboard image are arranged according to a key input pattern of a user in order to implement a virtual input device optimized for a user. To this end, the control unit 111 extracts preset input request characters from the memory unit 113, and transmits the extracted characters to the virtual user interface device 100 through the short distance communication module 112. The control unit 111 displays a plurality of characters transmitted through the local communication module 105 of the virtual user interface device 100 in the character display area 201 of the display unit 101. If a hand image is recognized in each character input area corresponding to the displayed input request character, the controller 111 calculates a finger point coordinate value for each recognized hand image. At this time, recognizing the hand image in each character input area corresponding to the input request character moves the predetermined finger edge point of the user's fingers close to the character input area of the keyboard image displayed on the display part 101 It means recognizing the return movement. Accordingly, if a hand image is recognized in each character input area corresponding to the displayed input request character, the control unit 111 determines a point having the largest y-axis coordinate value among the points constituting the boundary of the hand image as an edge point of the finger I know. Then, when the edge point coordinate value of the finger is calculated through the edge point of the recognized finger, the controller 111 calculates the image deviation value for each character input area and the hand image. At this time, the image deviation value means the ratio of the image of the character input area expressed in black and white and the gray scale of the hand image. The controller 111 stores the finger edge point coordinates calculated for each character input area for each input request character and the calculated image deviation values in the memory unit 113. If all the input request characters are inputted, the controller 111 calculates an average value of the stored image deviation values, changes the original coordinate value of each character input area to the calculated finger edge point coordinate value, And stores it in the memory unit 113 together with the average value. In addition, the controller 111 arranges the positions of all the character input areas so that the image deviation values for the respective character input areas are equal to or more than the calculated average value on the basis of the calculated average value, and displays the positions on the display part 101. That is, as described above, the controller 111 can provide a virtual user interface corresponding to the finger input pattern of the user by rearranging the character input area according to the finger input pattern of the user.

한편, 소정의 문자 입력 영역 내에 문자 입력을 위한 손 이미지가 인지되면 제어부(111)는 손 이미지가 인지된 문자 입력 영역에 대응되는 문자를 메모리부(113)로부터 독출하여 표시부(101)의 문자 표시 영역(201)에 디스플레이한다. 그리고, 제어부(111)는 손 이미지를 통해서 산출된 손가락 에지 점 좌표값을 산출하고, 인지된 문자 입력 영역과 손 이미지에 대한 이미지 편차값을 산출하여 메모리부(113)에 저장한다. 또한, 제어부(111)는 산출된 이미지 편차값이 산출된 평균값 이상인지 검사하여 평균값 이상일 경우에는 소정의 문자 입력 영역 내에 문자 입력을 위한 손 이미지가 인지되는지 계속적으로 검사한다. 그런데, 산출된 이미지 편차값이 평균값 미만이면 제어부(111)는 산출된 이미지 편차값이 평균값 이상이 되도록 해당 문자 입력 영역의 위치를 재배치하여 표시부(101)에 디스플레이한다. 예를 들어, 도 5(a)와 같이 소정의 문자 입력 영역(501) 내에 인지된 손 이미지(500)와 소정의 문자 입력 영역(501)에 대한 이미지 편차값이 평균값 이상이고, 해당 손가락 이미지(500)의 에지 점 좌표값이 (x,y)라고 가정한다. 이때, 손 이미지(500) 는 사용자가 문자를 입력할 시 사용하는 손가락 이미지를 의미한다. 만약, 도 5(b)와 같이 소정의 문자 입력 영역(501) 내에 인지된 손 이미지(502)와 소정의 문자 입력 영역(501)에 대한 이미지 편차값이 평균값 미만이면 제어부(111)는 인지된 손 이미지(502)와 소정의 문자 입력 영역(501)에 대한 이미지 편차값이 평균값 이상이 되도록 문자 입력 영역을 재배치한다. 즉, 제어부(111)는 이전 손 이미지(500)의 에지 점 좌표값 (x,y)을 현재 손가락 이미지(502)의 에지 점 좌표값 (x',y')로 변경하여 소정의 문자 입력 영역의 위치를 501에서 502로 재배치한 후 표시부(113)에 디스플레이한다. 또한, 본 발명에서 상기와 같이 가상 사용자 인터페이스 장치(100)는 도 2와 같이 문자 입력을 위한 키보드 이미지(203)와 입력된 문자를 디스플레이하기 위한 문자 표시 영역(201)을 가진다. 그리고, 키보드 이미지(203)와 문자 표시 영역(201) 이외에 202와 같은 영역은 삭제(Delete)하기 위한 영역으로 미리 설정될 수 있다. 그리하여 202와 같은 영역을 선택하기 위한 손가락의 움직임이 인지되면 제어부(111)는 인지된 영역에 대응되는 삭제(Delete) 기능을 수행한다. 그리고, 복수의 문자 입력 영역으로부터 동시에 손 이미지가 인지되면 제어부(111)는 재입력을 요청하기 위한 문자 또는 이미지와 같은 알림 표시를 표시부(101)를 통해서 디스플레이한다. 이때, 손 이미지와 인지된 문자 입력 영역 각각에 대한 이미지 편차값들이 평균값 미만이면 제어부(111)는 복수의 문자 입력 영역을 제외한 나머지 문자 입력 영역을 기준으로 하여 해당 문자 입력 영역 각각의 위치를 재배치한 후 표시부(101)에 디스플레이한다.On the other hand, if a hand image for inputting a character is recognized in a predetermined character input area, the control unit 111 reads the character corresponding to the recognized character input area from the memory unit 113 and displays the character display Area 201 as shown in FIG. Then, the controller 111 calculates the finger edge point coordinate value calculated through the hand image, calculates the image deviation value for the recognized character input area and the hand image, and stores the calculated image deviation value in the memory unit 113. If the calculated image deviation value is greater than or equal to the calculated average value, the controller 111 continuously checks whether a hand image for character input is recognized in a predetermined character input area. If the calculated image deviation value is less than the average value, the controller 111 rearranges the position of the corresponding character input area so that the calculated image deviation value is equal to or greater than the average value, and displays the rearranged image on the display unit 101. For example, as shown in Fig. 5 (a), the image deviation values for the hand image 500 and the predetermined character input area 501 recognized in the predetermined character input area 501 are equal to or greater than the average value, 500) is assumed to be (x, y). At this time, the hand image 500 means a finger image used when the user inputs a character. 5B, if the image deviation values of the hand image 502 recognized in the predetermined character input area 501 and the predetermined character input area 501 are less than the average value, the controller 111 determines The character input area is rearranged such that the image deviation values for the hand image 502 and the predetermined character input area 501 are equal to or greater than the average value. That is, the control unit 111 changes the edge point coordinate value (x, y) of the previous hand image 500 to the edge point coordinate value (x ', y') of the current finger image 502, Rearranged from 501 to 502, and then displayed on the display unit 113. 2, the virtual user interface device 100 has a keyboard image 203 for inputting characters and a character display area 201 for displaying input characters. In addition to the keyboard image 203 and the character display area 201, an area such as 202 may be preset as an area for deletion. Thus, when the movement of the finger for selecting an area such as 202 is recognized, the control unit 111 performs a delete function corresponding to the recognized area. If a hand image is simultaneously recognized from a plurality of character input areas, the control unit 111 displays a notification display such as a character or an image through the display unit 101 to request re-input. At this time, if the image deviation values of the hand image and the perceived character input area are less than the average value, the control unit 111 rearranges the positions of the respective character input areas on the basis of the remaining character input areas excluding the plurality of character input areas And displays it on the rear display unit 101.

한편, 단말기(110)의 이미지 추출부(115)는 제어부(111)의 제어 하에 촬영된 이미지로부터 손 이미지를 추출한다. 이때, 이미지 추출부(115)가 손 이미지를 추출하는 과정에 대해서 도 4를 참조하여 상세하게 설명하도록 한다.On the other hand, the image extracting unit 115 of the terminal 110 extracts a hand image from the photographed image under the control of the controller 111. A process of extracting a hand image by the image extracting unit 115 will be described in detail with reference to FIG.

예를 들어, 제1 이미지를 제1 카메라(102)를 통해서 촬영된 이미지라고 가정하고, 제2 이미지를 제2 카메라(103)를 통해서 촬영된 이미지라고 가정한다. 먼저, 이미지 추출부(115)는 제1 카메라(102)와 제2 카메라(103)를 통해서 촬영된 제1 및 제2 이미지들을 8픽셀(Pixel) x 8픽셀(Pixel)의 크기를 가지는 다수의 마스크로 구성한다. 그리고, 제어부(111)는 해당 이미지들 각각으로부터 손 이미지의 x축 경계점 값들을 추출한다. 이때, 경계점은 손 이미지의 둘레를 구성하는 점을 의미한다. 이와 같이 추출된 영상은 (a)와 같이 도시될 수 있다. 또한, 이미지 추출부(115)는 제1 및 제2 이미지를 구성하는 다수의 마스크 각각으로부터 색 계조값을 산출하고, 제2 이미지에서 산출된 색 계조값들과 x축을 기준으로 하여 제1 이미지에서 산출된 색 계조값들을 비교한다. 그리하여, 이미지 추출부(115)는 제2 이미지의 마스크들 각각에서 산출된 색 계조값들과 같은 색 계조값을 가지는 제1 이미지의 마스크들을 검출하고, 두 마스크들간의 상관값을 산출한다. 이와 같이 산출된 이미지는 (b)와 같이 도시될 수 있다. 그리고, 이미지 추출부(115)는 (b)와 같은 이미지에서 손 이미지의 경계점 좌표들 사이의 픽셀들은 검은색과 같은 소정의 색으로 채운다. For example, it is assumed that the first image is an image photographed through the first camera 102, and the second image is an image photographed through the second camera 103. First, the image extracting unit 115 extracts the first and second images photographed through the first camera 102 and the second camera 103 using a plurality of pixels having a size of 8 pixels (pixel) x 8 pixels Mask. Then, the control unit 111 extracts x-axis boundary point values of the hand image from each of the images. At this time, the boundary point means a point constituting the periphery of the hand image. The image thus extracted can be shown as (a). In addition, the image extracting unit 115 may calculate the color gradation value from each of the plurality of masks constituting the first and second images, and calculate the color gradation values in the first image with reference to the color gradation values calculated in the second image and the x- And compares the calculated color tone values. Thus, the image extracting unit 115 detects masks of the first image having the same color gradation value as the color gradation values calculated in each of the masks of the second image, and calculates a correlation value between the two masks. The image thus calculated can be shown as (b). The image extracting unit 115 fills the pixels between the boundary point coordinates of the hand image in the image shown in (b) with a predetermined color such as black.

이후, 이미지 추출부(115)는 필터링을 통해서 (b)와 같은 이미지에서 오차 이미지를 삭제한다. 즉, 이미지 추출부(115)는 메모리부(113)에 미리 저장된 일반적인 피부 색상을 이용하여 (b)와 같은 이미지에서 일반적인 피부 색상을 제외한 나머지 색상을 삭제한다. 또한, 이미지 추출부(115)는 상기와 같이 일반적인 피부 색상을 제외한 색상의 히스토그램을 산출한다. 그리고, 이미지 추출부(115)는 산출된 히스토그램에서 빈도수가 높은 색상의 영상들을 제외한 나머지 색상들 중 소정의 임계값 미만의 색상들은 삭제한다. 이와 같이 필터링된 영상은 (c)와 같이 도시될 수 있다.Thereafter, the image extracting unit 115 deletes the error image from the image as shown in (b) through filtering. That is, the image extracting unit 115 deletes the remaining colors except for the general skin color in the image as shown in (b) by using the normal skin color stored in advance in the memory unit 113. In addition, the image extracting unit 115 calculates a histogram of colors except for the general skin color as described above. Then, the image extracting unit 115 deletes hues less than a predetermined threshold value among the remaining hues excluding the hues having a high frequency in the calculated histogram. The filtered image can be shown as (c).

또한, 이미지 추출부(115)는 상기와 같이 필터링을 통해서 오차 이미지를 삭제한 후 레벨링(Labeling)을 통해서 가장 큰 이미지를 제외한 나머지 이미지들을 삭제한다. 이와 같이 레벨링된 영상은 (d)와 같이 도시될 수 있다. 이처럼 이미지 추출부(115)는 상기와 같은 방법으로 촬영된 이미지로부터 손 이미지를 추출할 수 있다.또한, 근거리 통신 모듈(112)은 제어부(100)의 제어 신호를 가상 사용자 인터페이스 장치(100)로 출력하고, 메모리부(113)로부터 입력된 키보드 이미지, 손 이미지를 가상 사용자 인터페이스 장치(100)로 출력한다. 그리고, 근거리 통신 모듈(112)은 가상 사용자 인터페이스 장치(100)로부터 입력된 키 신호 또는 이미지를 제어부(111)로 출력한다.그리고, 키 입력부(114)는 가상 입력 모드를 요청하기 위한 키, 가상 입력 모드를 종료하기 위한 키를 구비하여 사용자가 누르는 키에 대응하는 키 값의 데이터를 제어부(111)에 전달한다. 또한, 키 입력부(114)는 키보드 이미지를 줌인 또는 줌아웃하기 위한 키를 더 구비할 수 있다. 이때, 본 발명에서는 키 입력부(114)가 아닌 사용자 가상 인터페이스 장치(100)에 키보드 이미지를 줌인 또는 줌아웃하기 위한 키를 구비할 수도 있다.In addition, the image extracting unit 115 deletes the error image through filtering as described above, and then removes the remaining images excluding the largest image through leveling. The leveled image can be shown as (d). In this way, the image extracting unit 115 can extract a hand image from the photographed image in the same manner as described above. The near field communication module 112 also transmits the control signal of the controller 100 to the virtual user interface device 100 And outputs the keyboard image and hand image input from the memory unit 113 to the virtual user interface device 100. [ The local communication module 112 outputs the key signal or image input from the virtual user interface device 100 to the control unit 111. The key input unit 114 includes a key for requesting a virtual input mode, And a key for terminating the input mode, and transmits data of the key value corresponding to the key pressed by the user to the control unit 111. [ The key input unit 114 may further include a key for zooming in or out of the keyboard image. Here, the present invention may include a key for zooming in or out of the keyboard image to the user virtual interface device 100, rather than the key input unit 114.

또한, 메모리부(113)는 미리 설정된 키보드 이미지와 같은 가상 입력을 위한 이미지를 저장하고, 제1 카메라(102)와 제2 카메라(103)로부터 촬영된 이미지를 저 장한다. 그리고, 메모리부(113)는 사용자별 키 배치를 위한 입력 요구 문자를 저장하는데, 예를 들어 이러한 입력 요구 문자는 Q, W, E, R, T, Y 또는 Q, A, X가 될 수 있다. 또한, 메모리부(113)는 키 이미지에 매핑된 손 이미지를 통해서 산출된 손가락 에지 점 좌표값과 키 이미지와 손 이미지에 대한 이미지 편차값, 이미지 편차값들의 평균값을 저장한다.In addition, the memory unit 113 stores an image for a virtual input such as a preset keyboard image, and stores the photographed image from the first camera 102 and the second camera 103. [ For example, the input request character may be Q, W, E, R, T, Y or Q, A, X . In addition, the memory unit 113 stores the finger edge point coordinate value calculated through the hand image mapped to the key image, the image deviation value for the key image and the hand image, and the average value of the image deviation values.

한편, 가상 사용자 인터페이스 장치(100)의 표시부(101)는 도 2와 같이 근거리 통신 모듈(105)을 통해서 입력된 키보드 이미지(203)와 손 이미지(200)를 디스플레이하거나 문자 표시 영역(201)에 근거리 통신 모듈(105)을 통해서 입력된 문자를 디스플레이한다. 이때, 본 발명에서 표시부(101)는 양안식 안경형 디스플레이 장치와 같은 두부 장착형 디스플레이 장치가 될 수 있다.The display unit 101 of the virtual user interface device 100 displays the hand image 200 and the keyboard image 203 input through the local communication module 105 as shown in FIG. And displays characters input through the short-range communication module 105. [ Here, in the present invention, the display unit 101 may be a head mounted display apparatus such as a binocular head type display apparatus.

그리고, 제1 카메라(102)와 제2 카메라(103)는 입력되는 광신호를 카메라 모듈(104)로 출력하는데, 도 2와 같이 가상 사용자 인터페이스 장치(100)에 위치하여 입체 카메라와 같은 기능을 수행한다. 이때, 제1 카메라(102)와 제2 카메라(103)의 종류와 위치를 구현상 변경될 수 있음은 물론이다.The first camera 102 and the second camera 103 output the inputted optical signal to the camera module 104. The first camera 102 and the second camera 103 are located in the virtual user interface device 100 as shown in FIG. . At this time, it goes without saying that the types and positions of the first camera 102 and the second camera 103 can be changed.

또한, 카메라 모듈(104)은 제1 카메라(102)와 제2 카메라(103)로부터 입력된 광신호를 이미지로 변환하여 근거리 통신 모듈(105)로 출력한다.The camera module 104 converts an optical signal input from the first camera 102 and the second camera 103 into an image and outputs the converted image to the near field communication module 105.

그리고, 근거리 통신 모듈(105)은 단말기(110)로부터 입력된 키보드 이미지, 손 이미지를 표시부(101)로 출력하고, 카메라 모듈(104)로부터 입력된 이미지를 단말기(110)로 출력한다.The local communication module 105 outputs a keyboard image and a hand image input from the terminal 110 to the display unit 101 and outputs the image input from the camera module 104 to the terminal 110.

그러면 이제 본 발명의 실시 예에 따라 도 1과 같이 구성되는 가상 사용자 인터페이스 장치(100)와 단말기(110)에서 가상 사용자 인터페이스를 구현하기 위한 과정에 대해서 도 6 및 도 7을 참조하여 상세하게 살펴보도록 한다.Hereinafter, a process for implementing a virtual user interface in the virtual user interface device 100 and the terminal 110 configured as shown in FIG. 1 according to an embodiment of the present invention will be described in detail with reference to FIGS. 6 and 7. FIG. do.

먼저 도 6을 참조하여 가상 입력 모드를 설정하기 위한 과정에 대해서 살펴보면, 제어부(111)는 600단계에서 대기 상태를 유지한다. 601단계에서 제어부(111)는 가상 입력 모드에 대한 요청이 있는지 검사하여 요청이 있으면 602단계를 진행하고, 그렇지 않으면 600단계에서 계속적으로 대기 상태를 유지한다. 602단계에서 제어부(111)는 메모리부(113)로부터 가상 키보드 이미지를 독출하여 표시부(101)에 디스플레이한다. 603단계에서 제어부(111)는 제1 카메라(102)와 제2 카메라(103)로부터 출력된 이미지를 메모리부(113)에 저장한다. 604단계에서 제어부(111)는 촬영된 이미지로부터 손 이미지를 추출하고, 가상 키보드 이미지와 추출된 손 이미지가 1:1 배율이 되도록 매핑한 후 표시부(101)에 디스플레이한다. 605단계에서 제어부(111)는 사용자의 최적화된 키 배치를 위한 문자 입력 요구 화면을 표시부(101)에 디스플레이한다. 즉, 제어부(111)는 미리 설정된 입력 요구 문자들을 메모리부(113)로부터 추출하여 표시부(101)의 문자 표시 영역에 디스플레이한다. 606단계에서 제어부(111)는 입력 요구 문자들의 문자 입력 영역 내에 손 이미지가 포함되는지 검사하여 포함되면 607단계로 진행하고, 그렇지 않으면 606단계에서 문자 입력 영역 내에 손 이미지가 포함되는지 계속적으로 검사한다. Referring to FIG. 6, a process for setting a virtual input mode will be described. In step 600, the controller 111 maintains a standby state. In step 601, the controller 111 checks whether there is a request for a virtual input mode. If there is a request, the controller 111 proceeds to step 602. Otherwise, the controller 111 continuously maintains a standby state in step 600. In step 602, the control unit 111 reads out a virtual keyboard image from the memory unit 113 and displays it on the display unit 101. In step 603, the control unit 111 stores the images output from the first camera 102 and the second camera 103 in the memory unit 113. In step 604, the control unit 111 extracts a hand image from the photographed image, maps the virtual keyboard image and the extracted hand image to a 1: 1 magnification ratio, and displays the result on the display unit 101. In step 605, the control unit 111 displays a character input request screen for the optimized key arrangement of the user on the display unit 101. That is, the control unit 111 extracts preset input request characters from the memory unit 113 and displays the extracted input request characters in the character display area of the display unit 101. In step 606, the controller 111 determines whether a hand image is included in the character input area of the input request characters. If the hand image is included in the character input area, the controller 111 proceeds to step 607. Otherwise,

607단계에서 제어부(111)는 이미지 추출부(115)를 통해서 입력 요구 문자 각각에 대응되는 문자 입력 영역 내에 매핑된 손 이미지를 통해서 손가락 에지 점 좌표값을 산출하고, 문자 입력 영역과 손 이미지에 대한 이미지 편차값을 산출하여 메모리부(113)에 저장한다. 이때, 606단계와 607단계는 상기의 이미지 추출부(115)에서 설명한 손 이미지 추출 과정을 통해서 추출된 손 이미지가 입력 요구 문자에 대응되는 문자 입력 영역 내에 인지되는지 검사하는 과정을 의미한다. 608단계에서 제어부(11)는 요구된 문자 입력이 모두 입력되었는지 검사하여 입력되었으면 609단계로 진행하고, 그렇지 않으면 요구된 문자 입력이 모두 입력되었는지 계속적으로 검사한다. 608단계에서 609단계로 진행한 제어부(111)는 산출된 이미지 편차값들에 대한 평균 값을 산출하고, 문자 입력 영역들 각각의 원 좌표값을 산출된 에지 좌표값으로 변경한 후 산출된 평균값과 함께 메모리부(111)에 저장한다. 610단계에서 제어부(111)는 산출된 평균값을 기준으로 하여 키보드 이미지를 구성하는 모든 문자 입력 영역의 위치를 재배치한 후 표시부(101)에 디스플레이하고, 가상 입력 모드 설정 과정을 종료한다.In step 607, the control unit 111 calculates a finger edge point coordinate value through a hand image mapped in a character input area corresponding to each of the input request characters through the image extraction unit 115, And stores the calculated image deviation value in the memory unit 113. [ In this case, steps 606 and 607 refer to a process for checking whether the hand image extracted through the hand image extraction process described in the image extraction unit 115 is recognized in the character input area corresponding to the input request character. In step 608, the control unit 11 checks whether all the requested character input is inputted. If the input character input is completed, the control unit 11 proceeds to step 609. Otherwise, the control unit 11 continuously checks whether all the requested character input is inputted. The controller 111 proceeds to step 609 from step 608. The controller 111 calculates an average value of the calculated image deviation values, changes the original coordinate values of the character input areas to the calculated edge coordinate values, And stores them in the memory unit 111 together. In step 610, the controller 111 rearranges the positions of all the character input areas constituting the keyboard image on the basis of the calculated average value, displays the displayed positions on the display unit 101, and ends the virtual input mode setting process.

다음으로 도 7을 참조하여 가상 사용자 인터페이스 장치(100)를 이용하여 문자를 입력하기 위한 과정에 대하여 살펴보면, 제어부(111)는 700단계에서 소정의 문자 입력 영역 내에 문자 입력을 위한 손 이미지가 인지되는지 검사하여 인지되면 701단계로 진행하고, 그렇지 않으면 손 이미지가 인지되는지 계속적으로 검사한다. 701단계에서 제어부(111)는 인지된 문자 입력 영역에 대응되는 문자를 메모리부(113)로부터 독출하여 표시부(101)의 문자 표시 영역(201)에 디스플레이한다. 그리고, 제어부(111)는 손 이미지를 통해서 손가락 에지 점 좌표값을 산출하고, 손 이미지와 인지된 문자 입력 영역에 대한 이미지 편차값을 산출하여 메모리부(113)에 저장한다. 702단계에서 제어부(111)는 산출된 이미지 편차값이 평균값 이상인지 검사하여 평균값 이상이면 704단계로 진행하고, 그렇지 않으면 703단계를 진행한다. 703단계에서 제어부(111)는 산출된 이미지 편차값이 평균값 이상이 되도록 문자 입력 영역의 위치를 재배치하여 표시부(101)에 디스플레이한다. 702단계와 703단계에서 704단계로 진행한 제어부(111)는 가상 입력 모드를 종료하기 위한 키 입력이 있는지 검사하여 종료 키 입력이 있으면 가상 입력 모드를 종료하고, 그렇지 않으면 700단계로 진행하여 701~704단계를 수행한다.Next, referring to FIG. 7, a process for inputting characters using the virtual UI device 100 will be described. In step 700, the controller 111 determines whether a hand image for inputting a character is recognized in a predetermined character input area If it is determined that the hand image is recognized, the process proceeds to step 701, and if not, the hand image is continuously checked. In step 701, the control unit 111 reads the character corresponding to the recognized character input area from the memory unit 113 and displays it on the character display area 201 of the display unit 101. The control unit 111 calculates the finger edge point coordinate value through the hand image, calculates the image deviation value for the hand image and the recognized character input area, and stores the calculated image deviation value in the memory unit 113. In step 702, the controller 111 determines whether the calculated image deviation is greater than or equal to the average value, and proceeds to step 704. Otherwise, In step 703, the control unit 111 rearranges the position of the character input area so that the calculated image deviation value is equal to or greater than the average value, and displays the position on the display unit 101. [ The controller 111 proceeds to step 702 and steps 703 and 704 to check if there is a key input for ending the virtual input mode. If there is an end key input, the controller 111 terminates the virtual input mode. Otherwise, Step 704 is performed.

상기와 같이 본 발명의 가상 사용자 인터페이스 장치는 문자 입력을 위한 가상 입력 방법에 대해서 설명하였지만 문자 입력 외에 도 8(a)와 같이 메뉴 화면 선택 및 설정을 위해서도 상기와 같은 가상 입력 방법을 수행할 수 있다. 이때, 가상 사용자 인터페이스는 도 8(a)의 (800)와 같이 손가락을 인식하기 위한 손가락 인식 영역을 디스플레이하는 손가락 인식 장치와 도 8(a)의 (801)와 같이 메뉴화면 디스플레이 영역을 디스플레이하는 디스플레이 장치를 따로 구비할 수 있다. 그리하여, 사용자의 손이 손가락 인식 영역을 통해서 인식되면 가상 사용자 인터페이스는 사용자 손가락이 인식된 위치에 대응되도록 커서 키를 메뉴화면 디스플레이 영역에 표시할 수 있다. 또한, 이러한 가상 사용자 인터페이스는 도 8(b)와 같이 차량 네비게이션 장치에 적용되어 사용자가 편리하게 네비게이션 장치의 메뉴를 선택 또는 설정할 수도 있다.As described above, the virtual user interface device of the present invention has described the virtual input method for inputting characters. However, in addition to the input of characters, the virtual input method as described above can also be performed for selecting and setting a menu screen as shown in FIG. 8 (a) . At this time, the virtual user interface displays a finger recognition device for displaying a finger recognition area for recognizing a finger and a menu screen display area as shown at (801) in FIG. 8 (a) A display device may be separately provided. Thus, if the user's hand is recognized through the finger recognition area, the virtual user interface can display the cursor key on the menu screen display area so that the user's finger corresponds to the recognized position. The virtual user interface may be applied to a vehicle navigation device as shown in FIG. 8 (b) so that the user can conveniently select or set the menu of the navigation device.

도 1은 본 발명의 실시 예에 따른 가상 사용자 인터페이스 장치를 구비하는 단말기의 블록 구성도,1 is a block diagram of a terminal having a virtual user interface device according to an embodiment of the present invention;

도 2는 본 발명의 실시 예에 따른 가상 사용자 인터페이스 장치를 나타내기 위한 예시도,2 is an exemplary diagram illustrating a virtual user interface device according to an embodiment of the present invention.

도 3은 본 발명의 실시 예에 따라 가상 사용자 인터페이스 장치에 디스플레이되는 키보드 이미지의 예시도,3 is an illustration of a keyboard image displayed on a virtual user interface device according to an embodiment of the present invention;

도 4는 본 발명의 실시 예에 따라 손 인식 알고리즘을 이용하여 손 이미지를 추출하는 과정을 설명하기 위한 예시도,4 is a diagram illustrating a process of extracting a hand image using a hand recognition algorithm according to an embodiment of the present invention.

도 5는 본 발명의 실시 예에 따라 사용자별 최적화된 문자 입력 영역을 설정하기 위한 과정을 설명하기 위한 예시도들,FIG. 5 is a block diagram illustrating a process for setting a character input area optimized for each user according to an embodiment of the present invention.

도 6은 본 발명의 실시 예에 따라 가상 입력 모드를 설정하도록 제어하는 과정을 나타내는 제어 흐름도, FIG. 6 is a control flowchart illustrating a process of setting a virtual input mode according to an embodiment of the present invention. FIG.

도 7은 본 발명의 실시 예에 따라 가상 입력 모드에서 문자를 입력하기 위한 과정을 나타내는 제어 흐름도,FIG. 7 is a control flowchart illustrating a process for inputting characters in a virtual input mode according to an embodiment of the present invention; FIG.

도 8은 본 발명의 실시 예에 따른 가상 입력 인터페이스 구현 방법을 이용하여 가상 인터페이스를 구현한 예시도.FIG. 8 illustrates an example of a virtual interface implemented using a virtual input interface implementation method according to an embodiment of the present invention; FIG.

Claims (8)

가상 사용자 인터페이스를 구현하기 위한 장치에 있어서,An apparatus for implementing a virtual user interface, 이미지를 촬영하고, 입력되는 가상 키보드 이미지와 입력되는 문자를 디스플레이하는 가상 사용자 인터페이스와,A virtual user interface for capturing an image, displaying an input virtual keyboard image and input characters, 상기 가상 사용자 인터페이스와 통신 가능한 단말기를 포함하고,And a terminal capable of communicating with the virtual user interface, 상기 단말기는 복수의 문자 입력 영역을 가지는 상기 가상 키보드 이미지와 문자 입력 영역의 위치를 설정하기 위한 복수의 입력 요구 문자를 저장하는 메모리부와,The terminal includes a memory unit for storing a virtual keyboard image having a plurality of character input areas and a plurality of input request characters for setting a position of the character input area, 상기 가상 사용자 인터페이스를 통해 촬영된 이미지에서 입력 수단 이미지를 추출하는 이미지 추출부와, An image extracting unit for extracting an input means image from an image photographed through the virtual user interface; 상기 이미지 추출부를 통해서 추출된 입력 수단 이미지를 상기 가상 키보드 이미지에 매핑하고, 상기 가상 사용자 인터페이스로 출력한 후 상기 가상 사용자 인터페이스를 통해 입력 요구 문자들의 입력을 요구하고, 상기 요구된 입력 요구 문자들의 입력이 있으면 상기 입력된 입력 요구 문자 각각의 입력 패턴에 따라 문자 입력 영역의 위치를 배치한 가상 키보드 이미지를 상기 가상 사용자 인터페이스로 출력하는 제어부를 포함하는 것을 특징으로 하는 가상 사용자 인터페이스 구현 장치.A virtual user interface for inputting the input requesting characters through the virtual user interface, and an input unit for inputting the inputting requesting characters via the virtual user interface after mapping the input unit image extracted through the image extracting unit to the virtual keyboard image, And outputting a virtual keyboard image in which a position of a character input area is arranged according to an input pattern of each of the inputted input request characters, to the virtual user interface. 제 1항에 있어서, The method according to claim 1, 상기 이미지 추출부는 상기 가상 사용자 인터페이스를 통해 촬영된 이미지에서 상기 입력 수단 이미지를 인지하고, 상기 인지된 입력 수단 이미지에서 이미지 경계값을 추출한 후 상기 추출된 이미지 경계값을 이용하여 상기 인지된 입력 수단 이미지의 색 계조값을 산출하고, 상기 산출된 색 계조값을 이용하여 상기 인지된 입력 수단 이미지의 상관값을 산출한 후 상기 상관값이 산출된 입력 수단 이미지를 필터링하고, 상기 필터링된 입력 수단 이미지를 레벨링하여 상기 인지된 입력 수단 이미지를 추출하는 것을 특징으로 하는 가상 사용자 인터페이스 구현 장치.Wherein the image extracting unit recognizes the input means image in an image photographed through the virtual user interface, extracts an image boundary value from the recognized input means image, and then, using the extracted image boundary value, Calculating a correlation value of the recognized input means image by using the calculated color tone value, filtering the input means image in which the correlation value is calculated, and outputting the filtered input means image And extracts the perceived input means image by leveling. 제 2항에 있어서, 3. The method of claim 2, 상기 제어부는 상기 입력된 입력 요구 문자 각각의 입력 패턴에 따라 문자 입력 영역의 위치를 배치할 시 상기 입력 요구 문자 각각에 대응되는 문자 입력 영역에 포함된 입력 수단 이미지의 에지 좌표값과 이미지 편차값을 산출하고, 산출된 이미지 편차값들의 평균값을 산출하여 상기 메모리부에 저장하고, 상기 입력 요구된 문자에 대응되는 문자 입력 영역에 대한 편차값이 상기 평균값 이상이 되도록 문자 입력 영역의 위치를 배치하는 것을 특징으로 하는 가상 사용자 인터페이스 구현 장치. When the position of the character input area is arranged in accordance with the input pattern of each of the input request characters, the controller calculates the edge coordinate value and the image deviation value of the input means image included in the character input area corresponding to each of the input request characters Calculating an average value of the calculated image deviation values and storing the calculated average value in the memory unit and arranging the position of the character input region such that the deviation value for the character input region corresponding to the input requested character is equal to or greater than the average value Wherein the virtual user interface is a virtual user interface. 제 3항에 있어서, The method of claim 3, 상기 제어부는 상기 문자 입력 영역의 위치가 배치된 후에 소정의 문자 입력 영역에 상기 입력 수단 이미지가 인지되면 상기 입력 요구 문자 각각에 대응되는 문자 입력 영역에 인지된 입력 수단 이미지의 에지 좌표값과 이미지 편차값을 산출하고, 상기 산출된 이미지 편차값이 상기 평균값 미만이면 상기 산출된 이미지 편차값이 상기 평균값 이상이 되도록 상기 소정의 문자 입력 영역의 위치를 재배치하는 것을 더 포함함을 특징으로 하는 가상 사용자 인터페이스 구현 장치.When the input means image is recognized in a predetermined character input area after the position of the character input area is arranged, the control part recognizes the edge coordinate value of the image of the input means recognized in the character input area corresponding to each of the input request characters, And rearranging the position of the predetermined character input area so that the calculated image deviation value is greater than or equal to the average value if the calculated image deviation value is less than the average value, Implementation device. 단말기에서 가상 사용자 인터페이스를 이용하여 문자를 입력하기 위한 방법에 있어서,A method for inputting characters in a terminal using a virtual user interface, 이미지를 촬영하고, 입력되는 가상 키보드 이미지와 입력되는 문자를 디스플레이하는 가상 사용자 인터페이스를 구비하는 과정과, A virtual user interface for capturing an image and displaying an input virtual keyboard image and input characters; 가상 입력을 위한 모드 선택이 있으면, 상기 가상 사용자 인터페이스를 통해 촬영된 이미지에서 입력 수단 이미지를 추출하는 과정과,Extracting an input means image from an image photographed through the virtual user interface if a mode for virtual input is selected; 상기 추출된 입력 수단 이미지를 상기 가상 키보드 이미지에 매핑하고, 상기 가상 사용자 인터페이스를 통해 디스플레이 하는 과정과,Mapping the extracted input means image to the virtual keyboard image and displaying through the virtual user interface; 상기 가상 사용자 인터페이스를 통해 입력 요구 문자들의 입력을 요구하는 과정과, Requesting input of input request characters through the virtual user interface; 상기 요구된 입력 요구 문자들의 입력이 있으면 상기 입력된 입력 요구 문자 각각의 입력 패턴에 따라 문자 입력 영역의 위치를 배치한 가상 키보드 이미지를 상기 가상 사용자 인터페이스를 통해 디스플레이 하는 과정을 포함하는 것을 특징으로 하는 가상 사용자 인터페이스 구현 방법.And displaying a virtual keyboard image in which a position of a character input area is arranged according to an input pattern of each of the input request characters when the requested input request characters are input, through the virtual user interface A method for implementing a virtual user interface. 제 5항에 있어서, 상기 추출 과정은,6. The method of claim 5, 상기 가상 사용자 인터페이스를 통해 촬영된 이미지에서 상기 입력 수단 이미지를 인지하는 과정과,Recognizing the input means image in an image photographed through the virtual user interface; 상기 인지된 입력 수단 이미지에서 이미지 경계값을 추출한 후 상기 추출된 이미지 경계값을 이용하여 상기 입력 수단 이미지의 색 계조값을 산출하고, 상기 산출된 색 계조값을 이용하여 상기 입력 수단 이미지의 상관값을 산출하는 과정과, Calculating a color gradation value of the input means image by using the extracted image boundary value after extracting an image boundary value from the recognized input means image, calculating a color gradation value of the input means image by using the calculated color gradation value, , 상기 상관값이 산출된 입력 수단 이미지를 필터링하는 과정과,Filtering the input means image from which the correlation value is calculated; 상기 필터링된 입력 수단 이미지를 레벨링하는 과정을 포함하는 것을 특징으로 하는 가상 사용자 인터페이스 구현 방법.And leveling the filtered input means image. 제 6항에 있어서, The method according to claim 6, 상기 배치한 가상 키보드 이미지를 상기 가상 사용자 인터페이스를 통해 디스플레이하는 과정은,Displaying the virtual keyboard image arranged through the virtual user interface, 상기 입력된 입력 요구 문자 각각의 입력 패턴에 따라 문자 입력 영역의 위치를 배치할 시 상기 입력 요구 문자 각각에 대응되는 문자 입력 영역에 포함된 입력 수단 이미지의 에지 좌표값과 이미지 편차값을 산출하는 과정과,Calculating an edge coordinate value and an image deviation value of an input means image included in a character input area corresponding to each of the input request characters when arranging the position of the character input area according to the input pattern of each of the input request characters inputted and, 상기 입력 요구된 문자에 대응되는 문자 입력 영역에 대한 편차값이 상기 산출된 이미지 편차값의 평균값 이상이 되도록 문자 입력 영역의 위치를 배치하는 과정을 포함하는 것을 특징으로 하는 가상 사용자 인터페이스 구현 방법. And arranging the position of the character input area such that the deviation value for the character input area corresponding to the input requested character is greater than or equal to the average value of the calculated image deviation value. 제 7항에 있어서, 8. The method of claim 7, 상기 배치한 가상 키보드 이미지를 상기 가상 사용자 인터페이스를 통해 디스플레이하는 과정 이후에 소정의 문자 입력 영역에 상기 입력 수단 이미지가 포함되면 상기 입력 요구 문자 각각에 대응되는 문자 입력 영역에 포함된 입력 수단 이미지의 에지 좌표값과 이미지 편차값을 산출하는 과정과,When the image of the input means is included in a predetermined character input area after the process of displaying the arranged virtual keyboard image through the virtual user interface, the edge of the input means image included in the character input area corresponding to each of the input required characters Calculating a coordinate value and an image deviation value; 상기 산출된 이미지 편차값이 상기 평균값 미만이면 상기 산출된 이미지 편차값이 상기 평균값 이상이 되도록 상기 소정의 문자 입력 영역의 위치를 재배치하는 과정을 더 포함하는 것을 특징으로 하는 가상 사용자 인터페이스 구현 방법.And rearranging the position of the predetermined character input area so that the calculated image deviation value is greater than or equal to the average value if the calculated image deviation value is less than the average value.
KR1020070116108A 2007-09-07 2007-11-14 Apparatus and method for emboding virtual user interface KR101414424B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20070091168 2007-09-07
KR1020070091168 2007-09-07

Publications (2)

Publication Number Publication Date
KR20090026008A KR20090026008A (en) 2009-03-11
KR101414424B1 true KR101414424B1 (en) 2014-08-07

Family

ID=40694235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070116108A KR101414424B1 (en) 2007-09-07 2007-11-14 Apparatus and method for emboding virtual user interface

Country Status (1)

Country Link
KR (1) KR101414424B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030038732A (en) * 2000-09-07 2003-05-16 카네스타, 인코포레이티드 Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
JP2003288156A (en) 2002-03-28 2003-10-10 Minolta Co Ltd Input device
KR20070009207A (en) * 2005-07-15 2007-01-18 엘지전자 주식회사 Apparatus and method for input holographic keyboard in mobile terminal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030038732A (en) * 2000-09-07 2003-05-16 카네스타, 인코포레이티드 Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
JP2003288156A (en) 2002-03-28 2003-10-10 Minolta Co Ltd Input device
KR20070009207A (en) * 2005-07-15 2007-01-18 엘지전자 주식회사 Apparatus and method for input holographic keyboard in mobile terminal

Also Published As

Publication number Publication date
KR20090026008A (en) 2009-03-11

Similar Documents

Publication Publication Date Title
CN107995429B (en) Shooting method and mobile terminal
US8577100B2 (en) Remote input method using fingerprint recognition sensor
CN108495029B (en) Photographing method and mobile terminal
KR100858358B1 (en) Method and apparatus for user-interface using the hand trace
US7894640B2 (en) Identification apparatus and identification image displaying method
EP1983402A1 (en) Input device and its method
US20060097985A1 (en) Portable terminal and data input method therefor
US9225896B2 (en) Mobile terminal device, storage medium, and display control method
KR20080031967A (en) A device and a method for identifying movement pattenrs
US10621766B2 (en) Character input method and device using a background image portion as a control region
JP2017004354A (en) Display control method, display control program, information processing terminal, and wearable device
CN111432123A (en) Image processing method and device
JP5332623B2 (en) Image display device and image display method
CN109471586B (en) Keycap color matching method and device and terminal equipment
CN110908517A (en) Image editing method, image editing device, electronic equipment and medium
JP4871226B2 (en) Recognition device and recognition method
KR101958649B1 (en) Character information transmission system using color recognition
JP6179227B2 (en) Information processing device, portable terminal, and information input device
KR101414424B1 (en) Apparatus and method for emboding virtual user interface
JP6161244B2 (en) Portable terminal device, program, and input method
KR100751093B1 (en) Device and method for Input in digital device
KR20070054569A (en) Apparatus for providing human interface using camera attached to mobile communication terminal and method thereof
KR101422290B1 (en) Method of transmitting concealed image using touchscreen in video communication and apparatus for performing video communication
CN111679737B (en) Hand segmentation method and electronic device
CN111093035B (en) Image processing method, electronic device, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 5