KR20140105362A - Device of recognizing proximity motion using sensors and method thereof - Google Patents

Device of recognizing proximity motion using sensors and method thereof Download PDF

Info

Publication number
KR20140105362A
KR20140105362A KR1020130137168A KR20130137168A KR20140105362A KR 20140105362 A KR20140105362 A KR 20140105362A KR 1020130137168 A KR1020130137168 A KR 1020130137168A KR 20130137168 A KR20130137168 A KR 20130137168A KR 20140105362 A KR20140105362 A KR 20140105362A
Authority
KR
South Korea
Prior art keywords
input
sensor
proximity
input object
interface
Prior art date
Application number
KR1020130137168A
Other languages
Korean (ko)
Other versions
KR102118610B1 (en
Inventor
한승주
박준아
류현석
박두식
이기명
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/150,051 priority Critical patent/US10261612B2/en
Priority to EP14152597.2A priority patent/EP2770408B1/en
Priority to JP2014021352A priority patent/JP6333568B2/en
Priority to CN201410056423.5A priority patent/CN104007814B/en
Priority to US14/446,826 priority patent/US10394434B2/en
Publication of KR20140105362A publication Critical patent/KR20140105362A/en
Priority to US16/524,668 priority patent/US10921926B2/en
Application granted granted Critical
Publication of KR102118610B1 publication Critical patent/KR102118610B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Abstract

Disclosed is a proximity motion recognition device using sensors. An embodiment includes a first sensor for sensing a first input space, a second sensor sensing a second input space different from the first input space, and an information delivery control unit which delivers information associated with transition between the first sensor and the second sensor.

Description

센서들을 이용하는 근접 동작 인식 장치 및 그 장치를 이용한 방법{DEVICE OF RECOGNIZING PROXIMITY MOTION USING SENSORS AND METHOD THEREOF}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a proximity motion recognition apparatus using sensors and a device using the same,

아래 실시예들은 센서들을 이용하는 근접 동작 인식 장치 및 그 장치를 이용한 방법에 관한 것이다.
The following embodiments relate to a proximity motion recognition device using sensors and a method using the device.

스마트 폰, 타블렛 컴퓨터 및 노트북 컴퓨터 등 다양한 휴대용 기기에서 2차원 평면 위에서 이루어지는 터치 입력 방식이 많이 이용되고 있다. 특히, 터치 입력 방식은 단일의 터치 입력을 수용하는 싱글 포인트 인식 기법으로부터 복수의 터치 입력들을 동시에 수용하는 멀티 포인트 인식 기법으로 발전해왔다.
2. Description of the Related Art [0002] In various portable devices such as a smart phone, a tablet computer, and a notebook computer, a touch input method performed on a two-dimensional plane is widely used. In particular, the touch input method has been developed as a multi-point recognition method that simultaneously receives a plurality of touch inputs from a single-point recognition method that accommodates a single touch input.

일 측에 따른 센서들을 이용하는 근접 동작 인식 장치는 근접 동작을 인식하기 위한 기준면으로부터 미리 정해진 거리보다 가까운 제1 입력 공간을 센싱하기 위한 제1 센서; 상기 기준면으로부터 상기 미리 정해진 거리보다 먼 제2 입력 공간을 센싱하기 위한 제2 센서; 및 입력 객체가 상기 제1 입력 공간과 상기 제2 입력 공간 사이를 트랜지션하는 경우, 상기 제1 센서와 상기 제2 센서 사이에서 상기 트랜지션과 관련된 정보를 전달하는 정보 전달 제어부를 포함한다.A proximity motion recognition apparatus using sensors according to one side includes a first sensor for sensing a first input space closer than a predetermined distance from a reference plane for recognizing a proximity operation; A second sensor for sensing a second input space that is greater than the predetermined distance from the reference plane; And an information transfer control unit for transferring information related to the transition between the first sensor and the second sensor when the input object transitions between the first input space and the second input space.

이 때, 상기 근접 동작 인식 장치는 입력 객체와 상기 기준면 사이의 근접 정도를 측정하는 근접 정도 측정부; 및 상기 근접 정도에 따라 상기 제1 센서 및 상기 제2 센서를 택일적으로 활성화시키는 센서 제어부를 더 포함할 수 있다.In this case, the proximity motion recognition device may include a proximity measurement unit measuring proximity between the input object and the reference plane; And a sensor control unit for selectively activating the first sensor and the second sensor according to the proximity.

또한, 상기 근접 동작 인식 장치는 근접 동작 인터페이스를 표시하는 디스플레이; 및 상기 제1 입력 공간에서 제1 입력 객체가 입력되는 경우, 상기 제1 입력 객체와 상기 기준면 사이의 근접 정도에 따라 상기 제1 입력 객체에 의해 포인팅되는 영역의 크기가 변경되도록 상기 근접 동작 인터페이스를 제어하는 인터페이스 제어부를 더 포함할 수 있다.The proximity motion recognition device may further include a display for displaying a proximity operation interface; And a controller for controlling the proximity operation interface so that the size of the area pointed by the first input object is changed according to the proximity between the first input object and the reference plane when the first input object is input in the first input space, And an interface control unit for controlling the interface.

또한, 상기 근접 동작 인식 장치는 상기 제2 입력 공간에서 제2 입력 객체가 입력되는 경우, 상기 제2 입력 객체에 의해 포인팅되는 점 주변으로 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어하는 인터페이스 제어부; 및 상기 제1 입력 공간에서 제1 입력 객체가 입력되는 경우, 상기 제1 센서의 출력 신호에 기초하여 상기 제1 입력 객체의 끝점과 축을 추출하는 신호 처리부를 더 포함할 수 있다. 여기서, 상기 인터페이스 제어부는 상기 제1 입력 공간에서 상기 제1 입력 객체가 입력되는 경우, 상기 제1 입력 객체의 끝점과 축을 이용하여 상기 제1 입력 객체에 의하여 상기 디스플레이가 가려지는 영역 주변으로 상기 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어할 수 있다.The proximity motion recognition apparatus may further include a control unit for controlling the proximity operation interface so that when the second input object is input in the second input space, at least one predetermined icon is disposed around a point pointed by the second input object An interface control unit; And a signal processing unit for extracting an end point and an axis of the first input object based on an output signal of the first sensor when the first input object is input in the first input space. Here, when the first input object is input in the first input space, the interface control unit may use the endpoints and the axes of the first input object to surround the display area by the first input object, The proximity operation interface can be controlled such that at least one predetermined icon is disposed.

또한, 상기 근접 동작 인식 장치는 상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 복수의 입력 객체들이 감지되는지 여부를 판단하는 복수 입력 감지부; 및 상기 복수 입력 감지부에 의해 복수의 입력 객체들이 감지된다고 판단되는 경우, 미리 정해진 모드에 따라 상기 복수의 입력 객체들 중 적어도 하나의 입력 객체를 선택하는 입력 선택부를 더 포함할 수 있다.The proximity motion recognition apparatus may further include a plurality of input sensing units for determining whether a plurality of input objects are sensed based on at least one of an output signal of the first sensor or an output signal of the second sensor; And an input selection unit for selecting at least one input object among the plurality of input objects according to a predetermined mode when it is determined that the plurality of input objects are detected by the multiple input sensing unit.

또한, 상기 근접 동작 인식 장치는 상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 패턴을 인식하는 입력 패턴 인식부; 및 상기 입력 패턴에 대응되는 기능을 실행하는 기능 실행부를 더 포함할 수 있다.The proximity motion recognition apparatus may further include: an input pattern recognition unit that recognizes an input pattern based on at least one of an output signal of the first sensor or an output signal of the second sensor; And a function executing unit for executing a function corresponding to the input pattern.

또한, 상기 근접 동작 인식 장치는 2차원 인터페이스 및 3차원 인터페이스를 제공하는 디스플레이; 상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 위치, 속도, 또는 각속도 중 적어도 하나를 계산하는 계산부; 및 상기 계산 결과에 기초하여 상기 디스플레이의 동작 모드를 제어하는 디스플레이 제어부를 더 포함할 수 있다.The proximity motion recognition apparatus may further include a display providing a two-dimensional interface and a three-dimensional interface; A calculation unit for calculating at least one of an input object position, a velocity, and an angular velocity based on at least one of an output signal of the first sensor or an output signal of the second sensor; And a display controller for controlling an operation mode of the display based on the calculation result.

다른 일 측에 따른 센서들을 이용하는 근접 동작 인식 방법은 제1 센서를 이용하여 근접 동작을 인식하기 위한 기준면으로부터 미리 정해진 거리보다 가까운 제1 입력 공간에 입력 객체가 존재하는 경우, 상기 제1 입력 공간을 센싱하는 단계; 제2 센서를 이용하여 상기 기준면으로부터 상기 미리 정해진 거리보다 먼 제2 입력 공간에 입력 객체가 존재하는 경우, 상기 제2 입력 공간을 센싱하는 단계; 및 입력 객체가 상기 제1 입력 공간과 상기 제2 입력 공간 사이를 트랜지션하는 경우, 상기 제1 센서와 상기 제2 센서 사이에서 상기 트랜지션과 관련된 정보를 전달하는 단계를 포함한다.When the input object exists in the first input space which is closer than a predetermined distance from the reference plane for recognizing the proximity operation using the first sensor, Sensing; Sensing the second input space when an input object exists in a second input space that is distant from the reference plane by a second sensor; And communicating information relating to the transition between the first sensor and the second sensor when the input object transitions between the first input space and the second input space.

또 다른 일 측에 따른 유저 인터페이스를 제어하는 제어 방법은 유저 인터페이스와 가까운 제1 영역에서 입력을 센싱하는 단계; 상기 제1 영역 밖의 제2 영역에서 입력을 센싱하는 단계; 및 상기 제1 영역과 상기 제2 영역에서 감지된 입력의 위치(position) 및 움직임(movement) 중 적어도 하나에 기초하여 상기 유저 인터페이스를 제1 방식(manner)과 제2 방식으로 선택적으로 제어하는 단계를 포함한다.
The control method for controlling a user interface according to another side includes: sensing an input in a first area close to a user interface; Sensing an input in a second region outside the first region; And selectively controlling the user interface in a first manner and a second manner based on at least one of position and movement of the sensed input in the first area and the second area .

도 1은 일 실시예에 따른 센서들을 이용하는 근접 동작 인식 장치를 설명하기 위한 도면.
도 2는 일 실시예에 따른 제1 센서 및 제2 센서의 출력 신호를 설명하기 위한 도면.
도 3은 일 실시예에 따른 근접 동작 인식 장치의 파워 세이빙 모드를 설명하기 위한 도면.
도 4는 일 실시예에 따른 근접 동작 인식 장치가 제공하는 근접 동작 인터페이스를 설명하기 위한 도면.
도 5는 일 실시예에 따른 근접 동작 인식 장치의 동작을 설명하기 위한 동작 흐름도.
도 6a 내지 도 6b는 일 실시예에 따른 근접 동작 인식 장치의 아이콘 자동 배치 동작을 설명하기 위한 도면.
도 7 내지 도 8b는 일 실시예에 따른 근접 동작 인식 장치의 아이콘 자동 배치 동작을 위한 신호 처리 방법을 설명하기 위한 도면.
도 9a 내지 도 10은 일 실시예에 따른 복수의 입력 객체들이 감지되는 경우 근접 동작 인식 장치의 동작을 설명하기 위한 도면.
도 11은 일 실시예에 따른 입력 패턴을 인식하는 근접 동작 인식 장치를 나타낸 블록도.
도 12a 내지 도12b는 일 실시예에 따른 근접 동작 인식 장치의 2차원 인터페이스 및 3차원 인터페이스 변환 동작을 설명하기 위한 도면.1 is a view for explaining a proximity motion recognition apparatus using sensors according to an embodiment;
2 is a view for explaining output signals of a first sensor and a second sensor according to an embodiment;
3 is a view for explaining a power save mode of the proximity motion recognition apparatus according to an embodiment;
4 is a view for explaining a proximity operation interface provided by a proximity motion recognition apparatus according to an embodiment;
5 is a flowchart illustrating an operation of a proximity motion recognition apparatus according to an exemplary embodiment of the present invention.
6A and 6B are diagrams for explaining automatic icon placement operation of the proximity motion recognition apparatus according to the embodiment.
FIGS. 7 to 8B are diagrams for explaining a signal processing method for an automatic icon placement operation of the proximity motion recognition apparatus according to the embodiment; FIG.
FIGS. 9A to 10 illustrate operations of a proximity motion recognition apparatus when a plurality of input objects are sensed according to an exemplary embodiment; FIG.
11 is a block diagram showing a proximity motion recognition apparatus for recognizing an input pattern according to an embodiment.
12A and 12B are diagrams for explaining a two-dimensional interface and a three-dimensional interface conversion operation of the proximity motion recognition apparatus according to one embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 일 실시예에 따른 센서들을 이용하는 근접 동작 인식 장치를 설명하기 위한 도면이다. 도 1을 참조하면, 일 실시예에 따른 근접 동작 인식 장치(100)는 제1 센서(110), 제2 센서(120) 및 정보 전달 제어부(130)를 포함한다. 여기서, 근접 동작 인식 기술은 2차원의 터치 입력 방식을 3차원적으로 발전시킬 수 있는 기술이며, 근접 동작 인식 장치(100)는 이용자로부터 근접 동작을 입력 받고 입력 받은 근접 동작을 인식하는 장치로, 고정형 디바이스 또는 휴대형 디바이스 등 다양한 형태로 구현될 수 있다. 이하, 제1 센서(110)는 제1 유형 센서이고, 제2 센서(120)는 제1 유형 센서와 다른 유형의 제2 유형 센서일 수 있다. 그러나, 실시예들은 제1 센서(110) 및 제2 센서(120)가 이종 센서들인 경우로 국한되지 않는다. 예를 들어, 실시예들은 제1 센서(110)와 제2 센서(120)가 동일한 유형이지만, 서로 다른 영역(range)의 입력을 감지하는 경우에도 적용될 수 있다.1 is a view for explaining a proximity motion recognition apparatus using sensors according to an embodiment. Referring to FIG. 1, a proximity motion recognition apparatus 100 according to an embodiment includes a first sensor 110, a second sensor 120, and an information transfer control unit 130. Here, the proximity motion recognizing technique is a technique capable of three-dimensionally developing a two-dimensional touch input scheme. The proximity motion recognizing device 100 is a device for recognizing a proximity motion inputted and received from a user, A fixed-type device, or a portable device. Hereinafter, the first sensor 110 may be a first type sensor and the second sensor 120 may be a second type sensor other than the first type sensor. However, the embodiments are not limited to the case where the first sensor 110 and the second sensor 120 are heterogeneous sensors. For example, although the first sensor 110 and the second sensor 120 are of the same type, embodiments may be applied to sensing an input of a different range.

제1 센서(110)는 근접 동작을 인식하기 위한 기준면(140)으로부터 미리 정해진 제1 거리(141)보다 가까운 제1 입력 공간을 센싱할 수 있다. 도면에 표시하지 않았으나, 일 실시예에 따른 근접 동작 인식 장치(100)는 디스플레이를 더 포함할 수 있고, 이 경우 기준면(140)은 디스플레이 위에 위치될 수 있다. 이 때, 제1 센서(110)는 다양한 방식으로 구현될 수 있다. 예를 들어, 제1 센서(110)는 디스플레이의 모서리에 설치되는 초음파 센서 또는 적외선 센서를 이용하여 구현될 수 있다. 또는, 제1 센서(110)는 터치 센서 패널, 깊이 센서 또는 이미지 센서를 이용하여 구현될 수 있다.The first sensor 110 may sense a first input space closer to the predetermined first distance 141 from the reference plane 140 for recognizing the proximity action. Although not shown in the drawings, the proximity motion recognition apparatus 100 according to an embodiment may further include a display, in which case the reference plane 140 may be positioned on the display. At this time, the first sensor 110 may be implemented in various ways. For example, the first sensor 110 may be implemented using an ultrasonic sensor or an infrared sensor installed at the corner of the display. Alternatively, the first sensor 110 may be implemented using a touch sensor panel, a depth sensor, or an image sensor.

또한, 제2 센서(120)는 기준면(140)으로부터 제1 거리(141)보다 멀고 미리 정해진 제2 거리(142)보다 가까운 제2 입력 공간을 센싱할 수 있다. 여기서, 제2 거리(142)의 값은 제1 거리(141)의 값보다 클 수 있다. 이 때, 입력 객체(150)가 제1 거리(141)만큼 떨어진 위치에서 입력되는 경우 근접 동작 인식 장치(100)는 미리 결정된 설정에 따라 제1 센서(110) 또는 제2 센서(120)를 이용하여 해당 입력 객체를 센싱할 수 있다. 이 때, 제2 센서(120)는 다양한 방식으로 구현될 수 있다. 예를 들어, 제2 센서(120)는 디스플레이의 모서리에 설치되는 초음파 센서 또는 적외선 센서를 이용하여 구현되거나, 터치 센서 패널, 깊이 센서 또는 이미지 센서를 이용하여 구현될 수 있다. 여기서, 제1 거리(141)와 제2 거리(142)는 각각 제1 센서(110)의 특성과 제2 센서(120)의 특성에 따라 미리 정해질 수 있다.Also, the second sensor 120 may sense a second input space that is closer than the first distance 141 and less than the second predetermined distance 142 from the reference plane 140. Here, the value of the second distance 142 may be greater than the value of the first distance 141. In this case, when the input object 150 is input at a position separated by the first distance 141, the proximity motion recognition apparatus 100 uses the first sensor 110 or the second sensor 120 according to a predetermined setting So that the input object can be sensed. At this time, the second sensor 120 may be implemented in various ways. For example, the second sensor 120 may be implemented using an ultrasonic sensor or an infrared sensor installed at the corner of the display, or may be implemented using a touch sensor panel, a depth sensor, or an image sensor. Here, the first distance 141 and the second distance 142 may be predetermined according to the characteristics of the first sensor 110 and the second sensor 120, respectively.

일 실시예에 따른 근접 동작 인식 장치(100)는 적어도 두 개의 서로 다른 유형의 센서들을 이용함으로써, 기준면(140)에 가장 근접한 공간에서 센싱되는 입력과 기준면(140)으로부터 상대적으로 먼 공간에서 센싱되는 입력을 다르게 처리할 수 있다. 이로 인하여, 일 실시예에 따른 근접 동작 인식 장치(100)는 서로 다른 센서들이 가지는 장점들(예를 들어, 이미지 센서는 넓은 입력 공간을 센싱할 수 있고, 터치 센서 패널은 빠르고 정확하게 입력 객체를 센싱할 수 있음)을 조합하는 기술을 제공할 수 있다. 나아가, 일 실시예에 따른 근접 동작 인식 장치(100)는 터치 스크린 입력 방식에 비하여 입력으로 인한 손자국을 남기지 않는 기술을 제공할 수 있다. 또한, 근접 동작 인식 장치(100)는 입력이 직접 화면에 닿아야 하는 입력 로드를 줄이는 기술을 제공할 수 있으며, 3차원 공간을 활용한 다양한 입력(예를 들어, 책장을 넘기는 동작, 물건을 집는 동작 등 직관적이고 자연스러운 제스처 입력 등)을 수용하는 기술을 제공할 수 있다. The proximity motion recognition apparatus 100 according to an embodiment uses at least two different types of sensors to detect an input that is sensed in a space closest to the reference surface 140 and a sensor that is sensed in a space relatively far from the reference surface 140 Inputs can be handled differently. Accordingly, the proximity motion recognition apparatus 100 according to an exemplary embodiment of the present invention can have advantages of different sensors (for example, an image sensor can sense a wide input space, and a touch sensor panel can quickly and accurately sense an input object Can be provided). Furthermore, the proximity motion recognition apparatus 100 according to an exemplary embodiment can provide a technique that does not leave a fingerprint due to input as compared with a touch screen input method. In addition, the proximity motion recognition apparatus 100 can provide a technique of reducing the input load that the input must touch directly to the screen. The proximity motion recognition apparatus 100 can also be applied to various input using three-dimensional space (for example, Intuitive and natural gesture input, etc.) can be provided.

이하, 설명의 편의를 위하여 제1 센서(110)는 기준면(140)으로부터 5cm 이내의 공간을 센싱하는 정전식 터치 센서(capacitive touch sensor)이고, 제2 센서(120)는 기준면(140)으로부터 5cm 이상 떨어진 공간을 센싱하는 시각 센서인 경우를 가정한다. 다만, 본원의 권리범위는 이에 한정되지 아니한다. 여기서, 시각 센서는 대상체에 대한 빛이 시간에 따라 변화하는 정도(예를 들어, 빛의 시간 미분값)를 감지함으로써 대상체의 공간 정보를 인식할 수 있다. 그리고, 시각 센서는 대상체에 움직임이 있을 경우 배경과 분리하여 움직임만을 선택적으로 감지할 수 있다. 예를 들어, 시각 센서는 각 픽셀에서 광량의 변화만을 감지하는 동적 비전 센서(Dynamic Vision Sensor, DVS)로 구성될 수 있다.The first sensor 110 is a capacitive touch sensor for sensing a space within 5 cm from the reference plane 140 and the second sensor 120 is a capacitive touch sensor for sensing a space within 5 cm from the reference plane 140. [ Or a sensor that senses a distance more than a predetermined distance. However, the scope of rights of the present invention is not limited thereto. Here, the visual sensor can recognize the spatial information of the object by detecting the degree of change of the light with respect to the object with time (for example, the time differential value of light). In addition, the visual sensor can selectively detect motion only when the object is moving, separated from the background. For example, the visual sensor can be composed of a dynamic vision sensor (DVS) that detects only a change in the amount of light at each pixel.

또한, 정보 전달 제어부(130)는 입력 객체(150)가 제1 입력 공간과 제2 입력 공간 사이를 트랜지션하는 경우, 제1 센서와 제2 센서 사이에서 트랜지션과 관련된 정보를 전달할 수 있다. 예를 들어, 입력 객체(150)가 기준면(140)으로부터 먼 위치에서 서서히 근접하는 경우를 가정하자. 이 경우, 입력 객체(150)는 제2 입력 공간으로부터 제1 입력 공간으로 트랜지션한다. 이 때, 근접 동작 인식 장치(100)는 입력 객체(150)가 제2 입력 공간에서 입력되면 제2 센서(120)를 이용하여 입력 객체(150)를 센싱한다. 반면, 근접 동작 인식 장치(100)는 입력 객체(150)가 제1 입력 공간에서 입력되면 제1 센서(110)를 이용하여 입력 객체(150)를 센싱한다. 따라서, 입력 객체(150)가 제2 입력 공간으로부터 제1 입력 공간으로 트랜지션하는 경우, 근접 동작 인식 장치(100)에 의해 이용되는 센서가 제2 센서(120)로부터 제1 센서(110)로 스위칭된다.In addition, when the input object 150 transitions between the first input space and the second input space, the information transfer control unit 130 may transfer information related to the transition between the first sensor and the second sensor. For example, suppose that the input object 150 is gradually approaching a position distant from the reference plane 140. In this case, the input object 150 transitions from the second input space to the first input space. At this time, the proximity motion recognition apparatus 100 senses the input object 150 using the second sensor 120 when the input object 150 is input in the second input space. On the other hand, when the input object 150 is input in the first input space, the proximity motion recognition apparatus 100 senses the input object 150 using the first sensor 110. Accordingly, when the input object 150 transitions from the second input space to the first input space, the sensor used by the proximity motion recognition device 100 switches from the second sensor 120 to the first sensor 110, do.

여기서, 정보 전달 제어부(130)는 제2 센서(120)의 출력 신호에 기초하여 생성된 트랜지션과 관련된 정보를 제1 센서(110) 또는 센서들을 제어하는 제어부로 전달할 수 있다. 제1 센서(110)는 수신된 트랜지션과 관련된 정보를 바탕으로 제1 입력 공간에서 입력되는 입력 객체를 센싱할 수 있다. 이로 인하여, 근접 동작 인식 장치(100)는 서로 다른 센서들간 스위칭이 매끄럽게(seamless) 연결되도록 하는 기술을 제공할 수 있다. 예를 들어, 트랜지션과 관련된 정보는 제2 센서(120)에 의해 센싱된 입력 객체의 위치와 관련된 정보를 포함할 수 있다. 제1 센서(110)는 트랜지션과 관련된 정보에 포함된 입력 객체의 위치를 초기 입력 위치로 이용할 수 있다. 이러한 방식을 통하여, 근접 동작 인식 장치(100)는 입력 객체의 센싱에 이용되는 센서가 변경되더라도 입력 객체를 연속적으로 매끄럽게 센싱할 수 있다. 전술한 실시예는 입력 객체(150)가 제1 입력 공간으로부터 제2 입력 공간으로 트랜지션하는 경우에도 그대로 적용될 수 있다.
Here, the information transfer control unit 130 may transmit the information related to the transition generated based on the output signal of the second sensor 120 to the first sensor 110 or a controller for controlling the sensors. The first sensor 110 may sense an input object input in the first input space based on information related to the received transition. Accordingly, the proximity motion recognition apparatus 100 can provide a technique for allowing switching between different sensors to be seamlessly connected. For example, the information associated with the transition may include information related to the location of the input object sensed by the second sensor 120. For example, The first sensor 110 may use the position of the input object included in the information related to the transition as the initial input position. In this way, the proximity motion recognition apparatus 100 can continuously and smoothly sense the input object even if the sensor used for sensing the input object is changed. The above-described embodiment can be applied even when the input object 150 transitions from the first input space to the second input space.

도 2는 일 실시예에 따른 제1 센서 및 제2 센서의 출력 신호를 설명하기 위한 도면이다. 도 2를 참조하면, 일 실시예에 따른 제1 센서는 제1 입력 공간(230)에서 센싱되는 입력 객체의 x좌표, y좌표 및 z좌표를 출력할 수 있다. 또한, 일 실시예에 따른 제2 센서는 제2 입력 공간(240)에서 센싱되는 x좌표 및 y좌표를 출력할 수 있다. 여기서, x좌표, y좌표 및 z좌표는 기준면(220)에 존재하는 원점(예를 들어, 기준면의 좌상단 모서리 지점)을 기준으로 x축 방향(211), y축 방향(212) 및 z축 방향(213)으로 입력 객체(250)가 센싱되는 위치를 나타낼 수 있다.2 is a view for explaining output signals of the first sensor and the second sensor according to an embodiment. Referring to FIG. 2, a first sensor according to an exemplary embodiment may output x-coordinate, y-coordinate, and z-coordinate of an input object sensed in a first input space 230. In addition, the second sensor according to an exemplary embodiment may output the x-coordinate and the y-coordinate sensed in the second input space 240. Here, the x-coordinate, the y-coordinate, and the z-coordinate are set in the x-axis direction 211, the y-axis direction 212, and the z-axis direction with reference to the origin (for example, The position of the input object 250 may be sensed by the sensor 213.

일 실시예에 따른 근접 동작 인식 장치는 기준면(220)에 가장 근접한 공간인 제1 입력 공간(230)에서 센싱되는 입력은 3차원 좌표로 처리하고, 기준면(220)으로부터 상대적으로 먼 공간인 제2 입력 공간(240)에서 센싱되는 입력은 2차원 좌표로 처리할 수 있다. 이 경우, 입력 객체(250)가 제1 입력 공간(230)과 제2 입력 공간(240) 사이를 트랜지션할 때 정보 전달 제어부에 의해 전달되는 트랜지션과 관련된 정보는 해당 입력 공간에서 센싱되는 입력 객체의 x좌표 및 y좌표를 포함할 수 있다. 제1 센서 또는 제2 센서는 전달받은 x좌표 및 y좌표를 입력 객체의 초기 위치로 수용함으로써, 서로 다른 센서들간 스위칭이 매끄럽게 연결되도록 할 수 있다.
The proximity motion recognition apparatus according to an embodiment processes the input sensed in the first input space 230, which is the closest space to the reference plane 220, to three-dimensional coordinates, The input sensed in the input space 240 can be processed in two-dimensional coordinates. In this case, when the input object 250 transitions between the first input space 230 and the second input space 240, the information related to the transition conveyed by the information transfer control unit corresponds to an input object x and y coordinates. The first sensor or the second sensor may receive the received x-coordinate and y-coordinate as the initial position of the input object, so that switching between the different sensors can be smoothly connected.

도 3은 일 실시예에 따른 근접 동작 인식 장치의 파워 세이빙 모드를 설명하기 위한 도면이다. 도 3을 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 입력 객체(310)와 기준면(320) 사이의 근접 정도에 따라 제1 센서 및 제2 센서를 택일적으로 활성화시킬 수 있다. 도면에 표시하지 않았으나, 근접 동작 인식 장치는 근접 정도 측정부 및 센서 제어부를 더 포함할 수 있다.3 is a diagram for explaining a power saving mode of the proximity motion recognition apparatus according to an embodiment. Referring to FIG. 3, the proximity motion recognition apparatus according to an exemplary embodiment may selectively activate the first sensor and the second sensor according to the proximity between the input object 310 and the reference plane 320. Although not shown in the drawing, the proximity motion recognition apparatus may further include a proximity measurement unit and a sensor control unit.

근접 정도 측정부는 입력 객체(310)와 기준면(320) 사이의 근접 정도를 측정할 수 있다. 여기서, 근접 정도는 입력 객체(310)와 기준면(320)이 서로 근접한 정도를 나타내는 척도로, 예를 들어 입력 객체(310)와 기준면(320) 사이의 최단거리 등을 포함할 수 있다. 이 때, 근접 정도 측정부는 제1 센서 및 제2 센서와 구별되는 제3의 센서를 이용하여 구현될 수 있다. 예를 들어, 근접 정도 측정부는 적외선 센서(IR sensor)를 이용하여 구현될 수 있다. 또는, 다른 실시예에 따른 근접 정도 측정부는 제1 센서의 출력 신호와 제2 센서의 출력 신호를 이용하여 구현될 수 있다.The proximity measurement unit can measure the proximity between the input object 310 and the reference plane 320. [ Here, the proximity degree is a measure indicating the degree of proximity of the input object 310 and the reference plane 320, for example, the shortest distance between the input object 310 and the reference plane 320, and the like. At this time, the proximity measurement unit may be implemented using a third sensor that is different from the first sensor and the second sensor. For example, the proximity measurement unit may be implemented using an infrared sensor (IR sensor). Alternatively, the proximity measurement unit according to another embodiment may be implemented using the output signal of the first sensor and the output signal of the second sensor.

센서 제어부는 근접 정도 측정부에 의해 측정된 근접 정도에 따라 제1 센서 및 제2 센서를 택일적으로 활성화시킬 수 있다. 예를 들어, 센서 제어부는 입력 객체(310)가 제1 입력 공간(330)에서 감지되는 경우 제1 센서를 활성화시키고 제2 센서를 비활성화시킬 수 있다. 또한, 센서 제어부는 입력 객체(310)가 제2 입력 공간(350)에서 감지되는 경우 제2 센서를 활성화시키고 제1 센서를 비활성화시킬 수 있다. 이로 인하여, 일 실시예에 따른 근접 동작 인식 장치는 센서들 중 현재 이용되지 않는 센서를 비활성화시킴으로써 전력소모를 절감하는 기술을 제공할 수 있다.The sensor control unit may selectively activate the first sensor and the second sensor according to proximity measured by the proximity measuring unit. For example, the sensor control may activate the first sensor and deactivate the second sensor when the input object 310 is sensed in the first input space 330. [ In addition, the sensor controller may activate the second sensor and deactivate the first sensor when the input object 310 is sensed in the second input space 350. [ Accordingly, the proximity motion recognition apparatus according to one embodiment can provide a technique of reducing power consumption by disabling the sensor that is not currently used among the sensors.

뿐만 아니라, 센서 제어부는 입력 객체(310)가 제1 입력 공간(330)과 제2 입력 공간(350) 사이의 트랜지션 공간(340)에서 감지되는 경우 제1 센서를 활성화시킨 상태에서 제2 센서를 대기(stand-by) 모드로 동작시킬 수 있다. 다른 실시예에 따른 센서 제어부는 입력 객체(310)가 트랜지션 공간(340)에서 감지되는 경우 제2 센서를 활성화시킨 상태에서 제1 센서를 대기 모드로 동작시킬 수 있다. 여기서, 센서의 대기 모드는 비활성화 모드와 구별되는 동작 모드로, 예를 들어 해당 센서가 활성화되는데 요구되는 시간이 더 짧은 저전력 동작 모드 등을 포함할 수 있다. 이로 인하여, 일 실시예에 따른 근접 동작 인식 장치는 전력소모를 절감하는 기술을 제공함과 동시에 센싱 반응 속도를 향상시키는 기술을 제공할 수 있다.
In addition, when the input object 310 is sensed in the transition space 340 between the first input space 330 and the second input space 350, the sensor control unit controls the second sensor It can be operated in stand-by mode. The sensor controller according to another embodiment may operate the first sensor in the standby mode while the second sensor is activated when the input object 310 is sensed in the transition space 340. [ Here, the standby mode of the sensor may be an operation mode different from the inactive mode, for example, a low-power operation mode in which the time required for activating the corresponding sensor is shorter. Accordingly, the proximity motion recognition apparatus according to an embodiment can provide a technique for reducing power consumption and a technique for improving a sensing reaction speed.

도 4는 일 실시예에 따른 근접 동작 인식 장치가 제공하는 근접 동작 인터페이스를 설명하기 위한 도면이다. 도 4를 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 근접 동작 인터페이스를 제공하는 디스플레이를 더 포함한다. 여기서, 기준면(440)은 디스플레이 위에 위치될 수 있다. 보다 구체적으로, 근접 동작 인식 장치는 입력되는 입력 객체가 기준면(440)과 근접한 정도에 따라 해당 입력 객체에 의해 포인팅 되는 영역의 크기가 변경되도록 근접 동작 인터페이스를 제어할 수 있다. 예를 들어, 근접 동작 인식 장치는 제2 입력 공간(460)에서 입력 객체(410)가 입력하는 경우, 제2 센서를 이용하여 입력 객체(410)의 x좌표 및 y좌표를 획득할 수 있다. 근접 동작 인식 장치는 획득된 x좌표 및 y좌표를 이용하여 입력 객체(410)에 의해 포인팅되는 영역(415)을 미리 정해진 크기로 표시할 수 있다.4 is a view for explaining a proximity operation interface provided by the proximity motion recognition apparatus according to an embodiment. Referring to FIG. 4, the proximity motion recognition apparatus according to an embodiment further includes a display for providing a proximity operation interface. Here, the reference surface 440 may be positioned on the display. More specifically, the proximity motion recognition apparatus can control the proximity motion interface so that the size of the area pointed by the input object is changed in accordance with the degree of proximity of the input object to the reference plane 440. For example, the proximity motion recognition device may obtain the x-coordinate and the y-coordinate of the input object 410 using the second sensor when the input object 410 is input in the second input space 460. The proximity motion recognition apparatus can display the area 415 pointed by the input object 410 at a predetermined size by using the obtained x-coordinate and y-coordinate.

나아가, 근접 동작 인식 장치는 제1 입력 공간(450)에서 입력 객체(420)가 입력하는 경우, 제1 센서를 이용하여 입력 객체(420)의 x좌표, y좌표 및 z좌표를 획득할 수 있다. 이 경우, 근접 동작 인식 장치는 획득된 x좌표 및 y좌표를 이용하여 입력 객체(420)에 의해 포인팅되는 영역(425)의 크기를 변경시킬 수 있다. 이 때, 근접 동작 인식 장치는 해당 영역(425)의 크기를 획득된 z좌표에 따라 변경되도록 제어할 수 있다. 예를 들어, 근접 동작 인식 장치는 획득된 z좌표에 기초하여 입력 객체(420)와 기준면(440) 사이의 근접 정도를 추출하고, 입력 객체(420)가 기준면(440)에 근접할수록 해당 영역(425)의 크기가 확대되도록 근접 동작 인터페이스를 제어할 수 있다. 따라서, 일 실시예에 따른 근접 동작 인식 장치는 입력 객체와 기준면 사이의 거리가 가까워짐에 따라 해당 입력 객체에 의해 포인팅되는 영역을 확대함으로써, 보다 세밀한 포인팅 동작을 입력 받을 수 있는 기술을 제공할 수 있다.Further, when the input object 420 is input in the first input space 450, the proximity motion recognition apparatus can acquire the x coordinate, y coordinate, and z coordinate of the input object 420 using the first sensor . In this case, the proximity motion recognition apparatus can change the size of the area 425 pointed by the input object 420 using the obtained x-coordinate and y-coordinate. At this time, the proximity motion recognition apparatus can control the size of the area 425 to be changed according to the acquired z coordinate. For example, the proximity motion recognition device extracts the proximity between the input object 420 and the reference plane 440 based on the acquired z-coordinate, and as the input object 420 approaches the reference plane 440, 425 may be enlarged in size. Accordingly, the proximity motion recognition apparatus according to an embodiment can provide a technique of receiving a more detailed pointing operation by enlarging the area pointed by the input object as the distance between the input object and the reference plane approaches .

뿐만 아니라, 근접 동작 인식 장치는 입력 객체(430)와 기준면(440)이 서로 접촉되었는지 여부를 판단할 수 있다. 이 경우, 입력 객체(430)는 제1 입력 공간(450)에서 입력되고, 근접 동작 인식 장치는 제1 센서를 이용하여 입력 객체(430)의 x좌표, y좌표 및 z좌표를 획득할 수 있다. 근접 동작 인식 장치는 입력 객체(450)의 z좌표에 기초하여 입력 객체(430)와 기준면(440)이 서로 접촉되었는지 여부를 판단할 수 있다. 근접 동작 인식 장치는 입력 객체(430)와 기준면(440)이 서로 접촉되었다는 판단에 따라 입력 객체(430)에 의해 포인팅 되는 영역(435)이 선택되도록 근접 동작 인터페이스를 제어할 수 있다.In addition, the proximity motion recognition apparatus can determine whether the input object 430 and the reference plane 440 are in contact with each other. In this case, the input object 430 is input in the first input space 450, and the proximity motion recognition device can acquire the x coordinate, y coordinate, and z coordinate of the input object 430 using the first sensor . The proximity motion recognition apparatus can determine whether the input object 430 and the reference plane 440 are in contact with each other based on the z coordinate of the input object 450. [ The proximity motion recognition apparatus can control the proximity operation interface such that the region 435 pointed by the input object 430 is selected according to the determination that the input object 430 and the reference plane 440 are in contact with each other.

이 때, 근접 동작 인터페이스는 적어도 하나의 아이콘을 포함할 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체와 기준면이 근접될수록 입력 객체에 의해 포인팅되는 아이콘이 확대되도록 근접 동작 인터페이스를 제어할 수 있다. 나아가, 근접 동작 인식 장치는 입력 객체가 기준면이 접촉되는 경우 해당 입력 객체에 의해 포인팅되는 아이콘이 선택되도록 근접 동작 인터페이스를 제어할 수 있다. 나아가, 근접 동작 인식 장치는 선택된 아이콘에 대응되는 기능을 수행할 수 있다. 예를 들어, 근접 동작 인식 장치는 입력 객체가 기준면에 접촉될 때 해당 입력 객체에 의해 포인팅되는 아이콘이 통화 아이콘인 경우, 통화 기능을 실행할 수 있다. 이로 인하여, 일 실시예에 따른 근접 동작 인식 장치는 기준면으로부터 근접한 공간에서 입력 동작을 용이하게 하는 유저 인터페이스 기술을 제공할 수 있다.At this time, the proximity action interface may include at least one icon. In this case, the proximity motion recognition apparatus can control the proximity motion interface so that the icon pointed by the input object is enlarged as the input object and the reference plane become closer to each other. Furthermore, the proximity motion recognition apparatus can control the proximity operation interface such that, when the input object is touched, the icon pointed by the input object is selected. Furthermore, the proximity motion recognition apparatus can perform a function corresponding to the selected icon. For example, the proximity motion recognition apparatus may execute a call function when the icon pointed to by the input object is a call icon when the input object contacts the reference plane. Accordingly, the proximity motion recognition apparatus according to an embodiment can provide a user interface technique that facilitates an input operation in a space close to a reference plane.

다른 실시예에 따른 근접 동작 인식 장치는 제1 입력 공간을 센싱하는 제1 센서 및 제2 입력 공간을 센싱하는 제2 센서뿐 아니라, 기준면(440) 상에 입력되는 터치 입력을 센싱하는 일반적인 터치 센서를 더 포함할 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체(430)와 기준면(440)이 서로 접촉되었다는 판단에 따라 해당 터치 센서를 활성화시킬 수 있다.
The proximity motion recognition apparatus according to another embodiment may include a first sensor that senses a first input space and a second sensor that senses a second input space, as well as a general touch sensor that senses a touch input that is input on a reference plane 440 As shown in FIG. In this case, the proximity motion recognition apparatus can activate the touch sensor according to the determination that the input object 430 and the reference plane 440 are in contact with each other.

도 5는 일 실시예에 따른 근접 동작 인식 장치의 동작을 설명하기 위한 동작 흐름도이다. 도 5를 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 단계(510)에서 제1 센서와 제2 센서를 초기화할 수 있다. 여기서, 근접 동작 인식 장치는 미리 정해진 초기화 설정에 따라 제1 센서와 제2 센서를 활성화 모드(active mode)로 초기화할 수 있다.5 is a flowchart illustrating an operation of the proximity motion recognition apparatus according to an exemplary embodiment of the present invention. Referring to FIG. 5, the proximity motion recognition apparatus according to the embodiment may initialize the first sensor and the second sensor at step 510. Here, the proximity motion recognition apparatus may initialize the first sensor and the second sensor to an active mode according to a predetermined initialization setting.

근접 동작 인식 장치는 단계(520)에서 입력 객체가 근접 거리에 있는지 여부를 판단할 수 있다. 예를 들어, 근접 동작 인식 장치는 제2 센서에 의해 센싱될 수 있는 제2 거리 이내에 입력 객체가 감지되는지 여부를 판단할 수 있다. 근접 동작 인식 장치는 단계(520)에서 입력 객체가 근접 거리에 있다고 판단하는 경우, 단계(530)에서 입력 객체가 일정 근접 거리 이내에 있는지 여부를 판단할 수 있다. 예를 들어, 근접 동작 인식 장치는 제2 거리 이내에 입력 객체가 감지되는 경우, 제1 센서에 의해 센싱될 수 있는 제1 거리 이내에 입력 객체가 감지되는지 여부를 판단할 수 있다.The proximity motion recognition device may determine in step 520 whether the input object is in proximity. For example, the proximity motion recognition device may determine whether an input object is detected within a second distance that can be sensed by the second sensor. If the proximity motion recognition device determines in step 520 that the input object is in the proximity distance, it may determine in step 530 whether the input object is within a predetermined proximity distance. For example, the proximity motion recognition device may determine whether an input object is sensed within a first distance that can be sensed by the first sensor if an input object is sensed within a second distance.

이 때, 근접 동작 인식 장치는 제2 거리 이내에서 입력 객체가 감지되고 제1 거리 이내에서도 입력 객체가 감지되는 경우, 단계(540)에서 제1 센서의 동작 모드를 활성화 모드로 유지하고 제2 센서의 동작 모드를 대기 모드로 전환시킬 수 있다. 이 경우, 입력 객체가 제1 입력 공간에서 센싱되는 경우인 바, 근접 동작 인식 장치는 단계(550)에서 센싱된 입력 객체의 x좌표 및 y좌표를 이용한 포인팅 동작 및 센싱된 입력 객체의 z좌표를 이용한 확대 동작이 수행되도록 인터페이스를 제어할 수 있다. In this case, if the proximity sensor recognizes the input object within the second distance and the input object is detected within the first distance, the proximity sensor recognizes that the proximity sensor recognizes the proximity sensor in step 540, To the standby mode. In this case, when the input object is sensed in the first input space, the proximity sensor recognizes the pointing operation using the x and y coordinates of the input object sensed in step 550 and the z coordinate of the sensed input object So that the interface can be controlled so that the enlarging operation using it is performed.

반면, 근접 동작 인식 장치는 제2 거리 이내에서 입력 객체가 감지되나 제1 거리 이내에서는 입력 객체가 감지되지 않는 경우, 단계(560)에서 제2 센서의 동작 모드를 활성화 모드로 유지하고 제1 센서의 동작 모드를 대기 모드로 전환시킬 수 있다. 이 경우, 입력 객체가 제2 입력 공간에서 센싱되는 경우인 바, 근접 동작 인식 장치는 단계(570)에서 센싱된 입력 객체의 x좌표 및 y좌표를 이용한 포인팅 동작 이 수행되도록 인터페이스를 제어할 수 있다. 단계(550) 및 단계(570)에는 도 4를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.Meanwhile, if the input object is detected within the second distance but the input object is not detected within the first distance, the proximity motion recognition apparatus maintains the operation mode of the second sensor in the active mode in step 560, To the standby mode. In this case, when the input object is sensed in the second input space, the proximity motion recognition apparatus can control the interface so that the pointing operation using the x coordinate and y coordinate of the input object sensed in step 570 is performed . The steps described in FIG. 4 may be applied to steps 550 and 570 as they are, so that a detailed description will be omitted.

또한, 근접 동작 인식 장치는 단계(580)에서 수신된 입력에 대응되는 어플리케이션 유저 인터페이스(application user interface)를 실행할 수 있다. 예를 들어, 근접 동작 인식 장치는 선택된 아이콘을 활성화하거나, 2차원 인터페이스와 3차원 인터페이스 사이를 전환하는 동작을 수행할 수 있다.
In addition, the proximity motion recognition device may execute an application user interface corresponding to the input received in step 580. [ For example, the proximity motion recognition apparatus can perform the operation of activating the selected icon or switching between the two-dimensional interface and the three-dimensional interface.

도 6a 내지 도 6b는 일 실시예에 따른 근접 동작 인식 장치의 아이콘 자동 배치 동작을 설명하기 위한 도면이다. 도 6a를 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 입력 객체에 의해 포인팅되는 지점 주변으로 미리 정해진 적어도 하나의 아이콘이 배치되도록 근접 동작 인터페이스를 제어할 수 있다. 보다 구체적으로, 근접 동작 인식 장치는 기준면(610)으로부터 일정거리(622) 이상 떨어진 제2 입력 공간에서 입력 객체(620)가 입력되는 경우, 제2 센서의 출력 신호에 기초하여 입력 객체(620)에 의해 포인팅되는 지점(621)을 획득할 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체(620)에 의해 포인팅되는 지점(621) 주변으로 복수의 아이콘들(623)이 배치되는 인터페이스를 제공할 수 있다.6A and 6B are views for explaining automatic icon placement operation of the proximity motion recognition apparatus according to an exemplary embodiment. Referring to FIG. 6A, the proximity motion recognition apparatus according to an exemplary embodiment may control the proximity motion interface so that at least one predetermined icon is disposed around a point that is pointed by the input object. More specifically, when the input object 620 is input in the second input space away from the reference plane 610 by a distance of 622 from the reference plane 610, the proximity motion recognition apparatus recognizes the input object 620 based on the output signal of the second sensor, Point 621, which is pointed at by the user. In this case, the proximity motion recognition apparatus may provide an interface in which a plurality of icons 623 are disposed around a point 621 that is pointed by the input object 620.

나아가, 근접 동작 인식 장치는 제1 입력 공간에서 입력 객체(630)가 입력되는 경우, 제1 센서의 출력 신호에 기초하여 입력 객체(630)의 끝점과 축을 추출할 수 있다. 예를 들어, 도 7을 참조하면, 근접 동작 인식 장치는 입력 객체(720)를 센싱한 이미지(730)로부터 끝점(740)과 축(750)을 추출할 수 있다. 여기서, 끝점(740)과 축(750)은 모두 기준면(710) 상에 위치될 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체(630)에 의하여 디스플레이가 가려지는 영역 주변으로 복수의 아이콘들(633)이 배치되는 인터페이스를 제공할 수 있다. 예를 들어, 도 7을 참조하면, 근접 동작 인식 장치는 끝점(740)으로부터 축(750)과 반대 방향의 부채꼴 형태(760)로 복수의 아이콘들이 배치되도록 근접 동작 인터페이스를 제어할 수 있다.Furthermore, when the input object 630 is input in the first input space, the proximity motion recognition apparatus can extract the end point and the axis of the input object 630 based on the output signal of the first sensor. For example, referring to FIG. 7, the proximity motion recognition apparatus may extract an end point 740 and an axis 750 from an image 730 that senses an input object 720. Here, both the end point 740 and the axis 750 may be located on the reference plane 710. In this case, the proximity motion recognition apparatus may provide an interface by which a plurality of icons 633 are arranged around the area covered by the display by the input object 630. [ For example, referring to FIG. 7, the proximity motion recognition apparatus may control the proximity motion interface such that a plurality of icons are arranged in a sector shape 760 opposite to the axis 750 from the end point 740.

뿐만 아니라, 근접 동작 인식 장치는 제1 입력 공간에서 입력 객체(630)가 입력되는 경우, 입력 객체(630)와 기준면(610) 사이의 근접 정도(632)에 따라 미리 정해진 적어도 하나의 아이콘의 크기가 변경되도록 근접 동작 인터페이스를 제어할 수 있다. 이러한 동작에는 도 4를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
In addition, when the input object 630 is input in the first input space, the proximity motion recognition apparatus recognizes the size of at least one icon predetermined according to the proximity 632 between the input object 630 and the reference plane 610 The proximity operation interface can be controlled so that the change in the operation range is changed. Since the operations described with reference to FIG. 4 can be applied to these operations as they are, detailed description will be omitted.

도 6b를 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 도 6a에서의 입력 객체와 거울상 대칭인 입력 객체가 입력하는 경우에도 동일하게 동작할 수 있다. 보다 구체적으로, 근접 동작 인식 장치는 제2 입력 공간에서 입력 객체(640)가 입력되는 경우, 제2 센서의 출력 신호에 기초하여 입력 객체(640)에 의해 포인팅되는 지점(641)을 획득할 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체(640)에 의해 포인팅되는 지점(641) 주변으로 복수의 아이콘들(642)이 배치되는 인터페이스를 제공할 수 있다.Referring to FIG. 6B, the proximity motion recognition apparatus according to an exemplary embodiment may operate in the same manner when the input object is symmetrical with the input object in FIG. 6A. More specifically, the proximity motion recognition apparatus can acquire a point 641 pointed by the input object 640 based on the output signal of the second sensor when the input object 640 is input in the second input space have. In this case, the proximity motion recognition apparatus may provide an interface in which a plurality of icons 642 are disposed around a point 641 that is pointed by the input object 640.

나아가, 근접 동작 인식 장치는 제1 입력 공간에서 입력 객체(650)가 입력되는 경우, 제1 센서의 출력 신호에 기초하여 입력 객체(650)의 끝점과 축을 추출할 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체(650)에 의하여 디스플레이가 가려지는 영역 주변으로 복수의 아이콘들(651)이 배치되는 인터페이스를 제공할 수 있다. 따라서, 일 실시예에 따른 근접 동작 인식 장치는 입력 객체가 기준면으로부터 일정거리 이상 떨어져 있는 경우 해당 입력 객체로 인하여 디스플레이가 가려질 염려가 없으므로, 해당 입력 객체의 축 방향과 무관하게 해당 입력 객체에 의해 포인팅되는 지점 주변으로 복수의 아이콘들을 배치할 수 있다. 반면, 근접 동작 인식 장치는 입력 객체가 기준면으로부터 근접해 있는 경우 해당 입력 객체로 인하여 디스플레이가 가려질 가능성이 크므로, 해당 입력 객체의 축 방향을 고려하여 디스플레이가 가려지는 영역 주변으로 복수의 아이콘들을 배치할 수 있다.
Further, when the input object 650 is input in the first input space, the proximity motion recognition apparatus can extract the end point and the axis of the input object 650 based on the output signal of the first sensor. In this case, the proximity motion recognition apparatus may provide an interface by which a plurality of icons 651 are disposed around the area covered by the display object by the input object 650. Therefore, when the input object is located at a certain distance or more from the reference plane, the proximity motion recognition apparatus according to the embodiment does not have to worry about the display due to the input object. Therefore, regardless of the axis direction of the input object, A plurality of icons may be arranged around the point to be pointed. On the other hand, when the input object is close to the reference plane, the proximity motion recognizing device is likely to obscure the display due to the input object. Therefore, considering the axial direction of the input object, a plurality of icons are arranged around the area can do.

도 8a 내지 도 8b는 일 실시예에 따른 근접 동작 인식 장치의 아이콘 자동 배치 동작을 위한 신호 처리 방법을 설명하기 위한 도면이다. 도 8a를 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 단계(811)에서 입력 객체를 감지한다. 근접 동작 인식 장치는 단계(812)에서 감지된 입력 객체의 끝점과 축을 추출하기 위한 신호 처리를 수행한다. 근접 동작 인식 장치는 단계(813)에서 신호 처리 결과에 기초하여 입력 객체의 끝점과 축을 추출한다. 단계(811) 내지 단계(813)과 관련된 보다 상세한 설명은 도 8b를 참조하여 후술한다. 근접 동작 인식 장치는 단계(814)에서 추출된 끝점, 축 및 입력 객체와 기준면 사이의 근접 거리에 기초하여 미리 정해진 적어도 하나의 아이콘을 배치한다.8A and 8B are views for explaining a signal processing method for automatic icon placement operation of the proximity motion recognition apparatus according to an embodiment. Referring to FIG. 8A, the proximity motion recognition apparatus according to an embodiment senses an input object in step 811. FIG. The proximity motion recognition apparatus performs signal processing for extracting the end points and axes of the input object sensed in step 812. The proximity motion recognition apparatus extracts the end point and the axis of the input object based on the signal processing result in step 813. A more detailed description related to steps 811 to 813 will be described below with reference to FIG. 8B. The proximity motion recognition device locates at least one predetermined icon based on the extracted end point, axis, and proximity distance between the input object and the reference surface in step 814.

도 8b를 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 입력 객체의 이미지 센싱(820), 객체를 제외한 배경화면을 제거하기 위한 서브트랙션(830), 객체 외곽선을 나타내기 위한 고주파 통과 필터링(840), 외곽선을 선명하게 하기 위한 증폭(850), 객체 외의 이상치(outlier)를 제거하기 위한 스레시홀딩(860), 손끝 지점을 찾기 위한 최고점 탐색(870) 및 결과 출력(880)을 수행함으로써, 입력 객체의 끝점 및 축을 추출할 수 있다.8B, the proximity motion recognition apparatus includes an image sensing 820 of an input object, a subtraction 830 for removing a background image excluding an object, a high-pass filtering 840), amplification 850 for sharpening the outline, thresholding 860 for removing outliers outside the object, peak search 870 for finding a fingertip point, and result output 880 , You can extract the endpoints and axes of the input object.

보다 구체적으로, 근접 동작 인식 장치는 이미지 센싱(820)을 통하여 입력 영상을 획득할 수 있다. 예를 들어, 근접 동작 인식 장치는 입력 영상으로 입력 객체를 촬영한 깊이 영상을 획득할 수 있다. 근접 인식 동작 장치는 서브트랙션(830)을 통하여 입력 영상에서 객체(831)를 추출할 수 있다. 예를 들어, 근접 동작 인식 장치는 깊이 영상에서 객체와 배경을 구분함으로써, 깊이 영상으로부터 객체에 해당하는 부분을 추출할 수 있다. 깊이 영상에서 객체와 배경을 구분하는 방법은 다양하게 구현될 수 있다. 일 예로, 근접 동작 인식 장치는 객체와 배경을 구분하는 임계 깊이를 이용하여, 임계 깊이 이하 깊이의 픽셀은 객체로 분류하고 임계 깊이보다 큰 깊이의 픽셀은 배경으로 분류할 수 있다.More specifically, the proximity motion recognition apparatus can acquire the input image through the image sensing 820. [ For example, the proximity motion recognition apparatus can acquire a depth image obtained by capturing an input object as an input image. The proximity sensing device may extract the object 831 from the input image through the subtraction 830. For example, the proximity motion recognition apparatus can extract a portion corresponding to an object from a depth image by dividing an object and a background in a depth image. There are various ways to distinguish objects and backgrounds from depth images. For example, the proximity motion recognition apparatus classifies a pixel having a depth below a critical depth as an object, and a pixel having a depth larger than a critical depth as a background using a critical depth for distinguishing an object and a background.

근접 동작 인식 장치는 고주파 통과 필터링(840)을 통하여 객체 외곽선(841)을 획득할 수 있다. 예를 들어, 근접 동작 인식 장치는 주변 픽셀들에 비하여 깊이 변화가 급격해지는 픽셀들을 추출할 수 있다. 객체와 배경 사이의 경계에서 깊이 변화가 급격해지므로, 고주파 통과 필터링(840)에 의하여 객체 외곽선이 도출될 수 있다. 고주파 통과 필터링(840)에 의하여 도출된 객체 외곽선은 다섯 손가락들의 외곽선들을 포함할 수 있다. 근접 동작 인식 장치는 증폭(850)을 통하여 객체 외곽선을 선명하게 할 수 있다. 예를 들어, 근접 동작 인식 장치는 객체 외곽선 안쪽에 포함되는 픽셀들의 값을 증폭할 수 있다. 입력 영상이 깊이 영상인 경우, 깊이 영상 픽셀들의 깊이들이 증폭될 수 있다. 이하, 도 8b에서 밝은 색으로 표현되는 픽셀의 깊이는 어두운 색으로 표현되는 픽셀의 깊이보다 작다. 일 예로, 밝은 색으로 표현되는 영역(851)에 포함된 픽셀의 깊이는 어두운 색으로 표현되는 영역(852)에 포함된 픽셀의 깊이보다 작다.The proximity motion recognition device may obtain the object outline 841 through the high-pass filtering 840. For example, the proximity motion recognition apparatus can extract pixels whose depth changes suddenly as compared with neighboring pixels. Since the depth variation at the boundary between the object and the background becomes sharp, the object outline can be derived by the high-pass filtering 840. The object outline derived by the high-pass filtering 840 may include outlines of five fingers. The proximity motion recognition device may sharpen the object outline through amplification 850. [ For example, the proximity motion recognition apparatus can amplify the values of pixels included inside the object outline. If the input image is a depth image, the depths of the depth image pixels can be amplified. Hereinafter, in FIG. 8B, the depth of a pixel represented by a bright color is smaller than the depth of a pixel represented by a dark color. As an example, the depth of a pixel included in an area 851 represented by a bright color is smaller than the depth of a pixel included in an area 852 represented by a dark color.

근접 동작 인식 장치는 스레시홀딩(860)을 통하여 객체 외의 이상치를 제거할 수 있다. 예를 들어, 근접 동작 인식 장치는 주어진 깊이 영상 픽셀들 중 깊이가 임계 깊이보다 큰 픽셀들을 제거할 수 있다. 근접 동작 인식 장치는 최고점 탐색(870)을 통하여 손끝 지점을 찾을 수 있다. 근접 동작 인식 장치는 다섯 손가락들 각각에 대하여, 손가락을 둘러싸는 직사각형 모델(871)을 생성할 수 있다. 여기서, 직사각형 모델(871)은 높이 h, 너비 w를 가진다. 근접 동작 인식 장치는 직사각형 모델(871)의 한쪽 끝 영역에서 최고점, 다시 말해 깊이가 가장 작은 픽셀을 탐색할 수 있다. 근접 동작 인식 장치는 직사각형 모델의 한쪽 끝에 위치하고 네 변의 길이가 h인 정사각형 영역(872) 내에서 가장 작은 깊이의 픽셀(873)을 탐색할 수 있다. 탐색된 픽셀(873)은 입력 객체의 끝점이 된다. 또한, 끝점을 기준으로 직사각형 모델의 너비 방향으로 이어지는 선분이 입력 객체의 축이 된다. 근접 동작 인식 장치는 결과 출력(880)을 통하여 적어도 하나의 (입력 객체의 끝점, 입력 객체의 축) 페어를 출력할 수 있다. 예를 들어, 근접 동작 인식 장치는 다섯 손가락들 각각에 대한 (끝점, 축) 페어들을 출력할 수 있다.
The proximity motion recognition apparatus can remove an outlier from the object through the threshold holding unit 860. For example, the proximity motion recognition device may remove pixels of a given depth image pixel whose depth is greater than the threshold depth. The proximity motion recognition device can find the fingertip point through the peak search (870). The proximity motion recognition device may generate a rectangular model 871 surrounding the fingers for each of the five fingers. Here, the rectangular model 871 has a height h and a width w. The proximity motion recognition apparatus can search for the peak at one end region of the rectangular model 871, that is, the pixel having the smallest depth. The proximity motion recognition apparatus can search pixels 873 having the smallest depth in a square area 872 located at one end of the rectangular model and having four sides of length h. The searched pixel 873 becomes the end point of the input object. Also, a line segment extending in the width direction of the rectangular model with respect to the end point becomes the axis of the input object. The proximity motion recognition device may output at least one (endpoint of the input object, axis of the input object) pair through the result output 880. For example, the proximity motion recognition device may output (endpoint, axis) pairs for each of five fingers.

도 9a 내지 도 10은 일 실시예에 따른 복수의 입력 객체들이 감지되는 경우 근접 동작 인식 장치의 동작을 설명하기 위한 도면이다. 도면에 표시하지 않았으나, 일 실시예에 따른 근접 동작 인식 장치는 복수 입력 감지부 및 입력 선택부를 더 포함할 수 있다. 복수 입력 감지부는 제1 센서의 출력 신호 또는 제2 센서의 출력 신호 중 적어도 하나에 기초하여 복수의 입력 객체들이 감지되는지 여부를 판단할 수 있다. 또한, 입력 선택부는 복수 입력 감지부에 의해 복수의 입력 객체들이 감지된다고 판단되는 경우, 미리 정해진 모드에 따라 복수의 입력 객체들 중 적어도 하나의 입력 객체를 선택할 수 있다.FIGS. 9A to 10 illustrate operations of the proximity motion recognition apparatus when a plurality of input objects are sensed according to an exemplary embodiment. Although not shown in the drawing, the proximity motion recognition apparatus according to an exemplary embodiment may further include a plurality of input sensing units and an input selecting unit. The multiple input sensing unit may determine whether a plurality of input objects are sensed based on at least one of an output signal of the first sensor or an output signal of the second sensor. The input selection unit may select at least one input object among a plurality of input objects according to a predetermined mode when it is determined that a plurality of input objects are detected by the plurality of input sensing units.

예를 들어, 도 9a를 참조하면, 근접 동작 인식 장치는 복수의 입력들을 수용하는 모드로 동작할 수 있다. 이 경우, 근접 동작 인식 장치는 제1 입력 객체(920)와 제2 입력 객체(930)에 의해 입력되는 복수의 입력들을 모두 처리할 수 있다. 보다 구체적으로, 근접 동작 인식 장치는 기준면(910)으로부터 일정거리 이상 떨어진 제1 입력 객체(920)가 포인팅하는 지점(921) 주변으로 제1 아이콘들(922)을 배치할 수 있다. 이와 동시에, 근접 동작 인식 장치는 기준면(910)과 근접한 제2 입력 객체(930)가 포인팅하는 지점(931) 주변이 아닌 제2 입력 객체(930)에 의하여 가려지는 영역 주변으로 제2 아이콘들(932)을 배치할 수 있다.For example, referring to FIG. 9A, the proximity motion recognition apparatus may operate in a mode of receiving a plurality of inputs. In this case, the proximity motion recognition apparatus can process both the first input object 920 and the plurality of inputs input by the second input object 930. [ More specifically, the proximity motion recognition device may place the first icons 922 around a point 921 at which the first input object 920 points away from the reference plane 910 by a distance. At the same time, the proximity motion recognizing device recognizes that the second icons 930 are located around the area covered by the second input object 930, rather than around the point 931 where the second input object 930, which is close to the reference plane 910, 932 can be disposed.

또한, 도 9b를 참조하면, 다른 실시예에 따른 근접 동작 인식 장치는 기준면과 가장 근접한 입력 객체를 선택하는 모드로 동작할 수 있다. 이 경우, 근접 동작 인식 장치는 기준면(910)으로부터 상대적으로 멀리 떨어진 제1 입력 객체(940)가 포인팅하는 지점(941) 주변으로는 아이콘들을 배치하지 않을 수 있다. 근접 동작 인식 장치는 기준면(910)으로부터 가장 가까운 제2 입력 객체(950)를 선택하고, 제2 입력 객체(950)에 의하여 가려지는 영역 주변으로 미리 정해진 아이콘들(952)을 배치할 수 있다. 경우에 따라 기준면(910)으로부터 가장 가까운 입력 객체(950)가 기준면(910)으로부터 일정거리 이상 떨어진 상황이 발생할 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체(950)에 의해 포인팅되는 지점(951) 주변으로 미리 정해진 아이콘들을 배치할 수 있다.In addition, referring to FIG. 9B, the proximity motion recognition apparatus according to another embodiment may operate in a mode for selecting an input object closest to the reference plane. In this case, the proximity motion recognition apparatus may not arrange the icons around the point 941 where the first input object 940 is relatively far from the reference plane 910. The proximity motion recognition device may select a second input object 950 closest to the reference plane 910 and place predetermined icons 952 around the area covered by the second input object 950. [ A situation may occur where the input object 950 closest to the reference plane 910 is separated from the reference plane 910 by a certain distance or more. In this case, the proximity motion recognition apparatus can arrange the predetermined icons around the point 951 that is pointed by the input object 950.

또한, 도 9c를 참조하면, 또 다른 실시예에 따른 근접 동작 인식 장치는 입력 객체에 의해 포인팅되는 위치가 기준면 위의 미리 지정된 위치로부터 가장 근접한 입력 객체를 선택하는 모드로 동작할 수 있다. 예를 들어, 근접 동작 인식 장치는 기준면(910)의 정중앙(980)으로부터 가장 근접한 위치를 포인팅하는 입력 객체를 선택할 수 있다. 제1 입력 객체(960)는 기준면의 정중앙(980)으로부터 거리(962)만큼 떨어진 위치(961)를 포인팅하고 있고, 제2 입력 객체(970)는 기준면의 정중앙(980)으로부터 거리(972)만큼 떨어진 위치(971)을 포인팅하고 있는 경우를 가정하자. 이 경우, 근접 동작 인식 장치는 기준면의 정중앙(980)으로부터 더 가까운 위치(971)을 포인팅하고 있는 제2 입력 객체(970)를 선택할 수 있다. 나아가, 근접 동작 인식 장치는 선택된 제2 입력 객체(970)와 기준면(910) 사이의 근접 정도에 따라 미리 정해진 적어도 하나의 아이콘(973)을 배치할 수 있다.
Also, referring to FIG. 9C, the proximity motion recognition apparatus according to another embodiment may operate in a mode in which the position pointed by the input object selects the closest input object from a predetermined position on the reference plane. For example, the proximity motion recognition device may select an input object that points to the closest location from the center 980 of the reference plane 910. [ The first input object 960 is pointing at a position 961 away from the center 980 of the reference plane by a distance 962 and the second input object 970 is pointing at a distance 972 from the center 980 of the reference plane Assume that a point 971 is pointing away. In this case, the proximity motion recognition device may select a second input object 970 pointing to a location 971 that is closer to the center 980 of the reference plane. Furthermore, the proximity motion recognition apparatus may place at least one predetermined icon 973 according to the proximity between the selected second input object 970 and the reference plane 910. [

도 10을 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 단계(1010)에서 복수의 입력 객체들을 감지한다. 근접 동작 인식 장치는 단계(1020)에서 미리 정해진 모드에 따라 적어도 하나의 입력 객체를 선택한다. 근접 동작 인식 장치는 단계(1030)에서 선택된 입력 객체의 끝점과 축을 추출하기 위하여 신호 처리를 수행한다. 근접 동작 인식 장치는 단계(1040)에서 신호 처리 결과에 기초하여 선택된 입력 객체의 끝점과 축을 추출한다. 근접 동작 인식 장치는 단계(1050)에서 추출된 끝점, 축, 선택된 입력 객체와 기준면 사이의 거리 및 기준면 상 특정 위치와의 거리 등에 기초하여 미리 정해진 적어도 하나의 아이콘을 배치한다. 도 10의 각 모듈들에는 도 1 내지 도 9를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
Referring to FIG. 10, the proximity motion recognition apparatus according to an embodiment detects a plurality of input objects in step 1010. The proximity motion recognition apparatus selects at least one input object according to a predetermined mode in step 1020. [ The proximity motion recognition device performs signal processing to extract the endpoints and axes of the selected input object in step 1030. The proximity motion recognition device extracts the endpoints and axes of the selected input object based on the signal processing results in step 1040. The proximity motion recognition apparatus arranges at least one predetermined icon based on the extracted end point, the axis, the distance between the selected input object and the reference plane, and the distance to the specific position on the reference plane extracted in step 1050 and the like. 1 to 9 may be applied to each module of FIG. 10, so that detailed description will be omitted.

도 11은 일 실시예에 따른 입력 패턴을 인식하는 근접 동작 인식 장치를 나타낸 블록도이다. 도 11을 참조하면, 일 실시예에 따른 근접 동작 인식 장치(1100)는 센서(1110), 입력 패턴 인식부(1120), 기능 실행부(1130) 및 디스플레이(1140)를 포함한다. 이 때, 센서(1110)는 제1 센서와 제2 센서를 포함할 수 있고, 입력 패턴 인식부(1120)는 제1 센서의 출력 신호 또는 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 패턴을 인식할 수 있다. 여기서, 입력 패턴 인식부(1120)는 입력 객체의 움직임을 추척함으로써, 근접 동작 포인트 수의 변화, 근접 움직임의 방향 및 근접 좌표 변화 등을 감지할 수 있다. 기능 실행부(1130)는 입력 패턴 인식부(1120)에 의해 인식된 입력 패턴에 대응되는 기능을 실행할 수 있다. 여기서, 기능 실행부(1130)는 현재 동작 중인 어플리케이션의 종류에 따라 입력 패턴에 대응되는 기능을 다르게 결정할 수 있다. 예를 들어, 근접 동작 인식 장치는 동일한 입력 패턴이 입력되더라도 현재 동작 중인 어플리케이션의 종류에 따라 서로 다른 기능을 실행할 수 있다.11 is a block diagram illustrating a proximity motion recognition apparatus for recognizing an input pattern according to an embodiment. 11, the proximity motion recognition apparatus 1100 includes a sensor 1110, an input pattern recognition unit 1120, a function execution unit 1130, and a display 1140. [ At this time, the sensor 1110 may include a first sensor and a second sensor, and the input pattern recognizing unit 1120 may recognize the input pattern 1120 based on at least one of the output signal of the first sensor or the output signal of the second sensor. Can be recognized. Here, the input pattern recognizing unit 1120 can sense a change in the number of proximity operating points, a direction of a near motion, and a change in proximity coordinates by tracking motion of the input object. The function execution unit 1130 can execute a function corresponding to the input pattern recognized by the input pattern recognition unit 1120. [ Here, the function execution unit 1130 may determine the function corresponding to the input pattern differently according to the type of the currently operating application. For example, even if the same input pattern is input, the proximity motion recognizing apparatus can perform different functions depending on the type of the currently operating application.

나아가, 입력 패턴 인식부(1120)는 제1 센서의 출력 신호 또는 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 속도 또는 각속도 중 적어도 하나를 계산할 수 있다. 예를 들어, 입력 패턴 인식부(1120)는 제1 센서의 출력 신호 또는 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 위치 변화를 추적할 수 있다. 이 경우, 입력 패턴 인식부(1120)는 입력 객체의 위치 변화 값을 이용하여 입력 객체의 속도 또는 각속도를 계산할 수 있다. 이 경우, 기능 실행부(1130)는 입력 패턴 인식부(1120)에 의해 계산된 입력 객체의 속도 또는 각속도에 기초하여 입력 패턴에 대응되는 기능을 검출할 수 있다. 예를 들어, 기능 실행부(1130)는 입력 패턴 인식부(1120)에 의해 계산된 입력 객체의 속도 또는 각속도를 트럼프를 섞는 속도, 돌림판의 회전 속도 등 다양한 유저 인터페이스에 필요한 정보로 활용할 수 있다. 또한, 근접 동작 인식 장치(1100)는 기능 실행부(1130)의 실행 결과를 디스플레이(1140)를 이용하여 출력할 수 있다.
Further, the input pattern recognizing unit 1120 may calculate at least one of the velocity or the angular velocity of the input object based on at least one of the output signal of the first sensor or the output signal of the second sensor. For example, the input pattern recognition unit 1120 may track a change in the position of the input object based on at least one of an output signal of the first sensor or an output signal of the second sensor. In this case, the input pattern recognition unit 1120 can calculate the velocity or the angular velocity of the input object using the position change value of the input object. In this case, the function execution unit 1130 can detect the function corresponding to the input pattern based on the speed or angular velocity of the input object calculated by the input pattern recognition unit 1120. [ For example, the function execution unit 1130 may use the velocity or angular velocity of the input object calculated by the input pattern recognition unit 1120 as information necessary for various user interfaces such as a speed of mixing a trump, a rotation speed of a rotary table, and the like. In addition, the proximity motion recognition apparatus 1100 can output the execution result of the function execution unit 1130 using the display 1140. [

도 12a 내지 도12b는 일 실시예에 따른 근접 동작 인식 장치의 2차원 인터페이스 및 3차원 인터페이스 변환 동작을 설명하기 위한 도면이다. 도면에 표시하지 않았으나, 일 실시예에 따른 근접 동작 인식 장치는 디스플레이, 계산부 및 제어부를 더 포함할 수 있다.12A and 12B are views for explaining a two-dimensional interface and a three-dimensional interface conversion operation of the proximity motion recognition apparatus according to one embodiment. Although not shown in the drawings, the proximity motion recognition apparatus according to an embodiment may further include a display, a calculation unit, and a control unit.

이 때, 디스플레이는 2차원 인터페이스 및 3차원 인터페이스를 제공할 수 있고, 계산부는 제1 센서의 출력 신호 또는 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 위치, 속도 또는 가속도 중 적어도 하나를 계산할 수 있다. 제어부는 계산부에 의한 계산 결과에 기초하여 디스플레이의 동작 모드를 제어할 수 있다. 예를 들어, 도 12a를 참조하면, 근접 동작 인식 장치는 기준면(1210)으로부터 미리 정해진 거리만큼 떨어진 공간에 입력되는 입력 객체를 감지할 수 있다. 근접 동작 인식 장치는 해당 공간에서 감지되는 입력 객체가 없는 경우, 2차원 인터페이스를 이용하여 복수의 아이콘들(1220)을 표시할 수 있다. 근접 동작 인식 장치는 해당 공간에 입력 객체(1240)가 감지되는 경우, 2차원 인터페이스를 3차원 인터페이스로 전환할 수 있다. 이 경우, 근접 동작 인식 장치는 3차원 인터페이스를 이용하여 복수의 아이콘들(1230)을 표시할 수 있다.At this time, the display may provide a two-dimensional interface and a three-dimensional interface, and the calculation unit may calculate at least one of the position, velocity, or acceleration of the input object based on at least one of the output signal of the first sensor or the output signal of the second sensor Can be calculated. The control unit can control the operation mode of the display based on the calculation result by the calculation unit. For example, referring to FIG. 12A, the proximity motion recognition apparatus may sense an input object input in a space distant from the reference plane 1210 by a predetermined distance. The proximity motion recognition apparatus can display a plurality of icons 1220 using a two-dimensional interface when there is no input object sensed in the space. The proximity motion recognition apparatus can convert the two-dimensional interface to the three-dimensional interface when the input object 1240 is detected in the space. In this case, the proximity motion recognition apparatus can display a plurality of icons 1230 using a three-dimensional interface.

도 12b를 참조하면, 다른 실시예에 따른 근접 동작 인식 장치는 기준면(1250)으로부터 미리 정해진 거리만큼 떨어진 공간에서 감지되는 입력 객체가 없는 경우, 3차원 인터페이스를 이용하여 복수의 아이콘들(1260)을 표시할 수 있다. 근접 동작 인식 장치는 해당 공간에 입력 객체(1280)가 감지되는 경우, 3차원 인터페이스를 2차원 인터페이스로 전환할 수 있다. 이 경우, 근접 동작 인식 장치는 2차원 인터페이스를 이용하여 복수의 아이콘들(1270)을 표시할 수 있다.
12B, when there is no input object sensed in a space separated by a predetermined distance from the reference plane 1250, the proximity motion recognition apparatus according to another embodiment uses a three-dimensional interface to display a plurality of icons 1260 Can be displayed. When the input object 1280 is detected in the corresponding space, the proximity motion recognition apparatus can convert the three-dimensional interface to the two-dimensional interface. In this case, the proximity motion recognition apparatus can display a plurality of icons 1270 using a two-dimensional interface.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

Claims (33)

센서들을 이용하는 근접 동작 인식 장치에 있어서,
근접 동작을 인식하기 위한 기준면으로부터 미리 정해진 거리보다 가까운 제1 입력 공간을 센싱하기 위한 제1 센서;
상기 기준면으로부터 상기 미리 정해진 거리보다 먼 제2 입력 공간을 센싱하기 위한 제2 센서; 및
입력 객체가 상기 제1 입력 공간과 상기 제2 입력 공간 사이를 트랜지션하는 경우, 상기 제1 센서와 상기 제2 센서 사이에서 상기 트랜지션과 관련된 정보를 전달하는 정보 전달 제어부
를 포함하는 근접 동작 인식 장치.A proximity motion recognition device using sensors,
A first sensor for sensing a first input space that is closer than a predetermined distance from a reference plane for recognizing proximity action;
A second sensor for sensing a second input space that is greater than the predetermined distance from the reference plane; And
An information transfer control unit for transferring information related to the transition between the first sensor and the second sensor when the input object transitions between the first input space and the second input space,
Wherein the proximity motion recognition device comprises: 제1항에 있어서,
입력 객체와 상기 기준면 사이의 근접 정도를 측정하는 근접 정도 측정부; 및
상기 근접 정도에 따라 상기 제1 센서 및 상기 제2 센서를 택일적으로 활성화시키는 센서 제어부
를 더 포함하는 근접 동작 인식 장치.The method according to claim 1,
A proximity measurement unit measuring proximity between the input object and the reference plane; And
A sensor controller for selectively activating the first sensor and the second sensor according to the proximity,
Further comprising: 제2항에 있어서,
상기 센서 제어부는
상기 근접 정도와 상기 미리 정해진 거리를 비교하는 근접 정도 비교부; 및
상기 비교 결과에 따라 상기 제1 센서의 동작 모드 및 상기 제2 센서의 동작 모드를 제어하는 동작 모드 제어부
를 포함하고,
상기 동작 모드는 활성화 모드, 비활성화 모드, 또는 대기 모드 중 적어도 하나를 포함하는 근접 동작 인식 장치.3. The method of claim 2,
The sensor control unit
A proximity comparator for comparing the proximity with the predetermined distance; And
An operation mode control unit for controlling the operation mode of the first sensor and the operation mode of the second sensor according to the comparison result,
Lt; / RTI >
Wherein the operation mode includes at least one of an activation mode, a deactivation mode, and a standby mode. 제1항에 있어서,
상기 트랜지션과 관련된 정보는 적어도 상기 제1 입력 공간 또는 상기 제2 입력 공간에서 센싱되는 입력 객체의 x좌표 및 y좌표를 포함하는 근접 동작 인식 장치.The method according to claim 1,
Wherein the information associated with the transition includes an x coordinate and a y coordinate of an input object that is sensed in at least the first input space or the second input space. 제1항에 있어서,
상기 제1 센서는 상기 제1 입력 공간에서 센싱되는 입력 객체의 x좌표, y좌표 및 z좌표를 출력하고, 상기 제2 센서는 상기 제2 입력 공간에서 센싱되는 입력 객체의 x좌표 및 y좌표를 출력하는 근접 동작 인식 장치.The method according to claim 1,
The first sensor outputs x-coordinate, y-coordinate and z-coordinate of the input object to be sensed in the first input space, and the second sensor outputs x-coordinate and y-coordinate of the input object sensed in the second input space A proximity motion recognizing device for outputting. 제1항에 있어서,
상기 제1 센서는 터치 센서를 포함하고, 상기 제2 센서는 비전 센서를 포함하는 근접 동작 인식 장치.The method according to claim 1,
Wherein the first sensor comprises a touch sensor and the second sensor comprises a vision sensor. 제1항에 있어서,
근접 동작 인터페이스를 표시하는 디스플레이; 및
상기 제1 입력 공간에서 제1 입력 객체가 입력되는 경우, 상기 제1 입력 객체와 상기 기준면 사이의 근접 정도에 따라 상기 제1 입력 객체에 의해 포인팅되는 영역의 크기가 변경되도록 상기 근접 동작 인터페이스를 제어하는 인터페이스 제어부
를 더 포함하는 근접 동작 인식 장치.The method according to claim 1,
A display that displays a proximity action interface; And
The control unit controls the proximity operation interface so that the size of the area pointed by the first input object is changed according to the proximity between the first input object and the reference plane when the first input object is input in the first input space, The interface controller
Further comprising: 제7항에 있어서,
상기 근접 동작 인터페이스는 적어도 하나의 아이콘을 포함하고,
상기 인터페이스 제어부는 상기 제1 입력 객체와 상기 기준면이 근접될수록 상기 제1 입력 객체에 의해 포인팅되는 아이콘의 크기가 커지도록 상기 근접 동작 인터페이스를 제어하고, 상기 제1 입력 객체가 상기 기준면에 접촉되는 경우 상기 제1 입력 객체에 의해 포인팅되는 아이콘이 선택되도록 상기 근접 동작 인터페이스를 제어하는 근접 동작 인식 장치.8. The method of claim 7,
Wherein the proximity action interface comprises at least one icon,
Wherein the interface control unit controls the proximity operation interface such that the size of the icon pointed by the first input object becomes larger as the first input object and the reference plane become closer to each other and when the first input object contacts the reference plane And controls the proximity operation interface so that an icon pointed by the first input object is selected. 제1항에 있어서,
근접 동작 인터페이스를 표시하는 디스플레이; 및
상기 제2 입력 공간에서 제2 입력 객체가 입력되는 경우, 상기 제2 입력 객체에 의해 포인팅되는 점 주변으로 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어하는 인터페이스 제어부
를 더 포함하는 근접 동작 인식 장치.The method according to claim 1,
A display that displays a proximity action interface; And
An interface controller for controlling the proximity operation interface so that at least one predetermined icon is disposed around a point pointed by the second input object when a second input object is input in the second input space,
Further comprising: 제9항에 있어서,
상기 제1 입력 공간에서 제1 입력 객체가 입력되는 경우, 상기 제1 센서의 출력 신호에 기초하여 상기 제1 입력 객체의 끝점과 축을 추출하는 신호 처리부
를 더 포함하고,
상기 인터페이스 제어부는 상기 제1 입력 공간에서 상기 제1 입력 객체가 입력되는 경우, 상기 제1 입력 객체의 끝점과 축을 이용하여 상기 제1 입력 객체에 의하여 상기 디스플레이가 가려지는 영역 주변으로 상기 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어하는 근접 동작 인식 장치.10. The method of claim 9,
A signal processor for extracting an end point and an axis of the first input object based on an output signal of the first sensor when the first input object is input in the first input space,
Further comprising:
Wherein the interface control unit is operable, when the first input object is input in the first input space, to use the endpoints and the axes of the first input object to surround at least the predetermined And the proximity operation interface is controlled such that one icon is disposed. 제10항에 있어서,
상기 인터페이스 제어부는 상기 제1 입력 객체와 상기 기준면 사이의 근접 정도에 따라 상기 미리 정해진 적어도 하나의 아이콘의 크기가 변경되도록 상기 근접 동작 인터페이스를 제어하는 근접 동작 인식 장치.11. The method of claim 10,
Wherein the interface control unit controls the proximity operation interface such that the size of the at least one predetermined icon is changed according to the proximity between the first input object and the reference plane. 제1항에 있어서,
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 복수의 입력 객체들이 감지되는지 여부를 판단하는 복수 입력 감지부; 및
상기 복수 입력 감지부에 의해 복수의 입력 객체들이 감지된다고 판단되는 경우, 미리 정해진 모드에 따라 상기 복수의 입력 객체들 중 적어도 하나의 입력 객체를 선택하는 입력 선택부
를 더 포함하는 근접 동작 인식 장치.The method according to claim 1,
A plurality of input sensing units for determining whether a plurality of input objects are sensed based on at least one of an output signal of the first sensor or an output signal of the second sensor; And
An input selection unit for selecting at least one input object among the plurality of input objects according to a predetermined mode when it is determined that the plurality of input objects are sensed by the multiple input sensing unit,
Further comprising: 제12항에 있어서,
상기 미리 정해진 모드는 복수의 입력들을 수용하는 모드, 상기 기준면과 가장 근접한 입력 객체를 선택하는 모드 및 입력 객체에 의해 포인팅되는 위치가 상기 기준면 위의 미리 지정된 위치로부터 가장 근접한 입력 객체를 선택하는 모드를 포함하는 근접 동작 인식 장치.13. The method of claim 12,
Wherein the predetermined mode includes a mode for accommodating a plurality of inputs, a mode for selecting an input object closest to the reference plane, and a mode for selecting an input object closest to a predetermined position on the reference surface, Wherein the proximity motion recognition device comprises: 제12항에 있어서,
근접 동작 인터페이스를 표시하는 디스플레이; 및
상기 제1 입력 공간에서 상기 적어도 하나의 입력 객체가 감지되는 경우, 상기 제1 센서의 출력 신호에 기초하여 상기 적어도 하나의 입력 객체의 끝점과 축을 추출하는 신호 처리부; 및
상기 제2 입력 공간에서 적어도 하나의 입력 객체가 감지되는 경우 상기 적어도 하나의 입력 객체에 의해 포인팅되는 점 주변으로 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어하고, 상기 제1 입력 공간에서 상기 적어도 하나의 입력 객체가 감지되는 경우 상기 적어도 하나의 입력 객체의 끝점과 축을 이용하여 상기 적어도 하나의 입력 객체에 의하여 상기 디스플레이가 가려지는 영역 주변으로 상기 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어하는 인터페이스 제어부
를 더 포함하는 근접 동작 인식 장치.13. The method of claim 12,
A display that displays a proximity action interface; And
A signal processor for extracting an end point and an axis of the at least one input object based on an output signal of the first sensor when the at least one input object is sensed in the first input space; And
Controls the proximity operation interface such that at least one icon is disposed around a point pointed by the at least one input object when at least one input object is detected in the second input space, Wherein when at least one input object is sensed in the at least one input object, the predetermined at least one icon is disposed around the area covered by the at least one input object using the endpoints and axes of the at least one input object. An interface controller for controlling the proximity operation interface
Further comprising: 제12항에 있어서,
상기 인터페이스 제어부는 상기 적어도 하나의 입력 객체와 상기 기준면 사이의 근접 정도에 따라 상기 미리 정해진 적어도 하나의 아이콘의 크기가 변경되도록 상기 근접 동작 인터페이스를 제어하는 근접 동작 인식 장치.13. The method of claim 12,
Wherein the interface control unit controls the proximity operation interface so that the size of the predetermined at least one icon is changed according to the proximity between the at least one input object and the reference plane. 제1항에 있어서,
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 패턴을 인식하는 입력 패턴 인식부; 및
상기 입력 패턴에 대응되는 기능을 실행하는 기능 실행부
를 더 포함하는 근접 동작 인식 장치.The method according to claim 1,
An input pattern recognition unit for recognizing an input pattern based on at least one of an output signal of the first sensor and an output signal of the second sensor; And
A function execution unit for executing a function corresponding to the input pattern,
Further comprising: 제16항에 있어서,
상기 입력 패턴 인식부는
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 속도 또는 각속도 중 적어도 하나를 계산하는 계산부
를 포함하고,
상기 기능 실행부는
상기 계산 결과에 기초하여 상기 입력 패턴에 대응되는 기능을 검출하는 검출부
를 포함하는 근접 동작 인식 장치.17. The method of claim 16,
The input pattern recognition unit
A calculation unit for calculating at least one of a velocity or an angular velocity of the input object based on at least one of an output signal of the first sensor or an output signal of the second sensor,
Lt; / RTI >
The function execution unit
A detection unit for detecting a function corresponding to the input pattern based on the calculation result;
Wherein the proximity motion recognition device comprises: 제1항에 있어서,
2차원 인터페이스 및 3차원 인터페이스를 제공하는 디스플레이;
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 위치, 속도, 또는 각속도 중 적어도 하나를 계산하는 계산부; 및
상기 계산 결과에 기초하여 상기 디스플레이의 동작 모드를 제어하는 디스플레이 제어부
를 더 포함하는 근접 동작 인식 장치.The method according to claim 1,
A display providing a two-dimensional interface and a three-dimensional interface;
A calculation unit for calculating at least one of an input object position, a velocity, and an angular velocity based on at least one of an output signal of the first sensor or an output signal of the second sensor; And
A display control unit for controlling the operation mode of the display based on the calculation result;
Further comprising: 센서들을 이용하는 근접 동작 인식 방법에 있어서,
제1 센서를 이용하여 근접 동작을 인식하기 위한 기준면으로부터 미리 정해진 거리보다 가까운 제1 입력 공간에 입력 객체가 존재하는 경우, 상기 제1 입력 공간을 센싱하는 단계;
제2 센서를 이용하여 상기 기준면으로부터 상기 미리 정해진 거리보다 먼 제2 입력 공간에 입력 객체가 존재하는 경우, 상기 제2 입력 공간을 센싱하는 단계; 및
입력 객체가 상기 제1 입력 공간과 상기 제2 입력 공간 사이를 트랜지션하는 경우, 상기 제1 센서와 상기 제2 센서 사이에서 상기 트랜지션과 관련된 정보를 전달하는 단계
를 포함하는 근접 동작 인식 방법.A proximity motion recognition method using sensors,
Sensing the first input space when an input object exists in a first input space that is closer than a predetermined distance from a reference plane for recognizing proximity operation using the first sensor;
Sensing the second input space when an input object exists in a second input space that is distant from the reference plane by a second sensor; And
When the input object transitions between the first input space and the second input space, communicating information related to the transition between the first sensor and the second sensor
Wherein the proximity motion recognition method comprises: 제19항에 있어서,
입력 객체와 상기 기준면 사이의 근접 정도를 측정하는 단계; 및
상기 근접 정도에 따라 상기 제1 센서 및 상기 제2 센서를 택일적으로 활성화시키는 단계
를 더 포함하는 근접 동작 인식 방법.20. The method of claim 19,
Measuring a proximity between the input object and the reference plane; And
Selectively activating the first sensor and the second sensor according to the proximity;
Further comprising the steps of: 제19항에 있어서,
상기 트랜지션과 관련된 정보는 적어도 상기 제1 입력 공간 또는 상기 제2 입력 공간에서 센싱되는 입력 객체의 x좌표 및 y좌표를 포함하는 근접 동작 인식 방법.20. The method of claim 19,
Wherein the information associated with the transition includes an x coordinate and a y coordinate of an input object that is sensed in at least the first input space or the second input space. 제19항에 있어서,
상기 제1 센서는 상기 제1 입력 공간에서 센싱되는 입력 객체의 x좌표, y좌표 및 z좌표를 출력하고, 상기 제2 센서는 상기 제2 입력 공간에서 센싱되는 입력 객체의 x좌표 및 y좌표를 출력하는 근접 동작 인식 방법.20. The method of claim 19,
The first sensor outputs x-coordinate, y-coordinate and z-coordinate of the input object to be sensed in the first input space, and the second sensor outputs x-coordinate and y-coordinate of the input object sensed in the second input space And outputting the detected proximity motion. 제19항에 있어서,
상기 제1 센서는 터치 센서를 포함하고, 상기 제2 센서는 비전 센서를 포함하는 근접 동작 인식 방법.20. The method of claim 19,
Wherein the first sensor comprises a touch sensor and the second sensor comprises a vision sensor. 제19항에 있어서,
상기 제1 입력 공간에서 제1 입력 객체가 입력되는 경우, 상기 제1 입력 객체와 상기 기준면 사이의 근접 정도에 따라 상기 제1 입력 객체에 의해 포인팅되는 영역의 크기가 변경되도록 근접 동작 인터페이스를 제어하는 단계; 및
상기 근접 동작 인터페이스를 표시하는 단계
를 더 포함하는 근접 동작 인식 방법.20. The method of claim 19,
Controlling the proximity operation interface such that when the first input object is input in the first input space, the size of the area pointed by the first input object is changed according to the proximity between the first input object and the reference plane step; And
Displaying the proximity action interface
Further comprising the steps of: 제24항에 있어서,
상기 근접 동작 인터페이스는 적어도 하나의 아이콘을 포함하고,
상기 제어하는 단계는
상기 제1 입력 객체와 상기 기준면이 근접될수록 상기 제1 입력 객체에 의해 포인팅되는 아이콘의 크기가 커지도록 상기 근접 동작 인터페이스를 제어하는 단계; 및
상기 제1 입력 객체가 상기 기준면에 접촉되는 경우 상기 제1 입력 객체에 의해 포인팅되는 아이콘이 선택되도록 상기 근접 동작 인터페이스를 제어하는 단계
를 포함하는 근접 동작 인식 방법.25. The method of claim 24,
Wherein the proximity action interface comprises at least one icon,
The step of controlling
Controlling the proximity operation interface such that the size of the icon pointed by the first input object increases as the first input object and the reference plane become closer to each other; And
Controlling the proximity action interface such that an icon pointed to by the first input object is selected when the first input object is in contact with the reference plane
Wherein the proximity motion recognition method comprises: 제19항에 있어서,
상기 제2 입력 공간에서 제2 입력 객체가 입력되는 경우, 상기 제2 입력 객체에 의해 포인팅되는 점 주변으로 미리 정해진 적어도 하나의 아이콘이 배치되도록 근접 동작 인터페이스를 제어하는 단계; 및
상기 근접 동작 인터페이스를 표시하는 단계
를 더 포함하는 근접 동작 인식 방법.20. The method of claim 19,
Controlling a proximity operation interface such that, when a second input object is input in the second input space, at least one predetermined icon is disposed around the point being pointed by the second input object; And
Displaying the proximity action interface
Further comprising the steps of: 제26항에 있어서,
상기 제1 입력 공간에서 제1 입력 객체가 입력되는 경우, 상기 제1 센서의 출력 신호에 기초하여 상기 제1 입력 객체의 끝점과 축을 추출하는 단계
를 더 포함하고,
상기 제어하는 단계는
상기 제1 입력 공간에서 상기 제1 입력 객체가 입력되는 경우, 상기 제1 입력 객체의 끝점과 축을 이용하여 상기 제1 입력 객체에 의하여 상기 디스플레이가 가려지는 영역 주변으로 상기 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어하는 단계
를 포함하는 근접 동작 인식 방법.27. The method of claim 26,
Extracting an end point and an axis of the first input object based on an output signal of the first sensor when the first input object is input in the first input space
Further comprising:
The step of controlling
Wherein when the first input object is input in the first input space, the predetermined at least one icon is displayed around the area covered by the first input object using the end point and the axis of the first input object Controlling the proximity action interface to be deployed
Wherein the proximity motion recognition method comprises: 제19항에 있어서,
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 복수의 입력 객체들이 감지되는지 여부를 판단하는 단계; 및
복수의 입력 객체들이 감지된다고 판단되는 경우, 미리 정해진 모드에 따라 상기 복수의 입력 객체들 중 적어도 하나의 입력 객체를 선택하는 단계
를 더 포함하는 근접 동작 인식 방법.20. The method of claim 19,
Determining whether a plurality of input objects are sensed based on at least one of an output signal of the first sensor or an output signal of the second sensor; And
Selecting at least one input object of the plurality of input objects according to a predetermined mode when it is determined that a plurality of input objects are sensed
Further comprising the steps of: 제28항에 있어서,
상기 미리 정해진 모드는 복수의 입력들을 수용하는 모드, 상기 기준면과 가장 근접한 입력 객체를 선택하는 모드 및 입력 객체에 의해 포인팅되는 위치가 상기 기준면 위의 미리 지정된 위치로부터 가장 근접한 입력 객체를 선택하는 모드를 포함하는 근접 동작 인식 방법.29. The method of claim 28,
Wherein the predetermined mode includes a mode for accommodating a plurality of inputs, a mode for selecting an input object closest to the reference plane, and a mode for selecting an input object closest to a predetermined position on the reference surface, The method comprising: 제19항에 있어서,
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 속도 또는 각속도 중 적어도 하나를 계산하는 단계; 및
상기 계산 결과에 기초하여 상기 입력 패턴에 대응되는 기능을 실행하는 단계
를 더 포함하는 근접 동작 인식 방법.20. The method of claim 19,
Calculating at least one of a velocity or an angular velocity of the input object based on at least one of the output signal of the first sensor or the output signal of the second sensor; And
Executing a function corresponding to the input pattern on the basis of the calculation result
Further comprising the steps of: 제19항에 있어서,
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 위치, 속도, 또는 각속도 중 적어도 하나를 계산하는 단계;
상기 계산 결과에 기초하여 디스플레이의 동작 모드를 2차원 인터페이스 및 3차원 인터페이스 사이에서 전환하는 단계
를 더 포함하는 근접 동작 인식 방법.20. The method of claim 19,
Calculating at least one of the position, velocity, or angular velocity of the input object based on at least one of an output signal of the first sensor or an output signal of the second sensor;
Converting the operation mode of the display between the two-dimensional interface and the three-dimensional interface based on the calculation result
Further comprising the steps of: 유저 인터페이스를 제어하는 제어 방법에 있어서,
유저 인터페이스와 가까운 제1 영역에서 입력을 센싱하는 단계;
상기 제1 영역 밖의 제2 영역에서 입력을 센싱하는 단계; 및
상기 제1 영역과 상기 제2 영역에서 감지된 입력의 위치(position) 및 움직임(movement) 중 적어도 하나에 기초하여 상기 유저 인터페이스를 제1 방식(manner)과 제2 방식으로 선택적으로 제어하는 단계
를 포함하는 제어 방법.A control method for controlling a user interface,
Sensing an input in a first region close to a user interface;
Sensing an input in a second region outside the first region; And
Selectively controlling the user interface in a first manner and a second manner based on at least one of a position and a movement of the sensed input in the first area and the second area
≪ / RTI > 제19항 내지 제32항 중에서 어느 하나의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
32. A computer-readable recording medium on which a program for executing the method of any one of claims 19 to 32 is recorded.
KR1020130137168A 2013-02-22 2013-11-12 Device of recognizing proximity motion using sensors and method thereof KR102118610B1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US14/150,051 US10261612B2 (en) 2013-02-22 2014-01-08 Apparatus and method for recognizing proximity motion using sensors
EP14152597.2A EP2770408B1 (en) 2013-02-22 2014-01-27 Apparatus and method for recognizing proximity motion using sensors
JP2014021352A JP6333568B2 (en) 2013-02-22 2014-02-06 Proximity motion recognition device using sensor and method using the device
CN201410056423.5A CN104007814B (en) 2013-02-22 2014-02-19 For using sensor identification close to the device and method of movement
US14/446,826 US10394434B2 (en) 2013-02-22 2014-07-30 Apparatus and method for recognizing proximity motion using sensors
US16/524,668 US10921926B2 (en) 2013-02-22 2019-07-29 Apparatus and method for recognizing proximity motion using sensors

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130018961 2013-02-22
KR1020130018961 2013-02-22

Publications (2)

Publication Number Publication Date
KR20140105362A true KR20140105362A (en) 2014-09-01
KR102118610B1 KR102118610B1 (en) 2020-06-04

Family

ID=51754381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130137168A KR102118610B1 (en) 2013-02-22 2013-11-12 Device of recognizing proximity motion using sensors and method thereof

Country Status (1)

Country Link
KR (1) KR102118610B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016099559A1 (en) * 2014-12-19 2016-06-23 Hewlett-Packard Development Company, Lp 3d navigation mode
KR20160074862A (en) * 2014-12-18 2016-06-29 엘지디스플레이 주식회사 Liquid crystal display device and method of driving the same
KR20160148382A (en) * 2015-06-16 2016-12-26 엘지전자 주식회사 Watch type terminal and control method thereof
KR20170058425A (en) * 2014-11-11 2017-05-26 인텔 코포레이션 User input via elastic deformation of a material
KR20180012746A (en) * 2015-05-27 2018-02-06 인텔 코포레이션 Adaptive Depth Sensing System
CN113176730A (en) * 2020-01-27 2021-07-27 Abb瑞士股份有限公司 Determining control parameters for an industrial automation device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220167583A (en) * 2021-06-14 2022-12-21 삼성전자주식회사 Foldable electronic device obtaining three-dimensional coordinates information and method of controlling the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080014841A (en) * 2005-06-08 2008-02-14 쓰리엠 이노베이티브 프로퍼티즈 컴파니 Touch location determination involving multiple touch location processes
KR20090102094A (en) * 2008-03-25 2009-09-30 엘지전자 주식회사 Terminal and method of displaying information therein
US20120050180A1 (en) * 2010-08-27 2012-03-01 Brian Michael King Touch and hover switching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080014841A (en) * 2005-06-08 2008-02-14 쓰리엠 이노베이티브 프로퍼티즈 컴파니 Touch location determination involving multiple touch location processes
KR20090102094A (en) * 2008-03-25 2009-09-30 엘지전자 주식회사 Terminal and method of displaying information therein
US20120050180A1 (en) * 2010-08-27 2012-03-01 Brian Michael King Touch and hover switching

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170058425A (en) * 2014-11-11 2017-05-26 인텔 코포레이션 User input via elastic deformation of a material
KR20160074862A (en) * 2014-12-18 2016-06-29 엘지디스플레이 주식회사 Liquid crystal display device and method of driving the same
WO2016099559A1 (en) * 2014-12-19 2016-06-23 Hewlett-Packard Development Company, Lp 3d navigation mode
US10809794B2 (en) 2014-12-19 2020-10-20 Hewlett-Packard Development Company, L.P. 3D navigation mode
KR20180012746A (en) * 2015-05-27 2018-02-06 인텔 코포레이션 Adaptive Depth Sensing System
KR20160148382A (en) * 2015-06-16 2016-12-26 엘지전자 주식회사 Watch type terminal and control method thereof
CN113176730A (en) * 2020-01-27 2021-07-27 Abb瑞士股份有限公司 Determining control parameters for an industrial automation device

Also Published As

Publication number Publication date
KR102118610B1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
EP2770408B1 (en) Apparatus and method for recognizing proximity motion using sensors
KR102118610B1 (en) Device of recognizing proximity motion using sensors and method thereof
US10921926B2 (en) Apparatus and method for recognizing proximity motion using sensors
US9020194B2 (en) Systems and methods for performing a device action based on a detected gesture
KR102230630B1 (en) Rapid gesture re-engagement
US20140189579A1 (en) System and method for controlling zooming and/or scrolling
US9678606B2 (en) Method and device for determining a touch gesture
EP2795450B1 (en) User gesture recognition
US9619042B2 (en) Systems and methods for remapping three-dimensional gestures onto a finite-size two-dimensional surface
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
KR102347248B1 (en) Method and apparatus for recognizing touch gesture
US20170003762A1 (en) Systems and methods for text entry
CN102736770A (en) Multi-point gesture identification method and multi-point translation gesture identification device
KR20170067669A (en) Method and apparatus for predicting touch location of electronic device
US20150324025A1 (en) User input device and method thereof
KR101535738B1 (en) Smart device with touchless controlling operation function and the control method of using the same
KR20100075282A (en) Wireless apparatus and method for space touch sensing and screen apparatus using depth sensor
KR20140083300A (en) Method for providing user interface using one point touch, and apparatus therefor
CN104375697A (en) Mobile device
US20230266827A1 (en) Method and device for receiving user input
KR102169236B1 (en) Touchscreen device and method for controlling the same and display apparatus
TWI444875B (en) Multi-touch input apparatus and its interface method using data fusion of a single touch sensor pad and imaging sensor
KR20140086805A (en) Electronic apparatus, method for controlling the same and computer-readable recording medium
CN104375700A (en) Electronic device
KR101436586B1 (en) Method for providing user interface using one point touch, and apparatus therefor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right