KR102118610B1 - Device of recognizing proximity motion using sensors and method thereof - Google Patents

Device of recognizing proximity motion using sensors and method thereof Download PDF

Info

Publication number
KR102118610B1
KR102118610B1 KR1020130137168A KR20130137168A KR102118610B1 KR 102118610 B1 KR102118610 B1 KR 102118610B1 KR 1020130137168 A KR1020130137168 A KR 1020130137168A KR 20130137168 A KR20130137168 A KR 20130137168A KR 102118610 B1 KR102118610 B1 KR 102118610B1
Authority
KR
South Korea
Prior art keywords
input
sensor
proximity
input object
motion recognition
Prior art date
Application number
KR1020130137168A
Other languages
Korean (ko)
Other versions
KR20140105362A (en
Inventor
한승주
박준아
류현석
박두식
이기명
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/150,051 priority Critical patent/US10261612B2/en
Priority to EP14152597.2A priority patent/EP2770408B1/en
Priority to JP2014021352A priority patent/JP6333568B2/en
Priority to CN201410056423.5A priority patent/CN104007814B/en
Priority to US14/446,826 priority patent/US10394434B2/en
Publication of KR20140105362A publication Critical patent/KR20140105362A/en
Priority to US16/524,668 priority patent/US10921926B2/en
Application granted granted Critical
Publication of KR102118610B1 publication Critical patent/KR102118610B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

센서들을 이용하는 근접 동작 인식 장치가 개시된다. 일 실시예는 제1 입력 공간을 센싱하기 위한 제1 센서, 제1 입력 공간과 구별되는 제2 입력 공간을 센싱하기 위한 제2 센서, 및 제1 센서와 제2 센서 사이에서 트랜지션과 관련된 정보를 전달하는 정보 전달 제어부를 포함한다.A proximity motion recognition device using sensors is disclosed. In one embodiment, a first sensor for sensing a first input space, a second sensor for sensing a second input space different from the first input space, and information related to a transition between the first sensor and the second sensor It includes an information transmission control unit to transmit.

Description

센서들을 이용하는 근접 동작 인식 장치 및 그 장치를 이용한 방법{DEVICE OF RECOGNIZING PROXIMITY MOTION USING SENSORS AND METHOD THEREOF}A proximity motion recognition device using sensors and a method using the device{DEVICE OF RECOGNIZING PROXIMITY MOTION USING SENSORS AND METHOD THEREOF}

아래 실시예들은 센서들을 이용하는 근접 동작 인식 장치 및 그 장치를 이용한 방법에 관한 것이다.
The embodiments below relate to an apparatus for recognizing proximity motion using sensors and a method using the device.

스마트 폰, 타블렛 컴퓨터 및 노트북 컴퓨터 등 다양한 휴대용 기기에서 2차원 평면 위에서 이루어지는 터치 입력 방식이 많이 이용되고 있다. 특히, 터치 입력 방식은 단일의 터치 입력을 수용하는 싱글 포인트 인식 기법으로부터 복수의 터치 입력들을 동시에 수용하는 멀티 포인트 인식 기법으로 발전해왔다.
In a variety of portable devices such as smart phones, tablet computers, and notebook computers, touch input methods made on a two-dimensional plane are widely used. In particular, the touch input method has been developed from a single point recognition technique that accepts a single touch input to a multi-point recognition technique that simultaneously accepts a plurality of touch inputs.

일 측에 따른 센서들을 이용하는 근접 동작 인식 장치는 근접 동작을 인식하기 위한 기준면으로부터 미리 정해진 거리보다 가까운 제1 입력 공간을 센싱하기 위한 제1 센서; 상기 기준면으로부터 상기 미리 정해진 거리보다 먼 제2 입력 공간을 센싱하기 위한 제2 센서; 및 입력 객체가 상기 제1 입력 공간과 상기 제2 입력 공간 사이를 트랜지션하는 경우, 상기 제1 센서와 상기 제2 센서 사이에서 상기 트랜지션과 관련된 정보를 전달하는 정보 전달 제어부를 포함한다.A proximity motion recognition apparatus using sensors according to one side includes: a first sensor for sensing a first input space closer than a predetermined distance from a reference surface for recognizing proximity motion; A second sensor for sensing a second input space farther than the predetermined distance from the reference plane; And an information transfer control unit transferring information related to the transition between the first sensor and the second sensor when the input object transitions between the first input space and the second input space.

이 때, 상기 근접 동작 인식 장치는 입력 객체와 상기 기준면 사이의 근접 정도를 측정하는 근접 정도 측정부; 및 상기 근접 정도에 따라 상기 제1 센서 및 상기 제2 센서를 택일적으로 활성화시키는 센서 제어부를 더 포함할 수 있다.At this time, the proximity motion recognition device includes a proximity accuracy measurement unit for measuring the degree of proximity between the input object and the reference surface; And a sensor control unit for selectively activating the first sensor and the second sensor according to the proximity.

또한, 상기 근접 동작 인식 장치는 근접 동작 인터페이스를 표시하는 디스플레이; 및 상기 제1 입력 공간에서 제1 입력 객체가 입력되는 경우, 상기 제1 입력 객체와 상기 기준면 사이의 근접 정도에 따라 상기 제1 입력 객체에 의해 포인팅되는 영역의 크기가 변경되도록 상기 근접 동작 인터페이스를 제어하는 인터페이스 제어부를 더 포함할 수 있다.In addition, the proximity motion recognition device includes a display displaying a proximity motion interface; And when the first input object is input in the first input space, the proximity operation interface is configured to change the size of the area pointed by the first input object according to the proximity between the first input object and the reference plane. It may further include an interface control unit to control.

또한, 상기 근접 동작 인식 장치는 상기 제2 입력 공간에서 제2 입력 객체가 입력되는 경우, 상기 제2 입력 객체에 의해 포인팅되는 점 주변으로 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어하는 인터페이스 제어부; 및 상기 제1 입력 공간에서 제1 입력 객체가 입력되는 경우, 상기 제1 센서의 출력 신호에 기초하여 상기 제1 입력 객체의 끝점과 축을 추출하는 신호 처리부를 더 포함할 수 있다. 여기서, 상기 인터페이스 제어부는 상기 제1 입력 공간에서 상기 제1 입력 객체가 입력되는 경우, 상기 제1 입력 객체의 끝점과 축을 이용하여 상기 제1 입력 객체에 의하여 상기 디스플레이가 가려지는 영역 주변으로 상기 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어할 수 있다.In addition, when the second input object is input in the second input space, the proximity motion recognition device controls the proximity motion interface such that at least one icon is disposed around a point pointed by the second input object. An interface control unit; And when the first input object is input in the first input space, a signal processing unit for extracting the end point and the axis of the first input object based on the output signal of the first sensor may be further included. Here, when the first input object is input in the first input space, the interface control unit advances the area around the area where the display is blocked by the first input object by using the end point and the axis of the first input object. The proximity operation interface may be controlled such that at least one predetermined icon is disposed.

또한, 상기 근접 동작 인식 장치는 상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 복수의 입력 객체들이 감지되는지 여부를 판단하는 복수 입력 감지부; 및 상기 복수 입력 감지부에 의해 복수의 입력 객체들이 감지된다고 판단되는 경우, 미리 정해진 모드에 따라 상기 복수의 입력 객체들 중 적어도 하나의 입력 객체를 선택하는 입력 선택부를 더 포함할 수 있다.In addition, the proximity motion recognition apparatus may include a plurality of input detection units determining whether a plurality of input objects are detected based on at least one of an output signal of the first sensor or an output signal of the second sensor; And an input selector selecting at least one input object among the plurality of input objects according to a predetermined mode when it is determined that a plurality of input objects are sensed by the plurality of input sensing units.

또한, 상기 근접 동작 인식 장치는 상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 패턴을 인식하는 입력 패턴 인식부; 및 상기 입력 패턴에 대응되는 기능을 실행하는 기능 실행부를 더 포함할 수 있다.In addition, the proximity motion recognition apparatus may include an input pattern recognition unit that recognizes an input pattern based on at least one of an output signal of the first sensor or an output signal of the second sensor; And a function execution unit that executes a function corresponding to the input pattern.

또한, 상기 근접 동작 인식 장치는 2차원 인터페이스 및 3차원 인터페이스를 제공하는 디스플레이; 상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 위치, 속도, 또는 각속도 중 적어도 하나를 계산하는 계산부; 및 상기 계산 결과에 기초하여 상기 디스플레이의 동작 모드를 제어하는 디스플레이 제어부를 더 포함할 수 있다.In addition, the proximity motion recognition apparatus includes a display providing a two-dimensional interface and a three-dimensional interface; A calculator configured to calculate at least one of the position, velocity, or angular velocity of the input object based on at least one of the output signal of the first sensor or the output signal of the second sensor; And a display control unit controlling an operation mode of the display based on the calculation result.

다른 일 측에 따른 센서들을 이용하는 근접 동작 인식 방법은 제1 센서를 이용하여 근접 동작을 인식하기 위한 기준면으로부터 미리 정해진 거리보다 가까운 제1 입력 공간에 입력 객체가 존재하는 경우, 상기 제1 입력 공간을 센싱하는 단계; 제2 센서를 이용하여 상기 기준면으로부터 상기 미리 정해진 거리보다 먼 제2 입력 공간에 입력 객체가 존재하는 경우, 상기 제2 입력 공간을 센싱하는 단계; 및 입력 객체가 상기 제1 입력 공간과 상기 제2 입력 공간 사이를 트랜지션하는 경우, 상기 제1 센서와 상기 제2 센서 사이에서 상기 트랜지션과 관련된 정보를 전달하는 단계를 포함한다.The proximity motion recognition method using sensors according to the other side, when an input object exists in a first input space closer than a predetermined distance from a reference plane for recognizing proximity motion using a first sensor, uses the first input space. Sensing; Sensing the second input space when an input object exists in a second input space farther than the predetermined distance from the reference surface using a second sensor; And when the input object transitions between the first input space and the second input space, transmitting information related to the transition between the first sensor and the second sensor.

또 다른 일 측에 따른 유저 인터페이스를 제어하는 제어 방법은 유저 인터페이스와 가까운 제1 영역에서 입력을 센싱하는 단계; 상기 제1 영역 밖의 제2 영역에서 입력을 센싱하는 단계; 및 상기 제1 영역과 상기 제2 영역에서 감지된 입력의 위치(position) 및 움직임(movement) 중 적어도 하나에 기초하여 상기 유저 인터페이스를 제1 방식(manner)과 제2 방식으로 선택적으로 제어하는 단계를 포함한다.
A control method for controlling a user interface according to another aspect includes sensing an input in a first area close to the user interface; Sensing an input in a second area outside the first area; And selectively controlling the user interface in a first manner and a second manner based on at least one of a position and movement of an input detected in the first region and the second region. It includes.

도 1은 일 실시예에 따른 센서들을 이용하는 근접 동작 인식 장치를 설명하기 위한 도면.
도 2는 일 실시예에 따른 제1 센서 및 제2 센서의 출력 신호를 설명하기 위한 도면.
도 3은 일 실시예에 따른 근접 동작 인식 장치의 파워 세이빙 모드를 설명하기 위한 도면.
도 4는 일 실시예에 따른 근접 동작 인식 장치가 제공하는 근접 동작 인터페이스를 설명하기 위한 도면.
도 5는 일 실시예에 따른 근접 동작 인식 장치의 동작을 설명하기 위한 동작 흐름도.
도 6a 내지 도 6b는 일 실시예에 따른 근접 동작 인식 장치의 아이콘 자동 배치 동작을 설명하기 위한 도면.
도 7 내지 도 8b는 일 실시예에 따른 근접 동작 인식 장치의 아이콘 자동 배치 동작을 위한 신호 처리 방법을 설명하기 위한 도면.
도 9a 내지 도 10은 일 실시예에 따른 복수의 입력 객체들이 감지되는 경우 근접 동작 인식 장치의 동작을 설명하기 위한 도면.
도 11은 일 실시예에 따른 입력 패턴을 인식하는 근접 동작 인식 장치를 나타낸 블록도.
도 12a 내지 도12b는 일 실시예에 따른 근접 동작 인식 장치의 2차원 인터페이스 및 3차원 인터페이스 변환 동작을 설명하기 위한 도면.1 is a view for explaining a proximity motion recognition apparatus using sensors according to an embodiment.
2 is a view for explaining output signals of a first sensor and a second sensor according to an embodiment.
3 is a view for explaining a power saving mode of the proximity motion recognition apparatus according to an embodiment.
4 is a diagram for describing a proximity operation interface provided by a proximity motion recognition apparatus according to an embodiment.
5 is an operation flowchart for explaining the operation of the proximity motion recognition apparatus according to an embodiment.
6A to 6B are diagrams for explaining an icon automatic arrangement operation of a proximity motion recognition apparatus according to an embodiment.
7 to 8B are diagrams for explaining a signal processing method for automatic arrangement of an icon of a proximity motion recognition apparatus according to an embodiment.
9A to 10 are diagrams for describing an operation of a proximity motion recognition apparatus when a plurality of input objects are sensed according to an embodiment.
11 is a block diagram illustrating a proximity motion recognition apparatus for recognizing an input pattern according to an embodiment.
12A to 12B are diagrams for describing a 2D interface and a 3D interface conversion operation of the proximity motion recognition apparatus according to an embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 일 실시예에 따른 센서들을 이용하는 근접 동작 인식 장치를 설명하기 위한 도면이다. 도 1을 참조하면, 일 실시예에 따른 근접 동작 인식 장치(100)는 제1 센서(110), 제2 센서(120) 및 정보 전달 제어부(130)를 포함한다. 여기서, 근접 동작 인식 기술은 2차원의 터치 입력 방식을 3차원적으로 발전시킬 수 있는 기술이며, 근접 동작 인식 장치(100)는 이용자로부터 근접 동작을 입력 받고 입력 받은 근접 동작을 인식하는 장치로, 고정형 디바이스 또는 휴대형 디바이스 등 다양한 형태로 구현될 수 있다. 이하, 제1 센서(110)는 제1 유형 센서이고, 제2 센서(120)는 제1 유형 센서와 다른 유형의 제2 유형 센서일 수 있다. 그러나, 실시예들은 제1 센서(110) 및 제2 센서(120)가 이종 센서들인 경우로 국한되지 않는다. 예를 들어, 실시예들은 제1 센서(110)와 제2 센서(120)가 동일한 유형이지만, 서로 다른 영역(range)의 입력을 감지하는 경우에도 적용될 수 있다.1 is a diagram for describing a proximity motion recognition apparatus using sensors according to an embodiment. Referring to FIG. 1, the proximity motion recognition apparatus 100 according to an embodiment includes a first sensor 110, a second sensor 120, and an information transmission control unit 130. Here, the proximity motion recognition technology is a technology that can develop a two-dimensional touch input method in three dimensions, and the proximity motion recognition device 100 is a device that recognizes a proximity motion received and received by a user, It can be implemented in various forms, such as a fixed device or a portable device. Hereinafter, the first sensor 110 is a first type sensor, and the second sensor 120 may be a second type sensor different from the first type sensor. However, the embodiments are not limited to the case where the first sensor 110 and the second sensor 120 are heterogeneous sensors. For example, although the first sensor 110 and the second sensor 120 are of the same type, the embodiments may also be applied when sensing inputs of different ranges.

제1 센서(110)는 근접 동작을 인식하기 위한 기준면(140)으로부터 미리 정해진 제1 거리(141)보다 가까운 제1 입력 공간을 센싱할 수 있다. 도면에 표시하지 않았으나, 일 실시예에 따른 근접 동작 인식 장치(100)는 디스플레이를 더 포함할 수 있고, 이 경우 기준면(140)은 디스플레이 위에 위치될 수 있다. 이 때, 제1 센서(110)는 다양한 방식으로 구현될 수 있다. 예를 들어, 제1 센서(110)는 디스플레이의 모서리에 설치되는 초음파 센서 또는 적외선 센서를 이용하여 구현될 수 있다. 또는, 제1 센서(110)는 터치 센서 패널, 깊이 센서 또는 이미지 센서를 이용하여 구현될 수 있다.The first sensor 110 may sense a first input space closer than the first distance 141 predetermined from the reference surface 140 for recognizing the proximity operation. Although not shown in the drawing, the proximity motion recognition apparatus 100 according to an embodiment may further include a display, and in this case, the reference surface 140 may be positioned on the display. At this time, the first sensor 110 may be implemented in various ways. For example, the first sensor 110 may be implemented using an ultrasonic sensor or an infrared sensor installed at the edge of the display. Alternatively, the first sensor 110 may be implemented using a touch sensor panel, a depth sensor, or an image sensor.

또한, 제2 센서(120)는 기준면(140)으로부터 제1 거리(141)보다 멀고 미리 정해진 제2 거리(142)보다 가까운 제2 입력 공간을 센싱할 수 있다. 여기서, 제2 거리(142)의 값은 제1 거리(141)의 값보다 클 수 있다. 이 때, 입력 객체(150)가 제1 거리(141)만큼 떨어진 위치에서 입력되는 경우 근접 동작 인식 장치(100)는 미리 결정된 설정에 따라 제1 센서(110) 또는 제2 센서(120)를 이용하여 해당 입력 객체를 센싱할 수 있다. 이 때, 제2 센서(120)는 다양한 방식으로 구현될 수 있다. 예를 들어, 제2 센서(120)는 디스플레이의 모서리에 설치되는 초음파 센서 또는 적외선 센서를 이용하여 구현되거나, 터치 센서 패널, 깊이 센서 또는 이미지 센서를 이용하여 구현될 수 있다. 여기서, 제1 거리(141)와 제2 거리(142)는 각각 제1 센서(110)의 특성과 제2 센서(120)의 특성에 따라 미리 정해질 수 있다.Also, the second sensor 120 may sense a second input space farther than the first distance 141 from the reference surface 140 and closer than the second predetermined distance 142. Here, the value of the second distance 142 may be greater than the value of the first distance 141. At this time, when the input object 150 is input at a position separated by the first distance 141, the proximity motion recognition apparatus 100 uses the first sensor 110 or the second sensor 120 according to a predetermined setting. By doing so, the corresponding input object can be sensed. At this time, the second sensor 120 may be implemented in various ways. For example, the second sensor 120 may be implemented using an ultrasonic sensor or an infrared sensor installed at a corner of the display, or may be implemented using a touch sensor panel, depth sensor, or image sensor. Here, the first distance 141 and the second distance 142 may be determined in advance according to the characteristics of the first sensor 110 and the characteristics of the second sensor 120, respectively.

일 실시예에 따른 근접 동작 인식 장치(100)는 적어도 두 개의 서로 다른 유형의 센서들을 이용함으로써, 기준면(140)에 가장 근접한 공간에서 센싱되는 입력과 기준면(140)으로부터 상대적으로 먼 공간에서 센싱되는 입력을 다르게 처리할 수 있다. 이로 인하여, 일 실시예에 따른 근접 동작 인식 장치(100)는 서로 다른 센서들이 가지는 장점들(예를 들어, 이미지 센서는 넓은 입력 공간을 센싱할 수 있고, 터치 센서 패널은 빠르고 정확하게 입력 객체를 센싱할 수 있음)을 조합하는 기술을 제공할 수 있다. 나아가, 일 실시예에 따른 근접 동작 인식 장치(100)는 터치 스크린 입력 방식에 비하여 입력으로 인한 손자국을 남기지 않는 기술을 제공할 수 있다. 또한, 근접 동작 인식 장치(100)는 입력이 직접 화면에 닿아야 하는 입력 로드를 줄이는 기술을 제공할 수 있으며, 3차원 공간을 활용한 다양한 입력(예를 들어, 책장을 넘기는 동작, 물건을 집는 동작 등 직관적이고 자연스러운 제스처 입력 등)을 수용하는 기술을 제공할 수 있다. The proximity motion recognition apparatus 100 according to an embodiment uses at least two different types of sensors to sense an input sensed in a space closest to the reference surface 140 and a space relatively distant from the reference surface 140. You can handle input differently. Due to this, the proximity motion recognition apparatus 100 according to an embodiment has advantages of different sensors (for example, an image sensor can sense a wide input space, and a touch sensor panel senses an input object quickly and accurately) Can be provided). Furthermore, the proximity motion recognition apparatus 100 according to an embodiment may provide a technique that does not leave a handprint due to input compared to a touch screen input method. In addition, the proximity motion recognition device 100 may provide a technique for reducing an input load in which an input directly touches a screen, and various inputs using a 3D space (for example, a motion of turning a bookshelf, picking up an object) It is possible to provide a technique for accommodating intuitive and natural gesture input, such as motion).

이하, 설명의 편의를 위하여 제1 센서(110)는 기준면(140)으로부터 5cm 이내의 공간을 센싱하는 정전식 터치 센서(capacitive touch sensor)이고, 제2 센서(120)는 기준면(140)으로부터 5cm 이상 떨어진 공간을 센싱하는 시각 센서인 경우를 가정한다. 다만, 본원의 권리범위는 이에 한정되지 아니한다. 여기서, 시각 센서는 대상체에 대한 빛이 시간에 따라 변화하는 정도(예를 들어, 빛의 시간 미분값)를 감지함으로써 대상체의 공간 정보를 인식할 수 있다. 그리고, 시각 센서는 대상체에 움직임이 있을 경우 배경과 분리하여 움직임만을 선택적으로 감지할 수 있다. 예를 들어, 시각 센서는 각 픽셀에서 광량의 변화만을 감지하는 동적 비전 센서(Dynamic Vision Sensor, DVS)로 구성될 수 있다.Hereinafter, for convenience of description, the first sensor 110 is a capacitive touch sensor that senses a space within 5 cm from the reference surface 140, and the second sensor 120 is 5 cm from the reference surface 140. It is assumed that the sensor is a visual sensor that senses an abnormal space. However, the scope of rights of the present application is not limited to this. Here, the visual sensor may recognize the spatial information of the object by sensing the degree to which the light for the object changes with time (eg, time differential value of light). In addition, the visual sensor may selectively detect only the motion separated from the background when the object has motion. For example, the visual sensor may be configured as a dynamic vision sensor (DVS) that detects only a change in light amount in each pixel.

또한, 정보 전달 제어부(130)는 입력 객체(150)가 제1 입력 공간과 제2 입력 공간 사이를 트랜지션하는 경우, 제1 센서와 제2 센서 사이에서 트랜지션과 관련된 정보를 전달할 수 있다. 예를 들어, 입력 객체(150)가 기준면(140)으로부터 먼 위치에서 서서히 근접하는 경우를 가정하자. 이 경우, 입력 객체(150)는 제2 입력 공간으로부터 제1 입력 공간으로 트랜지션한다. 이 때, 근접 동작 인식 장치(100)는 입력 객체(150)가 제2 입력 공간에서 입력되면 제2 센서(120)를 이용하여 입력 객체(150)를 센싱한다. 반면, 근접 동작 인식 장치(100)는 입력 객체(150)가 제1 입력 공간에서 입력되면 제1 센서(110)를 이용하여 입력 객체(150)를 센싱한다. 따라서, 입력 객체(150)가 제2 입력 공간으로부터 제1 입력 공간으로 트랜지션하는 경우, 근접 동작 인식 장치(100)에 의해 이용되는 센서가 제2 센서(120)로부터 제1 센서(110)로 스위칭된다.In addition, when the input object 150 transitions between the first input space and the second input space, the information transfer control unit 130 may transmit information related to the transition between the first sensor and the second sensor. For example, suppose that the input object 150 is gradually approached at a position distant from the reference plane 140. In this case, the input object 150 transitions from the second input space to the first input space. At this time, when the input object 150 is input in the second input space, the proximity motion recognition apparatus 100 senses the input object 150 using the second sensor 120. On the other hand, when the input object 150 is input in the first input space, the proximity motion recognition apparatus 100 senses the input object 150 using the first sensor 110. Therefore, when the input object 150 transitions from the second input space to the first input space, the sensor used by the proximity motion recognition device 100 switches from the second sensor 120 to the first sensor 110. do.

여기서, 정보 전달 제어부(130)는 제2 센서(120)의 출력 신호에 기초하여 생성된 트랜지션과 관련된 정보를 제1 센서(110) 또는 센서들을 제어하는 제어부로 전달할 수 있다. 제1 센서(110)는 수신된 트랜지션과 관련된 정보를 바탕으로 제1 입력 공간에서 입력되는 입력 객체를 센싱할 수 있다. 이로 인하여, 근접 동작 인식 장치(100)는 서로 다른 센서들간 스위칭이 매끄럽게(seamless) 연결되도록 하는 기술을 제공할 수 있다. 예를 들어, 트랜지션과 관련된 정보는 제2 센서(120)에 의해 센싱된 입력 객체의 위치와 관련된 정보를 포함할 수 있다. 제1 센서(110)는 트랜지션과 관련된 정보에 포함된 입력 객체의 위치를 초기 입력 위치로 이용할 수 있다. 이러한 방식을 통하여, 근접 동작 인식 장치(100)는 입력 객체의 센싱에 이용되는 센서가 변경되더라도 입력 객체를 연속적으로 매끄럽게 센싱할 수 있다. 전술한 실시예는 입력 객체(150)가 제1 입력 공간으로부터 제2 입력 공간으로 트랜지션하는 경우에도 그대로 적용될 수 있다.
Here, the information transmission control unit 130 may transmit information related to the transition generated based on the output signal of the second sensor 120 to the first sensor 110 or a control unit that controls the sensors. The first sensor 110 may sense an input object input in the first input space based on the information related to the received transition. Due to this, the proximity motion recognition apparatus 100 may provide a technique for seamlessly connecting switching between different sensors. For example, the information related to the transition may include information related to the location of the input object sensed by the second sensor 120. The first sensor 110 may use the location of the input object included in the information related to the transition as an initial input location. Through this method, the proximity motion recognition apparatus 100 may continuously sense the input object even when the sensor used for sensing the input object is changed. The above-described embodiment may be applied as it is when the input object 150 transitions from the first input space to the second input space.

도 2는 일 실시예에 따른 제1 센서 및 제2 센서의 출력 신호를 설명하기 위한 도면이다. 도 2를 참조하면, 일 실시예에 따른 제1 센서는 제1 입력 공간(230)에서 센싱되는 입력 객체의 x좌표, y좌표 및 z좌표를 출력할 수 있다. 또한, 일 실시예에 따른 제2 센서는 제2 입력 공간(240)에서 센싱되는 x좌표 및 y좌표를 출력할 수 있다. 여기서, x좌표, y좌표 및 z좌표는 기준면(220)에 존재하는 원점(예를 들어, 기준면의 좌상단 모서리 지점)을 기준으로 x축 방향(211), y축 방향(212) 및 z축 방향(213)으로 입력 객체(250)가 센싱되는 위치를 나타낼 수 있다.2 is a view for explaining output signals of a first sensor and a second sensor according to an embodiment. Referring to FIG. 2, the first sensor according to an embodiment may output x-coordinates, y-coordinates, and z-coordinates of an input object sensed in the first input space 230. Also, the second sensor according to an embodiment may output x-coordinates and y-coordinates sensed in the second input space 240. Here, the x-coordinate, the y-coordinate, and the z-coordinate are based on the origin (for example, the upper left corner point of the reference plane) existing in the reference plane 220 in the x-axis direction 211, the y-axis direction 212, and the z-axis direction. The location at which the input object 250 is sensed may be indicated by 213.

일 실시예에 따른 근접 동작 인식 장치는 기준면(220)에 가장 근접한 공간인 제1 입력 공간(230)에서 센싱되는 입력은 3차원 좌표로 처리하고, 기준면(220)으로부터 상대적으로 먼 공간인 제2 입력 공간(240)에서 센싱되는 입력은 2차원 좌표로 처리할 수 있다. 이 경우, 입력 객체(250)가 제1 입력 공간(230)과 제2 입력 공간(240) 사이를 트랜지션할 때 정보 전달 제어부에 의해 전달되는 트랜지션과 관련된 정보는 해당 입력 공간에서 센싱되는 입력 객체의 x좌표 및 y좌표를 포함할 수 있다. 제1 센서 또는 제2 센서는 전달받은 x좌표 및 y좌표를 입력 객체의 초기 위치로 수용함으로써, 서로 다른 센서들간 스위칭이 매끄럽게 연결되도록 할 수 있다.
The proximity motion recognition apparatus according to an embodiment processes input sensed in the first input space 230 that is the space closest to the reference plane 220 as three-dimensional coordinates, and is a second space that is relatively far from the reference plane 220. The input sensed in the input space 240 may be processed as two-dimensional coordinates. In this case, when the input object 250 transitions between the first input space 230 and the second input space 240, the information related to the transition transmitted by the information transfer control unit of the input object sensed in the corresponding input space It may include an x-coordinate and a y-coordinate. The first sensor or the second sensor may allow the switching between different sensors to be smoothly connected by receiving the received x-coordinates and y-coordinates as initial positions of the input object.

도 3은 일 실시예에 따른 근접 동작 인식 장치의 파워 세이빙 모드를 설명하기 위한 도면이다. 도 3을 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 입력 객체(310)와 기준면(320) 사이의 근접 정도에 따라 제1 센서 및 제2 센서를 택일적으로 활성화시킬 수 있다. 도면에 표시하지 않았으나, 근접 동작 인식 장치는 근접 정도 측정부 및 센서 제어부를 더 포함할 수 있다.3 is a view for explaining a power saving mode of the proximity motion recognition apparatus according to an embodiment. Referring to FIG. 3, the proximity motion recognition apparatus according to an embodiment may alternatively activate the first sensor and the second sensor according to the proximity between the input object 310 and the reference surface 320. Although not shown in the drawings, the proximity motion recognition device may further include a proximity accuracy measurement unit and a sensor control unit.

근접 정도 측정부는 입력 객체(310)와 기준면(320) 사이의 근접 정도를 측정할 수 있다. 여기서, 근접 정도는 입력 객체(310)와 기준면(320)이 서로 근접한 정도를 나타내는 척도로, 예를 들어 입력 객체(310)와 기준면(320) 사이의 최단거리 등을 포함할 수 있다. 이 때, 근접 정도 측정부는 제1 센서 및 제2 센서와 구별되는 제3의 센서를 이용하여 구현될 수 있다. 예를 들어, 근접 정도 측정부는 적외선 센서(IR sensor)를 이용하여 구현될 수 있다. 또는, 다른 실시예에 따른 근접 정도 측정부는 제1 센서의 출력 신호와 제2 센서의 출력 신호를 이용하여 구현될 수 있다.The proximity measurement unit may measure the proximity of the input object 310 and the reference surface 320. Here, the proximity degree is a measure of the degree to which the input object 310 and the reference plane 320 are close to each other, and may include, for example, the shortest distance between the input object 310 and the reference plane 320. At this time, the proximity measurement unit may be implemented using a third sensor that is distinct from the first sensor and the second sensor. For example, the proximity measurement unit may be implemented using an infrared sensor. Alternatively, the proximity measurement unit according to another embodiment may be implemented using the output signal of the first sensor and the output signal of the second sensor.

센서 제어부는 근접 정도 측정부에 의해 측정된 근접 정도에 따라 제1 센서 및 제2 센서를 택일적으로 활성화시킬 수 있다. 예를 들어, 센서 제어부는 입력 객체(310)가 제1 입력 공간(330)에서 감지되는 경우 제1 센서를 활성화시키고 제2 센서를 비활성화시킬 수 있다. 또한, 센서 제어부는 입력 객체(310)가 제2 입력 공간(350)에서 감지되는 경우 제2 센서를 활성화시키고 제1 센서를 비활성화시킬 수 있다. 이로 인하여, 일 실시예에 따른 근접 동작 인식 장치는 센서들 중 현재 이용되지 않는 센서를 비활성화시킴으로써 전력소모를 절감하는 기술을 제공할 수 있다.The sensor controller may alternatively activate the first sensor and the second sensor according to the proximity measured by the proximity measurement unit. For example, the sensor control unit may activate the first sensor and deactivate the second sensor when the input object 310 is detected in the first input space 330. In addition, the sensor controller may activate the second sensor and deactivate the first sensor when the input object 310 is detected in the second input space 350. Accordingly, the proximity motion recognition apparatus according to an embodiment may provide a technique for reducing power consumption by deactivating a sensor that is not currently used among sensors.

뿐만 아니라, 센서 제어부는 입력 객체(310)가 제1 입력 공간(330)과 제2 입력 공간(350) 사이의 트랜지션 공간(340)에서 감지되는 경우 제1 센서를 활성화시킨 상태에서 제2 센서를 대기(stand-by) 모드로 동작시킬 수 있다. 다른 실시예에 따른 센서 제어부는 입력 객체(310)가 트랜지션 공간(340)에서 감지되는 경우 제2 센서를 활성화시킨 상태에서 제1 센서를 대기 모드로 동작시킬 수 있다. 여기서, 센서의 대기 모드는 비활성화 모드와 구별되는 동작 모드로, 예를 들어 해당 센서가 활성화되는데 요구되는 시간이 더 짧은 저전력 동작 모드 등을 포함할 수 있다. 이로 인하여, 일 실시예에 따른 근접 동작 인식 장치는 전력소모를 절감하는 기술을 제공함과 동시에 센싱 반응 속도를 향상시키는 기술을 제공할 수 있다.
In addition, when the input object 310 is detected in the transition space 340 between the first input space 330 and the second input space 350, the sensor control unit activates the second sensor while the first sensor is activated. It can be operated in stand-by mode. The sensor controller according to another embodiment may operate the first sensor in the standby mode while the second sensor is activated when the input object 310 is detected in the transition space 340. Here, the standby mode of the sensor is an operation mode distinct from the deactivation mode, and may include, for example, a low-power operation mode having a shorter time required to activate the corresponding sensor. For this reason, the proximity motion recognition apparatus according to an embodiment may provide a technique for reducing power consumption and at the same time improve a sensing reaction speed.

도 4는 일 실시예에 따른 근접 동작 인식 장치가 제공하는 근접 동작 인터페이스를 설명하기 위한 도면이다. 도 4를 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 근접 동작 인터페이스를 제공하는 디스플레이를 더 포함한다. 여기서, 기준면(440)은 디스플레이 위에 위치될 수 있다. 보다 구체적으로, 근접 동작 인식 장치는 입력되는 입력 객체가 기준면(440)과 근접한 정도에 따라 해당 입력 객체에 의해 포인팅 되는 영역의 크기가 변경되도록 근접 동작 인터페이스를 제어할 수 있다. 예를 들어, 근접 동작 인식 장치는 제2 입력 공간(460)에서 입력 객체(410)가 입력하는 경우, 제2 센서를 이용하여 입력 객체(410)의 x좌표 및 y좌표를 획득할 수 있다. 근접 동작 인식 장치는 획득된 x좌표 및 y좌표를 이용하여 입력 객체(410)에 의해 포인팅되는 영역(415)을 미리 정해진 크기로 표시할 수 있다.4 is a diagram for describing a proximity operation interface provided by a proximity motion recognition apparatus according to an embodiment. Referring to FIG. 4, an apparatus for recognizing a proximity motion according to an embodiment further includes a display providing a proximity motion interface. Here, the reference surface 440 may be positioned on the display. More specifically, the proximity motion recognition apparatus may control the proximity motion interface such that the size of the area pointed by the input object is changed according to the degree to which the input object is close to the reference surface 440. For example, when the input object 410 is input in the second input space 460, the proximity motion recognition apparatus may acquire the x and y coordinates of the input object 410 using the second sensor. The proximity motion recognition apparatus may display the area 415 pointed by the input object 410 in a predetermined size using the obtained x-coordinates and y-coordinates.

나아가, 근접 동작 인식 장치는 제1 입력 공간(450)에서 입력 객체(420)가 입력하는 경우, 제1 센서를 이용하여 입력 객체(420)의 x좌표, y좌표 및 z좌표를 획득할 수 있다. 이 경우, 근접 동작 인식 장치는 획득된 x좌표 및 y좌표를 이용하여 입력 객체(420)에 의해 포인팅되는 영역(425)의 크기를 변경시킬 수 있다. 이 때, 근접 동작 인식 장치는 해당 영역(425)의 크기를 획득된 z좌표에 따라 변경되도록 제어할 수 있다. 예를 들어, 근접 동작 인식 장치는 획득된 z좌표에 기초하여 입력 객체(420)와 기준면(440) 사이의 근접 정도를 추출하고, 입력 객체(420)가 기준면(440)에 근접할수록 해당 영역(425)의 크기가 확대되도록 근접 동작 인터페이스를 제어할 수 있다. 따라서, 일 실시예에 따른 근접 동작 인식 장치는 입력 객체와 기준면 사이의 거리가 가까워짐에 따라 해당 입력 객체에 의해 포인팅되는 영역을 확대함으로써, 보다 세밀한 포인팅 동작을 입력 받을 수 있는 기술을 제공할 수 있다.Furthermore, when the input object 420 is input in the first input space 450, the proximity motion recognition apparatus may acquire the x-coordinate, y-coordinate, and z-coordinate of the input object 420 using the first sensor. . In this case, the proximity motion recognition apparatus may change the size of the area 425 pointed by the input object 420 using the obtained x-coordinates and y-coordinates. At this time, the proximity motion recognition apparatus may control the size of the corresponding area 425 to be changed according to the acquired z-coordinate. For example, the proximity motion recognition apparatus extracts a degree of proximity between the input object 420 and the reference surface 440 based on the obtained z-coordinate, and as the input object 420 approaches the reference surface 440, the corresponding area ( The proximity operation interface may be controlled to increase the size of 425). Therefore, the proximity motion recognition apparatus according to an embodiment may provide a technique capable of receiving a finer pointing motion by expanding an area pointed by the corresponding input object as the distance between the input object and the reference plane approaches. .

뿐만 아니라, 근접 동작 인식 장치는 입력 객체(430)와 기준면(440)이 서로 접촉되었는지 여부를 판단할 수 있다. 이 경우, 입력 객체(430)는 제1 입력 공간(450)에서 입력되고, 근접 동작 인식 장치는 제1 센서를 이용하여 입력 객체(430)의 x좌표, y좌표 및 z좌표를 획득할 수 있다. 근접 동작 인식 장치는 입력 객체(450)의 z좌표에 기초하여 입력 객체(430)와 기준면(440)이 서로 접촉되었는지 여부를 판단할 수 있다. 근접 동작 인식 장치는 입력 객체(430)와 기준면(440)이 서로 접촉되었다는 판단에 따라 입력 객체(430)에 의해 포인팅 되는 영역(435)이 선택되도록 근접 동작 인터페이스를 제어할 수 있다.In addition, the proximity motion recognition apparatus may determine whether the input object 430 and the reference surface 440 are in contact with each other. In this case, the input object 430 is input in the first input space 450, and the proximity motion recognition device may acquire the x coordinate, y coordinate, and z coordinate of the input object 430 using the first sensor. . The proximity motion recognition apparatus may determine whether the input object 430 and the reference surface 440 contact each other based on the z-coordinate of the input object 450. The proximity motion recognition apparatus may control the proximity motion interface such that the area 435 pointed by the input object 430 is selected according to the determination that the input object 430 and the reference surface 440 are in contact with each other.

이 때, 근접 동작 인터페이스는 적어도 하나의 아이콘을 포함할 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체와 기준면이 근접될수록 입력 객체에 의해 포인팅되는 아이콘이 확대되도록 근접 동작 인터페이스를 제어할 수 있다. 나아가, 근접 동작 인식 장치는 입력 객체가 기준면이 접촉되는 경우 해당 입력 객체에 의해 포인팅되는 아이콘이 선택되도록 근접 동작 인터페이스를 제어할 수 있다. 나아가, 근접 동작 인식 장치는 선택된 아이콘에 대응되는 기능을 수행할 수 있다. 예를 들어, 근접 동작 인식 장치는 입력 객체가 기준면에 접촉될 때 해당 입력 객체에 의해 포인팅되는 아이콘이 통화 아이콘인 경우, 통화 기능을 실행할 수 있다. 이로 인하여, 일 실시예에 따른 근접 동작 인식 장치는 기준면으로부터 근접한 공간에서 입력 동작을 용이하게 하는 유저 인터페이스 기술을 제공할 수 있다.At this time, the proximity operation interface may include at least one icon. In this case, the proximity motion recognition apparatus may control the proximity motion interface such that the icon pointing by the input object is enlarged as the input object and the reference plane are closer. Furthermore, the proximity motion recognition device may control the proximity motion interface such that when the reference object touches the reference plane, the icon pointed to by the corresponding input object is selected. Furthermore, the proximity motion recognition device may perform a function corresponding to the selected icon. For example, when the input object is in contact with the reference plane, the proximity gesture recognition apparatus may execute a call function when the icon pointed to by the input object is a call icon. Accordingly, the proximity motion recognition apparatus according to an embodiment may provide a user interface technology that facilitates an input motion in a space close to the reference plane.

다른 실시예에 따른 근접 동작 인식 장치는 제1 입력 공간을 센싱하는 제1 센서 및 제2 입력 공간을 센싱하는 제2 센서뿐 아니라, 기준면(440) 상에 입력되는 터치 입력을 센싱하는 일반적인 터치 센서를 더 포함할 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체(430)와 기준면(440)이 서로 접촉되었다는 판단에 따라 해당 터치 센서를 활성화시킬 수 있다.
The proximity motion recognition device according to another embodiment includes a first sensor sensing a first input space and a second sensor sensing a second input space, as well as a general touch sensor sensing a touch input input on the reference surface 440 It may further include. In this case, the proximity motion recognition apparatus may activate the corresponding touch sensor according to the determination that the input object 430 and the reference surface 440 are in contact with each other.

도 5는 일 실시예에 따른 근접 동작 인식 장치의 동작을 설명하기 위한 동작 흐름도이다. 도 5를 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 단계(510)에서 제1 센서와 제2 센서를 초기화할 수 있다. 여기서, 근접 동작 인식 장치는 미리 정해진 초기화 설정에 따라 제1 센서와 제2 센서를 활성화 모드(active mode)로 초기화할 수 있다.5 is an operation flowchart for describing an operation of the proximity motion recognition apparatus according to an embodiment. Referring to FIG. 5, the proximity motion recognition apparatus according to an embodiment may initialize the first sensor and the second sensor in operation 510. Here, the proximity motion recognition apparatus may initialize the first sensor and the second sensor to an active mode according to a predetermined initialization setting.

근접 동작 인식 장치는 단계(520)에서 입력 객체가 근접 거리에 있는지 여부를 판단할 수 있다. 예를 들어, 근접 동작 인식 장치는 제2 센서에 의해 센싱될 수 있는 제2 거리 이내에 입력 객체가 감지되는지 여부를 판단할 수 있다. 근접 동작 인식 장치는 단계(520)에서 입력 객체가 근접 거리에 있다고 판단하는 경우, 단계(530)에서 입력 객체가 일정 근접 거리 이내에 있는지 여부를 판단할 수 있다. 예를 들어, 근접 동작 인식 장치는 제2 거리 이내에 입력 객체가 감지되는 경우, 제1 센서에 의해 센싱될 수 있는 제1 거리 이내에 입력 객체가 감지되는지 여부를 판단할 수 있다.In step 520, the proximity motion recognition apparatus may determine whether the input object is at a close distance. For example, the proximity motion recognition apparatus may determine whether an input object is detected within a second distance that can be sensed by the second sensor. If it is determined in step 520 that the input object is within a proximity distance, the proximity motion recognition apparatus may determine whether the input object is within a certain proximity distance in step 530. For example, when the input object is detected within the second distance, the proximity motion recognition apparatus may determine whether the input object is detected within the first distance that can be sensed by the first sensor.

이 때, 근접 동작 인식 장치는 제2 거리 이내에서 입력 객체가 감지되고 제1 거리 이내에서도 입력 객체가 감지되는 경우, 단계(540)에서 제1 센서의 동작 모드를 활성화 모드로 유지하고 제2 센서의 동작 모드를 대기 모드로 전환시킬 수 있다. 이 경우, 입력 객체가 제1 입력 공간에서 센싱되는 경우인 바, 근접 동작 인식 장치는 단계(550)에서 센싱된 입력 객체의 x좌표 및 y좌표를 이용한 포인팅 동작 및 센싱된 입력 객체의 z좌표를 이용한 확대 동작이 수행되도록 인터페이스를 제어할 수 있다. In this case, when the input object is detected within the second distance and the input object is detected within the first distance, the proximity motion recognition device maintains the operation mode of the first sensor in the activated mode in step 540 and the second sensor The operation mode of can be switched to the standby mode. In this case, since the input object is sensed in the first input space, the proximity motion recognition device displays the pointing operation using the x and y coordinates of the input object sensed in step 550 and the z coordinate of the sensed input object. The interface can be controlled to perform the enlargement operation.

반면, 근접 동작 인식 장치는 제2 거리 이내에서 입력 객체가 감지되나 제1 거리 이내에서는 입력 객체가 감지되지 않는 경우, 단계(560)에서 제2 센서의 동작 모드를 활성화 모드로 유지하고 제1 센서의 동작 모드를 대기 모드로 전환시킬 수 있다. 이 경우, 입력 객체가 제2 입력 공간에서 센싱되는 경우인 바, 근접 동작 인식 장치는 단계(570)에서 센싱된 입력 객체의 x좌표 및 y좌표를 이용한 포인팅 동작 이 수행되도록 인터페이스를 제어할 수 있다. 단계(550) 및 단계(570)에는 도 4를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.On the other hand, when the proximity object recognition apparatus detects an input object within a second distance, but an input object is not detected within a first distance, in step 560, the operation mode of the second sensor is maintained as an active mode and the first sensor The operation mode of can be switched to the standby mode. In this case, since the input object is sensed in the second input space, the proximity motion recognition apparatus may control the interface to perform a pointing operation using the x and y coordinates of the input object sensed in step 570. . Since the items described through FIG. 4 may be applied to steps 550 and 570 as they are, detailed descriptions thereof will be omitted.

또한, 근접 동작 인식 장치는 단계(580)에서 수신된 입력에 대응되는 어플리케이션 유저 인터페이스(application user interface)를 실행할 수 있다. 예를 들어, 근접 동작 인식 장치는 선택된 아이콘을 활성화하거나, 2차원 인터페이스와 3차원 인터페이스 사이를 전환하는 동작을 수행할 수 있다.
In addition, the proximity gesture recognition apparatus may execute an application user interface corresponding to the input received in step 580. For example, the proximity motion recognition apparatus may perform an operation of activating a selected icon or switching between a 2D interface and a 3D interface.

도 6a 내지 도 6b는 일 실시예에 따른 근접 동작 인식 장치의 아이콘 자동 배치 동작을 설명하기 위한 도면이다. 도 6a를 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 입력 객체에 의해 포인팅되는 지점 주변으로 미리 정해진 적어도 하나의 아이콘이 배치되도록 근접 동작 인터페이스를 제어할 수 있다. 보다 구체적으로, 근접 동작 인식 장치는 기준면(610)으로부터 일정거리(622) 이상 떨어진 제2 입력 공간에서 입력 객체(620)가 입력되는 경우, 제2 센서의 출력 신호에 기초하여 입력 객체(620)에 의해 포인팅되는 지점(621)을 획득할 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체(620)에 의해 포인팅되는 지점(621) 주변으로 복수의 아이콘들(623)이 배치되는 인터페이스를 제공할 수 있다.6A to 6B are diagrams for explaining an icon automatic arrangement operation of a proximity motion recognition apparatus according to an embodiment. Referring to FIG. 6A, the proximity motion recognition apparatus according to an embodiment may control the proximity motion interface such that at least one predetermined icon is disposed around a point pointed by the input object. More specifically, when the input object 620 is input in the second input space that is more than a predetermined distance 622 away from the reference plane 610, the proximity motion recognition apparatus, the input object 620 based on the output signal of the second sensor It is possible to obtain the point 621 pointed by. In this case, the proximity motion recognition apparatus may provide an interface in which a plurality of icons 623 are disposed around the point 621 pointed by the input object 620.

나아가, 근접 동작 인식 장치는 제1 입력 공간에서 입력 객체(630)가 입력되는 경우, 제1 센서의 출력 신호에 기초하여 입력 객체(630)의 끝점과 축을 추출할 수 있다. 예를 들어, 도 7을 참조하면, 근접 동작 인식 장치는 입력 객체(720)를 센싱한 이미지(730)로부터 끝점(740)과 축(750)을 추출할 수 있다. 여기서, 끝점(740)과 축(750)은 모두 기준면(710) 상에 위치될 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체(630)에 의하여 디스플레이가 가려지는 영역 주변으로 복수의 아이콘들(633)이 배치되는 인터페이스를 제공할 수 있다. 예를 들어, 도 7을 참조하면, 근접 동작 인식 장치는 끝점(740)으로부터 축(750)과 반대 방향의 부채꼴 형태(760)로 복수의 아이콘들이 배치되도록 근접 동작 인터페이스를 제어할 수 있다.Furthermore, when the input object 630 is input in the first input space, the proximity motion recognition apparatus may extract the end point and the axis of the input object 630 based on the output signal of the first sensor. For example, referring to FIG. 7, the proximity motion recognition apparatus may extract the endpoint 740 and the axis 750 from the image 730 sensing the input object 720. Here, both the end point 740 and the axis 750 may be located on the reference surface 710. In this case, the proximity motion recognition apparatus may provide an interface in which a plurality of icons 633 are disposed around an area covered by the display by the input object 630. For example, referring to FIG. 7, the proximity motion recognition apparatus may control the proximity motion interface such that a plurality of icons are disposed in a fan shape 760 opposite to the axis 750 from the end point 740.

뿐만 아니라, 근접 동작 인식 장치는 제1 입력 공간에서 입력 객체(630)가 입력되는 경우, 입력 객체(630)와 기준면(610) 사이의 근접 정도(632)에 따라 미리 정해진 적어도 하나의 아이콘의 크기가 변경되도록 근접 동작 인터페이스를 제어할 수 있다. 이러한 동작에는 도 4를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
In addition, when the input object 630 is input in the first input space, the proximity motion recognition apparatus determines the size of at least one icon predetermined according to the proximity 632 between the input object 630 and the reference plane 610. The proximity operation interface can be controlled so that is changed. Since the items described through FIG. 4 may be applied to such an operation, a more detailed description is omitted.

도 6b를 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 도 6a에서의 입력 객체와 거울상 대칭인 입력 객체가 입력하는 경우에도 동일하게 동작할 수 있다. 보다 구체적으로, 근접 동작 인식 장치는 제2 입력 공간에서 입력 객체(640)가 입력되는 경우, 제2 센서의 출력 신호에 기초하여 입력 객체(640)에 의해 포인팅되는 지점(641)을 획득할 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체(640)에 의해 포인팅되는 지점(641) 주변으로 복수의 아이콘들(642)이 배치되는 인터페이스를 제공할 수 있다.Referring to FIG. 6B, the proximity motion recognition apparatus according to an embodiment may operate in the same manner when an input object mirrored with the input object in FIG. 6A is input. More specifically, when the input object 640 is input in the second input space, the proximity motion recognition apparatus may acquire a point 641 pointed by the input object 640 based on the output signal of the second sensor. have. In this case, the proximity motion recognition apparatus may provide an interface in which a plurality of icons 642 are disposed around the point 641 pointed by the input object 640.

나아가, 근접 동작 인식 장치는 제1 입력 공간에서 입력 객체(650)가 입력되는 경우, 제1 센서의 출력 신호에 기초하여 입력 객체(650)의 끝점과 축을 추출할 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체(650)에 의하여 디스플레이가 가려지는 영역 주변으로 복수의 아이콘들(651)이 배치되는 인터페이스를 제공할 수 있다. 따라서, 일 실시예에 따른 근접 동작 인식 장치는 입력 객체가 기준면으로부터 일정거리 이상 떨어져 있는 경우 해당 입력 객체로 인하여 디스플레이가 가려질 염려가 없으므로, 해당 입력 객체의 축 방향과 무관하게 해당 입력 객체에 의해 포인팅되는 지점 주변으로 복수의 아이콘들을 배치할 수 있다. 반면, 근접 동작 인식 장치는 입력 객체가 기준면으로부터 근접해 있는 경우 해당 입력 객체로 인하여 디스플레이가 가려질 가능성이 크므로, 해당 입력 객체의 축 방향을 고려하여 디스플레이가 가려지는 영역 주변으로 복수의 아이콘들을 배치할 수 있다.
Furthermore, when the input object 650 is input in the first input space, the proximity motion recognition apparatus may extract the end point and the axis of the input object 650 based on the output signal of the first sensor. In this case, the proximity motion recognition apparatus may provide an interface in which a plurality of icons 651 are disposed around an area covered by the display by the input object 650. Therefore, in the proximity motion recognition apparatus according to an embodiment, when the input object is more than a certain distance from the reference plane, there is no fear of the display being obscured by the corresponding input object, and the input object is recognized by the input object regardless of the axial direction of the input object A plurality of icons may be arranged around the point to be pointed. On the other hand, since the proximity motion recognition apparatus has a high possibility that the display is obscured by the input object when the input object is close to the reference plane, the plurality of icons are arranged around the area where the display is blocked in consideration of the axis direction of the input object. can do.

도 8a 내지 도 8b는 일 실시예에 따른 근접 동작 인식 장치의 아이콘 자동 배치 동작을 위한 신호 처리 방법을 설명하기 위한 도면이다. 도 8a를 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 단계(811)에서 입력 객체를 감지한다. 근접 동작 인식 장치는 단계(812)에서 감지된 입력 객체의 끝점과 축을 추출하기 위한 신호 처리를 수행한다. 근접 동작 인식 장치는 단계(813)에서 신호 처리 결과에 기초하여 입력 객체의 끝점과 축을 추출한다. 단계(811) 내지 단계(813)과 관련된 보다 상세한 설명은 도 8b를 참조하여 후술한다. 근접 동작 인식 장치는 단계(814)에서 추출된 끝점, 축 및 입력 객체와 기준면 사이의 근접 거리에 기초하여 미리 정해진 적어도 하나의 아이콘을 배치한다.8A to 8B are diagrams for explaining a signal processing method for automatic arrangement of an icon of a proximity motion recognition apparatus according to an embodiment. 8A, the proximity motion recognition apparatus according to an embodiment detects an input object in operation 811. The proximity motion recognition apparatus performs signal processing for extracting the end point and the axis of the input object detected in step 812. In step 813, the proximity motion recognition apparatus extracts the endpoint and the axis of the input object based on the signal processing result. More detailed descriptions related to steps 811 to 813 will be described later with reference to FIG. 8B. The proximity motion recognition device arranges at least one predetermined icon based on the end point, the axis extracted in step 814, and the proximity distance between the input object and the reference plane.

도 8b를 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 입력 객체의 이미지 센싱(820), 객체를 제외한 배경화면을 제거하기 위한 서브트랙션(830), 객체 외곽선을 나타내기 위한 고주파 통과 필터링(840), 외곽선을 선명하게 하기 위한 증폭(850), 객체 외의 이상치(outlier)를 제거하기 위한 스레시홀딩(860), 손끝 지점을 찾기 위한 최고점 탐색(870) 및 결과 출력(880)을 수행함으로써, 입력 객체의 끝점 및 축을 추출할 수 있다.Referring to FIG. 8B, an apparatus for recognizing a proximity motion according to an embodiment includes image sensing 820 of an input object, subtraction 830 for removing a background screen excluding an object, and high-pass filtering for displaying an object outline ( 840), by performing amplification (850) to sharpen the outline, threshold holding (860) to remove outliers outside the object, peak search (870) to find the fingertip point, and outputting the result (880) , You can extract the endpoint and axis of the input object.

보다 구체적으로, 근접 동작 인식 장치는 이미지 센싱(820)을 통하여 입력 영상을 획득할 수 있다. 예를 들어, 근접 동작 인식 장치는 입력 영상으로 입력 객체를 촬영한 깊이 영상을 획득할 수 있다. 근접 인식 동작 장치는 서브트랙션(830)을 통하여 입력 영상에서 객체(831)를 추출할 수 있다. 예를 들어, 근접 동작 인식 장치는 깊이 영상에서 객체와 배경을 구분함으로써, 깊이 영상으로부터 객체에 해당하는 부분을 추출할 수 있다. 깊이 영상에서 객체와 배경을 구분하는 방법은 다양하게 구현될 수 있다. 일 예로, 근접 동작 인식 장치는 객체와 배경을 구분하는 임계 깊이를 이용하여, 임계 깊이 이하 깊이의 픽셀은 객체로 분류하고 임계 깊이보다 큰 깊이의 픽셀은 배경으로 분류할 수 있다.More specifically, the proximity motion recognition apparatus may acquire an input image through the image sensing 820. For example, the proximity motion recognition apparatus may acquire a depth image of an input object captured as an input image. The proximity recognition operation device may extract the object 831 from the input image through the subtraction 830. For example, the proximity motion recognition apparatus may extract a part corresponding to the object from the depth image by distinguishing the object and the background from the depth image. The method of distinguishing the object from the background in the depth image may be implemented in various ways. For example, the proximity motion recognition apparatus may classify a pixel having a depth below the critical depth as an object, and a pixel having a depth greater than the critical depth as a background, using a threshold depth that separates the object from the background.

근접 동작 인식 장치는 고주파 통과 필터링(840)을 통하여 객체 외곽선(841)을 획득할 수 있다. 예를 들어, 근접 동작 인식 장치는 주변 픽셀들에 비하여 깊이 변화가 급격해지는 픽셀들을 추출할 수 있다. 객체와 배경 사이의 경계에서 깊이 변화가 급격해지므로, 고주파 통과 필터링(840)에 의하여 객체 외곽선이 도출될 수 있다. 고주파 통과 필터링(840)에 의하여 도출된 객체 외곽선은 다섯 손가락들의 외곽선들을 포함할 수 있다. 근접 동작 인식 장치는 증폭(850)을 통하여 객체 외곽선을 선명하게 할 수 있다. 예를 들어, 근접 동작 인식 장치는 객체 외곽선 안쪽에 포함되는 픽셀들의 값을 증폭할 수 있다. 입력 영상이 깊이 영상인 경우, 깊이 영상 픽셀들의 깊이들이 증폭될 수 있다. 이하, 도 8b에서 밝은 색으로 표현되는 픽셀의 깊이는 어두운 색으로 표현되는 픽셀의 깊이보다 작다. 일 예로, 밝은 색으로 표현되는 영역(851)에 포함된 픽셀의 깊이는 어두운 색으로 표현되는 영역(852)에 포함된 픽셀의 깊이보다 작다.The proximity motion recognition apparatus may acquire the object outline 841 through the high-pass filtering 840. For example, the proximity motion recognition apparatus may extract pixels in which a depth change is sharply compared to surrounding pixels. Since the depth change rapidly increases at the boundary between the object and the background, the object outline may be derived by the high-pass filtering 840. The object outline derived by the high-pass filtering 840 may include outlines of five fingers. The proximity motion recognition device may sharpen the object outline through the amplification 850. For example, the proximity motion recognition apparatus may amplify the values of pixels included inside the object outline. When the input image is a depth image, depths of the depth image pixels may be amplified. Hereinafter, the depth of the pixel represented by the light color in FIG. 8B is smaller than the depth of the pixel represented by the dark color. For example, the depth of the pixel included in the region 851 represented by a light color is smaller than the depth of the pixel included in the region 852 represented by a dark color.

근접 동작 인식 장치는 스레시홀딩(860)을 통하여 객체 외의 이상치를 제거할 수 있다. 예를 들어, 근접 동작 인식 장치는 주어진 깊이 영상 픽셀들 중 깊이가 임계 깊이보다 큰 픽셀들을 제거할 수 있다. 근접 동작 인식 장치는 최고점 탐색(870)을 통하여 손끝 지점을 찾을 수 있다. 근접 동작 인식 장치는 다섯 손가락들 각각에 대하여, 손가락을 둘러싸는 직사각형 모델(871)을 생성할 수 있다. 여기서, 직사각형 모델(871)은 높이 h, 너비 w를 가진다. 근접 동작 인식 장치는 직사각형 모델(871)의 한쪽 끝 영역에서 최고점, 다시 말해 깊이가 가장 작은 픽셀을 탐색할 수 있다. 근접 동작 인식 장치는 직사각형 모델의 한쪽 끝에 위치하고 네 변의 길이가 h인 정사각형 영역(872) 내에서 가장 작은 깊이의 픽셀(873)을 탐색할 수 있다. 탐색된 픽셀(873)은 입력 객체의 끝점이 된다. 또한, 끝점을 기준으로 직사각형 모델의 너비 방향으로 이어지는 선분이 입력 객체의 축이 된다. 근접 동작 인식 장치는 결과 출력(880)을 통하여 적어도 하나의 (입력 객체의 끝점, 입력 객체의 축) 페어를 출력할 수 있다. 예를 들어, 근접 동작 인식 장치는 다섯 손가락들 각각에 대한 (끝점, 축) 페어들을 출력할 수 있다.
The proximity gesture recognition apparatus may remove outliers other than the object through the threshold holding 860. For example, the proximity motion recognition apparatus may remove pixels having a depth greater than a critical depth among the given depth image pixels. The proximity gesture recognition device may find the fingertip point through the peak search 870. The proximity gesture recognition apparatus may generate, for each of the five fingers, a rectangular model 871 surrounding the finger. Here, the rectangular model 871 has a height h and a width w. The proximity motion recognition apparatus may search for a pixel having the smallest depth, that is, the highest point in one end region of the rectangular model 871. The proximity motion recognition apparatus may search for a pixel 873 having the smallest depth in the square region 872 located at one end of the rectangular model and having h lengths of four sides. The searched pixel 873 becomes the end point of the input object. In addition, a line segment extending in the width direction of the rectangular model based on the end point becomes the axis of the input object. The proximity motion recognition device may output at least one pair (end point of input object, axis of input object) through the result output 880. For example, the proximity motion recognition apparatus may output pairs (end points, axes) for each of the five fingers.

도 9a 내지 도 10은 일 실시예에 따른 복수의 입력 객체들이 감지되는 경우 근접 동작 인식 장치의 동작을 설명하기 위한 도면이다. 도면에 표시하지 않았으나, 일 실시예에 따른 근접 동작 인식 장치는 복수 입력 감지부 및 입력 선택부를 더 포함할 수 있다. 복수 입력 감지부는 제1 센서의 출력 신호 또는 제2 센서의 출력 신호 중 적어도 하나에 기초하여 복수의 입력 객체들이 감지되는지 여부를 판단할 수 있다. 또한, 입력 선택부는 복수 입력 감지부에 의해 복수의 입력 객체들이 감지된다고 판단되는 경우, 미리 정해진 모드에 따라 복수의 입력 객체들 중 적어도 하나의 입력 객체를 선택할 수 있다.9A to 10 are diagrams illustrating an operation of a proximity motion recognition apparatus when a plurality of input objects are sensed according to an embodiment. Although not shown in the drawings, the proximity motion recognition apparatus according to an embodiment may further include a plurality of input detection units and an input selection unit. The plurality of input detection units may determine whether a plurality of input objects are detected based on at least one of the output signal of the first sensor or the output signal of the second sensor. Also, when it is determined that the plurality of input objects are sensed by the plurality of input detection units, the input selection unit may select at least one input object among the plurality of input objects according to a predetermined mode.

예를 들어, 도 9a를 참조하면, 근접 동작 인식 장치는 복수의 입력들을 수용하는 모드로 동작할 수 있다. 이 경우, 근접 동작 인식 장치는 제1 입력 객체(920)와 제2 입력 객체(930)에 의해 입력되는 복수의 입력들을 모두 처리할 수 있다. 보다 구체적으로, 근접 동작 인식 장치는 기준면(910)으로부터 일정거리 이상 떨어진 제1 입력 객체(920)가 포인팅하는 지점(921) 주변으로 제1 아이콘들(922)을 배치할 수 있다. 이와 동시에, 근접 동작 인식 장치는 기준면(910)과 근접한 제2 입력 객체(930)가 포인팅하는 지점(931) 주변이 아닌 제2 입력 객체(930)에 의하여 가려지는 영역 주변으로 제2 아이콘들(932)을 배치할 수 있다.For example, referring to FIG. 9A, the proximity motion recognition apparatus may operate in a mode that accommodates a plurality of inputs. In this case, the proximity motion recognition apparatus may process all of a plurality of inputs input by the first input object 920 and the second input object 930. More specifically, the proximity motion recognition apparatus may arrange the first icons 922 around the point 921 of the first input object 920 pointing away from the reference plane 910 by a predetermined distance or more. At the same time, the apparatus for recognizing the proximity motion may include the second icons () around the area obscured by the second input object 930 rather than around the point 931 pointed by the second input object 930 adjacent to the reference plane 910. 932).

또한, 도 9b를 참조하면, 다른 실시예에 따른 근접 동작 인식 장치는 기준면과 가장 근접한 입력 객체를 선택하는 모드로 동작할 수 있다. 이 경우, 근접 동작 인식 장치는 기준면(910)으로부터 상대적으로 멀리 떨어진 제1 입력 객체(940)가 포인팅하는 지점(941) 주변으로는 아이콘들을 배치하지 않을 수 있다. 근접 동작 인식 장치는 기준면(910)으로부터 가장 가까운 제2 입력 객체(950)를 선택하고, 제2 입력 객체(950)에 의하여 가려지는 영역 주변으로 미리 정해진 아이콘들(952)을 배치할 수 있다. 경우에 따라 기준면(910)으로부터 가장 가까운 입력 객체(950)가 기준면(910)으로부터 일정거리 이상 떨어진 상황이 발생할 수 있다. 이 경우, 근접 동작 인식 장치는 입력 객체(950)에 의해 포인팅되는 지점(951) 주변으로 미리 정해진 아이콘들을 배치할 수 있다.Also, referring to FIG. 9B, a proximity motion recognition apparatus according to another embodiment may operate in a mode of selecting an input object closest to a reference plane. In this case, the proximity motion recognition apparatus may not arrange icons around the point 941 pointed by the first input object 940 that is relatively far from the reference plane 910. The proximity motion recognition apparatus may select the second input object 950 closest to the reference plane 910 and may place predetermined icons 952 around an area obscured by the second input object 950. In some cases, a situation in which the input object 950 closest to the reference plane 910 is separated from the reference plane 910 by a predetermined distance or more may occur. In this case, the proximity motion recognition device may place predetermined icons around the point 951 pointed by the input object 950.

또한, 도 9c를 참조하면, 또 다른 실시예에 따른 근접 동작 인식 장치는 입력 객체에 의해 포인팅되는 위치가 기준면 위의 미리 지정된 위치로부터 가장 근접한 입력 객체를 선택하는 모드로 동작할 수 있다. 예를 들어, 근접 동작 인식 장치는 기준면(910)의 정중앙(980)으로부터 가장 근접한 위치를 포인팅하는 입력 객체를 선택할 수 있다. 제1 입력 객체(960)는 기준면의 정중앙(980)으로부터 거리(962)만큼 떨어진 위치(961)를 포인팅하고 있고, 제2 입력 객체(970)는 기준면의 정중앙(980)으로부터 거리(972)만큼 떨어진 위치(971)을 포인팅하고 있는 경우를 가정하자. 이 경우, 근접 동작 인식 장치는 기준면의 정중앙(980)으로부터 더 가까운 위치(971)을 포인팅하고 있는 제2 입력 객체(970)를 선택할 수 있다. 나아가, 근접 동작 인식 장치는 선택된 제2 입력 객체(970)와 기준면(910) 사이의 근접 정도에 따라 미리 정해진 적어도 하나의 아이콘(973)을 배치할 수 있다.
In addition, referring to FIG. 9C, the proximity motion recognition apparatus according to another embodiment may operate in a mode in which a position pointed by an input object is selected from the pre-specified position on the reference surface, the closest input object. For example, the proximity motion recognition apparatus may select an input object pointing the closest position from the center 980 of the reference plane 910. The first input object 960 is pointing a position 961 that is a distance 962 from the center 980 of the reference plane, and the second input object 970 is a distance 972 from the center 980 of the reference plane. Suppose that you are pointing the remote location 971. In this case, the proximity motion recognition apparatus may select the second input object 970 pointing the position 971 closer to the center of the reference plane 980. Furthermore, the proximity motion recognition apparatus may arrange at least one icon 973 predetermined according to the proximity between the selected second input object 970 and the reference surface 910.

도 10을 참조하면, 일 실시예에 따른 근접 동작 인식 장치는 단계(1010)에서 복수의 입력 객체들을 감지한다. 근접 동작 인식 장치는 단계(1020)에서 미리 정해진 모드에 따라 적어도 하나의 입력 객체를 선택한다. 근접 동작 인식 장치는 단계(1030)에서 선택된 입력 객체의 끝점과 축을 추출하기 위하여 신호 처리를 수행한다. 근접 동작 인식 장치는 단계(1040)에서 신호 처리 결과에 기초하여 선택된 입력 객체의 끝점과 축을 추출한다. 근접 동작 인식 장치는 단계(1050)에서 추출된 끝점, 축, 선택된 입력 객체와 기준면 사이의 거리 및 기준면 상 특정 위치와의 거리 등에 기초하여 미리 정해진 적어도 하나의 아이콘을 배치한다. 도 10의 각 모듈들에는 도 1 내지 도 9를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
Referring to FIG. 10, the apparatus for recognizing proximity motion according to an embodiment detects a plurality of input objects in operation 1010. In step 1020, the proximity gesture recognition apparatus selects at least one input object according to a predetermined mode. The proximity motion recognition apparatus performs signal processing to extract the end point and the axis of the input object selected in step 1030. The proximity motion recognition apparatus extracts the endpoint and the axis of the selected input object based on the signal processing result in step 1040. The proximity motion recognition apparatus arranges at least one predetermined icon based on the end point, the axis extracted in step 1050, the distance between the selected input object and the reference plane, and the distance to a specific location on the reference plane. Since the modules described with reference to FIGS. 1 to 9 may be applied to each module of FIG. 10, a more detailed description is omitted.

도 11은 일 실시예에 따른 입력 패턴을 인식하는 근접 동작 인식 장치를 나타낸 블록도이다. 도 11을 참조하면, 일 실시예에 따른 근접 동작 인식 장치(1100)는 센서(1110), 입력 패턴 인식부(1120), 기능 실행부(1130) 및 디스플레이(1140)를 포함한다. 이 때, 센서(1110)는 제1 센서와 제2 센서를 포함할 수 있고, 입력 패턴 인식부(1120)는 제1 센서의 출력 신호 또는 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 패턴을 인식할 수 있다. 여기서, 입력 패턴 인식부(1120)는 입력 객체의 움직임을 추척함으로써, 근접 동작 포인트 수의 변화, 근접 움직임의 방향 및 근접 좌표 변화 등을 감지할 수 있다. 기능 실행부(1130)는 입력 패턴 인식부(1120)에 의해 인식된 입력 패턴에 대응되는 기능을 실행할 수 있다. 여기서, 기능 실행부(1130)는 현재 동작 중인 어플리케이션의 종류에 따라 입력 패턴에 대응되는 기능을 다르게 결정할 수 있다. 예를 들어, 근접 동작 인식 장치는 동일한 입력 패턴이 입력되더라도 현재 동작 중인 어플리케이션의 종류에 따라 서로 다른 기능을 실행할 수 있다.11 is a block diagram illustrating a proximity motion recognition apparatus for recognizing an input pattern according to an embodiment. Referring to FIG. 11, the proximity motion recognition device 1100 according to an embodiment includes a sensor 1110, an input pattern recognition unit 1120, a function execution unit 1130, and a display 1140. At this time, the sensor 1110 may include a first sensor and a second sensor, and the input pattern recognition unit 1120 may input patterns based on at least one of an output signal of the first sensor or an output signal of the second sensor. Can recognize. Here, the input pattern recognition unit 1120 may detect a change in the number of proximity operation points, a change in the direction and proximity coordinates of the proximity motion by tracking the motion of the input object. The function execution unit 1130 may execute a function corresponding to the input pattern recognized by the input pattern recognition unit 1120. Here, the function execution unit 1130 may differently determine a function corresponding to the input pattern according to the type of the application currently being operated. For example, even if the same input pattern is input, the proximity motion recognition apparatus may execute different functions according to the type of the application currently being operated.

나아가, 입력 패턴 인식부(1120)는 제1 센서의 출력 신호 또는 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 속도 또는 각속도 중 적어도 하나를 계산할 수 있다. 예를 들어, 입력 패턴 인식부(1120)는 제1 센서의 출력 신호 또는 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 위치 변화를 추적할 수 있다. 이 경우, 입력 패턴 인식부(1120)는 입력 객체의 위치 변화 값을 이용하여 입력 객체의 속도 또는 각속도를 계산할 수 있다. 이 경우, 기능 실행부(1130)는 입력 패턴 인식부(1120)에 의해 계산된 입력 객체의 속도 또는 각속도에 기초하여 입력 패턴에 대응되는 기능을 검출할 수 있다. 예를 들어, 기능 실행부(1130)는 입력 패턴 인식부(1120)에 의해 계산된 입력 객체의 속도 또는 각속도를 트럼프를 섞는 속도, 돌림판의 회전 속도 등 다양한 유저 인터페이스에 필요한 정보로 활용할 수 있다. 또한, 근접 동작 인식 장치(1100)는 기능 실행부(1130)의 실행 결과를 디스플레이(1140)를 이용하여 출력할 수 있다.
Furthermore, the input pattern recognition unit 1120 may calculate at least one of the velocity or the angular velocity of the input object based on at least one of the output signal of the first sensor or the output signal of the second sensor. For example, the input pattern recognition unit 1120 may track the position change of the input object based on at least one of the output signal of the first sensor or the output signal of the second sensor. In this case, the input pattern recognition unit 1120 may calculate the velocity or angular velocity of the input object using the position change value of the input object. In this case, the function execution unit 1130 may detect a function corresponding to the input pattern based on the speed or angular velocity of the input object calculated by the input pattern recognition unit 1120. For example, the function execution unit 1130 may use the speed or angular velocity of the input object calculated by the input pattern recognition unit 1120 as information necessary for various user interfaces such as the speed of mixing the trumps and the rotational speed of the turning plate. Also, the proximity motion recognition device 1100 may output the execution result of the function execution unit 1130 using the display 1140.

도 12a 내지 도12b는 일 실시예에 따른 근접 동작 인식 장치의 2차원 인터페이스 및 3차원 인터페이스 변환 동작을 설명하기 위한 도면이다. 도면에 표시하지 않았으나, 일 실시예에 따른 근접 동작 인식 장치는 디스플레이, 계산부 및 제어부를 더 포함할 수 있다.12A to 12B are diagrams for describing a 2D interface and a 3D interface conversion operation of a proximity motion recognition apparatus according to an embodiment. Although not shown in the drawings, the proximity motion recognition apparatus according to an embodiment may further include a display, a calculation unit, and a control unit.

이 때, 디스플레이는 2차원 인터페이스 및 3차원 인터페이스를 제공할 수 있고, 계산부는 제1 센서의 출력 신호 또는 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 위치, 속도 또는 가속도 중 적어도 하나를 계산할 수 있다. 제어부는 계산부에 의한 계산 결과에 기초하여 디스플레이의 동작 모드를 제어할 수 있다. 예를 들어, 도 12a를 참조하면, 근접 동작 인식 장치는 기준면(1210)으로부터 미리 정해진 거리만큼 떨어진 공간에 입력되는 입력 객체를 감지할 수 있다. 근접 동작 인식 장치는 해당 공간에서 감지되는 입력 객체가 없는 경우, 2차원 인터페이스를 이용하여 복수의 아이콘들(1220)을 표시할 수 있다. 근접 동작 인식 장치는 해당 공간에 입력 객체(1240)가 감지되는 경우, 2차원 인터페이스를 3차원 인터페이스로 전환할 수 있다. 이 경우, 근접 동작 인식 장치는 3차원 인터페이스를 이용하여 복수의 아이콘들(1230)을 표시할 수 있다.At this time, the display may provide a two-dimensional interface and a three-dimensional interface, and the calculator calculates at least one of the position, velocity or acceleration of the input object based on at least one of the output signal of the first sensor or the output signal of the second sensor Can be calculated. The control unit may control the operation mode of the display based on the calculation result by the calculation unit. For example, referring to FIG. 12A, the proximity motion recognition apparatus may detect an input object input to a space spaced a predetermined distance from the reference surface 1210. When there is no input object detected in the corresponding space, the proximity motion recognition apparatus may display a plurality of icons 1220 using a 2D interface. When the input object 1240 is detected in the corresponding space, the proximity motion recognition apparatus may convert the 2D interface into a 3D interface. In this case, the proximity motion recognition apparatus may display a plurality of icons 1230 using a 3D interface.

도 12b를 참조하면, 다른 실시예에 따른 근접 동작 인식 장치는 기준면(1250)으로부터 미리 정해진 거리만큼 떨어진 공간에서 감지되는 입력 객체가 없는 경우, 3차원 인터페이스를 이용하여 복수의 아이콘들(1260)을 표시할 수 있다. 근접 동작 인식 장치는 해당 공간에 입력 객체(1280)가 감지되는 경우, 3차원 인터페이스를 2차원 인터페이스로 전환할 수 있다. 이 경우, 근접 동작 인식 장치는 2차원 인터페이스를 이용하여 복수의 아이콘들(1270)을 표시할 수 있다.
Referring to FIG. 12B, when a proximity motion recognition apparatus according to another embodiment does not have an input object sensed in a space separated by a predetermined distance from the reference surface 1250, a plurality of icons 1260 are used using a 3D interface. Can be displayed. When the input object 1280 is detected in the corresponding space, the proximity motion recognition apparatus may convert the 3D interface into a 2D interface. In this case, the proximity motion recognition apparatus may display a plurality of icons 1270 using a 2D interface.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded in the medium may be specially designed and configured for the embodiments or may be known and usable by those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. -Hardware devices specifically configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
As described above, although the embodiments have been described by a limited embodiment and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques are performed in a different order than the described method, and/or the components of the described system, structure, device, circuit, etc. are combined or combined in a different form from the described method, or other components Alternatively, even if replaced or substituted by equivalents, appropriate results can be achieved.

Claims (33)

센서들을 이용하는 근접 동작 인식 장치에 있어서,
기준면으로부터 벗어나면서 미리 정해진 거리보다 가까운 제1 입력 공간에서 입력 객체의 근접 동작을 인식하기 위하여, 상기 제1 입력 공간을 센싱하는 제1 센서;
상기 제1 센서와 연동하고, 상기 기준면으로부터 상기 미리 정해진 거리보다 먼 제2 입력 공간을 센싱하는 제2 센서-상기 제2 센서는 픽셀 당 시간에 따른 광량의 변화를 센싱함-; 및
상기 입력 객체가 상기 제1 입력 공간과 상기 제2 입력 공간 사이를 트랜지션하는 경우, 상기 제1 센서와 상기 제2 센서 사이에서 상기 트랜지션과 관련된 정보를 전달하는 정보 전달 제어부
를 포함하는 근접 동작 인식 장치.In the proximity motion recognition device using the sensor,
A first sensor sensing the first input space in order to recognize a proximity operation of an input object in a first input space that is closer than a predetermined distance while deviating from a reference plane;
A second sensor interlocking with the first sensor and sensing a second input space farther than the predetermined distance from the reference plane, wherein the second sensor senses a change in the amount of light with time per pixel; And
When the input object transitions between the first input space and the second input space, an information transfer control unit transferring information related to the transition between the first sensor and the second sensor
Proximity motion recognition device comprising a. 제1항에 있어서,
입력 객체와 상기 기준면 사이의 근접 정도를 측정하는 근접 정도 측정부; 및
상기 근접 정도에 따라 상기 제1 센서 및 상기 제2 센서를 택일적으로 활성화시키는 센서 제어부
를 더 포함하는 근접 동작 인식 장치.According to claim 1,
A proximity accuracy measuring unit measuring a proximity degree between the input object and the reference plane; And
A sensor control unit for selectively activating the first sensor and the second sensor according to the proximity
A proximity motion recognition device further comprising a. 제2항에 있어서,
상기 센서 제어부는
상기 근접 정도와 상기 미리 정해진 거리를 비교하는 근접 정도 비교부; 및
상기 비교 결과에 따라 상기 제1 센서의 동작 모드 및 상기 제2 센서의 동작 모드를 제어하는 동작 모드 제어부
를 포함하고,
상기 동작 모드는 활성화 모드, 비활성화 모드, 또는 대기 모드 중 적어도 하나를 포함하는 근접 동작 인식 장치.According to claim 2,
The sensor control unit
A proximity accuracy comparison unit comparing the proximity degree with the predetermined distance; And
An operation mode control unit controlling an operation mode of the first sensor and an operation mode of the second sensor according to the comparison result
Including,
The operation mode is a proximity motion recognition device including at least one of an activation mode, an inactive mode, or a standby mode. 제1항에 있어서,
상기 트랜지션과 관련된 정보는 적어도 상기 제1 입력 공간 또는 상기 제2 입력 공간에서 센싱되는 입력 객체의 x좌표 및 y좌표를 포함하는 근접 동작 인식 장치.According to claim 1,
The information related to the transition, at least the first input space or a proximity motion recognition apparatus including the x- and y-coordinates of the input object sensed in the second input space. 제1항에 있어서,
상기 제1 센서는 상기 제1 입력 공간에서 센싱되는 입력 객체의 x좌표, y좌표 및 z좌표를 포함하는 3차원 위치를 출력하고, 상기 제2 센서는 상기 제2 입력 공간에서 센싱되는 입력 객체의 x좌표 및 y좌표를 포함하는 2차원 위치를 출력하는 근접 동작 인식 장치.According to claim 1,
The first sensor outputs a three-dimensional position including an x-coordinate, a y-coordinate, and a z-coordinate of the input object sensed in the first input space, and the second sensor detects an input object sensed in the second input space. A proximity motion recognition device that outputs a two-dimensional position including x and y coordinates. 제1항에 있어서,
상기 제1 센서는 상기 제1 입력 공간에서 상기 입력 객체가 센싱되는 것과 상기 입력 객체에 의하여 상기 기준면이 터치되는 것을 구별하기 위한 터치 센서를 포함하는 근접 동작 인식 장치.According to claim 1,
The first sensor is a proximity motion recognition device including a touch sensor for distinguishing that the input object is sensed in the first input space and the reference surface is touched by the input object. 제1항에 있어서,
근접 동작 인터페이스를 표시하는 디스플레이; 및
상기 제1 입력 공간에서 제1 입력 객체가 입력되는 경우, 상기 제1 입력 객체와 상기 기준면 사이의 근접 정도에 따라 상기 제1 입력 객체에 의해 포인팅되는 영역의 크기가 변경되도록 상기 근접 동작 인터페이스를 제어하는 인터페이스 제어부
를 더 포함하는 근접 동작 인식 장치.According to claim 1,
A display displaying a proximity operation interface; And
When the first input object is input in the first input space, the proximity operation interface is controlled to change the size of the area pointed by the first input object according to the proximity between the first input object and the reference plane. Interface control unit
A proximity motion recognition device further comprising a. 제7항에 있어서,
상기 근접 동작 인터페이스는 적어도 하나의 아이콘을 포함하고,
상기 인터페이스 제어부는 상기 제1 입력 객체와 상기 기준면이 근접될수록 상기 제1 입력 객체에 의해 포인팅되는 아이콘의 크기가 커지도록 상기 근접 동작 인터페이스를 제어하고, 상기 제1 입력 객체가 상기 기준면에 접촉되는 경우 상기 제1 입력 객체에 의해 포인팅되는 아이콘이 선택되도록 상기 근접 동작 인터페이스를 제어하는 근접 동작 인식 장치.The method of claim 7,
The proximity operation interface includes at least one icon,
The interface control unit controls the proximity operation interface such that the size of the icon pointed to by the first input object increases as the first input object and the reference surface approach, and when the first input object contacts the reference surface A proximity motion recognition device that controls the proximity motion interface such that an icon pointed to by the first input object is selected. 제1항에 있어서,
근접 동작 인터페이스를 표시하는 디스플레이; 및
상기 제2 입력 공간에서 제2 입력 객체가 입력되는 경우, 상기 제2 입력 객체에 의해 포인팅되는 점 주변으로 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어하는 인터페이스 제어부
를 더 포함하는 근접 동작 인식 장치.According to claim 1,
A display displaying a proximity operation interface; And
When the second input object is input in the second input space, an interface controller that controls the proximity operation interface such that at least one icon is arranged around a point pointed by the second input object.
A proximity motion recognition device further comprising a. 제9항에 있어서,
상기 제1 입력 공간에서 제1 입력 객체가 입력되는 경우, 상기 제1 센서의 출력 신호에 기초하여 상기 제1 입력 객체의 끝점과 축을 추출하는 신호 처리부
를 더 포함하고,
상기 인터페이스 제어부는 상기 제1 입력 공간에서 상기 제1 입력 객체가 입력되는 경우, 상기 제1 입력 객체의 끝점과 축을 이용하여 상기 제1 입력 객체에 의하여 상기 디스플레이가 가려지는 영역 주변으로 상기 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어하는 근접 동작 인식 장치.The method of claim 9,
When a first input object is input in the first input space, a signal processing unit extracting an end point and an axis of the first input object based on the output signal of the first sensor
Further comprising,
When the first input object is input in the first input space, the interface control unit uses the end point and axis of the first input object to surround the area covered by the display by the first input object. A proximity motion recognition device that controls the proximity motion interface so that one icon is disposed. 제10항에 있어서,
상기 인터페이스 제어부는 상기 제1 입력 객체와 상기 기준면 사이의 근접 정도에 따라 상기 미리 정해진 적어도 하나의 아이콘의 크기가 변경되도록 상기 근접 동작 인터페이스를 제어하는 근접 동작 인식 장치.The method of claim 10,
The interface controller is a proximity motion recognition device that controls the proximity motion interface such that the size of the at least one icon is changed according to the proximity between the first input object and the reference plane. 제1항에 있어서,
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 복수의 입력 객체들이 감지되는지 여부를 판단하는 복수 입력 감지부; 및
상기 복수 입력 감지부에 의해 복수의 입력 객체들이 감지된다고 판단되는 경우, 미리 정해진 모드에 따라 상기 복수의 입력 객체들 중 적어도 하나의 입력 객체를 선택하는 입력 선택부
를 더 포함하는 근접 동작 인식 장치.According to claim 1,
A plurality of input detection units determining whether a plurality of input objects are detected based on at least one of the output signal of the first sensor or the output signal of the second sensor; And
When it is determined that a plurality of input objects are sensed by the plurality of input sensing units, an input selector selecting at least one input object among the plurality of input objects according to a predetermined mode.
A proximity motion recognition device further comprising a. 제12항에 있어서,
상기 미리 정해진 모드는 복수의 입력들을 수용하는 모드, 상기 기준면과 가장 근접한 입력 객체를 선택하는 모드 및 입력 객체에 의해 포인팅되는 위치가 상기 기준면 위의 미리 지정된 위치로부터 가장 근접한 입력 객체를 선택하는 모드를 포함하는 근접 동작 인식 장치.The method of claim 12,
The predetermined mode includes a mode for accepting a plurality of inputs, a mode for selecting an input object closest to the reference plane, and a mode for selecting an input object whose position pointed by the input object is the closest from a predetermined location on the reference plane. Proximity motion recognition device comprising a. 제12항에 있어서,
근접 동작 인터페이스를 표시하는 디스플레이; 및
상기 제1 입력 공간에서 상기 적어도 하나의 입력 객체가 감지되는 경우, 상기 제1 센서의 출력 신호에 기초하여 상기 적어도 하나의 입력 객체의 끝점과 축을 추출하는 신호 처리부; 및
상기 제2 입력 공간에서 적어도 하나의 입력 객체가 감지되는 경우 상기 적어도 하나의 입력 객체에 의해 포인팅되는 점 주변으로 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어하고, 상기 제1 입력 공간에서 상기 적어도 하나의 입력 객체가 감지되는 경우 상기 적어도 하나의 입력 객체의 끝점과 축을 이용하여 상기 적어도 하나의 입력 객체에 의하여 상기 디스플레이가 가려지는 영역 주변으로 상기 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어하는 인터페이스 제어부
를 더 포함하는 근접 동작 인식 장치.The method of claim 12,
A display displaying a proximity operation interface; And
A signal processor configured to extract an end point and an axis of the at least one input object based on an output signal of the first sensor when the at least one input object is sensed in the first input space; And
When at least one input object is detected in the second input space, the proximity operation interface is controlled so that at least one predetermined icon is disposed around a point pointed by the at least one input object, and the first input space is controlled. When the at least one input object is detected, the predetermined at least one icon is disposed around an area in which the display is blocked by the at least one input object using an endpoint and an axis of the at least one input object. Interface control unit for controlling the proximity operation interface
A proximity motion recognition device further comprising a. 제14항에 있어서,
상기 인터페이스 제어부는 상기 적어도 하나의 입력 객체와 상기 기준면 사이의 근접 정도에 따라 상기 미리 정해진 적어도 하나의 아이콘의 크기가 변경되도록 상기 근접 동작 인터페이스를 제어하는 근접 동작 인식 장치.The method of claim 14,
The interface controller is a proximity motion recognition device that controls the proximity motion interface such that the size of the at least one icon is changed according to the proximity between the at least one input object and the reference plane. 제1항에 있어서,
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 패턴을 인식하는 입력 패턴 인식부; 및
상기 입력 패턴에 대응되는 기능을 실행하는 기능 실행부
를 더 포함하는 근접 동작 인식 장치.According to claim 1,
An input pattern recognition unit recognizing an input pattern based on at least one of an output signal of the first sensor or an output signal of the second sensor; And
Function execution unit for executing a function corresponding to the input pattern
A proximity motion recognition device further comprising a. 제16항에 있어서,
상기 입력 패턴 인식부는
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 속도 또는 각속도 중 적어도 하나를 계산하는 계산부
를 포함하고,
상기 기능 실행부는
상기 계산 결과에 기초하여 상기 입력 패턴에 대응되는 기능을 검출하는 검출부
를 포함하는 근접 동작 인식 장치.The method of claim 16,
The input pattern recognition unit
Calculation unit for calculating at least one of the velocity or angular velocity of the input object based on at least one of the output signal of the first sensor or the output signal of the second sensor
Including,
The function execution unit
A detection unit that detects a function corresponding to the input pattern based on the calculation result
Proximity motion recognition device comprising a. 제1항에 있어서,
2차원 인터페이스 및 3차원 인터페이스를 제공하는 디스플레이;
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 위치, 속도, 또는 각속도 중 적어도 하나를 계산하는 계산부; 및
상기 계산 결과에 기초하여 상기 디스플레이의 동작 모드를 제어하는 디스플레이 제어부
를 더 포함하는 근접 동작 인식 장치.According to claim 1,
A display providing a 2D interface and a 3D interface;
A calculator configured to calculate at least one of the position, velocity, or angular velocity of the input object based on at least one of the output signal of the first sensor or the output signal of the second sensor; And
A display control unit controlling an operation mode of the display based on the calculation result
A proximity motion recognition device further comprising a. 센서들을 이용하는 근접 동작 인식 방법에 있어서,
기준면으로부터 벗어나면서 미리 정해진 거리보다 가까운 제1 입력 공간에서 입력 객체의 근접 동작을 인식하기 위하여, 상기 제1 입력 공간에 상기 입력 객체가 존재하는 경우 제1 센서를 이용하여 상기 제1 입력 공간을 센싱하는 단계;
상기 기준면으로부터 상기 미리 정해진 거리보다 먼 제2 입력 공간에 상기 입력 객체가 존재하는 경우, 상기 제1 센서와 연동하는 제2 센서를 이용하여 상기 제2 입력 공간을 센싱하는 단계-상기 제2 센서는 픽셀 당 시간에 따른 광량의 변화를 센싱함-; 및
상기 입력 객체가 상기 제1 입력 공간과 상기 제2 입력 공간 사이를 트랜지션하는 경우, 상기 제1 센서와 상기 제2 센서 사이에서 상기 트랜지션과 관련된 정보를 전달하는 단계
를 포함하는 근접 동작 인식 방법.In the proximity motion recognition method using the sensor,
In order to recognize a proximity operation of an input object in a first input space that is closer than a predetermined distance while deviating from a reference plane, when the input object exists in the first input space, the first input space is sensed using a first sensor. To do;
When the input object exists in a second input space farther than the predetermined distance from the reference plane, sensing the second input space using a second sensor interlocking with the first sensor-the second sensor Sensing the change in the amount of light with time per pixel-; And
When the input object transitions between the first input space and the second input space, transferring information related to the transition between the first sensor and the second sensor.
Proximity motion recognition method comprising a. 제19항에 있어서,
입력 객체와 상기 기준면 사이의 근접 정도를 측정하는 단계; 및
상기 근접 정도에 따라 상기 제1 센서 및 상기 제2 센서를 택일적으로 활성화시키는 단계
를 더 포함하는 근접 동작 인식 방법.The method of claim 19,
Measuring a degree of proximity between an input object and the reference plane; And
Alternatively activating the first sensor and the second sensor according to the proximity level
A proximity motion recognition method further comprising a. 제19항에 있어서,
상기 트랜지션과 관련된 정보는 적어도 상기 제1 입력 공간 또는 상기 제2 입력 공간에서 센싱되는 입력 객체의 x좌표 및 y좌표를 포함하는 근접 동작 인식 방법.The method of claim 19,
The transition-related information includes at least the first input space or the second input space sensed in the input object x-coordinate and y-coordinate of the proximity motion recognition method. 제19항에 있어서,
상기 제1 센서는 상기 제1 입력 공간에서 센싱되는 입력 객체의 x좌표, y좌표 및 z좌표를 포함하는 3차원 위치를 출력하고, 상기 제2 센서는 상기 제2 입력 공간에서 센싱되는 입력 객체의 x좌표 및 y좌표를 포함하는 2차원 위치를 출력하는 근접 동작 인식 방법.The method of claim 19,
The first sensor outputs a three-dimensional position including an x-coordinate, a y-coordinate, and a z-coordinate of the input object sensed in the first input space, and the second sensor detects an input object sensed in the second input space. A proximity motion recognition method for outputting a two-dimensional position including x-coordinates and y-coordinates. 제19항에 있어서,
상기 제1 센서는 상기 제1 입력 공간에서 상기 입력 객체가 센싱되는 것과 상기 입력 객체에 의하여 상기 기준면이 터치되는 것을 구별하기 위한 터치 센서를 포함하는 근접 동작 인식 방법.The method of claim 19,
The first sensor includes a touch sensor for distinguishing that the input object is sensed in the first input space and the reference surface is touched by the input object. 제19항에 있어서,
상기 제1 입력 공간에서 제1 입력 객체가 입력되는 경우, 상기 제1 입력 객체와 상기 기준면 사이의 근접 정도에 따라 상기 제1 입력 객체에 의해 포인팅되는 영역의 크기가 변경되도록 근접 동작 인터페이스를 제어하는 단계; 및
상기 근접 동작 인터페이스를 표시하는 단계
를 더 포함하는 근접 동작 인식 방법.The method of claim 19,
When the first input object is input in the first input space, the proximity operation interface is controlled to change the size of the area pointed by the first input object according to the proximity between the first input object and the reference plane. step; And
Displaying the proximity operation interface
A proximity motion recognition method further comprising a. 제24항에 있어서,
상기 근접 동작 인터페이스는 적어도 하나의 아이콘을 포함하고,
상기 제어하는 단계는
상기 제1 입력 객체와 상기 기준면이 근접될수록 상기 제1 입력 객체에 의해 포인팅되는 아이콘의 크기가 커지도록 상기 근접 동작 인터페이스를 제어하는 단계; 및
상기 제1 입력 객체가 상기 기준면에 접촉되는 경우 상기 제1 입력 객체에 의해 포인팅되는 아이콘이 선택되도록 상기 근접 동작 인터페이스를 제어하는 단계
를 포함하는 근접 동작 인식 방법.The method of claim 24,
The proximity operation interface includes at least one icon,
The controlling step
Controlling the proximity operation interface such that the size of the icon pointed to by the first input object increases as the first input object and the reference surface are closer; And
Controlling the proximity operation interface to select an icon pointed by the first input object when the first input object contacts the reference surface.
Proximity motion recognition method comprising a. 제19항에 있어서,
상기 제2 입력 공간에서 제2 입력 객체가 입력되는 경우, 상기 제2 입력 객체에 의해 포인팅되는 점 주변으로 미리 정해진 적어도 하나의 아이콘이 배치되도록 근접 동작 인터페이스를 제어하는 단계; 및
상기 근접 동작 인터페이스를 표시하는 단계
를 더 포함하는 근접 동작 인식 방법.The method of claim 19,
Controlling a proximity operation interface such that when a second input object is input in the second input space, at least one predetermined icon is disposed around a point pointed by the second input object; And
Displaying the proximity operation interface
A proximity motion recognition method further comprising a. 제26항에 있어서,
상기 제1 입력 공간에서 제1 입력 객체가 입력되는 경우, 상기 제1 센서의 출력 신호에 기초하여 상기 제1 입력 객체의 끝점과 축을 추출하는 단계
를 더 포함하고,
상기 제어하는 단계는
상기 제1 입력 공간에서 상기 제1 입력 객체가 입력되는 경우, 상기 제1 입력 객체의 끝점과 축을 이용하여 상기 제1 입력 객체에 의하여 디스플레이가 가려지는 영역 주변으로 상기 미리 정해진 적어도 하나의 아이콘이 배치되도록 상기 근접 동작 인터페이스를 제어하는 단계
를 포함하는 근접 동작 인식 방법.The method of claim 26,
Extracting an end point and an axis of the first input object based on an output signal of the first sensor when a first input object is input in the first input space
Further comprising,
The controlling step
When the first input object is input in the first input space, the predetermined at least one icon is disposed around an area covered by the display by the first input object using an endpoint and an axis of the first input object. Controlling the proximity operation interface as much as possible
Proximity motion recognition method comprising a. 제19항에 있어서,
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 복수의 입력 객체들이 감지되는지 여부를 판단하는 단계; 및
복수의 입력 객체들이 감지된다고 판단되는 경우, 미리 정해진 모드에 따라 상기 복수의 입력 객체들 중 적어도 하나의 입력 객체를 선택하는 단계
를 더 포함하는 근접 동작 인식 방법.The method of claim 19,
Determining whether a plurality of input objects are detected based on at least one of an output signal of the first sensor or an output signal of the second sensor; And
When it is determined that a plurality of input objects are detected, selecting at least one input object among the plurality of input objects according to a predetermined mode.
A proximity motion recognition method further comprising a. 제28항에 있어서,
상기 미리 정해진 모드는 복수의 입력들을 수용하는 모드, 상기 기준면과 가장 근접한 입력 객체를 선택하는 모드 및 입력 객체에 의해 포인팅되는 위치가 상기 기준면 위의 미리 지정된 위치로부터 가장 근접한 입력 객체를 선택하는 모드를 포함하는 근접 동작 인식 방법.The method of claim 28,
The predetermined mode includes a mode for accepting a plurality of inputs, a mode for selecting an input object closest to the reference plane, and a mode for selecting an input object whose position pointed by the input object is the closest from a predetermined location on the reference plane. Proximity gesture recognition method comprising. 제19항에 있어서,
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 속도 또는 각속도 중 적어도 하나를 계산하는 단계; 및
상기 계산 결과에 기초한 입력 패턴에 대응되는 기능을 실행하는 단계
를 더 포함하는 근접 동작 인식 방법.The method of claim 19,
Calculating at least one of a velocity or an angular velocity of the input object based on at least one of the output signal of the first sensor or the output signal of the second sensor; And
Executing a function corresponding to the input pattern based on the calculation result
A proximity motion recognition method further comprising a. 제19항에 있어서,
상기 제1 센서의 출력 신호 또는 상기 제2 센서의 출력 신호 중 적어도 하나에 기초하여 입력 객체의 위치, 속도, 또는 각속도 중 적어도 하나를 계산하는 단계;
상기 계산 결과에 기초하여 디스플레이의 동작 모드를 2차원 인터페이스 및 3차원 인터페이스 사이에서 전환하는 단계
를 더 포함하는 근접 동작 인식 방법.The method of claim 19,
Calculating at least one of a position, velocity, or angular velocity of an input object based on at least one of an output signal of the first sensor or an output signal of the second sensor;
Switching the operation mode of the display between the 2D interface and the 3D interface based on the calculation result
A proximity motion recognition method further comprising a. 센서들과 연동하는 유저 인터페이스 장치를 제어하는 제어 방법에 있어서,
상기 유저 인터페이스 장치의 터치 입력면으로부터 벗어난 제1 영역에서 입력을 센싱하는 제1 센서를 활성화하는 단계;
상기 터치 입력면으로부터 상기 제1 영역보다 먼 제2 영역에서 입력을 센싱하는 제2 센서-상기 제2 센서는 상기 제1 센서와 연동하고, 픽셀 당 시간에 따른 광량의 변화를 센싱함-를 활성화하는 단계;
상기 입력 객체가 상기 제1 영역과 상기 제2 영역 사이를 트랜지션 하는 경우, 상기 제1 센서와 상기 제2 센서 사이에서 상기 트랜지션과 관련된 정보를 전달하는 단계; 및
상기 제1 영역과 상기 제2 영역에서 감지된 입력의 위치(position) 및 움직임(movement) 중 적어도 하나에 기초하여 상기 유저 인터페이스 장치의 유저 인터페이스를 제1 방식(manner)과 제2 방식으로 선택적으로 제어하는 단계
를 포함하는 제어 방법.In the control method for controlling the user interface device interworking with the sensor,
Activating a first sensor for sensing input in a first area deviating from a touch input surface of the user interface device;
Activates a second sensor that senses input in a second area farther from the touch input surface than the first area, the second sensor interworking with the first sensor and sensing a change in the amount of light with time per pixel. To do;
When the input object transitions between the first region and the second region, transferring information related to the transition between the first sensor and the second sensor; And
Based on at least one of the position and movement of the input detected in the first area and the second area, the user interface of the user interface device may be selectively selected in a first manner and a second manner. Steps to control
Control method comprising a. 제19항 내지 제32항 중에서 어느 하나의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
A computer-readable recording medium in which a program for executing the method of any one of claims 19 to 32 is recorded.
KR1020130137168A 2013-02-22 2013-11-12 Device of recognizing proximity motion using sensors and method thereof KR102118610B1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US14/150,051 US10261612B2 (en) 2013-02-22 2014-01-08 Apparatus and method for recognizing proximity motion using sensors
EP14152597.2A EP2770408B1 (en) 2013-02-22 2014-01-27 Apparatus and method for recognizing proximity motion using sensors
JP2014021352A JP6333568B2 (en) 2013-02-22 2014-02-06 Proximity motion recognition device using sensor and method using the device
CN201410056423.5A CN104007814B (en) 2013-02-22 2014-02-19 For using sensor identification close to the device and method of movement
US14/446,826 US10394434B2 (en) 2013-02-22 2014-07-30 Apparatus and method for recognizing proximity motion using sensors
US16/524,668 US10921926B2 (en) 2013-02-22 2019-07-29 Apparatus and method for recognizing proximity motion using sensors

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130018961 2013-02-22
KR1020130018961 2013-02-22

Publications (2)

Publication Number Publication Date
KR20140105362A KR20140105362A (en) 2014-09-01
KR102118610B1 true KR102118610B1 (en) 2020-06-04

Family

ID=51754381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130137168A KR102118610B1 (en) 2013-02-22 2013-11-12 Device of recognizing proximity motion using sensors and method thereof

Country Status (1)

Country Link
KR (1) KR102118610B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022265213A1 (en) * 2021-06-14 2022-12-22 삼성전자 주식회사 Foldable electronic device which acquires three-dimensional coordinate information and control method thereof

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9886084B2 (en) * 2014-11-11 2018-02-06 Intel Corporation User input via elastic deformation of a material
KR102294357B1 (en) * 2014-12-18 2021-08-26 엘지디스플레이 주식회사 Liquid crystal display device and method of driving the same
US10809794B2 (en) 2014-12-19 2020-10-20 Hewlett-Packard Development Company, L.P. 3D navigation mode
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
KR102418901B1 (en) * 2015-06-16 2022-07-11 엘지전자 주식회사 Watch type terminal and control method thereof
EP3855261B1 (en) * 2020-01-27 2024-05-15 ABB Schweiz AG Determining control parameters for an industrial automation device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120050180A1 (en) * 2010-08-27 2012-03-01 Brian Michael King Touch and hover switching

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019209B2 (en) * 2005-06-08 2015-04-28 3M Innovative Properties Company Touch location determination involving multiple touch location processes
KR101513023B1 (en) * 2008-03-25 2015-04-22 엘지전자 주식회사 Terminal and method of displaying information therein

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120050180A1 (en) * 2010-08-27 2012-03-01 Brian Michael King Touch and hover switching

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022265213A1 (en) * 2021-06-14 2022-12-22 삼성전자 주식회사 Foldable electronic device which acquires three-dimensional coordinate information and control method thereof

Also Published As

Publication number Publication date
KR20140105362A (en) 2014-09-01

Similar Documents

Publication Publication Date Title
JP6333568B2 (en) Proximity motion recognition device using sensor and method using the device
KR102118610B1 (en) Device of recognizing proximity motion using sensors and method thereof
US10921926B2 (en) Apparatus and method for recognizing proximity motion using sensors
US9575562B2 (en) User interface systems and methods for managing multiple regions
KR101844366B1 (en) Apparatus and method for recognizing touch gesture
US9619042B2 (en) Systems and methods for remapping three-dimensional gestures onto a finite-size two-dimensional surface
US20170003762A1 (en) Systems and methods for text entry
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
CN202120234U (en) Multipoint translation gesture recognition device for touch device
JP2016521894A (en) System and method for performing device actions based on detected gestures
WO2011069152A2 (en) Imaging methods and systems for position detection
US10048768B2 (en) Systems and methods for determining input movement
US20150324025A1 (en) User input device and method thereof
KR101436585B1 (en) Method for providing user interface using one point touch, and apparatus therefor
JP6033061B2 (en) Input device and program
KR101535738B1 (en) Smart device with touchless controlling operation function and the control method of using the same
KR102397397B1 (en) Wearalble device and operating method for the same
KR20140086805A (en) Electronic apparatus, method for controlling the same and computer-readable recording medium
US9244608B2 (en) Method and system for gesture identification
KR102169236B1 (en) Touchscreen device and method for controlling the same and display apparatus
TWI444875B (en) Multi-touch input apparatus and its interface method using data fusion of a single touch sensor pad and imaging sensor
US9851801B1 (en) Dual touchpad system
KR20140101276A (en) Method of displaying menu based on depth information and space gesture of user
CN104375700A (en) Electronic device
KR20100107914A (en) Method for detecting gesture and sensing touch input

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right