KR101504148B1 - Non-contact operating apparatus - Google Patents
Non-contact operating apparatus Download PDFInfo
- Publication number
- KR101504148B1 KR101504148B1 KR1020130082215A KR20130082215A KR101504148B1 KR 101504148 B1 KR101504148 B1 KR 101504148B1 KR 1020130082215 A KR1020130082215 A KR 1020130082215A KR 20130082215 A KR20130082215 A KR 20130082215A KR 101504148 B1 KR101504148 B1 KR 101504148B1
- Authority
- KR
- South Korea
- Prior art keywords
- light
- optical signal
- photosensor
- light receiving
- contact sensor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
Abstract
본 발명은 소모전력이 낮고 동작 인식을 위한 알고리즘이 빠르며, 제조비용이 낮으며, 동작 인식 처리과정이 간단한 비접촉 조작 장치를 위하여, 대상물에 조사광을 조사할 수 있는 발광부;와 상기 조사광이 상기 대상물에서 반사된 반사광을 수광하여 상기 대상물에 대한 광학신호를 전기신호로 변환할 수 있는 수광부;를 각각 구비하는, 서로 이격된 복수의 비접촉 센서 모듈들; 및 상기 전기신호를 입력받아 상기 대상물에 대한 공간좌표를 산출하는 마이크로컨트롤유닛;을 포함하는 비접촉 조작 장치를 제공한다. The present invention relates to a noncontact handling apparatus having a low power consumption, a fast algorithm for recognizing motion, a low manufacturing cost, and a simple operation recognition process, comprising: a light emitting unit capable of irradiating an object with irradiation light; A plurality of noncontact sensor modules spaced apart from each other, each of the plurality of noncontact sensor modules being spaced apart from each other and receiving light reflected from the object and converting an optical signal of the object into an electric signal; And a micro control unit which receives the electric signal and calculates a space coordinate for the object.
Description
본 발명은 비접촉 조작 장치에 관한 것으로서, 보다 상세하게는 간단한 위치 및/또는 동작 인식 처리과정을 통하여 사용자에게 새롭고 다양한 인터페이스를 제공할 수 있는 비접촉 조작 장치에 관한 것이다. More particularly, the present invention relates to a contactless operation device capable of providing a new and various interface to a user through a simple position and / or motion recognition process.
IT 기술의 급격한 변화에 따라 다양한 상황에서도 편리하게 사용할 수 있도록 동작 인식을 통한 제어방법들이 다양하게 제시되고 있다. 상기 제어방법들에서 동작 인식은 이미지센서(카메라)를 이용하여 구현하고 있다. 이미지센서로 동작 인식을 하기 위해서는 전원을 상시 연결해 놓아야 하기 때문에 많은 전력이 불필요하게 낭비되는 문제점이 있다. 또한, 이미지센서는 동작 인식 과정 중에서 복수의 이미지를 추출하여 영상처리를 실시하기 위한 일련의 과정이 필요하기 때문에 프로세서의 부담이 크고 장치 구현 및 처리 알고리즘이 매우 복잡한 문제점이 있다. 따라서, 이미지센서로 동작 인식을 구현하기 위해서는 제조비용이 상승하는 문제점도 수반된다. According to the rapid change of IT technology, there are various control methods through motion recognition for convenient use in various situations. In the above control methods, motion recognition is implemented using an image sensor (camera). In order to recognize the operation with the image sensor, since power must be always connected, much power is wasted unnecessarily. Also, since the image sensor requires a series of processes for extracting a plurality of images and performing image processing in the operation recognition process, the burden on the processor is large, and the device implementation and processing algorithm are complicated. Therefore, in order to implement the motion recognition with the image sensor, the manufacturing cost is also increased.
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 소모전력이 낮고 동작 인식을 위한 알고리즘이 빠르며, 제조비용이 낮으며, 동작 인식 처리과정이 간단한 비접촉 조작 장치를 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a noncontact operating device which has low consumption power, fast algorithm for recognizing motion, low manufacturing cost, and simple process of recognizing an operation for solving various problems including the above problems . However, these problems are exemplary and do not limit the scope of the present invention.
본 발명의 일 관점에 의한 비접촉 조작 장치가 제공될 수 있다. 상기 비접촉 조작 장치는 대상물에 조사광을 조사할 수 있는 발광부;와 상기 조사광이 상기 대상물에서 반사된 반사광을 수광하여 상기 대상물에 대한 광학신호를 전기신호로 변환할 수 있는 수광부;를 각각 구비하는, 서로 이격된 적어도 두 개의 비접촉 센서 모듈들; 및 상기 적어도 두 개의 비접촉 센서 모듈들에 의하여 변환된 상기 전기신호를 입력받고, 상기 적어도 두 개의 비접촉 센서 모듈들 중 적어도 하나의 비접촉 센서 모듈의 전기신호로부터 상기 대상물에 대한 공간좌표를 산출하는 마이크로컨트롤유닛;을 포함한다.A contactless operation device according to one aspect of the present invention can be provided. The contactless operation device includes a light emitting portion capable of irradiating an object with irradiation light and a light receiving portion capable of receiving the reflected light reflected from the object and converting the optical signal to the object into an electric signal At least two non-contact sensor modules spaced from each other; And a microcontroller for receiving the electrical signal converted by the at least two noncontact sensor modules and calculating spatial coordinates of the object from the electrical signals of at least one noncontact sensor module among the at least two non- Unit.
상기 비접촉 조작 장치에서, 상기 수광부는 가로 및 세로로 어레이 배치된 복수개의 광센서들을 포함하며, 상기 수광부는 수광되는 상기 반사광의 세기 및 수광각에 대한 정보를 가지는 상기 대상물에 대한 광학신호를 상기 전기신호로 변환할 수 있다. Wherein the light receiving unit includes a plurality of optical sensors arrayed laterally and vertically, and the light receiving unit receives an optical signal for the object having the intensity of the reflected light and information about the receiving angle, Signal.
상기 비접촉 조작 장치에서, 상기 수광부는, 가로로 어레이 배치된 복수의 포토다이오드들로 구성된 제 1 광센서부; 및 세로로 어레이 배치된 복수의 포토다이오드들로 구성된 제 2 광센서부;를 포함하고, 상기 대상물에 대한 광학신호는 상기 제 1 광센서부에 의하여 검출된 상기 대상물의 움직임의 가로성분에 대한 광학신호; 상기 제 2 광센서부에 의하여 검출된 상기 대상물의 움직임의 세로성분에 대한 광학신호; 및 상기 제 1 광센서부 및 상기 제 2 광센서부에 의하여 검출된 상기 대상물의 움직임의 높이성분에 대한 광학신호;가 통합되어 구현될 수 있다. In the contactless operation device, the light receiving unit may include: a first photosensor unit including a plurality of photodiodes arranged in a horizontal array; And a second photosensor part composed of a plurality of photodiodes arranged in a vertical array, wherein the optical signal for the object is optically detected by the optical sensor for the transverse component of the movement of the object detected by the first photosensor part signal; An optical signal for a vertical component of the movement of the object detected by the second photosensor section; And an optical signal for a height component of a motion of the object detected by the first photosensor and the second photosensor.
상기 비접촉 조작 장치에서, 상기 적어도 두 개의 비접촉 센서 모듈들은 제 1 비접촉 센서 모듈 및 제 2 비접촉 센서 모듈을 포함하고, 상기 마이크로컨트롤유닛은, 상기 제 1 및 제 2 비접촉 센서 모듈들의 이격거리; 및 상기 제 1 및 제 2 비접촉 센서 모듈들에 각각 구비된 상기 수광부에 수광되는 상기 반사광의 수광각을 이용하여 상기 대상물에 대한 공간좌표 중 높이성분을 산출할 수 있다. In the contactless operation device, the at least two non-contact sensor modules include a first contactless sensor module and a second contactless sensor module, wherein the micro control unit includes: a distance between the first and second contactless sensor modules; And a light receiving angle of the reflected light received by the light receiving portion provided in each of the first and second non-contact sensor modules, to calculate a height component of the spatial coordinates of the object.
상기 비접촉 조작 장치에서, 상기 마이크로컨트롤유닛은, 상기 공간좌표를 이용하여 상기 대상물의 움직임에 대응하는 제스쳐 동작을 판별하고, 상기 제스쳐 동작에 대응하는 제어신호를 생성할 수 있다. In the noncontact manipulation apparatus, the micro control unit can use the space coordinates to determine a gesture operation corresponding to the movement of the object, and generate a control signal corresponding to the gesture operation.
상기 비접촉 조작 장치는 상기 제어신호를 전자기기에 송신하는 통신부;를 더 포함할 수 있다. 상기 전자기기는 컴퓨터, 노트북, 태블릿 피씨, 태블릿 이동통신기기, 스마트폰, 핸드폰, 스마트패드, 게임기기, 가상체험장치, 휴대용 멀티미디어 재생장치, 전자북, 유에스비 허브(USB HUB), 마우스, 키보드, 모니터 및 헤드셋 중 적어도 어느 하나를 포함할 수 있다. 상기 제어신호는 상기 전자기기를 구성하는 하드웨어 또는 상기 전자기기에 설치된 소프트웨어를 제어할 수 있는 신호를 포함할 수 있다. And the contactless operation device may further include a communication unit for transmitting the control signal to the electronic device. The electronic device may be a computer, a notebook, a tablet PC, a tablet mobile communication device, a smart phone, a mobile phone, a smart pad, a game device, a virtual experience device, a portable multimedia player, an electronic book, a USB hub, Monitor and / or a headset. The control signal may include a signal capable of controlling hardware constituting the electronic apparatus or software installed in the electronic apparatus.
상기 비접촉 조작 장치에서, 상기 발광부는 적외선 발광 다이오드(IRED)를 포함하고, 상기 수광부는 포토다이오드를 포함할 수 있다. In the contactless operation device, the light emitting unit may include an infrared light emitting diode (IRED), and the light receiving unit may include a photodiode.
본 발명의 다른 관점에 의한 비접촉 조작 장치가 제공될 수 있다. 상기 비접촉 조작 장치는 대상물에 조사광을 조사할 수 있는 발광부; 상기 조사광이 상기 대상물에서 반사된 반사광을 수광하여 상기 대상물에 대한 광학신호를 전기신호로 변환할 수 있으며 서로 이격된 복수의 수광부들; 및 상기 복수의 수광부들에 의하여 변환된 상기 전기신호를 입력받아 상기 대상물에 대한 공간좌표를 산출하는 마이크로컨트롤유닛;을 포함한다.A contactless operation device according to another aspect of the present invention can be provided. Wherein the noncontact operation device comprises: a light emitting portion capable of irradiating an object with irradiation light; A plurality of light-receiving units capable of receiving the reflected light reflected from the object and converting the optical signal for the object into an electric signal and being spaced apart from each other; And a micro control unit that receives the electrical signal converted by the plurality of light receiving units and calculates spatial coordinates of the object.
상기 비접촉 조작 장치에 있어서, 상기 복수의 수광부들은 제 1 수광부 및 제 2 수광부를 포함하고, 상기 마이크로컨트롤유닛은, 상기 제 1 및 제 2 수광부들의 이격거리; 및 상기 제 1 및 제 2 수광부들에 수광되는 상기 반사광의 수광각을 이용하여 상기 대상물에 대한 공간좌표 중 높이성분을 산출할 수 있다.In the non-contact operation device, the plurality of light-receiving portions include a first light-receiving portion and a second light-receiving portion, and the micro-control unit includes: a distance between the first and second light-receiving portions; And a light receiving angle of the reflected light received by the first and second light receiving portions, to calculate a height component of spatial coordinates of the object.
본 발명의 또 다른 관점에 의한 전자기기는 전술한 비접촉 조작 장치 중 적어도 하나를 포함하여 구성될 수 있다.The electronic device according to another aspect of the present invention may be configured to include at least one of the above-described contactless operation devices.
상기한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 소모전력이 낮고 동작 인식을 위한 알고리즘이 빠르며, 제조비용이 낮으며, 동작 인식 처리과정이 간단한 비접촉 조작 장치를 제공할 수 있다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.According to the embodiment of the present invention as described above, it is possible to provide a noncontact operating device that consumes less power, has an algorithm for recognizing motion, has a low manufacturing cost, and is simple in operation recognition processing. Of course, the scope of the present invention is not limited by these effects.
도 1은 본 발명의 일 실시예에 따른 비접촉 조작 장치를 포함하는 구성을 도해하는 구성도이다.
도 2는 본 발명의 일 실시예에 따른 비접촉 조작 장치에서 비접촉 센서 모듈을 도해하는 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 비접촉 조작 장치에서 제 1 광센서부가 대상물의 움직임의 가로성분에 대한 광학신호를 검출하는 개념을 각각 도해하는 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 비접촉 조작 장치에서 제 2 광센서부가 대상물의 움직임의 세로성분에 대한 광학신호를 검출하는 개념을 각각 도해하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 비접촉 조작 장치에서 제 1 광센서부 및제 2 광센서부가 검출한 광학신호에 의하여 대상물의 공간좌표를 산출하는 개념을 도해하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 비접촉 조작 장치에서 비접촉 센서 모듈들의 이격거리 및 반사광의 수광각을 이용하여 대상물에 대한 공간좌표 중 높이성분을 산출하는 개념을 도해하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 스마트폰의 구성을 도해하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 유에스비 허브의 구성을 도해하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 마우스의 구성을 도해하는 도면이다.
도 12는 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 키보드의 구성을 도해하는 도면이다.
도 13은 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 모니터의 구성을 도해하는 도면이다.
도 14는 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 헤드셋의 구성을 도해하는 도면이다.
도 15는 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 전자기기의 구성을 도해하는 도면이다. 1 is a configuration diagram illustrating a configuration including a contactless operation apparatus according to an embodiment of the present invention.
2 is a diagram illustrating a noncontact sensor module in a noncontact handling apparatus according to an embodiment of the present invention.
Figs. 3 and 4 are diagrams respectively illustrating the concept of detecting an optical signal with respect to the horizontal component of the motion of the object in the first optical sensor unit in the contactless operation device according to the embodiment of the present invention. Fig.
Figs. 5 and 6 are diagrams each illustrating a concept of detecting an optical signal for a longitudinal component of a motion of a second optical sensor attachment object in the contactless operation device according to the embodiment of the present invention. Fig.
7 is a diagram illustrating a concept of calculating spatial coordinates of an object by an optical signal detected by a first photosensor and a second photosensor in a noncontact operation apparatus according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating a concept of calculating a height component in space coordinates for an object by using a distance between the non-contact sensor modules and a receiving angle of reflected light in the non-contact operation apparatus according to an embodiment of the present invention.
9 is a diagram illustrating a configuration of a smart phone to which a contactless operation apparatus according to an embodiment of the present invention is applied.
10 is a diagram illustrating a configuration of a USB hub to which a contactless operation device according to an embodiment of the present invention is applied.
11 is a diagram illustrating a configuration of a mouse to which a contactless operation device according to an embodiment of the present invention is applied.
12 is a diagram illustrating a configuration of a keyboard to which a contactless operation apparatus according to an embodiment of the present invention is applied.
13 is a diagram illustrating a configuration of a monitor to which a contactless operation apparatus according to an embodiment of the present invention is applied.
14 is a diagram illustrating a configuration of a headset to which a contactless operation apparatus according to an embodiment of the present invention is applied.
15 is a diagram illustrating a configuration of an electronic apparatus to which a contactless operation apparatus according to an embodiment of the present invention is applied.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예들에 한정되는 것은 아니다. 오히려 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다. 또한 설명의 편의 및 명확성을 위하여, 도면에 도시된 구성 요소들은, 상호 간에 크기가 비례하지 않으면서, 적어도 일부가 과장 또는 축소될 수 있다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. The present invention is not limited to the embodiments. Rather, these embodiments are provided so that this disclosure will be more thorough and complete, and will fully convey the concept of the invention to those skilled in the art. Also, for convenience and clarity of description, elements shown in the figures may be exaggerated or at least partially exaggerated without being mutually proportional in size.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)"라는 용어는 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. As used herein, the singular forms "a," "an," and "the" include singular forms unless the context clearly dictates otherwise. Also, the term " comprise "when used in this specification is taken to specify the presence of stated features, integers, steps, operations, elements, elements and / , Operation, absence, presence of elements and / or groups. As used herein, the term "and / or" includes any and all combinations of one or more of the listed items.
이하, 본 발명의 실시예들은 본 발명의 이상적인 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차(tolerance)에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명 사상의 실시예들은 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.Hereinafter, embodiments of the present invention will be described with reference to the drawings schematically showing ideal embodiments of the present invention. In the figures, for example, variations in the shape shown may be expected, depending on manufacturing techniques and / or tolerances. Accordingly, embodiments of the present invention should not be construed as limited to any particular shape of the regions shown herein, but should include variations in shape resulting, for example, from manufacturing.
도 1은 본 발명의 일 실시예에 따른 비접촉 조작 장치를 포함하는 구성을 도해하는 구성도이고, 도 2는 본 발명의 일 실시예에 따른 비접촉 조작 장치에서 비접촉 센서 모듈을 도해하는 도면이다. Fig. 1 is a diagram illustrating a configuration including a noncontact operating device according to an embodiment of the present invention, and Fig. 2 is a diagram illustrating a noncontact sensor module in a noncontact operating device according to an embodiment of the present invention.
도 1 내지 도 2를 참조하면, 본 발명의 일 실시예에 따른 비접촉 조작 장치(1)는 발광부(10)와 수광부(20)를 각각 구비하며, 대상물(예를 들어, 도 3, 도 5, 도 8, 또는 도 9의 S)에 대한 광학신호를 전기신호로 변환할 수 있는, 서로 이격된 복수의(적어도 둘 이상의) 비접촉 센서 모듈들(30)을 포함한다. 예를 들어, 제 1 비접촉 센서 모듈(30-1)과 제 2 비접촉 센서 모듈(30-2)은 각각 발광부(10) 및 수광부(20)를 구비하며, 제 1 비접촉 센서 모듈(30-1)과 제 2 비접촉 센서 모듈(30-2)은 비접촉 조작 장치(1) 내에서 소정의 이격거리를 가지도록 서로 이격되어 배치된다. 선택적으로, 제 1 비접촉 센서 모듈(30-1)의 수광부(20)를 제 1 수광부로 지치하고, 제 2 비접촉 센서 모듈(30-2)의 수광부(20)를 제 2 수광부로 지칭할 수도 있다.1 and 2, a
발광부(10)는 대상물(S)에 조사광을 조사할 수 있다. 예를 들어, 발광부(10)는 조사광을 조사할 수 있는 발광 다이오드(LED) 등의 발광 소자일 수 있고, 인체의 동작 및/또는 위치를 감지하기 위해서 발광부(10)는 적외선 발광 다이오드(IRED)를 포함할 수 있다. 발광부(10)는 사용자의 선택에 따라 필요한 경우에만 조사광이 방출되도록 구성될 수도 있다. 이는 사용자가 사용하지 않는 휴지기간에도 계속 조사광이 방출됨으로써 전력이 불필요하게 소모되는 것을 방지하기 위함이다. The
수광부(20)는 발광부(10)를 광원으로 하여 상기 조사광이 대상물(S)에서 반사된 반사광을 수광할 수 있다. 수광부(20)는, 예를 들어, 가로 및 세로로 어레이 배치, 복수개의 광센서들을 포함할 수 있다. 이러한 광센서는 대상물(S)에 대한 광학신호를 전기신호로 변환할 수 있는 수광 소자일 수 있으며, 예를 들어, 포토다이오드를 포함할 수 있다. 따라서 수광부(20)는 가로로 어레이 배치된 복수의 포토다이오드(25)들로 구성된 제 1 광센서부(20a) 및 세로로 어레이 배치된 복수의 포토다이오드(25)들로 구성된 제 2 광센서부(25b)를 포함할 수 있다.The
수광부(20)는 대상물(S)에 대한 광학신호를 전기신호로 변환할 수 있다. 상기 광학신호란 넓은 의미에서 광과 관련된 모든 신호를 말하고, 좁은 의미에서 전압, 전류, 전력 등 계측이 가능한 각종 전기적인 신호로 변환될 수 있는 광학신호를 말한다. 나아가, 본 발명의 기술적 사상에 따르면, 사용자의 움직임에 대한 광학신호는, 사용자의 움직임에 대하여 복수의 이미지를 추출하고 영상처리를 수행함으로써 구현되는 신호가 아니라, 사용자의 움직임에 의해 반사되어 수신되는 반사광의 세기 및/또는 반사광의 각도에 대한 정보를 가지는 신호를 의미할 수 있다. 대상물(S)에 대한 광학신호는, 예를 들어, 도 4 또는 도 6과 같이, 수광되는 반사광의 세기에 대한 정보와, 예를 들어, 도 8과 같이, 수광되는 반사광의 수광각(∠θ1, ∠θ2)에 대한 정보를 가질 수 있다. The
또한, 본 발명의 일 실시예에 따른 비접촉 조작 장치(1)는 상기 전기신호를 입력받아 대상물(S)에 대한 공간좌표를 산출하는 마이크로컨트롤유닛(MCU, 40)을 구비한다. 나아가, 마이크로컨트롤유닛(40)은 상기 공간좌표를 이용하여 대상물(S)의 움직임에 대응하는 제스쳐 동작을 판별하고, 상기 제스쳐 동작에 대응하는 제어신호를 생성할 수 있다. Further, the
한편, 앞에서 언급한 대상물(S)은 비접촉 조작 장치(1) 및/또는 전자기기(120)를 사용하는 사용자의 적어도 신체 일부를 포함할 수 있다. 또한, 대상물(S)은 상기 사용자가 가지고 있는 도구, 기기, 기구 및/또는 장치를 포함할 수 있다. 대상물(S)은 일정 시간 동안 공간 상에서 위치가 고정될 수 있으며, 나아가, 공간 상에서 위치가 가변될 수도 있다. 따라서, 대상물(S)이 일정 시간 동안 공간 상에서 위치가 고정되는 경우 비접촉 조작 장치(1)는 대상물(S)의 위치를 파악하는 포지션 센서를 포함할 수 있으며, 대상물(S)이 시간에 따라 공간 상에서 위치가 가변되는 경우 비접촉 조작 장치(1)는 대상물(S)의 움직임을 파악하고 이에 대응하는 제스쳐 동작을 판별하는 모션 센서 또는 제스쳐 센서를 포함할 수 있다. On the other hand, the above-mentioned object S may include at least a body part of the user using the
여기에서, 대상물(S)의 움직임이라 함은 비접촉 조작 장치(1)에서 소정거리 이내에 위치하는 사용자의 손가락 움직임, 손바닥 움직임, 손등 움직임, 손 움직임, 팔 움직임, 머리 움직임, 얼굴 움직임, 어깨 움직임, 몸통 움직임, 다리 움직임, 발가락 움직임 및 발 움직임 중에서 적어도 어느 하나를 포함할 수 있다. 나아가, 대상물(S)의 움직임은 앞서 언급한 사용자 인체의 움직임 뿐만 아니라 사용자에 의해 위치가 가변될 수 있는 도구, 기기, 기구 및/또는 장치의 움직임을 포함할 수 있다. 예를 들어, 발광부(10)에서 제공되는 조사광이 반사될 수 있는 반지를 사용자가 손가락에 착용한 경우에, 대상물(S)의 움직임은 상기 반지의 움직임을 의미할 수 있다. Here, the movement of the object S means movement of the user's fingers, palm movement, hand movements, hand movements, arm movements, head movements, face movements, shoulder movements, Body motion, leg motion, toe motion, and foot motion. Further, the movement of the object S may include movement of the above-mentioned user's body, as well as movement of a tool, device, apparatus, and / or device that can be varied by the user. For example, when a user wears a ring on which a light to be irradiated by the
한편, 본 발명의 일 실시예에 따른 비접촉 조작 장치(1)는 마이크로컨트롤유닛(40)에서 생성된 상기 제어신호를 전자기기(120)로 송신하는 통신부(50)를 선택적으로 더 구비할 수 있다. 나아가, 통신부(50)는 전자기기(120)와 정보데이타를 송수신할 수도 있다. 통신부(50)에 의해 전자기기(120)로 송신되는 상기 제어신호는, 예를 들어, 전자기기(120)를 구성하는 적어도 하나 이상의 하드웨어 또는 전자기기(120)에 설치된 소프트웨어를 제어할 수 있는 신호를 포함할 수 있다. The
전자기기(120)는, 예를 들어, 컴퓨터, 노트북, 태블릿 피씨, 태블릿 이동통신기기, 스마트폰, 핸드폰, 스마트패드, 게임기기, 가상체험장치, 휴대용 멀티미디어 재생장치, 전자북, 유에스비 허브(USB HUB), 마우스, 키보드, 모니터 및 헤드셋 중 적어도 어느 하나를 포함할 수 있다. The
통신부(50)는 무선통신부(52) 및 유선통신부(54) 중에서 적어도 어느 하나를 포함할 수 있다. 무선통신부(52)는, 예를 들어, 블루투스(Bluetooth) 통신 또는 지그비(Zigbee) 통신을 이용할 수 있다. 한편, 무선통신부(52)에 적용되는 통신방식은 블루투스 방식 또는 지그비 방식에 한정되지는 않으며, 예를 들어, RFID(Radio Frequency Identification), NFC(Near Field Communication), 공진유도, 자기유도 등의 다양한 통신방식도 적용될 수 있다.The
블루투스 통신 또는 지그비 통신을 위해서는 비접촉 조작 장치(1) 및 전자기기 (120) 상호간에 설정이 필요하다. 따라서, 전자기기(120)는 블루투스 통신 또는 지그비 통신을 지원하는 모듈을 포함할 수 있다. 만약, 전자기기(120)가 이러한 모듈을 가지지 않는 경우에는 별도의 중계기인 동글(dongle, 220)이 전자기기(120)에 추가적으로 제공될 수 있다. 동글(220)은, 예를 들어, 전자기기(120)의 USB 포트에 연결될 수 있는 USB 동글을 포함할 수 있으나, 전자기기(120)에 연결되는 형태에 한정되지는 않는다. For the Bluetooth communication or ZigBee communication, setting is required between the
유선통신부(52)는, 예를 들어, 비접촉 조작 장치(1)와 전자기기(120)를 연결하는 유선케이블을 지원하도록 연결포트부를 포함하여 구성될 수 있다. 유선케이블은, 예를 들어, USB 케이블이나 연장케이블 등을 포함할 수 있으며, 비접촉 조작 장치(1)의 연결포트부와 전자기기(120)의 연결포트부를 연결할 수 있다. USB 케이블은 단자의 사이즈에 따라 표준 USB 케이블, 미니 USB 케이블, 마이크로 USB 케이블 등을 포함할 수 있다. The
이하에서는, 비접촉 조작 장치(1)가 대상물(S)의 위치 및/또는 대상물(S)의 움직임에 대응하여 광학신호를 검출하고 공간좌표를 산출하는 개념을 설명한다. Hereinafter, the concept of detecting the optical signal and calculating the spatial coordinates corresponding to the position of the object S and / or the motion of the object S will be described.
도 3 및 도 4는 본 발명의 일 실시예에 따른 비접촉 조작 장치에서 제 1 광센서부가 대상물의 움직임의 가로성분에 대한 광학신호를 검출하는 개념을 각각 도해하는 도면이고, 도 5 및 도 6은 본 발명의 일 실시예에 따른 비접촉 조작 장치에서 제 2 광센서부가 대상물의 움직임의 세로성분에 대한 광학신호를 검출하는 개념을 각각 도해하는 도면이다. 또한, 도 7은 본 발명의 일 실시예에 따른 비접촉 조작 장치에서 제 1 광센서부 및 제 2 광센서부가 검출한 광학신호에 의하여 대상물의 공간좌표를 산출하는 개념을 도해하는 도면이고, 도 8은 본 발명의 일 실시예에 따른 비접촉 조작 장치에서 비접촉 센서 모듈들의 이격거리 및 반사광의 수광각을 이용하여 대상물에 대한 공간좌표 중 높이성분을 산출하는 개념을 도해하는 도면이다.FIGS. 3 and 4 are diagrams each illustrating a concept of detecting an optical signal with respect to a horizontal component of a motion of a first optical sensor attachment object in a contactless operation device according to an embodiment of the present invention, and FIGS. 5 and 6 In each of the contactless operation apparatuses according to the embodiment of the present invention, the second optical sensor unit detects the optical signal for the vertical component of the movement of the object. 7 is a diagram illustrating a concept of calculating spatial coordinates of an object by an optical signal detected by a first photosensor and a second photosensor in a contactless operation device according to an embodiment of the present invention, Is a diagram illustrating a concept of calculating a height component of spatial coordinates of an object using a separation distance of the non-contact sensor modules and a reflection angle of reflected light in the contactless operation apparatus according to an embodiment of the present invention.
도 3 내지 도 6을 참조하면, 수광부(20)는 발광부(10)를 광원으로 하여 대상물(S)의 위치 및/또는 대상물(S)의 움직임에 따라 반사되는 반사광을 수광하며, 가로 및 세로로 어레이 배치된, 복수개의 광센서(25)들을 포함한다. 수광부(20)는, 예를 들어, 포토다이오드(25)가 가로축(x축)으로 어레이 배치된 제 1 광센서부(20a)와 포토다이오드(25)가 세로축(y축)으로 어레이 배치된 제 2 광센서부(20b)로 구성될 수 있다. 본 발명의 변형된 실시예에서는 제 1 광센서부(20a) 및 제 2 광센서부(20b)가 서로 구분되고 이격되어 개별적으로 배치되는 것이 아니라, 서로 인접하여 배치될 수 있으며, 나아가, 서로 혼재되어 배치될 수도 있다. 3 to 6, the
도 3 및 도 4를 참조하면, 제 1 광센서부(20a)에서는 가로축으로 어레이 배치된 복수의 포토다이오드(25)들에 의하여, 대상물(S)의 가로 움직임(x축에 나란한 방향으로의 움직임)에 대한 광학신호를 검출할 수 있다. 또는, 제 1 광센서부(20a)에서는 가로축으로 어레이 배치된 복수의 포토다이오드(25)들에 의하여, 대상물(S)의 임의방향 움직임의 가로성분(x축에 나란한 방향으로의 성분)에 대한 광학신호를 검출할 수 있다. 3 and 4, in the
예를 들어, 대상물(S)이 도 3과 같이 좌측에서 우측으로 움직일 때, 제 1 광센서부(20a)에 수광되는 반사광의 광학신호의 세기는 제 1 광센서부(20a) 내의 임의의 포토다이오드들(25a, 25b, 25c)을 기준으로 도 4와 같이 시간에 따라 변화한다. 즉, 대상물(S)이 움직이면서 포토다이오드(25a)에 점점 근접할수록 포토다이오드(25a)에 수광되는 반사광의 광학신호의 세기(A)는 점점 증대되고, 대상물(S)이 움직이면서 포토다이오드(25a)에서 점점 멀어질수록 포토다이오드(25a)에 수광되는 반사광의 광학신호의 세기(A)는 점점 감소된다. 동일한 원리로 포토다이오드(25b)에서 시간에 따른 광학신호의 세기(B)의 분포가 나타나며, 포토다이오드(25c)에서 시간에 따른 광학신호의 세기(C)의 분포가 나타난다. 물론, 대상물(S)이 움직이므로, 대상물(S)과 포토다이오드들(25a, 25b, 25c) 각각의 이격 거리가 시간에 따라 순차적으로 변화하고, 광학신호의 세기(A, B, C)의 분포도 시간에 따라 순차적으로 변화한다. For example, when the object S moves from left to right as shown in FIG. 3, the intensity of the optical signal of the reflected light received by the
도 5 및 도 6을 참조하면, 제 2 광센서부(20b)에서는 세로축으로 어레이 배치된 복수의 포토다이오드(25)들에 의하여, 대상물(S)의 세로 움직임(y축에 나란한 방향으로의 움직임)에 대한 광학신호를 검출할 수 있다. 또는, 제 2 광센서부(20b)에서는 세로축으로 어레이 배치된 복수의 포토다이오드(25)들에 의하여, 대상물(S)의 임의방향 움직임의 세로성분(y축에 나란한 방향으로의 성분)에 대한 광학신호를 검출할 수 있다. 5 and 6, in the
예를 들어, 대상물(S)이 도 5와 같이 y축 방향과 나란하게 상측에서 하측으로 움직일 때, 제 2 광센서부(20b)에 수광되는 반사광의 광학신호 세기는 제 2 광센서부(20b) 내의 임의의 포토다이오드들(25d, 25e, 25f, 25g)을 기준으로 도 6과 같이 시간에 따라 변화한다. 즉, 대상물(S)이 움직이면서 포토다이오드(25d)에 점점 근접할수록 포토다이오드(25d)에 수광되는 반사광의 광학신호 세기(D)는 점점 증대되고, 대상물(S)이 움직이면서 포토다이오드(25d)에서 점점 멀어질수록 포토다이오드(25d)에 수광되는 반사광의 광학신호 세기(D)는 점점 감소된다. 동일한 원리로 포토다이오드(25e)에서 시간에 따른 광학신호 세기(E)의 분포가 나타나며, 포토다이오드(25f)에서 시간에 따른 광학신호 세기(F)의 분포가 나타나며, 포토다이오드(25g)에서 시간에 따른 광학신호 세기(G)의 분포가 나타난다. 물론, 대상물(S)이 움직이므로, 대상물(S)과 포토다이오드들(25d, 25e, 25f, 25g) 각각의 이격 거리가 시간에 따라 순차적으로 변화하고, 광학신호 세기(D, E, F, G)의 분포도 시간에 따라 순차적으로 변화한다. For example, when the object S moves from the upper side to the lower side in parallel with the y-axis direction as shown in Fig. 5, the optical signal intensity of the reflected light received by the
한편, 도 4 및 도 7을 참조하면, 예를 들어 시간 T1에서, 제 1 광센서부(20a) 내의 포토다이오드들(25a, 25b, 25c)에 수광되는 반사광의 광학신호 세기는 광학신호(C), 광학신호(B), 광학신호(A)의 순서로 점점 작아진다. 즉, 시간 T1에서 대상물(S)의 위치는, 포토다이오드(25c)에 가장 근접하고, 포토다이오드(25a)에서 가장 이격되어 있는, 평면 상의 임의의 어느 한 점에 대응될 수 있다. 따라서, 시간 T1에서 대상물(S)의 위치는, 도 7에 도시된 것처럼, 제 1 광센서부(20a)에 의하여, xy 평면에 수직이며, x축에 수직이며, y축 및 z축에 나란한 평면(Px) 상의 임의의 어느 한 점에 대응될 수 있다. 4 and 7, for example, at time T 1 , the optical signal intensity of the reflected light received by the
또한, 도 6 및 도 7을 참조하면, 예를 들어 시간 T1에서, 제 2 광센서부(20b) 내의 포토다이오드들(25d, 25e, 25f, 25g)에 수광되는 반사광의 광학신호 세기는 광학신호(F), 광학신호(E), 광학신호(G), 광학신호(D)의 순서로 점점 작아진다. 즉, 시간 T1에서 대상물(S)의 위치는, 포토다이오드(25f)에 가장 근접하고, 그 다음으로 포토다이오드(25e)에 근접하며, 포토다이오드(25d)와 가장 이격되어 있는, 평면 상의 임의의 어느 한 점에 대응될 수 있다. 따라서, 시간 T1에서 대상물(S)의 위치는, 도 7에 도시된 것처럼, 제 2 광센서부(20b)에 의하여, xy 평면에 수직이며, y축에 수직이며, x축 및 z축에 나란한 평면(Py) 상의 임의의 어느 한 점에 대응될 수 있다.6 and 7, at the time T 1 , the optical signal intensity of the reflected light received by the
따라서, 도 4, 도 6 및 도 7을 참조하면, 예를 들어 시간 T1에서, 대상물(S)의 위치는, 도 7에 도시된 것처럼, 제 1 광센서부(20a)에 의하여, xy 평면에 수직이며, x축에 수직이며, y축 및 z축에 나란한 평면(Px) 상의 임의의 어느 한 점에 대응되며, 제 2 광센서부(20b)에 의하여, xy 평면에 수직이며, y축에 수직이며, x축 및 z축에 나란한 평면(Py) 상의 임의의 어느 한 점에 대응될 수 있으므로, 시간 T1에서, 대상물(S)의 위치는, 평면(Px)과 평면(Py)가 교차되는 교차라인(Lz) 상의 임의의 어느 한 점에 대응될 수 있다. 4, 6 and 7, for example, at time T 1 , the position of the object S is determined by the
이에 따르면, 하나의 비접촉 센서 모듈(30-1) 내에 구비되는 제 1 광센서부(20a) 및 제 2 광센서부(20b)에 의해서도, 대상물(S)의 위치가 교차라인(Lz) 상의 임의의 어느 한 점에 대응될 수 있다. 다만, 단 하나의 비접촉 센서 모듈(30-1)에 의해서는 대상물(S)의 공간좌표 중 높이성분(z성분)을 정확하게 파악하는 것이 용이하지 않을 수 있다. 물론, 대상물(S)이 비접촉 센서 모듈(30-1)에서 z축 방향으로 멀어질수록 도 4 및 도 6에 나타난 광학신호의 세기의 절대값은 상대적으로 작으며, 대상물(S)이 비접촉 센서 모듈(30-1)에서 z축 방향으로 가까울수록 도 4 및 도 6에 나타난 광학신호의 세기의 절대값은 상대적으로 커지지만, 공간좌표 중 높이성분(z성분)의 절대치를 정확하게 파악하는 것은 용이하지 않다. The
이와 같이, 발광부(10)와 수광부(20)로 구성된 1개의 독립된 비접촉 센서 모듈을 이용하는 경우, 대상물(S)의 정확한 위치 좌표를 정확하게 산출하기 어렵다. 또한, 대상물(S)의 크기가 큰 경우 좌우, 상하 움직임에 따라 일부 구간의 좌표에서는 반사광의 수신이 차단되어 정확한 공간좌표를 파악하기 어려우며 나아가 대상물의 움직임을 인식함에 오류가 발생할 수 있다. As described above, in the case of using one independent contactless sensor module composed of the
이러한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따른 비접촉 조작 장치(1)는, 도 8과 같이, 복수의(적어도 둘 이상의) 비접촉 센서 모듈들(30)을 포함한다. 이 경우, 제 1 비접촉 센서 모듈(30-1)과 제 2 비접촉 센서 모듈(30-2) 사이의 이격거리(D)와, 복수의 비접촉 센서 모듈들(30-1, 30-2)에 각각 구비된 수광부(20)에 수광되는 반사광(R1, R2)의 수광각(∠θ1, ∠θ2, 단위:도(°)) 이용함으로써 대상물(S)에 대한 공간좌표 중 높이성분(H)을 수학식 1과 같이 삼각진법으로 산출할 수 있다. In order to solve such a problem, the
[수학식 1][Equation 1]
D = H ·tan(90°- θ1) + H ·tan(90°- θ2)D = H · tan (90 ° - θ 1) + H · tan (90 ° - θ 2)
또한, 다수의 비접촉 센서 모듈들(30)이 배치됨으로써 대상물(S)의 크기에 상관없이 정확한 위치좌표를 산출할 수 있다. 도 8에서는, 예시적으로, 비접촉 센서 모듈들(30)이 두 개인 경우를 설명하였지만, 나아가, 복수의 비접촉 센서 모듈들(30)이 가로 및/또는 세로 방향으로 어레이로 배치됨으로써 보다 정확한 대상물(S)의 위치좌표를 산출할 수 있다. Further, since the plurality of
수광되는 반사광의 수광각은 제 1 광센서부(20a)에서 가로축으로 어레이 배치된 복수의 포토다이오드(25)들과 제 2 광센서부(20b)에서 세로축으로 어레이 배치된 복수의 포토다이오드(25)들에 수광되는 반사광의 광학신호의 세기 분포를 종합적으로 분석하여 산출할 수 있다. 한편, 수광각의 산출을 용이하게 하도록, 제 1 광센서부(20a) 및 제 2 광센서부(20b)의 상부에 반사광을 선택적으로 차단 및 통과시킬 수 있는 슬릿부(미도시)들을 배치할 수 있다. 제 1 광센서부(20a) 상의 슬릿부 방향과 제 2 광센서부(20b) 상의 슬릿부 방향은 서로 교차되는 방향일 수 있다. The light receiving angle of the reflected light is detected by a plurality of
최종적으로, 도 8을 참조하여 산출한 공간좌표의 높이성분(H)을 도 7을 참조하여 산출한 교차라인(Lz)과 결합하면, 대상물(S)의 공간좌표를 산출할 수 있다. 마이크로컨트롤유닛(40)은 비접촉 센서 모듈들(30)에서 검출된 반사광의 광학정보와 비접촉 센서 모듈들(30) 간의 이격거리 정보를 입력받아 대상물(S)의 공간좌표를 구현하는 알고리즘을 탑재하여 정확한 좌표 데이타를 출력할 수 있다.Finally, the spatial coordinates of the object S can be calculated by combining the height component H of the space coordinate calculated with reference to Fig. 8 and the intersection line Lz calculated with reference to Fig. The
나아가, 마이크로컨트롤유닛(40)은 산출된 대상물(S)의 위치를 나타내는 공간좌표를 이용하여 대상물(S)의 움직임에 대한 제스쳐 동작을 판별하고, 상기 제스쳐 동작에 대응하는 제어신호를 생성할 수 있다. 이를 위하여, 선택적으로, 제스쳐 동작과 이에 대응하는 제어신호를 각각 저장한 데이타베이스부를 더 포함할 수 있다. 또한, 마이크로컨트롤유닛(40)은 대상물(S) 움직임에 대한 제스쳐 동작을 판별하기 위하여 비교판단부를 더 포함할 수 있다. Further, the
예를 들어, 마이크로컨트롤유닛(40)은, 제스쳐 동작이 시계방향의 원(circle)을 형성할 경우 이에 대응하는 제어신호가 전자기기(120)를 구성하는 적어도 하나의 하드웨어 또는 전자기기(120)에 설치된 소프트웨어의 사운드 볼륨(sound volume)을 크게 하는 제어신호로 설정되어 있는, 데이타베이스부를 포함할 수 있다. 이러한 데이타베이스부는 사용자가 임의로 설정할 수 있도록 구성될 수 있다. 또한, 마이크로컨트롤유닛(40)은 대상물(S)의 실제 움직임이 공간상에서 형성하는 형상이 시점과 종점이 정확하게 일치하지 않더라도 대상물(S)의 실제 움직임의 가로성분, 세로성분 및 높이성분에 대한 이동거리, 속도, 가속도, 곡률, 움직임의 시점과 종점 등의 시간정보와 벡터정보를 고려할 때 대상물(S)의 실제 움직임은 시계방향의 원을 형성하는 제스쳐 동작으로 판별할 수 있는 비교판단부를 포함할 수 있다. 비교판단부는 대상물(S)의 실제 움직임과 상기 제스쳐 동작 간의 오차를 산출하고, 소정의 오차범위 이내에서 대상물(S)의 실제 움직임을 상기 데이타베이스부에 저장된 제스쳐 동작으로 분류하고 판별할 수 있는 알고리즘을 포함할 수 있다. For example, when the gesture operation forms a clockwise circle, the corresponding control signal is transmitted to at least one hardware or
한편, 앞에서 설명한 비접촉 센서 모듈들(30)의 각각은 발광부(10)와 수광부(20)가 하나의 모듈을 이루어 구성되었지만, 본 발명의 변형된 실시예에서, 비접촉 센서 모듈들(30)의 각각은 제 1 광센서부(20a)와 제 2 광센서부(20b)로 구성된 수광부(20)로만 구성될 수 있으며, 발광부는 비접촉 센서 모듈들(30)과 별개로 제공될 수도 있다. 이 경우에도, 대상물(S)의 공간좌표를 산출하는 방법과 공간좌표를 이용하여 대상물(S)의 움직임에 대한 제스쳐 동작을 판별하고, 상기 제스쳐 동작에 대응하는 제어신호를 생성하는 구성은 동일하게 설명될 수 있다. Each of the
본 발명의 일 실시예에 따른 비접촉 조작 장치(1)는 기존에 사용되는 이미지센서(카메라) 방식의 문제점을 개선하여, 저전력, 저비용이 가능한 동작 인식알고리즘을 통하여 사용자에게 새롭고 다양한 인터페이스를 제공할 수 있다. 기존에 사용되는 비접촉 제스쳐 동작 인식 방식은 카메라 모듈방식으로 구현되었다. 카메라 모듈방식이란 시모스(CMOS) 카메라로 사용자의 움직임을 촬영하고 센서 집적회로(IC)가 촬영한 영상을 인식하는 방식이다. 시모스 카메라로 촬영한 영상을 센서 집적회로로 전송하고 동작을 인식, 검출하는 시간은 상대적으로 많이 소요되고 인식감도는 많이 떨어지는 단점이 있다. 또한, 인식감도가 많이 떨어지기 때문에 다양한 동작을 동시에 처리하기가 매우 어려운 단점도 있다. 나아가, 동작을 인식하기 위해 카메라 모듈을 동작시켜야 하기 때문에 전력소모량이 많은 단점도 있다. 또한, 카메라 모듈을 사용하기 때문에 제조단가도 매우 높은 단점이 있다. 이에 반하여, 본 발명의 실시예들에서는 적외선 발광 다이오드(IRED), 포토다이오드 및 마이크로컨트롤유닛을 이용하여 동작 인식을 하므로, 저전력, 빠른 동작 인식 알고리즘, 낮은 단가, 간단한 동작 인식 처리과정을 통하여 이러한 문제점들을 해결할 수 있다. The
한편, 지금까지 상술한 본 발명의 기술적 사상은 이미지센서(카메라) 방식의 문제점을 개선하여, 저전력, 저비용이 가능한 동작 인식알고리즘을 통하여 사용자에게 새롭고 다양한 인터페이스를 제공한다는 점에서 다양한 제품에 적용이 가능하며, 이하에서는, 이를 예시적으로 설명한다. Meanwhile, the technical idea of the present invention described above can be applied to various products because it provides a new and various interface to the user through the operation recognition algorithm which can reduce the power consumption and the cost by improving the problem of the image sensor (camera) method. Hereinafter, this will be described by way of example.
도 9는 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 스마트폰의 구성을 도해하는 도면이다. 9 is a diagram illustrating a configuration of a smart phone to which a contactless operation apparatus according to an embodiment of the present invention is applied.
도 9를 참조하면, 스마트폰(120)은 도 1의 전자기기(120)에 대응되며, 상술한 비접촉 조작 장치(1)의 적어도 일부는 스마트폰(120)의 표면에 부착되거나 내측에 삽입되는 형태로 배치되어 제공될 수 있다. 특히, 비접촉 조작 장치(1)의 일부를 구성하는 제 1 비접촉 센서 모듈(30-1)과 제 2 비접촉 센서 모듈(30-2)은 소정의 이격거리를 가지도록 서로 이격되어 배치된다. 9, the
도 10은 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 유에스비 허브(USB HUB)의 구성을 도해하는 도면이다. 10 is a diagram illustrating a configuration of a USB hub to which a contactless operation device according to an embodiment of the present invention is applied.
도 10을 참조하면, 상술한 비접촉 조작 장치(1)의 적어도 일부는 멀티 유에스비 포트(122a)를 구비하는 유에스비 허브(120)의 표면에 부착되거나 내측에 삽입되는 형태로 배치되어 제공될 수 있다. 특히, 서로 이격되어 배치되는 제 1 비접촉 센서 모듈(30-1) 및 제 2 비접촉 센서 모듈(30-2)로 이루어진 복수의 비접촉 센서 모듈들(30)은 유에스비 허브(120)의 표면(122b)에 배치될 수 있다. 본 발명의 일 실시예에 따른 비접촉 조작 장치(1)를 가지는 유에스비 허브(120)는 손가락 등의 신체를 이용한 접촉 및 터치를 하지 않고 사용자의 동작을 감지하여 손쉽게 PC와 같은 전산장치 및 관련 소프트웨어를 제어를 할 수 있기 때문에 다양한 분야에 적용될 수 있다. Referring to FIG. 10, at least a part of the above-described
도 11은 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 마우스의 구성을 도해하는 도면이다. 11 is a diagram illustrating a configuration of a mouse to which a contactless operation device according to an embodiment of the present invention is applied.
도 11을 참조하면, 마우스(120) 내에 상술한 비접촉 조작 장치(1)가 내장될수 있다. 특히, 서로 이격되어 배치되는 제 1 비접촉 센서 모듈(30-1) 및 제 2 비접촉 센서 모듈(30-2)로 이루어진 복수의 비접촉 센서 모듈들(30)은 마우스(120)의 표면에 배치될 수 있다. 예를 들어, 사용자의 손을, 비접촉 조작 장치(1)를 가지는 마우스(120)와 접촉하지 않고 이격하여, 좌측에서 우측으로 나아가는 경우, 비접촉 조작 장치(1)의 마이크로컨트롤유닛(40)에서 판별한 제스쳐 동작은 우측으로 향하는 직선운동으로 구분될 수 있으며, 이에 따라 마우스(120)와 연결되는 전산장치에 송신하는 제어신호는 키보드의 우측 방향키에 대응하는 신호를 포함할 수 있다. Referring to Fig. 11, the above-described
도 12는 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 키보드의 구성을 도해하는 도면이다.12 is a diagram illustrating a configuration of a keyboard to which a contactless operation apparatus according to an embodiment of the present invention is applied.
도 12를 참조하면, 상술한 비접촉 조작 장치(1)의 적어도 일부는 키보드(120)의 표면에 부착되거나 내측에 삽입되는 형태로 배치되어 제공될 수 있다. 특히, 서로 이격되어 배치되는 제 1 비접촉 센서 모듈(30-1) 및 제 2 비접촉 센서 모듈(30-2)로 이루어진 복수의 비접촉 센서 모듈들(30)은 키보드(120)의 표면에 배치될 수 있다. 예를 들어, 비접촉 조작 장치(1)를 가지는 키보드(120)에서 비접촉 센서 모듈들(30)은 키보드의 자판(124a)을 둘러싸는 프레임(124b)에 배치되어 구성될 수 있다. 본 발명의 일 실시예에 따른 비접촉 조작 장치(1)를 가지는 키보드(120)는 손가락 등의 신체를 이용한 접촉 및 터치를 하지 않고 사용자의 동작을 감지하여 손쉽게 PC와 같은 전산장치 및 관련 소프트웨어를 제어를 할 수 있기 때문에 다양한 분야에 적용될 수 있다.Referring to Fig. 12, at least a part of the above-described
도 13은 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 모니터의 구성을 도해하는 도면이다. 13 is a diagram illustrating a configuration of a monitor to which a contactless operation apparatus according to an embodiment of the present invention is applied.
도 13을 참조하면, 상술한 비접촉 조작 장치(1)의 적어도 일부는 모니터(120)의 표면에 부착되거나 내측에 삽입되는 형태로 배치되어 제공될 수 있다. 특히, 서로 이격되어 배치되는 제 1 비접촉 센서 모듈(30-1) 및 제 2 비접촉 센서 모듈(30-2)로 이루어진 복수의 비접촉 센서 모듈들(30)은 모니터(120)의 표면에 배치될 수 있다. 예를 들어, 비접촉 조작 장치(1)를 가지는 모니터(120)에서 비접촉 센서 모듈들(30)은 모니터 받침대(125a), 모니터 기둥(125b), 모니터 프레임(125c) 및 모니터 화면(125d) 중에서 선택된 적어도 어느 하나에 배치되어 구성될 수 있다. 본 발명의 일 실시예에 따른 비접촉 조작 장치(1)를 가지는 모니터(120)는 손가락 등의 신체를 이용한 접촉 및 터치를 하지 않고 사용자의 동작을 감지하여 손쉽게 PC와 같은 전산장치 및 관련 소프트웨어를 제어를 할 수 있기 때문에 다양한 분야에 적용될 수 있다.Referring to FIG. 13, at least a part of the above-described
도 14는 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 헤드셋의 구성을 도해하는 도면이다.14 is a diagram illustrating a configuration of a headset to which a contactless operation apparatus according to an embodiment of the present invention is applied.
도 14를 참조하면, 헤드셋(120)은 서로 대향하는 두 개의 스피커 유닛(126a), 마이크 유닛(126b), 두 개의 스피커 유닛(126a)을 연결하는 헤드밴드부(126c), 스피커 유닛(126a)의 외측에 형성된 하우징부(126d)를 포함한다. 서로 이격되어 배치되는 제 1 비접촉 센서 모듈(30-1) 및 제 2 비접촉 센서 모듈(30-2)로 이루어진 복수의 비접촉 센서 모듈들(30) 또는 마이크로컨트롤유닛(40)은 각각 스피커 유닛(126a), 마이크 유닛(126b), 헤드밴드부(126c), 및 하우징부(126d) 중의 어느 하나에 부착되거나 내측에 삽입되는 형태로 배치되어 제공될 수 있다. 14, the
도 9 내지 도 14를 참조하여 앞에서 설명한 비접촉 조작 장치(1)의 적어도 일부는 전자기기(120)의 표면에 부착되거나 내측에 삽입되는 형태로 배치되어 제공될 수 있다. 예를 들어, 전자기기(120)는 앞에서 설명한 발광부(10)와 수광부(20)를 각각 구비하는, 서로 이격된 복수의 비접촉 센서 모듈들(30); 및 복수의 비접촉 센서 모듈들(30)에 의하여 변환된 전기신호를 입력받아 대상물(S)에 대한 공간좌표를 산출하는 마이크로컨트롤유닛(40)을 구비할 수 있다. 하지만, 본 발명의 변형된 실시예에서는, 비접촉 조작 장치(1)는 전자기기(1)와 별개로 이격되어 제공될 수 있다. At least a part of the
도 15는 본 발명의 일 실시예에 따른 비접촉 조작 장치가 적용된 전자기기의 구성을 도해하는 도면이다. 15 is a diagram illustrating a configuration of an electronic apparatus to which a contactless operation apparatus according to an embodiment of the present invention is applied.
도 15를 참조하면, 상술한 비접촉 조작 장치(1)는 전자기기(1)와 별개의 장치로 제공될 수 있다. 비접촉 조작 장치(1)의 마이크로컨트롤유닛(40)에서 생성된 제어신호는 유선케이블(127a, 127b)을 통하여 전자기기(1)로 유선송신되거나, 비접촉 조작 장치(1) 내에 배치된 무선통신부(52)를 통하여 전자기기(1)로 무선송신될 수 있다. 이 경우, 전자기기(1)는 컴퓨터, 노트북, 태블릿 피씨, 태블릿 이동통신기기, 스마트폰, 핸드폰, 스마트패드, 게임기기, 가상체험장치, 휴대용 멀티미디어 재생장치 및 전자북 중 적어도 어느 하나를 포함할 수 있다. Referring to Fig. 15, the above-described
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
1 : 비접촉 조작 장치 10 : 발광부
20 : 수광부 30 : 비접촉 센서 모듈들
30-1 : 제 1 비접촉 센서 모듈 30-2 : 제 2 비접촉 센서 모듈
40 : 마이크로컨트롤유닛 56 : 통신부
120 : 전자기기1: Non-contact operation device 10:
20: light receiving unit 30: non-contact sensor module
30-1: first non-contact sensor module 30-2: second non-contact sensor module
40: Micro control unit 56:
120: Electronic device
Claims (12)
상기 적어도 두 개의 비접촉 센서 모듈들에 의하여 변환된 상기 전기신호를 입력받고, 상기 적어도 두 개의 비접촉 센서 모듈들 중 적어도 하나의 비접촉 센서 모듈의 전기신호로부터 상기 대상물에 대한 공간좌표를 산출하는 마이크로컨트롤유닛;
을 포함하고,
상기 수광부는,
가로로 어레이 배치된 복수의 포토다이오드들로 구성된 제 1 광센서부; 및 세로로 어레이 배치된 복수의 포토다이오드들로 구성된 제 2 광센서부;를 포함하며, 수광되는 상기 반사광의 세기 및 수광각에 대한 정보를 가지는 상기 대상물에 대한 광학신호를 상기 전기신호로 변환할 수 있고,
상기 대상물에 대한 광학신호는 상기 제 1 광센서부에 의하여 검출된 상기 대상물의 움직임의 가로성분에 대한 광학신호; 상기 제 2 광센서부에 의하여 검출된 상기 대상물의 움직임의 세로성분에 대한 광학신호; 및 상기 제 1 광센서부 및 상기 제 2 광센서부에 의하여 검출된 상기 대상물의 움직임의 높이성분에 대한 광학신호;가 통합되어 구현되는, 비접촉 조작 장치.And a light receiving unit capable of receiving the reflected light reflected from the object and converting an optical signal for the object into an electric signal, the light emitting unit being capable of irradiating the object with irradiation light, At least two non-contact sensor modules; And
A micro control unit for receiving the electric signal converted by the at least two non-contact sensor modules and calculating spatial coordinates of the object from the electrical signals of at least one non-contact sensor module among the at least two non- ;
/ RTI >
The light-
A first photosensor comprising a plurality of photodiodes arranged in a horizontal array; And a second photosensor part composed of a plurality of photodiodes arranged in a vertical array, and converting an optical signal for the object having the intensity of the reflected light and information about the light receiving angle into the electric signal Can,
Wherein the optical signal for the object is an optical signal for a horizontal component of the motion of the object detected by the first photosensor portion; An optical signal for a vertical component of the movement of the object detected by the second photosensor section; And an optical signal for a height component of a motion of the object detected by the first photosensor portion and the second photosensor portion are integrated and implemented.
상기 적어도 두 개의 비접촉 센서 모듈들은 제 1 비접촉 센서 모듈 및 제 2 비접촉 센서 모듈을 포함하고,
상기 마이크로컨트롤유닛은, 상기 제 1 및 제 2 비접촉 센서 모듈들의 이격거리; 및 상기 제 1 및 제 2 비접촉 센서 모듈들에 각각 구비된 상기 수광부에 수광되는 상기 반사광의 수광각을 이용하여 상기 대상물에 대한 공간좌표 중 높이성분을 산출하는, 비접촉 조작 장치.The method according to claim 1,
Wherein the at least two non-contact sensor modules include a first contactless sensor module and a second contactless sensor module,
Wherein the micro control unit includes: a separation distance between the first and second non-contact sensor modules; And a light receiving angle of the reflected light received by the light receiving portion provided in the first and second non-contact sensor modules, respectively, to calculate a height component of space coordinates with respect to the object.
상기 마이크로컨트롤유닛은, 상기 공간좌표를 이용하여 상기 대상물의 움직임에 대응하는 제스쳐 동작을 판별하고, 상기 제스쳐 동작에 대응하는 제어신호를 생성하는, 비접촉 조작 장치.The method according to claim 1,
Wherein the micro control unit determines a gesture operation corresponding to the movement of the object using the space coordinates and generates a control signal corresponding to the gesture operation.
상기 제어신호를 전자기기에 송신하는 통신부;를 더 포함하는, 비접촉 조작 장치.6. The method of claim 5,
And a communication unit for transmitting the control signal to the electronic apparatus.
상기 전자기기는 컴퓨터, 노트북, 태블릿 피씨, 태블릿 이동통신기기, 스마트폰, 핸드폰, 스마트패드, 게임기기, 가상체험장치, 휴대용 멀티미디어 재생장치, 전자북, 유에스비 허브(USB HUB), 마우스, 키보드, 모니터 및 헤드셋 중 적어도 하나를 포함하는, 비접촉 조작 장치.The method according to claim 6,
The electronic device may be a computer, a notebook, a tablet PC, a tablet mobile communication device, a smart phone, a mobile phone, a smart pad, a game device, a virtual experience device, a portable multimedia player, an electronic book, a USB hub, A monitor, and a headset.
상기 제어신호는 상기 전자기기를 구성하는 하드웨어 또는 상기 전자기기에 설치된 소프트웨어를 제어할 수 있는 신호를 포함하는, 비접촉 조작 장치. The method according to claim 6,
Wherein the control signal includes a signal capable of controlling hardware constituting the electronic apparatus or software installed in the electronic apparatus.
상기 발광부는 적외선 발광 다이오드(IRED)를 포함하고, 상기 수광부는 포토다이오드를 포함하는, 비접촉 조작 장치.The method according to claim 1,
Wherein the light emitting unit includes an infrared light emitting diode (IRED), and the light receiving unit includes a photodiode.
상기 조사광이 상기 대상물에서 반사된 반사광을 수광하여 상기 대상물에 대한 광학신호를 전기신호로 변환할 수 있으며, 서로 이격된 복수의 수광부들; 및
상기 복수의 수광부들에 의하여 변환된 상기 전기신호를 입력받아 상기 대상물에 대한 공간좌표를 산출하는 마이크로컨트롤유닛;
을 포함하고,
상기 복수의 수광부들 각각은,
가로로 어레이 배치된 복수의 포토다이오드들로 구성된 제 1 광센서부; 및 세로로 어레이 배치된 복수의 포토다이오드들로 구성된 제 2 광센서부;를 포함하며, 수광되는 상기 반사광의 세기 및 수광각에 대한 정보를 가지는 상기 대상물에 대한 광학신호를 상기 전기신호로 변환할 수 있고,
상기 대상물에 대한 광학신호는 상기 제 1 광센서부에 의하여 검출된 상기 대상물의 움직임의 가로성분에 대한 광학신호; 상기 제 2 광센서부에 의하여 검출된 상기 대상물의 움직임의 세로성분에 대한 광학신호; 및 상기 제 1 광센서부 및 상기 제 2 광센서부에 의하여 검출된 상기 대상물의 움직임의 높이성분에 대한 광학신호;가 통합되어 구현되는, 비접촉 조작 장치.A light emitting portion capable of emitting an irradiation light to an object;
A plurality of light-receiving units that can receive the reflected light reflected from the object and convert the optical signal for the object into an electric signal, the plurality of light-receiving units being spaced apart from each other; And
A micro control unit receiving the electric signal converted by the plurality of light receiving units and calculating spatial coordinates of the object;
/ RTI >
Wherein each of the plurality of light-
A first photosensor comprising a plurality of photodiodes arranged in a horizontal array; And a second photosensor part composed of a plurality of photodiodes arranged in a vertical array, and converting an optical signal for the object having the intensity of the reflected light and information about the light receiving angle into the electric signal Can,
Wherein the optical signal for the object is an optical signal for a horizontal component of the motion of the object detected by the first photosensor portion; An optical signal for a vertical component of the movement of the object detected by the second photosensor section; And an optical signal for a height component of a motion of the object detected by the first photosensor portion and the second photosensor portion are integrated and implemented.
상기 복수의 수광부들은 제 1 수광부 및 제 2 수광부를 포함하고,
상기 마이크로컨트롤유닛은, 상기 제 1 및 제 2 수광부들의 이격거리; 및 상기 제 1 및 제 2 수광부들에 수광되는 상기 반사광의 수광각을 이용하여 상기 대상물에 대한 공간좌표 중 높이성분을 산출하는, 비접촉 조작 장치.11. The method of claim 10,
Wherein the plurality of light receiving portions include a first light receiving portion and a second light receiving portion,
The micro control unit may further include: a distance between the first and second light receiving portions; And calculates the height component of the space coordinates with respect to the object using the light receiving angle of the reflected light received by the first and second light receiving portions.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130082215A KR101504148B1 (en) | 2013-07-12 | 2013-07-12 | Non-contact operating apparatus |
PCT/KR2014/003086 WO2014168416A1 (en) | 2013-04-09 | 2014-04-09 | Non-contact operation device and electronic device linked with same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130082215A KR101504148B1 (en) | 2013-07-12 | 2013-07-12 | Non-contact operating apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150007768A KR20150007768A (en) | 2015-01-21 |
KR101504148B1 true KR101504148B1 (en) | 2015-03-19 |
Family
ID=52570604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130082215A KR101504148B1 (en) | 2013-04-09 | 2013-07-12 | Non-contact operating apparatus |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101504148B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102437930B1 (en) * | 2022-04-19 | 2022-08-30 | (주) 아하 | Method for recognizing non-contact gestures in the display process and display using the same |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070037773A (en) * | 2005-10-04 | 2007-04-09 | 엘지전자 주식회사 | Apparatus and method for inputting user command in display device |
KR20080072205A (en) * | 2007-02-01 | 2008-08-06 | 엠텍비젼 주식회사 | Image sensor module and mobile terminal having the same |
KR20080076942A (en) * | 2006-10-16 | 2008-08-20 | 가시오게산키 가부시키가이샤 | Photosensor, target detection method and display panel |
KR20130043159A (en) * | 2010-06-17 | 2013-04-29 | 퀄컴 인코포레이티드 | Methods and apparatus for contactless gesture recognition and power reduction |
-
2013
- 2013-07-12 KR KR1020130082215A patent/KR101504148B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070037773A (en) * | 2005-10-04 | 2007-04-09 | 엘지전자 주식회사 | Apparatus and method for inputting user command in display device |
KR20080076942A (en) * | 2006-10-16 | 2008-08-20 | 가시오게산키 가부시키가이샤 | Photosensor, target detection method and display panel |
KR20080072205A (en) * | 2007-02-01 | 2008-08-06 | 엠텍비젼 주식회사 | Image sensor module and mobile terminal having the same |
KR20130043159A (en) * | 2010-06-17 | 2013-04-29 | 퀄컴 인코포레이티드 | Methods and apparatus for contactless gesture recognition and power reduction |
Also Published As
Publication number | Publication date |
---|---|
KR20150007768A (en) | 2015-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101524575B1 (en) | Wearable device | |
KR102609766B1 (en) | Skin care device | |
KR20140060297A (en) | Method for detecting motion of input body and input device using same | |
KR101328385B1 (en) | Tactile finger tip mouse and operating method of the same | |
KR101282361B1 (en) | Apparatus and Method for Providing 3D Input Interface | |
KR20130049769A (en) | Information processing device, information processing method, and program | |
KR20140058006A (en) | Electronic pen input sysme and input method using the same | |
KR101504148B1 (en) | Non-contact operating apparatus | |
US10228768B2 (en) | Optical user interface | |
US20160370861A1 (en) | Input device and input control method | |
KR101460028B1 (en) | Keyboard having non-contact operating apparatus | |
KR101415931B1 (en) | Headset with recognition of gesture | |
US20130201157A1 (en) | User interface device and method of providing user interface | |
US20150293612A1 (en) | Pen-type optical indexing apparatus and method for controlling the same | |
US20120162059A1 (en) | Handwriting input device with charger | |
KR101469186B1 (en) | Mouse having noncontact operating apparatus with recognition of gesture | |
CN104571601B (en) | A kind of bimodulus picture and text mouse scan method and its product | |
KR101471816B1 (en) | Noncontact operating apparatus with recognition of gesture | |
KR101469129B1 (en) | USB hub having noncontact operating apparatus with recognition of gesture | |
KR101524050B1 (en) | Noncontact gesture operating apparatus | |
KR20130076297A (en) | Input device and operating method thereof | |
CN111061384A (en) | Touch control pen with range finder | |
KR101434040B1 (en) | Electronic pen, and sysme and method for inputting using the same | |
CN207115343U (en) | A kind of wearable input equipment and electronic apparatus system | |
KR20150111127A (en) | Gesture recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20171204 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20181211 Year of fee payment: 5 |