KR20140060191A - Method for controlling touch based virtual switch and apparatus thereof - Google Patents

Method for controlling touch based virtual switch and apparatus thereof Download PDF

Info

Publication number
KR20140060191A
KR20140060191A KR1020120126989A KR20120126989A KR20140060191A KR 20140060191 A KR20140060191 A KR 20140060191A KR 1020120126989 A KR1020120126989 A KR 1020120126989A KR 20120126989 A KR20120126989 A KR 20120126989A KR 20140060191 A KR20140060191 A KR 20140060191A
Authority
KR
South Korea
Prior art keywords
virtual switch
gesture
touch
dimensional camera
control command
Prior art date
Application number
KR1020120126989A
Other languages
Korean (ko)
Inventor
손명규
이상헌
김동주
김병민
김현덕
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020120126989A priority Critical patent/KR20140060191A/en
Publication of KR20140060191A publication Critical patent/KR20140060191A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

The present invention relates to a touch-based virtual switch control method and a device for the same. According to the present invention, the touch-based virtual switch control method using a three-dimensional camera which is installed in a target space to acquire the depth data of a subject includes: a step of detecting part of the body of a user from an image taken by the three-dimensional camera; a step of determining if the part of the body touches a virtual switch area predefined in the target space; a step of, if it is determined that the part of the body touches the virtual switch area, recognizing the gesture taken by the part of the body after the touch; a step of extracting a control command corresponding to the recognized gesture from a gesture database in which control commands by gesture are stored; and a step of controlling the operation of at least one electronic device according to the extracted control command. According to the touch-based virtual switch control method and the method thereof, part of the body of a user is traced, and when the part of the body of the user touches the predefined area and takes a certain gesture, a designated operation corresponding to the gesture is applied to an electric switch. By doing so, separate fixed structures such as the existing wires and switches are not necessary. It is also possible to define and use switch actions at a desired position by flexibly changing the virtual switch area.

Description

터치 기반의 가상 스위치 제어 방법 및 장치{Method for controlling touch based virtual switch and apparatus thereof}TECHNICAL FIELD The present invention relates to a touch-based virtual switch control method and apparatus,

본 발명은 터치 기반의 가상 스위치 제어 방법 및 장치에 관한 것으로서, 보다 상세하게는 동작 인식을 이용한 터치 기반의 가상 스위치 제어 방법 및 장치에 관한 것이다.The present invention relates to a touch-based virtual switch control method and apparatus, and more particularly, to a touch-based virtual switch control method and apparatus using motion recognition.

일반적으로 전기 스위치는 특정 위치에 고정되어 설치된다. 이러한 전기 스위치는 주로 벽면에 설치되어 전기배선, 스위치 등의 기구물과 연결된다. Generally, the electric switch is fixedly installed at a specific position. Such an electric switch is mainly installed on a wall surface and connected to an electric wiring, a switch, and the like.

전기 스위치는 주로 기계적 접점 방식이 주를 이루는데, 기계 마모 및 편의성을 문제로 하여 최근에는 터치 기반의 전기 스위치에 관한 기술이 다양하게 개시되어 있다. 관련 배경기술은 실용신안등록 제0282891호에 개시되어 있다.Electrical switches are mainly made of mechanical contact type. Due to mechanical wear and convenience, recently, various technologies related to touch-based electric switches have been disclosed. Related background art is disclosed in Utility Model Registration No. 0282891.

그런데, 터치 방식의 전기 스위치 또한 벽면에 고정 설치되며 별도의 배선 등을 필요로 하는 단점이 있다. 또한, 한번 설치되면 위치를 바꾸기가 거의 불가능할 뿐만 아니라 기능 또한 변경이 불가능하다. 따라서, 전기 배선이나 스위치 등과 같은 고정된 기구물을 필요로 하지 않는 가상 스위치의 개발이 요구된다.However, the touch-type electric switch is also fixed on the wall surface and requires a separate wiring or the like. In addition, once installed, it is almost impossible to change the position, and the function can not be changed either. Therefore, it is required to develop a virtual switch that does not require a fixed mechanism such as electric wiring or a switch.

본 발명은, 터치 기반의 가상 스위치를 구현하여 전기 기기의 동작을 제어할 수 있는 터치 기반의 가상 스위치 제어 방법 및 장치를 제공하는데 목적이 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a touch-based virtual switch control method and apparatus capable of implementing a touch-based virtual switch to control the operation of an electric appliance.

본 발명은, 대상 공간에 설치되어 피사체의 깊이 정보를 획득하는 3차원 카메라를 이용한 터치 기반의 가상 스위치 제어 방법에 있어서, 상기 3차원 카메라의 촬상 영상으로부터 사용자의 신체 일부를 검출하는 단계와, 상기 신체 일부가 상기 대상 공간 내의 기 설정된 가상 스위치 영역을 터치하는지의 여부를 판단하는 단계와, 상기 신체 일부가 상기 가상 스위치 영역을 터치한 것으로 판단되면, 상기 터치 이후 상기 신체 일부가 취하는 제스쳐를 인식하는 단계와, 제스쳐 별 제어 명령이 저장되어 있는 제스쳐 DB로부터 상기 인식된 제스쳐에 대응하는 제어 명령을 추출하는 단계, 및 상기 추출된 제어 명령을 통해 적어도 하나의 전자 기기의 구동을 제어하는 단계를 포함하는 터치 기반의 가상 스위치 제어 방법을 제공한다.The present invention relates to a touch-based virtual switch control method using a three-dimensional camera installed in a target space and acquiring depth information of a subject, the method comprising the steps of: detecting a body part of a user from a sensed image of the three- Determining whether a part of the body touches a preset virtual switch area within the object space; and if the body part determines that the virtual switch area is touched, recognizing a gesture taken by the body part after the touch Extracting a control command corresponding to the recognized gesture from a gesture database storing a control instruction per gesture; and controlling driving of at least one electronic device through the extracted control command A touch-based virtual switch control method is provided.

여기서, 상기 가상 스위치 영역은, 상기 대상 공간 상에 상기 3차원 카메라가 인식 가능한 임의의 마커로 표시되어 있을 수 있다. 이때, 상기 마커는, 상기 대상 공간 상에서 위치 변경이 가능할 수 있다.Here, the virtual switch area may be displayed on the target space by an arbitrary marker recognizable by the three-dimensional camera. At this time, the marker may be able to change its position on the target space.

또한, 상기 가상 스위치 영역은, 상기 3차원 카메라의 촬상 공간 상에 임의의 좌표 지점으로 설정되어 있을 수 있다.In addition, the virtual switch area may be set to an arbitrary coordinate point on the imaging space of the three-dimensional camera.

또한, 상기 적어도 하나의 전자 기기는 조명 기기이고, 상기 제스쳐 별 제어 명령은, 상기 조명 기기의 점등, 소등, 조명 밝기의 업 및 다운 중 적어도 하나의 제어 명령을 포함할 수 있다.In addition, the at least one electronic device may be a lighting device, and the gesture control command may include at least one of a lighting command, a lighting command, and a lighting command.

그리고, 본 발명은 대상 공간에 설치되어 피사체의 깊이 정보를 획득하는 3차원 카메라를 이용한 터치 기반의 가상 스위치 제어 장치에 있어서, 상기 3차원 카메라의 촬상 영상으로부터 사용자의 신체 일부를 검출하는 신체 검출부와, 상기 신체 일부가 상기 대상 공간 내의 기 설정된 가상 스위치 영역을 터치하는지의 여부를 판단하는 터치 판단부와, 상기 신체 일부가 상기 가상 스위치 영역을 터치한 것으로 판단되면, 상기 터치 이후 상기 신체 일부가 취하는 제스쳐를 인식하는 제스쳐 인식부와, 제스쳐 별 제어 명령이 저장되어 있는 제스쳐 DB로부터 상기 인식된 제스쳐에 대응하는 제어 명령을 추출하는 명령 추출부, 및 상기 추출된 제어 명령을 통해 적어도 하나의 전자 기기의 구동을 제어하는 기기 제어부를 포함하는 터치 기반의 가상 스위치 제어 장치를 제공한다.According to another aspect of the present invention, there is provided a touch-based virtual switch control apparatus using a three-dimensional camera installed in a subject space to acquire depth information of a subject, the touch-based virtual switch control apparatus comprising: a body detecting unit for detecting a body part of a user from a sensed image of the three- A touch judging unit for judging whether or not a part of the body touches a predetermined virtual switch area in the object space and a touch judging unit for judging whether or not the body part A command extracting unit for extracting a control command corresponding to the recognized gesture from a gesture DB in which a gesture-by-gesture control command is stored, and a control unit for controlling at least one of the at least one electronic device A touch-based virtual switch including a device control unit for controlling driving It provides a control device.

본 발명에 따른 터치 기반의 가상 스위치 제어 방법 및 장치에 따르면, 사용자의 신체 일부를 추적하고 사용자의 신체 일부가 정해진 영역을 터치하여 특정한 동작을 취하면, 그에 대응되는 정해진 전기 스위치의 동작을 수행할 수 있다. 이에 따라, 기존의 배선이나 스위치 등과 같은 별도의 고정된 기구물을 필요로 하지 않으며, 가상 스위치 영역을 자유 자재로 변경하여 원하는 위치에서 스위치 동작을 정의하여 사용할 수 있다.According to the touch-based virtual switch control method and apparatus of the present invention, when a part of a user's body is tracked and a specific operation is performed by touching a predetermined area of the user's body part, a predetermined electric switch operation corresponding thereto is performed . Accordingly, it is possible to freely change the virtual switch area and define the switch operation at a desired position without using a separate fixed structure such as a conventional wiring or a switch.

도 1은 본 발명의 실시예에 따른 터치 기반의 가상 스위치 제어 장치의 설치 개념도이다.
도 2는 도 1의 가상 스위치 제어 장치의 구성도이다.
도 3은 도 2를 이용한 터치 기반의 가상 스위치 제어 방법의 흐름도이다.FIG. 1 is a conceptual diagram of an installation of a touch-based virtual switch control apparatus according to an embodiment of the present invention.
2 is a configuration diagram of the virtual switch control apparatus of FIG.
3 is a flowchart of a touch-based virtual switch control method using FIG.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.

본 발명은 대상 공간에 설치되어 피사체의 깊이 정보를 획득하는 3차원 카메라를 이용한 터치 기반의 가상 스위치 제어 장치 및 방법에 관한 것이다. 여기서, 대상 공간은 실내 공간 등에 해당될 수 있으며 가상 스위치는 전기적 스위치를 대신하는 용도의 가상의 스위치를 의미한다.The present invention relates to a touch-based virtual switch control apparatus and method using a three-dimensional camera installed in a target space to acquire depth information of a subject. Here, the target space may correspond to an indoor space, etc., and a virtual switch means a virtual switch for substituting an electric switch.

도 1은 본 발명의 실시예에 따른 터치 기반의 가상 스위치 제어 장치의 설치 개념도이다. 상기 제어 장치(100)와 3차원 카메라(10)는 천정에 설치되어 있다. 제어 장치(100)는 3차원 카메라(10)의 촬영 정보를 이용하여 가상 스위치 제어를 수행한다. 여기서, 3차원 카메라(10)는 움직임 없는 고정된 카메라 혹은 팬틸팅이 가능한 카메라에 해당될 수 있다. FIG. 1 is a conceptual diagram of an installation of a touch-based virtual switch control apparatus according to an embodiment of the present invention. The control device 100 and the three-dimensional camera 10 are installed on a ceiling. The controller 100 performs virtual switch control using the photographing information of the three-dimensional camera 10. Here, the 3D camera 10 may correspond to a fixed camera without motion or a camera capable of pan tilting.

도 1에서 벽면 상에 존재하는 가상 스위치 영역(30)은 사용자에 의해 가상의 터치 동작이 이루어지는 영역을 의미한다. 이 가상 스위치 영역(30)은 3차원 카메라(10)에 의해 감시되는 영역에 해당된다.In FIG. 1, the virtual switch region 30 existing on the wall surface means an area where a virtual touch operation is performed by a user. This virtual switch area 30 corresponds to an area monitored by the three-dimensional camera 10.

도 1의 실시예의 경우 가상 스위치 영역(30)은 3차원 카메라(10)가 인식 가능한 임의의 마커(ex, 이미지, 표식 등) 형태를 갖고 있다. 이러한 마커는 상기 대상 공간(20) 상에서 위치 변경이 가능하다. 예를 들어, 사용자의 편의 등에 따라 가상 스위치 영역(30)의 변경이 언제든지 가능하도록, 마커를 벽면으로부터 탈착 가능하도록 구성할 수도 있다. 마커의 형태는 도시된 형태로 반드시 한정되는 것은 아니다.In the embodiment of FIG. 1, the virtual switch area 30 has a form of any marker (ex, image, mark, etc.) recognizable by the three-dimensional camera 10. These markers are positionable on the object space 20. For example, the markers may be detachable from the wall surface so that the virtual switch area 30 can be changed at any time according to the convenience of the user. The shape of the marker is not necessarily limited to the illustrated form.

이러한 본 실시예에서는 가상 스위치 영역(30)에 사용자의 손이 터치된 것을 판단한 다음 손 부분이 취한 특정 제스쳐를 감지하여 그에 대응되는 전기 스위치(ex, 전등, 가전 등과 관련된 각종 스위치)의 동작을 제어한다.In this embodiment, it is determined that the user's hand is touched in the virtual switch area 30, and then the specific gesture taken by the hand portion is sensed, and the operation of the corresponding electric switch (ex, electric lamp, household appliance, etc.) do.

도 2는 도 1의 가상 스위치 제어 장치의 구성도이다. 상기 터치 기반의 가상 스위치 제어 장치(100)는 신체 검출부(110), 터치 판단부(120), 제스쳐 인식부(130), 명령 추출부(140), 기기 제어부(150)를 포함한다.2 is a configuration diagram of the virtual switch control apparatus of FIG. The touch-based virtual switch control apparatus 100 includes a body detection unit 110, a touch determination unit 120, a gesture recognition unit 130, an instruction extraction unit 140, and a device control unit 150.

상기 신체 검출부(110)는 상기 3차원 카메라(10)의 촬상 영상으로부터 사용자의 신체 일부(ex, 손 부분)를 검출한다. 상기 터치 판단부(120)는 상기 신체 일부가 상기 대상 공간 내의 기 설정된 가상 스위치 영역(30)을 터치하는지의 여부를 판단한다. The body detecting unit 110 detects a body part (e.g., a hand part) of the user from an image captured by the three-dimensional camera 10. The touch determination unit 120 determines whether or not the body part touches the predetermined virtual switch area 30 in the object space.

상기 제스쳐 인식부(130)는 상기 신체 일부가 상기 가상 스위치 영역(30)을 터치한 것으로 판단되면, 상기 터치 이후 상기 신체 일부가 취하는 제스쳐를 인식한다. The gesture recognition unit 130 recognizes the gesture taken by the body part after the touch when it is determined that the body part has touched the virtual switch area 30. [

상기 명령 추출부(140)는 제스쳐 별 제어 명령이 기 저장되어 있는 제스쳐 DB(160)로부터, 상기 인식된 제스쳐에 대응하는 제어 명령을 추출한다. 상기 기기 제어부(150)는 상기 추출된 제어 명령을 통해 적어도 하나의 전자 기기의 구동을 제어한다. 여기서, 전자 기기란 가상 스위치로 제어되는 모든 기기를 의미한다.The instruction extracting unit 140 extracts a control command corresponding to the recognized gesture from the gesture DB 160 in which the gesture control command is stored. The device control unit 150 controls driving of at least one electronic device through the extracted control command. Here, the electronic device means all the devices controlled by the virtual switch.

이상과 같은 가상 전기 스위치가 동작을 하기 위해서는 사전에 가상 스위치의 위치를 미리 지정하는 과정이 필요하며, 이를 위해 가상 스위치 영역(30)을 커버할 수 있도록 3차원 카메라(10)가 미리 설치되어야 한다. 카메라는 앞서와 같이 고정식 또는 팬틸팅 카메라에 해당될 수 있다. In order to operate the virtual electric switch as described above, a process of previously designating the position of the virtual switch is required. To this end, the three-dimensional camera 10 must be installed in advance so as to cover the virtual switch area 30 . The camera may correspond to a fixed or pan tilting camera as described above.

상기 가상 스위치 영역(30)의 지정은 두 가지 방법이 있을 수 있다. 그 첫 번째 방법은 가상 스위치 영역(30)을 3차원 카메라(10)의 촬상 공간 상에 임의의 좌표 지점으로 미리 설정하여 두는 방법이다. 예를 들어, 3차원 카메라(10)의 촬상 영상에서 사각형의 특정 영역(ex, (100,100,300), (150,100,300), (100,150,305), (150,150,305) 좌표로 정의)을 가상 스위치 영역(30)으로 지정하여 두고, 지정된 영역에 대한 터치 여부를 감시한다. 여기서, 상기 좌표 지점을 수정하는 것에 의해 가상 스위치 영역(30)의 변경이 언제든지 가능하다.There are two ways to designate the virtual switch area 30. The first method is a method in which the virtual switch region 30 is preset to an arbitrary coordinate point on the imaging space of the three-dimensional camera 10. For example, in the captured image of the three-dimensional camera 10, the virtual switch region 30 is defined as a specific region (ex, (100,100,300), (150,100,300), (100,150,305) And monitors the touch of the designated area. Here, it is possible to change the virtual switch area 30 at any time by modifying the coordinate point.

두 번째 방법은 앞서 도 1과 같이 대상 공간(20)에서 가상 스위치 영역(30)에 해당되는 부분에 마커를 표시하여 두는 것이다. 예를 들면, 가상 스위치가 배치될 주변의 색상 및 모양에 대비될 수 있는 마커(ex, 네모 모양, 동그란 모양)를 벽면에 표시하고 이를 카메라에서 인식할 수 있도록 미리 알고리즘을 학습시켜 둔다.In the second method, the marker is displayed in a portion corresponding to the virtual switch region 30 in the object space 20 as shown in FIG. For example, markers (ex, square, and circle shapes) that can be contrasted with the surrounding color and shape where the virtual switch will be placed are displayed on the wall surface and the algorithm is learned in advance so that the camera can recognize the markers.

상기 3차원 카메라(10)로 고정형 카메라를 사용하는 경우에는 두 방법 모두 사용이 가능하며, 팬틸트 카메라를 사용하는 경우 두 번째 방법이 더욱 적합하다. 팬틸트 카메라의 경우 많은 영역을 커버할 수 있으나 특정 마커를 미리 학습시켜야 하고 입력되는 촬상 영상으로부터 마커를 실시간 찾는 과정이 필요하다.In the case of using the fixed camera as the three-dimensional camera 10, both methods can be used. In the case of using the pan tilt camera, the second method is more suitable. In the case of a pan / tilt camera, it is possible to cover many areas, but it is necessary to learn a specific marker in advance and to find a marker in real time from an input captured image.

도 3은 도 2를 이용한 터치 기반의 가상 스위치 제어 방법의 흐름도이다. 이하에서는 본 발명의 실시예에 따른 터치 기반의 가상 스위치 제어 방법에 관하여 상세히 알아본다.3 is a flowchart of a touch-based virtual switch control method using FIG. Hereinafter, a touch-based virtual switch control method according to an embodiment of the present invention will be described in detail.

먼저, 신체 검출부(110)는 상기 3차원 카메라(10)의 촬상 영상으로부터 사용자의 신체 일부를 검출한다(S310). 이러한 신체 검출부(110)는 우선 3차원 카메라(10)의 촬상 영상을 분석하여 사용자를 검출하고 계속 추적한다. 사용자가 검출되면 사용자의 신체 일부를 검출하여 이를 계속 추적한다. 여기서, 신체 일부란 상기 가상 스위치 영역(30)에 대해 터치를 수행하는 사용자 신체 부위를 의미하는 것으로서, 예를 들면 손, 발 등에 해당될 수 있다. 본 실시예에서는 상기 신체 일부로서 손 부분을 예시로 한다.First, the body detecting unit 110 detects a part of the user's body from the captured image of the three-dimensional camera 10 (S310). The body detecting unit 110 first analyzes the captured image of the three-dimensional camera 10 to detect and keep track of the user. When a user is detected, part of the user's body is detected and tracked. Here, the body part refers to a part of the user's body that performs a touch with respect to the virtual switch area 30, and may correspond to, for example, hands, feet, and the like. In this embodiment, the hand portion is exemplified as the body part.

다음, 터치 판단부(120)는 상기 사용자의 손 부분이 상기 대상 공간(20) 내의 기 설정된 가상 스위치 영역(30)을 터치하는지의 여부를 판단한다(S320). 이러한 S320 단계에서는 사용자의 손 영역의 전체 또는 일부분(ex, 손가락)이 가상 스위치 영역(30)에 터치 되었는지의 여부를 판단한다. 터치 여부의 판단은 피사체의 깊이 정보를 제공하는 3차원 카메라(10)의 촬영 정보를 이용하여 손쉽게 판단할 수 있다.Next, the touch determination unit 120 determines whether the user's hand touches the preset virtual switch area 30 in the target space 20 (S320). In step S320, it is determined whether all or a part (ex, finger) of the user's hand area is touched to the virtual switch area 30. [ The determination as to whether or not to touch can be easily made using shooting information of the three-dimensional camera 10 providing depth information of the subject.

만약, 상기 손 부분이 가상 스위치 영역(30)을 터치한 것으로 판단되면, 상기 터치 이후에 신체 일부가 취하는 제스쳐를 인식한다(S330). 즉, 가상 스위치 영역(30)에 터치가 되었다면 이후 손의 제스쳐를 인식하도록 한다. 이러한 S330 단게는 제스쳐 인식부(130)를 통해 수행한다. If it is determined that the hand portion has touched the virtual switch region 30, the gesture portion of the body part is recognized after the touch (S330). That is, if the virtual switch area 30 is touched, the gesture of the hand is recognized. The step S330 is performed through the gesture recognition unit 130. [

이후, 명령 추출부(140)는 각각의 제스쳐 별 제어 명령이 저장되어 있는 제스쳐 DB(160)를 참조하여, 상기 S330 단계 시에 인식된 제스쳐에 대응하는 제어 명령을 추출한다(S340). 제스쳐 DB(160)에는 각각의 제스쳐에 대응되는 제어 명령이 서로 매핑되어 저장되어 있어서, 사용자가 취한 제스쳐에 대응하는 제어 명령을 용이하게 추출할 수 있다.In operation S340, the command extracting unit 140 extracts a control command corresponding to the recognized gesture in operation S330, referring to the gesture DB 160 in which the control command for each gesture is stored. The control commands corresponding to the respective gestures are mapped and stored in the gesture DB 160 so that control commands corresponding to the gestures taken by the user can be easily extracted.

다음, 상기 기기 제어부(150)는 상기 추출된 제어 명령을 통해 적어도 하나의 전자 기기의 구동을 제어한다(S350). Next, the device control unit 150 controls driving of at least one electronic device through the extracted control command (S350).

여기서, 상기 적어도 하나의 전자 기기는 조명 기기에 해당될 수 있다. 이때, 상기 제스쳐 별 제어 명령은, 하나 또는 복수의 조명 기기에 대한 점등, 소등, 조명 밝기 값의 업, 다운 중 적어도 하나의 제어 명령을 포함할 수 있다.Here, the at least one electronic device may correspond to a lighting device. At this time, the gesture-by-gesture control command may include at least one control command of turning on / off of one or a plurality of lighting devices, up and down of a brightness value of a lighting.

또한, 사용자의 손 제스쳐는 스마트 기기(ex, 스파트폰, 스마트 패드)에서의 일반적인 터치 입력 방식과 동일할 수 있다. 예를 들어, 터치 후 바로 떼는 동작, 터치한 상태에서 오른쪽으로 움직이는 동작, 왼쪽으로 움직이는 동작 등 다양한 동작이 정의될 수 있다. 만약 해당 영역을 터치만 하는 경우에는 거실 조명등을 On/Off할 수 있으며, 터치 후 손을 상부로 올리는 제스쳐의 경우에는 거실 조명등을 밝게 하고, 터치 후 손을 아래로 내리는 제스쳐의 경우에는 거실 조명등을 어둡게 제어할 수 있다.In addition, a user's hand gesture can be the same as a general touch input method in a smart device (ex, spontaneous phone, smart pad). For example, various actions can be defined, such as a touching action immediately after touching, a right moving action when touched, and a left moving action. If you touch the area, you can turn on / off the living room light. In case of a gesture that raises your hand to the top, you can brighten the living room light. In the case of a gesture that touches your hand down, It can be controlled darkly.

상기 전자 기기는 조명 기기 이외에도 가전 기기를 포함할 수 있다. 예를 들어, 사용자의 제스쳐 동작에 따라 조명과 가전 기기의 전원을 동시에 제어하거나 개별 제어할 수도 있다. 이러한 제스쳐 별 전자 기기의 제어 동작은 보다 다양한 실시예가 존재할 수 있다.The electronic device may include a home appliance in addition to the lighting device. For example, according to the gesture operation of the user, it is possible to control the lighting and the power of the household appliances at the same time or individually. There may be more various embodiments of the control operation of the gesture-specific electronic device.

이상과 같은 본 발명의 실시예에 따르면, 사용자의 신체 일부를 추적하고 사용자의 신체 일부가 정해진 영역을 터치하여 특정한 동작을 취하면, 그에 대응되는 정해진 전기 스위치의 동작을 수행할 수 있다. 이에 따라, 기존의 배선이나 스위치 등과 같은 별도의 고정된 기구물을 필요로 하지 않으며, 가상 스위치 영역(30)의 위치를 자유 자재로 변경하여 원하는 위치에서 스위치 동작을 정의하여 사용할 수 있다.According to the embodiment of the present invention, when a part of a user's body is tracked and a specific operation is performed by touching a predetermined area of the user's body part, an operation of the predetermined electric switch corresponding thereto can be performed. Accordingly, the switch operation can be defined and used at a desired position by freely changing the position of the virtual switch region 30 without requiring a separate fixed structure such as conventional wiring or a switch.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

10: 3차원 카메라 20: 대상 공간
30: 가상 스위치 영역 100: 가상 스위치 제어 장치
110: 신체 검출부 120: 터치 판단부
130: 제스쳐 인식부 140: 명령 추출부
150: 기기 제어부 160: 제스쳐 DB10: Three-dimensional camera 20: Target space
30: virtual switch area 100: virtual switch control device
110: body detection unit 120: touch determination unit
130: Gesture recognition unit 140:
150: Device control unit 160: Gesture DB

Claims (10)

대상 공간에 설치되어 피사체의 깊이 정보를 획득하는 3차원 카메라를 이용한 터치 기반의 가상 스위치 제어 방법에 있어서,
상기 3차원 카메라의 촬상 영상으로부터 사용자의 신체 일부를 검출하는 단계;
상기 신체 일부가 상기 대상 공간 내의 기 설정된 가상 스위치 영역을 터치하는지의 여부를 판단하는 단계;
상기 신체 일부가 상기 가상 스위치 영역을 터치한 것으로 판단되면, 상기 터치 이후 상기 신체 일부가 취하는 제스쳐를 인식하는 단계;
제스쳐 별 제어 명령이 저장되어 있는 제스쳐 DB로부터 상기 인식된 제스쳐에 대응하는 제어 명령을 추출하는 단계; 및
상기 추출된 제어 명령을 통해 적어도 하나의 전자 기기의 구동을 제어하는 단계를 포함하는 터치 기반의 가상 스위치 제어 방법.A touch-based virtual switch control method using a three-dimensional camera installed in a target space to acquire depth information of a subject,
Detecting a part of the user's body from the sensed image of the three-dimensional camera;
Determining whether the body part touches a preset virtual switch area in the object space;
Recognizing a gesture taken by the body part after the touch if it is determined that the body part has touched the virtual switch area;
Extracting a control command corresponding to the recognized gesture from a gesture database storing a gesture-by-gesture control command; And
And controlling the driving of at least one electronic device through the extracted control command. 청구항 1에 있어서,
상기 가상 스위치 영역은,
상기 대상 공간 상에 상기 3차원 카메라가 인식 가능한 임의의 마커로 표시되어 있는 터치 기반의 가상 스위치 제어 방법.The method according to claim 1,
Wherein the virtual switch area comprises:
Wherein the three-dimensional camera is displayed on the target space with an arbitrary marker recognizable by the three-dimensional camera. 청구항 2에 있어서,
상기 마커는,
상기 대상 공간 상에서 위치 변경이 가능한 터치 기반의 가상 스위치 제어 방법.The method of claim 2,
The marker
Based virtual switch control method capable of changing a position on the object space. 청구항 1에 있어서,
상기 가상 스위치 영역은,
상기 3차원 카메라의 촬상 공간 상에 임의의 좌표 지점으로 설정되어 있는 터치 기반의 가상 스위치 제어 방법.The method according to claim 1,
Wherein the virtual switch area comprises:
Based virtual switch control method according to claim 1, wherein the virtual three-dimensional camera is set as an arbitrary coordinate point on an imaging space of the three-dimensional camera. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
상기 적어도 하나의 전자 기기는 조명 기기이고,
상기 제스쳐 별 제어 명령은,
상기 조명 기기의 점등, 소등, 조명 밝기의 업 및 다운 중 적어도 하나의 제어 명령을 포함하는 터치 기반의 가상 스위치 제어 방법.The method according to any one of claims 1 to 4,
Wherein the at least one electronic device is a lighting device,
The gesture-
And a control command for at least one of turning on and off the illumination device, and increasing or decreasing the brightness of the illumination device. 대상 공간에 설치되어 피사체의 깊이 정보를 획득하는 3차원 카메라를 이용한 터치 기반의 가상 스위치 제어 장치에 있어서,
상기 3차원 카메라의 촬상 영상으로부터 사용자의 신체 일부를 검출하는 신체 검출부;
상기 신체 일부가 상기 대상 공간 내의 기 설정된 가상 스위치 영역을 터치하는지의 여부를 판단하는 터치 판단부;
상기 신체 일부가 상기 가상 스위치 영역을 터치한 것으로 판단되면, 상기 터치 이후 상기 신체 일부가 취하는 제스쳐를 인식하는 제스쳐 인식부;
제스쳐 별 제어 명령이 저장되어 있는 제스쳐 DB로부터 상기 인식된 제스쳐에 대응하는 제어 명령을 추출하는 명령 추출부; 및
상기 추출된 제어 명령을 통해 적어도 하나의 전자 기기의 구동을 제어하는 기기 제어부를 포함하는 터치 기반의 가상 스위치 제어 장치.A touch-based virtual switch control apparatus using a three-dimensional camera installed in a target space to acquire depth information of a subject,
A body detecting unit for detecting a body part of the user from the sensed image of the three-dimensional camera;
A touch judging unit for judging whether or not the body part touches a preset virtual switch area within the object space;
A gesture recognition unit for recognizing a gesture taken by the body part after the touch if it is determined that the body part has touched the virtual switch area;
A command extracting unit for extracting a control command corresponding to the recognized gesture from a gesture DB storing a gesture-by-gesture control command; And
And a device controller for controlling driving of at least one electronic device through the extracted control command. 청구항 6에 있어서,
상기 가상 스위치 영역은,
상기 대상 공간 상에 상기 3차원 카메라가 인식 가능한 임의의 마커로 표시되어 있는 터치 기반의 가상 스위치 제어 장치.The method of claim 6,
Wherein the virtual switch area comprises:
Wherein the three-dimensional camera is displayed on the object space with an arbitrary marker recognizable by the three-dimensional camera. 청구항 7에 있어서,
상기 마커는,
상기 대상 공간 상에서 위치 변경이 가능한 터치 기반의 가상 스위치 제어 장치.The method of claim 7,
The marker
Based virtual switch control device capable of changing a position on the object space. 청구항 5에 있어서,
상기 가상 스위치 영역은,
상기 3차원 카메라의 촬상 공간 상에 임의의 좌표 지점으로 설정되어 있는 터치 기반의 가상 스위치 제어 장치.The method of claim 5,
Wherein the virtual switch area comprises:
Based virtual switch control device is set to an arbitrary coordinate point on an imaging space of the three-dimensional camera. 청구항 6 내지 청구항 9 중 어느 한 항에 있어서,
상기 적어도 하나의 전자 기기는 조명 기기이고,
상기 제스쳐 별 제어 명령은,
상기 조명 기기의 점등, 소등, 조명 밝기의 업 및 다운 중 적어도 하나의 제어 명령을 포함하는 터치 기반의 가상 스위치 제어 장치.The method according to any one of claims 6 to 9,
Wherein the at least one electronic device is a lighting device,
The gesture-
Based virtual switch control device including at least one control command for turning on / off the illumination device, and for increasing / decreasing the brightness of the illumination device.
KR1020120126989A 2012-11-09 2012-11-09 Method for controlling touch based virtual switch and apparatus thereof KR20140060191A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120126989A KR20140060191A (en) 2012-11-09 2012-11-09 Method for controlling touch based virtual switch and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120126989A KR20140060191A (en) 2012-11-09 2012-11-09 Method for controlling touch based virtual switch and apparatus thereof

Publications (1)

Publication Number Publication Date
KR20140060191A true KR20140060191A (en) 2014-05-19

Family

ID=50889732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120126989A KR20140060191A (en) 2012-11-09 2012-11-09 Method for controlling touch based virtual switch and apparatus thereof

Country Status (1)

Country Link
KR (1) KR20140060191A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190123148A (en) * 2018-04-23 2019-10-31 현대자동차주식회사 Input switch and operation method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190123148A (en) * 2018-04-23 2019-10-31 현대자동차주식회사 Input switch and operation method thereof

Similar Documents

Publication Publication Date Title
US10642372B2 (en) Apparatus and method for remote control using camera-based virtual touch
CN104007814B (en) For using sensor identification close to the device and method of movement
KR101872426B1 (en) Depth-based user interface gesture control
JP2013205983A (en) Information input apparatus, information input method, and computer program
US10452206B2 (en) Projection video display device and video display method
CN110162236B (en) Display method and device between virtual sample boards and computer equipment
JP6252409B2 (en) Information processing apparatus, information processing method, and program
JP2015069895A (en) Lighting control device and lighting control system
US20160231812A1 (en) Mobile gaze input system for pervasive interaction
JP2013229009A (en) Camera module for operation gesture recognition and home appliance
US9448639B2 (en) Controller
JP6242535B2 (en) Method for obtaining gesture area definition data for a control system based on user input
EP2921936B1 (en) Method and apparatus for gesture control of a device
JP2010244480A (en) Control device and control method based on gesture recognition
CN102830891A (en) Non-contact gesture control equipment and locking and unlocking method thereof
TW201426401A (en) Somatosensory household electrical products control equipment and its system
WO2017063893A1 (en) Touch control
KR20140060191A (en) Method for controlling touch based virtual switch and apparatus thereof
US20170209337A1 (en) Gesturing Proximity Sensor for Spa Operation
KR20090076124A (en) Method for controlling the digital appliance and apparatus using the same
KR20150026423A (en) Method and apparatus for controlling screen on mobile device
WO2018074055A1 (en) Information processing device, information processing method and program
JPWO2016051521A1 (en) Screen operation apparatus and screen operation method
JP2014002942A (en) Illumination control device
JP6364941B2 (en) Control signal generation method, control signal generation apparatus, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application