WO2015126197A1 - 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법 - Google Patents

카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법 Download PDF

Info

Publication number
WO2015126197A1
WO2015126197A1 PCT/KR2015/001703 KR2015001703W WO2015126197A1 WO 2015126197 A1 WO2015126197 A1 WO 2015126197A1 KR 2015001703 W KR2015001703 W KR 2015001703W WO 2015126197 A1 WO2015126197 A1 WO 2015126197A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
user
coordinate
virtual touch
coordinate data
Prior art date
Application number
PCT/KR2015/001703
Other languages
English (en)
French (fr)
Inventor
김석중
Original Assignee
주식회사 브이터치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 브이터치 filed Critical 주식회사 브이터치
Priority to US15/120,664 priority Critical patent/US10234954B2/en
Priority to CN201580021055.3A priority patent/CN106233229B/zh
Priority to EP15752766.4A priority patent/EP3121686A4/en
Publication of WO2015126197A1 publication Critical patent/WO2015126197A1/ko
Priority to US16/260,661 priority patent/US10642372B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a device and a method for a user to remotely control an electronic device, and in particular, to control a driving operation of the electronic device using a virtual touch remotely through a movement (gesture) of the user's fingertip at the center of the camera.
  • the present invention relates to a remote control apparatus and a method using a virtual touch centered on a camera.
  • the touch panel technology cannot be used remotely because the user needs to touch the display surface directly. Therefore, even electronic devices employing touch panel technology have no choice but to rely on devices such as a conventional remote control for remote operation.
  • Patent Document 1 Publication No. 2010-0129629 2010. 12. 9.
  • Patent Document 1 Publication No. 2010-0129629 2010. 12. 9.
  • the electronic device since the electronic device is configured to manipulate the operation of the home appliance through communication between the home appliance and the camera control unit, the electronic device can be remotely operated only at a fixed position at any time. This can only be limited to electronic devices.
  • Korean Patent Publication No. 10-2010-0129629 Electronic device operation control method by motion detection and electronic device employing the same
  • Korean Patent Publication No. 10-1235432 Remote control apparatus and method using virtual touch of 3D modeled electronic device
  • the present invention has been made in order to solve the above problems, it is set by using a camera that is connected to the center of the camera connected by an extension line of the eye and the finger, the remote virtual touch through the movement of the user's fingertips (gestures) It is an object of the present invention to provide a remote control apparatus and method using a virtual touch of the camera center for controlling the driving operation of the electronic device using.
  • Another object of the present invention is to use a virtual touch through the movement of the user's fingertips (gestures) of the electronic device in the remote place irrespective of the movement of the electronic device and the position and direction between the user and the electronic device It is to provide a remote control device and method capable of remote control.
  • a remote control apparatus using a camera-centered virtual touch is characterized by using an image acquisition unit for acquiring a user's body image through image capturing, and an image received from the image acquisition unit.
  • the coordinate data calculated by the position calculator is two-dimensional or three-dimensional coordinate data, characterized in that the coordinate data in terms of viewing from the camera lens of the image acquisition unit.
  • the remote control device using the virtual touch of the camera center
  • an electronic device driving control unit for converting a command code generated by the virtual touch setting unit into a control command signal for driving a corresponding electronic device and transmitting an operation command signal to a corresponding electronic device. Characterized in that the configuration.
  • the virtual touch setting unit detects a change in the coordinate data of the first and second coordinates acquired by the image acquisition unit when the match is confirmed by the matching confirmation unit, and a gesture detection unit detecting a user's finger movement (gesture);
  • An electronic device detection unit that detects a corresponding electronic device by comparing the electronic device information previously stored in the electronic device information DB based on the gesture detected by the gesture detection unit, and detected based on the gesture detected by the gesture detection unit
  • An electronic device setting unit for setting a control signal according to a driving operation of the electronic device, and a virtual touch processing unit for generating a command code for driving operation of the corresponding electronic device based on the control signal set in the electronic device setting unit; It is characterized in that the configuration.
  • the electronic device information database stores device product information such as a manufacturer and model name of an electronic device provided in a home, protocol information applied to driving operation for each device product, and operation method information for each electronic device. It is characterized by.
  • the operation command signal transmitted from the electronic device driving control unit is characterized in that it is transmitted through a short-range wireless communication method including an infrared (IR) signal, Wi-Fi (WiFi), Bluetooth (Bluetooth).
  • IR infrared
  • Wi-Fi Wi-Fi
  • Bluetooth Bluetooth
  • the calculated coordinate data is two-dimensional or three-dimensional coordinate data, characterized in that the coordinate data in the position viewed from the camera lens.
  • the step (d) is performed by comparing the electronic device information previously stored in the electronic device information DB based on the gesture detected by the gaze setting execution and the continuous operation. Setting an electronic device through which a driving operation is to be performed;
  • the user's second coordinates are based on a straight line extending from the camera lens, the first coordinates (eyes) and the second coordinates (fingers and pointers).
  • the control signal is set according to the movement of the joystick or an operation indicating selection or manipulation of a specific icon displayed on the display unit, and the second coordinate of the user is set to the camera lens, the first coordinate (eye) and the first.
  • the second coordinate of the user is set to the upper (or upper) of the camera lens, the first coordinate (eye) and the second straight line (finger, pointer) When moving in a curve, it characterized in that it is set to the control signal according to the operation for controlling the degree of rotation to adjust the size through the rotary wheel.
  • the step (d4) is characterized in that the operation command signal to be transmitted is transmitted in a short-range wireless communication method including an infrared (IR) signal, Wi-Fi (WiFi), Bluetooth (Bluetooth), Zigbee (Zigbee).
  • IR infrared
  • Wi-Fi Wi-Fi
  • Bluetooth Bluetooth
  • Zigbee Zigbee
  • the remote control apparatus and method using the virtual touch of the camera center according to the present invention has the following effects.
  • the manipulation operation is not performed by virtually touching the displayed operation icon by using a pointer through the display device, but by operating a specific electronic device by virtually touching the camera, it is possible to quickly operate the electronic device. Therefore, there is an effect that can be applied to all electronic devices that do not include a display device.
  • the present invention can provide a new touch recognition method that can be utilized in a virtual touch device that does not use a display device and can accurately operate an electronic device.
  • remote virtual touch is provided to perform operations corresponding to the virtual touch, and thus it can be applied to various application technologies.
  • FIG. 1 is a block diagram showing the configuration of a remote control device using a virtual touch of the camera center according to an embodiment of the present invention
  • FIG. 2A and 2B are views for explaining a process of checking whether a position of an eye and a finger, which is a user's body, is connected in an extended straight line in FIG. 10.
  • FIG. 3A is a screen illustrating an image captured when a match is confirmed in FIG. 2A.
  • FIG. 3B is a screen of the user's eyes when a match is confirmed in FIG. 2A.
  • 4A to 4C and 5 show a first embodiment of a method of driving operation of an electronic device according to a gesture to be detected.
  • 6A to 6D show a second embodiment of a method of driving operation of an electronic device according to a gesture to be detected.
  • FIG. 7A to 7C show a third embodiment of a method of driving operation of an electronic device according to a gesture to be detected
  • 8A to 8C show a fourth embodiment of a method of driving operation of an electronic device according to a gesture to be detected
  • 9A to 9C show a fifth embodiment of a method of driving operation of an electronic device according to a gesture to be detected
  • FIG. 10 is a flowchart illustrating a remote control method using a virtual touch centered on a camera according to an embodiment of the present invention.
  • FIG. 1 is a block diagram showing the configuration of a remote control device using a virtual touch of the camera center according to an embodiment of the present invention.
  • the remote control apparatus 100 includes an image acquisition unit 110, a position calculation unit 120, a matching confirmation unit 130, a virtual touch setting unit 140, and an electronic device.
  • the device driving control unit 150 is configured.
  • the image acquisition unit 110 is a kind of camera module, and may include an image sensor such as a CCD or a CMOS for detecting an image and converting the image into an electrical image signal.
  • an image sensor such as a CCD or a CMOS for detecting an image and converting the image into an electrical image signal.
  • the position calculator 120 calculates coordinate data indicating the position of the user's body, that is, the first coordinate (eye) and the second coordinate (finger, pointer) using the image received from the image acquirer 110.
  • the calculated coordinate data represents two-dimensional or three-dimensional coordinate data in terms of viewing from the camera lens of the image acquisition unit 110.
  • the finger of the user's body used for calculating the coordinate data is the only part capable of fine and delicate operation. Accordingly, in the present invention, it is very effective to use the tip of the thumb and / or forefinger as the first coordinate data.
  • a pointed tip eg, a pen
  • only the center point of one eye of the user is used as the second coordinate data. For example, if a user places an index finger in front of both eyes, the index finger will appear as two. This occurs because the shape of the index finger viewed by both eyes of the user is different (due to the angle difference between the eyes).
  • the present invention adopts the principle that the shape of the fingertip can be clearly recognized when looking at the finger or the pointer tip (second coordinate) with only one eye (first coordinate).
  • the matching checker 130 checks whether the matching of the positions of the eyes and fingers, which are the user's body identified as the user's body based on the coordinate data calculated by the position calculator 120, is connected by an extended straight line with respect to the camera lens.
  • the matching checker 130 may indicate clarity in the analysis of the captured image as it checks whether a match is made through an extension straight line of an eye and a finger photographed by the camera.
  • the virtual touch setting unit 140 determines that there is a user's intention when the matching is confirmed by the matching confirming unit 130, and determines whether there is a change in the coordinate data of the eye and the finger to correspond to the changed contact coordinate data. Perform the set operation.
  • the virtual touch setting unit 140 detects a change in the coordinate data of the eye and the finger acquired by the image acquisition unit 110 when the match is confirmed by the matching check unit 130, the user's finger movement ( Gesture detection unit 142 for detecting a gesture) and an electronic device for detecting a corresponding electronic device in comparison with the electronic device information previously stored in the electronic device information DB 145 based on the gesture detected by the gesture detection unit 142.
  • the electronic device setting unit 143 for setting a control signal according to the driving operation of the electronic device detected based on the gesture detected by the gesture detection unit 142
  • the electronic device setting unit 143 It is composed of a virtual touch processing unit 144 for generating a command code for driving operation of the electronic device 200 corresponding to the set control signal.
  • the electronic device information database (DB) 145 is a device product information, such as the manufacturer, model name of the electronic device provided in the home, protocol information applied to the driving operation for each device product, operation method information for each electronic device Saving.
  • the operation method information refers to information such as the movement of the user's finger and the touch position for manipulating the power, illuminance, volume, and temperature control of the electronic device with the virtual touch.
  • the information stored in the electronic device information DB 150 may be updated by the user at any time after the purchase of the electronic device, and as a method of updating, the information of the electronic device is downloaded by accessing the website of the home appliance. It may be received or updated by downloading the information of the electronic device through a transceiver configured in advance in the electronic device. This is possible in various embodiments within the scope of the technical idea of the present invention.
  • the position of the eye and the finger connected with the extension straight line can be easily calculated, and thus the movement (gesture) of the user's finger tip can be calculated. Faster and more accurate detection
  • the electronic device driving control unit 150 converts the control command signal for driving operation of the electronic device 200 into a corresponding electronic device 200. Send the operation command signal with).
  • the operation command signal is preferably transmitted as an infrared (IR) signal of the existing remote control, but is not limited to this, short-range wireless communication methods such as Wi-Fi (Bluetooth), Zigbee (Zigbee) currently being used Of course, it can be applied through.
  • IR infrared
  • the electronic device 200 subject to the remote control according to the present invention includes home networking such as lighting, speakers, air conditioners, fans, blinds, windows, curtains, doors, heating, gas, microwave ovens, video, cameras, CCTV, etc.
  • Various electronic devices can also be remotely controlled by the present invention.
  • the remote control device 100 is separately installed and installed separately from the electronic device to be remotely controlled, and thus, even when the electronic device is moved, the calculated three-dimensional spatial coordinates of the electronic device can be freely calculated so that the mobile devices can be freely moved. Application is possible.
  • FIG. 10 is a flowchart illustrating a remote control method using a virtual touch centered on a camera according to an exemplary embodiment of the present invention.
  • coordinate data is calculated using an image captured and received by the image acquisition unit 110 to obtain position information of a user's finger based on the user's eyes (S10).
  • the calculated coordinate data represents two-dimensional or three-dimensional coordinate data in terms of viewing from the camera lens of the image acquisition unit 110.
  • the position of the finger which is the user's body, identified based on the coordinate data calculated by the position calculator 120 around the camera lens 30 using the matching checker 130, is effective based on the eyes of the user. It is checked whether it matches the region (S20). In this case, the matching is performed as shown in FIGS. 2A and 2B, and the user's eye 10 and the user's hand 20 may coincide, and the user's hand 20 may be connected to the user's eye 20. It may be located in an adjacent location. That is, the effective area of the position of the user's hand 20 may vary according to the user's operation intention.
  • FIG. 3A is a screen illustrating an image captured by the image acquisition unit 110 when a match is confirmed
  • FIG. 3B is a screen displayed by the user's eyes when the user selects a camera lens.
  • the user's finger movement is detected by detecting a change in the coordinate data of the eye and the finger photographed by the camera, which is the image acquisition unit 110 (S30).
  • the detected finger movement may be a gesture for setting gaze or a gesture for controlling an electronic device.
  • the step S40 it is also possible to determine only whether the gesture is for setting the gaze (except gesture determination for controlling the electronic device).
  • the gesture for setting the gaze includes a case in which there is no movement of the user's finger.
  • the gaze setting is performed (S50).
  • the gaze setting is performed by checking whether the matching is performed through the extension lines of the eyes and the fingers photographed by the camera
  • the confirmation of the matching through the existing acquired image is performed by the movement of the finger through the 3D coordinates ( Unlike the method of detecting and setting the gaze by detecting a gesture, the effect of simplicity, clarity, and quick gaze can be achieved in the interpretation of the captured image.
  • all the steps may be finished in step S50.
  • the corresponding electronic device is detected in comparison with the electronic device information previously stored in the electronic device information DB 145 (S60).
  • a control signal according to a driving operation of the detected electronic device is set based on the detected gesture.
  • the driving manipulation method of the electronic device according to the detected gesture may represent various embodiments.
  • FIGS. 4A to 4B as the first embodiment, the user's finger is positioned up, down, left, and right with respect to the extension straight lines of the camera lens 30, the eye 10, and the finger 20. It may indicate when moving to the right.
  • FIG. 4B is a screen showing an image captured by the image acquisition unit 110
  • FIG. 4C is a screen shown from a user's eyes.
  • control signal may be set according to an operation indicating the movement of the joystick.
  • the image obtained by the image acquisition unit 110 may be detected simply and accurately as to which angle the center of the click wheel or up, down, left, or right is pointing.
  • FIGS. 6A to 6C as the second embodiment, the user's finger moves from left to right (or right to right) with respect to the extension straight line of the camera lens 30, the eye 10, and the finger 20. Left) can indicate the case of linear movement.
  • 6B is a screen showing an image captured by the image acquisition unit 110
  • FIG. 6C is a screen shown from a user's eyes.
  • FIG. 6D it can be set to a control signal according to an operation for switching control of the left and right on / off switches.
  • FIGS. 7A to 7B are a third embodiment, the user's finger is upwards (or downwards) from below on the basis of the extension straight lines of the camera lens 30, the eyes 10, and the fingers 20. ) It may indicate a linear movement.
  • FIG. 7B is a screen illustrating an image captured by the image acquirer 110.
  • the third embodiment as shown in FIG. 7C, it can be set to a control signal according to an operation for switching control of up and down on / off switches.
  • the user's finger is upwards (or downwards) from below on the basis of the extension straight lines of the camera lens 30, the eyes 10, and the fingers 20. ) It may indicate a wheel movement.
  • 8B is a screen illustrating an image captured by the image acquirer 110.
  • the fourth embodiment as shown in FIG. 8C, it can be set as a control signal according to an operation for controlling the degree of rotation for adjusting the size of the rotating wheel such as a volume.
  • a specific icon displayed on the display unit may be selected or manipulated. have.
  • the user's finger is based on the two-dimensional or three-dimensional coordinate data in the position viewed by the camera lens of the image acquisition unit 110 based on the extension straight line of the camera lens 30, the eye 10 and the finger 20. It is possible to easily control the driving operation of the electronic device by using the virtual touch remotely through the movement (gesture) of the user's fingertips.
  • control command is converted into a control command signal for driving operation of the electronic device based on the control signal set through the movement (gesture) of the user's fingertip based on the 2D or 3D coordinate data.
  • control signal set through the movement (gesture) of the user's fingertip based on the 2D or 3D coordinate data.
  • the generated command code is converted into a control command signal for driving operation of the corresponding electronic device, and the operation command signal is transmitted to the corresponding electronic device (S100).
  • the operation command signal to be transmitted is preferably transmitted as an infrared (IR) signal of the existing remote control, but is not limited thereto, and is currently used in a short range wireless communication method such as Wi-Fi, Bluetooth, and Zigbee. Can be transmitted.
  • IR infrared

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 카메라 중심으로 눈과 손가락의 연장 직선으로 연결되어 만나는 카메라를 이용하여 주시 설정을 하거나 사용자의 손가락 끝의 움직임(제스처)을 통한 원격 가상터치를 이용하여 전자기기의 구동조작을 제어하는 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법을 제공하기 위한 것으로서, 영상 촬영을 통해 사용자 신체 영상을 획득하는 영상 획득부와, 상기 영상 획득부로부터 수신한 영상을 이용하여 사용자 신체의 제 1 좌표(눈) 및 제 2 좌표(손가락, 포인터)의 위치를 나타내는 좌표 데이터를 산출하는 위치 산출부와, 카메라 렌즈를 중심으로 위치 산출부에서 산출된 좌표 데이터를 기반으로 확인된 사용자 신체의 제 1 및 제 2 좌표의 위치가 연장 직선으로 연결되는 매칭 여부를 확인하여 매칭이 확인되면 사용자의 설정 의도가 있는 것으로 판단하는 매칭 확인부를 포함하여 구성되는 것을 특징으로 한다.

Description

카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
본 발명은 사용자가 전자기기를 원격으로 조작하는 장치 및 방법에 관한 것으로, 특히 카메라 중심에서 사용자의 손가락 끝의 움직임(제스처)을 통한 원격에서 가상터치를 이용하여 전자기기의 구동조작을 제어할 수 있는 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법에 관한 것이다.
최근 스마트폰과 같이 터치패널을 구비한 전자기기들이 많이 사용되고 있다. 이러한 터치패널 기술은 기존 마우스로 조작 가능한 컴퓨터 등 전자기기와 비교할 때 디스플레이에 '포인터'를 표시할 필요가 없다. 사용자는 전자기기 조작을 위해 포인터(컴퓨터의 커서)를 해당 위치(예, 프로그램 아이콘)까지 이동시킬 필요 없이, 손가락을 아이콘 위로 이동한 후 터치하여 동작을 수행한다. 이러한 터치패널 기술에서는 기존 전자기기 제어수단으로 필수적인 '포인터'이동 단계가 불필요하여 전자기기의 빠른 조작이 가능하다.
그러나 터치패널 기술은 위와 같은 편리성에도 불구하고 사용자가 디스플레이 표시면을 직접 터치해야하기 때문에 원격에서는 이용할 수 없다는 단점이 있다. 따라서 터치패널 기술을 채용하는 전자기기라 하더라도 원격 조작을 위해서는 종래 리모컨과 같은 장치에 의존할 수밖에 없다.
최근 원격 전자기기 제어장치로서 터치패널 기술과 같이 정확한 지점에 포인터를 생성할 수 있는 장치, 즉 2대의 카메라를 이용하여 디스플레이 전면을 촬영한 후 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 디스플레이와 만나는 점에 포인터를 생성시키는 기술이 공개된 특허출원 [문헌 1 : 공개특허 제2010-0129629호 2010. 12. 9.]에 공개된바 있으나, 전자기기 제어를 위한 예비적인 조치로 '포인터'를 반드시 생성해야 하고(포인터 제어부를 두고 있음), 그 후에 구체적인 동작제어를 위해 사용자의 제스처를 기존에 저장된 패턴과 비교함으로써 동작을 수행하는 점에서 매우 불편하다.
또한 상기 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 만나는 디스플레이와 만나는 점을 검출하기 위해서 3차원 좌표 산출을 통한 3차원 공간좌표를 산출하고 있으나, 이 경우 전혀 다른 위치에서 촬영되는 카메라 영상을 통해 사용자의 눈, 손가락 그리고 동작제어를 위한 선택점을 각각 검출하여야 함에 따라 그 정확한 선택점을 검출하는데 어려움이 있으며, 그 정확한 선택점을 검출하기 위한 계산량도 높아질 수밖에 없는 문제점이 있다.
그리고 전자기기를 원격 조작하는 경우에 반드시 대화면(원거리에서도 조작 아이콘이 사용자에 의해 확인될 수 있는 크기)의 디스플레이 장치가 구성된 전자기기에 한정된다는 문제점이 있다. 이를 위해서는 전자기기의 전면에서만 원격 조작이 가능하므로, 전자기기를 조작하기 위해서 사용자는 반드시 전자기기의 전면으로 이동해야 하는 불편함이 있었다.
또한 기존에는 가전기기와 카메라 제어부 간의 서로 교신을 통해 가전기기의 동작을 조작하도록 구성함에 따라 전자기기는 언제는 고정된 위치에 한해서만 원격 조작이 가능한 문제점이 있어서, 원격 조작되는 전자기기의 종류가 이동성이 없는 전자기기로 한정될 수밖에 없다.
선행기술문헌
공개특허공보 제10-2010-0129629호 : 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
등록특허공보 제10-1235432호 : 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 카메라 중심으로 눈과 손가락의 연장 직선으로 연결되어 만나는 카메라를 이용하여 주시 설정되어 사용자의 손가락 끝의 움직임(제스처)을 통한 원격 가상터치를 이용하여 전자기기의 구동조작을 제어하는 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 전자기기의 움직임 및 사용자와 전자기기 간의 위치 및 방향과 상관없이 가정 내의 모든 공간에 위치하는 전자기기를 원격지에서 사용자의 손가락 끝의 움직임(제스처)을 통한 가상터치를 이용하여 원격 제어가 가능한 원격 조작 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 카메라 중심의 가상터치를 이용한 원격 조작 장치의 특징은 영상 촬영을 통해 사용자 신체 영상을 획득하는 영상 획득부와, 상기 영상 획득부로부터 수신한 영상을 이용하여 사용자 신체의 제 1 좌표(눈) 및 제 2 좌표(손가락, 포인터)의 위치를 나타내는 좌표 데이터를 산출하는 위치 산출부와, 카메라 렌즈를 중심으로 위치 산출부에서 산출된 좌표 데이터를 기반으로 확인된 사용자 신체의 제 1 및 제 2 좌표의 위치가 연장 직선으로 연결되는 매칭 여부를 확인하여 매칭이 확인되면 사용자의 설정 의도가 있는 것으로 판단하는 매칭 확인부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 위치 산출부에서 산출되는 좌표 데이터는 2차원 또는 3차원 좌표 데이터로서 영상 획득부의 카메라 렌즈에서 바라보는 입장에서 좌표 데이터인 것을 특징으로 한다.
바람직하게 상기 카메라 중심의 가상터치를 이용한 원격 조작 장치는
매칭 확인부에서 매칭이 확인되면 사용자의 설정 의도가 있는 것으로 판단하고, 제 1 및 제 2 좌표의 좌표 데이터의 변동이 있는지를 판단하여 변동되는 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 가상터치 설정부와, 상기 가상터치 설정부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동 제어부를 더 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 가상터치 설정부는 매칭 확인부에서 매칭이 확인되면, 상기 영상 획득부에서 획득되는 제 1 및 제 2 좌표의 좌표 데이터의 변동을 검출하여 사용자의 손가락 움직임(제스처)을 검출하는 제스처 검출부와, 상기 제스처 검출부에서 검출된 제스처를 기반으로 전자기기 정보 DB에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하는 전자기기 검출부와, 상기 제스처 검출부에서 검출된 제스처를 기반으로 검출된 전자기기의 구동 조작에 따른 제어신호를 설정하는 전자기기 설정부와, 상기 전자기기 설정부에서 설정된 제어신호를 기반으로 해당되는 전자기기의 구동 조작을 위한 명령코드를 생성하는 가상터치 처리부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 전자기기 정보 데이터베이스(DB)는 가정 내 구비된 전자기기의 제조사, 모델명 등의 기기제품 정보와, 기기제품별 구동 조작에 적용되는 프로토콜 정보와, 전자기기별 조작방법 정보를 저장하고 있는 것을 특징으로 한다.
바람직하게 상기 전자기기 구동 제어부에서 송신되는 조작 명령 신호는 적외선(IR) 신호, 와이파이(WiFi), 블루투스(Bluetooth)를 포함하는 단거리 무선통신 방식을 통해 송신되는 것을 특징으로 한다.
바람직하게 (A) 촬영되어 수신된 영상을 이용하여 좌표 데이터를 산출하여 사용자 신체의 제 1 좌표(눈) 및 제 2 좌표(손가락, 포인터)의 위치를 획득하는 단계와,
(B) 상기 획득된 사용자 신체에 따른 제 1 좌표 및 제 2 좌표를 기반으로 카메라 렌즈를 중심으로 연장 직선으로 연결되는 매칭 여부를 확인하는 단계와,
(C) 상기 확인 결과 매칭이 확인되면, 획득된 제 1 좌표 및 제 2 좌표의 좌표 데이터의 변동을 검출하여 사용자의 움직임(제스처)을 검출하는 단계와,
(D) 매칭이 확인되는 즉시 사용자의 설정 의도가 있는 것으로 판단하고, 주시설정으로 구분하여 주시설정을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
바람직하게 (a) 촬영되어 수신된 영상을 이용하여 좌표 데이터를 산출하여 사용자 신체의 제 1 좌표(눈) 및 제 2 좌표(손가락, 포인터)의 위치를 획득하는 단계와,
(b) 상기 획득된 사용자 신체에 따른 제 1 좌표 및 제 2 좌표를 기반으로 카메라 렌즈를 중심으로 연장 직선으로 연결되는 매칭 여부를 확인하는 단계와,
(c) 상기 확인 결과 매칭이 확인되면, 획득된 제 1 좌표 및 제 2 좌표의 좌표 데이터의 변동을 검출하여 사용자의 움직임(제스처)을 검출하는 단계와,
(d) 상기 검출된 손가락의 움직임을 기반으로 전자기기의 구동 조작을 위한 제어명령 신호를 생성하여 전자기기로 조작 명령 신호를 송신하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
바람직하게 상기 산출되는 좌표 데이터는 2차원 또는 3차원 좌표 데이터로서 카메라 렌즈에서 바라보는 입장에서 좌표 데이터를 나타내는 것을 특징으로 한다.
바람직하게 상기 (d) 단계는 (d1) 상기 주시설정 수행과 연속된 동작으로 검출되는 제스처를 기반으로 전자기기 정보 DB에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하여 가상터치를 통한 구동 조작이 이루어질 전자기기를 설정하는 단계와,
(d2) 상기 2차원 또는 3차원 좌표 데이터를 기반으로 검출되는 사용자의 움직임(제스처)을 통해 상기 설정된 전자기기의 구동 조작에 따른 제어신호를 설정하는 단계와,
(d3) 상기 설정된 제어신호를 기반으로 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 코드를 생성하는 단계와,
(d4) 상기 생성된 명령코드를 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
바람직하게 상기 (d2) 단계는 사용자의 제 2 좌표(손가락, 포인터)가 카메라 렌즈, 제 1 좌표(눈) 및 제 2 좌표(손가락, 포인터)의 연장 직선을 기준으로 상, 하, 좌, 우 중 적어도 하나로 움직이는 경우, 조이스틱의 움직임 또는 디스플레이부에 표시되어 있는 특정 아이콘의 선택이나 조작을 나타내는 조작에 따른 제어신호로 설정하고, 사용자의 제 2 좌표가 카메라 렌즈, 제 1 좌표(눈) 및 제 2 좌표(손가락, 포인터)의 연장 직선을 기준으로 좌에서 우로(또는 우에서 좌로) 또는 하에서 상으로(또는 상에서 하로) 직선 움직이는 경우, 좌우 또는 상하 온/오프를 위한 스위치를 스위칭 제어하기 위한 조작에 따른 제어신호로 설정하고, 사용자의 제 2 좌표가 카메라 렌즈, 제 1 좌표(눈) 및 제 2 좌표(손가락, 포인터)의 연장 직선을 기준으로 하에서 상으로(또는 상에서 하로) 곡선 움직이는 경우, 회전휠을 통한 크기를 조절하는 회전정도를 제어하기 위한 조작에 따른 제어신호로 설정하는 것을 특징으로 한다.
바람직하게 상기 (d4) 단계는 송신되는 조작 명령 신호가 적외선(IR) 신호, 와이파이(WiFi), 블루투스(Bluetooth), 지그비(Zigbee)를 포함하는 단거리 무선통신 방식으로의 송신되는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 카메라 중심으로 눈과 손가락의 연장 직선으로 연결되어 만나는 카메라를 이용하여 주시 설정됨에 따라 눈과 손가락의 연장 직선으로 연결되어 위치하는 터치 점의 정확한 위치를 손쉽게 산출할 수 있다. 따라서 사용자의 손가락 끝의 움직임(제스처)을 빠르고 정확하게 검출할 수 있는 효과가 있다.
둘째, 디스플레이 장치를 통한 포인터를 사용하여 표시된 조작 아이콘을 가상 터치하는 방법으로 이루어지는 것이 아니라, 카메라에 가상 터치하는 방식으로 특정 전자기기를 조작함으로써, 전자기기의 신속한 조작이 가능하다. 따라서 디스플레이 장치를 포함하지 않는 모든 전자기기에도 적용이 가능한 효과가 있다.
셋째, 지금까지 가상터치를 이용하는 연구의 경우, 디스플레이 장치를 활용한 응용기술에만 국한되어 개발되어 왔다. 이에 본 발명에서는 디스플레이 장치를 사용하지 않는 가상 터치 장치에서 활용할 수 있으면서, 전자기기의 동작을 정확하게 조작할 수 있는 새로운 터치 인식 방법을 제공할 수 있다.
넷째, 전자기기뿐만 아니라 커튼, 조명, 오토 도어락 등 스위칭을 통해 간편한 조작을 요구하는 기기의 경우에는 원격 가상터치를 제공하여 가상터치에 상응하는 조작을 수행하여 다양한 응용 기술에 적용이 가능하다.
도 1 은 본 발명의 실시예에 따른 카메라 중심의 가상터치를 이용한 원격 조작 장치의 구성을 나타낸 블록도
도 2a 내지 도 2b는 도 10에서 사용자 신체인 눈 및 손가락의 위치가 연장 직선으로 연결되는 매칭 여부를 확인하는 과정을 설명하기 위한 도면
도 3a는 도 2a에서 매칭 여부 확인에서 매칭된 경우에 촬영된 영상을 나타낸 화면
도 3b는 도 2a에서 매칭 여부 확인에서 매칭된 경우에 사용자의 시선에서 나타낸 화면
도 4a 내지 도 4c 및 도 5 는 검출되는 제스처에 따른 전자기기의 구동 조작의 방법의 제 1 실시예를 나타낸 도면
도 6a 내지 6d는 검출되는 제스처에 따른 전자기기의 구동 조작의 방법의 제 2 실시예를 나타낸 도면
도 7a 내지 7c는 검출되는 제스처에 따른 전자기기의 구동 조작의 방법의 제 3 실시예를 나타낸 도면
도 8a 내지 8c는 검출되는 제스처에 따른 전자기기의 구동 조작의 방법의 제 4 실시예를 나타낸 도면
도 9a 내지 9c는 검출되는 제스처에 따른 전자기기의 구동 조작의 방법의 제 5 실시예를 나타낸 도면
도 10 은 본 발명의 실시예에 따른 카메라 중심의 가상터치를 이용한 원격 조작 방법을 나타낸 흐름도
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1 은 본 발명의 실시예에 따른 카메라 중심의 가상터치를 이용한 원격 조작 장치의 구성을 나타낸 블록도이다.
도 1에서 도시하고 있는 것과 같이, 원격 조작 장치(100)는 영상 획득부(110)와, 위치 산출부(120)와, 매칭 확인부(130)와, 가상터치 설정부(140)와, 전자기기 구동 제어부(150)로 구성된다.
상기 영상 획득부(110)는 일종의 카메라 모듈로서, 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 이미지 센서를 포함할 수 있다.
상기 위치 산출부(120)는 영상 획득부(110)로부터 수신한 영상을 이용하여 사용자 신체, 즉 제 1 좌표(눈) 및 제 2 좌표(손가락, 포인터)의 위치를 나타내는 좌표 데이터를 산출한다. 이때, 산출되는 좌표 데이터는 2차원 또는 3차원 좌표 데이터로서 영상 획득부(110)의 카메라 렌즈에서 바라보는 입장에서 좌표 데이터를 나타낸다.
또한, 좌표 데이터를 산출하기 위한 사용되는 사용자 신체 중 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 이에 따라 본 발명에서 제 1 좌표 데이터로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다. 또한 같은 맥락에서 상기 제 1 좌표 데이터의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜)를 사용할 수 있다. 그리고 본 발명에서는 제 2 좌표 데이터로서 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다. 본 발명에서는 한쪽 눈(제 1 좌표)으로만 손가락 또는 포인터 끝(제 2 좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다.
상기 매칭 확인부(130)는 카메라 렌즈를 중심으로 위치 산출부(120)에서 산출된 좌표 데이터를 기반으로 확인된 사용자 신체인 눈 및 손가락의 위치가 연장 직선으로 연결되는 매칭 여부를 확인한다. 상기 매칭 확인부(130)에서는 카메라에서 촬영되는 눈 및 손가락의 연장 직선을 통해 매칭 여부를 확인함에 따라 촬영 영상의 해석에 명확성을 나타낼 수 있다.
상기 가상터치 설정부(140)는 매칭 확인부(130)에서 매칭이 확인되면 사용자의 설정 의도가 있는 것으로 판단하고, 눈 및 손가락의 좌표 데이터의 변동이 있는지를 판단하여 변동되는 접점 좌표 데이터에 대응되도록 설정된 동작을 수행한다.
이를 위해, 상기 가상터치 설정부(140)는 매칭 확인부(130)에서 매칭이 확인되면, 상기 영상 획득부(110)에서 획득되는 눈 및 손가락의 좌표 데이터의 변동을 검출하여 사용자의 손가락 움직임(제스처)을 검출하는 제스처 검출부(142)와, 제스처 검출부(142)에서 검출된 제스처를 기반으로 전자기기 정보 DB(145)에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하는 전자기기 검출부(141)와, 제스처 검출부(142)에서 검출된 제스처를 기반으로 검출된 전자기기의 구동 조작에 따른 제어신호를 설정하는 전자기기 설정부(143)와, 전자기기 설정부(143)에서 설정된 제어신호를 기반으로 해당되는 전자기기(200)의 구동 조작을 위한 명령코드를 생성하는 가상터치 처리부(144)로 구성된다.
이때, 상기 전자기기 정보 데이터베이스(DB)(145)는 가정 내 구비된 전자기기의 제조사, 모델명 등의 기기제품 정보와, 기기제품별 구동 조작에 적용되는 프로토콜 정보와, 전자기기별 조작방법 정보를 저장하고 있다. 이때 조작방법 정보는 전자기기의 전원, 조도, 음량, 온도조절 등을 가상 터치로 조작하기 위한 사용자 손가락의 움직임 및 터치 위치 등의 정보를 말한다. 참고로 상기 전자기기 정보 DB(150)에 저장되는 정보들은 전자기기의 구매 후, 사용자에 의해 수시로 갱신이 가능하며, 갱신하는 방법으로는 가전제품의 웹사이트에 접속하여 해당 전자기기의 정보를 다운로드 받거나 또는 전자기기 내부에 미리 구성되어 있는 송수신기 등을 통해 해당 전자기기의 정보를 다운로드 받아 갱신할 수도 있다. 이는 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능하다.
따라서 상기 가상터치 설정부(140)를 통해 카메라를 이용하여 주시 설정됨에 따라 눈과 손가락의 연장 직선으로 연결되어 변동되는 위치를 손쉽게 산출할 수 있으며, 이에 따라 사용자의 손가락 끝의 움직임(제스처)을 보다 빠르고 정확하게 검출할 수 있다.
상기 전자기기 구동 제어부(150)는 상기 가상터치 설정부(140)에서 생성된 명령코드가 입력되면, 해당되는 전자기기(200)의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기(200)로 조작 명령 신호를 송신한다. 이때 송신되는 조작 명령 신호는 기존 리모컨의 적외선(IR) 신호로 송신되는 것이 바람직하지만, 이에 한정되지 않으며, 현재 사용되고 있는 와이파이(WiFi), 블루투스(Bluetooth), 지그비(Zigbee) 등 단거리 무선통신 방식을 통해서도 적용이 가능함은 당연하다.
한편, 본 발명에 따른 원격 조정의 대상이 되는 전자기기(200)로는 조명, 스피커, 에어컨, 선풍기, 블라인드, 창문, 커튼, 문, 난방, 가스, 전자레인지, 비디오, 카메라, CCTV 등 홈 네트워킹을 구성하고 각종 전자기기들도 본 발명에 의한 원격 조종 대상이 될 수 있다.
이처럼, 상기 원격 조작 장치(100)는 원격 조정의 대상이 되는 전자기기와 별도로 분리되어 설치됨으로서, 전자기기의 이동시에도 전자기기의 변화된 3차원 공간좌표의 산출이 자유로워 이동성이 자유로운 각종 전자기기의 적용이 가능하다.
이와 같이 구성된 본 발명에 따른 카메라 중심의 가상터치를 이용한 원격 조작 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1과 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 10 은 본 발명의 실시예에 따른 카메라 중심의 가상터치를 이용한 원격 조작 방법을 나타낸 흐름도이다.
도 10을 참조하여 설명하면, 먼저 영상 획득부(110)에서 촬영되어 수신된 영상을 이용하여 좌표 데이터를 산출하여 사용자의 눈을 기준으로 사용자 손가락의 위치정보를 획득한다(S10). 이때, 산출되는 좌표 데이터는 2차원 또는 3차원 좌표 데이터로서 영상 획득부(110)의 카메라 렌즈에서 바라보는 입장에서 좌표 데이터를 나타낸다.
이어, 상기 매칭 확인부(130)를 이용하여 카메라 렌즈(30)를 중심으로 위치 산출부(120)에서 산출된 좌표 데이터를 기반으로 확인된 사용자 신체인 손가락의 위치가 사용자의 눈을 기준으로 유효영역에 매칭되는지를 확인한다(S20). 이때, 매칭이 이루어지는 것은 도 2a 및 도 2b에서 도시하고 있는 것과 같이 사용자의 눈(10)과 사용자의 손(20)이 일치할 수도 있고, 사용자의 손(20)이 사용자의 눈(20)의 인접한 위치에 위치할 수도 있다. 즉, 사용자의 조작의도에 따라 사용자의 손(20) 위치의 유효영역이 달라질 수도 있는 것이다. 도 3a는 매칭 여부 확인에서 매칭된 경우에 영상 획득부(110)에서 촬영된 영상을 나타낸 화면이고, 도 3b는 사용자가 카메라 렌즈를 선택한 경우 사용자의 시선에서 나타낸 화면이다.
상기 확인 결과(S20) 매칭이 확인되면, 영상 획득부(110)인 카메라에서 촬영되는 눈 및 손가락의 좌표 데이터의 변동을 검출하여 사용자의 손가락 움직임(제스처)을 검출한다(S30).
그리고 상기 검출된 손가락의 움직임이 주시설정을 위한 제스처인지 아니면 전자기기 제어를 위한 제스처인지 구분한다(S40). 상기 단계 S40에서 주시설정을 위한 제스쳐인지만을 판단하는 것도 가능하다(전자기기 제어를 위한 제스처 판단 제외). 이때, 주시설정을 위한 제스처는 사용자 손가락의 움직임이 없는 경우를 포함한다.
그리고 구분된 제스처가 주시설정을 위한 제스처인 경우 주시설정을 수행한다(S50). 이처럼, 본 발명에서는 카메라에서 촬영되는 눈 및 손가락의 연장 직선을 통해 매칭 여부를 확인하여 주시설정을 수행함에 따라, 기존의 획득된 영상을 통한 매칭 여부의 확인이 3차원 좌표를 통한 손가락의 움직임(제스처)을 검출하여 주시설정을 하는 수행하는 방법과 달리, 촬영 영상의 해석에 간편함과 명확성, 그리고 빠른 주시설정이 가능한 효과를 나타낼 수 있다. 이와 같이 본 발명에서 각종 전자기기 조작을 위한 주시설정의 용도로 사용되는 경우에는 단계 S50으로 모든 단계가 종료될 수 있다.
이어 주시설정 수행과 연속된 동작으로 검출되는 제스처를 기반으로 전자기기 정보 DB(145)에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하여(S60) 가상터치를 통한 구동 조작이 이루어질 전자기기(200)를 설정한다(S70).
그리고 검출되는 제스처를 기반으로 검출된 전자기기의 구동 조작에 따른 제어신호를 설정한다(S80). 이때, 검출되는 제스처에 따른 전자기기의 구동 조작의 방법은 다양한 실시예를 나타낼 수 있다.
즉, 제 1 실시예로서 도 4a 내지 도 4b에서 도시하고 있는 것과 같이, 사용자의 손가락이 카메라 렌즈(30), 눈(10) 및 손가락(20)의 연장 직선을 기준으로 상, 하, 좌, 우로 움직이는 경우에를 나타낼 수 있다. 이때, 도 4b는 영상 획득부(110)에서 촬영된 영상을 나타낸 화면이고, 도 4c는 사용자의 시선에서 나타낸 화면이다.
그리고 상기 제 1 실시예의 경우는 도 5에서 도시하고 있는 것과 같이 조이스틱의 움직임을 나타내는 조작에 따른 제어신호로 설정할 수 있다. 이는 도 4b에서 도시하고 있는 것과 같이 클릭휠의 중심 또는 상하좌우 어느 각도를 가리키는지 영상 획득부(110)에서 획득된 영상으로 간단하면서도 정확하게 검출할 수 있다.
또한 제 2 실시예로서 도 6a 내지 도 6c에서 도시하고 있는 것과 같이, 사용자의 손가락이 카메라 렌즈(30), 눈(10) 및 손가락(20)의 연장 직선을 기준으로 좌에서 우로(또는 우에서 좌로) 직선 움직이는 경우를 나타낼 수 있다. 이때, 도 6b는 영상 획득부(110)에서 촬영된 영상을 나타낸 화면이고, 도 6c는 사용자의 시선에서 나타낸 화면이다.
그리고 제 2 실시예의 경우는 도 6d에서 도시하고 있는 것과 같이, 좌우 온/오프를 위한 스위치를 스위칭 제어하기 위한 조작에 따른 제어신호로 설정할 수 있다.
또한 제 3 실시예로서 도 7a 내지 도 7b에서 도시하고 있는 것과 같이, 사용자의 손가락이 카메라 렌즈(30), 눈(10) 및 손가락(20)의 연장 직선을 기준으로 하에서 상으로(또는 상에서 하로) 직선 움직이는 경우를 나타낼 수 있다. 이때, 도 7b는 영상 획득부(110)에서 촬영된 영상을 나타낸 화면이다.
그리고 제 3 실시예의 경우는 도 7c에서 도시하고 있는 것과 같이, 상하 온/오프를 위한 스위치를 스위칭 제어하기 위한 조작에 따른 제어신호로 설정할 수 있다.
또한 제 4 실시예로서 도 8a 내지 도 8b에서 도시하고 있는 것과 같이, 사용자의 손가락이 카메라 렌즈(30), 눈(10) 및 손가락(20)의 연장 직선을 기준으로 하에서 상으로(또는 상에서 하로) 휠(whell) 움직이는 경우를 나타낼 수 있다. 이때, 도 8b는 영상 획득부(110)에서 촬영된 영상을 나타낸 화면이다.
그리고 제 4 실시예의 경우는 도 8c에서 도시하고 있는 것과 같이, 볼륨 등 회전휠의 크기를 조절하는 회전정도를 제어하기 위한 조작에 따른 제어신호로 설정할 수 있다.
상기 제 1 내지 제 4 실시예를 이용하면, 도 9a 내지 도 9c에서 도시하고 있는 것과 같이, TV 등과 같이 디스플레이부가 구비된 전자기기의 경우는 디스플레이부에 표시되어 있는 특정 아이콘을 선택하거나 조작할 수도 있다.
이처럼, 사용자의 손가락이 카메라 렌즈(30), 눈(10) 및 손가락(20)의 연장 직선을 기준으로 영상 획득부(110)의 카메라 렌즈에서 바라보는 입장에서 2차원 또는 3차원 좌표 데이터를 기반으로 사용자의 손가락 끝의 움직임(제스처)을 통한 원격에서 가상터치를 이용하여 전자기기의 구동조작을 손쉽게 제어할 수 있다.
이와 같이, 2차원 또는 3차원 좌표 데이터를 기반으로 사용자의 손가락 끝의 움직임(제스처)을 통해 설정된 제어신호를 기반으로 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 코드를 생성한다(S90).
그리고 상기 생성된 명령코드를 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신한다(S100). 이때 송신되는 조작 명령 신호는 기존 리모컨의 적외선(IR) 신호로 송신되는 것이 바람직하지만, 이에 한정되지 않으며, 현재 사용되고 있는 와이파이(WiFi), 블루투스(Bluetooth), 지그비(Zigbee) 등 단거리 무선통신 방식으로의 송신이 가능하다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (12)

  1. 영상 촬영을 통해 사용자 신체 영상을 획득하는 영상 획득부와,
    상기 영상 획득부로부터 수신한 영상을 이용하여 사용자 신체의 제 1 좌표(눈) 및 제 2 좌표(손가락, 포인터)의 위치를 나타내는 좌표 데이터를 산출하는 위치 산출부와,
    카메라 렌즈를 중심으로 위치 산출부에서 산출된 좌표 데이터를 기반으로 확인된 사용자 신체의 제 1 및 제 2 좌표의 위치가 연장 직선으로 연결되는 매칭 여부를 확인하여 매칭이 확인되면 사용자의 설정 의도가 있는 것으로 판단하는 매칭 확인부를 포함하여 구성되는 것을 특징으로 하는 카메라 중심의 가상터치를 이용한 원격 조작 장치.
  2. 제 1 항에 있어서,
    상기 위치 산출부에서 산출되는 좌표 데이터는 2차원 또는 3차원 좌표 데이터로서 영상 획득부의 카메라 렌즈에서 바라보는 입장에서 좌표 데이터인 것을 특징으로 하는 카메라 중심의 가상터치를 이용한 원격 조작 장치.
  3. 제 1 항에 있어서, 상기 카메라 중심의 가상터치를 이용한 원격 조작 장치는
    매칭 확인부에서 매칭이 확인되면 사용자의 설정 의도가 있는 것으로 판단하고, 제 1 및 제 2 좌표의 좌표 데이터의 변동이 있는지를 판단하여 변동되는 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 가상터치 설정부와,
    상기 가상터치 설정부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동 제어부를 더 포함하여 구성되는 것을 특징으로 하는 카메라 중심의 가상터치를 이용한 원격 조작 장치.
  4. 제 3 항에 있어서, 상기 가상터치 설정부는
    매칭 확인부에서 매칭이 확인되면, 상기 영상 획득부에서 획득되는 제 1 및 제 2 좌표의 좌표 데이터의 변동을 검출하여 사용자의 손가락 움직임(제스처)을 검출하는 제스처 검출부와,
    상기 제스처 검출부에서 검출된 제스처를 기반으로 전자기기 정보 DB에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하는 전자기기 검출부와,
    상기 제스처 검출부에서 검출된 제스처를 기반으로 검출된 전자기기의 구동 조작에 따른 제어신호를 설정하는 전자기기 설정부와,
    상기 전자기기 설정부에서 설정된 제어신호를 기반으로 해당되는 전자기기의 구동 조작을 위한 명령코드를 생성하는 가상터치 처리부를 포함하여 구성되는 것을 특징으로 하는 카메라 중심의 가상터치를 이용한 원격 조작 장치.
  5. 제 4 항에 있어서,
    상기 전자기기 정보 데이터베이스(DB)는 가정 내 구비된 전자기기의 제조사, 모델명 등의 기기제품 정보와, 기기제품별 구동 조작에 적용되는 프로토콜 정보와, 전자기기별 조작방법 정보를 저장하고 있는 것을 특징으로 하는 카메라 중심의 가상터치를 이용한 원격 조작 장치.
  6. 제 3 항에 있어서,
    상기 전자기기 구동 제어부에서 송신되는 조작 명령 신호는 적외선(IR) 신호, 와이파이(WiFi), 블루투스(Bluetooth), 지그비(Zigbee)를 포함하는 단거리 무선통신 방식을 통해 송신되는 것을 특징으로 하는 카메라 중심의 가상터치를 이용한 원격 조작 장치.
  7. (A) 촬영되어 수신된 영상을 이용하여 좌표 데이터를 산출하여 사용자 신체의 제 1 좌표(눈) 및 제 2 좌표(손가락, 포인터)의 위치를 획득하는 단계와,
    (B) 상기 획득된 사용자 신체에 따른 제 1 좌표 및 제 2 좌표를 기반으로 카메라 렌즈를 중심으로 연장 직선으로 연결되는 매칭 여부를 확인하는 단계와,
    (C) 상기 확인 결과 매칭이 확인되면, 획득된 제 1 좌표 및 제 2 좌표의 좌표 데이터의 변동을 검출하여 사용자의 움직임(제스처)을 검출하는 단계와,
    (D) 매칭이 확인되는 즉시 사용자의 설정 의도가 있는 것으로 판단하고, 주시설정으로 구분하여 주시설정을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 카메라 중심의 가상터치를 이용한 원격 조작 방법.
  8. (a) 촬영되어 수신된 영상을 이용하여 좌표 데이터를 산출하여 사용자 신체의 제 1 좌표(눈) 및 제 2 좌표(손가락, 포인터)의 위치를 획득하는 단계와,
    (b) 상기 획득된 사용자 신체에 따른 제 1 좌표 및 제 2 좌표를 기반으로 카메라 렌즈를 중심으로 연장 직선으로 연결되는 매칭 여부를 확인하는 단계와,
    (c) 상기 확인 결과 매칭이 확인되면, 획득된 제 1 좌표 및 제 2 좌표의 좌표 데이터의 변동을 검출하여 사용자의 움직임(제스처)을 검출하는 단계와,
    (d) 상기 검출된 손가락의 움직임을 기반으로 전자기기의 구동 조작을 위한 제어명령 신호를 생성하여 전자기기로 조작 명령 신호를 송신하는 단계를 포함하여 이루어지는 것을 특징으로 하는 카메라 중심의 가상터치를 이용한 원격 조작 방법.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 산출되는 좌표 데이터는 2차원 또는 3차원 좌표 데이터로서 카메라 렌즈에서 바라보는 입장에서 좌표 데이터를 나타내는 것을 특징으로 하는 카메라 중심의 가상터치를 이용한 원격 조작 방법.
  10. 제 8 항에 있어서, 상기 (d) 단계는
    (d1) 상기 주시설정 수행과 연속된 동작으로 검출되는 제스처를 기반으로 전자기기 정보 DB에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하여 가상터치를 통한 구동 조작이 이루어질 전자기기를 설정하는 단계와,
    (d2) 상기 2차원 또는 3차원 좌표 데이터를 기반으로 검출되는 사용자의 움직임(제스처)을 통해 상기 설정된 전자기기의 구동 조작에 따른 제어신호를 설정하는 단계와,
    (d3) 상기 설정된 제어신호를 기반으로 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 코드를 생성하는 단계와,
    (d4) 상기 생성된 명령코드를 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 단계를 포함하여 이루어지는 것을 특징으로 하는 카메라 중심의 가상터치를 이용한 원격 조작 방법.
  11. 제 10 항에 있어서, 상기 (d2) 단계는
    사용자의 제 2 좌표가 카메라 렌즈, 제 1 좌표 및 제 2 좌표의 연장 직선을 기준으로 상, 하, 좌, 우 중 적어도 하나로 움직이는 경우, 조이스틱의 움직임 또는 디스플레이부에 표시되어 있는 특정 아이콘의 선택이나 조작을 나타내는 조작에 따른 제어신호로 설정하고,
    사용자의 제 2 좌표가 카메라 렌즈, 제 1 좌표 및 제 2 좌표의 연장 직선을 기준으로 좌에서 우로(또는 우에서 좌로) 또는 하에서 상으로(또는 상에서 하로) 직선 움직이는 경우, 좌우 또는 상하 온/오프를 위한 스위치를 스위칭 제어하기 위한 조작에 따른 제어신호로 설정하고,
    사용자의 제 2 좌표가 카메라 렌즈, 제 1 좌표 및 제 2 좌표의 연장 직선을 기준으로 하에서 상으로(또는 상에서 하로) 곡선 움직이는 경우, 회전휠을 통한 크기를 조절하는 회전정도를 제어하기 위한 조작에 따른 제어신호로 설정하는 것을 특징으로 하는 카메라 중심의 가상터치를 이용한 원격 조작 방법.
  12. 제 10 항에 있어서,
    상기 (d4) 단계는 송신되는 조작 명령 신호가 적외선(IR) 신호, 와이파이(WiFi), 블루투스(Bluetooth), 지그비(Zigbee)를 포함하는 단거리 무선통신 방식으로의 송신되는 것을 특징으로 하는 카메라 중심의 가상터치를 이용한 원격 조작 방법.
PCT/KR2015/001703 2014-02-22 2015-02-23 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법 WO2015126197A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/120,664 US10234954B2 (en) 2014-02-22 2015-02-23 Apparatus and method for remote control using camera-based virtual touch
CN201580021055.3A CN106233229B (zh) 2014-02-22 2015-02-23 利用以摄像机为中心的虚拟触控的远程操作装置及方法
EP15752766.4A EP3121686A4 (en) 2014-02-22 2015-02-23 Apparatus and method for remote control using camera-based virtual touch
US16/260,661 US10642372B2 (en) 2014-02-22 2019-01-29 Apparatus and method for remote control using camera-based virtual touch

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140020985A KR101533319B1 (ko) 2014-02-22 2014-02-22 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
KR10-2014-0020985 2014-02-22

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/120,664 A-371-Of-International US10234954B2 (en) 2014-02-22 2015-02-23 Apparatus and method for remote control using camera-based virtual touch
US16/260,661 Continuation US10642372B2 (en) 2014-02-22 2019-01-29 Apparatus and method for remote control using camera-based virtual touch

Publications (1)

Publication Number Publication Date
WO2015126197A1 true WO2015126197A1 (ko) 2015-08-27

Family

ID=53788435

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/001703 WO2015126197A1 (ko) 2014-02-22 2015-02-23 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법

Country Status (5)

Country Link
US (2) US10234954B2 (ko)
EP (1) EP3121686A4 (ko)
KR (1) KR101533319B1 (ko)
CN (1) CN106233229B (ko)
WO (1) WO2015126197A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3531242A4 (en) * 2016-10-24 2020-06-17 Vtouch Co., Ltd. METHOD AND DEVICE FOR SUPPORTING THE CONTROL OF OBJECTS AND TRANSITIONAL COMPUTER-READABLE RECORDING MEDIUM

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101807513B1 (ko) * 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
CN115016678A (zh) * 2017-02-02 2022-09-06 麦克赛尔株式会社 显示装置
KR102463712B1 (ko) 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
KR102072796B1 (ko) * 2018-05-16 2020-02-03 주식회사 브이터치 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102155378B1 (ko) * 2018-09-19 2020-09-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102225342B1 (ko) * 2019-02-13 2021-03-09 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102191061B1 (ko) * 2019-03-11 2020-12-15 주식회사 브이터치 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN110850973B (zh) * 2019-10-29 2023-10-03 歌尔股份有限公司 音频设备的控制方法、音频设备及存储介质
KR102346294B1 (ko) * 2020-03-03 2022-01-04 주식회사 브이터치 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US20230161339A1 (en) * 2020-04-24 2023-05-25 Nec Corporation Unmanned aerial vehicle remote control device, unmanned aerial vehicle remotecontrol system, unmanned aerial vehicle remote control method, and non-transitorycomputer readable medium
CN112363626B (zh) * 2020-11-25 2021-10-01 广东魅视科技股份有限公司 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法
CN114482833A (zh) * 2022-01-24 2022-05-13 西安建筑科技大学 一种基于手势识别的智能遮阳百叶控制系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20120126508A (ko) * 2011-05-12 2012-11-21 김석중 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR20120136719A (ko) * 2011-06-09 2012-12-20 안지윤 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법
JP2013210723A (ja) * 2012-03-30 2013-10-10 Sharp Corp 表示システム
KR20130133482A (ko) * 2012-05-29 2013-12-09 주식회사 브이터치 티오에프 카메라를 이용한 포인터를 사용하지 않는 가상 터치 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US7893920B2 (en) 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
JP4274997B2 (ja) * 2004-05-06 2009-06-10 アルパイン株式会社 操作入力装置および操作入力方法
US8149210B2 (en) 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
CN106125921B (zh) * 2011-02-09 2019-01-15 苹果公司 3d映射环境中的凝视检测
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101381928B1 (ko) 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US20120268424A1 (en) * 2011-04-20 2012-10-25 Kim Taehyeong Method and apparatus for recognizing gesture of image display device
KR101235432B1 (ko) 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
US8947351B1 (en) * 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
WO2014106219A1 (en) * 2012-12-31 2014-07-03 Burachas Giedrius Tomas User centric interface for interaction with visual display that recognizes user intentions
KR102517425B1 (ko) * 2013-06-27 2023-03-31 아이사이트 모빌 테크놀로지 엘티디 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
US10025431B2 (en) * 2013-11-13 2018-07-17 At&T Intellectual Property I, L.P. Gesture detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20120126508A (ko) * 2011-05-12 2012-11-21 김석중 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR20120136719A (ko) * 2011-06-09 2012-12-20 안지윤 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법
JP2013210723A (ja) * 2012-03-30 2013-10-10 Sharp Corp 表示システム
KR20130133482A (ko) * 2012-05-29 2013-12-09 주식회사 브이터치 티오에프 카메라를 이용한 포인터를 사용하지 않는 가상 터치 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3121686A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3531242A4 (en) * 2016-10-24 2020-06-17 Vtouch Co., Ltd. METHOD AND DEVICE FOR SUPPORTING THE CONTROL OF OBJECTS AND TRANSITIONAL COMPUTER-READABLE RECORDING MEDIUM
US10948995B2 (en) 2016-10-24 2021-03-16 VTouch Co., Ltd. Method and system for supporting object control, and non-transitory computer-readable recording medium

Also Published As

Publication number Publication date
US10234954B2 (en) 2019-03-19
US10642372B2 (en) 2020-05-05
US20190163284A1 (en) 2019-05-30
EP3121686A1 (en) 2017-01-25
EP3121686A4 (en) 2018-04-25
US20170075427A1 (en) 2017-03-16
KR101533319B1 (ko) 2015-07-03
CN106233229B (zh) 2019-12-24
CN106233229A (zh) 2016-12-14

Similar Documents

Publication Publication Date Title
WO2015126197A1 (ko) 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
WO2013009040A2 (ko) 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
US11099655B2 (en) System and method for gesture based data and command input via a wearable device
WO2013180446A1 (ko) 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
WO2012111976A2 (ko) 표시면에 포인터를 사용하지 않는 가상 터치 장치
WO2012111998A2 (ko) 포인터를 사용하지 않는 가상 터치 장치
WO2012154001A2 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
WO2013183938A1 (ko) 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
WO2018151449A1 (en) Electronic device and methods for determining orientation of the device
CN104777927B (zh) 影像式触控装置及其控制方法
WO2010098050A1 (ja) 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
WO2013162236A1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
WO2020130356A1 (en) System and method for multipurpose input device for two-dimensional and three-dimensional environments
WO2014178693A1 (ko) 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템
WO2016131364A1 (en) Multi-touch remote control method
WO2019203591A1 (en) High efficiency input apparatus and method for virtual reality and augmented reality
WO2020184890A1 (ko) 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2015152487A1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2014073903A1 (ko) 동작 인식 리모트 컨트롤러 장치 및 그 구동 방법
WO2021177674A1 (ko) 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
TW201913298A (zh) 可顯示實體輸入裝置即時影像之虛擬實境系統及其控制方法
WO2014054864A1 (ko) 리모콘 장치 및 전자 기기의 동작 제어 방법
WO2015053471A1 (ko) 가상 리모트 컨트롤 장치 및 그 방법
WO2016052862A2 (ko) 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20140060615A (ko) 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15752766

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15120664

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015752766

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015752766

Country of ref document: EP