WO2013009040A2 - 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법 - Google Patents

3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법 Download PDF

Info

Publication number
WO2013009040A2
WO2013009040A2 PCT/KR2012/005362 KR2012005362W WO2013009040A2 WO 2013009040 A2 WO2013009040 A2 WO 2013009040A2 KR 2012005362 W KR2012005362 W KR 2012005362W WO 2013009040 A2 WO2013009040 A2 WO 2013009040A2
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
user
dimensional
coordinate data
virtual touch
Prior art date
Application number
PCT/KR2012/005362
Other languages
English (en)
French (fr)
Other versions
WO2013009040A3 (ko
Inventor
김석중
Original Assignee
Kim Seok-Joong
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kim Seok-Joong filed Critical Kim Seok-Joong
Priority to CN201280034529.4A priority Critical patent/CN103688236B/zh
Priority to EP12811473.3A priority patent/EP2733585B1/en
Priority to US14/232,310 priority patent/US9367138B2/en
Publication of WO2013009040A2 publication Critical patent/WO2013009040A2/ko
Publication of WO2013009040A3 publication Critical patent/WO2013009040A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity

Definitions

  • the present invention relates to a device and a method for a user to remotely operate an electronic device, in particular, by extracting the three-dimensional coordinates through a scan of the electronic device, the three-dimensional modeled electronic device without using a remote control means such as a remote control
  • the present invention relates to a remote control device and a method for controlling a driving operation of an electronic device by using a virtual touch through a movement (gesture) of a user's fingertip.
  • the touch panel technology cannot be used remotely because the user needs to touch the display surface directly. Therefore, even electronic devices employing touch panel technology have no choice but to rely on devices such as a conventional remote control for remote operation.
  • a remote electronic control device a device capable of generating a pointer at an accurate point, such as touch panel technology, that is, a straight line of the user's eyes and fingers is displayed from the captured image after photographing the front of the display using two cameras.
  • a technique for generating a pointer at the point of meeting is disclosed in the published patent application [Document 1]
  • a 'pointer' must be generated as a preliminary measure for controlling an electronic device (with a pointer control unit). It is very inconvenient in performing an operation by comparing a user's gesture with a previously stored pattern for specific operation control.
  • a large screen (operation icons may be identified by the user even at a distance). Size) of the display device is limited to the configured electronic device.
  • the remote operation is possible only in the front of the electronic device for this purpose, there was an inconvenience that the user must move to the front of the electronic device to operate the electronic device.
  • the electronic device since the electronic device is configured to manipulate the operation of the home appliance through communication between the home appliance and the camera control unit, the electronic device can be remotely operated only at a fixed position at any time. This can only be limited to electronic devices.
  • the present invention has been made to solve the above problems, the driving operation of the electronic device using a virtual touch through a user's movement (gesture) at a remote location using a conventional remote control regardless of the display device It is an object of the present invention to provide a remote control device and method that can be applied to all the electronic devices to be controlled.
  • Another object of the present invention is to provide a remote control using a virtual touch through the movement of the user's fingertips at the remote location of the electronic device located in any space in the home regardless of the movement of the electronic device and the position and direction between the user and the electronic device It is to provide a possible remote control device and method.
  • the remote control device using the virtual touch of the three-dimensional modeled electronic device for achieving the above object is the three-dimensional coordinate data of the user's body and the electronic device using the image received through the imaging Recognizing the spatial position information and the device product information of the electronic device by using the three-dimensional coordinate calculation unit to be extracted and the three-dimensional coordinate data of the electronic device extracted by the three-dimensional coordinate calculation unit, in a straight line between the user and the electronic device
  • the electronic device is configured to generate a virtual contact area for a virtual touch between the user and the electronic device based on the corresponding direction information, and the electronic device using the 3D coordinate data of the user's body calculated by the 3D coordinate calculator.
  • the user detection unit for generating a command code for performing the operation of the electronic device and the command code generated by the user detection unit is input
  • the user command is converted into a control command signal for driving operation of the corresponding electronic device is converted into a control command with the corresponding electronic Electronic device drive control unit for transmitting a signal
  • the electronic device information database for storing the device product information including the manufacturer and model name of the electronic device, protocol information applied to the driving operation for each device product, operation method information for each electronic device (DB It is configured to include.
  • the three-dimensional coordinate calculation unit is composed of two or more image sensors disposed at different positions to capture the user body and the electronic device at different angles, and at different angles received from the image acquisition unit And a spatial coordinate calculator for calculating three-dimensional coordinate data of a user's body and an electronic device by using optical triangulation based on the captured image.
  • the three-dimensional coordinate calculation unit is composed of a light source and a diffuser, the illumination assembly for projecting a speckle pattern to the user's body and electronics, the user body composed of an image sensor and a lens and projected by the illumination assembly and An image acquisition unit for capturing a speckle pattern on an electronic device, and a spatial coordinate calculation unit for calculating three-dimensional coordinate data of a user's body and an electronic device using a time delay measurement method based on the speckle pattern captured by the image acquisition unit. It is characterized by including.
  • the electronic device detector is a three-dimensional modeling unit for performing three-dimensional modeling according to the shape of the electronic device based on the three-dimensional spatial coordinates of the electronic device calculated by the three-dimensional coordinate calculation unit, and the three-dimensional in the three-dimensional modeling unit
  • An electronic device setting unit configured to detect a corresponding electronic device by comparing the electronic device information previously stored in the electronic device information DB based on the modeled electronic device type, and to set a control signal according to a driving operation of the detected electronic device.
  • a touch position matching unit for matching direction information corresponding to a straight line between the user and the electronic device to generate a virtual two-dimensional contact area for a virtual touch between the user and the electronic device based on the matching direction information. Characterized in that.
  • the user detection unit calculates the first spatial coordinates and the second spatial coordinates calculated by calculating the first spatial coordinates and the second spatial coordinates based on the three-dimensional spatial coordinates of the user's body calculated by the three-dimensional coordinate calculation unit.
  • a touch position calculating unit for calculating contact coordinate data where the straight lines to be connected to the virtual contact area and the contact coordinate data calculated by the touch position calculating unit are determined, and when it is determined that there is a change, And a virtual touch processing unit for generating a command code for performing an operation of the device.
  • the first spatial coordinate is a three-dimensional coordinate of any one of the end of one finger of the user's finger, the end of the pointer held by the user with the finger, and the second spatial coordinate is the center point of one eye of the user. It is characterized in that the three-dimensional coordinates of.
  • the virtual touch processing unit determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and if there is a change in the contact coordinate data for a set time or more, there is a change in contact coordinate data. It is characterized by judging.
  • the virtual touch processing unit determines whether there is a change in distance greater than or equal to a set distance between the first spatial coordinates and the second spatial coordinates when there is no change of the contact coordinate data for a set time or more from the time at which the initial contact coordinate data is calculated.
  • a distance change over the distance occurs, it is determined that there is a change, characterized in that for generating a command code for performing the operation of the preset electronic device.
  • the electronic device driving control unit is characterized in that for transmitting the operation command signal in a short-range wireless communication method including an infrared (IR) signal, Wi-Fi (WiFi), Bluetooth (Bluetooth).
  • IR infrared
  • Wi-Fi Wi-Fi
  • Bluetooth Bluetooth
  • the remote control method using the virtual touch of the three-dimensional modeled electronic device for achieving the above object is (A) the three-dimensional of the user's body and the electronic device using the image received through the imaging Extracting coordinate data; (B) scanning the electronic device by using three-dimensional coordinate data of the electronic device among the calculated three-dimensional coordinate data, and performing three-dimensional modeling according to the shape of the electronic device; C) detecting a corresponding electronic device by comparing the electronic device information previously stored in the electronic device information DB based on the 3D modeled electronic device type, and setting a control signal according to a driving operation of the detected electronic device; (D) direction information corresponding to a straight line between the user and the electronic device based on the extracted three-dimensional coordinate data of the user's body and the electronic device; Generating a virtual contact area for a virtual touch between the user and the electronic device based on matching direction information, and (E) three-dimensional coordinate data according to the user's body among the calculated three-dimensional coordinate data; Calculates a first spatial coordinate
  • (G) may makin comprises the step of transmitting an operating command signal to a corresponding electronic device is converted into a control command signal for driving the operation of the electronic device corresponding to the generated instruction code.
  • the step (A) is a step of photographing the user's body and the electronic device at different angles through the image acquisition unit consisting of two or more image sensors disposed at different positions, and the photographing at different angles Calculating three-dimensional coordinate data of the user's body and the electronic device by using optical triangulation based on the captured image.
  • the step (A) is a step of projecting a speckle pattern on the user's body and electronics through the lighting assembly, capturing the speckle pattern on the user's body and the electronic device projected by the lighting assembly; Calculating three-dimensional coordinate data of the user's body and the electronic device by using a time delay measurement method based on the speckle pattern image.
  • the step (F) determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and there is a change in contact coordinate data when there is a change in the contact coordinate data for a set time or more. It is characterized by judging.
  • step (F) if there is no change of the contact coordinate data from the time at which the initial contact coordinate data is calculated for more than a predetermined time, it is determined whether there is a change in distance or more than the set distance between the first spatial coordinate and the second spatial coordinate. When a distance change of more than a set distance occurs, it is determined that there is a change, and generates a command code for performing an operation of a preset electronic device.
  • a touch area for virtual touch operation is set in the generated two-dimensional contact area according to the operation method information previously stored in the electronic device information DB, and the first spatial coordinates and the second space.
  • Calculating contact coordinate data in which a straight line connecting the coordinates meets the virtual contact area, and at least one of up, down, left, right, front, and back to a preset touch area of the virtual contact area by a user;
  • the operation request of the electronic device is performed by performing a virtual touch operation and the change of the contact coordinate data calculated according to the change of the first spatial coordinate is determined
  • the operation of the electronic device set in advance to correspond to the change of the contact coordinate data is performed. It characterized in that it comprises the step of generating a command code.
  • the contact area is located between the electronic device and the user regardless of the direction of the front, side, and rear of the electronic device, and the driving operation is performed through the virtual touch operation of the user in any direction of the electronic device.
  • the remote control apparatus and method using the virtual touch of the three-dimensional modeled electronic device according to the present invention as described above has the following effects.
  • the electronic device may be manipulated electronically by virtually touching the body of the 3D modeled electronic device, instead of performing a virtual touch on the displayed operation icon using a pointer through the display device. Do. Therefore, there is an effect that can be applied to all electronic devices that do not include a display device.
  • the present invention can provide a new touch recognition method that can be utilized in a virtual touch device that does not use a display device and can accurately operate an electronic device.
  • the configuration of the remote control device is separated from the electronic device to be remotely controlled, it is free to calculate the changed three-dimensional spatial coordinates of the electronic device even when the electronic device is moved, thereby making it possible to apply various electronic devices with free mobility. There is a possible effect.
  • the virtual touch is provided through three-dimensional modeling to perform operations corresponding to the virtual touches. It is possible.
  • FIG. 1 is a view showing the entire system of the remote operation using the virtual touch of the three-dimensional modeled electronic device according to an embodiment of the present invention
  • FIG. 2 is a block diagram showing a remote control device using a virtual touch of a three-dimensional modeled electronic device according to a first embodiment of the present invention
  • FIG. 3 is a block diagram showing a remote control device using a virtual touch of a three-dimensional modeled electronic device according to a second embodiment of the present invention
  • FIG. 4 is a flowchart illustrating a remote control method using a virtual touch of a three-dimensional modeled electronic device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart for describing a first embodiment of a process of calculating three-dimensional coordinate data of a user's body and an electronic device of FIG. 4.
  • FIG. 6 is a flowchart for describing a second embodiment of a process of calculating three-dimensional coordinate data of a user body and an electronic device of FIG. 4.
  • FIG. 6 is a flowchart for describing a second embodiment of a process of calculating three-dimensional coordinate data of a user body and an electronic device of FIG. 4.
  • FIG. 7 is a view showing a specific embodiment of the remote control method using a virtual touch of the three-dimensional modeled electronic device according to the present invention
  • FIG. 1 is a view showing an entire system of remote operation using a virtual touch of a three-dimensional modeled electronic device according to an embodiment of the present invention.
  • the 3D coordinates of the user's body through the movement of the user.
  • the data is extracted to identify the three-dimensional area, and at the same time, the user recognizes the location information of the electronic device 200 that requests the driving operation.
  • a driving operation command signal of the electronic device corresponding to the movement of the user is generated and transmitted to the electronic device 200, thereby operating the driving of the electronic device 200.
  • the remote operation is performed using the location information of the electronic device, it is applicable to all the electronic devices driven and operated using the existing remote controller regardless of the presence or absence of the display device.
  • FIG. 2 is a block diagram illustrating a remote control apparatus using a virtual touch of a three-dimensional modeled electronic device according to a first embodiment of the present invention.
  • the remote control apparatus 100 includes an image acquisition unit 110, a spatial coordinate calculation unit 120, an electronic device detection unit 130, a user detection unit 140, an electronic device driving control unit 160, And an electronic device information database (DB) 150.
  • DB electronic device information database
  • the image acquisition unit 110 is a kind of camera module, and may include two or more image sensors 112 and 114 such as a CCD or a CMOS for detecting an image and converting the image into an electrical image signal.
  • image sensors 112 and 114 such as a CCD or a CMOS for detecting an image and converting the image into an electrical image signal.
  • the spatial coordinate calculation unit 120 calculates three-dimensional coordinate data of the user's body and the electronic device by using the image received from the image acquisition unit 110.
  • the image sensors 112 and 114 constituting the image acquisition unit 110 photograph the user's body and the electronic device at different angles, and the spatial coordinate calculation unit 120 uses the manual optical triangulation method. And three-dimensional coordinate data of the electronic device.
  • the optical three-dimensional coordinate calculation method can be classified into an active method and a passive method according to the sensing method.
  • the active method uses structured light or laser light as a method of projecting a predefined pattern or sound wave onto an object and measuring the amount of change through control of sensor parameters such as energy or focus and calculating three-dimensional coordinate data of the object.
  • the method is representative.
  • the passive method is a method using intensity, parallax, etc. of an image photographed without artificially projecting energy on an object.
  • the present invention employs a passive method that does not project energy onto an object.
  • This method has advantages in that the equipment is simple and the texture can be directly obtained from the input image, although the precision may be somewhat lower than that of the active method.
  • three-dimensional information may be obtained by applying optical triangulation to feature points corresponding to photographed images.
  • Various methods for extracting three-dimensional coordinates by applying trigonometric methods are commonly used camera self calibration, Harris corner extraction, SIFT, RANSAC, Tsai, etc.
  • the three-dimensional camera method may be used as a method for calculating three-dimensional coordinate data.
  • the stereoscopic camera method is a method of finding the distance from an expected angle to an object by observing the same point of the object surface at two different points, similar to the structure of a binocular stereoscopic object in which a human looks at an object with two eyes and obtains a displacement. .
  • the electronic device detector 130 includes a three-dimensional modeling unit 132, an electronic device setting unit 134, and a touch position matching unit 136, and the electronic device calculated by the spatial coordinate calculating unit 120. Recognizes the spatial position information and the device product information of the electronic device 200 using the three-dimensional coordinate data of the, and based on the direction information corresponding to a straight line between the user and the electronic device for the virtual touch between the user and the electronic device Create a virtual contact area.
  • the 3D modeling unit 132 performs 3D modeling according to the shape of the electronic device based on the 3D spatial coordinates of the electronic device calculated by the spatial coordinate calculating unit 120.
  • the electronic device setting unit 134 compares the electronic device information with the electronic device information previously stored in the electronic device information DB 150 based on the electronic device model three-dimensionally modeled by the three-dimensional modeling unit 132.
  • the device is detected and a control signal according to the drive operation of the detected electronic device is set.
  • the touch position matching unit 136 matches the direction information corresponding to a straight line between the user and the electronic device, and a virtual two-dimensional contact area for a virtual touch between the user and the electronic device based on the matching direction information. Create In this case, the generated virtual two-dimensional contact area is preferably generated closer to the electronic device than the user based on the three-dimensional coordinates of the electronic device.
  • the user detector 140 includes a touch position calculator 142 and a virtual touch processor 144, using the 3D coordinate data of the user's body calculated by the spatial coordinate calculator 120.
  • the virtual touch position and the position change for the driving operation of the 200 are calculated, and a command code for performing an operation of a preset electronic device is generated based on the calculated virtual touch position change.
  • the touch position calculator 142 calculates the first spatial coordinates and the second spatial coordinates based on the three-dimensional spatial coordinates of the user's body calculated by the spatial coordinate calculator 120, and calculates the first space.
  • Contact coordinate data in which a straight line connecting the first spatial coordinates and the second spatial coordinates using a coordinate (finger) and a second spatial coordinate (eye) meets the virtual contact area generated by the touch position matching unit 136. It serves to calculate.
  • a finger In general, a finger is the only part of a person's body that allows for sophisticated and delicate manipulations. In particular, when using either one of the thumb or forefinger or two fingers together, the precise pointing can be performed. Therefore, it is very effective to use the tip of the thumb and / or index finger as the first spatial coordinates in the present invention. Also, in the same context, instead of the tip of the finger serving as the first spatial coordinate, a pointed pointer (eg, a pen tip) held by the finger may be used instead of the tip of the finger serving as the first spatial coordinate, a pointed pointer (eg, a pen tip) held by the finger may be used.
  • a pointed pointer eg, a pen tip
  • the second spatial coordinate only the center point of one eye of the user is used as the second spatial coordinate.
  • the index finger will appear as two. This occurs because the shape of the index finger viewed by both eyes of the user is different (due to the angle difference between the eyes).
  • you look at your index finger with only one eye your index finger will be clearly visible.
  • the present invention adopts the principle that the shape of the fingertip can be clearly recognized when looking at the fingertip (first spatial coordinate) with only one eye (second spatial coordinate). In this way, the user must be able to accurately view the first spatial coordinates to point to the virtual contact area generated by the touch position matching unit 136 that matches the first spatial coordinates.
  • the first spatial coordinate is a three-dimensional coordinate of any one of the end of the finger of the user finger, the end of the pointer held by the user with the finger
  • the second spatial coordinate will be the three-dimensional coordinates of the center point of either eye of the user.
  • the first spatial coordinates are three-dimensional coordinates of the tips of two or more fingers of the user fingers
  • the second spatial coordinates are any one eye of the user. It may be formed of three-dimensional coordinates of the center point of.
  • the first spatial coordinates are three-dimensional coordinates of the tips of one or more fingers respectively presented by two or more users
  • the second spatial coordinates are the one eye of the two or more users. It may be formed of three-dimensional coordinates of the center point of.
  • the virtual touch processor 144 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and is set to correspond to the contact coordinate data if there is a change in the contact coordinate data for a set time or more. Generate and output command code to perform the operation. In addition, the virtual touch processor 144 may process two fingers of one user or two or more users in the same manner.
  • the virtual touch processor 144 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and if there is no change in the contact coordinate data for a set time or more, the first spatial coordinate and the second It is determined whether there is a change in distance greater than or equal to a set distance between spatial coordinates, and when a change in distance greater than or equal to a set distance occurs, a command code is generated to perform an operation corresponding to the contact coordinate data.
  • the virtual touch processor 40 may process two fingers of a single user or two or more users in a similar manner.
  • the variation of the contact coordinate data is within the range of a setting area, it may be formed to be considered that there is no variation of the contact coordinate data. That is, when the user points the electronic device to the tip of the finger or the tip of the pointer, it is very difficult for the user to maintain the contact coordinates because the body or finger naturally has some movement or tremor. Therefore, when the contact coordinate data value is within a predefined setting range, it is considered that there is no change in the contact coordinate data.
  • Electronic devices subject to the remote control according to the present invention include home networking such as lighting, speakers, air conditioners, fans, blinds, windows, curtains, doors, heating, gas, microwave ovens, video, cameras, CCTV, and various electronics. Devices may also be subject to remote control in accordance with the present invention.
  • the remote control device 100 according to the present invention is installed separately from the electronic device to be remotely controlled, and thus various electronic devices are freely mobile because the calculated three-dimensional spatial coordinates of the electronic device are free to be calculated even when the electronic device is moved. It is possible to apply.
  • the electronic device driving control unit 160 converts the control command signal for driving operation of the corresponding electronic device and transmits the operation command signal to the corresponding electronic device.
  • the operation command signal is preferably transmitted as an infrared (IR) signal of the existing remote control, but is not limited to this, it is also applicable to short-range wireless communication methods such as Wi-Fi (WiFi), Bluetooth (Bluetooth) currently used. Of course.
  • the electronic device information database (DB) 150 stores device product information such as a manufacturer and a model name of an electronic device provided in a home, protocol information applied to driving operation for each device product, and operation method information for each electronic device. have.
  • the operation method information refers to information such as the movement of the user's finger and the touch position for manipulating the power, illuminance, volume, and temperature control of the electronic device with the virtual touch.
  • the information stored in the electronic device information DB 150 may be updated by the user at any time after the purchase of the electronic device, and as a method of updating, the information of the electronic device is downloaded by accessing the website of the home appliance. It may be received or updated by downloading the information of the electronic device through a transceiver configured in advance in the electronic device. This is possible in various embodiments within the scope of the technical idea of the present invention.
  • FIG. 3 is a block diagram illustrating a remote control apparatus using a virtual touch of a three-dimensional modeled electronic device according to a second embodiment of the present invention.
  • the remote control apparatus 100 includes a three-dimensional coordinate calculator 170, an electronic device detector 130, a user detector 140, an electronic device drive controller 160, and an electronic device information database (DB). 150).
  • DB electronic device information database
  • the three-dimensional coordinate calculation device 170 is composed of an illumination assembly 172, an image acquisition unit 174, and a spatial coordinate calculation unit 176, projecting the patterned image coded to the user and the electronic device and structured light
  • the image of the projected scene is processed to calculate three-dimensional coordinate data of the user's body and the electronic device.
  • the lighting assembly 172 includes a light source 172a and a diffuser 172b to project the speckle pattern to the user's body and the electronic device.
  • the image acquisition unit 174 includes an image sensor 174a and a lens 174b to capture a speckle pattern on the user's body and the electronic device projected by the lighting assembly 172.
  • the image sensor 174a may generally be a CCD or CMOS based image sensor.
  • the spatial coordinate calculator 176 calculates three-dimensional coordinate data of the user's body and the electronic device by processing the image obtained by the image acquisition unit 174.
  • the electronic device detector 130 includes a three-dimensional modeling unit 132, an electronic device setting unit 134, and a touch position matching unit 136, and the electronic device calculated by the spatial coordinate calculating unit 176. Recognizes the spatial position information and the device product information of the electronic device 200 by using the three-dimensional coordinate data of the, and for the virtual touch between the user and the electronic device based on the direction information corresponding to a straight line between the user and the electronic device Create a virtual contact area.
  • the description according to the configuration of the electronic device detection unit 130 is the same as the content described in the first embodiment, and since it is described in detail above, the description thereof will be omitted.
  • the user detector 140 includes a touch position calculator 142 and a virtual touch processor 144, using the 3D coordinate data of the user's body calculated by the spatial coordinate calculator 176.
  • the virtual touch position and the position change for the driving operation of the 200 are calculated, and a command code for performing an operation of a preset electronic device is generated based on the calculated virtual touch position change.
  • the description according to the configuration of the user detection unit 140 is the same as the content described in the first embodiment, and detailed description thereof will be omitted.
  • the electronic device driving control unit 160 converts the control command signal for driving operation of the corresponding electronic device and transmits the operation command signal to the corresponding electronic device.
  • the operation command signal is preferably transmitted as an infrared (IR) signal of the existing remote control, but is not limited to this, it is also applicable to short-range wireless communication methods such as Wi-Fi (WiFi), Bluetooth (Bluetooth) currently used. Of course.
  • the electronic device information database (DB) 150 stores device product information such as a manufacturer and a model name of an electronic device provided in a home, and protocol information applied to a driving operation for each device product.
  • the operation method information refers to information such as the movement of the user's finger and the touch position for manipulating the power, illuminance, volume, and temperature control of the electronic device with the virtual touch.
  • the information stored in the electronic device information DB 150 may be updated by the user at any time after the purchase of the electronic device, and as a method of updating, the information of the electronic device is downloaded by accessing the website of the home appliance. It may be received or updated by downloading the information of the electronic device through a transceiver configured in advance in the electronic device. This is possible in various embodiments within the scope of the technical idea of the present invention.
  • FIGS. 1 to 3 refer to the same members performing the same function.
  • FIG. 4 is a flowchart illustrating a remote control method using a virtual touch of a three-dimensional modeled electronic device according to an embodiment of the present invention.
  • the electronic device is scanned using the three-dimensional coordinate data of the electronic device among the calculated three-dimensional coordinate data to perform three-dimensional modeling according to the shape of the electronic device (S300).
  • the electronic device setting unit 134 detects a corresponding electronic device in comparison with the electronic device information previously stored in the electronic device information DB 150 based on the 3D modeled electronic device type, and detects the detected electronic device. Set a control signal according to the driving operation of (S400).
  • the touch position matching unit 136 matches direction information corresponding to a straight line between the user and the electronic device based on the extracted 3D coordinate data of the user body and the electronic device, and based on the matched direction information.
  • a virtual two-dimensional contact area for a virtual touch is generated between the user and the electronic device (S500).
  • the generated virtual two-dimensional contact area is preferably generated closer to the electronic device than the user based on the three-dimensional coordinates of the electronic device.
  • a finger In general, a finger is the only part of a person's body that allows for sophisticated and delicate manipulations. In particular, when using either one of the thumb or forefinger or two fingers together, the precise pointing can be performed. Therefore, it is very effective to use the tip of the thumb and / or index finger as the first spatial coordinates in the present invention. Also, in the same context, instead of the tip of the finger serving as the first spatial coordinate, a pointed pointer (eg, a pen tip) held by the finger may be used instead of the tip of the finger serving as the first spatial coordinate, a pointed pointer (eg, a pen tip) held by the finger may be used.
  • a pointed pointer eg, a pen tip
  • the second spatial coordinate only the center point of one eye of the user is used as the second spatial coordinate.
  • the index finger will appear as two. This occurs because the shape of the index finger viewed by both eyes of the user is different (due to the angle difference between the eyes).
  • you look at your index finger with only one eye your index finger will be clearly visible.
  • the present invention adopts the principle that the shape of the fingertip can be clearly recognized when looking at the fingertip (first spatial coordinate) with only one eye (second spatial coordinate). In this way, the user must be able to accurately view the first spatial coordinates to point to the virtual contact area generated by the touch position matching unit 136 that matches the first spatial coordinates.
  • the first spatial coordinates are three-dimensional coordinates of the tips of two or more fingers of the user fingers
  • the second spatial coordinates are any one eye of the user. It may be formed of three-dimensional coordinates of the center point of.
  • the first spatial coordinates are three-dimensional coordinates of the tips of one or more fingers respectively presented by two or more users
  • the second spatial coordinates are the one eye of the two or more users. It may be formed of three-dimensional coordinates of the center point of.
  • the virtual touch processor 144 determines whether there is a change in the contact coordinate data with the generated virtual two-dimensional contact area, and when there is a change, performing manipulation of a preset electronic device to correspond to the change in the contact coordinate data. Generate and output a command code (S700).
  • the determination of whether or not the contact coordinate data is changed determines whether there is a change in the contact coordinate data for a set time or more from the time at which the initial contact coordinate data is calculated. In addition, it is determined whether there is a change in the contact coordinate data for a predetermined time or more from a time at which the initial contact coordinate data is calculated, and if there is no change in the contact coordinate data for a predetermined time or more, the distance between the first and second spatial coordinates is set. It is determined whether there is a change in the contact coordinate data when a change in distance is greater than or equal to a predetermined distance. When there is a change in the contact coordinate data in this way, a command code for performing an operation set to correspond to the changed contact coordinate data is generated.
  • the generated command code is converted into a control command signal for driving operation of the corresponding electronic device, and the operation command signal is transmitted to the corresponding electronic device (S800).
  • the operation command signal is preferably transmitted as an infrared (IR) signal of the existing remote control, but is not limited to this, it is possible to transmit by using a short-range wireless communication method such as Wi-Fi (Bluetooth), which is currently used. .
  • FIG. 5 is a flowchart illustrating a first embodiment of a process of calculating three-dimensional coordinate data of a user body and an electronic device of FIG. 4.
  • an image of a user's body and an electronic device photographed at different angles is acquired through two image sensors 112 and 114 configured in the image acquisition unit 110 of the camera module ( S111).
  • the spatial coordinate calculating unit 120 calculates coordinate data of the user's body and the electronic device by using an optical triangulation method for images of the user's body and the electronic device photographed at different angles (S112).
  • the calculated coordinate data is then combined to calculate three-dimensional coordinate data according to three-dimensional image information of the user's body and the electronic device (S113).
  • the three-dimensional camera method may be used as a method for calculating three-dimensional coordinate data.
  • the stereoscopic camera method is a method of finding the distance from the predicted angle of an object by observing the same point of the object surface at two different points, similar to the structure of a binocular body in which a human looks at an object with two eyes and obtains a displacement.
  • FIG. 6 is a flowchart illustrating a second embodiment of a process of calculating three-dimensional coordinate data of a user body and an electronic device of FIG. 4.
  • the lighting assembly 172 projects the speckle pattern to the user's body and the electronic device (S121).
  • the image acquisition unit 174 captures the speckle pattern of the image according to the user's body and the electronic device projected by the illumination assembly 172 (S122).
  • the spatial coordinate calculator 176 calculates coordinate data of the user's body and the electronic device using the depth value measured by using the time delay measurement method of the speckle pattern image (S123).
  • the coordinate data calculated as described above is combined to calculate three-dimensional coordinate data according to three-dimensional image information of the user's body and the electronic device (S124).
  • the technique of extracting three-dimensional coordinates by applying the time delay measurement method is to convert the time of flight that the ultrasonic wave generated from the transmitter is reflected by the object to the receiver by converting the time of flight by the speed of the ultrasonic wave to convert the distance into 3D information. It is a technique to acquire.
  • various methods of calculating three-dimensional coordinates using a time of flight method exist in the past, and a description thereof will be omitted since it can be easily implemented by those skilled in the art.
  • FIG. 7 is a view showing a specific embodiment of the remote control method using a virtual touch of the three-dimensional modeled electronic device according to the present invention. At this time, a fan is shown as an example by the electronic device operated.
  • the touch position matching unit 136 generates a two-dimensional contact area between the fan and the user, and the generated two-dimensional contact area is virtually generated according to the operation method information stored in the electronic device information DB 150.
  • the touch area for the touch operation is set. 7 shows that the touch area is set up and down by operating the fan.
  • a straight line connecting the first spatial coordinates and the second spatial coordinates using the first spatial coordinates (finger) and the second spatial coordinates (eye) through the touch position calculator 142 may be a virtual two-dimensional contact area.
  • the contact point coordinate data that meets each other is calculated, and then it is determined whether or not the contact point coordinate data calculated according to the change of the first spatial coordinate is changed.
  • the fan operation is requested to be rotated, and when the virtual touch operation is up and down, it is treated as a request to stop the rotation of the fan. .
  • the user controls the air volume of the fan.If the user fluctuates to the left, the air volume is reduced. If the virtual touch is operated up and down, the power on / off (0n / Off) of the fan is treated as the request.
  • the two-dimensional contact area is located between the electronic device and the user regardless of the front, side, and rear directions of the electronic device, the user may operate the drive through a virtual touch operation in any direction of the electronic device.
  • the remote control apparatus and method using the virtual touch of the three-dimensional modeled electronic device according to the present invention can be applied to any electronic device that does not include a display device, and can accurately operate the operation of the electronic device even in a remote place. It can be easily applied to electronic devices, and there is industrial applicability.

Abstract

본 발명은 원격지에서 사용자의 움직임(제스처)을 통한 가상터치를 이용하여 전자기기의 구동조작을 디스플레이 장치의 유무와 상관없이 기존 리모컨을 이용하여 구동 조작되는 모든 전자기기에 적용되어 제어할 수 있는 원격 조작 장치 및 방법을 제공하기 위한 것으로서, 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출부와, 상기 3차원 좌표 산출부에서 추출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기와의 가상 터치를 위한 가상의 접점 영역을 생성하는 전자기기 검출부와, 상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기의 구동 조작을 위한 가상 터치 위치 및 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 사용자 검출부와, 상기 사용자 검출부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동 제어부와, 상기 전자기기의 제조사, 모델명을 포함하는 기기제품 정보, 기기제품별 구동 조작에 적용되는 프로토콜 정보, 전자기기별 조작방법 정보를 저장하는 전자기기 정보 데이터베이스(DB)를 포함하여 구성되는데 있다.

Description

3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
본 발명은 사용자가 전자기기를 원격으로 조작하는 장치 및 방법에 관한 것으로, 특히 전자기기의 스캔을 통해 3차원 좌표를 추출하여 3차원 모델링된 전자기기를 리모컨과 같은 원격제어 수단을 사용하지 않고 원격에서 사용자의 손가락 끝의 움직임(제스처)을 통한 가상터치를 이용하여 전자기기의 구동조작을 제어할 수 있는 원격 조작 장치 및 방법에 관한 것이다.
최근 스마트폰과 같이 터치패널을 구비한 전자기기들이 많이 사용되고 있다. 이러한 터치패널 기술은 기존 마우스로 조작 가능한 컴퓨터 등 전자기기와 비교할 때 디스플레이에 '포인터'를 표시할 필요가 없다. 사용자는 전자기기 조작을 위해 포인터(컴퓨터의 커서)를 해당 위치(예, 프로그램 아이콘)까지 이동시킬 필요 없이, 손가락을 아이콘 위로 이동한 후 터치하여 동작을 수행한다. 이러한 터치패널 기술에서는 기존 전자기기 제어수단으로 필수적인 '포인터'이동 단계가 불필요하여 전자기기의 빠른 조작이 가능하다.
그러나 터치패널 기술은 위와 같은 편리성에도 불구하고 사용자가 디스플레이 표시면을 직접 터치해야하기 때문에 원격에서는 이용할 수 없다는 단점이 있다. 따라서 터치패널 기술을 채용하는 전자기기라 하더라도 원격 조작을 위해서는 종래 리모컨과 같은 장치에 의존할 수밖에 없다.
최근 원격 전자기기 제어장치로서 터치패널 기술과 같이 정확한 지점에 포인터를 생성할 수 있는 장치, 즉 2대의 카메라를 이용하여 디스플레이 전면을 촬영한 후 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 디스플레이와 만나는 점에 포인터를 생성시키는 기술이 공개된 특허출원 [문헌 1]에 공개된바 있으나, 전자기기 제어를 위한 예비적인 조치로 '포인터'를 반드시 생성해야 하고(포인터 제어부를 두고 있음), 그 후에 구체적인 동작제어를 위해 사용자의 제스처를 기존에 저장된 패턴과 비교함으로써 동작을 수행하는 점에서 매우 불편하다.
[문헌 1] 공개특허 2010-0129629 2010. 12. 9.
또한 상기 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 만나는 디스플레이와 만나는 점에 포인터를 생성하여 전자기기를 원격 조작하는 방법에 경우에는 반드시 대화면(원거리에서도 조작 아이콘이 사용자에 의해 확인될 수 있는 크기)의 디스플레이 장치가 구성된 전자기기에 한정된다는 문제점이 있다. 아울러, 이를 위해서는 전자기기의 전면에서만 원격 조작이 가능하므로, 전자기기를 조작하기 위해서 사용자는 반드시 전자기기의 전면으로 이동해야 하는 불편함이 있었다.
또한 기존에는 가전기기와 카메라 제어부 간의 서로 교신을 통해 가전기기의 동작을 조작하도록 구성함에 따라 전자기기는 언제는 고정된 위치에 한해서만 원격 조작이 가능한 문제점이 있어서, 원격 조작되는 전자기기의 종류가 이동성이 없는 전자기기로 한정될 수밖에 없다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 원격지에서 사용자의 움직임(제스처)을 통한 가상터치를 이용하여 전자기기의 구동조작을 디스플레이 장치의 유무와 상관없이 기존 리모컨을 이용하여 구동 조작되는 모든 전자기기에 적용되어 제어할 수 있는 원격 조작 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 전자기기의 움직임 및 사용자와 전자기기 간의 위치 및 방향과 상관없이 가정 내의 모든 공간에 위치하는 전자기기를 원격지에서 사용자의 손가락 끝의 움직임을 통한 가상터치를 이용하여 원격 제어가 가능한 원격 조작 장치 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 원격 조작 장치의 구성이 원격 조정의 대상이 되는 전자기기와 별도로 분리되어 구성하여 전자기기의 이동시에도 전자기기의 변화된 3차원 공간좌표의 손쉬운 산출을 통해 이동성이 자유로운 각종 전자기기에 적용 가능한 원격 조작 장치 및 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치의 특징은 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출부와, 상기 3차원 좌표 산출부에서 추출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기와의 가상 터치를 위한 가상의 접점 영역을 생성하는 전자기기 검출부와, 상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기의 구동 조작을 위한 가상 터치 위치 및 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 사용자 검출부와, 상기 사용자 검출부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동 제어부와, 상기 전자기기의 제조사, 모델명을 포함하는 기기제품 정보, 기기제품별 구동 조작에 적용되는 프로토콜 정보, 전자기기별 조작방법 정보를 저장하는 전자기기 정보 데이터베이스(DB)를 포함하여 구성되는데 있다.
바람직하게 상기 3차원 좌표 산출부는 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체 및 전자기기를 촬영하는 영상 획득부와, 상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 광원과 산광기로 구성되어, 사용자 신체 및 전자기기에 스페클 패턴을 투영하는 조명어셈블리와, 이미지 센서 및 렌즈로 구성되어 상기 조명어셈블리에 의해 투영된 상기 사용자 신체 및 전자기기 상의 스페클 패턴을 캡처하는 영상 획득부와, 상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 시간지연측정법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 전자기기 검출부는 3차원 좌표 산출부에서 산출된 전자기기의 3차원 공간좌표를 기반으로 전자기기 형태에 따른 3차원 모델링을 실시하는 3차원 모델링부와, 상기 3차원 모델링부에서 3차원 모델링된 전자기기 형태에 기반하여 상기 전자기기 정보 DB에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정하는 전자기기 설정부와, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성하는 터치 위치 매칭부를 포함하는 것을 특징으로 한다.
바람직하게 상기 사용자 검출부는 상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표 및 제 2 공간좌표를 산출하여 산출된 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 터치 위치 산출부에서 산출된 접점 좌표 데이터의 변화 여부를 판단하고, 변화가 있는 것으로 판단되면 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 가상터치 처리부를 포함하는 것을 특징으로 한다.
바람직하게 상기 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표인 것을 특징으로 한다.
바람직하게 상기 가상터치 처리부는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 한다.
바람직하게 상기 가상터치 처리부는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 한다.
바람직하게 상기 전자기기 구동 제어부는 적외선(IR) 신호, 와이파이(WiFi), 블루투스(Bluetooth)를 포함하는 단거리 무선통신 방식으로 조작 명령 신호를 송신하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법의 특징은 (A) 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 단계와, (B) 상기 산출된 3차원 좌표 데이터 중 전자기기에 따른 3차원 좌표 데이터를 이용하여 전자기기를 스캔하여 전자기기 형태에 따른 3차원 모델링을 실시하는 단계와, (C) 상기 3차원 모델링된 전자기기 형태에 기반하여 전자기기 정보 DB에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정하는 단계와, (D) 상기 추출된 사용자 신체 및 전자기기의 3차원 좌표 데이터를 기반으로 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 접점 영역을 생성하는 단계와, (E) 상기 산출된 3차원 좌표 데이터 중 사용자 신체에 따른 3차원 좌표 데이터를 이용하여 사용자 손가락 중 어느 하나 손가락의 끝의 3차원 좌표를 갖는 제 1 공간좌표와 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표를 갖는 제 2 광간좌표를 산출하고, 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 생성된 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 단계와, (F) 상기 생성된 가상의 2차원 접점 영역과 만나는 접점 좌표 데이터의 변화가 있는지 판단하여 변화가 있는 경우, 상기 접점 좌표 데이터의 변화에 대응되도록 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하여 출력하는 단계와, (G) 상기 생성된 명령코드를 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 단계를 포함하여 이루어지는데 있다.
바람직하게 상기 (A) 단계는 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 있는 영상획득부를 통해 각기 다른 각도에서 사용자 신체 및 전자기기를 촬영하는 단계와, 상기 촬영된 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 단계를 포함하는 것을 특징으로 한다.
바람직하게 상기 (A) 단계는 조명어셈블리를 통해 사용자 신체 및 전자기기에 스페클 패턴을 투영하는 단계와, 상기 조명어셈블리에 의해 투영된 상기 사용자 신체 및 전자기기 상의 스페클 패턴을 캡처하는 단계와, 상기 스페클 패턴 영상을 기반으로 시간지연측정법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 단계를 포함하는 것을 특징으로 한다.
바람직하게 상기 (F) 단계는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 한다.
바람직하게 상기 (F) 단계는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 한다.
바람직하게 상기 (F) 단계는 상기 생성된 2차원 접점 영역에 전자기기 정보 DB에 미리 저장된 조작방법 정보에 따라 가상 터치 조작을 위한 터치 영역이 설정되는 단계와, 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 단계와, 사용자에 의해 상기 가상의 접점 영역의 미리 설정된 터치 영역에 상, 하, 좌, 우, 앞, 뒤 중 적어도 하나 이상의 가상 터치 조작을 수행하여 전자기기의 조작 요청이 수행되어 제 1 공간좌표의 변화에 따라 산출된 접점 좌표 데이터의 변화가 판단되면, 상기 접점 좌표 데이터의 변화에 대응되도록 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 단계를 포함하는 것을 특징으로 한다.
바람직하게 상기 접점 영역은 전자기기의 전면, 측면, 후면의 방향과 상관없이 전자기기와 사용자 사이에 위치하여 전자기기의 어느 방향에서도 사용자의 가상 터치 조작을 통해 구동 조작이 이루어지는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 디스플레이 장치를 통한 포인터를 사용하여 표시된 조작 아이콘을 가상 터치하는 방법으로 이루어지는 것이 아니라, 3차원 모델링된 전자기기의 몸체에 가상 터치하는 방식으로 전자기기를 조작함으로써, 전자기기의 신속한 조작이 가능하다. 따라서 디스플레이 장치를 포함하지 않는 모든 전자기기에도 적용이 가능한 효과가 있다.
둘째, 지금까지 가상터치를 이용하는 연구의 경우, 디스플레이 장치를 활용한 응용기술에만 국한되어 개발되어 왔다. 이에 본 발명에서는 디스플레이 장치를 사용하지 않는 가상 터치 장치에서 활용할 수 있으면서, 전자기기의 동작을 정확하게 조작할 수 있는 새로운 터치 인식 방법을 제공할 수 있다.
셋째, 원격 조작 장치의 구성이 원격 조정의 대상이 되는 전자기기와 별도로 분리되어 구성함으로써, 전자기기의 이동시에도 전자기기의 변화된 3차원 공간좌표의 산출이 자유로워 이동성이 자유로운 각종 전자기기의 적용이 가능한 효과가 있다.
넷째, 전자기기뿐만 아니라 커튼, 조명, 오토 도어락 등 스위칭을 통해 간편한 조작을 요구하는 기기의 경우에는 3차원 모델링을 통해 가상터치를 제공하여 가상터치에 상응하는 조작을 수행하여 다양한 응용 기술에 적용이 가능하다.
[도 1] 본 발명의 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작의 전체 시스템을 나타낸 도면
[도 2] 본 발명의 제 1 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치를 나타낸 블록 구성도
[도 3] 본 발명의 제 2 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치를 나타낸 블록 구성도
[도 4] 본 발명의 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법을 설명하기 위한 흐름도
[도 5] 도 4의 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 과정의 제 1 실시예를 설명하기 위한 흐름도
[도 6] 도 4의 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 과정의 제 2 실시예를 설명하기 위한 흐름도
[도 7] 본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법의 구체적인 실시예를 나타낸 도면
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1 은 본 발명의 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작의 전체 시스템을 나타낸 도면이다.
도 1 과 같이, 원격 조작 장치(100)는 사용자가 원격에서 손 등의 움직임을 통한 가상터치를 이용하여 전자기기(200)의 구동 조작을 요청하면, 사용자의 움직임을 통한 사용자 신체의 3차원 좌표 데이터를 추출하여 3차원 영역을 확인하고, 동시에 사용자가 구동 조작을 요청한 전자기기(200)의 위치 정보를 인식한다. 그리고 사용자의 움직임에 상응하는 전자기기의 구동 조작 명령 신호를 생성하여 해당 전자기기(200)에 송신함으로써, 해당 전자기기(200)의 구동을 조작한다.
이처럼, 전자기기의 위치 정보를 이용하여 원격 조작이 이루어짐에 따라, 디스플레이 장치의 유무와 상관없이 기존 리모컨을 이용하여 구동 조작되는 모든 전자기기에 적용 가능하게 된다.
그럼 이하에서 원격 조작 장치(100)의 구성을 좀 더 상세히 살펴보도록 한다.
제 1 실시예
도 2 는 본 발명의 제 1 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치를 나타낸 블록 구성도이다.
도 2와 같이 원격 조작 장치(100)는 영상 획득부(110)와, 공간좌표 산출부(120)와 전자기기 검출부(130)와, 사용자 검출부(140)와, 전자기기 구동 제어부(160)와, 전자기기 정보 데이터베이스(DB)(150)로 구성된다.
상기 영상 획득부(110)로는 일종의 카메라 모듈로서, 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 이미지 센서(112, 114)를 2 이상 포함 할 수 있다.
상기 공간좌표 산출부(120)는 영상 획득부(110)로부터 수신한 영상을 이용하여 상기 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출한다. 본 발명에 따르면 영상 획득부(110)를 구성하는 이미지센서(112, 114)는 각기 다른 각도에서 사용자 신체 및 전자기기를 촬영하고 공간좌표 산출부(120)는 수동적인 광학 삼각법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출할 수 있다.
일반적으로 광학식 3차원 좌표 산출 방법은 센싱 방법에 따라 능동 방식과 수동 방식으로 분류할 수 있다. 능동 방식은 미리 정의된 패턴이나 음파 등을 물체에 투사한 후 그 에너지 또는 초점 등의 센서 파라미터의 제어를 통한 변화량을 측정하여 물체의 3차원 좌표 데이터를 산출하는 방법으로 구조광 혹은 레이저광을 이용하는 방식이 대표적이다. 이에 비하여 수동 방식은 인위적으로 물체에 에너지를 투사하지 않은 상태에서 촬영한 영상의 명암(intensity), 시차(parallax) 등을 이용하는 방식이다.
본 발명에서는 물체에 에너지를 투사하지 않는 수동 방식을 채용하고 있는 바, 이 방식은 능동 방식에 비해 다소 정밀도는 떨어질 수 있어도 장비가 간편하고 입력 영상으로부터 텍스쳐를 직접 획득할 수 있는 장점이 있다.
수동 방식에서는 촬영한 영상 간에 대응되는 특징점들에게 광학적인 삼각 측량법을 적용하여 3차원 정보를 획득할 수 있다. 삼각법의 적용하여 3차원 좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다. 특히, 3차원 좌표 데이터를 산출하는 방법으로 입체 카메라 법을 이용할 수도 있다. 입체 카메라 법은 인간이 두 개의 눈으로 물체를 보고 변위를 얻는 양안입체 시의 구조와 동일하게 두 개의 다른 점에서 물체 표면의 동일점을 관측하여 그 점에 대한 예상각으로 부터 거리를 구하는 방법이다. 상기 언급한 각종 3차원 좌표 산출 기법들은 본 발명이 속하는 기술 분야의 당업자가 용이하게 알 수 있고 구현이 가능한 것들이므로 이에 대한 설명은 생략하기로 한다. 한편, 2차원 이미지를 이용하여 3차원 좌표 데이터를 산출하는 방법과 관련된 특허문헌으로 국내공개특허 제10-0021803호, 제10-2004-0004135호, 제10-2007-0066382호, 제10-2007-0117877호 등 다수가 존재한다.
상기 전자기기 검출부(130)는 3차원 모델링부(132)와, 전자기기 설정부(134)와, 터치 위치 매칭부(136)로 구성되어, 상기 공간좌표 산출부(120)에서 산출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기(200)의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기와의 가상 터치를 위한 가상의 접점 영역을 생성한다.
이때, 상기 3차원 모델링부(132)는 상기 공간 좌표 산출부(120)에서 산출된 전자기기의 3차원 공간좌표를 기반으로 전자기기 형태에 따른 3차원 모델링을 실시한다. 그리고 상기 전자기기 설정부(134)는 상기 3차원 모델링부(132)에서 3차원 모델링된 전자기기 형태에 기반하여 전자기기 정보 DB(150)에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정한다. 또한 상기 터치 위치 매칭부(136)는 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성한다. 이때 생성되는 가상의 2차원 접점 영역은 전자기기의 3차원 좌표에 기반하여 사용자보다 전자기기에 더 가까이 생성되는 것이 바람직하다.
상기 사용자 검출부(140)는 터치 위치 산출부(142)와, 가상터치 처리부(144)로 구성되어, 상기 공간좌표 산출부(120)에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기(200)의 구동 조작을 위한 가상 터치 위치 및 그 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성한다.
이때, 상기 터치 위치 산출부(142)는 상기 공간좌표 산출부(120)에서 산출된 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표와 제 2 공간좌표를 산출하고, 산출한 제 1 공간좌표(손가락)와 제 2 공간좌표(눈)를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 터치 위치 매칭부(136)에서 생성된 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 역할을 수행한다.
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제 1 공간좌표로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다. 또한 같은 맥락에서 상기 제 1 공간좌표의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다.
또한 본 발명에서는 제 2 공간좌표로서 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈(제 2 공간좌표)으로만 손가락 끝(제 1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표를 정확히 볼 수 있어야 제 1 공간좌표와 일치되는 상기 터치 위치 매칭부(136)에서 생성된 가상의 접점 영역을 포인팅 할 수 있다.
한편, 본 발명에서 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다. 또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 형성될 수 있다. 또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.
상기 가상 터치 처리부(144)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있으면 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 출력한다. 또한 상기 가상 터치 처리부(144)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.
또한 가상 터치 처리부(144)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성한다. 또한 가상 터치 처리부(40)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.
한편, 상기 접점 좌표 데이터의 변동이 설정영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 전자기기를 포인팅 할 때 신체 특성상 신체 또는 손가락에 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 접점 좌표 데이터 값이 미리 정의된 설정 영역 범위 안에 존재할 때는 상기 접점 좌표 데이터의 변동이 없는 것으로 간주한다.
본 발명에 따른 원격 조정의 대상이 되는 전자기기로는 조명, 스피커, 에어컨, 선풍기, 블라인드, 창문, 커튼, 문, 난방, 가스, 전자레인지, 비디오, 카메라, CCTV 등 홈 네트워킹을 구성하고 각종 전자기기들도 본 발명에 의한 원격 조정 대상이 될 수 있다.
본 발명에 따른 원격 조작 장치(100)는 원격 조정의 대상이 되는 전자기기와 별도로 분리되어 설치됨으로서, 전자기기의 이동시에도 전자기기의 변화된 3차원 공간좌표의 산출이 자유로워 이동성이 자유로운 각종 전자기기의 적용이 가능하다.
상기 전자기기 구동 제어부(160)는 상기 사용자 검출부(140)에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신한다. 이때 송신되는 조작 명령 신호는 기존 리모컨의 적외선(IR) 신호로 송신되는 것이 바람직하지만, 이에 한정되지 않으며, 현재 사용되고 있는 와이파이(WiFi), 블루투스(Bluetooth) 등 단거리 무선통신 방식을 통해서도 적용이 가능함은 당연하다.
상기 전자기기 정보 데이터베이스(DB)(150)는 가정내 구비된 전자기기의 제조사, 모델명 등의 기기제품 정보와, 기기제품별 구동 조작에 적용되는 프로토콜 정보와, 전자기기별 조작방법 정보를 저장하고 있다. 이때 조작방법 정보는 전자기기의 전원, 조도, 음량, 온도조절 등을 가상 터치로 조작하기 위한 사용자 손가락의 움직임 및 터치 위치 등의 정보를 말한다. 참고로 상기 전자기기 정보 DB(150)에 저장되는 정보들은 전자기기의 구매 후, 사용자에 의해 수시로 갱신이 가능하며, 갱신하는 방법으로는 가전제품의 웹사이트에 접속하여 해당 전자기기의 정보를 다운로드 받거나 또는 전자기기 내부에 미리 구성되어 있는 송수신기 등을 통해 해당 전자기기의 정보를 다운로드 받아 갱신할 수도 있다. 이는 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능하다.
제 2 실시예
도 3 은 본 발명의 제 2 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치를 나타낸 블록 구성도이다.
도 3과 같이 원격 조작 장치(100)는 3차원 좌표 산출부(170)와, 전자기기 검출부(130)와, 사용자 검출부(140)와 전자기기 구동 제어부(160)와, 전자기기 정보 데이터베이스(DB)(150)로 구성된다.
상기 3차원 좌표 산출장치(170)는 조명어셈블리(172)와, 영상 획득부(174)와, 공간좌표 산출부(176)로 구성되어, 사용자 및 전자기기에 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출한다.
이때, 상기 조명어셈블리(172)는 광원(172a)과 산광기(172b)를 포함하며 사용자 신체 및 전자기기에 스페클 패턴을 투영한다. 그리고 상기 영상 획득부(174)는 이미지센서(174a)와 렌즈(174b)로 구성되어, 상기 조명어셈블리(172)에 의해 투영된 상기 사용자 신체 및 전자기기 상의 스페클 패턴을 캡처한다. 이때, 상기 이미지 센서(174a)는 일반적으로 CCD 또는 CMOS 기반의 이미지 센서가 사용될 수 있다. 또한 상기 공간좌표 산출부(176)는 상기 영상 획득부(174)가 획득된 영상을 처리하여 상기 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 역할을 수행한다.
상기 전자기기 검출부(130)는 3차원 모델링부(132)와, 전자기기 설정부(134)와, 터치 위치 매칭부(136)로 구성되어, 상기 공간좌표 산출부(176)에서 산출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기(200)의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 접점 영역을 생성한다. 참고로, 상기 전자기기 검출부(130)의 구성에 따른 설명은 제 1 실시예에서 설명하고 있는 내용과 동일하며, 위에서 자세히 설명하고 있으므로 이에 따른 설명은 생략한다.
상기 사용자 검출부(140)는 터치 위치 산출부(142)와, 가상터치 처리부(144)로 구성되어, 상기 공간좌표 산출부(176)에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기(200)의 구동 조작을 위한 가상 터치 위치 및 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성한다. 참고로, 상기 사용자 검출부(140)의 구성에 따른 설명은 제 1 실시예에서 설명하고 있는 내용과 동일하며, 위에서 자세히 설명하고 있으므로 이에 따른 설명은 생략한다.
상기 전자기기 구동 제어부(160)는 상기 사용자 검출부(140)에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신한다. 이때 송신되는 조작 명령 신호는 기존 리모컨의 적외선(IR) 신호로 송신되는 것이 바람직하지만, 이에 한정되지 않으며, 현재 사용되고 있는 와이파이(WiFi), 블루투스(Bluetooth) 등 단거리 무선통신 방식을 통해서도 적용이 가능함은 당연하다.
상기 전자기기 정보 데이터베이스(DB)(150)는 가정내 구비된 전자기기의 제조사, 모델명 등의 기기제품 정보와, 기기제품별 구동 조작에 적용되는 프로토콜 정보를 저장하고 있다. 이때 조작방법 정보는 전자기기의 전원, 조도, 음량, 온도조절 등을 가상 터치로 조작하기 위한 사용자 손가락의 움직임 및 터치 위치 등의 정보를 말한다. 참고로 상기 전자기기 정보 DB(150)에 저장되는 정보들은 전자기기의 구매 후, 사용자에 의해 수시로 갱신이 가능하며, 갱신하는 방법으로는 가전제품의 웹사이트에 접속하여 해당 전자기기의 정보를 다운로드 받거나 또는 전자기기 내부에 미리 구성되어 있는 송수신기 등을 통해 해당 전자기기의 정보를 다운로드 받아 갱신할 수도 있다. 이는 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능하다.
이와 같이 구성된 본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1 내지 도 3 과 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 4 는 본 발명의 실시예에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법을 설명하기 위한 흐름도이다.
도 4 를 참조하여 원격 조작 방법을 설명하면, 먼저 카메라를 통해 촬영된 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출한다(S100).
상기 산출된 3차원 좌표 데이터 중 전자기기에 따른 3차원 좌표 데이터를 이용하여 전자기기를 스캔하여 전자기기 형태에 따른 3차원 모델링을 실시한다(S300).
그리고 3차원 모델링된 전자기기 형태에 기반하여 상기 전자기기 설정부(134)에서 전자기기 정보 DB(150)에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정한다(S400).
이어 상기 터치 위치 매칭부(136)는 상기 추출된 사용자 신체 및 전자기기의 3차원 좌표 데이터를 기반으로 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성한다(S500). 이때 생성되는 가상의 2차원 접점 영역은 전자기기의 3차원 좌표에 기반하여 사용자보다 전자기기에 더 가까이 생성되는 것이 바람직하다.
한편, 상기 산출된 3차원 좌표 데이터 중 사용자 신체에 따른 3차원 좌표 데이터를 이용하여 사용자 손가락 중 어느 하나 손가락의 끝의 3차원 좌표를 갖는 제 1 공간좌표와 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표를 갖는 제 2 광간좌표를 산출하고, 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 생성된 가상의 2차원 접점 영역과 만나는 접점 좌표 데이터를 산출한다(S600).
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제 1 공간좌표로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다. 또한 같은 맥락에서 상기 제 1 공간좌표의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다.
또한 본 발명에서는 제 2 공간좌표로서 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈(제 2 공간좌표)으로만 손가락 끝(제 1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표를 정확히 볼 수 있어야 제 1 공간좌표와 일치되는 상기 터치 위치 매칭부(136)에서 생성된 가상의 접점 영역을 포인팅 할 수 있다. 또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 형성될 수 있다. 또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.
이어 가상 터치 처리부(144)가 생성된 가상의 2차원 접점 영역과의 접점 좌표 데이터의 변동이 있는지 판단하여 변동이 있는 경우, 상기 접점 좌표 데이터의 변동에 대응되도록 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하여 출력한다(S700).
이때, 접점 좌표 데이터의 변동 여부의 판단은 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단한다. 또한 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터의 변동이 있는 것으로 판단한다. 그리고 이렇게 접점 좌표 데이터의 변동이 있는 경우, 변동된 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하게 된다.
그리고 상기 생성된 명령코드를 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신한다(S800). 이때 송신되는 조작 명령 신호는 기존 리모컨의 적외선(IR) 신호로 송신되는 것이 바람직하지만, 이에 한정되지 않으며, 현재 사용되고 있는 와이파이(WiFi), 블루투스(Bluetooth) 등 단거리 무선통신 방식으로의 송신이 가능하다.
도 5 는 도 4 의 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 과정의 제 1 실시예를 설명하기 위한 흐름도이다.
도 5 를 참조하여 설명하면, 먼저 카메라 모듈의 영상 획득부(110)에서 구성하는 2개의 이미지 센서(112)(114)를 통해 각기 다른 각도에서 촬영된 사용자 신체 및 전자기기의 영상을 획득한다(S111).
이어 공간좌표 산출부(120)가 상기 각기 다른 각도에서 촬영된 사용자 신체 및 전자기기의 영상을 광학적인 삼각 측량법을 이용하여 사용자 신체 및 전자기기의 좌표 데이터를 산출한다(S112).
그리고 이렇게 산출된 좌표 데이터를 각각 조합하여 사용자 신체 및 전자기기의 3차원 영상정보에 따른 3차원 좌표 데이터를 산출한다(S113).
이와 같은 삼각법을 적용하여 3차원 좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다. 특히, 3차원 좌표 데이터를 산출하는 방법으로 입체 카메라 법을 이용할 수도 있다. 입체 카메라 법은 인간이 두 개의 눈으로 물체를 보고 변위를 얻는 양안입체 시의 구조와 동일하게 두 개의 다른 점에서 물체 표면의 동일점을 관측하여 그 점에 대한 예상각으로부터 거리를 구하는 방법이다.
도 6 은 도 4의 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 과정의 제 2 실시예를 설명하기 위한 흐름도이다.
도 6을 참조하여 설명하면, 먼저 조명어셈블리(172)가 사용자 신체 및 전자기기로 스페클 패턴을 투영한다(S121).
그러면 영상 획득부(174)가 상기 조명어셈블리(172)에 의해 투영된 사용자 신체 및 전자기기에 따른 상의 스페클 패턴을 캡처한다(S122).
이어 공간좌표 산출부(176)가 상기 스페클 패턴의 영상을 시간지연 측정법을 이용하여 측정된 깊이 값을 이용하여 사용자 신체 및 전자기기의 좌표 데이터를 산출한다(S123).
그리고 이렇게 산출된 좌표 데이터를 각각 조합하여 사용자 신체 및 전자기기의 3차원 영상정보에 따른 3차원 좌표 데이터를 산출한다(S124).
이와 같은 시간지연 측정법을 적용하여 3차원 좌표를 추출하는 기법은 발신기로부터 발생한 초음파가 물체에 의해 반사되어 수신기에 도달하는 시간차(Time of Flight)를 초음파의 진행 속도로 나누어 거리로 환산함으로써 3D 정보를 획득하는 기법이다. 그 밖에도 시간지연측정법(Time of Flight)을 이용하는 3차원 좌표 산출 방법이 기존에 다양하게 존재하고, 본 발명이 속하는 기술분야의 당업자에게는 용이하게 구현이 가능하므로 이 부분에 대한 설명은 생략한다.
도 7 은 본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법의 구체적인 실시에를 나타낸 도면이다. 이때 조작되는 전자기기로 선풍기를 실시예로 나타내고 있다.
도 7 과 같이, 터치 위치 매칭부(136)는 선풍기와 사용자 사이에 2차원 접점 영역을 생성한 후, 이렇게 생성된 2차원 접점 영역은 전자기기 정보 DB(150)에 저장된 조작방법 정보에 따라 가상 터치 조작을 위한 터치 영역이 설정되게 된다. 도 7 은 선풍기에 대한 조작으로 상하로 터치 영역이 설정되게 된다.
그리고 터치 위치 산출부(142)를 통해 제 1 공간좌표(손가락)와 제 2 공간좌표(눈)를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 가상의 2차원 접점 영역과 만나는 접점 좌표 데이터를 산출하고, 이어 상기 제 1 공간좌표의 변화에 따라 산출된 접점 좌표 데이터의 변동 여부의 판단한다.
따라서 사용자가 2차원 접점 영역의 상부 영역에 좌우로 가상 터치 조작을 한 경우에는 선풍기의 회전 조작을 요청한 것으로 처리하고, 위아래로 가상 터치 조작을 한 경우에는 선풍기의 회전에서 멈춤 조작을 요청한 것으로 처리한다. 또한 사용자가 2차원 접점 영역의 하부 영역에 좌 또는 우로 가상 터치 조작을 한 경우에는 선풍기의 풍량을 조작하기 위한 것으로, 좌로 변동한 경우는 풍량을 줄이도록, 우로 변동한 경우는 풍량을 높이도록 조작을 요청한 것으로 처리하고, 위아래로 가상터치를 조작한 경우에는 선풍기의 전원의 온/오프(0n/Off)를 조작을 요청한 것으로 처리한다.
이때, 2차원 접점 영역은 전자기기의 전면, 측면, 후면의 방향과 상관없이 전자기기와 사용자 사이에 위치하므로, 전자기기의 어느 방향에서도 사용자는 가상 터치 조작을 통해 구동 조작이 가능하게 된다.
위에서 설명한 동일한 방법으로, 전자기기별 2차원 접점 영역으로의 사용자의 가상 터치를 통해 전원의 온/오프는 물론 조도/음량/온도 등의 조절, 블라인드, 창문, 커튼, 문 등의 움직임 등을 조작할 수 있다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 따른 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법은 디스플레이 장치를 포함하지 않는 모든 전자기기에도 적용이 가능하며, 원격지에서도 전자기기의 동작을 정확히 조작할 수 있으며, 각종 전자기기에 간단히 적용이 가능하여 산업상 이용가능성이 있다고 할 것이다.

Claims (17)

  1. 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출부와,
    상기 3차원 좌표 산출부에서 추출된 전자기기의 3차원 좌표 데이터를 이용하여 전자기기의 공간위치 정보 및 기기제품 정보를 인식하고, 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 기반으로 사용자와 전자기기와의 가상 터치를 위한 가상의 접점 영역을 생성하는 전자기기 검출부와,
    상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 좌표 데이터를 이용하여 전자기기의 구동 조작을 위한 가상 터치 위치 및 위치 변화를 산출하고, 산출된 가상 터치 위치 변화를 기반으로 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 사용자 검출부와,
    상기 사용자 검출부에서 생성된 명령코드가 입력되면, 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 전자기기 구동 제어부와,
    상기 전자기기의 제조사, 모델명을 포함하는 기기제품 정보, 기기제품별 구동 조작에 적용되는 프로토콜 정보, 전자기기별 조작방법 정보를 저장하는 전자기기 정보 데이터베이스(DB)를 포함하여 구성되는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  2. 제 1 항에 있어서, 상기 3차원 좌표 산출부는
    서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체 및 전자기기를 촬영하는 영상 획득부와,
    상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  3. 제 1 항에 있어서, 상기 3차원 좌표 산출부는
    광원과 산광기로 구성되어, 사용자 신체 및 전자기기에 스페클 패턴을 투영하는 조명어셈블리와,
    이미지 센서 및 렌즈로 구성되어 상기 조명어셈블리에 의해 투영된 상기 사용자 신체 및 전자기기 상의 스페클 패턴을 캡처하는 영상 획득부와,
    상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 시간지연측정법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  4. 제 1 항에 있어서, 상기 전자기기 검출부는
    3차원 좌표 산출부에서 산출된 전자기기의 3차원 공간좌표를 기반으로 전자기기 형태에 따른 3차원 모델링을 실시하는 3차원 모델링부와,
    상기 3차원 모델링부에서 3차원 모델링된 전자기기 형태에 기반하여 상기 전자기기 정보 DB에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정하는 전자기기 설정부와,
    사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 2차원 접점 영역을 생성하는 터치 위치 매칭부를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  5. 제 1 항에 있어서, 상기 사용자 검출부는
    상기 3차원 좌표 산출부에서 산출된 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표 및 제 2 공간좌표를 산출하여 산출된 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와,
    상기 터치 위치 산출부에서 산출된 접점 좌표 데이터의 변화 여부를 판단하고, 변화가 있는 것으로 판단되면 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 가상터치 처리부를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  6. 제 5 항에 있어서,
    상기 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표인 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  7. 제 5 항에 있어서, 상기 가상터치 처리부는
    초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  8. 제 7 항에 있어서, 상기 가상터치 처리부는
    초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  9. 제 1 항에 있어서,
    상기 전자기기 구동 제어부는 적외선(IR) 신호, 와이파이(WiFi), 블루투스(Bluetooth)를 포함하는 단거리 무선통신 방식으로 조작 명령 신호를 송신하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치.
  10. (A) 영상 촬영을 통해 수신한 영상을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 추출하는 단계와,
    (B) 상기 산출된 3차원 좌표 데이터 중 전자기기에 따른 3차원 좌표 데이터를 이용하여 전자기기를 스캔하여 전자기기 형태에 따른 3차원 모델링을 실시하는 단계와,
    (C) 상기 3차원 모델링된 전자기기 형태에 기반하여 전자기기 정보 DB에 미리 저장되어 있는 전자기기 정보와 비교하여 해당되는 전자기기를 검출하고, 검출된 전자기기의 구동 조작에 따른 제어신호를 설정하는 단계와,
    (D) 상기 추출된 사용자 신체 및 전자기기의 3차원 좌표 데이터를 기반으로 사용자와 전자기기 간의 일직선상에 대응되는 방향 정보를 서로 매칭시켜, 매칭되는 방향 정보를 기반으로 사용자와 전자기기 사이에 가상 터치를 위한 가상의 접점 영역을 생성하는 단계와,
    (E) 상기 산출된 3차원 좌표 데이터 중 사용자 신체에 따른 3차원 좌표 데이터를 이용하여 사용자 손가락 중 어느 하나 손가락의 끝의 3차원 좌표를 갖는 제 1 공간좌표와 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표를 갖는 제 2 광간좌표를 산출하고, 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 생성된 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 단계와,
    (F) 상기 생성된 가상의 2차원 접점 영역과 만나는 접점 좌표 데이터의 변화가 있는지 판단하여 변화가 있는 경우, 상기 접점 좌표 데이터의 변화에 대응되도록 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하여 출력하는 단계와,
    (G) 상기 생성된 명령코드를 해당되는 전자기기의 구동 조작을 위한 제어명령 신호로 변환하여 해당되는 전자기기로 조작 명령 신호를 송신하는 단계를 포함하여 이루어지는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  11. 제 10 항에 있어서, 상기 (A) 단계는
    서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 있는 영상획득부를 통해 각기 다른 각도에서 사용자 신체 및 전자기기를 촬영하는 단계와,
    상기 촬영된 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 단계를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  12. 제 10 항에 있어서, 상기 (A) 단계는
    조명어셈블리를 통해 사용자 신체 및 전자기기에 스페클 패턴을 투영하는 단계와,
    상기 조명어셈블리에 의해 투영된 상기 사용자 신체 및 전자기기 상의 스페클 패턴을 캡처하는 단계와,
    상기 스페클 패턴 영상을 기반으로 시간지연측정법을 이용하여 사용자 신체 및 전자기기의 3차원 좌표 데이터를 산출하는 단계를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  13. 제 10 항에 있어서,
    상기 (F) 단계는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변화가 있는 경우 접점 좌표 데이터의 변화가 있는 것으로 판단하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  14. 제 13 항에 있어서,
    상기 (F) 단계는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변화가 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는, 변화가 있는 것으로 판단하여 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  15. 제 10 항에 있어서,
    상기 (G) 단계는 적외선(IR) 신호, 와이파이(WiFi), 블루투스(Bluetooth)를 포함하는 단거리 무선통신 방식으로 조작 명령 신호를 송신하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  16. 제 10 항에 있어서, 상기 (F) 단계는
    상기 생성된 2차원 접점 영역에 전자기기 정보 DB에 미리 저장된 조작방법 정보에 따라 가상 터치 조작을 위한 터치 영역이 설정되는 단계와,
    상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 가상의 접점 영역과 만나는 접점 좌표 데이터를 산출하는 단계와,
    사용자에 의해 상기 가상의 접점 영역의 미리 설정된 터치 영역에 상, 하, 좌, 우, 앞, 뒤 중 적어도 하나 이상의 가상 터치 조작을 수행하여 전자기기의 조작 요청이 수행되어 제 1 공간좌표의 변화에 따라 산출된 접점 좌표 데이터의 변화가 판단되면, 상기 접점 좌표 데이터의 변화에 대응되도록 미리 설정된 전자기기의 조작을 수행하는 명령코드를 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
  17. 제 10 항에 있어서,
    상기 접점 영역은 전자기기의 전면, 측면, 후면의 방향과 상관없이 전자기기와 사용자 사이에 위치하여 전자기기의 어느 방향에서도 사용자의 가상 터치 조작을 통해 구동 조작이 이루어지는 것을 특징으로 하는 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 방법.
PCT/KR2012/005362 2011-07-11 2012-07-06 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법 WO2013009040A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280034529.4A CN103688236B (zh) 2011-07-11 2012-07-06 利用三维模拟电子设备的虚拟触摸的远程操作装置及方法
EP12811473.3A EP2733585B1 (en) 2011-07-11 2012-07-06 Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
US14/232,310 US9367138B2 (en) 2011-07-11 2012-07-06 Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110068383A KR101235432B1 (ko) 2011-07-11 2011-07-11 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
KR10-2011-0068383 2011-07-11

Publications (2)

Publication Number Publication Date
WO2013009040A2 true WO2013009040A2 (ko) 2013-01-17
WO2013009040A3 WO2013009040A3 (ko) 2013-03-07

Family

ID=47506668

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/005362 WO2013009040A2 (ko) 2011-07-11 2012-07-06 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법

Country Status (5)

Country Link
US (1) US9367138B2 (ko)
EP (1) EP2733585B1 (ko)
KR (1) KR101235432B1 (ko)
CN (1) CN103688236B (ko)
WO (1) WO2013009040A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298340A (zh) * 2013-07-15 2015-01-21 联想(北京)有限公司 控制方法和电子设备
WO2016190457A1 (ko) * 2015-05-22 2016-12-01 스튜디오씨드코리아 주식회사 평면 요소의 속성을 표시하는 방법 및 그 장치
US10067660B2 (en) 2015-05-22 2018-09-04 Studio Xid Korea, Inc. Method and apparatus for displaying attributes of plane element

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101334585B1 (ko) 2012-05-29 2013-12-05 주식회사 브이터치 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
US10180029B2 (en) * 2013-03-15 2019-01-15 Springs Window Fashions, Llc Window covering motorized lift and control system motor and operation
KR101488947B1 (ko) * 2013-03-15 2015-02-06 삼성중공업(주) 사진 계측 장치 및 방법
EP3050260A2 (en) * 2013-09-24 2016-08-03 Fibar Group S.A. Touch-less swipe control
US9207780B2 (en) * 2014-01-27 2015-12-08 Fuji Xerox Co., Ltd. Systems and methods for hiding and finding digital content associated with physical objects via coded lighting
KR101533319B1 (ko) 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
CN103901781B (zh) * 2014-04-22 2017-01-11 深圳市奥贝尔电子有限公司 一种联网在线遥控模拟系统和联网在线遥控模拟方法
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
CN104346920A (zh) * 2014-10-28 2015-02-11 河海大学 一对多遥控装置识别遥控对象的方法及一对多遥控装置
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
KR20160111220A (ko) * 2015-03-16 2016-09-26 엘지전자 주식회사 전기제품, 전기제품의 펌웨어 업데이트 방법 및 네트워크 시스템
CN107466389B (zh) 2015-04-30 2021-02-12 谷歌有限责任公司 用于确定类型不可知的rf信号表示的方法和装置
CN111522434A (zh) 2015-04-30 2020-08-11 谷歌有限责任公司 用于手势跟踪和识别的基于rf的微运动跟踪
EP3289434A1 (en) 2015-04-30 2018-03-07 Google LLC Wide-field radar-based gesture recognition
CN105045140B (zh) * 2015-05-26 2019-01-01 深圳创维－Rgb电子有限公司 智能控制受控设备的方法和装置
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN105487705B (zh) * 2015-11-20 2019-08-30 努比亚技术有限公司 移动终端、输入处理方法及用户设备
KR102401641B1 (ko) * 2016-01-08 2022-05-25 엘지전자 주식회사 모바일 디바이스 및 모바일 디바이스의 제어방법
US11401733B2 (en) 2016-04-15 2022-08-02 Spectrum Brands, Inc. Wireless lockset with integrated angle of arrival (AOA) detection
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
WO2017200570A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive object with multiple electronics modules
KR101937823B1 (ko) 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
CN106873300B (zh) * 2016-12-30 2019-12-24 北京光年无限科技有限公司 面向智能机器人的虚拟空间投影方法和装置
CN108665480A (zh) * 2017-03-31 2018-10-16 满景资讯股份有限公司 三维侦测装置的操作方法
KR102463712B1 (ko) 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
US10608439B2 (en) * 2018-01-19 2020-03-31 Air Cool Industrial Co., Ltd. Ceiling fan with gesture induction function
CN110096133A (zh) * 2018-01-30 2019-08-06 鸿富锦精密工业(武汉)有限公司 红外手势识别装置及方法
CN109871123B (zh) * 2019-01-21 2022-08-16 广东精标科技股份有限公司 一种基于手势或眼神控制的教学方法
KR102225342B1 (ko) * 2019-02-13 2021-03-09 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020021803A (ko) 2002-03-05 2002-03-22 백수곤 하나 이상의 이차원 이미지로부터 삼차원 모델을 만드는방법
KR20040004135A (ko) 2002-07-03 2004-01-13 샤프 가부시키가이샤 3차원 표시 기능을 갖는 휴대 기기
KR20070066382A (ko) 2005-12-22 2007-06-27 주식회사 팬택 두 대의 카메라를 이용한 3차원 이미지 생성 방법 및 이를구현하는 카메라 단말기
KR20070117877A (ko) 2006-06-09 2007-12-13 한국과학기술원 손 지시의 3차원 위치 인식 시스템 및 방법
KR20100129629A (ko) 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0829799A3 (en) * 1992-05-26 1998-08-26 Takenaka Corporation Wall computer module
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE60133386T2 (de) * 2000-05-17 2009-04-02 Koninklijke Philips Electronics N.V. Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
KR100537518B1 (ko) * 2004-01-27 2005-12-19 삼성전자주식회사 공간에서 클릭 동작에 따른 포인팅 위치 조절 방법 및이를 위한 공간형 입력 장치
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
EP1851750A4 (en) * 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
US7728825B2 (en) * 2005-03-22 2010-06-01 Microsoft Corporation Targeting in a stylus-based user interface
US9075441B2 (en) * 2006-02-08 2015-07-07 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
KR100920931B1 (ko) * 2007-11-16 2009-10-12 전자부품연구원 Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
US8542323B2 (en) * 2007-12-21 2013-09-24 Sony Corporation Touch sensitive wireless navigation device for remote control
CN101504728B (zh) * 2008-10-10 2013-01-23 深圳泰山在线科技有限公司 一种电子设备的遥控系统及其遥控方法
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
KR101082829B1 (ko) * 2009-10-05 2011-11-11 백문기 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
EP2421251A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
US20120268424A1 (en) * 2011-04-20 2012-10-25 Kim Taehyeong Method and apparatus for recognizing gesture of image display device
US20140152869A1 (en) * 2011-07-13 2014-06-05 Simon Solotko Methods and Systems for Social Overlay Visualization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020021803A (ko) 2002-03-05 2002-03-22 백수곤 하나 이상의 이차원 이미지로부터 삼차원 모델을 만드는방법
KR20040004135A (ko) 2002-07-03 2004-01-13 샤프 가부시키가이샤 3차원 표시 기능을 갖는 휴대 기기
KR20070066382A (ko) 2005-12-22 2007-06-27 주식회사 팬택 두 대의 카메라를 이용한 3차원 이미지 생성 방법 및 이를구현하는 카메라 단말기
KR20070117877A (ko) 2006-06-09 2007-12-13 한국과학기술원 손 지시의 3차원 위치 인식 시스템 및 방법
KR20100129629A (ko) 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2733585A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298340A (zh) * 2013-07-15 2015-01-21 联想(北京)有限公司 控制方法和电子设备
WO2016190457A1 (ko) * 2015-05-22 2016-12-01 스튜디오씨드코리아 주식회사 평면 요소의 속성을 표시하는 방법 및 그 장치
US10067660B2 (en) 2015-05-22 2018-09-04 Studio Xid Korea, Inc. Method and apparatus for displaying attributes of plane element

Also Published As

Publication number Publication date
KR101235432B1 (ko) 2013-02-22
WO2013009040A3 (ko) 2013-03-07
EP2733585B1 (en) 2018-09-12
CN103688236B (zh) 2017-03-22
KR20130007813A (ko) 2013-01-21
US9367138B2 (en) 2016-06-14
EP2733585A4 (en) 2015-01-14
EP2733585A2 (en) 2014-05-21
US20140184499A1 (en) 2014-07-03
CN103688236A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
WO2013009040A2 (ko) 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
WO2013180446A1 (ko) 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
WO2015126197A1 (ko) 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
WO2012111976A2 (ko) 표시면에 포인터를 사용하지 않는 가상 터치 장치
WO2012111998A2 (ko) 포인터를 사용하지 않는 가상 터치 장치
WO2012154001A2 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
EP1573498B1 (en) User interface system based on pointing device
WO2013183938A1 (ko) 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
WO2010098050A1 (ja) 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
WO2013162236A1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
WO2012173373A2 (ko) 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
WO2017065535A1 (ko) 전자 장치 및 그 제어 방법
WO2016107231A1 (zh) 一种3d场景中输入手势的系统和方法
TW201337684A (zh) 光學觸控裝置、被動式觸控系統及其輸入偵測方法
WO2019164092A1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
KR100532525B1 (ko) 카메라를 이용한 삼차원 포인팅장치
KR101103058B1 (ko) 컴퓨터 시스템 및 이의 구동방법
WO2020184890A1 (ko) 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR101272458B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR20140060615A (ko) 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치
WO2021177674A1 (ko) 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR101695727B1 (ko) 스테레오 비전을 이용한 위치검출 시스템 및 위치검출 방법
TWI253005B (en) 3D index device
WO2015053471A1 (ko) 가상 리모트 컨트롤 장치 및 그 방법
JP4565621B2 (ja) 情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12811473

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012811473

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14232310

Country of ref document: US