WO2018080142A1 - 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 - Google Patents

객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2018080142A1
WO2018080142A1 PCT/KR2017/011788 KR2017011788W WO2018080142A1 WO 2018080142 A1 WO2018080142 A1 WO 2018080142A1 KR 2017011788 W KR2017011788 W KR 2017011788W WO 2018080142 A1 WO2018080142 A1 WO 2018080142A1
Authority
WO
WIPO (PCT)
Prior art keywords
control
vector
user
target object
coordinate system
Prior art date
Application number
PCT/KR2017/011788
Other languages
English (en)
French (fr)
Inventor
김석중
Original Assignee
주식회사 브이터치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 브이터치 filed Critical 주식회사 브이터치
Priority to EP17865786.2A priority Critical patent/EP3531242A4/en
Priority to CN201780067468.4A priority patent/CN109891370B/zh
Priority to JP2019521658A priority patent/JP7094280B2/ja
Publication of WO2018080142A1 publication Critical patent/WO2018080142A1/ko
Priority to US16/391,721 priority patent/US10948995B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to a method, system and non-transitory computer readable recording medium for supporting object control.
  • AR Augmented Reality
  • VR Virtual Reality
  • various types of objects exist in an indoor space such as an office or a home. Since these objects have different attributes such as size and function, The method also needs to be adaptively set according to the properties of the object. For example, turning on or off the lighting may be controlled by a gesture of pressing or turning the power switch of the lighting, and opening or closing of the window may be controlled by a gesture of sliding the window up or down or left and right.
  • the technique introduced in the related art since the object can only be controlled through a uniform control method in which the property of the object is not reflected, there is a limit that it is difficult to effectively control various kinds of objects.
  • the present inventors control the control vector specified in the real world coordinate system according to the object or the gesture or operation that the user intuitively performs using his or her body part or a predetermined vector control means on the object reference coordinate system defined according to the property of the object.
  • mapping with coordinates we propose a technique that enables a user to precisely control various objects simply by performing intuitive gestures or manipulations.
  • the object of the present invention is to solve all the above-mentioned problems.
  • the present invention specifies a control vector corresponding to a gesture or an operation performed by a user in a real world coordinate system, and determines an object indicated by the control vector as a target object controlled by a gesture or an operation performed by the user.
  • mapping is performed to specify control coordinates corresponding to the size or direction of the control vector, and the target object is referred to the target object by referring to the control coordinates specified by the mapping.
  • a method for supporting object control comprising: specifying a control vector corresponding to a gesture or an operation performed by a user in a real world coordinate system, wherein the object indicated by the control vector is determined by the user; Determining as a target object controlled by a gesture or an operation to be performed, and mapping control coordinates corresponding to the magnitude or direction of the control vector in a target object reference coordinate system defined based on an attribute of the target object. And determining a control command applied to the target object with reference to the control coordinates specified by the mapping.
  • a system for supporting object control wherein a control vector corresponding to a gesture or an operation performed by a user is specified in a real world coordinate system, and the object is indicated by the control vector.
  • Mapping is determined as a target object controlled by a gesture or an operation to be performed and specifies control coordinates corresponding to the magnitude or direction of the control vector in a target object reference coordinate system defined based on an attribute of the target object.
  • an object control manager that determines a control command applied to the target object with reference to the control coordinates specified by the mapping, and a spatial information manager that stores spatial information about the user and the object.
  • non-transitory computer readable recording medium for recording another method, system, and computer program for executing the method for implementing the present invention.
  • a control vector specified in the real world coordinate system according to a gesture or an operation that a user intuitively performs by using a user's body part or a predetermined vector control means is controlled based on an object reference coordinate system.
  • the user can determine the object that overlaps the tip of his finger when viewed from the user's point of view as the target object, the user can visually see without limiting the effective area (that is, the controllable area) The effect of being able to control all objects present in the area is achieved.
  • the user can determine the object indicated by the vector control means which he can operate as the target object, the user can access the vector control means without restriction on the effective area (that is, the controllable area).
  • the effective area that is, the controllable area.
  • the object to be controlled is changed (that is, in the first object).
  • the object to be controlled is changed (that is, in the first object).
  • the process of determining the target object to be controlled and the control command to be applied to the target object is performed together, even if the user does not intend to perform the predetermined operation ( In other words, the effect of remarkably lowering the possibility of occurrence of malfunction) is achieved.
  • FIG. 1 is a diagram exemplarily illustrating a configuration of an entire system for supporting object control according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an internal configuration of an object control support system according to an embodiment of the present invention.
  • FIG. 3 is a diagram exemplarily illustrating a situation in which various controllable objects exist in a target space according to an embodiment of the present invention.
  • 4 to 7 are diagrams exemplarily illustrating a configuration for mapping a control vector of a real world coordinate system and a control coordinate of a target object reference coordinate system according to an embodiment of the present invention.
  • FIGS. 8 and 9 are diagrams exemplarily illustrating a configuration in which a control vector is specified according to an operation performed by a user using a vector control means according to an embodiment of the present invention.
  • FIG. 1 is a diagram exemplarily illustrating a configuration of an entire system for supporting object control according to an embodiment of the present invention.
  • the entire system may include a communication network 100, an object control support system 200, and an object 300.
  • the communication network 100 may be configured regardless of a communication mode such as wired communication or wireless communication, and includes a local area network (LAN) and a metropolitan area network (MAN). ), And various communication networks such as a wide area network (WAN).
  • LAN local area network
  • MAN metropolitan area network
  • WAN wide area network
  • the communication network 100 as used herein may be a known Internet or World Wide Web (WWW).
  • WWW World Wide Web
  • the communication network 100 may include, at least in part, a known wired / wireless data communication network, a known telephone network, or a known wired / wireless television communication network without being limited thereto.
  • the communication network 100 is a wireless data communication network, and includes radio frequency (RF) communication, WiFi (WiFi) communication, cellular (LTE) communication, Bluetooth communication (more specifically, low power Bluetooth (BLE); Bluetooth low energy), infrared communication, ultrasonic communication, and the like may be implemented at least in part.
  • the communication network 100 may be an optical communication network, and may implement at least a portion of a conventional communication method such as Light Fidelity (LiFi) communication.
  • the object control support system 200 may be a digital device having a computing capability by mounting a microprocessor and a memory means.
  • the object control support system 200 may be a server system.
  • the object control support system 200 specifies a control vector corresponding to a gesture or an operation performed by a user in a real world coordinate system and describes an object indicated by the control vector, as described in detail below. Determine as a target object controlled by a gesture or an operation to be performed, and perform mapping that specifies control coordinates corresponding to the magnitude or direction of the control vector in the target object reference coordinate system defined based on the attributes of the target object, and By determining the control commands applied to the target object with reference to the control coordinates specified by the mapping, the user can perform various gestures accurately and conveniently simply by performing intuitive gestures or manipulations for generating (or specifying) a control vector. Function can be controlled. The function of the object control support system 200 will be described in more detail below.
  • the object control support system 200 has been described as described above, but this description is exemplary, and at least a part of a function or component required for the object control support system 200 is an object to be controlled as necessary. It will be apparent to those skilled in the art that they may be realized within 300 (ie, device) or external system (not shown) or may be included within object 300 or external system (not shown).
  • the object 300 may perform a function as a target that can be controlled by a user's gesture or manipulation. That is, according to an embodiment of the present invention, the object 300 receives a control command according to the user's gesture or operation from the object control support system 200, another object 300 or an external system (not shown) It is possible to control its own operation or function according to the received control command.
  • the object 300 may be a real object existing in the real world and may exist in virtual reality or may be augmented, mixed, or merged with respect to the real world. Can be.
  • the object 300 includes a function capable of communicating after connecting to the object control support system 200, another object 300, or an external system (not shown). It may be a device, any device having a memory means and a microprocessor can be adopted as the object 300 according to the present invention.
  • the object 300 is a wearable device such as smart glasses, smart watches, smart bands, smart rings, smart necklaces, or the like, or a smartphone, smart pad, desktop computer, notebook computer, workstation It may be a more traditional device such as, PDA, web pad, mobile phone and the like.
  • the object 300 may be an Internet of Things (IoT) device such as a TV, a speaker, a light, an air conditioner, a humidifier, a chest of drawers, a window, a blind, or the like.
  • IoT Internet of Things
  • the object 300 is not provided with a function capable of communicating with the object control support system 200, another object 300, or an external system (not shown) or memory means. Or it may be a general thing having a predetermined physical position in the real world without the microprocessor.
  • a general object such as a thermometer, a photo, a picture, a doll, a mirror, and the like may be adopted as the object 300 according to an embodiment of the present invention.
  • the object 300 as a device may further include an application program for performing a function according to the present invention.
  • Such applications may exist in the form of program modules within the device.
  • the nature of the program module may be generally similar to the spatial information managing unit 210 and the object control managing unit 220 of the object control support system 200 as described above.
  • the application may be replaced with a hardware device or a firmware device, at least a part of which may perform a function substantially the same or equivalent thereto.
  • FIG. 2 is a diagram illustrating an internal configuration of an object control support system according to an embodiment of the present invention.
  • the object control support system 200 according to an embodiment of the present invention, the spatial information management unit 210, the object control management unit 220, database 230, the communication unit 240 and the control unit 250 ) May be included.
  • the spatial information management unit 210, the object control management unit 220, the database 230, the communication unit 240 and the control unit 250, at least some of them are external systems (not shown)
  • program modules in communication with the.
  • Such program modules may be included in the object control support system 200 in the form of an operating system, an application module, and other program modules, and may be physically stored on various known storage devices.
  • program modules may be stored in a remote storage device that can communicate with the object control support system 200.
  • such program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
  • the object control support system 200 has been described as above, but this description is exemplary, and an object 300 to which at least some of the components or functions of the object control support system 200 are subject to control as needed. It will be apparent to those skilled in the art that the present invention may be implemented within an external system (not shown) or an object 300 or an external system (not shown). In some cases, all functionality and all components of the object control support system 200 may be fully implemented within the object 300 or an external system (not shown) or within the object 300 or an external system (not shown). It may all be included.
  • the spatial information management unit 210 controls a variety of objects existing in the surrounding space (hereinafter referred to as "target space") by the user performing a predetermined gesture or operation. A function of acquiring necessary spatial information may be performed.
  • the spatial information manager 210 may acquire information necessary for identifying at least one user and an object existing in the target space. For example, information about an identifier of a user, a predominant eye, etc., and information about an identifier, an attribute, an operation state, a communication means, etc. of an object may be obtained.
  • the spatial information management unit 210 may obtain information necessary for specifying the position and posture of at least one user and object present in the target space. For example, information about the position and posture of a user specified in a real world coordinate system defined based on the target space (more specifically, the user's predominant eye and a body part that makes the user appear superimposed on an object). And information about the position and attitude of the object 300 specified in the real world coordinate system can be obtained.
  • the spatial information obtained as described above is dynamically updated in response to an event such as a real time update or a change in the position or posture of the user or the object 300 at a predetermined time interval. Can be updated.
  • FIG. 3 is a diagram exemplarily illustrating a situation in which various controllable objects exist in a target space according to an embodiment of the present invention.
  • the spatial information manager 210 performs a gesture or an operation by a user to specify an object existing in the target space 350 or to control an operation or a function of the object.
  • a 0-dimensional point, a 1-dimensional line, a 2D region, or a 3D space which can be used as a reference, can be set with reference to the properties of the object.
  • an object such as an illumination 301 or 306, a speaker 304 or 305, a mirror 302, a humidifier 303, an air conditioner 307 or the like having an attribute of pressing a button or turning a dial is applied.
  • Reference points 301A to 307A may be set with respect to each other, and reference lines 308A to 308A with respect to objects such as a blind 308, a drawer cabinet 309, and a window 310 having an attribute to which an operation of sliding in the vertical or horizontal direction is applied.
  • 310A can be set, and a two-dimensional reference area 311A can be set for an object such as a TV 311 having an attribute to which a manipulation to a two-dimensional screen is applied, and a manipulation based on a three-dimensional space.
  • the 3D reference space 312A may be set for an object such as the augmented reality object 312 having the added property.
  • the reference lines 308A to 310A of the object are axially
  • a one-dimensional object reference coordinate system can be defined.
  • an object such as a TV 311 having an attribute to which an operation of specifying a point a line or an area is applied to a two-dimensional screen, two corresponding to the two-dimensional reference area 311A of the object is used.
  • the dimension object reference coordinate system may be defined.
  • a three-dimensional object corresponding to the three-dimensional reference space 312A of the object can be defined.
  • the object control management unit 220 corresponds to (ie, overlaps) a body part such as a fingertip of the user with the target object that the user wants to control when the user sees it from his viewpoint. To make it possible to specify a target object to be controlled by itself.
  • the object control management unit 220 using a body part, such as the fingertip to make the user appear to overlap with the target object to perform a gesture that matches the attributes of the target object or a remote control, laser It is possible to control the operation or function of the target object by performing operations corresponding to the attributes of the object using vector control means such as a pointer.
  • the object control manager 220 may specify a control vector corresponding to a gesture performed by a user in a real world coordinate system.
  • the control vector corresponding to the above gesture is the user It can be specified as a vector which takes the position of the eye (more precisely, the predominant eye) as the starting point and the position of the fingertip of the user as the end point.
  • the object control manager 220 may specify a control vector corresponding to an operation performed by a user in a real world coordinate system.
  • the control vector corresponding to the above gesture may be a user. It can be specified based on the attitude of the vector control means to be manipulated or the direction of the control signal generated by the vector control means.
  • the control vector according to an embodiment of the present invention may be a vector connecting two points on the vector control means specifying the attitude of the vector control means, and corresponds to an axis defining the attitude of the vector control means.
  • It may be a vector, it may be a vector corresponding to the direction of the instruction signal (laser signal of the laser pointer, infrared (IR) signal of the remote control, etc.) generated by the vector control means, the signal for generating the instruction signal in the vector control means It may be a vector connecting a point corresponding to the position of the generator and a predetermined reference point (which may be opposite to the signal generator) on the vector control means.
  • the instruction signal laser signal of the laser pointer, infrared (IR) signal of the remote control, etc.
  • IR infrared
  • the object control management unit 220 according to the user's gesture or operation of the object indicated by the control vector specified in response to the user's gesture or operation in the target space Can be determined as the target object to be controlled.
  • the object control management unit 220 may determine the object indicated by the control vector in the target space as the target object with reference to the spatial information about the user and the object. More specifically, the object control manager 220 according to an embodiment of the present invention may determine, as the target object, an object that intersects or approaches an extension line of the control vector or the control vector in the target space.
  • the target object does not necessarily intersect the control vector or the extension line of the control vector, but the angle between the control vector and the reference vector from the viewpoint of the control vector to the reference point of the object (that is, Even when the error angle) is equal to or less than a predetermined level, the object may be determined to be an object (ie, a target object) indicated by the control vector.
  • the object control management unit 220 the mapping to specify the control coordinates corresponding to the size or direction of the control vector in the target object reference coordinate system defined based on the attributes of the target object ( mapping).
  • the object control manager 220 may determine a control command applied to the target object with reference to the value of the control coordinate specified by the above mapping.
  • the object control management unit 220 according to an embodiment of the present invention, the position of the user's eyes (ie, the predominant eye) 410 as a starting point and the position of the user's fingertips 420 as the end point.
  • the air conditioner 307 indicated by the control vector 430 may be determined to be a target object to be controlled according to the user's gesture.
  • the control vector 430 is air conditioner from the time point 410 of the control vector 430.
  • the air conditioner 307 is controlled by the control vector 430 if it is within the allowable error range 460 (ie, the error angle range) in comparison with the reference vector (not shown) to the reference point 307A of 307. It can be determined to be the target object to which it is indicated.
  • the object control manager 220 may include a control vector (0) in a zero-dimensional air conditioner reference coordinate system defined based on an attribute of an air conditioner 307 that is a target object.
  • the mapping may be performed to specify the control coordinates corresponding to the size or direction of 430.
  • the control coordinates are the rotation angle 470 of the control vector 430 centered on the magnitude of the control vector 430 (hereinafter referred to as "size") and the reference point 307A of the air conditioner 307 ( Hereinafter referred to as " rotation angle "
  • the user when the user views his or her point of view, the user performs a gesture of moving the fingertip in a direction close to the air conditioner 307 while the fingertip 420 corresponds to the reference point 307A of the air conditioner 307.
  • the control vector 430 is specified in the real world coordinate system, the size of the control coordinate may be determined as the control vector 430 is mapped to the control coordinate on the air conditioning reference coordinate system, and the size of the determined control coordinate may be determined.
  • the air conditioner can be turned on or off based on the value.
  • the user's fingertip 420 when viewed from his point of view, as the user performs a gesture that rotates in a clockwise or counterclockwise direction about the reference point 307A of the air conditioner 307
  • the rotation angle value of the control coordinates may be determined as the control vector 430 is mapped to the control coordinates on the air conditioning reference coordinate system, and the air conditioner is determined based on the rotation angle value of the control coordinates determined above.
  • the set temperature or wind strength of 307 may be adjusted.
  • the user's fingertip 420 moves to the right area of the reference point 307A of the air conditioner 307 (for example, the error angle is 3 to 6 degrees and the rotation angle is Gesture of moving the fingertip in the right direction of the reference point 307A of the air conditioner 307 (ie, a right tap of the right area of the air conditioner 307) in a state corresponding to an area of 45 to 135 degrees.
  • the control vector 430 is specified in the real world coordinate system as described above, the magnitude value and the rotation angle value of the control coordinate may be determined as the control vector 430 is mapped to the control coordinate on the air conditioner reference coordinate system.
  • the air volume of the air conditioner 307 may be adjusted based on the size value and the rotation angle value of the determined control coordinates.
  • the error angle is 3 to 6 degrees based on the reference point 307A of the air conditioner 307.
  • Move the gesture i.e., the air conditioner 307 from the bottom up
  • the upper region e.g., the region having an error angle of 3 to 6 degrees and the rotation angle of 315 to 45 degrees, etc.
  • the control vector 430 is specified in the real world coordinate system according to the swipe gesture, the magnitude and rotation angle values of the control coordinates are mapped as the control vector 430 is mapped to the control coordinates on the air conditioner reference coordinate system. This may be determined, and the wind direction of the air conditioner 307 may be adjusted based on the magnitude value and the rotation angle value of the control coordinates determined above.
  • the error angle is 3 to 6 degrees based on the reference point 307A of the air conditioner 307.
  • Gesture of moving from the rotation angle of 135 to 225 degrees to the center region for example, the region of error angle of 0 to 3 degrees (that is, the right-side tab of the air conditioner 307)
  • the control vector 430 is specified in the real world coordinate system according to the following)
  • the magnitude value and the rotation angle value of the control coordinate may be determined as the control vector 430 is mapped to the control coordinate on the air conditioner reference coordinate system.
  • the operation mode of the air conditioner 307 may be changed based on the magnitude value and the rotation angle value of the control coordinates determined above.
  • the operation or function of the blind 308 is controlled according to the gesture of the user.
  • the object control management unit 220 according to an embodiment of the present invention, the position of the user's eyes (ie, the dominant eye) 510 as a viewpoint and the position of the user's fingertips 521 and 522.
  • the blind 308 indicated by the control vector 531 or 532 serving as an end point (or an extension line of the 531 or 532 of the control vector) may be determined to be the target object to be controlled according to the user's gesture.
  • control vectors 531 and 532 do not accurately point to the reference line 308A of the blind 308, the control vectors 531 and 532 are not defined by the control vectors 531 and 532. If it is within the allowable error range (i.e., the error angle range) as compared to the reference vector (not shown) from the viewpoint 510 to the reference line 308A of the blind 308, the blind 308 is controlled by the control vector 531. , 532 may be determined as the target object indicated by 532.
  • the object control manager 220 may include a control vector (1) in a one-dimensional blind reference coordinate system defined based on an attribute of a blind 308 that is a target object.
  • the mapping may be performed to specify the control coordinates corresponding to the sizes or the directions of the 531 and 532.
  • the control coordinates may be specified by the magnitude of the control vectors 531, 532 and the one-dimensional coordinates of the point where the control vectors 531, 532 meet or closest to the reference line 308A of the blind 308. Can be.
  • the object control manager 220 may determine a control command applied to the blind 308 with reference to the control coordinates specified above. For example, at a point of view 541 where the user sees his or her fingertips 521 and 522 corresponding to the baseline 308A of the blind 308 is relatively above the point 541.
  • the control vectors 531 and 532 are controlled coordinates on the blind reference coordinate system.
  • the one-dimensional coordinate value of the control coordinate may change, and an operation or a function of raising or lowering the blind 308 based on the changed one-dimensional coordinate value may be performed.
  • the object control management unit 220 according to an embodiment of the present invention, the position of the user's eyes (ie, the predominant eye) 610 as a starting point and the position of the user's fingertip 620 as the end point.
  • the TV 311 indicated by the control vector 630 may be determined to be a target object to be controlled according to a user's gesture.
  • the control vector 630 is from the viewpoint 610 of the control vector 630.
  • the allowable error range ie, error angle range
  • the TV 311 is indicated by the control vector 630. Can be determined to be a target object.
  • control vector in the two-dimensional TV reference coordinate system defined based on the attributes of the TV 311 which is the target object, control vector ( The mapping may be performed to specify the control coordinates corresponding to the size or direction of 630.
  • the control coordinates may be specified by the size of the control vector 630 and the two-dimensional coordinates of the point where the control vector 630 meets or closest to the reference area 311A of the TV 311.
  • the object control manager 220 may determine a control command applied to the TV 311 with reference to the control coordinates specified above. For example, as the user makes a gesture such that his fingertip 620 corresponds to a point 640 near the upper left in the reference area 311A of the TV 311 when viewed from his point of view, the real world When the direction of the control vector 630 is specified in the coordinate system, the two-dimensional coordinate value of the control coordinate may be specified as the control vector 630 is mapped to the control coordinate on the TV reference coordinate system. An operation or a function of selecting a graphic element displayed on a pixel corresponding to the above-described two-dimensional coordinate value of the display screen of the TV 311 may be performed based on the coordinate value.
  • an operation or a function of an augmented reality object 312 ie, a virtual object
  • an operation or a function of an augmented reality object 312 with respect to a doll is controlled according to a gesture of a user.
  • visual information about the augmented reality object 312 may be provided to the user through a device such as a smartphone, a tablet, a smart glass, a projector, and the like.
  • the object control management unit 220 according to an embodiment of the present invention, the position of the user's eyes (ie, the dominant eye) 710 as the viewpoint and the user's fingertips (721, 722, 723)
  • the augmented reality object 312 indicated by the control vector 731, 732, 733 (or an extension line of the control vector 731, 732, 733) whose position is the end point is a target object to be controlled according to the user's gesture. Can be determined.
  • the control vectors 731, 732, and 733 are controlled.
  • the augmented reality object 312 may be determined to be the target object indicated by the control vectors 731, 732, 733.
  • the object control manager 220 may determine a three-dimensional augmented reality object reference coordinate system defined based on an attribute of an augmented reality object 312 that is a target object.
  • the mapping may specify mapping of control coordinates corresponding to the magnitude or direction of the control vectors 731, 732, and 733.
  • the control coordinates are the three of the points where the magnitude of the control vectors 731, 732, 733 and the control vectors 731, 732, 733 meet or are closest to the reference space 308A of the augmented reality object 312. Can be specified by dimensional coordinates.
  • the object control manager 220 refers to a control command applied to the augmented reality object 312 for the doll with reference to the control coordinates specified above. You can decide. For example, when the user sees his or her fingertips 721, 722, and 723 corresponding to the reference space 312A of the augmented reality object 312, each point of the augmented reality object 312 is viewed.
  • the directions of the control vectors 731, 732, and 733 are specified in the real world coordinate system by performing gestures to be the ear portion 741, the face portion 742, and the foot portion 743
  • the above control vector 731 732 and 733 are mapped to control coordinates on the augmented reality object reference coordinate system, respectively, and three-dimensional coordinate values of the control coordinates may be specified, and the augmented reality object 312 based on the three-dimensional coordinate values specified above, respectively.
  • An operation or a function of selecting the ear portion 741, the face portion 742, and the foot portion 743 of the at will be performed.
  • FIGS. 4 to 7 an embodiment in which an object is controlled based on a gesture performed by a user is mainly described.
  • the present invention is not necessarily limited to the embodiment illustrated in FIGS. 4 to 7, and an object of the present invention. It is to be noted that the change may be made as long as it can be achieved.
  • FIGS. 8 and 9 are diagrams exemplarily illustrating a configuration in which a control vector is specified according to an operation performed by a user using a vector control means according to an embodiment of the present invention.
  • a point corresponding to a position of a signal generator that generates a control signal (an infrared signal of the remote control 800 or a laser signal of the laser pointer 900) in the vector control means 800 and 900 (
  • Vectors connecting the reference points 810 and 910 located opposite to the signal generator in the 820 and 920 and the vector control means 800 and 900 may be specified as the control vectors 830 and 930.
  • the air conditioner 307 which is an object indicated by the control vectors 830 and 930 specified above or the extension lines 840 and 940 of the control vector, is controlled according to a user's operation. It may be determined to be a target object to be.
  • the database 230 may store various spatial information about a user and an object existing in a space where object control according to the present invention is performed. Various information about the derived control vector, control coordinates, and control command may be stored.
  • the database 230 is illustrated as being included in the object control support system 200 in FIG. 2, according to the needs of those skilled in the art of implementing the present invention, the database 230 may be connected to the object control support system 200. It may be configured separately.
  • the database 230 in the present invention is a concept that includes a computer-readable recording medium, and may be a broad database including not only a negotiated database but also a file system based on a file system. If the set can be retrieved to extract data, it can be the database 230 of the present invention.
  • the communication unit 240 performs a function to enable the object control support system 200 to communicate with an external device.
  • control unit 250 performs a function of controlling the flow of data between the spatial information management unit 210, the object control management unit 220, the database 230 and the communication unit 240. . That is, the controller 250 controls the flow of data from the outside or between each component of the object control support system 200, thereby controlling the spatial information management unit 210, the object control management unit 220, the database 230, and the communication unit. Each control is performed at 240 to perform a unique function.
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded on a non-transitory computer readable recording medium.
  • the non-transitory computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the non-transitory computer readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • non-transitory computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks ( magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 태양에 따르면, 객체 제어를 지원하기 위한 방법으로서, 사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하는 단계, 제어 벡터에 의하여 지시되는 객체를 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하는 단계, 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하는 단계, 및 매핑에 의하여 특정되는 제어 좌표를 참조하여 대상 객체에 대하여 적용되는 제어 명령을 결정하는 단계를 포함하는 방법이 제공된다.

Description

객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
본 발명은 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
근래에 들어, 사용자가 가전 디바이스와 같은 현실 객체나 아바타와 같은 가상 객체를 제스처(gesture)에 기반하여 제어할 수 있도록 지원하는 기술이 소개되고 있다.
특히, 최근에는, 증강 현실(AR; Augmented Reality)이나 가상 현실(VR; Virtual Reality)에 관한 관심이 높아지고 관련 기술 분야의 연구 개발이 활발하게 이루어짐에 따라, 사용자가 실제 현실 또는 가상 현실에 존재하는 상호작용 가능한 객체를 원활하게 제어할 수 있도록 지원하는 기술에 대한 요구가 늘어나고 있는 실정이다.
종래에는, 사용자나 시스템에 의하여 미리 지정된 대상 객체에 대하여만 사용자의 제어 명령이 전달되도록 하는 기술과 사용자가 마우스 커서 등의 포인터로 대상 객체를 지시하거나 대상 객체의 이름을 따로 말하는(예를 들면, "거실 조명을 꺼줘", "301호의 에어컨 온도를 낮춰 주세요" 등) 등의 명시적인 행위를 행함으로써 대상 객체에 대하여 사용자의 제어 명령이 전달되도록 하는 기술이 소개된 바 있다.
하지만, 위와 같은 종래 기술에 의하면, 사용자가 미리 정해진 객체 외의 다른 객체를 제어할 수 없게 되거나 객체를 제어할 때마다 제어의 대상이 되는 객체를 매우 구체적으로 직접 특정해야 하는 불편을 겪을 수밖에 없으므로, 실제적인 사용 환경에서 유연성이 적고 사용자 편의성이 떨어지는 한계가 존재한다.
특히, 사무실이나 가정집과 같은 실내 공간에는 다양한 종류의 객체(예를 들면, 가전 디바이스, 가구 등)가 존재하는 것이 일반적인데, 이들 객체는 크기, 기능 등의 속성이 서로 다르기 때문에, 객체를 제어하는 방식도 해당 객체의 속성에 따라 적응적으로 설정될 필요가 있다. 예를 들면, 조명을 켜거나 끄는 것은 조명의 전원 스위치를 누르거나 돌리는 제스처에 의하여 제어될 수 있고, 창문을 열거나 닫는 것은 창문을 상하 방향 또는 좌우 방향으로 슬라이딩하는 제스처에 의하여 제어될 수 있다. 하지만, 종래에 소개된 기술에 따르면, 객체의 속성이 반영되지 않은 획일적인 제어 방식을 통하여만 객체가 제어될 수 있을 뿐이므로, 다양한 종류의 객체를 효과적으로 제어하기 어렵다는 한계가 존재한다.
이에, 본 발명자는, 사용자가 자신의 신체 부위나 소정의 벡터 제어 수단을 이용하여 직관적으로 행하는 제스처 또는 조작에 따라 실세계 좌표계에서 특정되는 제어 벡터를 해당 객체의 속성에 따라 정의되는 객체 기준 좌표계 상의 제어 좌표와 매핑(mapping)시킴으로써, 사용자가 직관적인 제스처 또는 조작을 행하는 것만으로 다양한 객체를 정확하게 제어할 수 있도록 하는 기술을 제안하는 바이다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하고, 제어 벡터에 의하여 지시되는 객체를 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하고, 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하고, 매핑에 의하여 특정되는 제어 좌표를 참조하여 대상 객체에 대하여 적용되는 제어 명령을 결정함으로써, 사용자가 제어 벡터를 생성(또는 특정)하기 위한 직관적인 제스처 또는 조작을 행하는 것만으로 다양한 객체를 정확하고 편리하게 제어할 수 있도록 하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 객체 제어를 지원하기 위한 방법으로서, 사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하는 단계, 상기 제어 벡터에 의하여 지시되는 객체를 상기 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하는 단계, 상기 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 상기 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하는 단계, 및 상기 매핑에 의하여 특정되는 제어 좌표를 참조하여 상기 대상 객체에 대하여 적용되는 제어 명령을 결정하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 객체 제어를 지원하기 위한 시스템으로서, 사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하고, 상기 제어 벡터에 의하여 지시되는 객체를 상기 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하고, 상기 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 상기 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하고, 상기 매핑에 의하여 특정되는 제어 좌표를 참조하여 상기 대상 객체에 대하여 적용되는 제어 명령을 결정하는 객체 제어 관리부, 및 상기 사용자 및 상기 객체에 관한 공간 정보를 저장하는 공간 정보 관리부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 사용자가 자신의 신체 부위 또는 소정의 벡터 제어 수단을 이용하여 직관적으로 행하는 제스처 또는 조작에 따라 실세계 좌표계에서 특정되는 제어 벡터를 해당 객체의 속성에 따라 정의되는 객체 기준 좌표계 상의 제어 좌표와 매핑(mapping)시킴으로써, 사용자가 제어 벡터를 생성(또는 특정)하기 위한 직관적인 제스처 또는 조작을 행하는 것만으로 다양한 객체를 정확하고 편리하게 제어할 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝에 겹쳐 보이는 객체를 대상 객체로 결정할 수 있으므로, 유효 영역(즉, 제어 가능 영역)에 관한 제한 없이 사용자가 눈으로 볼 수 있는 영역에 존재하는 모든 객체를 제어할 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 사용자가 자신이 조작할 수 있는 벡터 제어 수단에 의하여 지시되는 객체를 대상 객체로 결정할 수 있으므로, 유효 영역(즉, 제어 가능 영역)에 관한 제한 없이 사용자가 벡터 제어 수단에 의하여 지시될 것이라고 직관적으로 예측(또는 가늠)할 수 있는 영역에 존재하는 모든 객체를 제어할 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 제어의 대상이 되는 대상 객체를 결정하는 과정과 대상 객체에 대하여 적용될 제어 명령을 결정하는 과정이 함께 수행되므로, 제어의 대상이 되는 객체가 변경(즉, 제1 객체에서 제2 객체로의 전환)되는 경우에 대상 객체 및 제어 명령 중 어느 하나만을 따로 떼어내어 변경할 필요가 없어지고, 그 결과 사용자 편의성이 높아지는 효과가 달성된다.
또한, 본 발명에 의하면, 제어의 대상이 되는 대상 객체를 결정하는 과정과 대상 객체에 대하여 적용될 제어 명령을 결정하는 과정이 함께 수행되므로, 사용자가 의도하지 않았음에도 불구하고 해당 객체가 소정의 동작(즉, 오동작)을 수행하게 되는 경우가 발생할 가능성을 현저하게 낮출 수 있게 되는 효과가 달성된다.
도 1은 본 발명의 일 실시예에 따라 객체 제어를 지원하기 위한 전체 시스템의 구성을 예시적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 객체 제어 지원 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라 대상 공간 내에 제어 가능한 다양한 객체가 존재하는 상황을 예시적으로 나타내는 도면이다.
도 4 내지 도 7은 본 발명의 일 실시예에 따라 실세계 좌표계의 제어 벡터와 대상 객체 기준 좌표계의 제어 좌표를 매핑하는 구성을 예시적으로 나타내는 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따라 사용자가 벡터 제어 수단을 이용하여 행하는 조작에 따라 제어 벡터가 특정되는 구성을 예시적으로 나타내는 도면이다.
<부호의 설명>
100: 사용자 디바이스
200: 객체 제어 지원 시스템
210: 공간 정보 관리부
220: 객체 제어 관리부
230: 데이터베이스
240: 통신부
250: 제어부
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 객체 제어를 지원하기 위한 전체 시스템의 구성을 예시적으로 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 객체 제어 지원 시스템(200) 및 객체(300)를 포함하여 구성될 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 무선주파수(RF; Radio Frequency) 통신, 와이파이(WiFi) 통신, 셀룰러(LTE 등) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy)), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다. 다른 예를 들면, 통신망(100)은 광 통신망으로서, 라이파이(LiFi(Light Fidelity)) 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 객체 제어 지원 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 디바이스일 수 있다. 이러한 객체 제어 지원 시스템(200)은 서버 시스템일 수 있다.
이를 위하여, 객체 제어 지원 시스템(200)은, 아래에서 자세하게 설명되는 바와 같이, 사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하고, 제어 벡터에 의하여 지시되는 객체를 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하고, 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하고, 매핑에 의하여 특정되는 제어 좌표를 참조하여 대상 객체에 대하여 적용되는 제어 명령을 결정함으로써, 사용자가 제어 벡터를 생성(또는 특정)하기 위한 직관적인 제스처 또는 조작을 행하는 것만으로 다양한 객체를 정확하고 편리하게 제어할 수 있도록 하는 기능을 수행할 수 있다. 객체 제어 지원 시스템(200)의 기능에 관하여는 아래에서 더 자세하게 알아보기로 한다.
한편, 객체 제어 지원 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 객체 제어 지원 시스템(200)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 제어의 대상이 되는 객체(300)(즉, 디바이스) 또는 외부 시스템(미도시됨) 내에서 실현되거나 객체(300) 또는 외부 시스템(미도시됨) 내에 포함될 수도 있음은 당업자에게 자명하다.
다음으로, 본 발명의 일 실시예에 따르면, 객체(300)는 사용자의 제스처 또는 조작에 의하여 제어될 수 있는 대상으로서의 기능을 수행할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 객체(300)는 객체 제어 지원 시스템(200), 다른 객체(300) 또는 외부 시스템(미도시됨)으로부터 사용자의 제스처 또는 조작에 따른 제어 명령을 수신하고 위의 수신되는 제어 명령에 따라 자신의 동작 또는 기능이 제어되도록 할 수 있다. 본 발명의 일 실시예에 따르면, 객체(300)는 실세계에 존재하는 실물 객체일 수 있고 가상 현실에 존재하거나 실세계에 대하여 증강(augmented), 혼합(mixed) 또는 융합(merged)될 수 있는 가상 객체일 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 객체(300)는, 객체 제어 지원 시스템(200), 다른 객체(300) 또는 외부 시스템(미도시됨)에 접속한 후 통신할 수 있는 기능을 포함하는 디바이스일 수 있으며, 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디바이스라면 얼마든지 본 발명에 따른 객체(300)로서 채택될 수 있다. 구체적으로, 본 발명의 일 실시예에 따르면, 객체(300)는 스마트 글래스, 스마트 워치, 스마트 밴드, 스마트 링, 스마트 넥클리스 등과 같은 웨어러블 디바이스이거나 스마트폰, 스마트 패드, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같은 다소 전통적인 디바이스일 수 있다. 또한, 본 발명의 일 실시예에 따르면, 객체(300)는 TV, 스피커, 전등, 에어컨, 가습기, 서랍장, 창문, 블라인드 등과 같은 IoT(Internet of Things) 디바이스일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체(300)는, 객체 제어 지원 시스템(200), 다른 객체(300) 또는 외부 시스템(미도시됨)과 통신할 수 있는 기능이 구비되어 있지 않거나 메모리 수단 또는 마이크로 프로세서가 구비되어 있지 않은 채, 실세계에서 소정의 물리적인 위치를 갖는 일반적인 사물일 수도 있다. 예를 들면, 온도계, 사진, 그림, 인형, 거울과 같은 일반적인 사물이 본 발명의 일 실시예에 따른 객체(300)로서 채택될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 디바이스인 객체(300)에는 본 발명에 따른 기능을 수행하기 위한 애플리케이션 프로그램이 더 포함되어 있을 수 있다. 이러한 애플리케이션은 해당 디바이스 내에서 프로그램 모듈의 형태로 존재할 수 있다. 이러한 프로그램 모듈의 성격은 전술한 바와 같은 객체 제어 지원 시스템(200)의 공간 정보 관리부(210) 및 객체 제어 관리부(220)와 전반적으로 유사할 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.
객체 제어 지원 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 객체 제어 지원 시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 객체 제어 지원 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 객체 제어 지원 시스템(200)은, 공간 정보 관리부(210), 객체 제어 관리부(220), 데이터베이스(230), 통신부(240) 및 제어부(250)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 공간 정보 관리부(210), 객체 제어 관리부(220), 데이터베이스(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 객체 제어 지원 시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 객체 제어 지원 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 객체 제어 지원 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 객체 제어 지원 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 제어의 대상이 되는 객체(300)(예를 들면, IoT 디바이스 등) 또는 외부 시스템(미도시됨) 내에서 실현되거나 객체(300) 또는 외부 시스템(미도시됨) 내에 포함될 수도 있음은 당업자에게 자명하다. 경우에 따라서는, 객체 제어 지원 시스템(200)의 모든 기능과 모든 구성요소가 객체(300) 또는 외부 시스템(미도시됨) 내에서 전부 실행되거나 객체(300) 또는 외부 시스템(미도시됨) 내에 전부 포함될 수도 있다.
먼저, 본 발명의 일 실시예에 따르면, 공간 정보 관리부(210)는, 사용자가 소정의 제스처 또는 조작을 행함으로써 주변 공간(이하, "대상 공간"이라고 함)에 존재하는 다양한 객체를 제어하기 위해 필요한 공간 정보를 획득하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 공간 정보 관리부(210)는, 대상 공간에 존재하는 적어도 하나의 사용자 및 객체를 식별하기 위해 필요한 정보를 획득할 수 있다. 예를 들면, 사용자의 식별자, 우세안 등에 관한 정보와 객체의 식별자, 속성, 동작 상태, 통신 수단 등에 관한 정보가 획득될 수 있다.
또한, 본 발명의 일 실시예에 따른 공간 정보 관리부(210)는, 대상 공간에 존재하는 적어도 하나의 사용자 및 객체의 위치 및 자세를 특정하기 위해 필요한 정보를 획득할 수 있다. 예를 들면, 대상 공간을 기준으로 하여 정의되는 실세계(real world) 좌표계에서 특정되는 사용자(보다 구체적으로는, 사용자의 우세안 및 사용자가 객체에 겹쳐져 보이게 하는 신체 부위)의 위치 및 자세에 관한 정보와 실세계 좌표계에서 특정되는 객체(300)의 위치 및 자세에 관한 정보가 획득될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 위와 같이 획득되는 공간 정보는, 소정의 시간을 주기로 하여 실시간으로 갱신되거나 사용자 또는 객체(300)의 위치 또는 자세가 변화하는 등의 이벤트가 발생함에 따라 동적으로 갱신될 수 있다.
도 3은 본 발명의 일 실시예에 따라 대상 공간 내에 제어 가능한 다양한 객체가 존재하는 상황을 예시적으로 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 공간 정보 관리부(210)는, 사용자가 대상 공간(350) 내에 존재하는 객체를 특정하거나 객체의 동작 또는 기능을 제어하기 위하여 제스처 또는 조작을 행함에 있어서 기준으로서 삼을 수 있는 0차원 점, 1차원 선, 2차원 영역 또는 3차원 공간을 해당 객체의 속성을 참조하여 설정할 수 있다. 예를 들면, 버튼을 누르거나 다이얼을 돌리는 조작이 가해지는 속성을 갖는 조명(301, 306), 스피커(304, 305), 거울(302), 가습기(303), 에어컨(307) 등의 객체에 대하여는 기준점(301A 내지 307A)이 설정될 수 있고, 상하 또는 좌우 방향으로 슬라이딩하는 조작이 가해지는 속성을 갖는 블라인드(308), 서랍장(309), 창문(310) 등의 객체에 대하여는 기준선(308A 내지 310A)이 설정될 수 있고, 2차원 화면에 대한 조작이 가해지는 속성을 갖는 TV(311) 등의 객체에 대하여는 2차원 기준영역(311A)이 설정될 수 있고, 3차원 공간을 기준으로 하여 조작이 가해지는 속성을 갖는 증강 현실 객체(312) 등의 객체에 대하여는 3차원 기준공간(312A)이 설정될 수 있다.
한편, 본 발명의 일 실시예에 따른 공간 정보 관리부(210)는, 객체의 속성을 참조하여 객체 기준 좌표계를 정의할 수 있다. 예를 들면, 버튼을 누르거나 다이얼을 돌리는 조작이 가해지는 속성을 갖는 조명(301, 306), 스피커(304, 305), 거울(302), 가습기(303), 에어컨(307) 등의 객체에 대하여는, 해당 객체의 기준점(301A 내지 307A)을 원점으로 하는 0차원의 객체 기준 좌표계가 정의될 수 있다. 다른 예를 들면, 상하 또는 좌우 방향으로 슬라이딩하는 조작이 가해지는 속성을 갖는 블라인드(308), 서랍장(309), 창문(310) 등의 객체에 대하여는, 해당 객체의 기준선(308A 내지 310A)을 축으로 하는 1차원의 객체 기준 좌표계가 정의될 수 있다. 또 다른 예를 들면, 2차원 화면에 대하여 점, 선 또는 영역을 특정하는 조작이 가해지는 속성을 갖는 TV(311) 등의 객체에 대하여는, 해당 객체의 2차원 기준영역(311A)에 대응하는 2차원 객체 기준 좌표계가 정의될 수 있다. 또 다른 예를 들면, 소정의 3차원 공간을 기준으로 하여 조작이 가해지는 속성을 갖는 증강 현실 객체(312) 등의 객체에 대하여는, 해당 객체의 3차원 기준공간(312A)에 대응하는 3차원 객체 기준 좌표계가 정의될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝 등의 신체 부위를 자신이 제어하고자 하는 대상 객체와 대응시키는(즉, 겹쳐져 보이게 하는) 동작을 행함으로써 자신이 제어하고자 하는 대상 객체를 특정할 수 있도록 할 수 있다.
또한, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자가 대상 객체와 겹쳐져 보이게 하고 있는 손가락 끝 등의 신체 부위를 이용하여 대상 객체의 속성에 부합하는 제스처를 행하거나 리모컨, 레이저 포인터 등의 벡터 제어 수단을 이용하여 객체의 속성에 부합하는 조작을 행함으로써 대상 객체의 동작 또는 기능을 제어할 수 있도록 할 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)의 동작에 대하여 보다 자세하게 살펴보기로 한다.
먼저, 본 발명의 일 실시예에 따르면, 객체 제어 관리부(220)는, 사용자가 행하는 제스처에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝을 자신이 제어하고자 하는 객체와 겹쳐져 보이게 하는 제스처를 취하는 경우에, 위의 제스처에 대응하는 제어 벡터는 사용자의 눈(보다 정확하게는, 우세안)의 위치를 시점으로 하고 사용자의 손가락 끝의 위치를 종점으로 하는 벡터로서 특정될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 객체 제어 관리부(220)는, 사용자가 행하는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 사용자가 리모컨, 레이저 포인터 등의 벡터 제어 수단을 이용하여 자신이 제어하고자 하는 객체를 지시하는 조작을 행하는 경우에, 위의 제스처에 대응하는 제어 벡터는 사용자 조작의 대상이 되는 벡터 제어 수단의 자세 또는 벡터 제어 수단에 의하여 발생되는 제어 신호의 방향에 기초하여 특정될 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 제어 벡터는, 벡터 제어 수단의 자세를 특정하는 벡터 제어 수단 상의 두 점을 연결하는 벡터일 수 있고, 벡터 제어 수단의 자세를 정의하는 축에 해당하는 벡터일 수 있고, 벡터 제어 수단에 의해 발생되는 지시 신호(레이저 포인터의 레이저 신호, 리모컨의 적외선(IR) 신호 등)의 방향에 해당하는 벡터일 수 있고, 벡터 제어 수단에서 지시 신호를 발생시키는 신호 발생부의 위치에 해당하는 점과 벡터 제어 수단 상의 소정의 기준점(신호 발생부의 반대편에 위치할 수 있음)을 연결하는 벡터일 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 객체 제어 관리부(220)는, 대상 공간 내에서 사용자의 제스처 또는 조작에 대응하여 특정되는 제어 벡터에 의하여 지시되는 객체를 해당 사용자의 제스처 또는 조작에 따라 제어될 대상 객체로서 결정할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자 및 객체에 관한 공간 정보를 참조하여, 대상 공간 내에서 제어 벡터에 의하여 지시되는 객체를 대상 객체로서 결정할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 대상 공간 내에서 제어 벡터 또는 제어 벡터의 연장선과 교차하거나 근접하는 객체를 대상 객체로서 결정할 수 있다. 다시 말해, 본 발명의 일 실시예에 따르면, 대상 객체가 제어 벡터 또는 제어 벡터의 연장선과 반드시 교차할 필요는 없으며, 제어 벡터와 제어 벡터의 시점으로부터 객체의 기준점으로의 기준 벡터 사이의 각(즉, 오차각)이 기설정된 수준 이하인 경우에도 해당 객체를 제어 벡터에 의하여 지시되는 객체(즉, 대상 객체)인 것으로 결정할 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 객체 제어 관리부(220)는, 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행할 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 객체 제어 관리부(220)는, 위의 매핑에 의하여 특정되는 제어 좌표의 값을 참조하여 대상 객체에 대하여 적용되는 제어 명령을 결정할 수 있다.
도 4 내지 도 7은 본 발명의 일 실시예에 따라 실세계 좌표계의 제어 벡터와 대상 객체 기준 좌표계의 제어 좌표를 매핑하는 구성을 예시적으로 나타내는 도면이다.
먼저, 도 4를 참조하면, 사용자의 제스처에 따라 에어컨(307)의 동작 또는 기능이 제어되는 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자의 눈(즉, 우세안)(410)의 위치를 시점으로 하고 사용자의 손가락 끝(420)의 위치를 종점으로 하는 제어 벡터(430)(또는 제어 벡터의(430)의 연장선)에 의하여 지시되는 에어컨(307)을 사용자의 제스처에 따라 제어될 대상 객체인 것으로 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 제어 벡터(430)가 에어컨(307)의 기준점(307A)을 정확하게 가리키지 않더라도, 제어 벡터(430)가 제어 벡터(430)의 시점(410)으로부터 에어컨(307)의 기준점(307A)으로의 기준 벡터(미도시됨)와 대비하여 허용되는 오차 범위(460)(즉, 오차 각도 범위) 내에 포함되면, 에어컨(307)을 제어 벡터(430)에 의하여 지시되는 대상 객체인 것으로 결정할 수 있다.
계속하여, 도 4를 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 대상 객체인 에어컨(307)의 속성에 기초하여 정의되는 0차원의 에어컨 기준 좌표계에서, 제어 벡터(430)의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑을 수행할 수 있다. 예를 들면, 제어 좌표는, 제어 벡터(430)의 크기(이하, "크기"라고 함) 및 에어컨(307)의 기준점(307A)을 중심으로 한 제어 벡터(430)의 회전각(470)(이하, "회전각"이라고 함)에 의하여 특정될 수 있다.
계속하여, 도 4를 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 위의 특정되는 제어 좌표를 참조하여 에어컨(307)에 대하여 적용되는 제어 명령을 결정할 수 있다.
예를 들면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝(420)을 에어컨(307)의 기준점(307A)에 대응시킨 상태에서 에어컨(307)에 가까운 방향으로 손가락 끝을 이동시키는 제스처를 행함에 따라 실세계 좌표계에서 제어 벡터(430)가 특정되면, 위의 제어 벡터(430)가 에어컨 기준 좌표계 상의 제어 좌표로 매핑됨에 따라 제어 좌표의 크기 값이 결정될 수 있고, 위의 결정되는 제어 좌표의 크기 값에 근거하여 에어컨의 전원이 켜지거나 꺼질 수 있다.
다른 예를 들면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝(420)이 에어컨(307)의 기준점(307A)을 중심으로 하여 시계 방향 또는 반시계 방향으로 회전시키는 제스처를 행함에 따라 실세계 좌표계에서 제어 벡터가 특정되면, 위의 제어 벡터(430)가 에어컨 기준 좌표계 상의 제어 좌표로 매핑됨에 따라 제어 좌표의 회전각 값이 결정될 수 있고, 위의 결정되는 제어 좌표의 회전각 값에 근거하여 에어컨(307)의 설정 온도 또는 바람 세기가 조절될 수 있다.
또 다른 예를 들면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝(420)을 에어컨(307)의 기준점(307A)의 오른쪽 영역(예를 들면, 오차각이 3~6도이고 회전각이 45~135도인 영역 등)에 대응시킨 상태에서 에어컨(307)의 기준점(307A)의 오른쪽 방향으로 손가락 끝을 이동시키는 제스처(즉, 에어컨(307)의 오른쪽 영역을 탭하는 제스처(Right Tab))를 행함에 따라 실세계 좌표계에서 제어 벡터(430)가 특정되면, 위의 제어 벡터(430)가 에어컨 기준 좌표계 상의 제어 좌표로 매핑됨에 따라 제어 좌표의 크기 값 및 회전각 값이 결정될 수 있고, 위의 결정되는 제어 좌표의 크기 값 및 회전각 값에 근거하여 에어컨(307)의 풍량이 조절될 수 있다.
또 다른 예를 들면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝(420)이 에어컨(307)의 기준점(307A)를 기준으로 하여 아래쪽 영역(예를 들면, 오차각이 3~6도이고 회전각이 135~225도인 영역 등)에서 위쪽 영역(예를 들면, 오차각이 3~6도이고 회전각 315~45도인 영역 등)으로 이동하는 제스처(즉, 에어컨(307)을 아래에서 위로 쓸어 넘기는 제스처(Swipe))를 행함에 따라 실세계 좌표계에서 제어 벡터(430)가 특정되면, 위의 제어 벡터(430)가 에어컨 기준 좌표계 상의 제어 좌표로 매핑됨에 따라 제어 좌표의 크기 값 및 회전각 값이 결정될 수 있고, 위의 결정되는 제어 좌표의 크기 값 및 회전각 값에 근거하여 에어컨(307)의 풍향이 조절될 수 있다.
또 다른 예를 들면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝(420)이 에어컨(307)의 기준점(307A)를 기준으로 하여 오른쪽 영역(예를 들면, 오차각이 3~6도이고 회전각이 135~225도인 영역 등)에서 중심 영역(예를 들면, 오차각이 0~3도인 영역)으로 이동하는 제스처(즉, 에어컨(307)의 오른쪽 옆면을 탭하는 제스처(Right-side Tab))를 행함에 따라 실세계 좌표계에서 제어 벡터(430)가 특정되면, 위의 제어 벡터(430)가 에어컨 기준 좌표계 상의 제어 좌표로 매핑됨에 따라 제어 좌표의 크기 값 및 회전각 값이 결정 될 수 있고, 위의 결정되는 제어 좌표의 크기 값 및 회전각 값에 근거하여 에어컨(307)의 동작 모드가 변경될 수 있다.
다음으로, 도 5를 참조하면, 사용자의 제스처에 따라 블라인드(308)의 동작 또는 기능이 제어되는 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자의 눈(즉, 우세안)(510)의 위치를 시점으로 하고 사용자의 손가락 끝(521, 522)의 위치를 종점으로 하는 제어 벡터(531, 532)(또는 제어 벡터의(531, 532)의 연장선)에 의하여 지시되는 블라인드(308)를 사용자의 제스처에 따라 제어될 대상 객체인 것으로 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 제어 벡터(531, 532)가 블라인드(308)의 기준선(308A)을 정확하게 가리키지 않더라도, 제어 벡터(531, 532)가 제어 벡터(531, 532)의 시점(510)으로부터 블라인드(308)의 기준선(308A)으로의 기준 벡터(미도시됨)와 대비하여 허용되는 오차 범위(즉, 오차 각도 범위) 내에 포함되면, 블라인드(308)를 제어 벡터(531, 532)에 의하여 지시되는 대상 객체인 것으로 결정할 수 있다.
계속하여, 도 5를 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 대상 객체인 블라인드(308)의 속성에 기초하여 정의되는 1차원의 블라인드 기준 좌표계에서, 제어 벡터(531, 532)의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑을 수행할 수 있다. 예를 들면, 제어 좌표는, 제어 벡터(531, 532)의 크기 및 제어 벡터(531, 532)가 블라인드(308)의 기준선(308A)과 만나거나 가장 근접하는 지점의 1차원 좌표에 의하여 특정될 수 있다.
계속하여, 도 5를 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 위의 특정되는 제어 좌표를 참조하여 블라인드(308)에 대하여 적용되는 제어 명령을 결정할 수 있다. 예를 들면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝(521, 522)이 블라인드(308)의 기준선(308A)에 대응되어 보이는 지점이 상대적으로 위쪽에 존재하는 지점(541)에서 상대적으로 아래쪽에 존재하는 지점(542)으로 이동하도록 하는 제스처를 행함에 따라 실세계 좌표계에서 제어 벡터(531, 532)의 방향이 변화하게 되면, 위의 제어 벡터(531, 532)가 블라인드 기준 좌표계 상의 제어 좌표로 매핑됨에 따라 제어 좌표의 1차원 좌표 값이 변화할 수 있고, 위의 변화되는 1차원 좌표 값에 근거하여 블라인드(308)가 올라가거나 내려가는 동작 또는 기능이 수행될 수 있다.
다음으로, 도 6을 참조하면, 사용자의 제스처에 따라 TV(311)의 동작 또는 기능이 제어되는 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자의 눈(즉, 우세안)(610)의 위치를 시점으로 하고 사용자의 손가락 끝(620)의 위치를 종점으로 하는 제어 벡터(630)(또는 제어 벡터의(630)의 연장선)에 의하여 지시되는 TV(311)를 사용자의 제스처에 따라 제어될 대상 객체인 것으로 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 제어 벡터(630)가 TV(311)의 기준영역(311A)을 정확하게 가리키지 않더라도, 제어 벡터(630)가 제어 벡터(630)의 시점(610)으로부터 TV(311)의 기준영역(311A)으로의 기준 벡터(미도시됨)와 대비하여 허용되는 오차 범위(즉, 오차 각도 범위) 내에 포함되면, TV(311)를 제어 벡터(630)에 의하여 지시되는 대상 객체인 것으로 결정할 수 있다.
계속하여, 도 6을 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 대상 객체인 TV(311)의 속성에 기초하여 정의되는 2차원의 TV 기준 좌표계에서, 제어 벡터(630)의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑을 수행할 수 있다. 예를 들면, 제어 좌표는, 제어 벡터(630)의 크기 및 제어 벡터(630)가 TV(311)의 기준영역(311A)과 만나거나 가장 근접하는 지점의 2차원 좌표에 의하여 특정될 수 있다.
계속하여, 도 6을 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 위의 특정되는 제어 좌표를 참조하여 TV(311)에 대하여 적용되는 제어 명령을 결정할 수 있다. 예를 들면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝(620)이 TV(311)의 기준영역(311A) 내의 좌측 상단 부근의 어떤 지점(640)에 대응되도록 하는 제스처를 행함에 따라 실세계 좌표계에서 제어 벡터(630)의 방향이 특정되면, 위의 제어 벡터(630)가 TV 기준 좌표계 상의 제어 좌표로 매핑됨에 따라 제어 좌표의 2차원 좌표 값이 특정될 수 있고, 위의 특정되는 2차원 좌표 값에 근거하여 TV(311)의 표시 화면 중 위의 특정되는 2차원 좌표 값에 대응되는 픽셀에 표시되는 그래픽 요소가 선택되는 동작 또는 기능이 수행될 수 있다.
다음으로, 도 7을 참조하면, 사용자의 제스처에 따라 인형에 대한 증강 현실 객체(312)(즉, 가상 객체)의 동작 또는 기능이 제어되는 경우를 가정할 수 있다. 여기서, 증강 현실 객체(312)에 관한 시각적인 정보는, 스마트폰, 태블릿, 스마트 글래스, 프로젝터 등의 디바이스를 통하여 사용자에게 제공될 수 있음을 밝혀 둔다. 이러한 경우에, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자의 눈(즉, 우세안)(710)의 위치를 시점으로 하고 사용자의 손가락 끝(721, 722, 723)의 위치를 종점으로 하는 제어 벡터(731, 732, 733)(또는 제어 벡터의(731, 732, 733)의 연장선)에 의하여 지시되는 증강 현실 객체(312)를 사용자의 제스처에 따라 제어될 대상 객체인 것으로 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 제어 벡터(731, 732, 733)가 증강 현실 객체(312)의 기준공간(312A)을 정확하게 가리키지 않더라도, 제어 벡터(731, 732, 733)가 제어 벡터(731, 732, 733)의 시점(710)으로부터 증강 현실 객체(312)의 기준공간(312A)으로의 기준 벡터(미도시됨)와 대비하여 허용되는 오차 범위(즉, 오차 각도 범위) 내에 포함되면, 증강 현실 객체(312)를 제어 벡터(731, 732, 733)에 의하여 지시되는 대상 객체인 것으로 결정할 수 있다.
계속하여, 도 7을 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 대상 객체인 증강 현실 객체(312)의 속성에 기초하여 정의되는 3차원의 증강 현실 객체 기준 좌표계에서, 제어 벡터(731, 732, 733)의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑을 수행할 수 있다. 예를 들면, 제어 좌표는, 제어 벡터(731, 732, 733)의 크기 및 제어 벡터(731, 732, 733)가 증강 현실 객체(312)의 기준공간(308A)과 만나거나 가장 근접한 지점의 3차원 좌표에 의하여 특정될 수 있다.
계속하여, 도 7을 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 위의 특정되는 제어 좌표를 참조하여 인형에 대한 증강 현실 객체(312)에 대하여 적용되는 제어 명령을 결정할 수 있다. 예를 들면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝(721, 722, 723)이 증강 현실 객체(312)의 기준공간(312A)에 대응되어 보이는 지점이 각각 증강 현실 객체(312)의 귀 부분(741), 얼굴 부분(742) 및 발 부분(743)이 되도록 하는 제스처를 행함에 따라 실세계 좌표계에서 제어 벡터(731, 732, 733)의 방향이 각각 특정되면, 위의 제어 벡터(731, 732, 733)가 증강 현실 객체 기준 좌표계 상의 제어 좌표로 매핑됨에 따라 제어 좌표의 3차원 좌표 값이 각각 특정될 수 있고, 위의 각각 특정되는 3차원 좌표 값에 근거하여 증강 현실 객체(312)의 귀 부분(741), 얼굴 부분(742) 및 발 부분(743)이 각각 선택되는 동작 또는 기능이 수행될 수 있다.
도 4 내지 도 7에서, 사용자가 행하는 제스처에 기초하여 객체가 제어되는 실시예에 대하여 주로 설명되었지만, 본 발명이 반드시 도 4 내지 도 7에 예시된 실시예에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있음을 밝혀 둔다.
다른 예로서, 사용자가 리모컨, 레이저 포인터 등의 벡터 제어 수단을 이용하여 행하는 조작에 대응하는 제어 벡터를 특정하고, 위의 특정되는 제어 벡터에 의하여 지시되는 대상 객체를 결정하고, 위의 결정되는 대상 객체의 기준 좌표계에서 제어 벡터에 대응하는 제어 좌표를 특정하는 매핑을 수행하고, 위의 특정되는 제어 좌표를 참조하여 대상 객체에 대하여 적용되는 제어 명령을 결정하는 실시예도 얼마든지 상정될 수 있을 것이다.
도 8 및 도 9는 본 발명의 일 실시예에 따라 사용자가 벡터 제어 수단을 이용하여 행하는 조작에 따라 제어 벡터가 특정되는 구성을 예시적으로 나타내는 도면이다.
도 8 및 도 9를 참조하면, 벡터 제어 수단(800, 900)에서 제어 신호(리모컨(800)의 적외선 신호 또는 레이저 포인터(900)의 레이저 신호)를 발생시키는 신호 발생부의 위치에 해당하는 점(820, 920)과 벡터 제어 수단(800, 900)에서 신호 발생부의 반대편에 위치하는 소정의 기준점(810, 910)을 연결하는 벡터가 제어 벡터(830, 930)로서 특정될 수 있다.
계속하여, 도 8 및 도 9를 참조하면, 위와 같이 특정되는 제어 벡터(830, 930) 또는 제어 벡터의 연장선(840, 940)에 의하여 지시되는 객체인 에어컨(307)이 사용자의 조작에 따라 제어될 대상 객체인 것으로 결정될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 데이터베이스(230)에는, 본 발명에 따른 객체 제어가 수행되는 공간 내에 존재하는 사용자 및 객체에 관한 다양한 공간 정보가 저장될 수 있고, 객체 제어를 수행함에 있어서 도출되는 제어 벡터, 제어 좌표 및 제어 명령에 관한 다양한 정보가 저장될 수 있다. 비록 도 2에서 데이터베이스(230)가 객체 제어 지원 시스템(200)에 포함되어 구성되는 것으로 도시되어 있지만, 본 발명을 구현하는 당업자의 필요에 따라, 데이터베이스(230)는 객체 제어 지원 시스템(200)과 별개로 구성될 수도 있다. 한편, 본 발명에서의 데이터베이스(230)는, 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라 파일 시스템에 기반을 둔 데이터 기록 등을 포함하는 광의의 데이터베이스일 수도 있으며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서의 데이터베이스(230)가 될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 객체 제어 지원 시스템(200)이 외부 장치와 통신할 수 있도록 하는 기능을 수행한다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 공간 정보 관리부(210), 객체 제어 관리부(220), 데이터베이스(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(250)는 외부로부터의 또는 객체 제어 지원 시스템(200)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 공간 정보 관리부(210), 객체 제어 관리부(220), 데이터베이스(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어한다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 비일시성의 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (9)

  1. 객체 제어를 지원하기 위한 방법으로서,
    사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하는 단계,
    상기 제어 벡터에 의하여 지시되는 객체를 상기 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하는 단계,
    상기 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 상기 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하는 단계, 및
    상기 매핑에 의하여 특정되는 제어 좌표를 참조하여 상기 대상 객체에 대하여 적용되는 제어 명령을 결정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제어 벡터는, 상기 사용자의 눈의 위치를 시점으로 하고 상기 사용자의 다른 신체 부위의 위치를 종점으로 하는 벡터인 방법.
  3. 제1항에 있어서,
    상기 제어 벡터는, 상기 조작의 대상이 되는 벡터 제어 수단의 자세 또는 상기 벡터 제어 수단에 의하여 발생되는 제어 신호의 방향에 기초하여 특정되는 벡터인 방법.
  4. 제1항에 있어서,
    상기 객체는, 상기 사용자의 주변에 존재하는 실물 객체이거나 가상 객체인 방법.
  5. 제1항에 있어서,
    상기 대상 객체 결정 단계에서,
    상기 사용자 및 상기 객체에 관한 공간 정보를 참조하여, 상기 실세계 좌표계에서 상기 제어 벡터 또는 상기 제어 벡터의 연장선과 교차하거나 가장 근접하는 객체를 상기 대상 객체로서 결정하는 방법.
  6. 제1항에 있어서,
    상기 대상 객체 기준 좌표계는, 상기 대상 객체의 속성에 따라 설정되는 기준점, 기준선, 기준영역 또는 기준공간에 의하여 정의되는 방법.
  7. 제6항에 있어서,
    상기 제어 좌표는, 상기 제어 벡터와 상기 기준점, 상기 기준선, 상기 기준영역 또는 상기 기준공간 사이의 관계에 기초하여 특정되는 방법.
  8. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 비일시성의 컴퓨터 판독 가능한 기록 매체.
  9. 객체 제어를 지원하기 위한 시스템으로서,
    사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하고, 상기 제어 벡터에 의하여 지시되는 객체를 상기 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하고, 상기 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 상기 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하고, 상기 매핑에 의하여 특정되는 제어 좌표를 참조하여 상기 대상 객체에 대하여 적용되는 제어 명령을 결정하는 객체 제어 관리부, 및
    상기 사용자 및 상기 객체에 관한 공간 정보를 저장하는 공간 정보 관리부
    를 포함하는 시스템.
PCT/KR2017/011788 2016-10-24 2017-10-24 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 WO2018080142A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17865786.2A EP3531242A4 (en) 2016-10-24 2017-10-24 METHOD AND DEVICE FOR SUPPORTING THE CONTROL OF OBJECTS AND TRANSITIONAL COMPUTER-READABLE RECORDING MEDIUM
CN201780067468.4A CN109891370B (zh) 2016-10-24 2017-10-24 辅助进行对象控制的方法及系统和非暂时性计算机可读记录介质
JP2019521658A JP7094280B2 (ja) 2016-10-24 2017-10-24 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
US16/391,721 US10948995B2 (en) 2016-10-24 2019-04-23 Method and system for supporting object control, and non-transitory computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160138662A KR101937823B1 (ko) 2016-10-24 2016-10-24 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR10-2016-0138662 2016-10-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/391,721 Continuation US10948995B2 (en) 2016-10-24 2019-04-23 Method and system for supporting object control, and non-transitory computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2018080142A1 true WO2018080142A1 (ko) 2018-05-03

Family

ID=62023803

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/011788 WO2018080142A1 (ko) 2016-10-24 2017-10-24 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Country Status (6)

Country Link
US (1) US10948995B2 (ko)
EP (1) EP3531242A4 (ko)
JP (1) JP7094280B2 (ko)
KR (1) KR101937823B1 (ko)
CN (1) CN109891370B (ko)
WO (1) WO2018080142A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021518965A (ja) * 2018-09-19 2021-08-05 ブイタッチ・カンパニー・リミテッド 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7091983B2 (ja) * 2018-10-01 2022-06-28 トヨタ自動車株式会社 機器制御装置
KR102477006B1 (ko) * 2020-08-14 2022-12-14 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11474690B2 (en) * 2020-08-14 2022-10-18 VTouch Co., Ltd. Method, system and non-transitory computer-readable recording medium for non-contact control
CN114546210A (zh) * 2022-01-28 2022-05-27 联想(北京)有限公司 一种映射方法以及增强现实设备
US20230409122A1 (en) * 2022-06-21 2023-12-21 Apple Inc. Hand-Gesture Activation of Actionable Items

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110117966A (ko) * 2010-04-22 2011-10-28 한국전자통신연구원 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
KR20140060604A (ko) * 2012-11-12 2014-05-21 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069734A (ja) * 2003-08-20 2005-03-17 Tokyo Univ Of Marine Science & Technology 指さし行為による物体の空間位置の教示方法
JP2006268209A (ja) * 2005-03-23 2006-10-05 Akinori Yoshino ユーザの身体動作による遠隔命令入力装置
JP4516042B2 (ja) * 2006-03-27 2010-08-04 株式会社東芝 機器操作装置および機器操作方法
JP5207513B2 (ja) * 2007-08-02 2013-06-12 公立大学法人首都大学東京 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
CN102317977A (zh) * 2009-02-17 2012-01-11 奥美可互动有限责任公司 用于姿势识别的方法和系统
US8253746B2 (en) * 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
JP5256265B2 (ja) * 2010-09-17 2013-08-07 株式会社ソニー・コンピュータエンタテインメント コンピュータシステム、コンピュータシステムの制御方法、プログラム及び情報記憶媒体
KR101795574B1 (ko) * 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101381928B1 (ko) * 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
KR101235432B1 (ko) 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101343748B1 (ko) * 2012-04-23 2014-01-08 주식회사 브이터치 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
KR101533320B1 (ko) * 2012-04-23 2015-07-03 주식회사 브이터치 포인터가 불필요한 3차원 객체 정보 획득 장치
KR101334585B1 (ko) * 2012-05-29 2013-12-05 주식회사 브이터치 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
US20190265802A1 (en) * 2013-06-20 2019-08-29 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
JP6480434B2 (ja) * 2013-06-27 2019-03-13 アイサイト モバイル テクノロジーズ リミテッド デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
JP6079614B2 (ja) * 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
KR101533319B1 (ko) * 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR20160024272A (ko) * 2014-08-25 2016-03-04 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
PL411339A1 (pl) * 2015-02-23 2016-08-29 Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością Sposób sterowania urządzeniem za pomocą gestów i system do sterowania urządzeniem za pomocą gestów
WO2016200197A1 (ko) * 2015-06-10 2016-12-15 (주)브이터치 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치
CN109074819B (zh) * 2016-04-29 2023-05-16 维塔驰有限公司 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
US10299032B2 (en) * 2017-09-11 2019-05-21 Apple Inc. Front port resonator for a speaker assembly
KR102463712B1 (ko) * 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110117966A (ko) * 2010-04-22 2011-10-28 한국전자통신연구원 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
KR20140060604A (ko) * 2012-11-12 2014-05-21 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3531242A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021518965A (ja) * 2018-09-19 2021-08-05 ブイタッチ・カンパニー・リミテッド 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
JP7062833B2 (ja) 2018-09-19 2022-05-06 ブイタッチ・カンパニー・リミテッド 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体

Also Published As

Publication number Publication date
KR101937823B1 (ko) 2019-01-14
EP3531242A1 (en) 2019-08-28
CN109891370A (zh) 2019-06-14
JP7094280B2 (ja) 2022-07-01
CN109891370B (zh) 2023-07-07
JP2019536140A (ja) 2019-12-12
EP3531242A4 (en) 2020-06-17
US20190250716A1 (en) 2019-08-15
US10948995B2 (en) 2021-03-16
KR20180044757A (ko) 2018-05-03

Similar Documents

Publication Publication Date Title
WO2018080142A1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
EP3526658B1 (en) Method and device for obtaining real time status and controlling of transmitting devices
US20190129607A1 (en) Method and device for performing remote control
WO2015186925A1 (en) Wearable device and method for providing augmented reality information
WO2014042320A1 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
KR20150137828A (ko) 데이터 처리 방법 및 그 전자 장치
WO2015099293A1 (en) Device and method for displaying user interface of virtual input device based on motion recognition
KR20150108216A (ko) 입력 처리 방법 및 그 전자 장치
WO2015126208A1 (en) Method and system for remote control of electronic device
AU2015202698B2 (en) Method and apparatus for processing input using display
WO2020130356A1 (en) System and method for multipurpose input device for two-dimensional and three-dimensional environments
WO2020060157A1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
EP3523716A1 (en) Electronic device and method for controlling display in electronic device
WO2018105955A2 (ko) 객체를 디스플레이하기 위한 방법 및 그 전자 장치
KR20150092962A (ko) 입력 처리 방법 및 그 전자 장치
KR20200076588A (ko) 헤드 마운트 장치 입력을 위한 시스템 및 방법
CN113559501B (zh) 游戏中的虚拟单位选取方法及装置、存储介质及电子设备
KR20150136391A (ko) 서비스를 제공하는 방법 및 그 전자 장치
WO2019203591A1 (en) High efficiency input apparatus and method for virtual reality and augmented reality
KR20160025914A (ko) 블록을 설정하는 전자 장치 및 방법
CN114384848A (zh) 交互方法、装置、电子设备及存储介质
Boldu et al. Insight: a systematic approach to create dynamic human-controller-interactions
Marinc et al. 3d interaction in aal environments based on ontologies
WO2021107499A1 (ko) 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치
WO2021177674A1 (ko) 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17865786

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019521658

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017865786

Country of ref document: EP

Effective date: 20190524