WO2013183938A1 - 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치 - Google Patents

공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치 Download PDF

Info

Publication number
WO2013183938A1
WO2013183938A1 PCT/KR2013/004964 KR2013004964W WO2013183938A1 WO 2013183938 A1 WO2013183938 A1 WO 2013183938A1 KR 2013004964 W KR2013004964 W KR 2013004964W WO 2013183938 A1 WO2013183938 A1 WO 2013183938A1
Authority
WO
WIPO (PCT)
Prior art keywords
target object
space
user interface
value
location recognition
Prior art date
Application number
PCT/KR2013/004964
Other languages
English (en)
French (fr)
Inventor
정문진
Original Assignee
주식회사 케이엠티글로벌
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120061433A external-priority patent/KR101258969B1/ko
Priority claimed from KR1020120153310A external-priority patent/KR101369938B1/ko
Application filed by 주식회사 케이엠티글로벌 filed Critical 주식회사 케이엠티글로벌
Priority to EP13800120.1A priority Critical patent/EP2860611A4/en
Priority to US14/405,403 priority patent/US20150185857A1/en
Priority to CN201380029984.XA priority patent/CN104335145A/zh
Publication of WO2013183938A1 publication Critical patent/WO2013183938A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a user interface method and apparatus through position recognition in space, and more particularly, to a user interface method through space position recognition for recognizing a user's motion in a space and executing a function corresponding to the motion. Relates to a device.
  • a user interface such as a button or a touch screen
  • the user selects a switch by applying a force higher than a certain level to the corresponding switch, etc., so that the user must contact any part of the body with the switch or button. In addition, it causes the trouble of exerting a certain level of force.
  • the user selects the switch by touching any part of the body including a finger to the switch without applying a certain force, so that any part of the body must directly touch the switch,
  • problems such as the spread of viruses and contamination of the body occur through the switch.
  • a predetermined key button is installed on the surface of the terminal and directly pressed on the rubber pad or input by scrolling, inputting on a two-dimensional floor plane or wall, or power supply ON / OFF. It has been used as a method of inputting a constant voltage, a constant resistance type touch screen using a touch panel only with physical external buttons, and data and execution keys for voice recognition through human voice.
  • an analog electric signal is output based on the distance between the reflector and the infrared sensor.
  • the analog electric signal is digitized through a digital conversion process, and may be processed by a virtual keyboard or a mouse with a key value corresponding to each value.
  • a gesture-based user interface the use of various sensors for interaction has also responded to the needs of users.
  • user interface technology for generating an event by recognizing a user's motion in a three-dimensional space unlike the touch-type user interface, when the user interface technology is not configured to accurately recognize an area in a space that can generate different events, On the contrary, the user's convenience may be weakened because an event that is completely different from the event may occur.
  • the user interface for generating an event by recognizing the motion of the 3D space user may have a slower response time than the touch user interface due to an operation that recognizes the user's motion. There is a need for a technique.
  • the present invention is a non-contact type that can easily execute the keyboard of the lower individual compartment even if the body part of the user moving in the virtual space having a plurality of partitions corresponding to the keyboard portion is located in a specific individual compartment of the virtual keyboard portion.
  • An object of the present invention is to provide an input device using a user interface.
  • the present invention improves the recognition performance of the position in the three-dimensional space and the processing speed of the event generation, the user interface method and apparatus through the position recognition in the space that can respond quickly to the user input as well as process the event quickly It aims to provide.
  • a user interface method using spatial recognition in which an image acquisition unit photographs a target object in a three-dimensional space to generate photographing information. Calculating a position value of the target object in a virtual space including a plurality of divided regions previously set based on the basis, and a position comparison processing unit compares the position value of the target object with a reference position database to determine the position of the target object. Determining whether a position value is included in one of the plurality of divided regions, and if it is determined that the position value of the target object is included in the one divided region, an event signal processor corresponds to the one divided region.
  • the database repeatedly calculates a position value of a target object a predetermined number of times in a virtual space including the plurality of divided divided areas, and presets a predetermined value for each of the plurality of divided areas based on the calculated position values. It is configured to have a three-dimensional distribution within the standard deviation.
  • the image acquisition unit may include at least one depth-sensing camera, and the image acquisition unit may generate photographing information by photographing a target object in a three-dimensional space through the at least one depth detection camera.
  • the position value may be a vector value on a three-dimensional space calculated based on the movement of the target object.
  • the vector value may be computed by data-forming an image change of the movement of the target object in a virtual matrix form divided into regions of the X-Y-Z axis.
  • the function activation processor determines whether the target object is located within the preset space, and the image acquisition unit in the three-dimensional space.
  • the method may further include determining whether to perform photographing of the target object to generate photographing information.
  • the function activation processing unit may include an infrared image sensor for identifying whether the target object is located in the preset space.
  • a user interface apparatus through position recognition in which a user acquires a target object in a three-dimensional space to generate photographing information, based on the photographing information.
  • a position calculation unit for calculating a position value of the target object in a virtual space including a plurality of divided regions, and comparing the position value of the target object with a reference position database,
  • a position comparison processor for determining whether the position is included in one of the divided regions, and if the position value of the target object is included in the one divided region, execution of an event corresponding to the one divided region is performed.
  • An event signal processor for generating an event execution signal for the reference position;
  • the database repeatedly calculates a position value of a target object a predetermined number of times in a virtual space including the plurality of divided divided areas, and presets a predetermined value for each of the plurality of divided areas based on the calculated position values. It is configured to have a three-dimensional distribution within the standard deviation.
  • the image acquisition unit may include at least one depth-sensing camera, and the image acquisition unit may generate photographing information by photographing a target object in a three-dimensional space through the at least one depth detection camera.
  • the position value may be a vector value on a three-dimensional space calculated based on the movement of the target object.
  • the vector value may be computed by data-forming an image change of the movement of the target object in a virtual matrix form divided into regions of the X-Y-Z axis.
  • the apparatus may further include a function activation processor configured to determine whether the target object is located within a preset space and determine whether to activate the function of the image acquisition unit.
  • the function activation processor may activate the function of the image acquisition unit only when the target object is located within a preset space.
  • the function activation processing unit may include an infrared image sensor for identifying whether the target object is located in the preset space.
  • a user interface device through spatial recognition in which a plurality of divided regions of the virtual space are disposed adjacent to a virtual space including a plurality of divided regions.
  • a hand motion detection unit for sensing and photographing a hand motion of a user entering one of the handset and generating a vector value of the target object;
  • a position calculator for calculating a position of the hand gesture in one of the divided regions using the vector value;
  • a controller configured to generate an event generation signal for executing an event corresponding to a position in one of the divided regions provided by the position calculator.
  • the hand motion detection unit may include at least one of an optical proximity sensor and an illumination sensor.
  • the vector value may be arithmetic processing by converting the image change of the hand movement in a virtual matrix form divided into X, Y, and Z axis regions.
  • the user interface method and apparatus through the position recognition in the embodiment of the present invention can improve the position recognition performance in the three-dimensional space to increase the accuracy of the user interface through the position recognition in the space.
  • FIG. 1 is a configuration diagram of a user interface apparatus through position recognition in a space according to a first embodiment of the present invention.
  • FIG. 2 is a flow chart of a user interface method through positional recognition in accordance with a first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of a virtual matrix in the user interface method through spatial location recognition according to the first embodiment of the present invention.
  • FIG. 4 is a view for explaining a method of configuring a reference position database in the user interface method through the position recognition in the space according to the first embodiment of the present invention.
  • FIG. 5 is a perspective view of a user interface device through space recognition according to a second embodiment of the present invention.
  • FIG. 6 illustrates a configuration of a user interface device through space recognition according to a second embodiment of the present invention.
  • FIG. 7 illustrates an image configuration in the form of a virtual matrix for gesture recognition in a user interface device through spatial location recognition according to a second embodiment of the present invention.
  • each of the components, functional blocks or means may be composed of one or more sub-components, the electrical, electronic, mechanical functions performed by each component is an electronic circuit, It may be implemented by various known elements or mechanical elements such as an integrated circuit, an application specific integrated circuit (ASIC), or may be implemented separately, or two or more may be integrated into one.
  • ASIC application specific integrated circuit
  • combinations of each block in the accompanying block diagram and each step in the flowchart may be performed by computer program instructions.
  • These computer program instructions may be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment such that instructions executed through the processor of the computer or other programmable data processing equipment may not be included in each block or flowchart of the block diagram. It will create means for performing the functions described in each step.
  • These computer program instructions may also be stored in a computer usable or computer readable memory that can direct a computer or other programmable data processing equipment to implement functionality in a particular manner.
  • Computer program instructions may be mounted on a computer or other programmable data processing equipment, and program instructions may provide steps for executing the functions described in each block of the block diagram and in each step of the flowchart.
  • each block or step may represent a portion of a module, segment or code that includes one or more executable instructions for executing a specified logical function (s).
  • the two blocks or steps shown in succession may in fact be executed substantially concurrently or the blocks or steps may sometimes be performed in the reverse order, depending on the functionality involved.
  • a user interface method and apparatus through space recognition recognize a position of a target object in a three-dimensional space without contact with an electronic device, and receive an input and process an event corresponding to the input.
  • This technology corresponds to a technology for generating a signal for a user, and may be applied to various fields requiring user input.
  • positional recognition in space means grasping the position according to the position or movement of the target object in the three-dimensional space in order to receive a user input in the three-dimensional space.
  • the target object is not limited to a specific target as a target of position recognition, and may be various targets such as a predetermined object, a person, or an animal.
  • a human hand is a target object for convenience of description. Let's explain.
  • FIG. 1 is a configuration diagram of a user interface apparatus through position recognition in a space according to a first embodiment of the present invention.
  • the user interface device 100 determines whether a target object is located within a preset space, and determines whether to activate the function of the image acquisition unit 120.
  • Computing a position value of the target object in a virtual space including an image acquisition unit 120 for photographing the target object in the dimensional space to generate the shooting information, and a plurality of divided areas set in advance based on the shooting information.
  • a position comparison unit 130 for comparing the position value of the target object with the reference position database 150 to determine whether the position value of the target object is included in one of the plurality of divided regions. If it is determined that the position value of the processor 140 and the target object are included in the one partitioned area, the event corresponding to the one partitioned area is actually lost.
  • an event signal processor 160 for generating an event execution signal for the row.
  • FIG. 2 is a flow chart of a user interface method through positional recognition in accordance with a first embodiment of the present invention.
  • the function activation processing unit 110 determines whether the target object is located in the preset spatial area (S100), and if the target object is not located in the preset spatial area again, whether the target object is located in the preset spatial area again. If it is determined that the target object is located within the preset spatial area, the image acquisition unit 120 is activated (S110).
  • the function activation processor 110 recognizes a target object (for example, a user's finger) coming from each orientation (east, west, south, north) within a preset space through an infrared image sensor or pyroelectric sensor. If the target object entered into the space is recognized, and if the value of 1 is not recognized, a value of 0 is output, and according to the output value, it is determined whether the function of the image acquisition unit 120 is activated. At this time, only when the value is 1, the function of the image acquisition unit 120 is activated.
  • a target object for example, a user's finger
  • orientation east, west, south, north
  • the image acquisition unit 120 photographs the target object in the three-dimensional space to generate the shooting information (S120).
  • the image acquisition unit 120 may include at least one depth-sensing camera, and the image acquisition unit 120 may target an object in a three-dimensional space through the at least one depth detection camera.
  • the shooting information may be generated by photographing an object.
  • the image acquisition unit 120 may preferably include two or more depth sensing cameras in order to minimize errors occurring when the motion of the target object is recognized in the three-dimensional space.
  • the position calculating unit 130 calculates the position value of the target object in the virtual space including a plurality of divided areas set in advance based on the photographing information (S130).
  • the position calculating unit 130 processes the information on the three-dimensional space based on the photographing information.
  • the method of processing the information on the three-dimensional space based on the photographing information by the position limiting unit 130 is the operation of the left and right movement of the finger on the two-dimensional X-axis and Y-axis by the operation of the three-dimensional vector and Z Three-axis vector operations can be used to recognize the pressing position in the axial direction.
  • the decomposition of X, Y coordinates using the vector dot product and the normal vector generated from the space and one side of the space as the vector value of Z orthogonal to the two vectors of X and Y by the cross product operation You can have a result of that value.
  • FIG. 3 is a diagram illustrating an example of a virtual matrix in the user interface method through spatial location recognition according to the first embodiment of the present invention.
  • an image of a virtual matrix of a square mother-like pattern for recognizing a position of a target object is formed by multiplying the number of regions divided by the X-axis, the number of regions divided by the Y-axis, and the number of regions divided by the Z-axis. It consists of partitions of.
  • the position calculating unit 130 performs a vector calculation process on a change in the movement of the target object in the partition area.
  • the vector value may be composed of three-dimensional data for each of X, Y, and Z axes.
  • the vector value according to the embodiment of the present invention may be processed by data of the change of the movement of the target object in the virtual matrix form divided into the X, Y, and Z axis regions.
  • the upper, lower, left, and right sides are divided into X and Y axes around a specific edge, respectively, and the Z axis is the distance in the direction of the depth sensing camera. It can be recognized as the Z axis for the proximity and the distal, etc., and can be expressed as the maximum value and the minimum value, respectively.
  • the left side is the minimum value of the X axis
  • the right side is the maximum value of the X axis
  • the upper side is the maximum value of the Y axis
  • the lower side is the minimum value of the Y axis.
  • the Z-axis can be set to represent the minimum value and the distal to the maximum value.
  • the derivative of the scalar variable t of the arithmetic function V may be made as in Equation 1 below, as in the case of the scalar function.
  • the position comparison processing unit 140 compares the position value of the target object with a reference position database, and the position value of the target object is divided into the plurality of divisions. It is determined whether it is included in one location area of the area (S140).
  • the reference position database 150 repeatedly calculates a position value of the target object by a predetermined number of times for a virtual matrix including a plurality of divided regions set in advance, and each of the plurality of divided regions based on the calculated position values. It can be composed of data having a three-dimensional distribution within a predetermined standard deviation with respect to.
  • the image acquisition unit 120 generates photographing information by repeatedly photographing the movement of the target object a plurality of times for a plurality of divided regions which are previously divided based on the initial recognition point, and the position calculating unit 130 generates the photographing information.
  • the position value of the target object in the virtual space including the plurality of divided areas set in advance based on the calculation is calculated.
  • the reference position database 150 is constructed by comparing and analyzing the calculated values.
  • the presence or absence of duplicate values calculated using a predetermined program is controlled, and the control is repeated to remove a portion which is repeated a predetermined time or more, and the reference database 150 is constructed by utilizing the characteristics of the image acquisition unit 120.
  • FIG 4 is a view for explaining a method of configuring the reference position database 150 in the user interface method through the position recognition in the space according to the first embodiment of the present invention.
  • the reference position database 150 may include such a distribution map as data.
  • the standard deviation of the position value on the distribution chart can be within a predetermined range.
  • the distribution area of the distribution chart may be set small.
  • the distribution chart thus obtained is stored in the reference position database 150 as data.
  • the position comparison processor 140 compares the position value of the target object with the distribution map data previously stored in the reference position database 150 whether the position value is included in the distribution map of the specific partition area.
  • the position comparison processing unit 140 compares the position value of the target object with the data of the distribution map previously stored in the reference position database 150 to determine whether the position value of the target object is included in the distribution map data of the specific partition area. do.
  • the determination when it is determined that the position value of the target object is included in the data of the distribution chart of the specific partition, it may be determined that the target object is located in the space on the specific partition.
  • by comparing with the reference position database 150 having a high accuracy it is possible to increase the accuracy of the position recognition of the target object. In this case, it is also possible to determine whether the target object is located in the space on the specific partition by determining whether the position value of the target object is included in the area indicated by the distribution diagram of the specific partition.
  • the event signal processor 160 when it is determined that the position value of the target object is included in the one partitioned area, the event signal processor 160 generates an event execution signal for executing an event corresponding to the one partitioned area.
  • An event corresponding to the one partition area may be predefined, and the event occurrence signal may be a signal indicating execution of the corresponding event.
  • a user interface apparatus through spatial recognition may be mounted in various devices.
  • the event signal processor 160 Generates an event execution signal for executing an event defined in the device.
  • the event execution signal is transmitted to the device and the device executes an event corresponding to the event execution signal.
  • a specific menu corresponding to the event execution signal may be executed on a specific display installed in the device.
  • the event generation signal generated by the event signal processor 160 may be transmitted to a device in which a user interface device is installed through space recognition according to an embodiment of the present invention through communication.
  • a device in which a user interface device is installed through space recognition according to an embodiment of the present invention through communication.
  • it is based on serial communication of RS-233.
  • RS-485 can be used.
  • 10/100 Base Ethernet or ISM band wireless LAN can be used as a freely available frequency band.
  • the user interface device through the spatial position recognition according to the first embodiment of the present invention described above is applicable to various devices and equipment for receiving and processing a user's input, and the position recognition performance and event response speed are fast. Convenience can be improved.
  • FIG. 5 is a perspective view of a user interface device through space recognition according to a second embodiment of the present invention
  • FIG. 6 is a configuration of a user interface device through space recognition according to a second embodiment of the present invention.
  • FIG. 7 illustrates an image configuration in the form of a virtual matrix for motion recognition in a user interface device through spatial location recognition according to a second embodiment of the present invention.
  • the user interface device through the positional recognition in space according to the second embodiment of the present invention recognizes a user's hand gesture in a virtual space including a plurality of partitions which are pre-divided and set.
  • a virtual space including a plurality of partitions which are pre-divided and set.
  • the plurality of divided areas set in advance are assumed as the virtual keyboard part 30 corresponding to the keyboard part 20.
  • the keyboard unit 20 includes one or more character information, displays the character information in individual compartments, and is spaced apart by a predetermined interval directly above the keyboard unit 20 to separate the compartments of the keyboard unit 20.
  • the virtual keyboard part 30 which forms the area
  • the user interface device through the position recognition in the space is provided at a predetermined position from the virtual keyboard unit 30, and the hand gesture detecting unit 40 detects a hand gesture of a user entering the virtual keyboard unit 30 through photographing.
  • the input device using the user interface device through the spatial position recognition according to the second embodiment of the present invention as described above does not directly touch any part of the user's body that is displayed to perform a specific purpose. Instead, it is possible to easily select the keyboard of the individual compartments only by approaching the keyboard unit.
  • the keyboard unit 20 may display one or more character information. Character information includes all Korean, English, numbers, special characters, and the like, and may be expressed based on national character information or standards.
  • Character information includes all Korean, English, numbers, special characters, and the like, and may be expressed based on national character information or standards.
  • the keyboard unit 20 may be displayed in individual sections provided with respective character information.
  • the individual compartments may be used to perform specific purposes such as elevator buttons or switches indicating the number of floors to be moved, individual menu items for ATM processing, and an input unit of a product vending machine such as a beverage. It may be a selection item of various devices that can input through the movement of a part of the user's body.
  • the keyboard unit 20 may include, for example, any one of an input unit of an elevator, an ATM, or a vending machine.
  • the virtual keyboard portion 30 may be formed to be spaced apart from each other by a predetermined distance directly above the keyboard portion 20.
  • the virtual keyboard portion 30 may be formed as a region of separate virtual individual partitions in a plane corresponding to the individual partitions of the keyboard portion 20. That is, the virtual keyboard 30 having the same shape as the keyboard 20 may be formed up and down.
  • the virtual keyboard 30 may be used to approach the keyboard 20 without direct contact with a part of the body, ie, to contact or touch the virtual keyboard 30. Through this, the individual compartments to be selected of the keyboard unit 20 can be easily selected.
  • the distance d between the keyboard portion 20 and the virtual keyboard portion 30 may be freely selected within 0 ⁇ d ⁇ 10 (unit: cm) in consideration of the user's convenience.
  • the virtual keyboard unit 30 may be configured in consideration of the size of individual compartments of the keyboard unit 20 or the interference with other compartments, the accuracy of selection, the user's confusion with an existing touch keyboard, or the prevention of errors in use. It is desirable to form within a short range of ⁇ 3 cm.
  • the hand motion detecting unit 40 may include a camera capable of detecting a user's hand motion at a predetermined position above the virtual keyboard unit 30. Therefore, the camera may capture the hand gesture of the user entering the virtual keyboard 30.
  • the hand motion detecting unit 40 may include at least one of an optical proximity sensor and an illuminance sensor. That is, the camera not only photographs the user's hand movement on the virtual keyboard unit 30, but also detects the position and / or direction of the user's hand through the one sensor or a plurality of combined sensors, and detects the result. To the position calculation unit 50.
  • the hand motion detection unit 40 may measure the motion of the hand or finger located on the virtual keyboard 30 to measure the vector value of the motion.
  • the camera is preferably a depth-sensing camera. Depth detection cameras can detect the movement speed, direction, and trajectory of a hand or finger movement through cognitive characteristics and sensors.
  • the hand motion detector 40 detects a motion of an object (hand or finger) photographed by a camera and measures a motion (motion) vector from a reference position. Thereafter, the position calculating unit 50 calculates the position of the object (hand or finger) on the virtual keyboard unit 30 from the vector value of the hand gesture detected by the hand gesture detecting unit 40.
  • the method of recognizing the first finger movement signal using the motion detection camera of the hand motion detection unit 40 flows from each direction (east, west, south, north) in a predetermined input area through an infrared image sensor or pyroelectric sensor.
  • the detection signal inputted by the finger movement can be accepted as an initial stage of internal CPU processing, and the digital 0 signal can be changed to the signal value of 1 to switch from the initial standby state of all sensors or the depth sensing camera to the operating state. .
  • the hand motion detection unit 40 includes an optical proximity sensor, an illuminance sensor, a geomagnetic sensor, and the like, for an input signal obtained by using an input device using position information on coordinates of each X, Y, and Z axis in a three-dimensional space.
  • the analogue value is expressed from the standard of.
  • the operation including the optical sensor and the optical encoder by configuring the LED to the phototransistor receiver and the emitter to enable the optical proximity sensor and the object to be detected and the distance to the subject.
  • Up to three or more infrared lights are used to respond to the input due to the detection of the phase difference of the reflection relative to the input of the LED reflected light derived from the movement of the finger.
  • the recognition angle of the proximity sensor sets the initial reference angle to operate within a certain angle range (e.g., 100 ° ⁇ 10 °) of the left and right, and the recognition distance is the distance from the finger movement (e.g. within 1 ⁇ 10cm) and the output voltage signal.
  • a certain angle range e.g. 100 ° ⁇ 10 °
  • the recognition distance is the distance from the finger movement (e.g. within 1 ⁇ 10cm) and the output voltage signal.
  • the illuminance sensor works with the proximity sensor to change the response of the light intensity to a voltage to maintain a data-formatted configuration of units of measurement intervals (eg 100ms) to minimize sensitivity variations.
  • Geomagnetic sensor measures the magnetic strength of three axes (X, Y, Z) and outputs it as an analog signal.However, the direction of the camera in terms of input in four directions (East, West, South, North) Data inputs for left and right upside down within the input voltage range (e.g. 2.6V ⁇ 3.6V) can be presented for an input reference that is completely different from the input reference.
  • a method of processing information in three-dimensional space using a depth-sensing camera is a three-dimensional vector operation that recognizes the movement of the left and right movement of the finger to two-dimensional X and Y-axis positions and the pressing position for execution by the depth of the Z-axis. It can be performed by three-axis vector operation.
  • the decomposition of X, Y coordinates using the vector dot product and the generated normal vector to one side of the space and the space resulting from the vector value of Z orthogonal to the two vectors of X and Y by the cross product operation To have a result of that value.
  • a virtual matrix image configuration of a square model for motion recognition includes (numbers up to 9 including 0 and * and # symbols) on the X axis (numbers) on the Y axis (numbers) on the Z axis (numbers)
  • the image is processed by vectorizing the image change of the finger movement in the smallest spatial area.
  • the basic image filter configuration for the calculation of the minimum motion image change is divided into 48 pieces of 4 ⁇ 3 ⁇ 4 with respect to the X, Y, and Z axes, and the vector for the image change of the finger motion.
  • the vector value may be composed of three-dimensional data for each axis of X, Y, and Z.
  • the vector value according to an embodiment of the present invention may be processed by converting the image change of the hand motion in a virtual matrix form divided into X, Y, and Z axis regions.
  • the top is divided into upper, lower, left, and right directions by X and Y axes, respectively, and the Z axis is recognized as the distance in the direction of the depth sensing camera.
  • Proximity and distal are defined by the Z-axis, and can be expressed as the maximum and minimum values, respectively.
  • the left side is the minimum value of the X axis
  • the right side is the maximum value of the X axis
  • the upper side is the maximum value of the Y axis
  • the lower side is the minimum value of the Y axis.
  • the Z-axis can be set to represent the minimum value and the distal to the maximum value.
  • the software program for performing the operation can be based on the implementation of the function for vector operation by distinguishing from the image processing of the right hand finger movement and the left hand finger movement of most of the reference user.
  • Illustrates the movement of a finger with a single point of recognition computes the movement trajectory when moving, and the vector V (X, Y, Z) indicating the movement position is converted as a function of the movement time t, and the vector operation
  • the derivative of the scalar variable t of the function V may be made by Equation 1 as in the case of the scalar function (for example, quoting the definition of the vector operation).
  • the filtering and scaling process may be additionally performed in order to consider the support of image stabilization, which may involve comparison and control of the input data.
  • the position calculation unit 50 compares and analyzes the digital signal obtained by conversion from the sensors (optical proximity sensor, illuminance sensor and geomagnetic sensor), the predetermined reference value of the database DB, and the calculation processing value extracted from the depth sensing camera. Can be processed.
  • the motion of a finger is captured through video several times, and the actual measurement data is extracted several times using an application program consisting of a hardware emulator. That is, software and hardware emulator composed of application program based on sensor motion data measure the motion of finger movements obtained on each X, Y, and Z axis several times and organize the data for each location. do.
  • Visual image programs can be created to understand and implement the sensor's behavior with respect to finger movements, and graph changes in the actual measurement data of the sensors.
  • the hardware emulator can add the optional function to determine the type, function, and speed of the sensor while constructing the data, thereby improving the cognitive sensitivity as the data reacted by the sensors according to various finger movements becomes more detailed. .
  • the program tool is developed to be selected according to the user's definition based on the characteristics of each sensor, and the database is constructed by searching, calculating, comparing and analyzing several times repeatedly based on the initial recognition point of the depth detection camera. The closest point is displayed by comparing it with the video image obtained through the preprogrammed program and the actual depth detection camera.
  • control unit uses the data obtained from the sensor to check for duplicates through a series of processes such as searching, extracting, calculating and comparing the input signal in 3D space, including memory and CPU for storing 3D space information.
  • control unit removes a portion which is repeated more than a certain time, and makes use of the characteristics of each sensor to process and analyze the data to construct a design input database to minimize the error value and to be processed under the criteria.
  • Communication between the transmission and reception in the data transfer unit can apply a communication method applied at the time of transmission of the event generation signal of the first embodiment.
  • the movement of the finger in the input device is recognized as a user interface, and the response of the final recognition process through the position calculating unit and the control unit may be a liquid crystal display, a TV, a game machine, a PC monitor, or the like.
  • the present invention is not limited to the above example, and is input at a predetermined distance from the ground including the support in front of the screen in a predetermined input area, and the digital data value and depth converted through the proximity sensor, the illuminance sensor, or the geomagnetic sensor.
  • the sensing camera may be computed and processed through a virtual matrix image filter to compare the extracted values with each other and deliver correction values as final data so that a user may perform desired input information or data.
  • the controller 60 confirms the individual partition information of the keyboard unit 20 corresponding to the individual partition information of the virtual keyboard unit 30. Thereafter, a control signal for executing character information of the individual sections of the keyboard portion 20 is output.
  • the present invention is different from the input method for inputting a constant voltage and a resistive touch screen using a mouse or a touch panel that presses a button or scrolls on a conventional plane, and moves a finger as a user interface in a three-dimensional space. Depth detection speed and trajectory of the camera Through the cognitive characteristics of the camera and the sensor, it is possible to implement a new concept input device technology that recognizes the user's input information by comparing and analyzing the digital numerical information of the analog signal.
  • the present invention calculates the trajectory range of the movement of the moving finger passing through the image filter through the depth-sensing camera to minimize the error range shown in the conventional motion recognition based technology in the three-dimensional space, motion sensor By comparing and analyzing the database of the digitally converted numerical value of the user can more accurately recognize the desired input information.
  • the user's finger movements in the three-dimensional space are controlled by passing the final data while minimizing and correcting the numerical error value by controlling the data within the database range by repeating several times in advance in the development process before the user input. It may be characterized by the recognition or display of the desired signal in the type of.
  • the user interface device through the position recognition in space can be applied without limiting the type if it is a giga for performing a process by receiving an input from the user in the space, for example, PC, smartphone, elevator , ATM or vending machine can be installed in a variety of devices, which is only one example, but is not limited to the above examples.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 공간상의 위치인식을 통한 사용자인터페이스 방법에 관한 것이다.상기 방법은 영상획득부가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 단계, 위치연산부가 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하는 단계, 위치비교처리부가 상기 대상객체의 위치값과 기준위치데이터베이스와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단하는 단계, 상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 이벤트신호처리부가 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생시키는 단계를 포함하고, 상기 기준위치데이터베이스는 상기 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하고, 상기 연산된 위치값을 기초로 상기 복수의 분할영역 각각에 대하여 소정의 표준편차 이내의 3차원 분포도를 갖도록 구성된다.

Description

공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
본 발명은 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치에 관한 것으로, 상세하게는 공간상에서 사용자의 동작을 인식하고, 동작에 대응하는 기능이 실행되도록 하기 위한 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치에 관한 것이다.
기존의 버튼 방식 또는 터치스크린 방식 등과 같은 사용자인터페이스의 경우, 사용자가 일정 기준 이상의 힘을 해당 스위치 등으로 인가하여 스위치를 선택하는 방식은 사용자로 하여금 해당 스위치나 버튼 등에 신체 중 어느 일부를 접촉시켜야 할 뿐더러, 일정 기준 이상의 힘을 가해야 하는 수고로움을 야기시킨다.
또한, 사용자가 일정 이상의 힘을 가하지 않고 해당 스위치에 손가락을 포함한 신체 중 어느 일부분을 접촉시켜 해당 스위치를 선택하는 방식은 신체 중 어느 한 부분을 해당 스위치에 직접 닿도록 해야 하기 때문에, 불특정 다수의 여러 사람들이 사용하는 스위치에 자신의 신체를 접촉시킴으로써, 스위치를 매개로 하여 바이러스의 확산 및 신체의 오염 등의 문제점이 발생한다.
즉, 종래에는 소정의 키 버튼을 단말기 표면에 설치하고 직접적으로 고무패드상에서 버튼을 누르거나 스크롤 방식으로 입력하는 방법, 2차원적인 바닥 평면이나 벽면에 입력하는 방법, 전원 ON/OFF와 같이 최소한의 물리적인 외부 버튼만을 가지고 터치패널을 이용한 정전압, 정저항 형태의 터치스크린으로의 입력방법, 사람의 음성을 통한 보이스 인식으로의 데이터 및 실행키를 입력하는 방법으로 사용되어져 왔었다. 또한, 반사체와 적외선 센서까지의 거리값을 바탕으로 아날로그 전기신호를 출력하며, 이에 아날로그 전기신호는 디지털 변환과정을 거쳐 수치화되고 각 수치에 대응되는 키값을 가져 가상키보드 또는 마우스로 처리되는 경우도 있으며, 최근에는 제스쳐 기반 사용자 인터페이스로서 상호작용을 위한 다양한 센서들을 활용하는 방법으로도 사용자의 요구에 부응하고 있기도 하다.
그러나, 상기 2차원적인 입력상의 고전적인 방법 이외의 음성을 통한 보이스 인식으로서의 데이터 및 실행 방법은 노이즈에 약한 문제점으로 인해 공공 장소에서 사용하기 부적합하여 다중의 사용자들로부터 특정 목소리를 구별할 수 있는 보다 안정적인 사용자 음성 인식 기술이 필요하고, 제스쳐 기반의 인터페이스 입력 방법은 광원 간섭 문제로 인해 여러 대의 카메라 및 고가의 장비를 이용하거나, 사용자가 직접적인 장비를 장착하여 상호 작용해야 하는 불편함이 있고, 주변 환경 변화에 민감한 부분을 해결하기 위해 별도의 외부 장치에 보다 다양한 기술을 필요로 하는 어려움이 있었다.
따라서, 이와 같은 문제점을 해결하기 위하여 사용자의 접촉 없이 3차원 공간 상에서 사용자의 동작(예를 들어, 손가락의 움직임)을 인식하여 사용자가 동작에 대응하는 이벤트가 발생하도록 하는 다양한 사용자인터페이스의 개발이 요구된다.
한편,3차원 공간 상의 사용자의 동작을 인식하여 이벤트를 발생시키기 위한 사용자인터페이스 기술은 터치식 사용자 인터페이스와 달리 서로 다른 이벤트를 발생시킬 수 있는 공간 상의 영역을 정확하게 인식하도록 구성되지 않는 경우에 사용자가 원하는 이벤트와는 전혀 다른 이벤트가 발생할 수 있기 때문에 오히려 사용자의 편의성이 약화될 수 있다.
따라서, 3차원 공간 사용자의 동작을 인식하여 이벤트를 발생시키기 위한 사용자인터페이스는 사용자의 동작을 인식하는 연산으로 인하여 터치식 사용자 인터페이스에 비하여 이벤트의 응답속도가 느려질 수 있는데, 최대한 빠른 응답속도를 가능하게 하기 위한 기술이 요구된다.
본 발명은 본 발명은 자판부에 대응되게 복수의 분할영역을 가지는 가상공간 상에서 움직이는 사용자의 신체 일부가 가상 자판부의 특정 개별 구획에 위치하기만 해도 하방의 개별 구획의 자판을 용이하게 실행할 수 있는 비접촉식 사용자 인터페이스를 이용한 입력장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 3차원 공간상의 위치의 인식 성능과 이벤트 발생 처리 속도를 향상시켜, 사용자의 입력에 정확하게 반응할 뿐만 아니라 빠르게 이벤트를 처리할 수 있는 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법은 영상획득부가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 단계, 위치연산부가 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하는 단계, 위치비교처리부가 상기 대상객체의 위치값과 기준위치데이터베이스와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단하는 단계, 상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 이벤트신호처리부가 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생시키는 단계를 포함하고, 상기 기준위치데이터베이스는 상기 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하고, 상기 연산된 위치값을 기초로 상기 복수의 분할영역 각각에 대하여 소정의 표준편차 이내의 3차원 분포도를 갖도록 구성된다.
상기 영상획득부는 적어도 하나의 심도감지카메라(depth-sensing camera)를 포함하고, 상기 영상획득부는 상기 적어도 하나의 심도감지카메라를 통해 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성할 수 있다.
상기 위치값은 상기 대상객체의 움직임에 기초하여 연산된 3차원 공간상의 벡터값일 수 있다.
상기 벡터값은 X-Y-Z 축의 영역으로 구분된 가상의 매트릭스 형태 내에서 상기 대상객체의 움직임의 이미지변화를 데이터화하여 연산처리될 수 있다.
상기 방법은 상기 영상획득부가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 단계 이전에, 기능활성화처리부가 상기 대상객체가 미리 설정된 공간 이내에 위치하는지 판단하여, 상기 영상획득부가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 단계의 수행여부를 결정하는 단계를 더 포함할 수 있다.
상기 기능활성화처리부는 상기 대상객체가 상기 미리 설정된 공간 내에 위치하는지 식별하기 위한 적외선영상센서를 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 다른 양상에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치는 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 하기 위한 영상획득부, 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하기 위한 위치연산부, 상기 대상객체의 위치값과 기준위치데이터베이스와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단하기 위한 위치비교처리부, 및 상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생시키기 위한 이벤트신호처리부를 포함하고, 상기 기준위치데이터베이스는 상기 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하고, 상기 연산된 위치값을 기초로 상기 복수의 분할영역 각각에 대하여 소정의 표준편차 이내의 3차원 분포도를 갖도록 구성된다.
상기 영상획득부는 적어도 하나의 심도감지카메라(depth-sensing camera)를 포함하고, 상기 영상획득부는 상기 적어도 하나의 심도감지카메라를 통해 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성할 수 있다.
상기 위치값은 상기 대상객체의 움직임에 기초하여 연산된 3차원 공간상의 벡터값일 수 있다.
상기 벡터값은 X-Y-Z 축의 영역으로 구분된 가상의 매트릭스 형태 내에서 상기 대상객체의 움직임의 이미지변화를 데이터화하여 연산처리될 수 있다.
상기 대상객체가 미리 설정된 공간 이내에 위치하는지 판단하여, 상기 영상획득부의 기능활성화 여부를 결정하는 기능활성화처리부를 더 포함할 수 있다.
상기 기능활성화처리부는 상기 대상객체가 미리 설정된 공간 이내에 위치하는 경우에만, 상기 영상획득부의 기능을 활성화시킬 수 있다.
상기 기능활성화처리부는 상기 대상객체가 상기 미리 설정된 공간 내에 위치하는 지 식별하기 위한 적외선영상센서를 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 또 다른 양상에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치는 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상공간에 인접하게 배치되어 상기 가상공간의 복수의 분할영역 중 하나로 진입하는 사용자의 손동작을 감지하여 촬영하고 상기 대상객체의 벡터값을 생성하는 손동작감지부; 상기 백터값을 이용하여 상기 분할영역 중 하나에서의 상기 손동작의 위치를 연산하는 위치연산부; 및 상기 위치연산부에서 제공되는 상기 분할영역 중 하나에서의 위치에 대응되는 이벤트의 실행을 위한 이벤트 발생신호를 생성하는 제어부를 포함한다.
상기 손동작감지부는 광학 근접 센서 또는 조도 센서 중 적어도 1 이상을 포함할 수 있다.
상기 벡터값은 X,Y,Z축의 영역으로 구분된 가상의 매트릭스 형태 내에서 상기 손동작 움직임의 이미지 변화를 데이터화하여 연산 처리될 수 있다.
상기와 같은 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치에 따르면 사용자가 자신의 신체 중 어느 일부를 특정 목적을 수행도 개별 구획의 자판을 용이하게 선택할 수 있다.
따라서, 자판을 무의식중에 접촉함으로써 전염될 수 있는 각종 바이러스의 확산 및 신체오염을 방지할 수 있다.
또한, 사용자가 장갑등의 손의 보호장비를 착용한 경우, 자판을 접촉하기 위하여 착용한 보호장비를 제거해야 하는 번거로움을 방지할 수 있다.
한편, 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치에 따르면 3차원 공간 상의 위치인식 성능을 향상시켜 공간상의 위치인식을 통한 사용자인터페이스의 정확도를 높일 수 있다.
또한, 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치에 따르면, 사용자의 동작에 따른 이벤트가 신속하게 처리되도록 함으로써 응답속도를 빠르게 개선시킬 수 있다.
본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 제1 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치의 구성도이다.
도 2는 본 발명의 제1 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법의 순서도이다.
도 3은 본 발명의 제1 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법에 있어서, 가상 메트릭스의 예를 도시한 도면이다.
도 4는 본 발명의 제1 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법에 있어서, 기준위치데이터베이스를 구성하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 제2 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치의 사시도이다.
도 6은 본 발명의 제2 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치의 구성을 도시한 것이다.
도 7은 본 발명의 제2 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치에 있어서 동작 인식을 위한 가상의 매트릭스 형태의 이미지 구성을 도시한 것이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 뒤에 설명이 되는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐를 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 뒤에 설명되는 용어들은 본 발명에서의 구조, 역할 및 기능 등을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 오로지 특허청구범위에 기재된 청구항의 범주에 의하여 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "..부", "..유닛"등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
한편, 본 발명의 실시 예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
또한, 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하다.
컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하며, 프로그램 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하에서, 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치에 대해서 설명하기로 한다.
본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치는 전자기기와의 접촉 없이 3차원 공간 상에서의 대상객체의 위치를 인식하여 입력을 받고, 해당 입력에 대응하는 이벤트를 처리하기 위한 신호를 발생시키기 위한 기술에 해당하는 것으로, 사용자의 입력을 필요로 하는 다양한 분야에서 적용 가능하다.
본 발명에서 "공간상의 위치인식"이란 3차원 공간상에서 사용자의 입력을 받기 위하여 3차원 공간에서 대상객체의 위치 또는 이동에 따른 위치를 파악하는 것을 의미한다.
이하에서는 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법을 제1 실시예와 제2 실시예로 구분하여 설명하기로 한다.
우선 도 1내지 도 4를 참고하여 본 발명의 제1 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법에 대해서 설명하기로 한다.
상기 대상객체는 위치인식의 대상으로서 특정 대상으로 한정하지 않고, 소정 물체, 사람 또는 동물 등 다양한 대상이 될 수 있으며, 이하의 설명에서는 설명의 편의를 위해 사람의 손이 대상객체인 경우를 가정하여 설명하기로 한다.
도 1은 본 발명의 제1 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치의 구성도이다.
상기 도 1에 도시된 바와 같이, 상기 사용자인터페이스 장치(100)는 대상객체가 미리 설정된 공간 이내에 위치하는지 판단하여, 영상획득부(120)의 기능활성화 여부를 결정하는 기능활성화처리부(110), 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하기 위한 영상획득부(120), 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하기 위한 위치연산부(130), 상기 대상객체의 위치값을 기준위치데이터베이스(150)와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단하기 위한 위치비교처리부(140) 및 상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생시키기 위한 이벤트신호처리부(160)를 포함한다.
도 2는 본 발명의 제1 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법의 순서도이다.
상기 도 1 및 도 2를 참조하여 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법을 보다 상세하게 설명하기로 한다.
우선, 기능활성화처리부(110)는 대상객체가 미리 설정된 공간 영역 내에 위치하는 지 판단하여(S100), 대상객체가 미리 설정된 공간 영역 내에 위치하지 않는 경우에는 다시 대상객체가 미리 설정된 공간 영역 내에 위치하는지 판단하고, 대상객체가 미리 설정된 공간 영역 내에 위치하는 경우에는 영상획득부(120)를 활성화시킨다(S110).
상기 기능활성화처리부(110)는 적외선 영상센서 또는 초전센서를 통해 미리 설정된 공간 내에서 각 방위(동, 서, 남, 북)로부터 들어오는 대상객체(예를 들어, 사용자의 손가락)를 인식하여, 상기 공간 내로 들어온 대상객체가 인식되면 1의 값을 인식되지 않으면 0의 값을 출력하고, 해당 출력값에 따라, 영상획득부(120)의 기능의 활성 여부를 결정한다. 이때, 상기 값이 1인 경우에만, 영상획득부(120)의 기능을 활성화한다.
그리고 나서, 영상획득부(120)가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성한다(S120). 이때, 상기 영상획득부(120)는 적어도 하나의 심도감지카메라(depth-sensing camera)를 포함할 수 있으며, 상기 영상획득부(120)는 상기 적어도 하나의 심도감지카메라를 통해 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성할 수 있다. 상기 영상획득부(120)는 3차원 공간상에서의 대상객체의 동작의 인식 시에 발생하는 오차를 최소화하기 위하여 바람직하게 2개 이상의 심도감지카메라를 포함할 수 있다.
그리고 나서, 위치연산부(130)가 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산한다(S130). 상기 위치연산부(130)는 상기 촬영정보를 기초로 3차원 공간상의 정보를 처리하게 된다. 이때, 상기 위치연한부(130)가 상기 촬영정보를 기초로 3차원 공간상의 정보를 처리하는 방법은 3차원 벡터의 연산으로 2차원의 X축 및 Y축 상에서의 손가락의 좌우 이동의 움직임과 Z축 방향으로의 누르는 위치를 인지하도록 3축 벡터 연산을 이용할 수 있다.
벡터 연산의 여러 가지 방법 중에서 벡터 내적을 이용한 X,Y 좌표의 분해와 외적 연산으로의 X,Y 2개의 벡터와 직교하는 Z의 벡터값으로 나온 공간과 공간의 일면으로 생성된 법선 벡터를 이용하여 그 값의 결과를 가지도록 할 수 있다.
도 3은 본 발명의 제1 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법에 있어서, 가상 메트릭스의 예를 도시한 도면이다.
상기 도 3에 도시된 바와 같이, 대상객체의 위치를 인식하기 위한 정사각형 모향의 가상의 매트릭스의 이미지는 X축을 분할한 영역수, Y축을 분할한 영역수 및 Z축을 분할한 영역수를 곱하여 형성된 복수의 분할영역을 구분하여 구성된다. 상기 위치연산부(130)는 상기 분할영역 내에서 대상객체의 움직임의 변화에 대한 벡터 연산 처리를 수행한다.
상기 벡터값은 X, Y, Z 각 축별 3차원 데이터로 이루어질 수 있다.
따라서, 본 발명의 실시예에 따른 상기 벡터값은 X,Y,Z 축의 영역으로 구분된 가상의 메트릭스 형태 내에서 대상객체의 움직임의 변화를 데이터화하여 연산 처리될 수 있다.
특히, 3차원 공간상에서 임의의 최소 단위의 정사각형 모형체를 가정하여 특정 모서리를 중심으로 위쪽, 아래쪽, 왼쪽, 오른쪽을 각각 X축 및 Y축으로 구분하고, Z축은 심도감지카메라의 방향으로의 거리로 인지되어 근접 및 원위 등을 Z 축으로 하고, 최대값과 최소값으로 각각 정하여 표현할 수 있다. 예를 들어, 왼쪽은 X축의 최소값이고, 오른쪽은 X축의최대값, 윗쪽은 Y축의 최대값이고, 아래쪽은 Y축의 최소값이다. 카메라 방향의 근접의 경우는 Z축은 최소값으로 원위는 최대값으로 설정하여 값을 표현하도록 정할 수 있다.
대상객체의 움직임을 하나의 인지점으로 예시하고, 이동할 때의 이동 궤적을 연산 처리하고, 그 이동하는 위치를 나타내는 벡터 V(X, Y, Z)는 이동시간 t의 함수로서 변환을 하고, 벡터 연산 함수 V의 스칼라 변수 t의 미분은 스칼라 함수의 경우와 같이, 다음의 수학식 1과 같이 이루어질 수 있다.
수학식 1
Figure PCTKR2013004964-appb-M000001
대상객체의 움직임이 2차원 평면에서 이루어지는 것이 아닌 3차원 공간상이므로 임의적으로 변할 수 있기 때문에, 대상객체의 인식에 있어서 오차의 보정을 위한 필터링 및 스케일링 과정을 추가로 수행하여 대상객체, 예를 들어 손의 떨림을 보정하는 등의 방법을 고려할 수 있다.
위치연산부(130)의 대상객체의 위치값의 연산이 완료되면, 상기 위치비교처리부(140)는 상기 대상객체의 위치값과 기준위치데이터베이스와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단한다(S140).
상기 기준위치데이터베이스(150)는 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 메트릭스에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하고, 상기 연산된 위치값을 기초로 상기 복수의 분할영역 각각에 대하여 소정의 표준편차 이내의 3차원 분포도를 갖는 데이터로 구성될 수 있다.
상기 영상획득부(120)가 초기 인지점을 기준으로 미리 구분되어 설정된 복수의 분할영역에 대하여 대상객체의 움직임을 복수회 반복하여 촬영하여 촬영정보를 생성하고, 위치연산부(130)는 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하게 된다. 이때 연산된 값들을 비교 분석하여 상기 기준위치데이터베이스(150)를 구축하게 된다. 이때, 소정의 프로그램을 이용하여 연산된 값의 중복 유무를 확인하고, 일정 이상 반복된 부분은 제거하도록 제어하고, 영상획득부(120)의 특성을 살려 기준데이터베이스(150)를 구축한다.
도 4는 본 발명의 제1 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 방법에 있어서, 기준위치데이터베이스(150)를 구성하는 방법을 설명하기 위한 도면이다.
미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 메트릭스에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하여 표시하면 3차원 공간상의 분포를 형성하여 상기 도 4에 도시된 바와 같이 3차원 공간 상에 분포도를 형성하게 된다. 이때, 상기 분할영역별로 분포도를 가질 수 있는데, 기준위치데이터베이스(150)는 이와 같은 분포도를 데이터로 포함할 수 있다.
이때, 복수의 분할영역을 포함하는 가상 메트릭스에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산처리함으로써, 분포도 상의 위치값의 표준편차를 미리 설정된 소정 범위 이내로 할 수 있으며, 대상객체의 위치인식의 정확도를 높이기 위하여 상기 분포도의 분포영역을 작게 설정할 수 있다.
이와 같이 구해진 분포도가 데이터로 기준위치데이터베이스(150)에 저장된다.
상기 위치비교처리부(140)는 상기 대상객체의 위치값이 특정 분할영역의 분포도에 포함되는지 기준위치데이터베이스(150)에 미리 저장되어 있는 분포도의 데이터와 비교하게 된다. 위치비교처리부(140)가 대상객체의 위치값과 기준위치데이터베이스(150)에 미리 저장되어 있는 분포도의 데이터와 비교하여, 상기 대상객체의 위치값이 특정 분할영역의 분포도의 데이터에 포함되는지 판단하게 된다. 판단 결과, 대상객체의 위치값이 특정 분할영역의 분포도의 데이터에 포함된다고 판단되는 경우, 상기 대상객체는 상기 특정 분할영역상의 공간에 위치하는 것으로 판단할 수 있다. 이와 같이, 높은 정확도를 갖는 기준위치데이터베이스(150)와 비교함으로써, 대상객체의 위치인식의 정확도를 높일 수 있다. 이때, 상기 대상객체의 위치값이 특정 분할영역의 분포도가 나타내는 영역 내에 상기 대상객체의 위치값이 포함되는지 판단하여 상기 대상객체가 특정 분할영역 상의 공간에 위치하는 지 판단하는 것도 가능하다.
그리고 나서, 상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 이벤트신호처리부(160)는 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생한다. 상기 하나의 분할영역에 대응하는 이벤트가 미리 정의될 수 있는데, 이벤트발생신호는 해당 이벤트의 실행을 지시하는 신호일 수 있다.
본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치는 다양한 기기에 장착될 수 있는데, 상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 이벤트신호처리부(160)는 상기 기기에서 정의된 이벤트를 실행하기 위한 이벤트실행신호를 발생한다.
해당 이벤트실행신호는 상기 기기에 전달되고 상기 기기는 상기 이벤트실행신호에 대응하는 이벤트를 실행하게 된다. 예를 들어, 상기 기기에 설치된 특정 디스플레이 상에서 상기 이벤트실행신호에 대응하는 특정 메뉴가 실행되되도록 할 수 있다.
상기 이벤트신호처리부(160)가 생성하는 이벤트발생신호는 통신을 통해 본 발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치가 설치된 기기에 전송될 수 있다. 예를 들어, RS-233의 직렬 통신을 기본으로 하고, 경우에 따라 통신속도를 높이거나 거리에 제약을 받는 경우에 노이즈에 강하고, 최대한 신호를 멀리 보낼 수 있는 환경적인 제약을 받는 경우 RS-244 또는 RS-485를 사용할 수 있으며, 용도에 따라서는 10/100 Base의 Ethernet 이나, 자유롭게 사용 가능한 주파수 대역으로 ISM 밴드의 무선 LAN을 활용하는 것도 가능하다.
상기에서 설명한 본 발명의 제1 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치는 사용자의 입력을 받아 처리하기 위한 다양한 기기 및 장비에 적용가능하며, 위치인식 성능 및 이벤트 응답 속도가 빨라 사용자의 편의성을 향상시킬 수 있다.
한편, 이하에서는 도 5 내지 도 7을 참조하여 본 발명의 제2 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치를 설명하기로 한다.
도 5는 본 발명의 제2 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치의 사시도이고, 도 6은 본 발명의 제2 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치의 구성을 도시한 것이고, 도 7은 본 발명의 제2 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치에 있어서 동작 인식을 위한 가상의 매트릭스 형태의 이미지 구성을 도시한 것이다.
도 5 및 도 6을 참조하면, 본 발명의 제2 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치는 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상공간 상에서 사용자의 손동작을 인식하게 된다. 이하에서는 설명의 편의를 위해 상기 미리 구분되어 설정된 복수의 분할영역을 자판부(20)에 대응되는 가상 자판부(30)로 가정하여 설명하기로 한다.
자판부(20)는 1 이상의 문자 정보를 구비하고, 상기 문자 정보를 개별 구획으로 표시하고, 상기 자판부(20)의 직상방에 미리 정해진 간격만큼 이격되어, 상기 자판부(20)의 개별 구획에 대응되게 평면으로 개별 구획의 영역을 형성하는 가상 자판부(30)가 미리 정의된다. 공간상의 위치인식을 통한 사용자인터페이스 장치는 상기 가상 자판부(30)로부터 미리 정해진 위치에 구비되어, 상기 가상 자판부(30) 상으로 진입하는 사용자의 손동작을 촬영을 통해 감지하는 손동작감지부(40); 상기 손동작감지부(40)에서 감지된 상기 손동작의 벡터값에서 상기 가상 자판부(30) 상의 상기 손동작의 위치를 연산하는 위치연산부(50); 및 연산된 상기 손동작의 위치로부터 상기 가상 자판부(30)의 개별 구획 정보가 도출되면, 상기 가상 자판부(30)의 개별 구획 정보와 대응되는 상기 자판부(20)의 개별 구획 정보를 확인한 후, 상기 자판부(20)의 개별 구획의 대응하는 이벤트 발생신호를 출력하는 제어부(60);를 포함하여 구성될 수 있다.
종래에는 엘리베이터 버튼이나 ATM 등의 메뉴 항목을 선택하는 경우 사용자로 하여금 불특정 다수의 사람들이 사용하는 버튼이나 스위치 등에 자신의 신체를 접촉시키는 수고로움이 발생하며, 또한 버튼 등을 매개로 하여 바이러스의 확산 및 신체의 오염 등의 문제점이 발생할 수 있다.
그러나 상기와 같은 본 발명의 제2 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치를 이용한 입력장치는 사용자가 자신의 신체 중 어느 일부를 특정 목적을 수행하기 위해 표시되는 자판부에 직접 접촉하지 않고, 상기 자판부의 근처에 접근하기만 해도 개별 구획의 자판을 용이하게 선택할 수 있는 효과가 있다.
자판부(20)는 1 이상의 문자 정보가 표시될 수 있다. 문자 정보는 한글, 영문, 숫자, 특수 문자 등을 모두 포함하며, 해당 국가별 문자 정보나 규격에 기초하여 표현될 수 있다. 이러한 자판부(20)는 각각의 문자 정보가 구비된 개별 구획으로 표시될 수 있다.
상기 개별구획은 이동하고자 하는 층수 등을 표시한 엘리베이터 버튼이나 스위치 각각이나, 현금자동지급기(ATM)의 금융 업무 처리를 위한 개별적인 메뉴 항목, 음료 등의 제품 자동판매기의 입력부 등 특정 목적을 수행하기 위해 사용자의 신체 일부분의 동작을 통해 입력을 할 수 있는 여러 장치의 선택 항목일 수 있다.
따라서 상기 자판부(20)는 예를 들어, 엘리베이터, 현금자동지급기(ATM) 또는 자동판매기의 입력부 중 어느 하나를 포함할 수 있다.
도 1을 참조하면, 상기 가상 자판부(30)는 자판부(20)의 직상방으로 일정 간격만큼 떨어져 형성될 수 있다. 이러한 가상 자판부(30)는 자판부(20)의 개별 구획에 대응되게 평면으로 별도의 가상 개별 구획의 영역으로 형성될 수 있다. 즉, 상기 자판부(20)와 동일한 형상의 가상 자판부(30)가 상하로 형성될 수 있다.
따라서, 가상 자판부(30)를 이용하여 자판부(20)에 신체중 일부를 직접 접촉하지 않고 자판부(20)의 근처에 접근하기만 해도, 즉 가상 자판부(30)의 접촉이나 터치를 통해서 자판부(20)의 선택하고자 하는 개별 구획을 용이하게 선택할 수 있게 된다.
자판부(20)와 가상 자판부(30)의 이격 간격(d)은 사용자의 편의를 참작하여 0<d≤10(단위:cm)내에서 자유롭게 선택가능하다. 다만, 가상 자판부(30)는 자판부(20)의 개별 구획의 크기나 다른 구획과의 간섭 배제, 선택의 정확성, 사용자의 기존 접촉식 자판과의 혼동이나 사용시의 오류 방지 등을 고려하여 1~3cm의짧은 범위 내에서 형성되는 것이 바람직하다.
손동작감지부(40)는 가상 자판부(30) 상방의 소정의 위치에 사용자의 손동작을 감지할 수 있는 카메라(camera)를 구비할 수 있다. 따라서 상기 카메라는 가상 자판부(30) 상으로 진입하는 사용자의 손동작을 촬영할 수 있다.
상기 손동작감지부(40)는 광학 근접 센서와 조도 센서 중 적어도 하나를 포함할 수 있다. 즉, 상기 카메라는 가상 자판부(30) 상에서 움직이는 사용자의 손동작을 촬영할 뿐만 아니라, 상기 하나의 센서 또는 조합된 복수의 센서를 통해 사용자의 손의 위치 및/또는 방향 등을 감지하고, 그 감지결과를 위치연산부(50)에 제공한다.
특히, 손동작감지부(40)는 가상 자판부(30) 상에 위치하는 손 또는 손가락의 움직임을 촬영하여 그 움직임의 벡터값을 측정할 수 있다. 상기 카메라는 심도 감지 카메라(depth-sensing camera)인 것이 바람직하다. 심도 감지 카메라는 인지특성과 센서를 통해 손 또는 손가락의 움직임의 이동속도와 방향, 궤적 등을 감지할 수 있다.
손동작감지부(40)는 카메라에서 촬영된 객체(손 또는 손가락)의 움직임을 감지하여, 기준 위치로부터 움직임(동작) 벡터를 측정한다. 이후, 위치연산부(50)는 손동작감지부(40)에서 감지된 손동작의 벡터값에서 가상 자판부(30)의 상에서의 객체(손 또는 손가락)의 위치를 연산한다.
손동작감지부(40)의 동작 감지 카메라를 이용하여 최초의 손가락 움직임 신호를 인지하는 방법은 적외선 영상센서나 초전 센서를 통해 소정의 입력 영역 내의 각 방위별 (동,서,남,북)로부터 유입되는 손가락 움직임으로 입력되는 검출 신호를 내부의 CPU 프로세싱의 초기 단계로 접수하여 디지털 0의 신호를 1의 신호값으로 변경하여 모든 센서나 심도 감지 카메라의 초기 대기 상태에서 동작 상태로 전환하도록 할 수 있다.
손동작감지부(40)는 3차원 공간상 각 X,Y,Z 축의 좌표에서의 위치정보를 이용한 입력장치로 입수된 신호에 대하여 내부의 광학 근접 센서와 조도 센서, 지자기 센서 등을 포함하여 입력 신호의 기준으로부터 아날로그적인 값을 나타내게 한다.
선적으로 광학 근접 센서와 피사체에 대한 접근과 원위를 검출할 수 있도록 하여 포토 트랜지스터로의 수신기와 방사기로의 LED 구성으로 광센서와 광학 엔코더를 포함한 동작을 기본으로 한다. 최대 3개 이상의 적외광을 이용하여 손가락의 움직임으로 파생되는 LED 반사광의 입력 대비 반사의 위상차의 검출로 인해 입력에 대한 반응을 하도록 한다.
근접 센서의 인지각은 좌우, 상하의 일정각 범위 (예: 100°±10°)내 동작되도록 초기 기준각을 정하고, 인지 거리는 손가락 움직임과의 이격거리(예: 1~ 10cm이내) 및 출력 전압 신호를 일정 전압 (예: 1.5V)로 발생될 수 있도록 하고, 그 아날로그적 전압으로 디지털로 변환 처리 되도록 한다.
조도 센서는 근접센서와 함께 빛의 세기에 대한 반응을 전압으로 변경해주도록 작용하여 감도 편차를 최소화하기 위해 측정 간격의 주기를 (예:100ms) 단위의 직렬로 데이터화된 구성을 유지할 수 있다.
지자기 센서는 3축 (X,Y,Z)의 자기 세기를 측정하여 아날로그 신호로 출력하는 것을 기본으로 하나, 4 방위별 (동,서,남,북)에서의 입력 기준에 있어 카메라가 보는 방향과 전혀 다른 입력 기준에 대하여 입력 전압 범위(예: 2.6V ~3.6V) 내에서 좌우 상하 반전에 대한 데이터 수치를 제시하여 정해진 특정 값이 아닌 이상 변수에 대한 처리 방안으로 유지할 수 있다.
심도 감지 카메라를 이용하여 3차원 공간상의 정보를 처리하는 방법은 3차원 벡터 연산으로 2차원의 X,Y축 위치로의 손가락의 좌우 이동의 움직임과 Z축의 깊이로 실행을 위한 누르는 위치를 인지하도록 3축의 벡터 연산으로 수행하도록 할 수 있다.
벡터 연산의 여러 가지 방법 중에서 벡터 내적을 이용한 X,Y 좌표의 분해와 외적 연산으로의 X,Y 2개의 벡터와 직교하는 Z의 벡터값으로 나온 공간과 공간의 일면으로의 생성된 법선 벡터를 이용하여 그 값의 결과를 가지도록 할 수 있다.
도 7을 참조하면, 동작 인식을 위한 정사각형 모형의 가상의 매트릭 스 형태의 이미지 구성은 X축의 (0을 포함한 9까지의 숫자와 *, # 기호)×Y축의 (숫자)×Z축의 (숫자)영역으로 구분하여 최소형 공간 영역 내에서의 손가락 움직임의 이미지 변화를 데이터화하여 벡터 연산 처리한다.
도 7에 도시된 바와 같이, 최소한의 움직임 이미지 변화에 대한 연산을 위한 기본 이미지 필터 구성은 X,Y,Z 축에 대한 4×3×4의 총 48개로 분할하여 손가락 움직임의 이미지 변화에 대한 벡터 연산 처리를 기본으로 한다. 즉, 상기 벡터값은 X,Y,Z 각 축별 3차원 데이터로 이루어질 수 있다.
따라서 본 발명의 일실시예에 따른 상기 벡터값은 X,Y,Z축의 영역으로 구분된 가상의 매트릭스 형태 내에서 상기 손동작 움직임의 이미지 변화를 데이터화하여 연산 처리될 수 있다.
데이터를 더 세밀하게 구분할수록 인지 감도가 향상되는 장점을 가질 수 있으나, 반복적인 연산처리에 의한 주요 CPU에 대한 일정 이상의 부하를 고려하여 적절한 분할이 바람직하다.
특히, 3차원 공간상에서 임의의 가장 최소 단위의 정사각형 모형체를 가정하여 상단을 위쪽, 아래쪽, 왼쪽, 오른쪽으로 각각 X,Y 축으로 구분하고, Z축은 심도 감지 카메라의 방향으로의 거리로 인지되어 근접 및 원위 등은 Z축으로하고, 최대값과 최소값으로 각각 정하여 표현할 수 있다. 예를 들어, 왼쪽은 X축의 최소값이고, 오른쪽은 X축의 최대값, 윗쪽은 Y축의 최대값이고, 아래쪽은 Y축의 최소값이다. 카메라 방향으로 근접의 경우는 Z축은 최소값으로 원위는 최대값으로 설정하여 값을 표현하도록 정할 수 있다.
연산 수행을 위한 소프트웨어 프로그램은 기준 사용자 대부분의 오른손 손가락 움직임의 이미지 처리와 왼손 손가락의 움직임의 이미지 처리와 구분하여 벡터 연산을 위한 함수 구현을 기본으로 할 수 있다.
손가락의 움직임을 하나의 인지점으로 예시하고, 이동할 때의 이동궤적을 연산 처리하고, 그 이동하는 위치를 나타내는 벡터 V(X,Y,Z)는 이동 시간 t의 함수로서 변환을 하고, 벡터 연산 함수 V의 스칼라 변수 t의 미분은 스칼라 함수의 경우와 같이 상기 수학식 1로 로 이루어질 수 있다(예: 벡터 연산의 정의를 인용).
사용자 손가락의 움직임이 기준축 X,Y축 상에서 2차원 평면에서 이루어지는 것이 아닌 3차원 공간상이므로 임의적으로 변할 수 있고, X축과 연동하여 Y축 및 Z축이 변할 수 있는 부분이기에 입력에 따른 오차의 보정을 위한 필터링 및 스케일링 과정을 추가로 수행하여 손떨림 보정 등의 지원을 고려하고자 입력 데이터에 대한 비교 및 제어 과정을 수반할 수 있다.
위치연산부(50)는 센서(광학 근접 센서, 조도 센서 및 지자기 센서)로부터 변환되어 입수된 디지털 신호와 데이터베이스(DB)의 미리 정해진 기준값과 심도 감지 카메라로부터 추출된 연산 처리 값을 서로 비교 분석하여 데이터를 처리할 수 있다.
보다 자세하게는 정사각형 모형의 가상의 매트릭스 필터를 기반으로 손가락의 움직임을 동영상을 통해 여러 차례 캡쳐 및 하드웨어적 에뮬레이터로 구성된 응용 프로그램을 이용하여 수차례의 실제 측정 데이터를 추출한다. 즉, 센서동작 기반의 데이터를 기반으로 한 응용 프로그램으로 구성된 소프트웨어와 하드웨어적 에뮬레이터로 각 X,Y,Z 축을 기준으로 입수되는 손가락 움직임의 모션을 여러 회에 걸쳐서 측정하고 각 위치별로 데이터를 정리 구성한다.
손가락 움직임에 대한 센서의 동작을 이해 및 구현하기 위한 시각적 영상 프로그램을 만들고, 센서들의 실제 측정 데이터의 변화를 그래프화 할 수도 있다.
특히, 하드웨어적 에뮬레이터에서 센서의 종류와 기능, 속도를 정하도록 선택적 기능을 부가하면서 데이터를 구축하여 다양한 손가락의 움직임에 따라 센서들의 반응했던 데이터가 더 세밀해져 인지 감도가 향상되는 장점을 가질 수 있다.
정리하면, 각 센서별 특징을 기반으로 사용자 정의에 맞게 선택되도록 프로그램 툴 개발하고, 심도 감지 카메라의 초기 인지점을 기준으로 수차례 반복 측정하여 검색, 연산, 비교 분석하여 데이터 베이스 구축하며, 데이터 베이스화된 프로그램과 실제 심도 감지 카메라를 통해 입수되는 영상 이미지와 비교하여 가장 근접점을 표시한다.
센서로부터 입수된 데이터들을 이용하여 3차원 공간 정보를 저장하기 위한 메모리와 CPU를 포함하여 3차원 공간상에서의 입력 신호를 우선 검색과 추출, 연산, 비교 분석 등의 일련의 과정을 통해 중복 유무를 확인하고, 일정 이상 반복된 부분은 제거하도록 제어하고, 각 센서들의 특징을 살려 데이터를 연산 처리분석하여 오차값을 최소화하기 위해 설계 입력 데이터 베이스를 구성하고 그 기준 하에 처리될 수 있도록 한다.
데이터 전달부에서의 송수신간 통신은 상기 제1 실시예의 이벤트발생신호의 전송 시에 적용한 통신 방법을 적용하는 것이 가능하다.
상기 입력 장치에서 손가락의 움직임은 사용자의 인터페이스로 인지하고, 위치연산부, 제어부를 거쳐 최종 인지 처리의 반응은 액정화면이나 TV, 게임기 및 PC 모니터 등으로 될 수 있다. 다만 상기 예에 한정되지 않으며, 소정의 입력 영역 내에서의 화면 전방의 지지대를 포함한 지면으로부터 일정의 부분 떨어진 상태에서 입력하도록 하며, 근접 센서, 조도 센서 또는 지자기 센서를 통해 변환된 디지털 데이터 값과 심도 감지 카메라를 이용하여 가상 매트릭스 이미지 필터를 통해 연산 처리되어 추출된 값을 서로 비교 분석하여 보정값을 최종 데이터로 전달하여 사용자가 원하는 입력 정보나 데이터를 수행할 수 있도록 할 수 있다.
제어부(60)는 연산된 상기 손동작의 위치로부터 가상 자판부(30)의 개별 구획 정보가 도출되면, 가상 자판부(30)의 개별 구획 정보와 대응되는 자판부(20)의 개별 구획 정보를 확인한 후, 자판부(20)의 개별 구획의 문자 정보를 실행하는 제어신호를 출력한다. 상기와 같은 본 발명은 종래 평면상에서의 버튼을 누르거나 스크롤 방식으로 입력하는 마우스 또는 터치 패널을 이용한 정전압, 정저항 형태의 터치스크린으로의 입력 방법과는 달리, 3차원 공간상에서 사용자 인터페이스로서의 손가락 움직임의 이동 속도와 궤적을 심도 감지 카메라의 인지특성과 센서를 통해, 아날로그 신호를 디지털로 수치화된 정보를 비교, 분석하여 사용자의 입력 정보를인지하는 신개념 입력 장치 기술을 구현할 수 있다.
또한, 본 발명은 종래의 3차원 공간상에서의 동작 인식 기반 기술에서 나타나는 적지 않은 오차 범위를 최소화하도록 심도 감지 카메라를 통하여 이미지 필터를 통과하는 이동하는 손가락의 움직임의 궤적 범위를 연산처리하고, 모션센서의 디지털 변환된 수치의 데이터 베이스를 비교 분석하여 사용자가 원하는 입력 정보를 보다 정확하게 인지하도록 할 수 있다.
최종적으로는 사용자의 입력 이전 개발 과정에서 사전 여러 차례 반복 작업을 통해 데이터 베이스화된 범위 내에서의 데이터를 제어하고, 수치 오차값을 최소화하고 보정해주면서 최종 데이터를 전달함으로써 3차원 공간상에서 사용자의 손가락 움직임의 유형으로 원하는 신호를 인지 또는 표시함을 특징으로 할 수 있다.
이상에서는 첨부된 도면들을 참조하면서 본 발명의 실시 예를 설명하였지만, 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 안되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
발명의 실시예에 따른 공간상의 위치인식을 통한 사용자인터페이스 장치는 공간 상에서 사용자로부터 입력을 받아 처리를 수행하기 위한 기가라면 그 종류를 제한하지 않고 적용 가능하며, 예를 들어, PC, 스마트폰, 엘리베이터, ATM 또는 자판기 등 다양한 기기에 장착될 수 있으며, 이는 일례에 불과한 것으로 상기 예에 국한되는 것은 아니다.

Claims (16)

  1. 영상획득부가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 단계;
    위치연산부가 상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하는 단계;
    위치비교처리부가 상기 대상객체의 위치값과 기준위치데이터베이스와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단하는 단계;
    상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 이벤트신호처리부가 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생시키는 단계를 포함하고,
    상기 기준위치데이터베이스는 상기 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하고, 상기 연산된 위치값을 기초로 상기 복수의 분할영역 각각에 대하여 소정의 표준편차 이내의 3차원 분포도를 갖도록 구성되는,
    공간상의 위치인식을 통한 사용자인터페이스 방법.
  2. 제1항에 있어서,
    상기 영상획득부는 적어도 하나의 심도감지카메라(depth-sensing camera)를 포함하고, 상기 영상획득부는 상기 적어도 하나의 심도감지카메라를 통해 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는,
    공간상의 위치인식을 통한 사용자인터페이스 방법.
  3. 제1항에 있어서,
    상기 위치값은 상기 대상객체의 움직임에 기초하여 연산된 3차원 공간상의 벡터값인,
    공간상의 위치인식을 통한 사용자인터페이스 방법.
  4. 제3항에 있어서,
    상기 벡터값은 X-Y-Z 축의 영역으로 구분된 가상의 매트릭스 형태 내에서 상기 대상객체의 움직임의 이미지변화를 데이터화하여 연산처리되는
    공간상의 위치인식을 통한 사용자인터페이스 방법.
  5. 제1항에 있어서, 상기 방법은
    상기 영상획득부가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 단계 이전에,
    기능활성화처리부가 상기 대상객체가 미리 설정된 공간 이내에 위치하는지 판단하여, 상기 영상획득부가 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 단계의 수행여부를 결정하는 단계를 더 포함하는,
    공간상의 위치인식을 통한 사용자인터페이스 방법.
  6. 제4항에 있어서,
    상기 기능활성화처리부는 상기 대상객체가 상기 미리 설정된 공간 내에 위치하는지 식별하기 위한 적외선영상센서를 포함하는,
    공간상의 위치인식을 통한 사용자인터페이스 방법.
  7. 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는 하기 위한 영상획득부;
    상기 촬영정보를 기초로 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간 상에서의 상기 대상객체의 위치값을 연산하기 위한 위치연산부;
    상기 대상객체의 위치값과 기준위치데이터베이스와 비교하여, 상기 대상객체의 위치값이 상기 복수의 분할영역 중 하나의 위치영역에 포함되는지 판단하기 위한 위치비교처리부; 및
    상기 대상객체의 위치값이 상기 하나의 분할영역에 포함되는 것으로 판단되면, 상기 하나의 분할영역에 대응하는 이벤트의 실행을 위한 이벤트실행신호를 발생시키기 위한 이벤트신호처리부를 포함하고,
    상기 기준위치데이터베이스는 상기 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상 공간에 대하여 대상객체의 위치값을 소정횟수 반복하여 연산하고, 상기 연산된 위치값을 기초로 상기 복수의 분할영역 각각에 대하여 소정의 표준편차 이내의 3차원 분포도를 갖도록 구성되는,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  8. 제7항에 있어서,
    상기 영상획득부는 적어도 하나의 심도감지카메라(depth-sensing camera)를 포함하고, 상기 영상획득부는 상기 적어도 하나의 심도감지카메라를 통해 3차원 공간상에서 대상객체를 촬영하여 촬영정보를 생성하는,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  9. 제7항에 있어서,
    상기 위치값은 상기 대상객체의 움직임에 기초하여 연산된 3차원 공간상의 벡터값인,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  10. 제9항에 있어서,
    상기 벡터값은 X-Y-Z 축의 영역으로 구분된 가상의 매트릭스 형태 내에서 상기 대상객체의 움직임의 이미지변화를 데이터화하여 연산처리되는
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  11. 제7항에 있어서, 상기 장치는
    상기 대상객체가 미리 설정된 공간 이내에 위치하는지 판단하여, 상기 영상획득부의 기능활성화 여부를 결정하는 기능활성화처리부를 더 포함하는,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  12. 제11항에 있어서,
    상기 기능활성화처리부는 상기 대상객체가 미리 설정된 공간 이내에 위치하는 경우에만, 상기 영상획득부의 기능을 활성화시키는,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  13. 제11항에 있어서,
    상기 기능활성화처리부는 상기 대상객체가 상기 미리 설정된 공간 내에 위치하는 지 식별하기 위한 적외선영상센서를 포함하는,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  14. 미리 구분되어 설정된 복수의 분할영역을 포함하는 가상공간에 인접하게 배치되어 상기 가상공간의 복수의 분할영역 중 하나로 진입하는 사용자의 손동작을 감지하여 촬영하고 상기 대상객체의 벡터값을 생성하는 손동작감지부;
    상기 백터값을 이용하여 상기 분할영역 중 하나에서의 상기 손동작의 위치를 연산하는 위치연산부; 및
    상기 위치연산부에서 제공되는 상기 분할영역 중 하나에서의 위치에 대응되는 이벤트의 실행을 위한 이벤트 발생신호를 생성하는 제어부를 포함하는,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  15. 제14항에 있어서,
    상기 손동작감지부는 광학 근접 센서 또는 조도 센서 중 적어도 1 이상을 포함하는,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
  16. 제14항에 있어서,
    상기 벡터값은 X,Y,Z축의 영역으로 구분된 가상의 매트릭스 형태 내에서 상
    기 손동작 움직임의 이미지 변화를 데이터화하여 연산 처리되는,
    공간상의 위치인식을 통한 사용자인터페이스 장치.
PCT/KR2013/004964 2012-06-08 2013-06-05 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치 WO2013183938A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13800120.1A EP2860611A4 (en) 2012-06-08 2013-06-05 USER INTERFACE PROCESS AND DEVICE BASED ON SPATIAL LOCATION IDENTIFICATION
US14/405,403 US20150185857A1 (en) 2012-06-08 2013-06-05 User interface method and apparatus based on spatial location recognition
CN201380029984.XA CN104335145A (zh) 2012-06-08 2013-06-05 基于空间位置识别的用户界面装置以及方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2012-0061433 2012-06-08
KR1020120061433A KR101258969B1 (ko) 2012-06-08 2012-06-08 비접촉식 사용자 인터페이스를 이용한 입력장치
KR1020120153310A KR101369938B1 (ko) 2012-12-26 2012-12-26 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
KR10-2012-0153310 2012-12-26

Publications (1)

Publication Number Publication Date
WO2013183938A1 true WO2013183938A1 (ko) 2013-12-12

Family

ID=49712274

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/004964 WO2013183938A1 (ko) 2012-06-08 2013-06-05 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치

Country Status (4)

Country Link
US (1) US20150185857A1 (ko)
EP (1) EP2860611A4 (ko)
CN (1) CN104335145A (ko)
WO (1) WO2013183938A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080662A1 (ko) * 2014-11-20 2016-05-26 삼성전자 주식회사 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
CN105807899A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 一种电子设备及信息处理方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017101A1 (ja) * 2014-07-30 2016-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR101807513B1 (ko) * 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
CN104951073B (zh) * 2015-06-19 2017-03-29 济南大学 一种基于虚拟界面的手势交互方法
CN104991684A (zh) * 2015-07-23 2015-10-21 京东方科技集团股份有限公司 触控设备及其工作方法
US10049303B2 (en) 2015-10-01 2018-08-14 Infinity Augmented Reality Israel Ltd. Method and a system for identifying reflective surfaces in a scene
EP3179341B1 (en) 2015-12-11 2022-07-27 Vestel Elektronik Sanayi ve Ticaret A.S. Method and device for sensing pressure applied to a screen with at least one sensor means
JP6416980B1 (ja) * 2017-05-17 2018-10-31 ファナック株式会社 監視領域を分割した空間領域を監視する監視装置
JP6967417B2 (ja) * 2017-10-03 2021-11-17 株式会社 ミックウェア 経路生成装置、及びプログラム
US11064208B2 (en) 2018-02-20 2021-07-13 Arlo Technologies, Inc. Transcoding in security camera applications
US11756390B2 (en) 2018-02-20 2023-09-12 Arlo Technologies, Inc. Notification priority sequencing for video security
US10805613B2 (en) 2018-02-20 2020-10-13 Netgear, Inc. Systems and methods for optimization and testing of wireless devices
US11558626B2 (en) * 2018-02-20 2023-01-17 Netgear, Inc. Battery efficient wireless network connection and registration for a low-power device
US11102492B2 (en) 2018-02-20 2021-08-24 Arlo Technologies, Inc. Multi-sensor motion detection
US10742998B2 (en) 2018-02-20 2020-08-11 Netgear, Inc. Transmission rate control of data communications in a wireless camera system
US11272189B2 (en) 2018-02-20 2022-03-08 Netgear, Inc. Adaptive encoding in security camera applications
US11076161B2 (en) 2018-02-20 2021-07-27 Arlo Technologies, Inc. Notification priority sequencing for video security
CN110874656B (zh) * 2018-08-29 2023-06-02 阿里巴巴集团控股有限公司 用于选择座位的方法、终端设备、存储介质及处理器
US10719137B1 (en) * 2019-05-09 2020-07-21 Dell Products, L.P. User identification via hand detection using a hovering keyboard
AT523004B1 (de) * 2019-09-26 2022-01-15 Youhoosoft Gmbh Verfahren zur Umwandlung von Sensorereignissen
CN111338098B (zh) * 2020-02-28 2022-03-01 安徽省东超科技有限公司 空气成像装置以及电梯和外控盒
US11188157B1 (en) 2020-05-20 2021-11-30 Meir SNEH Touchless input device with sensor for measuring linear distance
WO2022170105A1 (en) * 2021-02-05 2022-08-11 Pepsico, Inc. Devices, systems, and methods for contactless interfacing
EP4215470A1 (en) * 2022-01-21 2023-07-26 Inventio Ag Stereo camera, operation panel and method for operating an elevator

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020079847A (ko) * 2000-02-11 2002-10-19 카네스타, 인코포레이티드 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치
JP2007156548A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 情報処理装置および切り替え方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US8971565B2 (en) * 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
CN101751200B (zh) * 2008-12-09 2012-01-11 北京三星通信技术研究有限公司 移动终端的空间输入法及其实现装置
EP2507684A2 (en) * 2009-12-04 2012-10-10 Next Holdings Limited Methods and systems for position detection
JP2011150489A (ja) * 2010-01-20 2011-08-04 Sony Corp 情報処理装置及びプログラム
US20120268374A1 (en) * 2011-04-25 2012-10-25 Heald Arthur D Method and apparatus for processing touchless control commands
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020079847A (ko) * 2000-02-11 2002-10-19 카네스타, 인코포레이티드 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치
JP2007156548A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 情報処理装置および切り替え方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2860611A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080662A1 (ko) * 2014-11-20 2016-05-26 삼성전자 주식회사 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
CN105807899A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 一种电子设备及信息处理方法

Also Published As

Publication number Publication date
CN104335145A (zh) 2015-02-04
EP2860611A1 (en) 2015-04-15
EP2860611A4 (en) 2016-03-02
US20150185857A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
WO2013183938A1 (ko) 공간상의 위치인식을 통한 사용자인터페이스 방법 및 장치
WO2016028097A1 (en) Wearable device
CN102915111B (zh) 一种腕上手势操控系统和方法
WO2012111976A2 (ko) 표시면에 포인터를 사용하지 않는 가상 터치 장치
WO2015126197A1 (ko) 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
WO2012154001A2 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
WO2012111998A2 (ko) 포인터를 사용하지 않는 가상 터치 장치
WO2018151449A1 (en) Electronic device and methods for determining orientation of the device
WO2020122651A1 (en) A wearable device with a bezel to sense a touch input
EP1655659A2 (en) Portable terminal and data input method therefor
WO2013162236A1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
US10296096B2 (en) Operation recognition device and operation recognition method
CN102033702A (zh) 影像显示装置及其显示控制方法
WO2016107231A1 (zh) 一种3d场景中输入手势的系统和方法
JPWO2012070682A1 (ja) 入力装置及び入力装置の制御方法
WO2018004140A1 (ko) 전자 장치 및 그의 동작 방법
WO2014178693A1 (ko) 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템
WO2014014240A1 (ko) 접촉식 손가락 마우스 및 이의 동작 방법
WO2013027983A2 (ko) 전자기기 구동장치 및 그 구동방법
WO2013154268A1 (ko) 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치
WO2015034131A2 (ko) 공간 제스처 인식 장치 및 방법
JP2005301583A (ja) タイピング入力装置
KR101258969B1 (ko) 비접촉식 사용자 인터페이스를 이용한 입력장치
WO2015167081A1 (ko) 신체 부분 검출 방법 및 장치
WO2014168416A1 (ko) 비접촉 조작장치 및 이와 연동된 전자기기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13800120

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2013800120

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013800120

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14405403

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE