WO2020085538A1 - 동작인식 시스템 및 이를 이용한 동작인식 방법 - Google Patents

동작인식 시스템 및 이를 이용한 동작인식 방법 Download PDF

Info

Publication number
WO2020085538A1
WO2020085538A1 PCT/KR2018/012739 KR2018012739W WO2020085538A1 WO 2020085538 A1 WO2020085538 A1 WO 2020085538A1 KR 2018012739 W KR2018012739 W KR 2018012739W WO 2020085538 A1 WO2020085538 A1 WO 2020085538A1
Authority
WO
WIPO (PCT)
Prior art keywords
arm
elbow
motion data
data
distance
Prior art date
Application number
PCT/KR2018/012739
Other languages
English (en)
French (fr)
Inventor
정연우
오복성
이윤호
Original Assignee
(주)리얼감
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)리얼감 filed Critical (주)리얼감
Priority to PCT/KR2018/012739 priority Critical patent/WO2020085538A1/ko
Publication of WO2020085538A1 publication Critical patent/WO2020085538A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G01C19/02—Rotary gyroscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link

Definitions

  • the present invention relates to a motion recognition system and a motion recognition method using the same, and more specifically, a motion recognition system using a gyro sensor and a laser sensor to recognize the motion of the arm and display the motion of the arm through a model, and using the motion recognition system It relates to a motion recognition method.
  • the user interface technology of the computer has developed from the past method using a mouse, a keyboard, and a touch, and a technology for recognizing voice input through a microphone and a motion recognition technology based on a camera or sensor are commercially available. Recently, a technology has been developed that combines 3D image and spatial recognition technology to directly touch or interact with content in a 3D image.
  • the most commonly used is a technology that recognizes a moving object (a part of a body or a device attached to the body) using a camera, and uses a 3D camera and an RGB camera to create a skeleton for a moving object (dynamic object). Extract it to recognize the 3D motion of the dynamic object. While this method has the advantage that the user does not need to wear a separate device, it is difficult to accurately capture movements of the joints of the body, and there is a limit to providing immersion because there is no direct feedback to virtual reality.
  • the method of recognizing the movement of an object through a sensor is attached to a body part that requires motion recognition for the user's motion recognition. There is a problem of wearing discomfort and restriction of behavior.
  • the technical problem to be achieved by the present invention is to provide a motion recognition system for recognizing the motion of the arm using a gyro sensor and a laser sensor and displaying the motion of the arm through a model, and a method using the same.
  • a motion recognition system includes a communication unit that receives motion data and distance data of a user's forearm from a first device; A display unit for outputting motion data of the arm; And calculating motion data of the upper arm based on the distance data and the motion data of the forearm, calculating motion data of the arm based on the motion data of the forearm and the motion data of the upper arm, and calculating the arm It characterized in that it comprises a control unit for transmitting the motion data of the display unit.
  • control unit calculates the folding angle of the elbow based on the distance data, and then calculates the motion data of the upper arm based on the folding angle of the elbow and the motion data of the forearm. You can.
  • control unit may calculate the folding angle of the elbow based on the distance data, the distance between the distance measuring sensor and the elbow, and the height from the elbow center to the distance measuring sensor.
  • the first device is a gyro sensor that detects the movement of the forearm of the user; And a distance measurement sensor for distance measurement, wherein the distance measurement sensor can measure a distance from the distance measurement sensor to the upper arm.
  • the communication unit may receive movement data of the user's wrist from the second device.
  • control unit may calculate and transmit the motion data of the arm in real time based on the motion data of the user's forearm and the motion data of the wrist at the same time as the distance data.
  • the control unit based on the motion data of the forearm, the motion data of the upper arm, the motion data of the wrist, the length of the forearm, the length of the upper arm, and the length of the wrist, the motion data of the arm Can be calculated.
  • control unit may calculate the twist angle of the forearm based on a part of the movement data of the wrist and the twist angle of the upper arm.
  • the motion data of the arm is a coordinate representing the position of the shoulder, the position of the elbow, the position of the wrist and the center of the hand, respectively, using the position of the shoulder as a reference point, and based on the reference point
  • the position of the elbow, the position of the wrist, and the center position of the hand may be calculated.
  • the display unit may output a model of the entire arm generated by the control unit based on the position of the shoulder, the position of the elbow, the position of the wrist, and the center position of the hand. have.
  • a motion recognition method includes receiving motion data and distance data of a user's forearm from a first device; Calculating motion data of the upper arm based on the distance data and the motion data of the forearm;
  • the step of calculating the motion data of the upper arm is based on the distance data, after calculating the folding angle of the elbow, based on the folding angle of the elbow and the motion data of the forearm.
  • Motion data of the upper arm can be calculated.
  • the step of calculating the folding angle of the elbow is based on the distance from the distance measuring sensor to the upper arm, the distance between the distance measuring sensor and the elbow, and the height from the center of the elbow to the distance measuring sensor. , It is possible to calculate the folding angle of the elbow.
  • calculating the motion data of the arm is based on the motion data of the forearm, the motion data of the upper arm, the motion data of the wrist, the length of the forearm, the length of the upper arm, and the length of the wrist. By doing so, it is possible to calculate the motion data of the arm.
  • the step of calculating the motion data of the arm is a coordinate of the position of the shoulder, the position of the wrist and the center of the hand, respectively, wherein the motion data of the arm is the shoulder position.
  • the position of the elbow, the position of the wrist, and the center position of the hand can be calculated based on the reference point.
  • the step of outputting the motion data of the arm to the display is generated by the control unit based on the position of the shoulder, the position of the elbow, the position of the wrist, and the center position of the hand You can print a model of the entire arm.
  • the motion of the forearm of the forearm and the degree of folding of the elbow are received, and data on the motion of the wrist is received and the motion of the arm is calculated and displayed on the display.
  • the motion of the upper arm is calculated by using the data representing the forearm movement and the degree of folding of the elbow, and combined with data of a device capable of measuring the movement of the wrist, 7 degrees of freedom to show the movement of the entire arm.
  • FIG. 1 is a block diagram illustrating a motion recognition device related to the present invention.
  • FIG. 2 is a view for explaining the degree of freedom of the human arm of the person related to the present invention.
  • FIG. 3 is a perspective view showing an example of a wear-type motion recognition device related to the present invention.
  • FIG. 4 is a view for explaining an operation method of a motion recognition device according to an embodiment of the present invention.
  • FIG. 5 is a view for explaining a method of obtaining motion data of the forearm according to an embodiment of the present invention
  • FIG. 6 is a view for explaining a method of obtaining a folding angle of an elbow according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining a method for obtaining position data of an arm according to an embodiment of the present invention.
  • FIG. 8 is a view showing an HMD device and a motion recognition device connected to a control device.
  • FIG. 9 is a view for explaining a method of obtaining position data of an arm and a hand according to an embodiment of the present invention.
  • FIG. 10 is a view for explaining a method of displaying the movement of a human arm according to an embodiment of the present invention.
  • FIG. 11 is a view for explaining a method of displaying hand and arm movements according to an embodiment of the present invention.
  • FIG. 12 is a view for explaining the movement of the arm displayed on the screen according to an embodiment of the present invention.
  • FIG. 1 is a block diagram for explaining a motion recognition device 10 related to the present invention.
  • the motion recognition device 10 includes a sensing unit 110, a control unit 120, a communication unit 130, a storage unit 140, a power supply unit 150, an output unit 160, a user input unit 170, and an interface unit 180.
  • the components shown in FIG. 1 are not essential for implementing the motion recognition device 10, so that the motion recognition device 10 described herein has more or fewer components than those listed above. Can have
  • the sensing unit 110 may include one or more sensors for sensing at least one of ambient environment information and user information of the motion recognition device 10.
  • the sensing unit 110 may detect the movement of the user's arm with the motion recognition device 10 attached thereto, and transmit the sensed information to the controller 120.
  • the sensing unit 110 includes a gyro sensor 112, an acceleration sensor, a magnetic sensor, and a distance measurement sensor 111 (for example, a laser sensor, an ultrasonic sensor, an infrared sensor, Lidar (RADAR) sensor, radar (RADAR) sensor, camera sensor, etc.), proximity sensor, illumination sensor, touch sensor, gravity sensor (G-sensor), motion sensor ( motion sensor), RGB sensor, infrared sensor (IR sensor), fingerprint scan sensor, ultrasonic sensor, optical sensor, battery gauge, environmental sensor, And at least one of chemical sensors. Meanwhile, the motion recognition device 10 disclosed in the present specification may combine and use information sensed by at least two or more of these sensors.
  • the gyro sensor 112 may measure a rotational repulsive force generated by a rotational motion of an object having a gyroscope and convert it into an electrical signal.
  • the gyro sensor 112 can express the sensed acceleration as a rotation vector value (roll, pitch, yaw) for three axes, and a gyro sensor 112 such as optical, mechanical, or piezoelectric. ).
  • the rotation recognition method of the gyro sensor 112 may include a method using an Euler angle and a method using a quaternion.
  • the Euler angle uses a rotation vector value (roll, pitch, yaw), and a specific axis is a specific angle during the rotation process of the three axes, the x-axis, y-axis, and z-axis using the Euler angle.
  • a rotation vector value roll, pitch, yaw
  • a specific axis is a specific angle during the rotation process of the three axes, the x-axis, y-axis, and z-axis using the Euler angle.
  • the quaternion is a vector of a four-dimensional complex space, and uses four values (x, y, z, w) as a method for solving the gimbal lock problem occurring in Euler rotation.
  • the distance measuring sensor 111 When the distance measuring sensor 111 reflects and returns from an object using intangible energy such as light, sound, and radio waves, it measures the travel time and multiplies the speed of the medium (for example, light, sound, radio waves, etc.). The distance unit value is displayed. Since the distance value is a thin distance and a return distance, the distance to the target can be measured by dividing 2 from this value.
  • the laser sensor can measure the difference in time (frequency, phase, displacement) that reflects and returns from the target using a laser to obtain the distance, and can detect the distance with a very high resolution.
  • the principle of distance measurement methods using a laser includes pulsed modulation, frequency modulation, phase shift, triangulation, and interferometry.
  • the controller 120 controls the overall operation of the motion recognition device 10.
  • the control unit 120 executes the programs stored in the storage unit 140, so that the sensing unit 110, the communication unit 130, the storage unit 140, the power supply unit 150, the output unit 160, and the user It is possible to control the input unit and the like.
  • the controller 120 controls driving or operation of the motion recognition device 10 based on the sensing signal generated by the sensing unit 110, or processes and functions data related to an application program installed in the motion recognition device 10. Alternatively, an operation can be performed.
  • the controller 120 may convert the position of the arm, the movement speed, the movement direction, and the like based on the information sensed by the sensing unit 110.
  • the communication unit 130 configures a connection by which the motion recognition device 10 can transmit or receive data, etc. with a server or other device. Also, the communication unit 130 may transmit output data to a server or another device or receive input data from a server or other device.
  • the communication unit 130 includes Bluetooth 131, Near Field Communication (132), Wireless LAN (WLAN), Wireless-Fidelity (Wi-Fi), Zigbee, Infrared Data Association (IrDA), It can support local area networks such as Wi-Fi Direct (WFD), ultra-wideband (UWB), Wireless Universal Serial Bus (USB), Ant +, and mobile communication networks such as 3G, LTE, LTE-A, and 5G.
  • 132 Near Field Communication
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • Zigbee Zigbee
  • IrDA Infrared Data Association
  • WFD Wi-Fi Direct
  • UWB ultra-wideband
  • USB Wireless Universal Serial Bus
  • Ant + Ant +
  • mobile communication networks such as 3G, LTE, LTE-A, and 5G.
  • the storage unit 140 may store a program for processing and control of the control unit 120 and may store input / output data (eg, application, content, time zone information of an external device, address book, etc.).
  • input / output data eg, application, content, time zone information of an external device, address book, etc.
  • the storage unit 140 includes a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (for example, SD or XD memory), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic It may include a storage medium of at least one type of disk, optical disk. In addition, the device may operate a web storage or cloud server that performs a memory storage function on the Internet.
  • a card type memory for example, SD or XD memory
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory magnetic It may include a storage medium of at least one type of disk, optical disk.
  • the device may operate a web storage or cloud server
  • the power supply unit 150 receives external power and internal power to supply power to each component included in the motion recognition device 10.
  • the power supply unit 150 includes a battery, and the battery may be a built-in battery or a replaceable battery.
  • the power supply unit 150 may include a connection port, and the connection port may be configured as an example of an interface in which an external charger that supplies power for charging the battery is electrically connected.
  • the power supply unit 150 may be configured to charge the battery wirelessly without using the connection port.
  • the power supply unit 150 uses one or more of an inductive coupling method based on a magnetic induction phenomenon from an external wireless power transmitter or a magnetic resonance coupling method based on an electromagnetic resonance phenomenon. Can be delivered.
  • the output unit 160 is for outputting an audio signal, a video signal, or a vibration signal, which includes a haptic module 163, a display unit 161, and an audio output unit 162, 160. You can.
  • the haptic module 163 generates various tactile effects that the user can feel.
  • a typical example of the tactile effect generated by the haptic module 163 may be vibration.
  • the intensity and pattern of vibration generated in the haptic module 163 may be controlled by a user's selection or setting of the controller 120.
  • the haptic module 163 may synthesize different vibrations and output them sequentially or sequentially.
  • the haptic module 163 is a pin array that vertically moves with respect to the skin surface of the contact, the blast or suction force of the air through the nozzle or inlet, the grazing on the skin surface, the contact of the electrode, the stimulation of the electrostatic force, etc.
  • Various tactile effects can be generated, such as an effect caused by an effect and an effect of reproducing a feeling of cold and warm using an element capable of absorbing heat or generating heat.
  • the haptic module 163 may not only deliver a tactile effect through direct contact, but also may be implemented so that a user can feel the tactile effect through muscle sensations such as fingers or arms.
  • the display unit 161 displays and outputs information processed by the motion recognition device 10, and a display device or module such as a TV, monitor, and tablet PC physically separated from the motion recognition device 10 according to the present invention Can be
  • the display unit 161 may display execution screen information of an application program driven by the motion recognition device 10 or user interface (UI) or graphical user interface (GUI) information according to the execution screen information.
  • UI user interface
  • GUI graphical user interface
  • the display unit 161 may be used as an input device in addition to an output device.
  • the display unit 161 includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display ( 3D display), and an electrophoretic display (electrophoretic display).
  • the motion recognition device 10 may include two or more display units 161.
  • the sound output unit 162 and 160 output audio data received from the communication unit 130 or stored in the storage unit 140. Also, the sound output units 162 and 160 output sound signals related to functions (for example, call signal reception sound, message reception sound, and notification sound) performed by the motion recognition device 10.
  • the sound output unit 162, 160 may include a speaker, a buzzer, and the like.
  • the user input unit 170 is for receiving information from a user. When information is input through the user input unit 170, the controller 120 may control the operation of the motion recognition device 10 to correspond to the inputted information. have.
  • the user input unit 170 is a mechanical input means (or a mechanical key, for example, a button located on the front, rear or side of the motion recognition device 10, a dome switch, a jog wheel , Jog switch, etc.) and a touch input means.
  • the touch-type input means is made of a virtual key, a soft key or a visual key displayed on the touch screen through software processing, or a part other than the touch screen It may be made of a touch key (touch key) disposed on.
  • the virtual key or the visual key may be displayed on the touch screen while having various forms, for example, a graphic, text, icon, video, or the like. It can be made of a combination of.
  • the interface unit 180 serves as a passage with all external devices connected to the motion recognition device 10.
  • the interface unit 180 receives data from an external device, receives power, and transmits data to each component inside the motion recognition device 10, or allows data inside the motion recognition device 10 to be transmitted to an external device.
  • a wired / wireless headset port For example, a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, a port for connecting a device equipped with an identification module
  • An interface unit 180 may include a (port), an audio input / output (I / O) port, a video input / output (I / O) port, and an earphone port.
  • FIG. 2 is a view for explaining the degree of freedom of the human arm of the person related to the present invention.
  • a robot arm a robot capable of acting as a human arm with an arm similar to a human arm
  • How freely the robot arm can move is expressed in the words 'degrees of freedom'.
  • the joint of the robot arm moves up and down only, so if you do a sledgehammer or cut in one direction, it is 'freedom 1', and the drill that rotates while moving up and down is 'freedom 2' and there are six positions. If you can move in a direction and work, you are said to be 'freedom 6.'
  • a device having at least 7 degrees of freedom is required.
  • the human arm can be modeled to represent 7 rotational axes at 7 degrees of freedom.
  • Each joint region may be represented by the shoulder position 210 A 0 , the elbow position 220 A 1 , the wrist position 230 A 2 , and the center position of the hand 240 A 3 .
  • the upper arm 211 which is a portion of the arm from the shoulder to the elbow, may be displayed in a form that connects the shoulder position 210 A 0 and the elbow position 220 A 1 .
  • the forearm portion 221 which is a portion of the arm from the elbow to the wrist, may be displayed in a form that connects the elbow position 220 A 1 and the wrist position 230 A 2 .
  • the shoulder joint movement using shoulder angle 210 ⁇ 0x , shoulder left and right rotation angle ⁇ 0y , and twist angle ⁇ 0 of the upper arm 211 along the shoulder axis 210 A 0 can represent
  • the movement of the elbow joint may be represented by using the elbow folding angle ⁇ 1x along the axis at the elbow position 220 A 1 .
  • the movement of the wrist joint may be represented by using the wrist up and down rotation angle ⁇ 2x , the wrist left and right rotation angle ⁇ 2y , and the warping angle ⁇ 1 of the forearm 221.
  • the absolute angle of each body part can be expressed by Roll, Pitch, and Yaw values.
  • the absolute angle of the upper arm 211 may be represented by the roll angle ⁇ H , the pitch angle ⁇ H , and the yaw angle ⁇ H of the upper arm 211.
  • the absolute angle of the arm forearm 221 may be represented by the roll angle ⁇ L of the forearm 221, the pitch angle ⁇ L , and the yaw angle ⁇ L.
  • the absolute angle of the wrist can be expressed as the wrist roll angle ⁇ W , the pitch angle ⁇ W , and the yaw angle ⁇ W.
  • Position coordinates (x, y, z) and angle at each joint part A 0 , A 1 , A 2 of the arm using a variety of sensors, such as the gyro sensor 112, the distance measuring sensor 111, and the acceleration sensor.
  • ⁇ x , ⁇ y , ⁇ z ) are obtained, and the movement of the human arm can be sensed by changing the position coordinates and angle data of each joint.
  • a device including a sensor may be mounted or carried on the upper arm 211, the forearm 221, and the hand, and the sensor value may be measured.
  • FIG. 3 is a perspective view showing an example of a wearable motion recognition device 10 related to the present invention.
  • the wearable motion recognition device 10 shown in FIG. 3 may include one or more components shown in FIG. 1, and the components included in the wearable motion recognition device 10 may be described with reference to FIG. 1. Both the function and the functions of the components of the motion recognition device 10 described below can be performed.
  • the sensing unit 110 of the wear-recognition motion recognition device 10 shown in FIG. 3 may have a rectangular parallelepiped shape, but is not limited thereto, and may have a circular shape, an elliptical shape, or a square shape.
  • the shape of the main body 310 of the present invention may give a good visual image to the user, and any shape that can help the user's motion recognition, especially the motion recognition of the arm, may be used.
  • the wearable motion recognition device 10 includes a sensing unit 110 that detects the movement of a human arm, a control unit 120 for processing the detected signal, and transmits the processed detection signal to the outside. It may include a body 310 having a control unit 120 and a body attachment portion 320 connected to the body 310 and configured to be worn on a wrist.
  • the body 310 may include a case forming an appearance.
  • the case may include a case that provides an interior space for accommodating various electronic components.
  • the sensing unit 110 may detect the motion of the forearm 221 by using the gyro sensor 112 and obtain the sensed motion data.
  • the distance to the upper arm 211 may be measured using the distance measuring sensor 111 to obtain a measured value.
  • the forearm 221 motion data and the distance data from the distance measurement sensor 111 to the upper arm 211 may be transmitted to the controller 120 or an external device such as a head mounted display (HMD) through the communication unit 130. have.
  • HMD head mounted display
  • the sensing unit 110 includes one or more sensors, and may serve to detect various types of bio signals from a user.
  • the sensing unit 110 may acquire data by detecting movement of the forearm or various biological signals at regular intervals.
  • the controller 120 Based on the motion data of the forearm 221 transmitted to the controller 120 and the distance data from the distance measurement sensor 111 to the upper arm 211, the elbow folding angle, the absolute angle of the forearm 221, and the upper arm 211 You can perform the process of finding the absolute angle of. Additionally, based on the motion data of the wrist received from an external device such as the control device 50, a process of obtaining the absolute angle of the wrist may also be performed. The absolute angle of the wrist is not obtained from the control unit 120, but may be received through the communication unit 130 from a device that can be carried in the hand, such as the control device 50.
  • the controller 120 is based on the absolute angle of the forearm 221, the absolute angle of the upper arm 211, the length of the upper arm 211, and the length of the forearm 221, the shoulder position 210 of the human arm, the elbow position 220 ), Wrist position 230 can be obtained.
  • the shoulder position 210, the elbow position 220, and the wrist position 230 of the human arm may be transmitted to a device having a display unit 161 such as an HMD or TV through the communication unit 130.
  • the center position 240 of the hand may be obtained based on the absolute angle of the upper arm 211 and the absolute angle of the wrist.
  • the data of the central position of the hand 240 may be transmitted through the communication unit 130 to a device having a display unit 161 such as an HMD or TV.
  • the wearable motion recognition device 10 may include a communication unit 130 to enable wireless communication, and an antenna for wireless communication may be installed in the main body 310. Meanwhile, the antenna can expand its performance using a case.
  • a case including a conductive material may be configured to electrically connect to the antenna to expand the ground area or the radiation area.
  • the display unit 161 may be disposed on one surface of the main body 310 to output information, and a touch sensor may be provided on the display unit 161 to be implemented as a touch screen.
  • the main body 310 may further include a storage unit 140, a power supply unit 150, an output unit 160, a user input unit 170, an interface unit 180, and the like.
  • the display unit 161 When the display unit 161 is implemented as a touch screen, it may function as the user input unit 170, and accordingly, a separate key may not be provided in the main body 310.
  • the body attachment portion 320 is worn on the forearm to cover the forearm, and may be formed of a flexible material for easy wearing.
  • the body attachment portion 320 may be formed of leather, rubber, silicone, synthetic resin material, or the like.
  • the body attachment portion 320 is configured to be detachable to the body 310, the user can be configured to be replaceable with various types of body attachment portion 320 according to taste.
  • the body attachment part 320 may be used to expand the performance of the antenna.
  • a ground extension area that is electrically connected to the antenna to expand the ground area may be built in the body attachment part 320.
  • a fastener (not shown) may be provided on the body attachment part 320.
  • the fastener may be implemented by a buckle, a hook structure capable of snap-fit, or a velcro, and may include a stretchable section or material.
  • FIG. 4 is a view for explaining an operation method of the motion recognition device 10 according to an embodiment of the present invention.
  • the operation method of the motion recognition device 10 includes: acquiring motion data of the forearm 221 (S410), and measuring a distance between the upper arm 211 and the forearm 221 ( S420), obtaining the folding angle of the elbow using the distance data between the upper arm 211 and the forearm 221 (S430), and obtaining motion data of the upper arm 211 using the motion data of the forearm 221 Step S440 and obtaining the position data of the arm using the motion data of the upper arm 211 and the forearm 221 and the elbow folding angle may be included (S450).
  • Step S410 detects the movement of the forearm 221 through the sensing unit 110 of the motion recognition device 10 mounted on the forearm 221 which is a part from the elbow to the wrist among the human arms and detects the detected motion data. It can be an acquisition process.
  • the motion data of the forearm 221 is a three-way angle ( ⁇ g , ⁇ g , ⁇ g ) value obtained from the gyroscope sensor 112 obtained from the gyro sensor 112 constituting the sensing unit 110 It may be displayed as a value representing an angle (Roll angle ⁇ L , Pitch angle ⁇ L , Yaw angle ⁇ L ).
  • Step S420 may be a process of obtaining a measurement value by measuring a distance from the distance measurement sensor 111 of the forearm 221 to which the motion recognition device 10 is mounted to the upper arm 211.
  • the distance from the distance measuring sensor 111 to the upper arm 211 may be displayed in units of mm, cm, m, and the like.
  • Step S430 may be a process of calculating an angle representing the degree of folding of the elbow using the distance data from the distance measuring sensor 111 obtained in step 420 to the upper arm 211.
  • the folding angle of the elbow may be represented by ⁇ 1x indicating the angle.
  • Step (S440) is to calculate the motion data of the upper arm 211 indicating the movement of the upper arm 211, which is a portion from the shoulder to the elbow of the human arm, using the motion data of the forearm 221 equipped with the motion recognition device 10. It can be a process.
  • the motion data of the upper arm 211 may be displayed as a value representing a three-way angle (Roll angle ⁇ H , Pitch angle ⁇ H , Yaw angle ⁇ H ).
  • Step S450 is an arm using the motion data of the forearm 221 obtained from the sensing unit 110 and the motion data of the upper arm 211 and the elbow folding angle ⁇ 1x calculated from the motion data of the forearm 221. It may be a process of calculating the shoulder position 210, elbow position 220, wrist position 230 data. Data about the shoulder position 210, the elbow position 220, and the wrist position 230 of the arm may be displayed as coordinate values of the x, y, and z axes.
  • the shoulder position 210 is a reference point for displaying the elbow position 220, the wrist position 230, and the central position 240 of the hand, and is represented by (0, 0, 0) coordinate values of the XYZ axis corresponding to the reference point. It may or may not require separate extraction or calculation.
  • FIG. 5 is a diagram for explaining a method of obtaining motion data of the forearm 221 according to an embodiment of the present invention.
  • the motion recognition device 10 may be mounted on a human arm.
  • the motion recognition device 10 When the motion recognition device 10 is mounted on a human arm, the motion recognition device 10 may be mounted on a portion close to the elbow that is the upper side of the forearm 221 so as not to be affected by the warping of the wrist.
  • the motion recognition device 10 may be mounted in a portion close to the elbow position 220 among the elbow position 220 and the wrist position 230.
  • a control device 50 that can be carried in the hand may be additionally configured.
  • the control device 50 may be connected to a wireless network through the communication unit 130 of the motion recognition device 10 or wired through the interface unit 180 of the motion recognition device 10.
  • the motion recognition device 10 mounted on the forearm 221 may sense the movement of the forearm 221 through the sensing unit 110.
  • the movement of the forearm 221 may be detected through the gyro sensor 112 of the sensing unit 110.
  • the movement of the forearm 221 sensed through the gyro sensor 112 may be obtained as a three-way angle ( ⁇ g , ⁇ g , ⁇ g ) of the gyro sensor 112.
  • the motion recognition device 10 is worn on the upper portion of the forearm portion 221 that does not detect the rotation of the forearm portion 221, which is the Roll ⁇ L value, which is the absolute angle of the forearm portion 221, a control device 50 that can be carried in hand is connected. If not, the rotation of the forearm 221 may not be detected. On the other hand, even if the forearm 221 is rotated, the position value of the wrist does not change, so the wrist position 230 can be known.
  • the absolute angles ⁇ L and ⁇ L of the forearm 221 may be expressed by the following equation through the three-way angle of the gyro sensor 112.
  • FIG. 6 is a view for explaining a method of obtaining a folding angle of an elbow according to an embodiment of the present invention.
  • the distance through the sensing unit 110 of the motion recognition device 10 is measured. Can be measured.
  • the measurement distance D s of the distance measurement sensor 111 of the sensing unit 110 is reflected by an intangible energy such as light, sound, and radio waves emitted from the light emitting unit of the distance measurement sensor 111 to the upper arm 211 of the arm, so that the light receiving unit You can measure the distance using the speed returned to.
  • the measurement distance D s of the distance measurement sensor 111 is on the same line as the distance measurement sensor 111 in a direction parallel to the line connecting the center of the elbow position 220 A 1 and the center of the wrist position 230 A 2 . It may be a distance from a close point of the upper arm 211 located.
  • the distance d s between the distance measuring sensor 111 and the elbow is the point where the vertical line drawn perpendicular to the line connecting the center of the elbow position 220 A 1 and the center of the wrist position 230 A 2 from the sensor meets the elbow. It may be a distance to the center of the location 220 A 1 .
  • the distance d s between the distance measurement sensor 111 and the elbow has a portion that runs whenever the motion recognition device 10 is worn on the forearm 221, so that the motion recognition device 10 is connected to the content or the content is to be executed. When it can be determined through a numerical adjustment (Calibration) process.
  • the distance d s between the distance measurement sensor 111 and the elbow may be reflected by the user by setting an arbitrary value.
  • the height h s from the center of the elbow to the distance measuring sensor 111 is the length of the line perpendicular to the line connecting the center of the elbow position 220 A 1 and the center of the wrist position 230 A 2 from the distance measuring sensor 111. Can be represented as The height h s from the center of the elbow to the distance measuring sensor 111 is not measured for each user, but the radius length of the upper arm forearm 221 from the statistics on the thickness of the upper arm forearm 221 of a person having a specific gender and age. The value obtained by adding the height from the body attachment surface of the motion recognition device 10 to the distance measuring sensor 111 may be used. For example, the height h s from the center of the elbow to the distance measurement sensor 111 can be calculated and used from statistics on the upper thickness of the arm forearm 221 of a male in his 30s, the main game layer.
  • the measurement distance D s of the distance measurement sensor 111 decreases, and thus the folding angle ⁇ of the elbow is measured. Can induce 1x .
  • the measurement distance D s of the distance measurement sensor 111 of the distance measurement sensor 111 and the distance d s between the distance measurement sensor 111 and the elbow may be the same.
  • Measurement distance of the distance measurement sensor 111 When the distance D s of the distance measurement sensor 111 is greater than the distance d s between the distance measurement sensor 111 and the elbow, it may represent a state in which the arms are extended. When the measurement distance D s of the distance measurement sensor 111 becomes smaller than the distance d s between the distance measurement sensor 111 and the elbow, it may represent a bent state.
  • the angle of elbow folding through the tan function ⁇ 1x can be derived.
  • the measurement distance D s of the distance measuring sensor 111 of the sensing unit 110 obtained through this, the distance d s between the distance measuring sensor 111 and the elbow, and the height h s from the center of the elbow to the distance measuring sensor 111 are It can be seen that the elbow fold angle ⁇ 1x is related to the following.
  • the process of obtaining the folding angle ⁇ 1x of the elbow may be performed in the motion recognition device 10, and in the apparatus having the display unit 161 such as an HMD or TV, the distance measuring sensor 111 of the motion recognition device 10 It may be performed by receiving the measurement distance D s value.
  • the Roll ⁇ g value can be set to the warping angle ⁇ 0 of the upper arm 211, and the remaining two Pitch ⁇ g and Yaw ⁇ g values are used to rotate the shoulder up and down angle ⁇ 0x , left and right shoulders
  • the rotation angle ⁇ 0y can be obtained.
  • each angle must be calculated in consideration of the degree of folding of the elbow, so the folding angle of the elbow ⁇ 1x can be utilized.
  • the fold angle of the elbow ⁇ 1x is affected by the twist angle ⁇ 0 of the upper arm 211, so that the rotation axis changes, so the angle of twist of the upper arm 211 corresponds to the values of Pitch ⁇ g and Yaw ⁇ g measured by the gyro sensor 112.
  • the motion data of the upper arm 211 may be obtained by using the motion recognition device 10 attached to the forearm 221.
  • the absolute angles ( ⁇ L , ⁇ L ) of the forearm 221 of the arm can be known through the three-way angle of the gyro sensor 112 of the sensing unit 110, and the folding angle ⁇ 1x of the elbow is the arm upper arm 211
  • the angle of rotation of the gyro sensor 112 Roll ⁇ g , Pitch ⁇ g , Yaw ⁇ g
  • shoulder up and down rotation angle ⁇ 0x shoulder left and right rotation through the point that the axis rotates according to the twist direction ( ⁇ 0 ) of It can be seen that the angle ⁇ 0y and the twist angle ⁇ 0 of the upper arm 211 have the following relationship.
  • the angle of rotation of the upper and lower shoulders ⁇ 0x , the angle of rotation of the left and right shoulders ⁇ 0y , and the angle of twist ⁇ 0 of the upper arm 211 can be derived as follows.
  • the roll angle of the upper arm 211 which is the absolute angle of the upper arm 211, ⁇ H , Pitch angle ⁇ H , and Yaw angle ⁇ H are the twist angles of the upper arm 211, respectively, ⁇ 0 , the upper and lower rotation angles ⁇ 0x , and the shoulder left and right rotation angles It can be seen that the same value as ⁇ 0y is the same. Therefore, the absolute angles ⁇ H , ⁇ H , and ⁇ H of the upper arm 211 can be expressed by the following equation.
  • FIG. 7 is a view for explaining a method for obtaining position data of an arm according to an embodiment of the present invention.
  • Step 720 the step of setting the shoulder position (210) A 0 reference point (S710), the upper arm 211 length L 1 and the forearm 221 length L 2 to obtain Step 720, the step of obtaining the elbow position 220 A 1 (S730) and the step of obtaining the wrist position 230 A 2 (S740) may be included.
  • the shoulder position 210 is a reference point for displaying the elbow position 220, the wrist position 230, and the central position 240 of the hand, which is the coordinate value of the XYZ axis corresponding to the reference point (0, 0, 0) and may not be separately extracted or calculated.
  • the length L 1 of the upper arm 211 and the length L 2 of the forearm 221 may be obtained by measuring the lengths of the actual upper arm 211 and the forearm 221 of the user through measurement.
  • Upper arm 211, the length L 1 and the forearm 221, the length L 2 is not determined by the user may be a statistical value for the length of the upper arm forearm 221 of a person having a particular sex and age.
  • the upper arm 211, the length L 1 and the forearm 221, the length L 2 may be calculated from the statistic of the arm length of the main game layer of 30 male
  • the elbow position 220 A 1 which is a relative position from the coordinate values of the reference point shoulder position 210 A 0 (0, 0, 0), may be obtained.
  • the elbow position 220 A 1 can be obtained by the following equation through ⁇ H , ⁇ H , ⁇ H , which is the absolute angle of the upper arm 211, and the length L 1 of the upper arm 211.
  • step S740 the elbow position 220 A 1 , which is a relative position from (0, 0, 0), which is the coordinate value of the shoulder position 210 A 0 as the reference point, may be obtained.
  • the wrist position 230 A 2 can be obtained by the following formula through the elbow position 220 A 1 and the absolute angles ⁇ L , ⁇ L of the forearm 221, and the length L 2 of the forearm 221.
  • the shoulder position of the human arm 210 A 0 , the elbow position 220 A 1 , and the wrist position 230 A 2 can be obtained, and the movement of the arm can be changed by changing the values of A 1 and A 2 . Can be detected.
  • FIG. 8 is a view showing an operation recognition device 10 connected to the HMD device and the control device 50.
  • the HMD device 80 is a display device having a form that can be worn on the user's head, showing the world of virtual reality (VR) through a display that displays a screen in front of the user, or augmented reality with real aliens (AR, Augmented Reality).
  • VR virtual reality
  • AR Augmented Reality
  • the control device 50 may detect movement of the control device 50 through various sensors capable of detecting the movement of the control device 50 and transmit motion data of the control device 50 to the display device.
  • the display device may include an HMD device 80.
  • the control device 50 is manufactured in a form that can be carried in the hand, and senses the movement of the wrist and generates motion data and transmits it to the display device or the motion recognition device 10. Based on the transmitted control device 50 or the movement of the wrist, a control command may be given to an application running on the display device. Also, based on the transmitted control device 50 or wrist movement data, it is possible to control movement of an object in an application running on the display device. It can be an object or a person in the application, or it can be a necessary tool in the application.
  • the motion recognition device 10 may output vibration or sound as feedback for a control command sent to an application of the display device or a motion control command of the object.
  • the motion recognition device 10 may output vibration or sound as feedback to the motion recognition device in a virtual reality environment even when the motion recognition device is restricted or externally impacted.
  • the control device 50 is an example of the configuration of the motion recognition device 10 of FIG. 1 and may be manufactured in an easy-to-carry form.
  • the sensing unit 510 of the control device 50 detects the movement of the user's wrist carrying the control device 50 in hand, and transmits the detected movement information of the wrist to the communication unit 530 of the control device 50. You can.
  • the detected motion data of the wrist may be transmitted to the motion recognition device 10 by the communication unit 530 of the control device 50.
  • the detected motion data of the wrist may be transmitted to a device having a display unit 810 such as an HMD device 80 or a TV.
  • the control device 50 may detect the movement of the wrist through the gyro sensor 520 of the sensing unit 510 to detect the movement of the wrist.
  • the motion data of the wrist detected through the gyro sensor 520 may be obtained as a three-way angle ( ⁇ m , ⁇ m , ⁇ m ) of the gyro sensor 520.
  • the HMD device 80 may receive the motion data of the forearm 221 and the measurement distance D s of the distance measurement sensor 111 from the communication unit 130 of the motion recognition device 10 through the communication unit 830. Also, the HMD device 80 may receive movement data of the wrist from the communication unit 530 of the control device 50 through the communication unit 830. The control unit 820 of the HMD device 80 may calculate the motion data of the upper arm 211 using the received motion data of the forearm 221 and the measurement distance D s of the distance measurement sensor 111. The control unit 820 of the HMD device 80 uses the shoulder position 210, the elbow position 220, and the wrist position 230 using the motion data of the forearm 221, the motion data of the upper arm 211, and the motion data of the wrist.
  • the control unit 820 of the HMD device 80 uses the motion data of the forearm 221 and the distance measurement sensor ( The motion of the user's arm can be accurately calculated using the measurement distance D s of 111) and the motion data of the wrist. Based on the calculated shoulder position 210, elbow position 220, wrist position 230, and hand center position 240, the model data of the arm is generated through the control unit 820 of the HMD device 80 and , It can be output through the display unit 810.
  • the motion recognition device 10 or the HMD device 80 may receive wrist movement data from the communication unit 530 of the control device 50 through the respective communication units 130 and 830.
  • the absolute angles of the wrist ⁇ W , ⁇ W , ⁇ W can be expressed by the following equation.
  • the motion recognition device 10 may obtain the warping angle ⁇ 1 of the forearm 221 using the roll value ⁇ m of the wrist movement data and the warping angle ⁇ 0 of the upper arm 211 as follows.
  • the control device 50 may perform a function of showing the 3 degrees of freedom of the wrist, and the motion recognition device 10 may further know the folding angle ⁇ 1x of the elbow and the 3 degrees of freedom of the forearm 221 By doing so, you can implement 7 degrees of freedom to show the movement of the entire arm.
  • FIG. 9 is a view for explaining a method of obtaining position data of an arm and a hand according to an embodiment of the present invention.
  • Step 920 the step of setting the shoulder position (210) A 0 reference point (S910), the upper arm 211 length L 1 and the forearm 221 length L 2 to obtain Step 920, obtaining the elbow position 220 A 1 (S930), obtaining the wrist position 230 A 2 (S940) and obtaining the center position of the hand 240 A 3 (S950) ).
  • the shoulder position 210 is a reference point for displaying the elbow position 220, the wrist position 230, and the central position 240 of the hand, which is a coordinate value of the XYZ axis corresponding to the reference point (0, 0, 0) and may not be separately extracted or calculated.
  • upper arm 211, the length L 1 and the forearm 221, long length L 2 Hand L 3 can be obtained the user's physical upper arm 211 and forearm 221, the length of the hand over the measurement .
  • Upper arm 211 length L 1 and forearm 221 length L 2 , hand length L 3 are not measured by user, but are the statistics of the upper arm length and hand length of the arm forearm 221 of a person having a specific gender and age. Can be used.
  • the upper arm 211, the length L 1 and the forearm 221, the length L 2, the length L 3 of the hand may be calculated from the statistic of the arm length of the main game layer of 30 male
  • step S930 the elbow position 220 A 1 , which is a relative position from (0, 0, 0), which is the coordinate value of the shoulder position 210 A 0 as the reference point, may be obtained.
  • the elbow position 220 A 1 can be obtained by the following equation through ⁇ H , ⁇ H , ⁇ H , which is the absolute angle of the upper arm 211, and the length L 1 of the upper arm 211.
  • the elbow position 220 A 1 which is a relative position from the coordinate values of the reference point shoulder position 210 A 0 (0, 0, 0), may be obtained.
  • the wrist position 230 A 2 can be obtained by the following formula through the elbow position 220 A 1 and the absolute angles ⁇ L , ⁇ L of the forearm 221, and the length L 2 of the forearm 221.
  • step S950 the center position 240 A 3 of the hand, which is a relative position from the coordinate values (0, 0, 0) of the shoulder position 210 A 0 as the reference point, may be obtained.
  • the central position of the hand 240 A 3 can be obtained by the following formula through the wrist position 230 A 2 and the absolute angle of the wrist ⁇ W , ⁇ W , ⁇ W , and the length of the hand L 3 .
  • the shoulder position of the human arm 210 A 0 , the elbow position 220 A 1 , the wrist position 230 A 2 , and the center position of the hand 240 A 3 can be obtained, and A 1 , A Changes in the values of 2 and A 3 can detect the movement of the arm and hand
  • FIG. 10 is a view for explaining a method of displaying the movement of a human arm according to an embodiment of the present invention.
  • a method of displaying movement of a human arm includes receiving arm movement data (S1010), obtaining arm location data (S1020), and generating an arm shape using the arm location data It may include a step (S1030) and outputting the arm shape (S1040).
  • Step S1010 may be a process of receiving the motion data of the arm transmitted from the motion recognition device 10 in an apparatus having a display unit 161 such as an HMD device 80 or a TV.
  • the motion data of the arm may include motion data of the forearm 221 of the arm generated by the motion recognition device 10 and a distance value between the forearm 221 and the upper arm 211.
  • the forearm 221 motion data and the distance value between the forearm 221 and the upper arm 211 may be measured values of the sensing units 110 and 801 obtained by the motion recognition device 10 or the control device 50.
  • the movement of the forearm 221 detected through the gyro sensor 112 of the motion recognition device 10 is an HMD device with a three-way angle ( ⁇ g , ⁇ g , ⁇ g ) of the gyro sensor 112. Can be received at.
  • the distance value between the forearm 221 and the upper arm 211 may be received by the HMD device as the measurement distance D s of the distance measurement sensor 111 of the sensing unit 110 described in FIG. 6.
  • the motion data of the arm is received from the HMD device as the shoulder position 210 A 0 , elbow position 220 A 1 , and wrist position 230 A 2 values corresponding to the position data of the arm generated by the motion recognition device 10.
  • the process of acquiring the arm position data in step S1020 may be omitted.
  • the shoulder position 210 A 0 may be omitted as a reference value.
  • Step S1020 may be a process of obtaining a value of the shoulder position 210 A 0 , the elbow position 220 A 1 , and the wrist position 230 A 2 of the arm, which may indicate the position of the arm.
  • the position data of the arm is based on the motion data of the forearm 221 of the arm and the distance value between the forearm 221 and the upper arm 211, and the forearm 221 described in FIGS. 5, 6, and 7 is absolute It can be obtained through the method of obtaining the angle, the absolute angle of the upper arm 211, the folding angle of the elbow, and the position data of the arm.
  • step (S1020) the shoulder position of the human arm 210 A 0 , the elbow position 220 A 1 , and the wrist position 230 A 2 can be obtained, and the movement of the arm through changes in the values of A 1 and A 2 Can detect. It is also possible to directly receive the position data of the arm from the motion recognition device 10 from the motion recognition device 10 without the process of obtaining it in step S1020 in an apparatus including a display unit 161 such as an HMD device 80 or a TV.
  • a display unit 161 such as an HMD device 80 or a TV.
  • Step S1030 may be a process of generating the shape of the arm by using the position data of the arm to display the shape of the arm on the display.
  • the shoulder position 210 A 0 indicates the position of the center point of the shoulder
  • the elbow position 220 A 1 indicates the position of the center of the elbow
  • the wrist position 230 A 2 indicates the position of the center of the wrist joint.
  • Shoulder position (210) A 0 , elbow position (220) A 1 , wrist position (230) A 2 shows the shape of the entire arm using the values, and the shape of the hand is extended to the arm forearm (221) in a certain direction Or it can be expressed as a holding shape.
  • Step S1040 may be a process of outputting the shape of the generated arm to the display unit 161.
  • the movement of the arm may be displayed on the display unit 161.
  • the shoulder position 210 A 0 , the elbow position 220 A 1 , and the wrist position 230 A 2 may be displayed in real time on the display unit 161 by the user's shoulder joint and elbow joint movement.
  • FIG. 11 is a view for explaining a method of displaying hand and arm movements according to an embodiment of the present invention.
  • the method for displaying hand and arm movement includes receiving hand and arm movement data (S1110), acquiring hand and arm location data (S1120), and hand and arm location data It may include using the step of generating an arm shape (S1030) and outputting the arm shape (S1040).
  • Step S1110 may be a process of receiving the motion data of the hand and arm transmitted from the motion recognition device 10 in an apparatus having a display unit 161 such as an HMD device 80 or a TV.
  • the motion data of the hand transmitted by the motion recognition device 10 may be data generated by the control device 50 and transmitted to the motion recognition device 10.
  • an apparatus having a display unit 810 such as an HMD device 80 or a TV may receive hand motion data from the control device 50 and arm motion data from the motion recognition device 10.
  • Hand movement data may include wrist movement data generated by the control device 50.
  • the wrist movement data may be a measurement value of the sensing unit 510 acquired by the control device 50.
  • the motion data of the arm may include motion data of the forearm 221 of the arm generated by the motion recognition device 10 and a distance value between the forearm 221 and the upper arm 211.
  • the forearm 221 motion data and the distance value between the forearm 221 and the upper arm 211 may be measured values of the sensing unit 510 obtained by the motion recognition device 10 or the control device 50.
  • the movement of the wrist detected through the gyro sensor 520 of the control device 50 is directly received by the HMD device at a three-way angle ( ⁇ m , ⁇ m , ⁇ m ) of the gyro sensor 112 or
  • the motion recognition device 10 may receive and transmit the HMD device.
  • the motion of the forearm 221 detected through the gyro sensor 112 of the motion recognition device 10 can be received by the HMD device at a three-way angle ( ⁇ g , ⁇ g , ⁇ g ) of the gyro sensor 112. have.
  • the distance value between the forearm 221 and the upper arm 211 may be received by the HMD device as the measurement distance D s of the distance measurement sensor 111 of the sensing unit 110 described in FIG. 6.
  • the movement data of the hand and arm are the shoulder position 210 A 0 , the elbow position 220 A 1 , the wrist position 230 A 2 , and the center of the hand corresponding to the position data of the arm generated by the motion recognition device 10.
  • the position 240 may be received by the HMD device with the value of A 3 , and in this case, the process of acquiring the arm position data of step S1120 may be omitted. Also, the shoulder position 210 A 0 may be omitted as a reference value.
  • Step (S1120) is a shoulder position 210 A 0 , an elbow position 220 A 1 , a wrist position 230 A 2 , a center position 240 A 3 value of the hand, which can indicate the position of the hand and arm It may be a process of seeking.
  • the position data of the hands and arms are based on the motion data of the wrist, the forearm 221 motion data, and the distance value between the forearm 221 and the upper arm 211, and the wrists described in FIGS. 5, 6, and 9 Absolute angle, forearm 221 absolute angle, upper arm 211 absolute angle, elbow folding angle and arm position data obtained through a method of obtaining.
  • the shoulder position of the human arm 210 A 0 , the elbow position 220 A 1 , the wrist position 230 A 2 , and the center position of the hand 240 A 3 may be obtained, A 1 .
  • the movements of the arms and hands can be detected by changing the values of A 2 and A 3 . It is also possible to directly receive the position data of the hand and arm from the motion recognition device 10 from the motion recognition device 10 without the process of obtaining the step S1120 in an apparatus including a display unit 161 such as an HMD device 80 or a TV.
  • Step S1130 may be a process of generating the shape of the arm by using the position data of the hand and arm to display the shape of the arm on the display.
  • Shoulder position 210 A 0 indicates the position of the center of the shoulder
  • elbow position 220 A 1 indicates the position of the elbow center
  • wrist position 230 A 2 indicates the position of the center of the wrist joint
  • the central position 240 A 3 may indicate the position of the center of the hand. Using the values of the shoulder position 210 A 0 , the elbow position 220 A 1 , the wrist position 230 A 2 , and the center position of the hand 240 A 3, the shape of the entire arm, including the hand, may be represented.
  • Step S1140 may be a process of outputting the shape of the generated arm to the display unit 161.
  • the movement of the arm may be displayed on the display unit 161.
  • Shoulder position (210) A 0 , elbow position (220) A 1 , wrist position (230) A 2 , center position of hand (240) A 3 Displays the movement of the user's shoulder joint, elbow joint and wrist joint by the value It can be displayed in real time in the unit 161.
  • FIG. 12 is a view for explaining the movement of the arm displayed on the screen according to an embodiment of the present invention.
  • the movement of the arm may be displayed by various devices such as an HMD device 80 or a TV including the display unit 161.
  • the shoulder joint (210) A 0 , elbow position (220) A 1 , wrist position (230) A 2 , center position (240) A 3 of the user's shoulder joint, elbow The movement of the joints and wrist joints may be displayed on the display unit 161.
  • the center position of the hand 240 A 3 may be represented as a shape in which the hand is stretched or held in a certain direction on the forearm 221 of the arm without movement of the wrist joint without separately calculating the value.
  • the motion of the arm can be represented only by the data detected by the motion recognition device 10 without the control device 50 for detecting the motion data of the wrist.
  • the motion recognition device 10 is mounted on only one arm to detect the movement of the arm, only the shape of one arm is displayed on the display device, or the shape of the other arm is shown to show the same movement, so that both arm shapes are Can be displayed on the display device.
  • the motion recognition device 10 is mounted only on both arms to sense the movement of the arm, the movement of the left arm and the right arm can be independently displayed on the display device.
  • the shape of the human body displayed on the display device may be displayed in various forms, such as the shape of the whole body, the shape of the upper body, and the shape of only the arm.
  • the present invention relates to a motion recognition device, and is applicable to an apparatus using a motion recognition device, and has the possibility of repeatability, and thus has industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 동작인식 시스템 및 이를 이용한 방법에 관한 것으로, 보다 상세하게는 자이로 센서 및 레이저 센서를 이용하여 팔의 움직임을 인식하도록 하는 동작인식 시스템 및 이를 이용한 방법에 관한 것이다. 본 발명의 일 실시 예에 따른 동작인식 시스템은 사용자의 전완부의 움직임 데이터와 거리 데이터를 제1디바이스로부터 수신하는 통신부; 팔의 움직임 데이터를 출력하는 디스플레이부; 및 상기 거리데이터와 상기 전완부의 움직임 데이터를 기초로 하여, 상완부의 움직임 데이터를 산출하고, 상기 전완부의 움직임 데이터와 상기 상완부의 움직임 데이터를 기초로 하여, 상기 팔의 움직임 데이터를 산출하고, 상기 팔의 움직임 데이터를 디스플레이부로 전송하는 제어부를 포함하는 것을 특징으로 한다.

Description

동작인식 시스템 및 이를 이용한 동작인식 방법
본 발명은 동작인식 시스템 및 이를 이용한 동작인식 방법에 관한 것으로, 보다 상세하게는 자이로 센서 및 레이저 센서를 이용하여 팔의 움직임을 인식하고 팔의 움직임을 모형을 통해 디스플레이하도록 하는 동작인식 시스템 및 이를 이용한 동작인식 방법에 관한 것이다.
컴퓨터의 사용자 인터페이스 기술은 마우스나 키보드, 터치를 이용한 과거 방식에서 발전하여 현재 마이크로폰을 통해 입력된 음성을 인식하는 기술과 카메라나 센서를 기반으로 하는 동작인식 기술이 상용화되고 있다. 최근에는 3D 영상과 공간 인식 기술을 결합하여 3D 영상 내의 콘텐츠를 직접 터치하거나 상호작용이 가능하도록 만드는 기술이 개발되고 있다.
동작인식 기술 중에서 많이 사용되는 방식은 카메라를 이용하여 움직이는 객체(신체의 일부분 또는 신체에 부착된 장치)를 인식하는 기술로서, 3D 카메라와 RGB 카메라를 이용하여 움직이는 객체(동적 객체)에 대한 뼈대를 추출하여 동적 객체의 3D 동작을 인식하도록 한다. 이러한 방식은 사용자가 별도의 장치를 착용하지 않아도 되는 장점이 있는 반면에 신체의 관절 등의 움직임을 정확하게 포착하기 어렵고 가상현실에 대한 직접적인 피드백의 제공 없어서 몰입감을 제공하는 데 한계가 있다.
가상현실에서 사용자의 동작인식을 위하여 동작인식이 필요한 신체 부위에 부착되어 센서를 통해 객체의 움직임을 인식하는 방식은 모든 관절에 센서가 부착되어야 객체의 정확한 움직임을 파악할 수 있어서 센서를 착용하는 사용자에게 착용의 불편함과 행동의 제약을 주는 문제점이 있다.
따라서, 이러한 가상현실에서의 몰입감을 높이고 사용자의 행동의 제약을 줄이기 위한 요구를 만족시키기 위해, 신체에 부착되는 장치의 크기를 더 작게 줄여 착용성을 키우는 동작인식 기술에 대한 필요성이 대두되고 있다.
본 발명이 이루고자 하는 기술적 과제는, 자이로 센서 및 레이저 센서를 이용하여 팔의 움직임을 인식하고 팔의 움직임을 모형을 통해 디스플레이하도록 하는 동작인식 시스템 및 이를 이용하는 방법을 제공하는 것이다.
다만, 본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
전술한 본 발명의 목적 달성을 위해, 본 발명의 일 실시 예에 따른 동작인식 시스템은 사용자의 전완부의 움직임 데이터와 거리 데이터를 제1디바이스로부터 수신하는 통신부; 팔의 움직임 데이터를 출력하는 디스플레이부; 및 상기 거리데이터와 상기 전완부의 움직임 데이터를 기초로 하여, 상완부의 움직임 데이터를 산출하고, 상기 전완부의 움직임 데이터와 상기 상완부의 움직임 데이터를 기초로 하여, 상기 팔의 움직임 데이터를 산출하고, 상기 팔의 움직임 데이터를 디스플레이부로 전송하는 제어부를 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 있어서, 제어부는 상기 거리 데이터를 기초로 하여 팔꿈치의 접힘 각도를 산출한 후, 상기 팔꿈치의 접힘 각도와 상기 전완부의 움직임 데이터를 기초로 하여 상기 상완부의 움직임 데이터를 산출할 수 있다.
본 발명의 일 실시 예에 있어서, 상기 제어부는 상기 거리 데이터, 거리측정 센서와 팔꿈치 사이의 거리 및 팔꿈치 중심으로부터 거리측정 센서까지의 높이를 기초로 하여, 상기 팔꿈치의 접힘 각도를 산출할 수 있다.
본 발명의 일 실시 예에 있어서, 제1디바이스는 상기 사용자의 전완부의 움직임을 감지하는 자이로 센서; 및 거리 측정을 위한 거리측정 센서를 포함하고, 상기 거리측정 센서는 거리측정 센서로부터 상완부까지의 거리를 측정할 수 있다.
본 발명의 일 실시 예에 있어서, 통신부는 제2디바이스로부터 상기 사용자의 손목의 움직임 데이터를 수신할 수 있다.
본 발명의 일 실시 예에 있어서, 제어부는 상기 사용자의 전완부의 움직임 데이터와 상기 거리 데이터와 동일 시간대의 손목의 움직임 데이터를 기초로 하여 실시간으로 팔의 움직임 데이터를 산출하여 디스플레이부로 전송할 수 있다.
본 발명의 일 실시 예에 있어서, 제어부는 상기 전완부의 움직임 데이터, 상기 상완부의 움직임 데이터, 상기 손목의 움직임 데이터, 전완부의 길이, 상완부의 길이 및 손목의 길이를 기초로 하여, 상기 팔의 움직임 데이터를 산출할 수 있다.
본 발명의 일 실시 예에 있어서, 제어부는 상기 손목의 움직임 데이터의 일부와 상완부의 뒤틀림 각도를 기초로 하여, 전완부의 뒤틀림 각도를 산출할 수 있다.
본 발명의 일 실시 예에 있어서, 팔의 움직임 데이터는 어깨의 위치, 팔꿈치의 위치 손목의 위치 및 손의 중심 위치를 각각 나타내는 좌표이고, 상기 어깨의 위치를 기준점으로 하고, 상기 기준점을 기초로 하여 상기 팔꿈치의 위치, 상기 손목의 위치, 상기 손의 중심 위치를 산출할 수 있다.
본 발명의 일 실시 예에 있어서, 디스플레이부는 상기 어깨의 위치, 상기 팔꿈치의 위치, 상기 손목의 위치 및 상기 손의 중심 위치를 기초로 하여, 상기 제어부에 의해 생성된 팔 전체의 모형을 출력할 수 있다.
본 발명의 일 실시 예에 따른 동작 인식 방법은 사용자의 전완부의 움직임 데이터와 거리 데이터를 제1디바이스로부터 수신하는 단계; 상기 거리데이터와 상기 전완부의 움직임 데이터를 기초로 하여, 상완부의 움직임 데이터를 산출하는 단계;
상기 전완부의 움직임 데이터와 상기 상완부의 움직임 데이터를 기초로 하여, 팔의 움직임 데이터를 산출하는 단계; 및 상기 팔의 움직임 데이터를 디스플레이에 출력하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 있어서, 상완부의 움직임 데이터를 산출하는 단계는 상기 거리 데이터를 기초로 하여 팔꿈치의 접힘 각도를 산출한 후, 상기 팔꿈치의 접힘 각도와 상기 전완부의 움직임 데이터를 기초로 하여 상기 상완부의 움직임 데이터를 산출할 수 있다.
본 발명의 일 실시 예에 있어서, 팔꿈치의 접힘 각도를 산출하는 단계는 상기 거리측정 센서로부터 상완부까지의 거리, 거리측정 센서와 팔꿈치 사이의 거리 및 팔꿈치 중심으로부터 거리측정 센서까지의 높이를 기초로 하여, 상기 팔꿈치의 접힘 각도를 산출할 수 있다.
본 발명의 일 실시 예에 있어서, 팔의 움직임 데이터를 산출하는 단계는 상기 전완부의 움직임 데이터, 상기 상완부의 움직임 데이터, 상기 손목의 움직임 데이터, 전완부의 길이, 상완부의 길이 및 손목의 길이를 기초로 하여, 상기 팔의 움직임 데이터를 산출할 수 있다.
본 발명의 일 실시 예에 있어서, 팔의 움직임 데이터를 산출하는 단계는 상기 팔의 움직임 데이터는 어깨의 위치, 팔꿈치의 위치 손목의 위치 및 손의 중심 위치를 각각 나타내는 좌표이고, 상기 어깨의 위치를 기준점으로 하고, 상기 기준점을 기초로 하여 상기 팔꿈치의 위치, 상기 손목의 위치, 상기 손의 중심 위치를 산출할 수 있다.
본 발명의 일 실시 예에 있어서, 팔의 움직임 데이터를 디스플레이에 출력하는 단계는 상기 어깨의 위치, 상기 팔꿈치의 위치, 상기 손목의 위치 및 상기 손의 중심 위치를 기초로 하여, 상기 제어부에 의해 생성된 팔 전체의 모형을 출력할 수 있다.
본 발명의 일 실시예에 따른 동작인식 시스템 및 방법은 팔의 전완부의 움직임과 팔꿈치의 접힘 정도를 관련 데이터와 손목의 움직임에 관한 데이터를 수신하여 팔의 움직임을 산출하여 디스플레이에 표시할 수 있다.
또한 본 발명에 의하면 전완부의 움직임과 팔꿈치의 접힘 정도를 나타내는 데이터를 이용하여 상완부의 움직임을 산출하고, 손목의 움직임을 측정할 수 있는 기기의 데이터와 결합시켜 팔 전체의 움직임을 보여줄 수 있는 7자유도를 구현할 수 있다.
또한 본 발명에 의하면 팔 전체의 움직임을 보여줄 수 있는 7 자유도의 구현을 통해 사용자의 편리성과 조작감 및 몰입감을 높이고 가상현실에서의 현실감을 높일 수 있다.
도1은 본 발명과 관련된 동작인식 디바이스를 설명하기 위한 블럭도이다.
도2는 본 발명과 관련된 사람의 인간 팔의 자유도를 설명하기 위한 도면이다.
도3은 본 발명과 관련된 착용 형태의 동작인식 디바이스의 일 예를 보인 사시도이다.
도4는 본 발명의 일 실시예에 따른 동작인식 디바이스의 동작 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른, 전완부의 움직임 데이터를 획득하는 방법을 설명하기 위한 도면이다
도 6은 본 발명의 실시 예에 따른, 팔꿈치의 접힘 각도를 획득하는 방법을 설명하기 위한 도면이다.
도7은 본 발명의 일 실시예에 따른 팔의 위치 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도8은 HMD 디바이스와 컨트롤 디바이스와 연결되는 동작인식 디바이스를 도시하는 도면이다.
도9는 본 발명의 일 실시예에 따른 팔과 손의 위치 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 인간 팔의 움직임을 디스플레이하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 실시 예에 따른 손과 팔의 움직임을 디스플레이하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 실시 예에 따른 화면 상에 디스플레이된 팔의 움직임을 설명하기 위한 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 *뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도1은 본 발명과 관련된 동작인식 디바이스(10)를 설명하기 위한 블럭도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 동작인식 디바이스(10)는 센싱부(110), 제어부(120), 통신부(130), 저장부(140), 전원부(150), 출력부(160), 사용자 입력부(170), 인터페이스부(180)를 포함할 수 있다. 도1에 도시된 구성요소들은 동작인식 디바이스(10)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 동작인식 디바이스(10)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
각 구성요소에 대해 구체적으로 살펴보면, 센싱부(110)는 동작인식 디바이스(10)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 또한, 센싱부(110)는 동작인식 디바이스(10)를 부착한 사용자의 팔의 움직임을 감지하고, 감지된 정보를 제어부(120)로 전달할 수 있다.
센싱부(110)는 자이로 센서(112)(gyro sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 거리측정 센서(111)(예를 들어, 레이저 센서, 초음파 센서, 적외선 센서, 라이다(LIDAR) 센서, 레이더(RADAR) 센서, 카메라 센서 등), 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 중력 센서(G-sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor), 배터리 게이지(battery gauge), 환경 센서, 화학 센서 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 동작인식 디바이스(10)는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
센싱부(110)에 포함될 수 있는 다양한 센서 중 대표적인 센서들의 대하여, 보다 구체적으로 살펴본다.
자이로 센서(112)는 자이로스코프가 내재된 물제가 회전운동을 하면서 생기는 회전 반발력을 측정하여 전기 신호로 바꿀 수 있다. 자이로 센서(112)는 감지한 가속도를 3개의 축에 대한 회전 벡터 값(롤(roll), 피치(pitch), 요(yaw))로 표현할 수 있고 광학식, 기계식, 압전형 등의 자이로 센서(112)일 수 있다. 자이로 센서(112)의 회전 인식 방법은 오일러 각도(Euler angle)를 이용하는 방법과 쿼터니언(Quaternion, 사원수)를 이용하는 방법이 있을 수 있다. 오일러 각도는 회전 벡터 값(롤(roll), 피치(pitch), 요(yaw))를 사용하고, 오일러 각도를 이용하여 x축, y축, z축의 세 축의 회전 과정에서 특정 축이 특정 각으로 회전했을 때 두 개의 회전축이 겹쳐서 한 축이 소실되는 현상인 짐벌락(Gimbal lock)이 발생할 수 있다. 쿼터니언은 오일러 회전에서 발생하는 짐벌락 문제를 해결하기 위한 방식으로 4차원 복소수 공간(Complex Space)의 벡터로서, 4개의 값(x, y, z, w)를 사용한다.
　거리측정 센서(111)는 빛, 소리, 전파와 같은 무형의 에너지를 이용하여 물체로부터 반사되어 돌아오면 그 이동 시간을 측정하여 매체의 속도(예를 들어, 빛, 소리, 전파 등)를 곱해주면 거리 단위의 수치가 나오는데 이 거리 값은 가는 거리와 돌아오는 거리이므로 이 값에서 2를 나누어 목표물까지의 거리를 측정할 수 있다. 거리 측정 센서 중에서 레이저 센서는 레이저를 이용하여 목표물에서 반사해 되돌아오는 시간(진동수, 위상, 변위)차이를 측정하여 거리를 구할 수 있고, 매우 정확하게 높은 해상도로 거리를 감지할 수 있다. 레이저를 이용한 거리 측정 방식들의 원리는 pulsed Modulation, Frequency Modulation, Phase shift, Triangulation, Interferometry 등이 있다. 레이저센서와 자이로센서의 기능을 활용하여 동작인식 디바이스(10)의 자세나 위치를 추정할 수 있다
제어부(120)는 동작인식 디바이스(10)의 전반적인 동작을 제어한다. 예를 들어, 제어부(120)는 저장부(140)에 저장된 프로그램들을 실행함으로써, 센싱부(110), 통신부(130), 저장부(140), 전원부(150), 출력부(160), 사용자입력부 등를 제어할 수 있다.
제어부(120)는 센싱부(110)에 의해 발생된 센싱 신호에 기초하여, 동작인식 디바이스(10)의 구동 또는 동작을 제어하거나, 동작인식 디바이스(10)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행할 수 있다.
예를 들어, 제어부(120)는 센싱부(110)에 의해 감지된 정보를 기초하여 팔의 위치나 움직임 속도, 움직임 방향 등으로 변환할 수 있다.
통신부(130)는 동작인식 디바이스(10)가 서버나 다른 기기와 데이터 등을 송신 또는 수신할 수 있는 연결을 구성해 준다. 또한 통신부(130)는 출력데이터를 서버나 다른 기기로 송신하거나 서버나 다른 기기로부터의 입력데이터를 수신할 수 있도록 한다.
통신부(130)는 블루투스(131), 근거리 무선 통신(132,Near Field Communication), WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 지그비(Zigbee), 적외선(IrDA, infrared Data Association), WFD(Wi-Fi Direct), UWB(ultra-wideband), Wireless USB(Wireless Universal Serial Bus),　Ant+ 등의 근거리 네트워크나 3G, LTE, LTE-A, 5G 등의 이동 통신 네트워크를 지원할 수 있다.
저장부(140)는, 제어부(120)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 애플리케이션, 콘텐트, 외부 디바이스의 시간대 정보, 주소록 등)을 저장할 수도 있다.
저장부(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스는 인터넷(internet) 상에서 메모리의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
전원부(150)는 제어부(120)의 제어 하에서, 외부의 전원, 내부의 전원을 인가받아 동작인식 디바이스(10)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원부(150)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
또한, 전원부(150)는 연결포트를 구비할 수 있으며, 연결포트는 배터리의 충전을 위하여 전원을 공급하는 외부 충전기가 전기적으로 연결되는 인터페이스의 일 예로서 구성될 수 있다.
다른 예로서, 전원부(150)는 상기 연결포트를 이용하지 않고 무선방식으로 배터리를 충전하도록 이루어질 수 있다. 이 경우에, 전원부(150)는 외부의 무선 전력 전송장치로부터 자기 유도 현상에 기초한 유도 결합(Inductive Coupling) 방식이나 전자기적 공진 현상에 기초한 공진 결합(Magnetic Resonance Coupling) 방식 중 하나 이상을 이용하여 전력을 전달받을 수 있다.
출력부(160)는 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 햅틱 모듈(163)(haptic module), 디스플레이부(161)와 음향 출력부(162)(160) 등이 포함될 수 있다.
햅틱 모듈(163)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(163)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅틱 모듈(163)에서 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부(120)의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈(163)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(163)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(163)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다
디스플레이부(161)는 동작인식 디바이스(10)에서 처리되는 정보를 표시 출력하는 것으로, 본 발명에 따른 동작인식 디바이스(10)와 별도로 물리적으로 분리된 TV, 모니터, 태블릿 PC 등의 디스플레이 장치 또는 모듈이 될 수 있다.
예를 들어, 디스플레이부(161)는 동작인식 디바이스(10)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
한편, 디스플레이부(161)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(161)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(161)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스의 구현 형태에 따라 동작인식 디바이스(10)는 디스플레이부(161)를 2개 이상 포함할 수도 있다
음향 출력부(162)(160)는 통신부(130)로부터 수신되거나 저장부(140)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(162)(160)는 동작인식 디바이스(10)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(162)(160)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
사용자 입력부(170)는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부(170)를 통해 정보가 입력되면, 제어부(120)는 입력된 정보에 대응되도록 동작인식 디바이스(10)의 동작을 제어할 수 있다. 이러한, 사용자 입력부(170)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 동작인식 디바이스(10)의 전·후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.
인터페이스부(180)는 동작인식 디바이스(10)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(180)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 동작인식 디바이스(10) 내부의 각 구성요소에 전달하거나, 동작인식 디바이스(10) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(180)에 포함될 수 있다.
도2는 본 발명과 관련된 사람의 인간 팔의 자유도를 설명하기 위한 도면이다.
산업계에서는 인간 팔과 비슷한 팔로 인간의 팔의 역할을 할 수 있는 로봇인 로봇 팔을 다양한 산업환경에서 활용하고 있다. 로봇 팔이 얼마나 자유롭게 움직일 수 있는가는 '자유도'(degrees of freedom)라는 말로 나타내고 있다. 로봇 팔의 관절이 위와 아래로만 움직여 한 군데 방향으로 쇠망치나 재단기 일을 하면 '자유도 1'이고, 아래위로 오르내리면서 회전하는 드릴은 두 군데 방향의 움직임이 있어서 '자유도 2'이고 여섯 군데 방향으로 움직이며 일할 수 있다면 '자유도 6'이라 한다. 인간 팔과 동일한 기능을 구현하기 위해서는 최소 7자유도를 갖는 장치가 필요하다.
도 2를 보면, 인간 팔을 모형화하여 7개의 회전축을 7자유도로 나타낼 수 있다. 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2, 손의 중심 위치(240) A3로 하여 각 관절 부위를 나타낼 수 있다. 어깨에서 팔꿈치까지의 팔의 부분인 상완부(211)는 어깨 위치(210) A0와 팔꿈치 위치(220) A1를 연결시키는 형태로 표시할 수 있다. 팔꿈치부터 손목까지의 팔의 부분인 전완부(221)는 팔꿈치 위치(220) A1와 손목 위치(230) A2를 연결시키는 형태로 표시할 수 있다. 팔의 움직임을 나타내기 위하여 어깨 위치(210) A0에서 각각의 축에 따라 어깨 상하 회전 각도 θ0x, 어깨 좌우 회전 각도 θ0y, 상완부(211)의 뒤틀림 각도 Φ0를 이용하여 어깨 관절의 움직임을 나타낼 수 있다. 팔꿈치 위치(220) A1에서 축을 따라 팔꿈치 접힘 각도 θ1x를 이용하여 팔꿈치 관절의 움직임을 나타낼 수 있다. 손목 위치(230) A2에서 손목 상하 회전 각도 θ2x, 손목 좌우 회전 각도 θ2y, 전완부(221)의 뒤틀림 각도 Φ1를 이용하여 손목 관절의 움직임을 나타낼 수 있다.
각 신체 부위의 절대각도를 Roll, Pitch, Yaw값으로 나타낼 수 있다. 팔 상완부(211)의 절대각도는 상완부(211)의 Roll 각도 ΦH, Pitch 각도 θH, Yaw 각도 ψH로 나타낼 수 있다. 팔 전완부(221)의 절대각도는 전완부(221)의 Roll 각도 ΦL, Pitch 각도 θL, Yaw 각도 ψL로 나타낼 수 있다. 손목의 절대각도는 손목 Roll 각도 ΦW, Pitch 각도 θW, Yaw 각도 ψW로 나타낼 수 있다.
자이로 센서(112)와 거리측정 센서(111), 가속도 센서 등의 다양한 센서를 이용하여, 팔의 각 관절 부위 A0, A1, A2에서의 위치 좌표 (x, y, z)와 각도 (θx, θy, θz)를 구하고, 각 관절의 위치 좌표와 각도 데이터의 변화를 통해 인간 팔의 움직임을 감지할 수 있다. 인간 팔의 움직임을 감지하기 위하여 상완부(211), 전완부(221) 및 손 부위에 센서를 포함하는 디바이스를 장착하거나 휴대하고 센서 값을 변화를 측정할 수 있다.
도3은 본 발명과 관련된 착용 형태의 동작인식 디바이스(10)의 일 예를 보인 사시도이다.
도 3에 도시된 착용 형태의 동작인식 디바이스(10)는 도 1에 도시된 하나 이상의 구성요소들을 포함할 수 있으며, 착용 형태의 동작인식 디바이스(10)에 포함되는 구성 요소는 도 1에서 설명하는 기능 및 이하에서 설명하는 동작인식 디바이스(10)의 구성 요소의 기능을 모두 수행할 수 있다.
도 3에 도시된 착용 형태의 동작인식 디바이스(10)의 센싱부(110)는 직육면체 형상을 가질 수 있으나, 이에 한정될 필요는 없고, 원형 형상, 타원 형상, 사각 형상을 가질 수도 있다. 본 발명의 본체(310)의 형상은 사용자에게 시각적으로 좋은 이미지를 줄 수 있으며 사용자의 동작 인식, 특히 팔의 동작 인식에 도움이 될 수 있는 어떠한 형상이라도 상관없다.
도 3를 참조하면, 착용 형태의 동작인식 디바이스(10)는 사람 팔의 움직임을 감지하는 센싱부(110), 감지된 신호를 처리하기 위한 제어부(120) 및 처리된 감지 신호를 외부로 전송하기 위한 제어부(120)를 구비하는 본체(310) 및 본체(310)에 연결되어 손목에 착용 가능하도록 구성되는 신체부착부(320)를 포함할 수 있다.
본체(310)는 외관을 형성하는 케이스를 포함할 수 있다. 도시된 바와 같이, 케이스는 각종 전자부품들을 수용하는 내부 공간을 마련하는 케이스를 포함할 수 있다.
센싱부(110)는 자이로 센서(112)를 이용하여 전완부(221)의 움직임을 감지하고 감지된 움직임 데이터를 획득할 수 있다. 또한 거리측정 센서(111)를 이용하여 상완부(211)까지의 거리를 측정하여 측정값을 획득할 수 있다. 전완부(221) 움직임 데이터와 거리측정 센서(111)로부터 상완부(211)까지의 거리 데이터는 제어부(120)로 전송되거나 통신부(130)를 통해 HMD(Head Mounted Display) 와 같은 외부기기로 전송될 수 있다.
또한, 센싱부(110)는 하나 이상의 센서를 포함하여, 사용자로부터 다양한 종류의 생체신호를 감지하는 역할을 할 수 있다.
센싱부(110)는 일정한 주기로 전완부의 움직임이나 다양한 생체신호를 감지하여 데이터를 획득할 수 있다.
제어부(120)로 전송된 전완부(221) 움직임 데이터와 거리측정 센서(111)로부터 상완부(211)까지의 거리 데이터를 기초로 하여, 팔꿈치 접힘 각도, 전완부(221)의 절대각도, 상완부(211)의 절대각도를 구하는 프로세스를 수행할 수 있다. 추가로 컨트롤 디바이스(50)와 같은 외부기기로부터 수신된 손목의 움직임 데이터를 기초로 하여, 손목의 절대각도를 구하는 프로세스도 수행할 수 있다. 손목의 절대 각도는 제어부(120)에서 구하지 않고, 컨트롤 디바이스(50)와 같이 손에 휴대할 수 있는 기기로부터 통신부(130)를 통해 수신할 수도 있다.
제어부(120)는 전완부(221)의 절대각도, 상완부(211)의 절대각도, 상완부(211) 길이 및 전완부(221) 길이를 기초로 하여, 인간 팔의 어깨 위치(210), 팔꿈치 위치(220), 손목 위치(230)를 구할 수 있다. 인간 팔의 어깨 위치(210), 팔꿈치 위치(220), 손목 위치(230) 데이터는 통신부(130)를 통해 HMD나 TV와 같은 디스플레이부(161)가 있는 장치로 전송될 수 있다. 또한 상완부(211)의 절대각도와 손목의 절대각도를 기초로 하여 손의 중심 위치(240)를 구할 수 있다. 손의 중심 위치(240) 데이터는 통신부(130)를 통해 HMD나 TV와 같은 디스플레이부(161)가 있는 장치로 전송될 수 있다.
착용 형태의 동작인식 디바이스(10)는 무선 통신이 가능하도록 통신부(130)를 포함할 수 있으며, 본체(310)에는 무선 통신을 위한 안테나가 설치될 수 있다. 한편, 안테나는 케이스를 이용하여 그 성능을 확장시킬 수 있다. 예를 들어, 도전성 재질을 포함하는 케이스가 안테나와 전기적으로 연결되어 그라운드 영역 또는 방사 영역을 확장시키도록 구성될 수 있다.
본체(310)의 일면에는 디스플레이부(161)가 배치되어 정보를 출력할 수 있으며, 디스플레이부(161)에는 터치센서가 구비되어 터치 스크린으로 구현될 수 있다.
본체(310)에는 저장부(140), 전원부(150), 출력부(160), 사용자 입력부(170), 인터페이스부(180) 등이 추가로 구비될 수 있다. 디스플레이부(161)가 터치 스크린으로 구현되는 경우, 사용자 입력부(170)로 기능할 수 있으며, 이에 따라 본체(310)에 별도의 키가 구비되지 않을 수 있다.
신체부착부(320)는 팔뚝에 착용되어 팔뚝을 감싸도록 이루어지며, 착용이 용이하도록 플렉서블 재질로 형성될 수 있다. 그러한 예로서, 신체부착부(320)는 가죽, 고무, 실리콘, 합성수지 재질 등으로 형성될 수 있다. 또한, 신체부착부(320)는 본체(310)에 착탈이 가능하게 구성되어, 사용자가 취향에 따라 다양한 형태의 신체부착부(320)로 교체 가능하게 구성될 수 있다.
한편, 신체부착부(320)는 안테나의 성능을 확장시키는 데에 이용될 수 있다. 예를 들어, 신체부착부(320)에는 안테나와 전기적으로 연결되어 그라운드 영역을 확장시키는 그라운드 확장 영역이 내장될 수 있다.
신체부착부(320)에는 패스너(Fastener, 미도시)가 구비될 수 있다. 패스너는 버클(buckle), 스냅핏(snap-fit)이 가능한 후크(hook) 구조, 또는 벨크로(velcro) 등에 의하여 구현될 수 있으며, 신축성이 있는 구간 또는 재질을 포함할 수 있다.
도4는 본 발명의 일 실시예에 따른 동작인식 디바이스(10)의 동작 방법을 설명하기 위한 도면이다.
본 발명의 실시 예에 따른 동작인식 디바이스(10)의 동작 방법은, 전완부(221)의 움직임 데이터를 획득하는 단계(S410), 상완부(211)와 전완부(221) 사이의 거리를 측정하는 단계(S420), 상완부(211)와 전완부(221) 사이의 거리 데이터를 이용하여 팔꿈치의 접힘 각도를 획득하는 단계(S430), 전완부(221)의 움직임 데이터를 이용하여 상완부(211)의 움직임 데이터 획득하는 단계(S440) 및 상완부(211)와 전완부(221)의 움직임 데이터 및 팔꿈치 접힘 각도를 이용하여 팔의 위치 데이터를 획득하는 단계(S450)를 포함할 수 있다.
단계(S410)는 인간 팔 중 팔꿈치에서 손목까지의 부분인 전완부(221)에 장착된 동작인식 디바이스(10)의 센싱부(110)를 통해서 전완부(221)의 움직임을 감지하고 감지된 움직임 데이터를 획득하는 과정일 수 있다. 여기서, 전완부(221)의 움직임 데이터는 센싱부(110)를 구성하는 자이로 센서(112)로부터 획득된 자이로 센서(112)의 3방향 각도(Φg, θg, ψg) 값으로부터 얻어진 3방향 각도(Roll 각도 ΦL, Pitch 각도 θL, Yaw 각도 ψL)를 나타내는 값으로 표시될 수 있다.
단계(S420)는 동작인식 디바이스(10)가 장착된 전완부(221)의 거리측정 센서(111)로부터 상완부(211)까지의 거리를 측정하여 측정값을 획득하는 과정일 수 있다. 여기서, 거리측정 센서(111)로부터 상완부(211)까지의 거리는 거리를 나타내는 mm, cm, m 등의 단위로 표시될 수 있다.
단계(S430)는 단계(420)에서 획득된 거리측정 센서(111)로부터 상완부(211)까지의 거리 데이터를 이용하여 팔꿈치의 접힘 정도를 나타내는 각도를 산출하는 과정일 수 있다. 여기서 팔꿈치의 접힘 각도는 각도를 나타내는 θ1x로 표시될 수 있다.
단계(S440)는 동작인식 디바이스(10)가 장착된 전완부(221)의 움직임 데이터를 이용하여 인간 팔 중 어깨에서 팔꿈치까지의 부분인 상완부(211)의 움직임를 나타내는 상완부(211) 움직임 데이터를 산출하는 과정일 수 있다. 여기서, 상완부(211)의 움직임 데이터는 3방향 각도(Roll 각도 ΦH, Pitch 각도 θH, Yaw 각도 ψH)를 나타내는 값으로 표시될 수 있다.
단계(S450)는 센싱부(110)로부터 획득된 전완부(221)의 움직임 데이터와 전완부(221)의 움직임 데이터로부터 산출된 상완부(211)의 움직임 데이터 및 팔꿈치 접힘 각도(θ1x)를 이용하여 팔의 어깨 위치(210), 팔꿈치 위치(220), 손목 위치(230) 데이터를 산출하는 과정일 수 있다. 팔의 어깨 위치(210), 팔꿈치 위치(220), 손목 위치(230)에 대한 데이터는 x, y, z 축의 좌표값으로 표시될 수 있다. 어깨 위치(210)는 팔꿈치 위치(220), 손목 위치(230), 손의 중심 위치(240)를 표시하기 위한 기준점으로서, 기준점에 해당하는 XYZ축의 좌표값인 (0, 0, 0)으로 나타낼 수 있고 별도로 추출이나 계산과정을 거치지 않을 수 있다.
도 5는 본 발명의 실시 예에 따른, 전완부(221)의 움직임 데이터를 획득하는 방법을 설명하기 위한 도면이다
도 5에서 도시하는 바와 같이 동작인식 디바이스(10)는 인간 팔에 장착될 수 있다. 동작인식 디바이스(10)는 인간 팔에 장착될 때, 손목의 뒤틀림에 영향을 받지 않도록 전완부(221)의 상부쪽인 팔꿈치에 가까운 부분에 장착될 수 있다. 동작인식 디바이스(10)는 팔꿈치 위치(220)와 손목 위치(230) 중에서 팔꿈치 위치(220)에 가까운 부분에 장착될 수 있다. 손목 움직임을 감지하기 위해서 손에 휴대가 가능한 컨트롤 디바이스(50)를 추가 구성할 수 있다. 컨트롤 디바이스(50)는 동작인식 디바이스(10)의 통신부(130)를 통해 무선 네트워크로 연결되거나 동작인식 디바이스(10)의 인터페이스부(180)를 통해 유선으로 연결될 수 있다.
전완부(221)에 장착된 동작인식 디바이스(10)는 센싱부(110)를 통해 전완부(221)의 움직임을 감지할 수 있다. 예를 들어, 전완부(221)의 움직임을 감지하기 위하여 센싱부(110)의 자이로 센서(112)를 통해 전완부(221)의 움직임을 감지할 수 있다. 자이로 센서(112)를 통해 감지된 전완부(221)의 움직임은 자이로 센서(112)의 3방향 각도(Φg, θg, ψg)값으로 얻을 수 있다. 동작인식 디바이스(10)가 전완부 (221)중에서 전완부(221)의 절대각도인 Roll ΦL값인 전완부(221)의 회전을 감지 못하는 윗부분에 착용됨에 따라 손에 휴대가 가능한 컨트롤 디바이스(50)가 연결되지 않은 경우에는 전완부(221)의 회전을 감지하지 못할 수 있다. 반면에 전완부(221)의 회전이 있더라도 손목의 위치 값은 변하지 않으므로 손목 위치(230)를 알 수 있다. 상기 자이로 센서(112)의 3방향의 각도를 통해 전완부(221)의 절대각도인 θL, ψL를 아래 같은 식으로 나타낼 수 있다.
Figure PCTKR2018012739-appb-I000001
Figure PCTKR2018012739-appb-I000002
(알 수 없음)
Figure PCTKR2018012739-appb-I000003
도 6은 본 발명의 실시 예에 따른, 팔꿈치의 접힘 각도를 획득하는 방법을 설명하기 위한 도면이다.
도 6에서 도시하는 바와 같이, 동작인식 디바이스(10)가 인간 팔의 전완부(221) 상부쪽인 팔꿈치에 가까운 부분에 장착되었을 때, 동작인식 디바이스(10)의 센싱부(110)를 통해 거리를 측정할 수 있다. 센싱부(110)의 거리측정 센서(111)의 측정 거리 Ds는 거리측정 센서(111)의 발광부에 발사한 빛, 소리, 전파와 같은 무형의 에너지가 팔 상완부(211)에 반사되어 수광부로 돌아온 속도를 이용하여 거리를 측정할 수 있다.
거리측정 센서(111)의 측정 거리 Ds는 팔꿈치 위치(220) A1의 중심과 손목 위치(230) A2의 중심을 연결한 선과 평행한 방향으로 거리측정 센서(111)와 동일한 선 상에 위치한 상완부(211)의 가까운 지점과의 거리일 수 있다. 거리측정 센서(111)와 팔꿈치 사이의 거리 ds는 센서로부터 팔꿈치 위치(220) A1의 중심과 손목 위치(230) A2의 중심을 연결한 선에 수직으로 긋은 수직선이 만나는 점과 팔꿈치 위치(220) A1의 중심까지의 거리일 수 있다.
거리측정 센서(111)와 팔꿈치 사이의 거리 ds는 동작인식 디바이스(10)를 전완부(221)에 착용할 때마다 달리지는 부분이 있어서, 동작인식 디바이스(10)가 콘텐츠와 연결되거나 콘텐츠가 실행될 때 수치 조정(Calibration) 과정을 거쳐 결정할 수 있다. 거리측정 센서(111)와 팔꿈치 사이의 거리 ds는 사용자가 임의값을 정하여 반영할 수 있다.
팔꿈치 중심으로부터 거리측정 센서(111)까지의 높이 hs는 거리측정 센서(111)로부터 팔꿈치 위치(220) A1의 중심과 손목 위치(230) A2의 중심을 연결한 선과 수직으로 만나는 선의 길이로 나타낼 수 있다. 팔꿈치 중심으로부터 거리측정 센서(111)까지의 높이 hs는 사용자별로 측정하지 않고 특정 성별과 나이를 갖는 사람의 팔 전완부(221) 상부의 두께에 대한 통계치로부터 팔 전완부(221) 상부의의 반지름 길이에 동작인식 디바이스(10)의 신체 부착면으로부터 거리측정 센서(111)까지의 높이를 더한 값을 사용할 수 있다. 예를 들어, 팔꿈치 중심으로부터 거리측정 센서(111)까지의 높이 hs는 주게임층인 30대 남성의 팔 전완부(221) 상부 두께에 대한 통계치로부터 계산하여 사용할 수 있다.
거리측정 센서(111)를 통해 전완부(221)에 위치한 동작인식 디바이스(10)의 위치에서 팔꿈치가 접혀짐에 따라 거리측정 센서(111)의 측정 거리 Ds가 줄어드는 것을 측정하여 팔꿈치의 접힘 각도 θ1x를 유도할 수 있다. 팔꿈치 굽힘이 90도 일 때, 거리측정 센서(111)의 측정 거리측정 센서(111)의 측정 거리 Ds와 거리측정 센서(111)와 팔꿈치 사이의 거리 ds이 같아질 수 있다. 거리측정 센서(111)의 측정 거리 거리측정 센서(111)의 측정 거리 Ds가 거리측정 센서(111)와 팔꿈치 사이의 거리 ds보다 커지는 경우는 팔이 펴져 있는 상태를 나타낼 수 있다. 거리측정 센서(111)의 측정 거리 Ds가 거리측정 센서(111)와 팔꿈치 사이의 거리 ds보다 작아지는 경우는 팔을 굽힌 상태를 나타낼 수 있다.
거리측정 센서(111)와 팔꿈치 사이의 거리 ds, 팔꿈치 중심으로부터 거리측정 센서(111)까지의 높이 hs는 일정한 상수이므로 거리측정 센서(111)의 측정 값을 알면 tan함수를 통해 팔꿈치 접힘 각도 θ1x를 유도할 수 있다. 이를 통해 구해진 센싱부(110)의 거리측정 센서(111)의 측정 거리 Ds, 거리측정 센서(111)와 팔꿈치 사이의 거리 ds, 팔꿈치 중심으로부터 거리측정 센서(111)까지의 높이 hs는 팔꿈치의 접힘 각도 θ1x와 아래와 같은 관계가 있음을 알 수 있다.
Figure PCTKR2018012739-appb-I000004
위의 관계식으로부터 팔꿈치의 접힘 각도 θ1x를 구하는 식을 아래와 같이 유도할 수 있다.
Figure PCTKR2018012739-appb-I000005
팔꿈치의 접힘 각도 θ1x를 구하는 과정은 동작인식 디바이스(10)에서 수행될 수 있고, HMD나 TV와 같은 디스플레이부(161)가 있는 장치에서 동작인식 디바이스(10)의 거리측정 센서(111)의 측정 거리 Ds값을 수신하여 수행될 수도 있다.
발명의 실시 예에 따른 상완부(211)의 절대각도인 ΦH, θH, ψH를 구하는 과정에 대해 살펴보기로 한다.
팔꿈치 접힘이 없는 상태를 가정하여, 전완부(221)의 상부쪽인 팔꿈치에 가까운 부분에 장착된 동작인식 디바이스(10)의 자이로 센서(112)에서 측정한 3방향의 각도(Roll Φg, Pitch θg, Yaw ψg) 값 중에서 Roll Φg 값을 상완부(211)의 뒤틀림 각도 Φ0으로 설정할 수 있고, 나머지 두 개 Pitch θg, Yaw ψg값을 이용하여 어깨 상하 회전 각도 θ0x, 어깨 좌우 회전 각도 θ0y을 얻을 수 있다. 어깨 상하 회전 각도 θ0x, 어깨 좌우 회전 각도 θ0y를 구할 때, 팔꿈치 접힘의 정도를 함께 고려하여 각각의 각도를 계산해야 하므로 팔꿈치의 접힘 각도 θ1x를 활용할 수 있다. 또한 팔꿈치의 접힘 각도 θ1x는 상완부(211)의 뒤틀림 각도 Φ0에 영향을 받아 회전축이 바뀌므로, 자이로 센서(112)에서 측정한 Pitch θg, Yaw ψg값에 상완부(211)의 뒤틀림 각도 Φ0의 가중치를 곱한 팔꿈치의 접힘 각도 θ1x값을 더해 주어야 어깨 상하 회전 각도 θ0x, 어깨 좌우 회전 각도 θ0y를 구할 수 있다. 위와 같은 과정을 거쳐, 전완부(221)에 부착한 동작인식 디바이스(10)를 이용하여 상완부(211)의 움직임 데이터를 구할 수 있다.
센싱부(110)의 자이로 센서(112)의 3방향의 각도를 통해 팔 전완부(221)의 절대적인 각도(θL, ψL)를 알 수 있으며, 팔꿈치의 접힘 각도 θ1x은 팔 상완부(211)의 뒤틀림 방향(Φ0)에 따라 축이 회전한다는 점을 통해 자이로 센서(112)의 3방향의 각도(Roll Φg, Pitch θg, Yaw ψg)와 어깨 상하 회전 각도 θ0x, 어깨 좌우 회전 각도 θ0y, 상완부(211)의 뒤틀림 각도 Φ0가 아래 같은 관계가 있음을 알 수 있다.
Figure PCTKR2018012739-appb-I000006
Figure PCTKR2018012739-appb-I000007
Figure PCTKR2018012739-appb-I000008
위의 식으로부터 어깨 상하 회전 각도 θ0x, 어깨 좌우 회전 각도 θ0y, 상완부(211)의 뒤틀림 각도 Φ0를 아래와 같은 식으로 도출할 수 있다.
Figure PCTKR2018012739-appb-I000009
Figure PCTKR2018012739-appb-I000010
Figure PCTKR2018012739-appb-I000011
팔 상완부(211)의 절대각도인 상완부(211)의 Roll 각도 ΦH, Pitch 각도 θH, Yaw 각도 ψH는 각각 상완부(211)의 뒤틀림 각도 Φ0, 상하 회전 각도 θ0x, 어깨 좌우 회전 각도 θ0y와 동일한 값을 같게 됨을 알 수 있다. 따라서 상완부(211)의 절대각도인 ΦH, θH, ψH를 아래 같은 식으로 나타낼 수 있다.
Figure PCTKR2018012739-appb-I000012
Figure PCTKR2018012739-appb-I000013
Figure PCTKR2018012739-appb-I000014
도7은 본 발명의 일 실시예에 따른 팔의 위치 데이터를 획득하는 방법을 설명하기 위한 도면이다.
본 발명의 실시 예에 따른 팔의 위치 데이터를 획득하는 방법은, 어깨 위치(210) A0기준점으로 설정하는 단계(S710), 상완부(211) 길이 L1과 전완부(221) 길이 L2 획득하는 단계(720), 팔꿈치 위치(220) A1를 획득하는 단계(S730) 및 손목 위치(230) A2를 획득하는 단계(S740)를 포함할 수 있다.
단계(S710)에서, 어깨 위치(210)는 팔꿈치 위치(220), 손목 위치(230), 손의 중심 위치(240)를 표시하기 위한 기준점으로서, 기준점에 해당하는 XYZ축의 좌표값인 (0, 0, 0)으로 나타낼 수 있고 별도로 추출이나 계산과정을 거치지 않을 수 있다.
단계(S720)에서, 상완부(211) 길이 L1과 전완부(221) 길이 L2는 사용자의 실제 상완부(211)와 전완부(221)의 길이를 측정을 통해 구할 수 있다. 상완부(211) 길이 L1과 전완부(221) 길이 L2는 사용자별로 측정하지 않고 특정 성별과 나이를 갖는 사람의 팔 전완부(221) 상부의 길이 대한 통계치를 사용할 수 있다. 예를 들어, 상완부(211) 길이 L1과 전완부(221) 길이 L2는 주게임층인 30대 남성의 팔 길이에 대한 통계치로부터 계산하여 사용할 수 있다
단계(S730)에서, 기준점인 어깨 위치(210) A0의 좌표값인 (0, 0, 0)로부터의 상대 위치인 팔꿈치 위치(220) A1를 획득할 수 있다. 팔꿈치 위치(220) A1는 상완부(211)의 절대각도인 ΦH, θH, ψH와 상완부(211) 길이 L1을 통해서 아래 식으로 구할 수 있다.
Figure PCTKR2018012739-appb-I000015
단계(S740)에서, 기준점인 어깨 위치(210) A0의 좌표값인 (0, 0, 0)로부터의 상대 위치인 팔꿈치 위치(220) A1를 획득할 수 있다. 손목 위치(230) A2는 팔꿈치 위치(220) A1와 전완부(221)의 절대각도인 θL, ψL, 전완부(221) 길이 L2을 통해서 아래 식으로 구할 수 있다.
Figure PCTKR2018012739-appb-I000016
위의 단계를 통해 인간 팔의 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2를 구할 수 있고, A1, A2 값의 변화를 통해 팔의 움직임을 감지할 수 있다.
도8은 HMD 디바이스와 컨트롤 디바이스(50)와 연결되는 동작인식 디바이스(10)를 도시하는 도면이다.
HMD 디바이스(80)는 사용자의 머리에 착용 가능한 형태를 갖는 디스플레이 장치로서, 사용자의 눈앞에 화면을 표시하는 디스플레이를 통해 가상 현실(VR, Virtual Reality)의 세계를 보여주거나, 실제 외계와 함께 증강 현실(AR, Augmented Reality)의 영상을 보여줄 수 있다.
컨트롤 디바이스(50)는 컨트롤 디바이스(50)의 움직임을 감지할 수 있는 다양한 센서를 통해 컨트롤 디바이스(50)의 움직임을 감지하여 디스플레이 장치로 컨트롤 디바이스(50)의 움직임 데이터를 전송할 수 있다. 상기 디스플레이 장치는 HMD 디바이스(80)를 포함할 수 있다. 컨트롤 디바이스(50)는 손에 휴대할 수 있는 형태로 제작되어 손목의 움직임을 감지하고 움직임 데이터를 생성하여 디스플레이 장치나 동작인식 디바이스(10)로 전송할 수 있다. 전송된 컨트롤 디바이스(50)나 손목의 움직임을 기초로 하여 디스플레이 장치에서 실행되고 있는 어플리케이션에 제어 명령을 줄 수 있다. 또한 전송된 컨트롤 디바이스(50)나 손목의 움직임 데이터를 기초로 하여 디스플레이 장치 상에 실행되고 있는 어플리케이션 내의 객체를 움직임을 제어할 수 있다. 어플리케이션 내의 객체나 사람이 될 수도 있고, 어플리케이션 내의 필요한 도구일 수도 있다.
동작인식 디바이스(10)는 디스플레이 장치의 어플리케이션으로 보낸 제어 명령이나 객체의 움직임 제어 명령에 대한 피드백으로 진동이나 소리 등을 출력할 수 있다. 또한 동작인식 디바이스(10)는 가상 현실 환경에서 동작인식 디바이스의 움직임에 대한 제약이나 외부의 충격을 받는 경우에도 그에 대한 피드백으로 진동이나 소리 등을 출력할 수 있다.
컨트롤 디바이스(50)는 도1의 동작인식 디바이스(10)의 구성의 한 예로서 손에 휴대가 용이한 형태로 제작될 수 있다. 컨트롤 디바이스(50)의 센싱부(510)는 컨트롤 디바이스(50)를 손에 휴대한 사용자의 손목의 움직임을 감지하고, 감지된 손목의 움직임 정보를 컨트롤 디바이스(50)의 통신부(530)로 전달할 수 있다. 감지된 손목의 움직임 데이터는 컨트롤 디바이스(50)의 통신부(530)에 의해 동작인식 디바이스(10) 전송될 수 있다. 또한, 감지된 손목의 움직임 데이터는 HMD 디바이스(80)나 TV와 같은 디스플레이부(810)가 있는 기기로 전송될 수 있다.
컨트롤 디바이스(50)는 손목의 움직임을 감지하기 위하여 센싱부(510)의 자이로 센서(520)를 통해 손목의 움직임을 감지할 수 있다. 자이로 센서(520)를 통해 감지된 손목의 움직임 데이터는 자이로 센서(520)의 3방향 각도(Φm, θm, ψm)값으로 얻어질 수 있다.
HMD 디바이스(80)는 통신부(830)를 통해 동작인식 디바이스(10)의 통신부(130)로부터 전완부(221)의 움직임 데이터와 거리측정 센서(111)의 측정 거리 Ds값을 수신할 수 있다. 또한 HMD 디바이스(80)는 통신부(830)를 통해 컨트롤 디바이스(50)의 통신부(530)로부터 손목의 움직임 데이터를 수신할 수 있다. HMD 디바이스(80) 의 제어부(820)는 수신된 전완부(221)의 움직임 데이터와 거리측정 센서(111)의 측정 거리 Ds을 이용하여 상완부(211)의 움직임 데이터를 산출할 수 있다. HMD 디바이스(80)의 제어부(820)는 전완부(221)의 움직임 데이터, 상완부(211)의 움직임 데이터 및 손목의 움직임 데이터를 이용하여 어깨 위치(210), 팔꿈치 위치(220), 손목 위치(230) 및 손의 중심 위치(240)를 산출할 수 있다. HMD 디바이스(80)의 제어부(820)는 전완부(221)의 움직임 데이터, 상완부(211)의 움직임 데이터 및 손목의 움직임 데이터를 이용할 때, 동일 시간 대의 전완부(221)의 움직임 데이터와 거리측정 센서(111)의 측정 거리 Ds값, 손목의 움직임 데이터를 이용하여 사용자의 팔의 움직임을 정확하게 산출할 수 있다. 산출된 어깨 위치(210), 팔꿈치 위치(220), 손목 위치(230) 및 손의 중심 위치(240)를 기초로 하여 HMD 디바이스(80)의 제어부(820)를 통해 팔의 모형 데이터를 생성하고, 디스플레이부(810)를 통해 출력할 수 있다. 따라서 동작 인식 디바이스(10)와 컨트롤 디바이스(50)를 모두 또는 둘 중의 하나를 착용한 사용자가 팔을 움직임에 따라 발생된 움직임 데이터를 이용하여 HMD 디바이스(50)의 디스플레이부(810)를 통해 실시간으로 사용자의 팔의 움직임을 팔 모형을 통해 보여줄 수 있다.
동작인식 디바이스(10)나 HMD 디바이스(80)는 각각의 통신부(130, 830)를 통해 컨트롤 디바이스(50)의 통신부(530)로부터 손목의 움직임 데이터를 수신할 수 있다. 수신된 손목의 움직임 데이터(Φm, θm, ψm)를 이용하여 손목의 절대각도인 ΦW, θW, ψW를 아래 같은 식으로 나타낼 수 있다.
Figure PCTKR2018012739-appb-I000017
Figure PCTKR2018012739-appb-I000018
Figure PCTKR2018012739-appb-I000019
추가로 동작인식 디바이스(10)는 손목의 움직임 데이터의 롤 값 Φm와 상완부(211)의 뒤틀림 각도 Φ0를 이용하여 전완부(221)의 뒤틀림 각도 Φ1를 아래와 같이 구할 수 있다.
Figure PCTKR2018012739-appb-I000020
컨트롤 디바이스(50)는 손목의 3 자유도 값을 보여주는 기능을 수행할 수 있고, 동작인식 디바이스(10)는 팔꿈치의 접힘 각도 θ1x와 전완부(221)의 3 자유도 값을 추가로 알 수 있도록 하여 팔 전체의 움직임을 보여줄 수 있는 7 자유도를 구현할 수 있다.
도9는 본 발명의 일 실시예에 따른 팔과 손의 위치 데이터를 획득하는 방법을 설명하기 위한 도면이다.
본 발명의 실시 예에 따른 팔의 위치 데이터를 획득하는 방법은, 어깨 위치(210) A0 기준점으로 설정하는 단계(S910), 상완부(211) 길이 L1과 전완부(221) 길이 L2 획득하는 단계(920), 팔꿈치 위치(220) A1를 획득하는 단계(S930), 손목 위치(230) A2를 획득하는 단계(S940) 및 손의 중심 위치(240) A3를 획득하는 단계(S950)를 포함할 수 있다.
단계(S910)에서, 어깨 위치(210)는 팔꿈치 위치(220), 손목 위치(230), 손의 중심 위치(240)를 표시하기 위한 기준점으로서, 기준점에 해당하는 XYZ축의 좌표값인 (0, 0, 0)으로 나타낼 수 있고 별도로 추출이나 계산과정을 거치지 않을 수 있다.
단계(S920)에서, 상완부(211) 길이 L1과 전완부(221) 길이 L2 손의 길이 L3는 사용자의 실제 상완부(211)와 전완부(221), 손의 길이를 측정을 통해 구할 수 있다. 상완부(211) 길이 L1과 전완부(221) 길이 L2, 손의 길이 L3는 사용자별로 측정하지 않고 특정 성별과 나이를 갖는 사람의 팔 전완부(221) 상부의 길이, 손의 길이에 대한 통계치를 사용할 수 있다. 예를 들어, 상완부(211) 길이 L1과 전완부(221) 길이 L2, 손의 길이 L3는 주게임층인 30대 남성의 팔 길이에 대한 통계치로부터 계산하여 사용할 수 있다
단계(S930)에서, 기준점인 어깨 위치(210) A0의 좌표값인 (0, 0, 0)로부터의 상대 위치인 팔꿈치 위치(220) A1를 획득할 수 있다. 팔꿈치 위치(220) A1는 상완부(211)의 절대각도인 ΦH, θH, ψH와 상완부(211) 길이 L1을 통해서 아래 식으로 구할 수 있다.
Figure PCTKR2018012739-appb-I000021
단계(S940)에서, 기준점인 어깨 위치(210) A0의 좌표값인 (0, 0, 0)로부터의 상대 위치인 팔꿈치 위치(220) A1를 획득할 수 있다. 손목 위치(230) A2는 팔꿈치 위치(220) A1와 전완부(221)의 절대각도인 θL, ψL, 전완부(221) 길이 L2을 통해서 아래 식으로 구할 수 있다.
Figure PCTKR2018012739-appb-I000022
단계(S950)에서, 기준점인 어깨 위치(210) A0의 좌표값인 (0, 0, 0)로부터의 상대 위치인 손의 중심 위치(240) A3를 획득할 수 있다. 손의 중심 위치(240) A3는 손목 위치(230) A2와 손목의 절대각도인 ΦW, θW, ψW, 손의 길이 L3을 통해서 아래 식으로 구할 수 있다.
Figure PCTKR2018012739-appb-I000023
위의 단계를 통해 인간 팔의 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2, 손의 중심 위치(240) A3를 구할 수 있고, A1, A2, A3 값의 변화를 통해 팔과 손의 움직임을 감지할 수 있다
도 10은 본 발명의 실시 예에 따른 인간 팔의 움직임을 디스플레이하는 방법을 설명하기 위한 도면이다.
본 발명의 실시 예에 따른 인간 팔의 움직임을 디스플레이하는 방법은, 팔의 움직임 데이터를 수신하는 단계(S1010), 팔 위치 데이터를 획득하는 단계(S1020), 팔 위치 데이터를 이용하여 팔 형상을 생성하는 단계(S1030) 및 팔 형상 출력 하는 단계(S1040) 를 포함할 수 있다.
단계(S1010)는 동작인식 디바이스(10)가 송신한 팔의 움직임 데이터를 HMD 디바이스(80)나TV와 같은 디스플레이부(161)가 있는 장치에서 수신하는 과정일 수 있다. 팔의 움직임 데이터는 동작인식 디바이스(10)에 의해 생성된 팔의 전완부(221)의 움직임 데이터와 전완부(221)와 상완부(211) 사이의 거리값을 포함할 수 있다. 전완부(221) 움직임 데이터와 전완부(221)와 상완부(211) 사이의 거리값은 동작인식 디바이스(10)나 컨트롤 디바이스(50)에 의해 획득된 센싱부(110, 801)의 측정값일 수 있다. 예를 들어, 동작인식 디바이스(10)의 자이로 센서(112)를 통해 감지된 전완부(221)의 움직임은 자이로 센서(112)의 3방향 각도(Φg, θg, ψg)값으로 HMD 디바이스에서 수신할 수 있다. 전완부(221)와 상완부(211) 사이의 거리값은 도6에서 설명하고 있는 센싱부(110)의 거리측정 센서(111)의 측정 거리 Ds값으로 HMD 디바이스에서 수신할 수 있다.
팔의 움직임 데이터는 동작인식 디바이스(10)에서 생성된 팔의 위치 데이터에 해당하는 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2 값으로 HMD 디바이스에서 수신할 수 있고, 이 경우에는 단계(S1020)의 팔 위치 데이터를 획득하는 과정을 생략할 수 있다. 또한 어깨 위치(210) A0는 기준값으로 전송을 생략할 수 있다.
단계(S1020)는 팔의 위치를 나타낼 수 있는 팔의 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2 값을 구하는 과정일 수 있다. 팔의 위치 데이터는 팔의 전완부(221)의 움직임 데이터와 전완부(221)와 상완부(211) 사이의 거리값을 기초로 하여, 도5, 도6 및 도7에서 설명하고 있는 전완부(221) 절대각도, 상완부(211) 절대각도, 팔꿈치의 접힘 각도 및 팔의 위치 데이터 획득 방법을 통해 얻을 수 있다. 단계(S1020)를 통해 인간 팔의 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2를 구할 수 있고, A1, A2값의 변화를 통해 팔의 움직임을 감지할 수 있다. 팔의 위치 데이터를 단계(S1020)에서 구하는 과정 없이 동작인식 디바이스(10)로부터 HMD 디바이스(80)나 TV등의 디스플레이부(161)를 포함하고 있는 장치에서 직접 수신할 수도 있다.
단계(S1030)는 팔의 형상을 디스플레이에 나타내기 위하여 팔의 위치 데이터를 이용하여 팔의 형상을 생성하는 과정일 수 있다. 어깨 위치(210) A0는 어깨의 중심점의 위치를 나타내고, 팔꿈치 위치(220) A1는 팔꿈치 중심의 위치를 나타내고, 손목 위치(230) A2는 손목 관절의 중심의 위치를 나타낼 수 있다. 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2 값을 이용하여 팔 전체의 모양을 나타내고, 손의 형상은 팔 전완부(221)에 일정한 방향으로 손을 펴거나 쥐고 있는 형상으로 나타낼 수 있다.
단계(S1040)는 생성된 팔의 형상을 디스플레이부(161)에 출력하는 과정일 수 있다. 팔의 위치 데이터가 변함에 따라 팔의 움직임을 디스플레이부(161)에 나타낼 수 있다. 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2 값에 의해 사용자의 어깨 관절과 팔꿈치 관절의 움직임을 디스플레이부(161)에 실시간으로 나타낼 수 있다.
도 11은 본 발명의 실시 예에 따른 손과 팔의 움직임을 디스플레이하는 방법을 설명하기 위한 도면이다.
본 발명의 실시 예에 따른 손과 팔의 움직임을 디스플레이하는 방법은, 손과 팔의 움직임 데이터를 수신하는 단계(S1110), 손과 팔 위치 데이터를 획득하는 단계(S1120), 손과 팔 위치 데이터를 이용하여 팔 형상을 생성하는 단계(S1030) 및 팔 형상 출력 하는 단계(S1040) 를 포함할 수 있다.
단계(S1110)는 동작인식 디바이스(10)가 송신한 손과 팔의 움직임 데이터를 HMD 디바이스(80)나TV와 같은 디스플레이부(161)가 있는 장치에서 수신하는 과정일 수 있다. 동작인식 디바이스(10)가 송신한 손의 움직임 데이터는 컨트롤 디바이스(50)가 생성하여 동작인식 디바이스(10)로 전송한 데이터일 수 있다. 또한, HMD 디바이스(80)나TV와 같은 디스플레이부(810)가 있는 장치는 손의 움직임 데이터를 컨트롤 디바이스(50)로부터 수신하고, 팔의 움직임 데이터를 동작인식 디바이스(10)로부터 수신할 수 있다. 손의 움직임 데이터는 컨트롤 디바이스(50)에 의해 생성된 손목의 움직임 데이터를 포함할 수 있다. 손목 움직임 데이터는 컨트롤 디바이스(50)에 의해 획득된 센싱부(510)의 측정값일 수 있다. 팔의 움직임 데이터는 동작인식 디바이스(10)에 의해 생성된 팔의 전완부(221)의 움직임 데이터와 전완부(221)와 상완부(211) 사이의 거리값을 포함할 수 있다. 전완부(221) 움직임 데이터와 전완부(221)와 상완부(211) 사이의 거리값은 동작인식 디바이스(10)나 컨트롤 디바이스(50)에 의해 획득된 센싱부(510)의 측정값일 수 있다. 예를 들어, 컨트롤 디바이스(50)의 자이로 센서(520)를 통해 감지된 손목의 움직임은 자이로 센서(112)의 3방향 각도(Φm, θm, ψm)값으로 HMD 디바이스에서 직접 수신하거나 동작인식 디바이스(10)가 수신하여 HMD 디바이스로 전달할 수 있다. 동작인식 디바이스(10)의 자이로 센서(112)를 통해 감지된 전완부(221)의 움직임은 자이로 센서(112)의 3방향 각도(Φg, θg, ψg)값으로 HMD 디바이스에서 수신할 수 있다. 전완부(221)와 상완부(211) 사이의 거리값은 도6에서 설명하고 있는 센싱부(110)의 거리측정 센서(111)의 측정 거리 Ds값으로 HMD 디바이스에서 수신할 수 있다.
손과 팔의 움직임 데이터는 동작인식 디바이스(10)에서 생성된 팔의 위치 데이터에 해당하는 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2, 손의 중심 위치(240) A3 값으로 HMD 디바이스에서 수신할 수 있고, 이 경우에는 단계(S1120)의 팔 위치 데이터를 획득하는 과정을 생략할 수 있다. 또한 어깨 위치(210) A0는 기준값으로 전송을 생략할 수 있다.
단계(S1120)는 손과 팔의 위치를 나타낼 수 있는 팔의 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2, 손의 중심 위치(240) A3값을 구하는 과정일 수 있다. 손과 팔의 위치 데이터는 손목의 움직임 데이터, 전완부(221) 움직임 데이터 및 전완부(221)와 상완부(211) 사이의 거리값을 기초로 하여, 도5, 도6 및 도9에서 설명하고 있는 손목 절대각도, 전완부(221) 절대각도, 상완부(211) 절대각도, 팔꿈치의 접힘 각도 및 팔의 위치 데이터 획득 방법을 통해 얻을 수 있다. 단계(S1120)를 통해 인간 팔의 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2, 손의 중심 위치(240) A3를 구할 수 있고, A1, A2, A3 값의 변화를 통해 팔과 손의 움직임을 감지할 수 있다. 손과 팔의 위치 데이터를 단계(S1120)에서 구하는 과정 없이 동작인식 디바이스(10)로부터 HMD 디바이스(80)나 TV등의 디스플레이부(161)를 포함하고 있는 장치에서 직접 수신할 수도 있다.
단계(S1130)는 팔의 형상을 디스플레이에 나타내기 위하여 손과 팔의 위치 데이터를 이용하여 팔의 형상을 생성하는 과정일 수 있다. 어깨 위치(210) A0는 어깨의 중심점의 위치를 나타내고, 팔꿈치 위치(220) A1는 팔꿈치 중심의 위치를 나타내고, 손목 위치(230) A2는 손목 관절의 중심의 위치를 나타내고, 손의 중심 위치(240) A3는 손의 중심의 위치를 나타낼 수 있다. 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2, 손의 중심 위치(240) A3 값을 이용하여 손을 포함한 팔 전체의 모양을 나타낼 수 있다.
단계(S1140)는 생성된 팔의 형상을 디스플레이부(161)에 출력하는 과정일 수 있다. 팔의 위치 데이터가 변함에 따라 팔의 움직임을 디스플레이부(161)에 나타낼 수 있다. 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2, 손의 중심 위치(240) A3 값에 의해 사용자의 어깨 관절, 팔꿈치 관절 및 손목 관절의 움직임을 디스플레이부(161)에 실시간으로 나타낼 수 있다.
도 12는 본 발명의 실시 예에 따른 화면 상에 디스플레이된 팔의 움직임을 설명하기 위한 도면이다.
팔의 움직임은 디스플레이부(161)를 포함하고 있는 HMD 디바이스(80)나 TV등의 다양한 기기에 의해 디스플레이될 수 있다. 팔의 위치는 나타내기 위해 어깨 위치(210) A0, 팔꿈치 위치(220) A1, 손목 위치(230) A2, 손의 중심 위치(240) A3 값을 이용하여 사용자의 어깨 관절, 팔꿈치 관절 및 손목 관절의 움직임을 디스플레이부(161)에 나타낼 수 있다. 여기서, 손의 중심 위치(240) A3 값을 별도로 계산하지 않고 손목 관절의 움직임 없이 팔 전완부(221)에 일정한 방향으로 손을 펴거나 쥐고 있는 형상으로 나타낼 수 있다. 손의 중심 위치(240) A3 값을 이용하지 않으므로 손목의 움직임 데이터를 감지하기 위한 컨트롤 디바이스(50) 없이 동작인식 디바이스(10)에 의해 감지된 데이터만으로 팔의 움직임을 나타낼 수 있다. 팔의 움직임을 감지하기 위해 동작인식 디바이스(10)가 한쪽 팔에만 장착되었을 경우, 한 쪽 팔의 형상만 디스플레이 장치에 나타내거나, 다른 쪽 팔의 형상을 동일한 움직임을 보여주도록 하여 두 팔의 형상 모두를 디스플레이 장치에 나타낼 수 있다. 팔의 움직임을 감지하기 위해 동작인식 디바이스(10)가 양쪽 팔에만 장착되었을 경우, 왼팔과 오른팔의 움직임을 독립적으로 디스플레이 장치에 나타낼 수 있다. 디스플레이 장치에 표시되는 인체의 형상은 전신의 모습, 상반신의 모습, 팔 부분만의 모습 등 다양한 형태로 표시될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
발명의 실시를 위한 형태는 위의 발명의 실시를 위한 최선의 형태에서 함께 기술되었다.
본 발명은 동작인식 디바이스에 관한 것으로 , 동작인식 디바이스를 이용하는 장치에 적용 가능하고, 반복 가능성이 있어 산업상 이용 가능성이 있다.

Claims (19)

  1. 사용자의 전완부의 움직임 데이터와 거리 데이터를 제1디바이스로부터 수신하는 통신부;
    팔의 움직임 데이터를 출력하는 디스플레이부; 및
    상기 거리 데이터와 상기 전완부의 움직임 데이터를 기초로 하여, 상완부의 움직임 데이터를 산출하고, 상기 전완부의 움직임 데이터와 상기 상완부의 움직임 데이터를 기초로 하여, 상기 팔의 움직임 데이터를 산출하고, 상기 팔의 움직임 데이터를 상기 디스플레이부로 전송하는 제어부를 포함하는 것을 특징으로 하는 동작인식 시스템.
  2. 제1항에 있어서,
    상기 제1디바이스는,
    상기 사용자의 전완부의 움직임을 감지하는 자이로 센서; 및
    거리 측정을 위한 거리측정 센서를 포함하되,
    상기 거리측정 센서는,
    거리측정 센서로부터 상완부까지의 거리를 측정하는 것을 특징으로 하는 동작인식 시스템.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 거리 데이터를 기초로 하여 팔꿈치의 접힘 각도를 산출한 후, 상기 팔꿈치의 접힘 각도와 상기 전완부의 움직임 데이터를 기초로 하여 상기 상완부의 움직임 데이터를 산출하는 것을 특징으로 하는 동작인식 시스템.
  4. 제3 항에 있어서,
    상기 제어부는,
    상기 거리 데이터, 거리측정 센서와 팔꿈치 사이의 거리 및 팔꿈치 중심으로부터 거리측정 센서까지의 높이를 기초로 하여, 수학식1을 이용하여 상기 팔꿈치의 접힘 각도를 산출하는 것을 특징으로 하는 동작인식 시스템.
    [수학식 1]
    Figure PCTKR2018012739-appb-I000024
    (단, θ1x은 팔꿈치의 접힘 각도이고, Ds는 거리측정 센서로부터 상완부까지의 거리이고, ds는 거리측정 센서와 팔꿈치 사이의 거리이고, hs는 팔꿈치 중심으로부터 거리측정 센서까지의 높이임.)
  5. 제4항에 있어서,
    상기 제어부는,
    수학식2를 이용하여 상기 상완부의 움직임 데이터를 산출하는 것을 특징으로 하는 동작인식 시스템.
    [수학식 2]
    Figure PCTKR2018012739-appb-I000025
    (단, (ΦH, θH, ψH)는 상완부의 움직임 데이터이고, (Φg, θg, ψg)는 자이로센서의 3개 방향 각도이고, θ1x은 팔꿈치의 접힘 각도임.)
  6. 제2항에 있어서,
    상기 통신부는,
    제2디바이스로부터 상기 사용자의 손목의 움직임 데이터를 수신하는 것을 특징으로 하는 시스템.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 전완부의 움직임 데이터, 상기 상완부의 움직임 데이터, 상기 손목의 움직임 데이터, 전완부의 길이, 상완부의 길이 및 손목의 길이를 기초로 하여, 상기 팔의 움직임 데이터를 산출하는 것을 특징으로 하는 동작인식 시스템.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 손목의 움직임 데이터의 일부와 상완부의 뒤틀림 각도를 기초로 하여, 전완부의 뒤틀림 각도를 산출하는 것을 특징으로 하는 동작인식 시스템.
  9. 제7항에 있어서,
    상기 팔의 움직임 데이터는,
    어깨의 위치, 팔꿈치의 위치 손목의 위치 및 손의 중심 위치를 각각 나타내는 좌표이고, 상기 어깨의 위치를 기준점으로 하고, 상기 기준점을 기초로 하여 상기 팔꿈치의 위치, 상기 손목의 위치, 상기 손의 중심 위치를 산출하는 것을 특징으로 하는 동작인식 시스템.
  10. 제9항에 있어서,
    상기 디스플레이부는,
    상기 어깨의 위치, 상기 팔꿈치의 위치, 상기 손목의 위치 및 상기 손의 중심 위치를 기초로 하여, 상기 제어부에 의해 생성된 팔 전체의 모형을 출력하는 것을 특징으로 하는 동작인식 시스템.
  11. 제1디바이스의 자이로 센서에 의해 감지된 사용자의 전완부의 움직임 데이터와 상기 제1디바이스의 거리측정 센서에 의해 측정된 거리 데이터를 상기 제1디바이스로부터 수신하는 단계;
    상기 거리 데이터를 기초로 하여 팔꿈치의 접힘 각도를 산출하는 단계;
    상기 팔꿈치의 접힘 각도와 상기 전완부의 움직임 데이터를 기초로 하여, 상완부의 움직임 데이터를 산출하는 단계;
    상기 전완부의 움직임 데이터와 상기 상완부의 움직임 데이터를 기초로 하여, 팔의 움직임 데이터를 산출하는 단계; 및
    상기 팔의 움직임 데이터를 디스플레이에 출력하는 단계를 포함하는 것을 특징으로 하는 동작인식 방법.
  12. 제11항에 있어서,
    상기 팔꿈치의 접힘 각도를 산출하는 단계는,
    상기 거리측정 센서로부터 상완부까지의 거리, 거리측정 센서와 팔꿈치 사이의 거리 및 팔꿈치 중심으로부터 거리측정 센서까지의 높이를 기초로 하여, 수학식1을 이용하여 상기 팔꿈치의 접힘 각도를 산출하는 것을 특징으로 하는 동작인식 방법.
    [수학식 1]
    Figure PCTKR2018012739-appb-I000026
    (단, θ1x은 팔꿈치의 접힘 각도이고, Ds는 거리측정 센서로부터 상완부까지의 거리이고, ds는 거리측정 센서와 팔꿈치 사이의 거리이고, hs는 팔꿈치 중심으로부터 거리측정 센서까지의 높이임.)
  13. 제12항에 있어서,
    상기 상완부의 움직임 데이터를 산출하는 단계는,
    수학식2를 이용하여 상기 상완부의 움직임 데이터를 산출하는 것을 특징으로 하는 동작인식 방법.
    [수학식 2]
    Figure PCTKR2018012739-appb-I000027
    (단, (ΦH, θH, ψH)는 상완부의 움직임 데이터이고, (Φg, θg, ψg)는 자이로센서의 3개 방향 각도이고, θ1x은 팔꿈치의 접힘 각도임.)
  14. 제11항에 있어서,
    상기 상완부의 움직임 데이터를 산출하는 단계는,
    제2디바이스로부터 상기 사용자의 손목의 움직임 데이터를 수신하는 단계를 더 포함하는 것을 특징으로 하는 동작인식 방법.
  15. 제14항에 있어서,
    상기 사용자의 전완부의 움직임 데이터와 상기 거리 데이터와 동일 시간대의 손목의 움직임 데이터를 기초로 하여 실시간으로 팔의 움직임 데이터를 산출하여 디스플레이부로 전송하는 것을 특징으로 하는 동작인식 방법.
  16. 제14항에 있어서,
    상기 팔의 움직임 데이터를 산출하는 단계는,
    상기 전완부의 움직임 데이터, 상기 상완부의 움직임 데이터, 상기 손목의 움직임 데이터, 전완부의 길이, 상완부의 길이 및 손목의 길이를 기초로 하여, 상기 팔의 움직임 데이터를 산출하는 것을 특징으로 하는 동작인식 방법.
  17. 제16항에 있어서,
    상기 팔의 움직임 데이터를 산출하는 단계는,
    상기 손목의 움직임 데이터의 일부와 상완부의 뒤틀림 각도를 기초로 하여, 전완부의 뒤틀림 각도를 산출하는 단계를 더 포함하는 것을 특징으로 하는 동작인식 방법.
  18. 제16항에 있어서,
    상기 팔의 움직임 데이터를 산출하는 단계는,
    상기 팔의 움직임 데이터가 어깨의 위치, 팔꿈치의 위치 손목의 위치 및 손의 중심 위치를 각각 나타내는 좌표이고, 상기 어깨의 위치를 기준점으로 하고, 상기 기준점을 기초로 하여 상기 팔꿈치의 위치, 상기 손목의 위치, 상기 손의 중심 위치를 산출되는 것을 특징으로 하는 동작인식 방법.
  19. 제18항에 있어서,
    상기 팔의 움직임 데이터를 디스플레이에 출력하는 단계는,
    상기 어깨의 위치, 상기 팔꿈치의 위치, 상기 손목의 위치 및 상기 손의 중심 위치를 기초로 하여, 상기 제어부에 의해 생성된 팔 전체의 모형을 출력하는 것을 특징으로 하는 동작인식 방법.
PCT/KR2018/012739 2018-10-25 2018-10-25 동작인식 시스템 및 이를 이용한 동작인식 방법 WO2020085538A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/012739 WO2020085538A1 (ko) 2018-10-25 2018-10-25 동작인식 시스템 및 이를 이용한 동작인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/012739 WO2020085538A1 (ko) 2018-10-25 2018-10-25 동작인식 시스템 및 이를 이용한 동작인식 방법

Publications (1)

Publication Number Publication Date
WO2020085538A1 true WO2020085538A1 (ko) 2020-04-30

Family

ID=70331991

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/012739 WO2020085538A1 (ko) 2018-10-25 2018-10-25 동작인식 시스템 및 이를 이용한 동작인식 방법

Country Status (1)

Country Link
WO (1) WO2020085538A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3862348B2 (ja) * 1997-03-19 2006-12-27 東京電力株式会社 モーションキャプチャシステム
US20100110169A1 (en) * 2008-07-24 2010-05-06 Noah Zerkin System and method for motion capture
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
JP5896240B2 (ja) * 2013-03-21 2016-03-30 カシオ計算機株式会社 運動支援装置、運動支援方法及び運動支援プログラム
JP2017120575A (ja) * 2015-12-28 2017-07-06 株式会社テック技販 姿勢動作検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3862348B2 (ja) * 1997-03-19 2006-12-27 東京電力株式会社 モーションキャプチャシステム
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
US20100110169A1 (en) * 2008-07-24 2010-05-06 Noah Zerkin System and method for motion capture
JP5896240B2 (ja) * 2013-03-21 2016-03-30 カシオ計算機株式会社 運動支援装置、運動支援方法及び運動支援プログラム
JP2017120575A (ja) * 2015-12-28 2017-07-06 株式会社テック技販 姿勢動作検出装置

Similar Documents

Publication Publication Date Title
WO2016117758A1 (ko) 손 재활 운동 시스템 및 방법
WO2019156518A1 (en) Method for tracking hand pose and electronic device thereof
WO2018066848A1 (en) Skin care device
WO2015084111A1 (ko) 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치
WO2016208835A1 (ko) 스마트 와치 및 이의 제어방법
WO2017086508A1 (ko) 이동 단말기 및 그 제어 방법
WO2019098511A1 (ko) 피부 케어 기기
WO2016060461A1 (en) Wearable device
WO2016182181A1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 피드백 제공 방법
WO2016148486A1 (ko) 웨어러블 디바이스
WO2020050636A1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
WO2016190477A1 (ko) 이동 단말기
WO2017131318A1 (ko) 수화 인식 시스템 및 방법
WO2021075748A1 (ko) 안테나를 포함하는 와치형 전자 장치
WO2021162317A1 (en) Electronic device and method for controlling electronic device
WO2022035027A1 (ko) 모션 신호와 마우스 신호를 사용하여 호스트 장치를 제어하기 위한 전자 장치
WO2022097862A1 (en) Method of controlling display and electronic device supporting the same
WO2020138602A1 (ko) 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
WO2020085537A1 (ko) 동작인식 디바이스 및 이를 이용한 동작인식 방법
WO2015137629A1 (ko) 근전도 및 동작을 감지하는 시스템 및 그 제어 방법
WO2020076055A1 (en) Electronic device including pen input device and method of operating the same
WO2020085538A1 (ko) 동작인식 시스템 및 이를 이용한 동작인식 방법
WO2021187630A1 (ko) 전자 장치
WO2018056572A1 (en) Ultrasound probe, ultrasound imaging apparatus, ultrasound imaging system, and method for controlling thereof
WO2021107200A1 (ko) 이동 단말기 및 이동 단말기 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18937882

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 1.10.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18937882

Country of ref document: EP

Kind code of ref document: A1