WO2016099049A1 - 웨어러블 장치 및 이를 이용한 정보 입력 방법 - Google Patents

웨어러블 장치 및 이를 이용한 정보 입력 방법 Download PDF

Info

Publication number
WO2016099049A1
WO2016099049A1 PCT/KR2015/012969 KR2015012969W WO2016099049A1 WO 2016099049 A1 WO2016099049 A1 WO 2016099049A1 KR 2015012969 W KR2015012969 W KR 2015012969W WO 2016099049 A1 WO2016099049 A1 WO 2016099049A1
Authority
WO
WIPO (PCT)
Prior art keywords
movement
wearable device
operation state
motion
sensors
Prior art date
Application number
PCT/KR2015/012969
Other languages
English (en)
French (fr)
Inventor
김건년
박광범
곽연화
김원효
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140181985A external-priority patent/KR101554125B1/ko
Priority claimed from PCT/KR2015/007468 external-priority patent/WO2017014330A1/ko
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to US15/537,679 priority Critical patent/US10488924B2/en
Publication of WO2016099049A1 publication Critical patent/WO2016099049A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0261—Strain gauges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04—Arrangements of multiple sensors of the same type
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4519—Muscles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6825—Hand
    • A61B5/6826—Finger

Definitions

  • the present invention relates to a wearable device and an information input method using the same, and more particularly, to a wearable device capable of operating an external device by detecting current and next motions of a user wearing the device, and a device-operation control method using the same. It is about.
  • Various information input devices have been developed as the computer environment is changed to a ubiquitous computing environment.
  • the technological change of the information input device has evolved from a keyboard portable type to a wearable device which is an information input device using a part of a body.
  • the wearable device refers to everything that can be attached to the body and perform computing actions, and includes an application that can perform some computing functions.
  • Korean Laid-Open Patent No. 10-2010-0076136 relates to a biometric information recognizer, which is a wearable type beyond the conventional form by producing a sensor for measuring ECG, pulse wave, body temperature, etc.
  • the electrical signals of the human body are acquired from the sensor at regular intervals, and the signals are stored and processed through the MCU to develop semi-active sensor tag technology (hardware, firmware), which can be processed into medical information.
  • Korean Patent Laid-Open Publication No. 10-2004-0089728 relates to an identification device for providing information about a person, which is worn or attached to a person, and includes fingerprints, retinas, irises, blood, DNA, genetic data, voice patterns, temperature and other Information about the wearer such as characteristics can be obtained and the passengers can be monitored or the passengers' position relative to the aircraft, train, boat, bus or other vehicle.
  • An embodiment of the present invention is to provide a device for detecting a physical change of the body epidermis to recognize the movement of the body part and to input information based on this.
  • One embodiment of the present invention is to provide an information input device that can recognize the movement of the finger and wrist by sensing the physical change of the wrist epidermis due to the change of the muscle of the wrist.
  • An embodiment of the present invention is to provide an information input method that can control an external device based on the movement of the recognized body part.
  • One embodiment of the present invention is to provide a wearable device that can detect the current and next movement of the finger and wrist by sensing the physical change of the wrist epidermis due to muscle changes of the wrist.
  • the wearable device determines a movement of the body part based on a sensor array including a plurality of sensors each sensing a physical change to the epidermis of the body region and sensing signals received from the plurality of sensors. And a body movement determining unit configured to determine whether the determined movement of the body part corresponds to one of at least one next operating state that can be derived from the current operating state.
  • the sensor array may be located on the wrist to detect the physical change of the wrist epidermis due to the change of muscle, including the jangmugwa and wicking muscle.
  • the density of the plurality of sensors may be proportional to the muscle density below the epidermis of the corresponding body region.
  • the density of the plurality of sensors may have a different value in the lower portion of the wrist and the upper portion of the wrist when the corresponding body region corresponds to the wrist.
  • the wearable device may further include a body movement pattern storage unit which associates and stores movements of the body part with predefined sensing signal patterns of the plurality of sensors.
  • the body motion determiner compares the information on the received sensing signals with the sensing signal patterns stored in the body motion pattern body movement pattern storage unit to detect a similarity and based on the similarity of the body part You can decide to move.
  • the wearable device may further include an operation state manager including an operation state diagram including a transition between at least one momentary operating state and the at least one momentary operating state.
  • the operation state manager may associate the operation state with information on an operation of an external device corresponding to the operation state diagram.
  • the wearable device further detects a current operation, and determines an at least one next operation state that may be changed from a current operation state associated with the detected current operation based on the operation state diagram. It may include.
  • the operation state determining unit may redetect the current operation when the state of the current operation is not in the operation state diagram.
  • the body motion determiner may detect a next motion from the current motion and check whether the detected next motion matches at least one next motion state determined through the motion state determiner.
  • the body motion determiner may redetect the next motion when the detected next motion does not match at least one next motion state determined by the motion state determiner.
  • the wearable device may operate an external device associated with the operation state diagram through the operation state manager.
  • the apparatus may further include a communication unit configured to transmit information about the external device to the external device.
  • the wearable device may further include an inertial sensor disposed in the vicinity of the epidermis where the muscle density under the epidermis of the corresponding body region is below a certain standard and measuring the angular velocity and acceleration according to the movement of the body part. .
  • the body motion determiner may determine the movement of the body part based on sensing signals received from the plurality of sensors and angular velocity and acceleration measured from the inertial sensor.
  • the information input method may further include detecting physical changes to the skin of the corresponding body region in a sensor array including a plurality of sensors, and based on sensing signals received from the plurality of sensors at the body movement determiner. Determining a movement of the body part and determining whether the determined movement of the body part corresponds to one of at least one next operating state that can be derived from a current operating state.
  • the information input method may further include associating and storing movements of the body part with predefined sensing signal patterns of the plurality of sensors, and determining the movement of the body part.
  • the method may include detecting similarity by comparing information about the received sensing signals with stored sensing signal patterns.
  • the information input method may further comprise storing an operating state diagram including a transition between at least one instantaneous operating state and the at least one instantaneous operating state.
  • the method may further include detecting a current operation and determining at least one next operation state that may be changed from the current operation state associated with the detected current operation based on the operation state diagram.
  • the method may further include measuring an angular velocity and an acceleration according to the movement of the body part in the inertial sensor.
  • the wearable device may detect physical changes in the epidermis of the body region, recognize movement of the body part, and input information based on the movement.
  • Wearable device can detect the physical change of the wrist epidermis due to the muscle changes of the wrist to recognize the movement of the finger and wrist.
  • the wearable device may control the external device based on the movement of the recognized body part.
  • the wearable device may detect a physical change of the body epidermis, detect a current motion and a next motion of the body, and control an external device based on the detected current and next motion.
  • the wearable device may detect a physical change of the wrist epidermis due to a muscle change of the wrist to detect current and next motions of the finger and the wrist.
  • FIG. 1 is a diagram illustrating a wearable device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of the wearable device of FIG. 1.
  • FIG. 3 is a block diagram illustrating a configuration of a wearable device according to an embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating a configuration of a wearable device according to another exemplary embodiment of the present invention.
  • FIG. 5 illustrates the sensor array in FIG. 2.
  • FIG. 6 is an example of a sensor included in the sensor array of FIG. 3.
  • FIG. 7 illustrates muscles of a finger and a wrist.
  • FIG. 8 is a diagram illustrating a process of detecting a change in the epidermis using the wearable device of FIG. 1.
  • FIG. 9 is a flowchart illustrating an information input method using a wearable device according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating an information input method using a wearable device according to another embodiment of the present invention.
  • first and second are intended to distinguish one component from another component, and the scope of rights should not be limited by these terms.
  • first component may be named a second component, and similarly, the second component may also be named a first component.
  • an identification code (e.g., a, b, c, etc.) is used for convenience of description, and the identification code does not describe the order of the steps, and each step clearly indicates a specific order in context. Unless stated otherwise, they may occur out of the order noted. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • the present invention can be embodied as computer readable code on a computer readable recording medium
  • the computer readable recording medium includes all kinds of recording devices in which data can be read by a computer system.
  • Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and are also implemented in the form of a carrier wave (for example, transmission over the Internet). It also includes.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • FIG. 1 is a diagram illustrating a wearable device according to an embodiment of the present invention.
  • a user may input information about an operation by wearing the wearable device 120 on the body 110. Accordingly, the wearable device 120 may control the operation of the external device based on the information about the input operation.
  • the wearable device 120 of FIG. 1 may be worn on a user's wrist in the form of a band or a bracelet by using a flexible sensor array, and may receive information about an operation through a hand movement. have.
  • the user may wear the wearable device 120 on the wrist and input desired information by moving a hand wearing the wearable device 120.
  • the wearable device 120 may detect a physical change of the wrist epidermis according to the movement of the user, recognize the movement based on the movement, and receive information intended by the user.
  • FIG. 1 illustrates an example in which a user wears a wearable device on a wrist
  • the present invention may be applied to an information input device that is worn or attached to a body part other than the wrist.
  • the shape of the wearable device may be modified to facilitate wearing or attaching to a corresponding body part.
  • FIG. 2 is a block diagram illustrating a configuration of the wearable device of FIG. 1.
  • the wearable device 120 includes a sensor array 210, a body movement determiner 220, a body movement pattern storage unit 230, a communication unit 240, and a controller 250.
  • the sensor array 210 senses physical changes to the epidermis of the body region in contact with the plurality of sensors.
  • the sensor array 210 may convert the physical change of the epidermis into an electrical signal and output the electrical signal, and may be located in a direction facing the body region so as to easily detect the physical change of the epidermis.
  • the sensor array 210 may be composed of a plurality of sensors in which the density is not uniformly arranged to sense strain of the epidermis.
  • the density of the plurality of sensors may be proportional to the muscle density below the epidermis of the corresponding body region. For example, a plurality of sensors may be concentrated under the epidermis of the body region where the muscles are densely packed, and the plurality of sensors may not be located under the epidermis of the body region where the muscles are not concentrated.
  • the sensor array 210 may be configured as a flexible tactile sensor array to sense strain of the epidermis.
  • the body movement pattern storage unit 230 associates movements of the body part with predefined sensing signal patterns of the plurality of sensors of the sensor array 210. Information about the sensing signal pattern and the movement of the body part corresponding thereto may be defined by the developer and stored in the body movement pattern storage 230 in advance. As more information is defined, the wearable device 120 may recognize various movements and receive various information based on the movement.
  • the body movement determiner 220 determines the movement of the body part based on the sensing signals received from the plurality of sensors of the sensor array 210. In one embodiment, the body motion determiner 220 compares the sensing signals detected by the sensor array 210 with the sensing signal patterns stored in the body motion pattern storage 230 to search for a matching pattern. In one embodiment, the body movement determiner 220 may detect the similarity by comparing the sensing signals received from the plurality of sensors with the sensing signal patterns. Here, the degree of similarity may correspond to how similar the received sensing signals are to a predefined sensing signal pattern, that is, whether the received sensing signals match a specific sensing signal pattern within a preset error range.
  • the body movement determiner 220 searches for a pattern matching the received sensing signals within a preset error range. As a result of the comparison, if there is a matched pattern, the body motion determiner 220 recognizes the movement of the body part corresponding to the matched pattern as the user's motion. If there is no match, the body motion determiner 220 detects the sensor. The sensing signals detected by the array 210 are discarded and wait again.
  • the communicator 240 transmits information on the movement of the body part determined by the body motion determiner 220 to an external device through a communication network.
  • the communicator 240 may transmit information to the external device linked with the wearable device 120 through a communication network. Through this, the wearable device 120 may control the external device or input information to the external device.
  • the wearable device 120 may include a power supply.
  • the power supply unit may supply power required for the operation of the wearable device 120.
  • the power supply unit may correspond to a battery, and replaceable or rechargeable may be used.
  • the power supply unit may be charged through a wired charging means or a wireless charging means.
  • the controller 250 controls the operation and data flow of the sensor array 210, the body motion determiner 220, the body motion pattern storage 230, and the communicator 240.
  • FIG. 3 is a block diagram illustrating a configuration of a wearable device according to an embodiment of the present invention.
  • the wearable device 120 includes an inertial sensor 310, a sensor array 210, a body motion determiner 220, a body motion pattern storage 230, a communicator 240, and a controller 320. It includes.
  • an inertial sensor 310 a sensor array 210
  • a body motion determiner 220 a body motion pattern storage 230
  • a communicator 240 a controller 320. It includes.
  • a description will be given focusing on a part different from the configuration of FIG. 2.
  • the inertial sensor 310 measures the acceleration and the angular velocity according to the movement of the body part and outputs the electrical signal.
  • the inertial sensor 310 may be included in the wearable device 120, or may be included in other external devices worn or possessed by the user.
  • the muscle density below the epidermis of the corresponding body region may be disposed near the epidermis having a certain reference value or less.
  • the sensor array 210 detects a physical change of the epidermis of the contacted body part and converts the physical change into an electrical signal and outputs the electrical change.
  • the body movement pattern storage unit 230 stores information about a predefined physical change and inertia pattern and movement of a body corresponding to the pattern.
  • the body motion determiner 220 stores the electrical signals (acceleration and angular velocity information) output from the inertial sensor 310 and the physical change signals of the epidermis output from the sensor array 210 in the physical motion pattern storage unit 230.
  • the matching pattern is searched for compared to the change and inertia patterns.
  • the body motion determiner 220 searches for a pattern that is matched within a preset error range, and if there is a match, the body motion determiner 220 detects a body motion corresponding to the matched pattern. Recognize it as a movement.
  • the body movement determining unit 220 may be configured to physically change the epidermis of the corresponding body region received from the sensor array 210.
  • the grab motion may be recognized based on the sensing signals, and the pulling motion and the pulling direction may be recognized based on the electrical signal output from the inertial sensor 310.
  • the wearable device 120 transmits the recognized result information to the external device through the communication unit 240 to control the external device or input information. For example, when the wearable device 120 recognizes a grab and pull movement with a robot arm (external device), the robot arm pulls a real object by transmitting the recognized information to the robot arm. Can be controlled. Alternatively, when the wearable device 120 recognizes a movement that is linked and pulled with a computer (external device), the wearable device 120 may transmit a recognized information to the computer to move a screen or input a command to remove specific information.
  • the controller 320 controls the operation and data flow of the inertial sensor 310, the sensor array 210, the body motion determiner 220, the body motion pattern storage 230, and the communicator 240.
  • FIG. 4 is a block diagram illustrating a configuration of a wearable device according to another exemplary embodiment of the present invention.
  • the wearable device 120 includes an operation state manager 410, an operation state determiner 420, a sensor array 210, a body motion determiner 220, a body motion pattern storage 230, The communication unit 240, the inertial sensor 310 and the control unit 430.
  • an operation state manager 410 an operation state determiner 420, a sensor array 210, a body motion determiner 220, a body motion pattern storage 230, The communication unit 240, the inertial sensor 310 and the control unit 430.
  • the operation state manager 410 stores and manages an operation state diagram including transitions between at least one momentary operation state and at least one momentary operation state.
  • the instantaneous operating state corresponds to the recognized motion at a particular moment
  • the transition between the instantaneous operating states means a change in the instantaneous operating state.
  • the operational state diagram may correspond to associating at least one instantaneous operational state and at least one instantaneous operational state that can be continuously recognized from the at least one instantaneous operational state, the finite state machine (FSM)
  • FSM finite state machine
  • the operation state diagram manages the operation state into the initial stage, the operation stage, and the operation completion stage of the operation.
  • operation 1-operation 2-operation 3 operation 1-operation 2-operation 4 and operation 1-operation 3-operation 4
  • each operation can be stored in association with each other as shown in [Table 1] below.
  • the operation state manager 410 may associate and store information about an operation of an external device corresponding to each operation state of the operation state diagram.
  • the specific operation of the specific external device can be operated, and the information on the operation is related to the following table. 2] can be stored.
  • the operation state diagram and the specific operation of the specific external device corresponding to the operation state diagram may be periodically updated or set and stored by the user.
  • the operation state determiner 420 detects a current operation of the user.
  • the operation state determiner 420 may detect a physical change to the epidermis of the region of the body 110 in contact with the wearable device 120 to determine a state of the current operation.
  • a method of determining the state of the operation by sensing the physical change of the epidermis is described below with reference to FIGS. 5, 7 and 8.
  • the operation state determiner 420 determines at least one next operation state that may be changed from the current operation state associated with the current operation detected through the operation state determiner 420 based on the operation state diagram. For example, referring to Table 1, when the current operation detected by the operation state determiner 420 is operation 1, operations 2 and 3 may be determined as the next operation state. In an embodiment, when the state of the current operation is not in the operation state diagram, the operation state determiner 420 may redetect the current operation through the operation state determiner 420.
  • the sensor array 210 detects a physical change of the epidermis of the contacted body part and converts the physical change into an electrical signal and outputs the electrical change.
  • the body motion determiner 220 includes a plurality of sensors of the sensor array 210. Determine the movement of the body part based on the sensing signals received from the controller, and determine the movement of the body part in at least one of the following operating states that may be derived from the current operating state detected by the operating state determiner 420. Determine if applicable.
  • the body motion determiner 220 may detect a next motion from the current motion and check whether the detected next motion matches at least one next motion state determined by the motion status determiner 420. have. In one embodiment, the body movement determiner 220 may check whether the next pupil detected with the next pupil is detected within a preset error range and whether the determined next operation state matches. In one embodiment, the method of detecting the next operation may be the same as the method of detecting the current operation by the operation state determiner 420, which will be described below with reference to FIGS. 5, 6, and 7.
  • the current operation detected through the operation state determining unit 420 is operation 1 and operations 2 and 3 associated with operation 1 may be changed from the current operation state to the next operation.
  • the determined next motion detected by the body motion determiner 220 is operation 3, it corresponds to a case where the detected next motion matches at least one next motion state determined by the motion state determiner 420.
  • the body motion determiner 220 when the next motion detected through the body motion determiner 220 is operation 4, the body motion corresponds to a case in which the next motion determined by the motion state determiner 420 does not match.
  • the determination unit 220 may redetect the next operation. That is, the next operation that can be changed from the current operation state through the operation state determining unit 420 corresponds to operation 2 and operation 3, and the next operation detected through the body movement determination unit 220 is operation 4 and thus does not match. If it does not.
  • the operation state diagram when the operation state diagram is divided into an initial stage of the operation and a completion stage of the operation, the current state corresponding to the initial stage of the operation is detected through the operation state determination unit 420, and the body movement determination unit 220 is detected. The next operation corresponding to the completion step of the operation can be detected through.
  • the initial state corresponding to the initial stage of the operation is detected through the operation state determination unit 420, and One or more associated intermediate actions may be determined.
  • the body motion determiner 220 may detect an intermediate motion corresponding to the operation step and check whether the detected intermediate motion matches at least one intermediate motion determined by the motion state determiner 420. Next, when the intermediate motion detected by the body motion determiner 220 matches the at least one intermediate motion determined by the motion state determiner 420, the intermediate motion and the intermediate motion may be matched by the motion state determiner 420. At least one associated complete action may be determined.
  • the body movement determining unit 220 may detect a completion operation corresponding to the completion step of the operation and check whether the detected completion operation matches the at least one completion operation determined by the operation state determination unit 420. . Next, when matching the complete operation detected by the body movement determiner 220 with at least one complete operation determined by the operation state determiner 420, the initial operation, the intermediate operation, and the complete operation in the operation state diagram are performed. Since all match, the communication unit 240 may transmit information about the operation to an external device associated with the corresponding operation.
  • Operation 1 is detected as the current operation (initial stage of the operation, that is, initial operation) through the operation state determining unit 420, and operations 2 and 3 are performed next operation (operation) through the operation state determination unit 420 Step, i.e., when the operation 2 is detected as the next operation (intermediate operation) state through the body movement determining unit 220, 2) the next operation through the operation state determination unit 420
  • the operation 3 and the operation 4 may be determined as the next operation (operation completion step, that is, the completion operation) state associated with operation 2 (intermediate operation), and the next operation (completion operation) is performed through the body motion determination unit 220.
  • the detected next operation (completion operation) and the at least one next operation (completion operation) state determined by the operation state determination unit 420 may be matched with operation 3.
  • the operation state diagram manages both the operations classified into the initial stage and the operation completion stage of the operation and the operations divided into the initial stage, the operation stage, and the operation completion stage of the operation, the following [Table 3] and Can be managed together.
  • the current operation is detected through the operation state determining unit 420 and '-' is included in at least one next operation (intermediate operation) state determined by the operation state determining unit 420. If there is, that is, if there is no next motion (intermediate motion), the next motion (intermediate motion) may be determined to be absent if the next motion (intermediate motion) is not detected for a predetermined time through the body motion determiner 220. have.
  • operation 1 is detected as an initial operation through the operation state determiner 420, and at least one next operation associated with the initial operation determined through the operation state determiner 420 ( In the case where '-' is included in the middle motion) state, that is, when there is no next motion (middle motion), the next motion (middle motion) is not detected for a predetermined time through the body motion determiner 220.
  • the next operation can be determined to be absent, and the next operation (complete operation) can also be determined to be absent. That is, only in operation 1, device 1 may be controlled to perform operation a.
  • the next motion (intermediate motion) is detected through the body motion determiner 220, and the next motion (intermediate motion) detected is matched with at least one next motion status determined through the motion status determiner 420, and the motion status is determined.
  • the at least one next next operation (completion operation) state associated with the next operation (intermediate operation) determined through the unit 420 includes '-', that is, when there is no next next operation (completion operation). If the next motion (completion motion) is not detected for a predetermined time through the body motion determination unit 220, it may be determined that there is no next motion (completion motion).
  • operation 1 is detected as the current operation (initial operation) through the operation state determination unit 420
  • operation 3 is the next operation (intermediate operation) through the body movement determination unit 220.
  • the operation state determination unit 420 is '-' And motion 4 are determined as the next motion (complete motion) state associated with the next motion (intermediate motion) and the next motion (complete motion) is detected through the body motion determiner 220 for a predetermined time. If not, the next action (complete action) is determined by '-'. That is, only in operation 1 and operation 3, device 4 can be controlled to perform operation d.
  • the body movement pattern storage unit 230 stores information about a predefined physical change and inertia pattern and movement of a body corresponding to the pattern.
  • the communication unit 240 performs the operation through the operation state management unit 410.
  • Information about the operation of the external device associated with the state diagram may be transmitted to the external device. For example, referring to [Table 3], when operation 1-operation 2-operation 4 is determined through the operation state determination unit 220 and the body movement determination unit 220, the operation 1-operation 2-operation 4 is determined.
  • Information about the device 3-operation c associated with the corresponding operation state diagram is transmitted to the device 3 so that the device 3 can perform the operation c.
  • the inertial sensor 310 measures the acceleration and the angular velocity according to the movement of the body part and outputs the electrical signal.
  • the inertial sensor 310 may be included in the wearable device 120, or may be included in other external devices worn or possessed by the user.
  • the muscle density below the epidermis of the corresponding body region may be disposed near the epidermis having a certain reference value or less.
  • the operation state determiner 420 is based on the sensing signals including the electrical signal (acceleration and angular velocity information) output from the inertial sensor 310 and the physical change signal of the skin output from the sensor array 210
  • the current motion may be detected, and the body motion determiner 220 may determine whether the body motion corresponds to one of at least one next motion state that may be derived from the current motion state.
  • the body movement determining unit 220 may be configured to physically change the epidermis of the corresponding body region received from the sensor array 210.
  • the grab motion may be recognized based on the sensing signals, and the pulling motion and the pulling direction may be recognized based on the electrical signal output from the inertial sensor 310.
  • the controller 430 may include an operation state manager 410, an operation state determiner 420, a sensor array 210, a body motion determiner 220, a body motion pattern storage 230, a communicator 240, and an inertial sensor. Control the operation of 310 and the flow of data.
  • FIG. 5 is a diagram illustrating the sensor array in FIG. 2, 3, or 4.
  • the sensor array 210 includes a plurality of sensors 510, and the plurality of sensors 510 may include a first sensor 511, a second sensor 512, and a first sensor 510.
  • the third sensor 513, the fourth sensor 6614, the fifth sensor 515, and the sixth sensor 516 may be configured to sense physical changes to the epidermis of the contacted body region.
  • the plurality of sensors 510 when the sensor array 210 is worn on the wrist as shown in FIG. 3B and the center line 520 portion of the sensor array 210 is located at the bottom of the wrist, the plurality of sensors 510 May be arranged such that distances between the plurality of sensors 510 correspond to a, b, c and d based on the density of muscles in the wrist. That is, when the wearable device 120 is worn on the wrist, the density of the plurality of sensors may have different values at the lower part of the wrist and the upper part of the wrist, respectively. For example, the muscles in the wrist are dense at the bottom of the wrist and the muscles are not dense at the top of the wrist compared to the bottom of the wrist. 510 may be arranged.
  • each of the plurality of sensors 510 at the bottom of the wrist may be higher than the density of the plurality of sensors 510 at the top of the wrist.
  • each of the plurality of sensors 510 may be arranged and applied in a form capable of efficiently detecting a physical change to the epidermis of the body region according to the type of the contact target site or the position of the muscle present in the contact target site. Can be.
  • Each of the plurality of sensors 510 of the sensor array 210 of FIG. 3A may sense strain of the epidermis relative to the epidermis of the corresponding body region in contact.
  • the sensor array 210 may detect minute epidermal deformation of the wrist region according to the change of the wrist muscle.
  • a person moves a hand (eg, a finger and / or a wrist) by moving the dorsum and dorsum muscles penetrating the wrist. That is, the hand movements vary according to the movements of the jangmuji flexor and the wicked flexor, and the epidermis of the wrist where the muscle is located changes according to the movement of the jangmuji flexor and the wicked flexor.
  • Figure 7 (a) is a view showing the muscles of the fingers and wrist, (b) is a jangmuji flexor muscle, (c) is a view showing the wick muscle.
  • the sensor array 210 When the sensor array 210 is located on the wrist, the sensor array 210 detects the deformation degree of the epidermis according to the movement of the long limb muscle and the wick muscle, converts it into an electrical signal, and operates the operation state determiner 220 and The body motion determiner 240 compares the sensing signal received from the sensor array 210 with a previously stored sensing signal pattern, and when there is a matched pattern, the motion state determiner 220 and the body motion determiner 240 A motion corresponding to the matched sensing signal pattern may be recognized as a user's hand movement to detect a current motion and a next motion.
  • the body movement pattern storage unit 230 may store and manage predefined sensing signal patterns based on sensing signals sensed by each of the plurality of sensors 510. More specifically, the first sensor 511, the second sensor 512, the third sensor 513, the fourth sensor 6614, the fifth sensor 515, and the sixth sensor 516 are in contact with each other.
  • the sensing signal pattern may be defined based on whether the physical change of the epidermis of the body region and the physical change are detected.
  • ⁇ (first sensor, yes), (second sensor, yes), (third sensor, no), (fourth sensor, no), (fifth sensor, no), (sixth sensor, yes) ⁇ may be stored in association with the fist-handling movement, and the sensing signal received from the plurality of sensors 510 of the sensor array 210 is ⁇ Corresponds to (first sensor, yes), (second sensor, yes), (third sensor, no), (fourth sensor, no), (fifth sensor, no), (sixth sensor, yes) ⁇ In this case, it may be recognized that the user who is using the wearable device 120 makes a fist movement.
  • FIG. 6 is an example of a sensor included in the sensor array of FIG. 3.
  • Each of the plurality of sensors 510 included in the sensor array 210 may be configured as (a) or (b) of FIG. 4.
  • each of the plurality of sensors 510 may include a plurality of tactile sensor arrays to detect physical deformation of the contacted epidermis.
  • the tactile sensor is a sensor that senses the physical characteristics of the contact area and converts it into an electrical signal, and may be a silicon-based CMOS tactile sensor, a polymer polymer-based tactile sensor, or a pressure sensitive material-based tactile sensor.
  • each of the plurality of sensors 510 is a flexible PCB (FPCB) substrate in which a plurality of tactile sensors are mounted in an array, and a polymer protective layer stacked on and under the FPCB on which the tactile sensors are mounted. Can be configured.
  • FPCB flexible PCB
  • each of the plurality of sensors 510 arranged the tactile sensor in an m ⁇ n matrix array, the tactile sensor array is arranged in a form that can effectively detect the physical deformation according to the type of the contact target site Can be applied.
  • each of the plurality of sensors 510 may be configured as a flexible tactile sensor module, wherein the flexible tactile sensor module has a terminal connected to an electrode line of the tactile sensor in the form of a flat cable It can be manufactured with a tactile sensor.
  • a flexible tactile sensor module having a signal processing connection unit may be implemented in the same form as a flexible flat cable (FFC).
  • the flexible tactile sensor module includes a strain gauge 620, insulating films 611 and 612, a first electrode line 660, a second electrode line 630, a first opening 651, a second opening ( 652 and support 650. More specifically, the flexible tactile sensor module is connected to one end of the strain gauge 620, the insulating film 611 and 612 surrounding the strain gauge 620, the strain gauge 620 is formed on the inside and the surface of the insulating film (611 and 612) The first electrode line 660 and the strain gauge 620, which are connected to the other ends of the first electrode line 660 and the strain gauge 620, which are formed in and on the surfaces of the insulating layers 611 and 612.
  • the two openings 652 may be formed, and the support portions 650 may be formed under the insulating layers 611 and 612.
  • the insulating films 611 and 612 are separated into a first insulating layer 611 and a second insulating layer 612, and a strain between the first insulating layer 611 and the second insulating layer 612. It is connected to one end of the gauge 620 is arranged between the first insulating layer 611 and the second insulating layer 612, the second electrode line 630 is strain gauge 620 inside the second insulating layer 612. ) May be connected to the other end and arranged along the surface of the first insulating side 611.
  • a plating layer plated on the first and second electrode lines 660 and 630 may be further formed in the second opening 652.
  • the insulating films 611 and 612 may be made of a flexible polymer.
  • the sensor array 210 comprising a plurality of sensors 510 composed of FIGS. 4A or 4B may be formed by contacting the epidermis of the contact area through the plurality of sensors 510 arranged in the array.
  • the strain may be sensed, and more specifically, the strain of the contact skin may be sensed through each of the plurality of sensors 510 including a plurality of tactile sensors arranged in an array.
  • the sensor array 210 may detect minute epidermal deformation of the wrist region according to the change of the wrist muscle.
  • FIG. 8 is a diagram illustrating a process of detecting physical changes to the epidermis using the wearable device of FIG. 1.
  • the wearable device 120 detects deformation of the wrist epidermis before and after the movement of the finger and wrist, and outputs the signal as a signal.
  • a movement of grasping by using a finger a movement of twisting a wrist, a movement of extending a finger, and a movement of moving the wrist up and down are illustrated as examples, but the wearable device 120 detects deformation of the wrist epidermis for various movements.
  • the movement of the hand at least one of the finger and the wrist
  • the sensing signals received from the plurality of sensors 510 of the sensor array 210 mounted on the wrist may be different from each other according to the type of movement of at least one of the finger and the wrist.
  • the operation state determiner 220 and the body motion determiner 240 compare the sensing signals received from the sensor array 210 with previously stored sensing signal patterns to determine the user's hand movements, and determine the current and next motions. Can be detected.
  • FIG. 9 is a flowchart illustrating an information input method using a wearable device according to an embodiment of the present invention.
  • the sensor array 210 detects a physical change to the epidermis of the corresponding body region in contact (step S910).
  • the sensor array 210 may be configured of a plurality of sensors 510 or a tactile sensor array to detect strain of the contacted body region epidermis.
  • the sensor array 210 may detect a physical change of the wrist epidermis due to a change in the wrist muscle.
  • the sensor array 210 converts the physical change sensed by the plurality of sensors 510 into a sensing signal and transmits the signal to the body movement determiner 220 (step S920).
  • the body movement determiner 220 compares the sensing signal received from the sensor array 210 with the sensing signal pattern previously defined in the body movement pattern storage 230 (S930). When there is a matched pattern, the body motion determiner 220 recognizes a body part motion corresponding to the matched pattern as the user's motion (step S940).
  • the information input method according to the present invention may further comprise the step of measuring the angular velocity and acceleration according to the movement of the body region through the inertial sensor (310).
  • the body movement determiner 220 may recognize the movement of the user based on the physical change information of the epidermis measured by the sensor array 210 and the angular velocity and acceleration measured by the inertial sensor.
  • the communicator 240 transmits information on the movement of the body part recognized by the body motion determiner 220 to an external device through a wired or wireless communication network (step S950).
  • the communicator 240 may transmit information on a movement to an external device through a short range wireless communication network such as Bluetooth, Ultra Wide Band (UWB), or the like.
  • a short range wireless communication network such as Bluetooth, Ultra Wide Band (UWB), or the like.
  • the communication unit 240 checks the IoT device linked with the wearable information input device through a wireless communication network, Information about the movement can be transmitted to the IoT device.
  • IoT Internet of Things
  • FIG. 10 is a flowchart illustrating an information input method using a wearable device according to an embodiment of the present invention.
  • the operation state determination unit 420 detects the current operation (step S1001).
  • the operating state determiner 420 may determine the current operating state based on sensing signals for physical changes to the skin of the contacted body region received from the plurality of sensors of the sensor array 210. have.
  • the operation state determination unit 420 determines at least one next operation state associated with the current operation detected through the operation state determination unit 420 based on the operation state diagram (step S1002).
  • the body motion determiner 220 detects a next motion (step S1003) and checks whether it matches with at least one next motion state determined through the motion state determiner 420 (step S1004).
  • the communicator 240 may identify a specific external device associated with the corresponding motion state diagram. The information is transmitted to the external device so that the operation can be performed to control the operation of the external device (step S1005).
  • step S1006 the process returns to step S1004 to check whether the operation state determination unit 420 matches the next operation state.
  • sensor array 220 body movement determining unit
  • control unit 310 inertial sensor
  • control unit 310 a plurality of sensors

Abstract

웨어러블 장치는 해당 신체 영역의 표피에 대한 물리적 변화를 각각 감지하는 복수의 센서들을 포함하는 센서 어레이 및 상기 복수의 센서들로부터 수신된 센싱 신호들을 기초로 신체 부위의 움직임을 결정하고, 상기 결정된 신체 부위의 움직임이 현재 동작 상태에서 파생될 수 있는 적어도 하나의 다음 동작 상태 중 하나에 해당하는지 여부를 결정하는 신체 움직임 결정부를 포함한다.

Description

웨어러블 장치 및 이를 이용한 정보 입력 방법
본 발명은 웨어러블 장치 및 이를 이용한 정보 입력 방법에 관한 것으로, 보다 구체적으로, 장치를 착용한 사용자의 현재 및 다음 동작을 검출하여 외부 디바이스를 작동 시킬 수 있는 웨어러블 장치 및 이를 이용한 디바이스-동작 제어 방법에 관한 것이다.
유비쿼터스 컴퓨팅 환경으로 컴퓨터 환경이 변화되면서 다양한 정보 입력장치가 개발되어 왔다. 이러한 정보 입력 장치의 기술 변화는 키보드 휴대형에서 신체의 일부를 이용한 정보 입력 장치인 웨어러블 디바이스로 진화되고 있다. 여기에서, 웨어러블 디바이스는 신체에 부착하여 컴퓨팅 행위를 할 수 있는 모든 것을 지칭하며 일부 컴퓨팅 기능을 수행할 수 있는 어플리케이션까지 포함하고 있다.
한국공개특허 제10-2010-0076136호는 생체정보인식기에 관한 것으로서, 심전도, 맥파, 체온 등을 측정할 수 있는 센서를 손목에 찰 수 있는 팔지 형태로 제작 함으로서 기존 형태의 틀을 벗어나 웨어러블 타입의 장치를 개발하여 인체의 전기적인 신호를 일정한 주기로 센서에서 취득하여 MCU를 통하여 신호를 저장하고 가공하여 반능동형 센서태그 기술(하드웨어, 펌웨어)을 개발하여 이를 의료정보로 가공할 수 있다.
한국공개특허 제10-2004-0089728호는 사람에 관한 정보를 제공하는 식별 장치에 관한 것으로서, 사람에게 착용되거나 부착되어 지문, 망막, 홍채, 피, DNA, 유전학적 데이타, 음성 패턴, 온도 및 다른 특성들 같은 착용자에 관한 정보를 얻을 수 있고 항공기, 기차, 보트, 버스 또는 다른 차량에 대한 승객들의 위치를 모니터하거나 승객들을 식별할 수 있다.
본 발명의 일 실시예는 신체 표피의 물리적 변화를 감지하여 신체 부위의 움직임을 인식하고 이를 기초로 정보를 입력하는 장치를 제공하고자 한다.
본 발명의 일 실시예는 손목의 근육 변화에 의한 손목 표피의 물리적 변화를 감지하여 손가락 및 손목의 움직임을 인식할 수 있는 정보 입력 장치를 제공하고자 한다.
본 발명의 일 실시예는 인식된 신체 부위의 움직임을 기초로 외부 디바이스를 제어할 수 있는 정보 입력 방법을 제공하고자 한다.
본 발명의 일 실시예는 신체 표피의 물리적 변화를 감지하여 신체의 현재 동작 및 다음 동작을 검출하고 검출된 현재 및 다음 동작을 기초로 외부 디바이스를 제어할 수 있는 웨어러블 장치를 제공하고자 한다
본 발명의 일 실시예는 손목의 근육 변화에 의한 손목 표피의 물리적 변화를 감지하여 손가락 및 손목의 현재 및 다음 동작을 검출할 수 있는 웨어러블 장치를 제공하고자 한다.
실시예들 중에서, 웨어러블 장치는 해당 신체 영역의 표피에 대한 물리적 변화를 각각 감지하는 복수의 센서들을 포함하는 센서 어레이 및 상기 복수의 센서들로부터 수신된 센싱 신호들을 기초로 신체 부위의 움직임을 결정하고, 상기 결정된 신체 부위의 움직임이 현재 동작 상태에서 파생될 수 있는 적어도 하나의 다음 동작 상태 중 하나에 해당하는지 여부를 결정하는 신체 움직임 결정부를 포함한다.
일 실시예에서, 상기 센서 어레이는 손목에 위치하여 장무지굴근 및 심지굴근을 포함하는 근육의 변화에 의한 손목 표피의 물리적 변화를 감지할 수 있다.
일 실시예에서, 상기 복수의 센서들의 밀집도는 상기 해당 신체 영역의 표피 아래에 있는 근육 밀집도에 비례할 수 있다.
일 실시예에서, 상기 복수의 센서들의 밀집도는 상기 해당 신체 영역이 손목에 해당하는 경우에는 상기 손목의 하단부분과 상기 손목의 상단부분에서 각각 상이한 값을 가질 수 있다.
일 실시예에서, 상기 웨어러블 장치는 상기 복수의 센서들의 기 정의된 센싱 신호 패턴들과 상기 신체 부위의 움직임들을 연관시켜 저장하는 신체 움직임 패턴 저장부를 더 포함할 수 있다.
일 실시예에서, 상기 신체 움직임 결정부는 상기 수신된 센싱 신호들에 대한 정보와 상기 신체 움직임 패턴 신체 움직임 패턴 저장부에 저장된 센싱 신호 패턴들을 비교하여 유사도를 검출하고 상기 유사도를 기초로 상기 신체 부위의 움직임을 결정할 수 있다.
일 실시예에서, 상기 웨어러블 장치는 적어도 하나의 순간적 동작 상태와 상기 적어도 하나의 순간적 동작 상태 간의 전이를 포함하는 동작 상태도를 포함하는 동작 상태 관리부를 더 포함할 수 있다.
일 실시예에서, 상기 동작 상태 관리부는 상기 동작 상태도와 해당 동작 상태도에 대응되는 외부 디바이스의 동작에 대한 정보를 연관시켜 저장할 수 있다.
일 실시예에서, 상기 웨어러블 장치는 현재 동작을 검출하고, 상기 동작 상태도를 기초로 상기 검출된 현재 동작과 연관된 현재 동작 상태로부터 변경될 수 있는 적어도 하나의 다음 동작 상태를 결정하는 동작 상태 결정부를 더 포함할 수 있다.
일 실시예에서, 상기 동작 상태 결정부는 상기 현재 동작의 상태가 상기 동작 상태도에 없는 경우에는 상기 현재 동작을 재검출할 수 있다.
일 실시예에서, 상기 신체 움직임 결정부는 상기 현재 동작으로부터 다음 동작을 검출하고 상기 검출된 다음 동작이 상기 동작 상태 결정부를 통하여 결정된 적어도 하나의 다음 동작 상태와 매칭되는지 여부를 체크할 수 있다.
일 실시예에서, 상기 신체 움직임 결정부는 상기 검출된 다음 동작과 상기 동작 상태 결정부를 통하여 결정된 적어도 하나의 다음 동작 상태가 매칭되지 않는 경우에는 상기 다음 동작을 재검출할 수 있다.
일 실시예에서, 상기 웨어러블 장치는 상기 검출된 다음 동작과 상기 동작 상태 결정부를 통하여 결정된 적어도 하나의 다음 동작 상태가 매칭되는 경우에는 상기 동작 상태 관리부를 통하여 해당 동작 상태도와 연관되어 있는 외부 디바이스의 동작에 대한 정보를 상기 외부 디바이스로 전송하는 통신부를 더 포함할 수 있다.
일 실시예에서, 상기 웨어러블 장치는 상기 해당 신체 영역의 표피 아래에 있는 근육 밀집도가 특정 기준 이하인 표피 인근에 배치되고 상기 신체 부위의 움직임에 따른 각속도 및 가속도를 측정하는 관성 센서를 더 포함할 수 있다.
일 실시예에서, 상기 신체 움직임 결정부는 상기 복수의 센서들로부터 수신된 센싱 신호들과 상기 관성 센서로부터 측정된 각속도 및 가속도를 기초로 상기 신체 부위의 움직임을 결정할 수 있다.
실시예들 중에서, 정보 입력 방법은 복수의 센서들을 포함하는 센서 어레이에서 해당 신체 영역의 표피에 대한 물리적 변화를 각각 감지하는 단계 및 신체 움직임 결정부에서 상기 복수의 센서들로부터 수신된 센싱 신호들을 기초로 신체 부위의 움직임을 결정하고, 상기 결정된 신체 부위의 움직임이 현재 동작 상태에서 파생될 수 있는 적어도 하나의 다음 동작 상태 중 하나에 해당하는지 여부를 결정하는 단계를 포함한다.
일 실시예에서, 상기 정보 입력 방법은 상기 복수의 센서들의 기 정의된 센싱 신호 패턴들과 상기 신체 부위의 움직임들을 연관시켜 저장하는 단계를 더 포함하고, 상기 신체 부위의 움직임을 결정하는 단계는 상기 수신된 센싱 신호들에 대한 정보와 저장된 센싱 신호 패턴들을 비교하여 유사도를 검출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 정보 입력 방법은 적어도 하나의 순간적 동작 상태와 상기 적어도 하나의 순간적 동작 상태 간의 전이를 포함하는 동작 상태도를 저장하는 단계를 더 포함할 수 있다.
일 실시예에서, 현재 동작을 검출하고, 상기 동작 상태도를 기초로 상기 검출된 현재 동작과 연관된 현재 동작 상태로부터 변경될 수 있는 적어도 하나의 다음 동작 상태를 결정하는 단계를 더 포함할 수 있다.
일 실시예에서, 관성 센서에서 상기 신체 부위의 움직임에 따른 각속도 및 가속도를 측정하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 웨어러블 장치는 신체 영역 표피의 물리적 변화를 감지하여 신체 부위의 움직임을 인식하고 이를 기초로 정보를 입력할 수 있다.
본 발명의 일 실시예에 따른 웨어러블 장치는 손목의 근육 변화에 의한 손목 표피의 물리적 변화를 감지하여 손가락 및 손목의 움직임을 인식할 수 있다.
본 발명의 일 실시예에 따른 웨어러블 장치는 인식된 신체 부위의 움직임을 기초로 외부 디바이스를 제어할 수 있다.
본 발명의 일 실시예에 따른 웨어러블 장치는 신체 표피의 물리적 변화를 감지하여 신체의 현재 동작 및 다음 동작을 검출하고 검출된 현재 및 다음 동작을 기초로 외부 디바이스를 제어할 수 있다.
본 발명의 일 실시예에 따른 웨어러블 장치는 손목의 근육 변화에 의한 손목 표피의 물리적 변화를 감지하여 손가락 및 손목의 현재 및 다음 동작을 검출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 웨어러블 장치를 예시한 도면이다.
도 2는 도 1에 있는 웨어러블 장치의 구성을 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 웨어러블 장치의 구성을 설명하는 블록도이다.
도4는 본 발명의 다른 일 실시예에 따른 웨어러블 장치의 구성을 설명하는 블록도이다.
도 5는 도 2에 있는 센서 어레이를 예시한 도면이다.
도 6은 도 3에 있는 센서 어레이가 포함하고 있는 센서에 대한 예시이다.
도 7은 손가락과 손목의 근육을 예시한 도면이다.
도 8은 도 1에 있는 웨어러블 장치를 이용하여 표피의 변화를 감지하는 과정을 예시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 웨어러블 장치를 이용한 정보 입력 방법을 설명하는 순서도이다.
도 10은 본 발명의 다른 일 실시예에 따른 웨어러블 장치를 이용한 정보 입력 방법을 설명하는 순서도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 웨어러블 장치를 예시한 도면이다.
도 1을 참조하면, 사용자는 신체(110)에 웨어러블 장치(120)를 착용하여 동작에 대한 정보를 입력할 수 있다. 이에 따라, 웨어러블 장치(120)는 입력된 동작에 대한 정보에 기초하여 외부 디바이스의 동작을 제어할 수 있다. 예를 들어, 도 1의 웨어러블 장치(120)는 플렉서블(flexible) 센서 어레이를 이용하여 밴드 또는 팔찌의 형태로 사용자의 손목에 착용될 수 있고, 손의 움직임을 통해 동작에 대한 정보를 입력 받을 수 있다.
즉, 사용자는 손목에 웨어러블 장치(120)를 착용하고, 웨어러블 장치(120)를 착용한 손을 움직임으로써 원하는 정보를 입력할 수 있다. 웨어러블 장치(120)는 사용자의 움직임에 따른 손목 표피의 물리적 변화를 감지하고, 이를 기초로 동작을 인식하여 사용자가 의도한 정보를 입력 받을 수 있다.
도 1에서는 사용자가 손목에 웨어러블 장치를 착용한 예를 도시하였으나, 본 발명은 손목 외 다른 신체 부위에 착용 또는 부착되는 정보 입력 장치로도 응용될 수 있다. 이러한 경우, 해당 신체 부위에 착용 또는 부착이 용이하도록 웨어러블 장치의 형태가 변형될 수 있다.
도 2는 도 1에 있는 웨어러블 장치의 구성을 설명하는 블록도이다.
도 2를 참조하면, 웨어러블 장치(120)는 센서 어레이(210), 신체 움직임 결정부(220), 신체 움직임 패턴 저장부(230), 통신부(240) 및 제어부(250)를 포함한다.
센서 어레이(210)는 복수의 센서들과 접촉된 신체 영역의 표피(epidermis)에 대한 물리적 변화를 감지한다. 센서 어레이(210)는 표피의 물리적 변화를 전기 신호로 변환하여 출력하고, 표피의 물리적 변화를 용이하게 감지할 수 있도록 신체 영역과 대면하는 방향에 위치할 수 있다. 일 실시예에서, 센서 어레이(210)는 밀집도가 균일하지 않게 배열되어 있는 복수의 센서들로 구성되어 표피의 변형도(Strain)를 감지할 수 있다. 일 실시예에서, 복수의 센서들의 밀집도는 해당 신체 영역의 표피 아래에 있는 근육 밀집도에 비례할 수 있다. 예를 들어, 근육이 많이 밀집되어 있는 신체 영역의 표피 아래에는 복수의 센서들이 밀집되어 있고, 근육이 밀집되어 있지 않은 신체 영역의 표피 아래에는 복수의 센서들이 밀집되어 위치하고 있지 않을 수 있다.
일 실시예에서, 센서 어레이(210)는 플렉서블 촉각 센서 어레이(array)로 구성되어 표피의 변형도(Strain)를 감지할 수 있다.
신체 움직임 패턴 저장부(230)는 센서 어레이(210)의 복수의 센서들의 기 정의된 센싱 신호 패턴들과 신체 부위의 움직임들을 연관시켜 저장한다. 센싱 신호 패턴과 그에 대응되는 신체 부위의 움직임에 대한 정보는 개발자에 의해 정의되어 미리 신체 움직임 패턴 저장부(230)에 저장될 수 있다. 해당 정보가 많이 정의되어 있을수록 웨어러블 장치(120)는 다양한 움직임을 인식하고 이를 기초로 다양한 정보를 입력 받을 수 있다.
신체 움직임 결정부(220)는 센서 어레이(210)의 복수의 센서들로부터 수신된 센싱 신호들을 기초로 신체 부위의 움직임을 결정한다. 일 실시예에서, 신체 움직임 결정부(220)는 센서 어레이(210)에서 감지된 센싱 신호들과 신체 움직임 패턴 저장부(230)에 저장된 센싱 신호 패턴을 비교하여, 매칭되는 패턴을 검색한다. 일 실시예에서, 신체 움직임 결정부(220)는 복수의 센서들로부터 수신된 센싱 신호들과 센싱 신호 패턴들을 비교하여, 유사도를 검출할 수 있다. 여기에서, 유사도는 수신된 센싱 신호들과 기 정의된 센싱 신호 패턴이 어느정도 유사한지, 즉, 수신된 센싱 신호들이 기 설정된 오차 범위 내로 특정 센싱 신호 패턴과 매칭되는지 여부에 해당할 수 있다.
일 실시예에서, 신체 움직임 결정부(220)는 수신된 센싱 신호들과 기 설정된 오차 범위 내로 매칭되는 패턴을 검색한다. 비교결과 매칭되는 패턴이 있는 경우 신체 움직임 결정부(220)는 매칭된 패턴에 대응되는 신체 부위의 움직임을 사용자의 움직임으로 인식하고, 매칭되는 패턴이 없는 경우에는 신체 움직임 결정부(220)는 센서 어레이(210)에서 감지된 센싱 신호들을 버리고 다시 대기한다.
통신부(240)는 신체 움직임 결정부(220)에서 결정된 신체 부위의 움직임에 대한 정보를 통신망을 통해 외부 디바이스로 전송한다. 예를 들어, 통신부(240)는 웨어러블 장치(120)와 통신망을 통해 링크된 외부 디바이스에 정보를 전송할 수 있다. 이를 통해 웨어러블 장치(120)는 외부 디바이스를 제어하거나 외부 디바이스에 정보를 입력할 수 있다.
일 실시예에서, 웨어러블 장치(120)는 전원부를 포함할 수 있다. 전원부는 웨어러블 장치(120)의 동작에 필요한 전원을 공급할 수 있다. 예를 들어, 전원부는 배터리에 해당할 수 있으며, 교체형 또는 충전형이 사용될 수 있다. 충전형의 경우 전원부는 유선 충전 수단 또는 무선 충전 수단을 통해 충전될 수 있다.
제어부(250)는 센서 어레이(210), 신체 움직임 결정부(220), 신체 움직임 패턴 저장부(230) 및 통신부(240)의 동작 및 데이터의 흐름을 제어한다.
도 3은 본 발명의 일 실시예에 따른 웨어러블 장치의 구성을 설명하는 블록도이다.
도 3을 참조하면, 웨어러블 장치(120)는 관성 센서(310), 센서 어레이(210), 신체 움직임 결정부(220), 신체 움직임 패턴 저장부(230), 통신부(240) 및 제어부(320)를 포함한다. 이하에서는 도 2의 구성과 차이가 있는 부분을 중심으로 설명하기로 한다.
관성 센서(310)는 신체 부위의 움직임에 따른 가속도 및 각속도를 측정하여 전기적 신호로 출력한다. 일 실시예에서, 관성 센서(310)는 웨어러블 장치(120)에 포함되어 있을 수도 있고, 사용자가 착용 또는 소지한 외부의 다른 디바이스에 구비되어 있을 수도 있다.
일 실시예에서, 관성 센서(310)가 웨어러블 장치(120)에 포함되어 있는 경우에는 해당 신체 영역의 표피 아래에 있는 근육 밀집도가 특정 기준 이하인 표피 인근에 배치될 수 있다.
센서 어레이(210)는 접촉된 신체 부위의 표피(epidermis)의 물리적 변화를 감지하여 물리적 변화를 전기 신호로 변환하여 출력한다.
신체 움직임 패턴 저장부(230)는 미리 정의된 물리적 변화 및 관성 패턴과 해당 패턴에 대응되는 신체의 움직임에 대한 정보를 저장한다.
신체 움직임 결정부(220)는 관성 센서(310)에서 출력된 전기적 신호(가속도 및 각속도 정보)와 센서 어레이(210)에서 출력된 표피의 물리적 변화 신호를 신체 움직임 패턴 저장부(230)에 저장된 물리적 변화 및 관성 패턴과 비교하여, 매칭되는 패턴을 검색한다. 일 실시예에서, 신체 움직임 결정부(220)는 기 설정된 오차 범위 내로 매칭되는 패턴을 검색하여, 매칭되는 패턴이 있는 경우 신체 움직임 결정부(220)는 매칭된 패턴에 대응되는 신체 움직임을 사용자의 움직임으로 인식한다.
예를 들어, 사용자가 웨어러블 장치(120)를 착용하고 객체를 잡아(grab) 당기는 움직임을 하는 경우, 신체 움직임 결정부(220)는 센서 어레이(210)로부터 수신된 해당 신체 영역 표피의 물리적 변화에 대한 센싱 신호들을 기초로 잡는(grab) 움직임을 인식하고, 관성 센서(310)에서 출력된 전기적 신호를 기초로 당기는 움직임 및 당기는 방향을 인식할 수 있다.
웨어러블 장치(120)는 인식된 결과 정보를 통신부(240)를 통해 외부 디바이스로 전송하여, 외부 디바이스를 제어하거나 정보를 입력한다. 예를 들어, 웨어러블 장치(120)가 로봇 팔(외부 디바이스)과 링크되고 잡아 당기는(grab and pull) 움직임을 인식한 경우, 인식된 정보를 로봇 팔에 전송하여 로봇 팔이 실제 물체를 잡아 당기는 움직임을 하도록 제어할 수 있다. 또는, 웨어러블 장치(120)가 컴퓨터(외부 디바이스)와 링크되고 잡아 당기는 움직임을 인식한 경우, 인식된 정보를 컴퓨터에 전송하여 화면을 이동하거나, 특정 정보를 제거하는 명령을 입력할 수 있다.
제어부(320)는 관성 센서(310), 센서 어레이(210), 신체 움직임 결정부(220), 신체 움직임 패턴 저장부(230) 및 통신부(240)의 동작 및 데이터의 흐름을 제어한다.
도 4은 본 발명의 다른 일 실시예에 따른 웨어러블 장치의 구성을 설명하는 블록도이다.
도 4를 참조하면, 웨어러블 장치(120)는 동작 상태 관리부(410), 동작 상태 결정부(420), 센서 어레이(210), 신체 움직임 결정부(220), 신체 움직임 패턴 저장부(230), 통신부(240), 관성 센서(310) 및 제어부(430)를 포함한다. 이하에서는 도 3의 구성과 차이가 있는 부분을 중심으로 설명하기로 한다.
동작 상태 관리부(410)는 적어도 하나의 순간적 동작 상태와 적어도 하나의 순간적 동작 상태 간의 전이를 포함하는 동작 상태도를 저장하고 관리한다. 여기에서, 순간적 동작 상태는 특정 순간에 인식된 동작에 해당하고, 순간적 동작 상태 간의 전이는 순간적 동작 상태의 변화를 의미한다. 일 실시예에서, 동작 상태도는 적어도 하나의 순간적 동작 상태 및 적어도 하나의 순간적 동작 상태로부터 연속적으로 인식될 수 있는 적어도 하나의 순간적 동작 상태를 연관시켜 놓은 것에 해당할 수 있고, FSM(Finite State Machine) 기법을 적용하여 동작 상태도에서의 동작 상태는 동작의 초기 단계, 동작 단계 및 동작 완료 단계로 구분하여 관리 될 수 있다. 여기에서, 동작의 초기 단계, 동작 단계 및 동작 완료 단계는 동작 상태도의 필수적 구성요소가 아니며 동작의 초기 단계 및 동작 완료 단계로 구분하여 관리될 수도 있다.
예를 들어, 동작 상태도가 동작 상태를 동작의 초기 단계, 동작 단계 및 동작 완료 단계로 구분하여 관리하고 동작의 초기 단계, 동작 단계 및 동작 완료 단계에 해당하는 초기 동작, 중간 동작 및 완료 동작이 각각 동작1-동작2-동작3, 동작1-동작2-동작4 및 동작1-동작3-동작4에 해당하는 경우에는 각각의 동작을 아래의 [표 1]과 같이 연관시켜 저장할 수 있다.
초기 동작 중간 동작 완료 동작
동작1 동작2 동작3
동작4
동작3 동작4
일 실시예에서, 동작 상태 관리부(410) 동작 상태도의 각각의 동작 상태에 대응되는 외부 디바이스의 동작에 대한 정보를 연관시켜 저장할 수 있다. 동작의 초기 단계, 동작 단계 및 동작 완료 단계에 해당 하는 각각의 동작이 사용자에 의하여 연속적으로 수행된 경우에 특정 외부 디바이스의 특정 동작을 작동 시킬 수 있고 이에 대한 정보를 동작과 연관시켜 아래의 [표 2]와 같이 저장할 수 있다.
초기 동작 중간 동작 완료 동작 디바이스 디바이스의 동작
동작1 동작2 동작3 디바이스1 동작a
동작4 디바이스2 동작b
동작3 동작4 디바이스3 동작c
일 실시예에서, 동작 상태도 및 동작 상태도에 대응되는 특정 외부 디바이스의 특정 동작은 주기적으로 업데이트되거나 또는 사용자에 의하여 설정 및 저장될 수 있다.
동작 상태 결정부(420)는 사용자의 현재 동작을 검출한다. 일 실시예에서, 동작 상태 결정부(420)는 웨어러블 장치(120)와 접촉된 신체(110) 영역의 표피에 대한 물리적 변화를 감지하여 현재 동작의 상태를 결정할 수 있다. 표피의 물리적 변화를 감지하여 동작의 상태를 결정하는 방법에 대하여는 이하, 도 5, 도 7 및 도 8을 참조하여 설명한다.
동작 상태 결정부(420)는 동작 상태도를 기초로 동작 상태 결정부(420)를 통하여 검출된 현재 동작과 연관된 현재 동작 상태로부터 변경될 수 있는 적어도 하나의 다음 동작 상태를 결정한다. 예를 들어, [표 1]을 참조하면, 동작 상태 결정부(420)를 통하여 검출된 현재 동작이 동작 1인 경우에는 다음 동작 상태로서 동작 2 및 동작 3이 결정될 수 있다. 일 실시예에서, 동작 상태 결정부(420)는 현재 동작의 상태가 동작 상태도에 없는 경우에는 동작 상태 결정부(420)를 통하여 현재 동작을 재검출할 수 있다.
센서 어레이(210)는 접촉된 신체 부위의 표피(epidermis)의 물리적 변화를 감지하여 물리적 변화를 전기 신호로 변환하여 출력한다.신체 움직임 결정부(220)는 센서 어레이(210)의 복수의 센서들로부터 수신된 센싱 신호들을 기초로 신체 부위의 움직임을 결정하고, 결정된 신체 부위의 움직임이 동작 상태 결정부(420)를 통하여 검출된 현재 동작 상태에서 파생될 수 있는 적어도 하나의 다음 동작 상태 중 하나에 해당하는지 여부를 결정한다.
일 실시예에서, 신체 움직임 결정부(220)는 현재 동작으로부터 다음 동작을 검출하고 검출된 다음 동작이 동작 상태 결정부(420)를 통하여 결정된 적어도 하나의 다음 동작 상태와 매칭되는지 여부를 체크할 수 있다. 일 실시예에서, 신체 움직임 결정부(220)는 기 설정된 오차 범위 내로 검출된 다음 동자과 결정된 적어도 하나의 다음 동작 상태가 매칭되는지 여부를 체크할 수 있다. 일 실시예에서, 다음 동작을 검출하는 방법은 동작 상태 결정부(420)에서 현재 동작을 검출하는 방법과 동일할 수 있으며, 이하, 도 5, 6 및 7를 참조하여 설명한다.
예를 들어, [표 1]을 참조하면, 동작 상태 결정부(420)를 통하여 검출된 현재 동작이 동작 1이고 동작 1과 연관된 동작 2 및 동작 3이 현재 동작 상태로부터 변경될 수 있는 다음 동작으로 결정되고 신체 움직임 결정부(220)를 통하여 검출된 다음 동작이 동작 3인 경우에는 검출된 다음 동작과 동작 상태 결정부(420)를 통하여 결정된 적어도 하나의 다음 동작 상태가 매칭되는 경우에 해당한다.
다른 예를 들어, 신체 움직임 결정부(220)를 통하여 검출된 다음 동작이 동작 4인 경우에는 동작 상태 결정부(420)를 통하여 결정된 적어도 하나의 다음 동작 상태와 매칭되지 않는 경우에 해당하여 신체 움직임 결정부(220)는 다음 동작을 재검출할 수 있다. 즉, 동작 상태 결정부(420)를 통하여 현재 동작 상태로부터 변경될 수 있는 다음 동작은 동작 2및 동작 3에 해당하는데, 신체 움직임 결정부(220)를 통하여 검출된 다음 동작은 동작 4 이므로 매칭되지 않는 경우에 해당하는 것이다.
일 실시예에서, 동작 상태도가 동작의 초기 단계 및 동작의 완료 단계로 구분되는 경우에는 동작 상태 결정부(420)를 통하여 동작의 초기 단계에 해당하는 현재 동작을 검출하고 신체 움직임 결정부(220)를 통하여 동작의 완료 단계에 해당하는 다음 동작을 검출할 수 있다.
일 실시예에서, 동작 상태도가 동작의 초기 단계, 동작 단계 및 동작의 완료 단계로 구분되는 경우에는 동작 상태 결정부(420)를 통하여 동작의 초기 단계에 해당하는 초기 동작을 검출하고, 초기 동작과 연관된 적어도 하나의 중간 동작을 결정할 수 있다. 신체 움직임 결정부(220)는 동작 단계에 해당하는 중간 동작을 검출하고, 검출된 중간 동작이 동작 상태 결정부(420)를 통하여 결정된 적어도 하나의 중간 동작과 매칭되는지 여부를 체크할 수 있다. 다음으로, 신체 움직임 결정부(220)를 통하여 검출된 중간 동작과 동작 상태 결정부(420)를 통하여 결정된 적어도 하나의 중간 동작과 매칭되는 경우에는, 동작 상태 결정부(420)를 통하여 중간 동작과 연관된 적어도 하나의 완료 동작을 결정할 수 있다. 신체 움직임 결정부(220)는 동작의 완료 단계에 해당하는 완료 동작을 검출하고, 검출된 완료 동작이 동작 상태 결정부(420)를 통하여 결정된 적어도 하나의 완료 동작과 매칭되는지 여부를 체크할 수 있다. 다음으로, 신체 움직임 결정부(220)를 통하여 검출된 완료 동작과 동작 상태 결정부(420)를 통하여 결정된 적어도 하나의 완료 동작과 매칭되는 경우에는 동작 상태도에 있는 초기 동작, 중간 동작 및 완료 동작이 모두 일치하는 것이므로 통신부(240)는 해당 동작과 연관된 외부 디바이스로 동작에 대한 정보를 송신할 수 있다.
예를 들어, [표 1]을 참조하여, 동작의 초기 단계, 동작 단계 및 동작 완료 단계에 해당하는 동작1-동작2-동작3이 검출되는 과정을 설명한다. 1)동작 상태 결정부(420)를 통하여 동작1이 현재 동작(동작의 초기 단계, 즉, 초기 동작)으로 검출되고, 동작 상태 결정부(420)를 통하여 동작2 및 동작 3이 다음 동작(동작 단계, 즉, 중간 동작) 상태로 결정되고, 신체 움직임 결정부(220)를 통하여 동작2가 다음 동작(중간 동작) 상태로 검출된 경우에는, 2)동작 상태 결정부(420)를 통하여 다음 동작(중간 동작)인 동작2와 연관된 다다음 동작(동작 완료 단계, 즉, 완료 동작) 상태로 동작 3 및 동작 4가 결정될 수 있고, 신체 움직임 결정부(220)를 통하여 다다음 동작(완료 동작)이 동작3으로 검출되는 경우에는 검출된 다다음 동작(완료 동작)과 동작 상태 결정부(420)에서 결정된 적어도 하나의 다다음 동작(완료 동작) 상태가 동작 3으로 매칭될 수 있다.
일 실시예에서, 동작 상태도가 동작의 초기 단계 및 동작 완료 단계로 구분되는 동작들과 동작의 초기 단계, 동작 단계 및 동작 완료 단계로 구분되는 동작들을 모두 관리하는 경우에는 아래의 [표 3]과 같이 관리될 수 있다.
초기 동작 중간 동작 완료 동작 디바이스 디바이스의 동작
동작1 동작2 - 디바이스1 동작a
동작3 디바이스2 동작b
동작4 디바이스3 동작c
동작3 - 디바이스4 동작d
동작4 디바이스5 동작e
- - 디바이스6 동작f
일 실시예에서, 동작 상태 결정부(420)를 통하여 현재 동작(초기 동작)이 검출되고 동작 상태 결정부(420)를 통하여 결정된 적어도 하나의 다음 동작(중간 동작) 상태에 '-'가 포함되어 있는 경우에는, 즉, 다음 동작(중간 동작)이 없는 경우에는, 신체 움직임 결정부(220)를 통하여 일정 시간 동안 다음 동작(중간 동작)이 검출되지 않으면 다음 동작(중간 동작)은 없는 것으로 결정할 수 있다.
예를 들어, [표 3]을 참조하면, 동작 상태 결정부(420)를 통하여 초기 동작으로 동작1이 검출되고, 동작 상태 결정부(420)를 통하여 결정된 초기 동작과 연관된 적어도 하나의 다음 동작(중간 동작) 상태에 '-'가 포함되어 있는 경우에는, 즉, 다음 동작(중간 동작)이 없는 경우에는, 신체 움직임 결정부(220)를 통하여 일정 시간 동안 다음 동작(중간 동작)이 검출되지 않으면 다음 동작(중간 동작)은 없는 것으로 결정할 수 있고, 다다음 동작(완료 동작) 또한 없는 것으로 결정할 수 있다. 즉, 동작1으로만 디바이스1은 동작a를 하도록 제어될 수 있다.
신체 움직임 결정부(220)를 통하여 다음 동작(중간 동작)이 검출되고 검출된 다음 동작(중간 동작)이 동작 상태 결정부(420)를 통하여 결정된 적어도 하나의 다음 동작 상태와 매칭되고, 동작 상태 결정부(420)를 통하여 결정된 다음 동작(중간 동작)과 연관된 적어도 하나의 다다음 동작(완료 동작) 상태에 ' - ' 가 포함되어 있는 경우에는, 즉, 다다음 동작(완료 동작)이 없는 경우에는, 신체 움직임 결정부(220)를 통하여 일정 시간 동안 다다음 동작(완료 동작)이 검출되지 않으면 다다음 동작(완료 동작)은 없는 것으로 결정할 수 있다.
예를 들어, [표 3]을 참조하면, 동작 상태 결정부(420)를 통하여 현재 동작(초기 동작)으로 동작1이 검출되고 신체 움직임 결정부(220)를 통하여 동작3이 다음 동작(중간 동작)으로 검출되어, 동작 상태 결정부(420)를 통하여 결정된 적어도 하나의 다음 동작(중간 동작)이 검출된 다음 동작(중간 동작)과 동작3으로 매칭되는 경우에는, 동작 상태 결정부(420)를 통하여 다음 동작(중간 동작)과 연관된 다다음 동작(완료 동작) 상태로 ' - ' 및 동작4가 결정되고 기 설정된 일정 시간 동안 신체 움직임 결정부(220)를 통하여 다다음 동작(완료 동작)이 검출되지 않으면 다다음 동작(완료 동작)은 ' - ' 으로 결정된다. 즉, 동작1 및 동작 3으로만 디바이스4는 동작d를 하도록 제어될 수 있다.
신체 움직임 패턴 저장부(230)는 미리 정의된 물리적 변화 및 관성 패턴과 해당 패턴에 대응되는 신체의 움직임에 대한 정보를 저장한다.
통신부(240)는 동작 상태 결정부(420)를 통하여 결정된 적어도 하나의 다음 동작 상태와 신체 움직임 결정부(220)를 통하여 검출된 다음 동작이 매칭되는 경우에는 동작 상태 관리부(410)를 통하여 해당 동작 상태도와 연관되어 있는 외부 디바이스의 동작에 대한 정보를 외부 디바이스로 전송할 수 있다. 예를 들어, [표 3]을 참조하면, 동작 상태 결정부(220) 및 신체 움직임 결정부(220)를 통하여 동작1-동작2-동작4 가 결정된 경우에는 동작1-동작2-동작4에 해당하는 동작 상태도와 연관되어 있는 디바이스3-동작c 에 대한 정보를 디바이스3에 전송하여 디바이스3이 동작c를 수행할 수 있도록 한다.
관성 센서(310)는 신체 부위의 움직임에 따른 가속도 및 각속도를 측정하여 전기적 신호로 출력한다. 일 실시예에서, 관성 센서(310)는 웨어러블 장치(120)에 포함되어 있을 수도 있고, 사용자가 착용 또는 소지한 외부의 다른 디바이스에 구비되어 있을 수도 있다.
일 실시예에서, 관성 센서(310)가 웨어러블 장치(120)에 포함되어 있는 경우에는 해당 신체 영역의 표피 아래에 있는 근육 밀집도가 특정 기준 이하인 표피 인근에 배치될 수 있다.
일 실시예에서, 동작 상태 결정부(420)는 관성 센서(310)에서 출력된 전기적 신호(가속도 및 각속도 정보)와 센서 어레이(210)에서 출력된 표피의 물리적 변화 신호를 포함하는 센싱 신호들을 기초로 현재 동작을 검출하고, 신체 움직임 결정부(220)는 현재 동작 상태에서 파생될 수 있는 적어도 하나의 다음 동작 상태 중 하나에 해당하는지 여부를 결정할 수 있다.
예를 들어, 사용자가 웨어러블 장치(120)를 착용하고 객체를 잡아(grab) 당기는 움직임을 하는 경우, 신체 움직임 결정부(220)는 센서 어레이(210)로부터 수신된 해당 신체 영역 표피의 물리적 변화에 대한 센싱 신호들을 기초로 잡는(grab) 움직임을 인식하고, 관성 센서(310)에서 출력된 전기적 신호를 기초로 당기는 움직임 및 당기는 방향을 인식할 수 있다.
제어부(430)는 동작 상태 관리부(410), 동작 상태 결정부(420), 센서 어레이(210), 신체 움직임 결정부(220), 신체 움직임 패턴 저장부(230), 통신부(240) 및 관성 센서(310)의 동작 및 데이터의 흐름을 제어한다.
도 5는 도 2, 도3 또는 도4에 있는 센서 어레이를 예시한 도면이다.
도 5의 (a)를 참조하면, 센서 어레이(210)는 복수의 센서들(510)을 포함하고, 복수의 센서들(510)은 제1 센서(511), 제2 센서(512), 제3 센서(513), 제4 센서(6514), 제5 센서(515) 및 제6 센서(516)로 구성되어 접촉된 신체 영역의 표피에 대한 물리적 변화를 감지할 수 있다.
일 실시예에서, 센서 어레이(210)가 도 3의 (b)와 같이 손목에 착용되고 센서 어레이(210)의 중앙선(520) 부분이 손목 하단에 위치하는 경우에는, 복수의 센서들(510)은 손목에 있는 근육의 밀집도를 기초로 복수의 센서들(510)간의 거리가 a, b, c 및 d에 해당하도록 배열될 수 있다. 즉, 복수의 센서들의 밀집도는 웨어러블 장치(120)가 손목에 착용되는 경우 손목의 하단부분과 손목의 상단부분에서 각각 상이한 값을 가질 수 있다. 예를 들어, 손목에 있는 근육들은 손목 하단에 밀집되어 있고, 손목 상단에는 손목 하단에 비하여 상태적으로 근육들이 밀집되어 있지 않기 때문에 a<b<c<d에 해당하는 거리로 복수의 센서들(510)이 배열될 수 있다. 즉, 손목 하단의 복수의 센서들(510)의 밀집도는 손목 상단의 복수의 센서들(510)의 밀집도 보다 높을 수 있다. 이에 더하여, 복수의 센서들(510) 각각은 접촉 대상 부위의 종류 또는 접촉 대상 부위에 존재하는 근육의 위치에 따라 신체 영역의 표피에 대한 물리적 변화를 효율적으로 감지할 수 있는 형태로 배열되어 응용될 수 있다.
도 3의 (a)의 센서 어레이(210)의 복수의 센서들(510) 각각은 접촉된 해당 신체 영역의 표피에 대한 표피의 변형도(Strain)를 감지할 수 있다. 예를 들어, 도 1의 웨어러블 장치(120)의 경우, 센서 어레이(210)는 손목 근육의 변화에 따른 손목 부위의 미세한 표피 변형도를 감지할 수 있다.
예를 들어, 도 7의 손가락과 손목 근육을 참조하여 설명하면, 사람은 손목을 관통하는 장무지굴근과 심지굴근을 움직여서 손(예를 들어, 손가락 및/또는 손목)을 움직인다. 즉, 장무지굴근과 심지굴근의 움직임에 따라 손 움직임이 달라지며, 장무지굴근과 심지굴근의 움직임에 따라 해당 근육이 위치한 손목의 표피가 변화한다. 도 7의 (a)는 손가락과 손목 근육을 나타낸 도면이며, (b)는 장무지굴근, (c)는 심지굴근을 나타낸 도면이다.
센서 어레이(210)가 손목에 위치하는 경우, 센서 어레이(210)는 장무지굴근과 심지굴근의 움직임에 따른 표피의 변형도를 감지하여 이를 전기적 신호로 변환하고, 동작 상태 결정부(220) 및 신체 움직임 결정부(240)는 센서 어레이(210)에서 수신된 센싱 신호를 기 저장된 센싱 신호 패턴과 비교하여 매칭된 패턴이 있는 경우, 동작 상태 결정부(220) 및 신체 움직임 결정부(240)는 매칭된 센싱 신호 패턴에 대응되는 움직임을 사용자의 손 움직임으로 인식하여 현재 동작 및 다음 동작을 검출할 수 있다.
일 실시예에서, 신체 움직임 패턴 저장부(230)는 복수의 센서들(510) 각각이 감지하는 센싱 신호를 기초로 기 정의된 센싱 신호 패턴들을 저장하여 관리할 수 있다. 보다 구체적으로, 제1 센서(511), 제2 센서(512), 제3 센서(513), 제4 센서(6514), 제5 센서(515) 및 제6 센서(516)가 각각 접촉하고 있는 해당 신체 영역의 표피에 대한 물리적 변화를 감지하였는지 여부 및 물리적 변화를 감지하였다면 표피의 변형도가 어느 정도인지를 기초로 센싱 신호 패턴을 정의할 수 있다. 예를 들어, [표 4]을 참조하면, {(제1 센서, yes), (제2 센서, yes), (제3 센서, no), (제4 센서, no), (제5 센서, no), (제6 센서, yes)}에 해당하는 센싱 신호 패턴은 주먹을 쥐는 움직임과 연관시켜 저장될 수 있고, 센서 어레이(210)의 복수의 센서들(510)로부터 수신된 센싱 신호가 {(제1 센서, yes), (제2 센서, yes), (제3 센서, no), (제4 센서, no), (제5 센서, no), (제6 센서, yes)}에 해당하는 경우에는 웨어러블 장치(120)를 사용하고 있는 사용자가 주먹을 쥐는 움직임을 하였다고 인식할 수 있다.
제1 센서 제2 센서 제3 센서 제4 센서 제5 센서 제6 센서 움직임
물리적 변화 감지 여부 yes yes no no no yes 주먹 쥐기
yes no yes yes no yes 손목 상하 움직임
no no yes yes no no 손목 비틀기
도 6은 도 3에 있는 센서 어레이가 포함하고 있는 센서에 대한 예시이다.
센서 어레이(210)에 포함되어 있는 복수의 센서들(510) 각각은 도 4의 (a) 또는 (b)로 구성될 수 있다.
도 4의 (a)를 참조하면, 복수의 센서들(510) 각각은 다수의 촉각 센서 어레이(array)로 구성되어 접촉된 표피의 물리적 변형을 감지할 수 있다. 촉각 센서는 접촉 부위의 물리적 특성을 감지하여 전기적 신호로 바꾸는 센서로서 실리콘 기반 CMOS 촉각 센서, 고분자 폴리머 기반 촉각 센서, 압력감응재료 기반 촉각 센서 등이 사용될 수 있다. 일 실시예에서, 복수의 센서들(510) 각각은 다수의 촉각센서가 어레이로 실장된 플렉서블 PCB(FPCB) 기판, 촉각센서가 실장된 FPCB의 상부와 하부에 적층되는 폴리머(plymer) 보호층으로 구성될 수 있다.
일 실시예에서, 복수의 센서들(510) 각각은 촉각 센서를 m×n 행렬 어레이로 배열하였으나, 촉각 센서 어레이는 접촉 대상 부위의 종류에 따라 물리적 변형을 효율적으로 감지할 수 있는 형태로 배열되어 응용될 수 있다.
도 4의 (b)를 참조하면, 복수의 센서들(510) 각각은 플렉서블 촉각 센서 모듈로 구성될 수 있고, 여기에서, 플렉서블 촉각 센서 모듈은 촉각 센서의 전극 라인과 연결된 단자가 평면 케이블 형태로 촉각 센서와 함께 제조될 수 있다. 또한, 연성 평면 케이블(Flexible Flat Cable, FFC)과 같은 형태로 신호처리 접속부가 구비된 플렉서블 촉각 센서 모듈을 구현할 수 있다.
일 실시예에서, 플렉서블 촉각 센서 모듈은 스트레인 게이지(620), 절연막(611 및 612), 제1 전극 라인(660), 제2 전극라인(630), 제1 개구(651), 제2 개구(652) 및 지지부(650)를 포함한다. 보다 구체적으로, 플렉서블 촉각 센서 모듈은 스트레인 게이지(620), 스트레인 게이지(620)를 감싸고 있는 절연막(611 및 612), 스트레인 게이지(620) 일단에 연결되어 절연막(611 및 612) 내부 및 표면에 형성되어 있는 제1 전극 라인(660), 스트레인 게이지(620) 타단에 연결되어 절연막(611 및 612) 내부 및 표면에 형성되어 있는 제1 전극 라인(660), 스트레인 게이지(620) 타단에 연결되어 절연막(611 및 612) 내부 및 표면에 형성되어 있는 제2 전극 라인(630), 스트레인 게이지(620)의 일부를 부상시킬 수 있는 제1 개구(651) 및 제2 전극 라인(630)을 노출시키는 제2 개구(652)가 형성되어 있고 절연막(611 및 612) 하부에 형성된 지지부(650)로 구성될 수 있다.
일 실시예에서, 절연막(611 및 612)은 제1 절연층(611) 및 제2 절연층(612)으로 분리되어 있고, 제1 절연층(611) 및 제2 절연층(612) 사이에 스트레인 게이지(620)의 일단에 연결되어 제1 절연층(611) 및 제2 절연층(612) 사이로 배열되어 있고, 제2 전극 라인(630)은 제2 절연층(612) 내부에서 스트레인 게이지(620) 타단에 연결되어 제1 절연측(611) 표면을 따라 배열되어 있는 구조로 이루어질 수 있다.
일 실시예에서, 제2 개구(652)의 내부에는 제1 및 제2 전극 라인(660 및 630)에 도금된 도금층이 더 형성될 수 있다.
일 실시예에서, 절연막(611 및 612)은 유연한(Flexible) 폴리머로 구성될 수 있다.
일 실시예에서, 도 4의 (a) 또는 (b)로 구성된 복수의 센서들(510)을 포함하는 센서 어레이(210)는 어레이로 배열된 복수의 센서들(510)을 통하여 접촉 부위 표피의 변형도(Strain)를 감지할 수 있고, 보다 구체적으로 어레이로 베열된 다수의 촉각센서를 포함하고 있는 복수의 센서들(510) 각각을 통하여 접촉 부위 표피의 변형도(Strain)를 감지할 수 있다. 예를 들어, 도 1의 웨어러블 장치(120)의 경우, 센서 어레이(210)는 손목 근육의 변화에 따른 손목 부위의 미세한 표피 변형도를 감지할 수 있다.
도 8은 도 1에 있는 웨어러블 장치를 이용하여 표피에 대한 물리적 변화를 감지하는 과정을 예시한 도면이다.
도 8을 참조하면, 웨어러블 장치(120)를 이용하여 손가락 및 손목의 움직임 전후의 손목 표피의 변형도를 감지하고, 이를 신호로 출력할 수 있음을 확인할 수 있다. 도 6에서는 손가락을 이용하여 잡는 움직임, 손목을 비트는 움직임, 손가락을 펴는 움직임 및 손목을 상하로 움직이는 움직임을 일 예로 도시하였으나, 웨어러블 장치(120)는 다양한 움직임에 대한 손목 표피의 변형도를 감지할 수 있으며, 감지된 변형도를 기초로 손(손가락 및 손목 중 적어도 하나)의 움직임을 인식할 수 있다.
예를 들어, 도 8을 참조하면, 손가락 및 손목 중 적어도 하나의 움직임의 종류에 따라서 손목에 장착된 센서 어레이(210)의 복수의 센서들(510)로부터 수신된 센싱 신호들의 전/후가 서로 상이하여 동작 상태 결정부(220) 및 신체 움직임 결정부(240)는 센서 어레이(210)에서 수신된 센싱 신호를 기 저장된 센싱 신호 패턴과 비교하여 사용자의 손 움직임을 결정하고 현재 동작 및 다음 동작을 검출할 수 있다.
도 9는 본 발명의 일 실시예에 따른 웨어러블 장치를 이용한 정보 입력 방법을 설명하는 순서도이다.
도 9을 참조하면, 센서 어레이(210)는 접촉된 해당 신체 영역의 표피에 대한 물리적 변화를 감지한다(단계 S910). 예를 들어, 센서 어레이(210)는 복수의 센서들(510) 또는 촉각센서 어레이로 구성되어, 접촉된 신체 영역 표피의 변형도(Strain)를 감지할 수 있다. 손목에 착용하는 웨어러블 장치의 경우, 센서 어레이(210)는 손목 근육의 변화에 의한 손목 표피의 물리적 변화를 감지할 수 있다.
센서 어레이(210)는 복수의 센서들(510)이 감지한 물리적 변화를 센싱 신호로 변환하여 신체 움직임 결정부(220)로 송신한다(단계 S920).
신체 움직임 결정부(220)는 센서 어레이(210)로부터 수신한 센싱 신호를 신체 움직임 패턴 저장부(230)에 기 정의된 센싱 신호 패턴과 비교하여 매칭한다(단계 S930). 매칭되는 패턴이 있는 경우, 신체 움직임 결정부(220)는 매칭된 패턴에 대응되는 신체 부위 움직임을 사용자의 움직임으로 인식한다(단계 S940).
일 실시예에서, 본 발명에 따른 정보 입력 방법은 관성 센서(310)를 통해 신체 영역의 움직임에 따른 각속도 및 가속도를 측정하는 단계를 더 포함할 수 있다. 이러한 경우, 신체 움직임 결정부(220)는 센서 어레이(210)를 통해 측정된 표피의 물리적 변화 정보와 관성 센서를 통해 측정된 각속도 및 가속도를 기초로 사용자의 움직임을 인식할 수 있다.
통신부(240)는 신체 움직임 결정부(220)에서 인식된 신체 부위의 움직임에 대한 정보를 유선 또는 무선 통신망을 통해 외부 디바이스로 전송한다(단계 S950). 예를 들어, 통신부(240)는 블루투스(Bluetooth), UWB(Ultra Wide Band) 등과 같은 근거리 무선 통신망을 통해 외부 디바이스로 움직임에 대한 정보를 전송할 수 있다.
일 실시예에서, 사용자가 웨어러블 장치를 통해 사물 인터넷(IoT, Internet of Things) 디바이스를 제어하는 경우, 통신부(240)는 무선 통신망을 통해 웨어러블 정보 입력장치와 링크된 IoT 디바이스를 확인하고, 링크된 IoT 디바이스로 움직임에 대한 정보를 전송할 수 있다.
도 10은 본 발명의 일 실시예에 따른 웨어러블 장치를 이용한 정보 입력 방법을 설명하는 순서도이다.
동작 상태 결정부(420)는 현재 동작을 검출한다(단계 S1001). 일 실시예에서, 동작 상태 결정부(420)는 센서 어레이(210)의 복수의 센서들로부터 수신한 접촉된 해당 신체 영역의 표피에 대한 물리적 변화에 대한 센싱 신호들을 기초로 현재 동작 상태를 결정할 수 있다.
동작 상태 결정부(420)는 동작 상태도를 기초로 동작 상태 결정부(420)를 통하여 검출된 현재 동작과 연관된 적어도 하나의 다음 동작 상태를 결정한다(단계 S1002).
신체 움직임 결정부(220)는 다음 동작을 검출하고(단계 S1003), 동작 상태 결정부(420)를 통하여 결정된 적어도 하나의 다음 동작 상태와 매칭되는지 여부를 체크한다(단계 S1004).
신체 움직임 결정부(220)를 통하여 검출된 다음 동작이 동작 상태 결정부(420)를 통하여 결정된 다음 동작 상태와 매칭되는 경우에는, 통신부(240)는 해당 동작 상태도와 연관되어 있는 특정 외부 디바이스가 특정 동작을 수행할 수 있도록 해당 정보를 외부 디바이스에 전송하여 외부 디바이스의 동작을 제어한다(단계 S1005).
신체 움직임 결정부(220)를 통하여 검출된 다음 동작이 동작 상태 결정부(420)를 통하여 결정된 다음 동작 상태와 매칭되지 않는 경우에는, 신체 움직임 결정부(220)는 다음 동작을 재검출하고(단계 S1006), 단계 S1004로 돌아가서 동작 상태 결정부(420)를 통하여 결정된 다음 동작 상태와 매칭되는지 여부를 체크한다.
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110: 신체 120: 웨어러블 장치
210: 센서 어레이 220: 신체 움직임 결정부
230: 신체 움직임 패턴 저장부 240: 통신부
250, 320, 430: 제어부 310: 관성 센서
410: 동작 상태 관리부 420: 동작 상태 결정부
270: 제어부 310: 복수의 센서들

Claims (20)

  1. 해당 신체 영역의 표피에 대한 물리적 변화를 각각 감지하는 복수의 센서들을 포함하는 센서 어레이; 및
    상기 복수의 센서들로부터 수신된 센싱 신호들을 기초로 신체 부위의 움직임을 결정하고, 상기 결정된 신체 부위의 움직임이 현재 동작 상태에서 파생될 수 있는 적어도 하나의 다음 동작 상태 중 하나에 해당하는지 여부를 결정하는 신체 움직임 결정부를 포함하는 웨어러블 장치.
  2. 제1항에 있어서, 상기 센서 어레이는
    손목에 위치하여 장무지굴근 및 심지굴근을 포함하는 근육의 변화에 의한 손목 표피의 물리적 변화를 감지하는 것을 특징으로 하는 웨어러블 장치.
  3. 제1항에 있어서, 상기 복수의 센서들의 밀집도는
    상기 해당 신체 영역의 표피 아래에 있는 근육 밀집도에 비례하는 것을 특징으로 하는 웨어러블 장치.
  4. 제1항에 있어서, 상기 복수의 센서들의 밀집도는
    상기 해당 신체 영역이 손목에 해당하는 경우에는 상기 손목의 하단부분과 상기 손목의 상단부분에서 각각 상이한 값을 가지는 것을 특징으로 하는 웨어러블 장치.
  5. 제1항에 있어서,
    상기 복수의 센서들의 기 정의된 센싱 신호 패턴들과 상기 신체 부위의 움직임들을 연관시켜 저장하는 신체 움직임 패턴 저장부를 더 포함하는 것을 특징으로 하는 웨어러블 장치.
  6. 제4항에 있어서, 상기 신체 움직임 결정부는
    상기 수신된 센싱 신호들에 대한 정보와 상기 신체 움직임 패턴 신체 움직임 패턴 저장부에 저장된 센싱 신호 패턴들을 비교하여 유사도를 검출하고 상기 유사도를 기초로 상기 신체 부위의 움직임을 결정하는 것을 특징으로 하는 웨어러블 장치.
  7. 제1항에 있어서,
    적어도 하나의 순간적 동작 상태와 상기 적어도 하나의 순간적 동작 상태 간의 전이를 포함하는 동작 상태도를 포함하는 동작 상태 관리부를 더 포함하는 것을 특징으로 하는 웨어러블 장치.
  8. 제7항에 있어서, 상기 동작 상태 관리부는
    상기 동작 상태도와 해당 동작 상태도에 대응되는 외부 디바이스의 동작에 대한 정보를 연관시켜 저장하는 것을 특징으로 하는 웨어러블 장치.
  9. 제7항에 있어서,
    현재 동작을 검출하고, 상기 동작 상태도를 기초로 상기 검출된 현재 동작과 연관된 현재 동작 상태로부터 변경될 수 있는 적어도 하나의 다음 동작 상태를 결정하는 동작 상태 결정부를 더 포함하는 것을 특징으로 하는 웨어러블 장치.
  10. 제9항에 있어서, 상기 동작 상태 결정부는
    상기 현재 동작의 상태가 상기 동작 상태도에 없는 경우에는 상기 현재 동작을 재검출하는 것을 특징으로 하는 웨어러블 장치.
  11. 제9항에 있어서, 상기 신체 움직임 결정부는
    상기 현재 동작으로부터 다음 동작을 검출하고 상기 검출된 다음 동작이 상기 동작 상태 결정부를 통하여 결정된 적어도 하나의 다음 동작 상태와 매칭되는지 여부를 체크하는 것을 특징으로 하는 웨어러블 장치.
  12. 제11항에 있어서, 상기 신체 움직임 결정부는
    상기 검출된 다음 동작과 상기 동작 상태 결정부를 통하여 결정된 적어도 하나의 다음 동작 상태가 매칭되지 않는 경우에는 상기 다음 동작을 재검출하는 것을 특징으로 하는 웨어러블 장치.
  13. 제11항에 있어서,
    상기 검출된 다음 동작과 상기 동작 상태 결정부를 통하여 결정된 적어도 하나의 다음 동작 상태가 매칭되는 경우에는 상기 동작 상태 관리부를 통하여 해당 동작 상태도와 연관되어 있는 외부 디바이스의 동작에 대한 정보를 상기 외부 디바이스로 전송하는 통신부를 더 포함하는 것을 특징으로 하는 웨어러블 장치.
  14. 제1항에 있어서,
    상기 해당 신체 영역의 표피 아래에 있는 근육 밀집도가 특정 기준 이하인 표피 인근에 배치되고 상기 신체 부위의 움직임에 따른 각속도 및 가속도를 측정하는 관성 센서를 더 포함하는 것을 특징으로 하는 웨어러블 장치.
  15. 제14항에 있어서, 상기 신체 움직임 결정부는
    상기 복수의 센서들로부터 수신된 센싱 신호들과 상기 관성 센서로부터 측정된 각속도 및 가속도를 기초로 상기 신체 부위의 움직임을 결정하는 것을 특징으로 하는 웨어러블 장치.
  16. 복수의 센서들을 포함하는 센서 어레이에서 해당 신체 영역의 표피에 대한 물리적 변화를 각각 감지하는 단계; 및
    신체 움직임 결정부에서 상기 복수의 센서들로부터 수신된 센싱 신호들을 기초로 신체 부위의 움직임을 결정하고, 상기 결정된 신체 부위의 움직임이 현재 동작 상태에서 파생될 수 있는 적어도 하나의 다음 동작 상태 중 하나에 해당하는지 여부를 결정하는 단계를 포함하는 정보 입력 방법.
  17. 제16항에 있어서,
    상기 복수의 센서들의 기 정의된 센싱 신호 패턴들과 상기 신체 부위의 움직임들을 연관시켜 저장하는 단계를 더 포함하고,
    상기 신체 부위의 움직임을 결정하는 단계는
    상기 수신된 센싱 신호들에 대한 정보와 저장된 센싱 신호 패턴들을 비교하여 유사도를 검출하는 단계를 포함하는 것을 특징으로 하는 정보 입력 방법.
  18. 제16항에 있어서,
    적어도 하나의 순간적 동작 상태와 상기 적어도 하나의 순간적 동작 상태 간의 전이를 포함하는 동작 상태도를 저장하는 단계를 더 포함하는 것을 특징으로 하는 정보 입력 방법.
  19. 제17항에 있어서,
    현재 동작을 검출하고, 상기 동작 상태도를 기초로 상기 검출된 현재 동작과 연관된 현재 동작 상태로부터 변경될 수 있는 적어도 하나의 다음 동작 상태를 결정하는 단계를 더 포함하는 것을 특징으로 하는 정보 입력 방법.
  20. 제16항에 있어서,
    관성 센서에서 상기 신체 부위의 움직임에 따른 각속도 및 가속도를 측정하는 단계를 더 포함하는 것을 특징으로 하는 정보 입력 방법.
PCT/KR2015/012969 2014-12-17 2015-12-01 웨어러블 장치 및 이를 이용한 정보 입력 방법 WO2016099049A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/537,679 US10488924B2 (en) 2014-12-17 2015-12-01 Wearable device, and method of inputting information using the same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020140181985A KR101554125B1 (ko) 2014-12-17 2014-12-17 웨어러블 장치 및 이를 이용한 정보 입력 방법
KR10-2014-0181985 2014-12-17
KRPCT/KR2015/007468 2015-07-17
PCT/KR2015/007468 WO2017014330A1 (ko) 2015-07-17 2015-07-17 웨어러블 장치 및 이를 이용한 정보 입력 방법

Publications (1)

Publication Number Publication Date
WO2016099049A1 true WO2016099049A1 (ko) 2016-06-23

Family

ID=56126872

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/012969 WO2016099049A1 (ko) 2014-12-17 2015-12-01 웨어러블 장치 및 이를 이용한 정보 입력 방법

Country Status (2)

Country Link
US (1) US10488924B2 (ko)
WO (1) WO2016099049A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10942975B2 (en) * 2016-05-20 2021-03-09 Cisco Technology, Inc. Search engine for sensors
US20210196185A1 (en) * 2018-05-11 2021-07-01 Jean Carruthers Skin torsionometer

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040089728A (ko) * 2002-03-18 2004-10-21 프리시젼 다이나믹스 코포레이션 식별 장치
KR20100076136A (ko) * 2008-12-26 2010-07-06 주식회사 에스디엔 생체정보인식기
US20100245078A1 (en) * 2009-03-26 2010-09-30 Wellcore Corporation Wearable Motion Sensing Device
KR20110022520A (ko) * 2009-08-27 2011-03-07 한국전자통신연구원 손가락 움직임 검출 장치 및 그 방법
KR20140013845A (ko) * 2012-07-27 2014-02-05 엘지전자 주식회사 이동 단말기 및 그것의 제어방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6640202B1 (en) * 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US7396337B2 (en) * 2002-11-21 2008-07-08 Massachusetts Institute Of Technology Powered orthotic device
EP2210162B9 (en) * 2007-11-19 2019-01-23 Nokia Technologies Oy Input device
US8132468B2 (en) * 2008-05-29 2012-03-13 Zoran Radivojevic Flexural deformation sensing device and a user interface using the same
US9519857B2 (en) * 2008-06-30 2016-12-13 Nokia Technologies Oy Apparatus and method for sensing characterizing features of a deformable structure
JP4988016B2 (ja) * 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
TWI487505B (zh) * 2010-12-17 2015-06-11 Ind Tech Res Inst 肌動訊號輸入裝置、人機操作系統及其辨識方法
EP2698686B1 (en) * 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof
DE112013007524T5 (de) * 2013-10-24 2016-08-04 Apple Inc. Armbandgerät-Eingabe mittels Handgelenkbewegung
US10067564B2 (en) * 2015-08-11 2018-09-04 Disney Enterprises, Inc. Identifying hand gestures based on muscle movement in the arm

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040089728A (ko) * 2002-03-18 2004-10-21 프리시젼 다이나믹스 코포레이션 식별 장치
KR20100076136A (ko) * 2008-12-26 2010-07-06 주식회사 에스디엔 생체정보인식기
US20100245078A1 (en) * 2009-03-26 2010-09-30 Wellcore Corporation Wearable Motion Sensing Device
KR20110022520A (ko) * 2009-08-27 2011-03-07 한국전자통신연구원 손가락 움직임 검출 장치 및 그 방법
KR20140013845A (ko) * 2012-07-27 2014-02-05 엘지전자 주식회사 이동 단말기 및 그것의 제어방법

Also Published As

Publication number Publication date
US20180011536A1 (en) 2018-01-11
US10488924B2 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
WO2016117758A1 (ko) 손 재활 운동 시스템 및 방법
WO2018066848A1 (en) Skin care device
WO2020059939A1 (ko) 인공지능 장치
WO2017026612A1 (ko) 사용자 움직임 모니터링 방법 및 이를 수행하는 시스템
WO2016182181A1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 피드백 제공 방법
KR20150112741A (ko) 웨어러블 장치 및 이를 이용한 정보 입력 방법
WO2018143509A1 (ko) 이동 로봇 및 그 제어방법
WO2022055068A1 (ko) 음성에 포함된 커맨드를 확인하는 전자 장치와 이의 동작 방법
WO2020162698A1 (ko) 손 재활 운동장치
WO2021075748A1 (ko) 안테나를 포함하는 와치형 전자 장치
WO2021080171A1 (ko) 관성 센서를 이용한 착용 감지 방법 및 장치
WO2016099049A1 (ko) 웨어러블 장치 및 이를 이용한 정보 입력 방법
WO2021085879A1 (en) Electronic device for recognizing gesture of user using a plurality of sensor signals
WO2017014330A1 (ko) 웨어러블 장치 및 이를 이용한 정보 입력 방법
WO2019066541A1 (en) INPUT DEVICE, ELECTRONIC DEVICE, SYSTEM COMPRISING THE SAME, AND CORRESPONDING CONTROL METHOD
WO2022124551A1 (ko) 복수의 전극을 포함하는 웨어러블 전자 장치
KR101554125B1 (ko) 웨어러블 장치 및 이를 이용한 정보 입력 방법
WO2018074909A1 (ko) 탑승 정보 안내 시스템, 방법 및 절차 관리 장치, 방법
WO2022203330A1 (ko) 전자 장치 및 그것의 지문 인식 방법
WO2022019582A1 (ko) 로봇 및 그 제어 방법
WO2022030961A1 (ko) 위험 정보를 감지하는 전자 장치 및 방법
WO2023018222A1 (ko) 웨어러블 전자 장치 및 웨어러블 전자 장치에서 양치질 정보 제공 방법
WO2023085558A1 (ko) 체온 센서를 포함하는 웨어러블 장치, 방법, 비일시적 컴퓨터 판독가능 저장 매체
WO2023038407A1 (en) Method and electronic device for estimating touch locations and touch pressures
WO2022239929A1 (ko) 생체 정보 검출 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15870216

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15537679

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 15870216

Country of ref document: EP

Kind code of ref document: A1